算力-计算量,关于TOPS和FLOPS,及FLOPs

算力-计算量,关于TOPS和FLOPS,及FLOPsTOPS 详细讲解及单位换算

大家好,欢迎来到IT知识分享网。

目录

一、易混淆的三个点

二、芯片算力单位详解

四、模型算力单位详解 

五、算力单位量级变换

六、计算机存储单位换算

七、科学计算单位换算


一、易混淆的三个点

关于TOPS和FLOPS,及FLOPs,这里有3个易混淆的点。

1、最大的混淆点,上述三个名词是两种东西,注意“S/s”的大小写。TOPS和FLOPS指的是每秒的计算量,算是速度方面的,用在芯片算力性能上。FLOPs指的是深度学习模型自身的计算量,算是体量方面的,用在深度学习模型本身参数计算量上。

2、针对算力速度方面的TOPS和FLOPS,其中OPS指的是每秒处理次数,但通常是默认对INT8整型数的处理次数(INT8省略不写),加上FL后FLOPS指的是对FP32浮点数的处理次数。

3、仍然是针对算力速度方面的TOPS和FLOPS,这里的T指的是量级(Tera ,万亿,10^12),同理TFLOPS专门指每秒对浮点数处理的达到多少万亿次数。

二、芯片算力单位详解

通过缩写就能发现其中的奥妙。

        OPS (operations per second)  每秒处理次数

   FLOPS (Floating point number operations per second) 每秒处理浮点数次数

     TOPS (Tera operations per second) 每秒处理的万亿次数

TFLOPS (Tera Floating point number operations per second每秒处理浮点数的万亿次数

 FLOPs (Floating point number operations)模型参数的处理次数

芯片速度类 基础单位 OPS (operations per second 每秒处理次数,通俗是对INT8类型的操作次数,整型默认省略。
FLOPS Floating point number operations per second 是指浮点数每秒处理的次数,通常是FP32,浮点着重强调。

量级单位

(万亿次)

TOPS Tera operations per second 每秒可以处理的整型运算的万亿次数(10^12次)
TFLOPS Tera Floating point number operations per second 每秒对浮点数处理的达到多少万亿次数

下图为nvidia-A100/H100部分算力信息,可对比TOPS/TFLOPS区别。 

算力-计算量,关于TOPS和FLOPS,及FLOPs

四、模型算力单位详解 

模型体量类 FLOPs Floating point number operations 模型参数的处理次数。衡量模型参数计算量

以基础的分类卷积神经网络为例:

AlexNet 对于AlexNet处理224*224的图像,需要1.4G FLOPS
ResNet-152 对于224*224的图像,ResNet-152需要22.6G FLOPS

五、算力单位量级变换

MOPS (Million Operation Per Second)  一百万次(10^6)   兆;百万

GOPS (Giga Operations Per Second)  十亿次     (10^9)   千兆;十亿(billion,B)

TOPS (Tera Operations Per Second)  一万亿次   (10^12) 兆兆

1 MOPS = 10^6 FLOPS 一个MFLOPS(megaFLOPS)等于每秒一百万  (=10^6)次的浮点运算,
1 GOPS = 10^9 FLOPS

一个GFLOPS(gigaFLOPS)等于每秒十亿        (=10^9)次的浮点运算,

十亿(部分地方可能会用B,billion,十亿)

1 TOPS = 10^12 FLOPS 一个TFLOPS(teraFLOPS)等于每秒一万亿      (=10^12)次的浮点运算,(1太拉)
注意:这个地方有时候加不加FL比较含糊,很多厂家和个人有时候没有专门写明,一般先关注量级即可

六、计算机存储单位换算

七、科学计算单位换算

10^15 拍[它] P peta
10^12 太[拉](万亿) T tera trillion 万亿
10^9 吉[咖](十亿) G giga billion 十亿
10^6 兆(百万) M mega million 百万
10^3 k kilo

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://haidsoft.com/119884.html

(0)
上一篇 2025-11-02 13:20
下一篇 2025-11-02 13:33

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注微信