6月17日消息,这几年GPU显卡的算力几乎完全转向了AI方向,从FP32到FP16到FP8,马上就要普及FP4了,性能一路飙升。
然而AI算力跟传统的HPC高性能计算需要的算力已经背离了,后者对精度要求很高,因此FP64性能至关重要,TOP500榜单上大多数超算还是要看FP64性能的,否则很多科学计算就没法搞。
但是FP64对GPU的要求同样很高,资深的DIY玩家还记得十几年前Kepler架构GPU是如何精简FP64单元的吧,从FP32:FP64的2:1一路精简到了64:1,游戏卡跟计算卡在FP64上分道扬镳了。
最近有篇论文《FP8 is All You Need (Part 1): Debunking Hardware FP64 as the HPC Holy Grail》引发了HPC社区的热议,文章提出的一种观点就是用FP8架构的硬件来模拟FP64性能,以后算力就狂堆FP8单元了,引发了对FP64硬件设计被GPU厂商放弃的热议。
AMD公司AI与超算业务总监Joseph George也参与了讨论,代表AMD表态了,那就是精度非常重要,AMD不会放弃FP64算力而只支持FP8。
AMD的Instinct系列GPU支持Ozaki——后者就是用论文提到的用FP8模拟FP64的软件,但George表示AMD的客户也没要求将FP64单元从GPU中移除进而专注AI适用的低精度算力。
George表示AMD在这个问题上的立场是科学家如果想把业务跑在FP4、FP6、FP8,那请随意,如果要用Ozaki来软件模拟,AMD的GPU也支持,如果想原生运行FP64,AMD也希望他们这么做。
他表示AMD唯一想做的就是聚焦科学,专注于让答案尽可能准确。
总之,AMD在这方面的观点就是他们不做选择,给科学家们提供所有算力支持,不论是AI用的FP8还是科学计算用的FP64,全都要才是答案。
凡《网络安全与数据治理》(原《信息技术与网络安全》)录用的文章,如作者没有关于汇编权、翻译权、印刷权及电子版的复制权、信息网络传播权与发行权等版权的特殊声明,即视作该文章署名作者同意将该文章的汇编权、翻译权、印刷权及电子版的复制权、信息网络传播权与发行权授予本刊,本刊有权授权本刊合作数据库、合作媒体等合作伙伴使用。同时,本刊支付的稿酬已包含上述使用的费用,特此声明。