大摩发布首个AI GPU芯片真实差距对比报告

8月17日消息,当下,几乎所有软件巨头们都在大力投入AI推理业务。近日,大摩(摩根士丹利)的一份重磅报道显示,AI推理原来是一门利润惊人的生意。而选择不同的AI GPU芯片,利润率也差距非常大。

但总体来看,一座标准的“AI推理工厂”,无论采用哪家巨头的芯片,其平均利润率普遍超过50%。

s_27ff72f987924ea2b3086c5bb039dfd1.png

据悉,摩根士丹利首创了一套标准化分析框架,即“100MW AI工厂模型”,将不同技术路径的AI解决方案,置于同一商业维度下进行量化评估。

毫无悬念,NVIDIA的GB200 NVL72以近78%的利润率遥遥领先。据悉,这主要得益于其领先的计算性能以及CUDA软件生态的深厚壁垒,展现出了绝对的市场一哥的统治力。

s_8b5d70b9e77141ad866e624ebe6af28f.png

谷歌自研的TPU v6e pod以74.9%的利润率排名第二,AWS(亚马逊云)的Trn2 UltraServer取得了62.5%的利润率,而华为的昇腾CloudMatrix 384平台也取得了47.9%的利润率。

AMD的MI300X和MI355X意外遭遇滑铁卢,利润率竟然为负,分别为-28.2%和-64%。

报告指出,虽然AMD前期投入很大,但其token产出效率所能创造的收入,远不足以覆盖其高昂的成本。


Magazine.Subscription.jpg

通知公告
编辑观点
理事会
参考资料
版权声明

凡《网络安全与数据治理》(原《信息技术与网络安全》)录用的文章,如作者没有关于汇编权、翻译权、印刷权及电子版的复制权、信息网络传播权与发行权等版权的特殊声明,即视作该文章署名作者同意将该文章的汇编权、翻译权、印刷权及电子版的复制权、信息网络传播权与发行权授予本刊,本刊有权授权本刊合作数据库、合作媒体等合作伙伴使用。同时,本刊支付的稿酬已包含上述使用的费用,特此声明。

《网络安全与数据治理》(原《信息技术与网络安全》)编辑部