8月17日消息,当下,几乎所有软件巨头们都在大力投入AI推理业务。近日,大摩(摩根士丹利)的一份重磅报道显示,AI推理原来是一门利润惊人的生意。而选择不同的AI GPU芯片,利润率也差距非常大。
但总体来看,一座标准的“AI推理工厂”,无论采用哪家巨头的芯片,其平均利润率普遍超过50%。

据悉,摩根士丹利首创了一套标准化分析框架,即“100MW AI工厂模型”,将不同技术路径的AI解决方案,置于同一商业维度下进行量化评估。
毫无悬念,NVIDIA的GB200 NVL72以近78%的利润率遥遥领先。据悉,这主要得益于其领先的计算性能以及CUDA软件生态的深厚壁垒,展现出了绝对的市场一哥的统治力。

谷歌自研的TPU v6e pod以74.9%的利润率排名第二,AWS(亚马逊云)的Trn2 UltraServer取得了62.5%的利润率,而华为的昇腾CloudMatrix 384平台也取得了47.9%的利润率。
AMD的MI300X和MI355X意外遭遇滑铁卢,利润率竟然为负,分别为-28.2%和-64%。
报告指出,虽然AMD前期投入很大,但其token产出效率所能创造的收入,远不足以覆盖其高昂的成本。

凡《网络安全与数据治理》(原《信息技术与网络安全》)录用的文章,如作者没有关于汇编权、翻译权、印刷权及电子版的复制权、信息网络传播权与发行权等版权的特殊声明,即视作该文章署名作者同意将该文章的汇编权、翻译权、印刷权及电子版的复制权、信息网络传播权与发行权授予本刊,本刊有权授权本刊合作数据库、合作媒体等合作伙伴使用。同时,本刊支付的稿酬已包含上述使用的费用,特此声明。