海光DCU Day0适配万亿级大模型Kimi K3

7月28日消息,海光信息宣布已完成Kimi K3在海光DCU平台的全栈适配与性能验证,这意味着国产GPU也能跑万亿级大模型了。

海光DCU从底层算子到推理引擎完成了全栈优化,模型代码无需任何调整即可运行,迁移成本几乎为零,开发者拿到算力即可上线部署,兼容性出色。

针对KDA注意力和896专家MoE架构,海光完成算子级定制优化。即使896个专家并行工作,在百万级上下文的重载场景下推理依然高效稳定,不会卡顿。

场景落地方面,K3在海光DCU上可支撑长程智能体工程、视觉闭环创作和自主芯片设计等前沿场景,国产算力用户也可以跑通万亿级开源模型。

需要提及的是,月之暗面在发布K3前,已联合海光、曙光完成完整兼容性调优。曙光基于海光DCU硬件栈,打通了Kimi MoE架构的分布式训练与多卡并行推理链路。

海光DCU则通过底层硬件与软件栈的协同优化,在曙光8000集群上实现了长文本推理的稳定运行。

官方实测显示,国产卡性能折损控制在12%以内,已达到商用部署标准。

通知公告
编辑观点
理事会
参考资料
版权声明

凡《网络安全与数据治理》(原《信息技术与网络安全》)录用的文章,如作者没有关于汇编权、翻译权、印刷权及电子版的复制权、信息网络传播权与发行权等版权的特殊声明,即视作该文章署名作者同意将该文章的汇编权、翻译权、印刷权及电子版的复制权、信息网络传播权与发行权授予本刊,本刊有权授权本刊合作数据库、合作媒体等合作伙伴使用。同时,本刊支付的稿酬已包含上述使用的费用,特此声明。

《网络安全与数据治理》(原《信息技术与网络安全》)编辑部