9 月 29 日消息，AMD 在 Huggingface 平台公布了自家首款 " 小语言模型 "AMD-Llama-135m，该模型具有推测解码功能，拥有 6700 亿个 token，采用 Apache 2.0 开源许可，附模型地址如下。
据介绍，这款模型主打 " 推测解码 " 能力，其基本原理是使用小型草稿模型生成一组候选 token，然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个 token，而不会影响性能，从而显著减少 RAM 占用，实现效率提升。
AMD 表示，这款模型在四个 AMD Instinct MI250 节点训练了六天，其 " 编程专用版本 " 变体 AMD-Llama-135m-code 则额外耗费了四天时间进行微调。
凡《网络安全与数据治理》（原《信息技术与网络安全》）录用的文章，如作者没有关于汇编权、翻译权、印刷权及电子版的复制权、信息网络传播权与发行权等版权的特殊声明，即视作该文章署名作者同意将该文章的汇编权、翻译权、印刷权及电子版的复制权、信息网络传播权与发行权授予本刊，本刊有权授权本刊合作数据库、合作媒体等合作伙伴使用。同时，本刊支付的稿酬已包含上述使用的费用，特此声明。