4月21日消息,Meta发布超级彪悍的大语言模型Llama 3之后,微软也很快推出了自己的新一代WizardLM2 8x22B,号称迄今最强大,完全超越Claude 3 Opus&Sonnet、GPT-4等竞品,而且开源,但是马上又把它撤回去了。
没有任何征兆,微软就删除了WizardLM2大模型的相关文件、代码,而且一直没有任何公开解释。
微软的一位工程师单独给出了原因,令人啼笑皆非。
原来,微软已经几个月没有发布新的大模型,对上新流程有些陌生,居然忘了必需的幻觉测试(toxicity test),目前正在抓紧补测,很快就会重新上线。
大语言模型的“幻觉”分为两种,一是事实性幻觉,指模型生成的内容与可验证的现实世界事实不一致,二是忠实性幻觉,指模型生成的内容与用户的指令或上下文不一致。
大模型幻觉产生的原因有很多,训练数据、预训练和对齐阶段、推理阶段都会出现缺陷。
这么重要的测试都能忘掉,微软真是……




凡《网络安全与数据治理》(原《信息技术与网络安全》)录用的文章,如作者没有关于汇编权、翻译权、印刷权及电子版的复制权、信息网络传播权与发行权等版权的特殊声明,即视作该文章署名作者同意将该文章的汇编权、翻译权、印刷权及电子版的复制权、信息网络传播权与发行权授予本刊,本刊有权授权本刊合作数据库、合作媒体等合作伙伴使用。同时,本刊支付的稿酬已包含上述使用的费用,特此声明。