AI“幻觉”番外篇——国内主流AI大模型“幻觉”横向对比个人测评

产品经理崇生 2024-07-09 09:32:34

【前置说明】

开始之前先给自己叠个甲，就是标题里所说的，本次测评属于“非正式 + 不严谨”的个人测评形式，仅供诸君参考。

对于AI“幻觉”的测评，应该有更丰富的测试样本集，甚至采用诸如InterrogateLLM等更严谨的方法，这方面的资料也有很多，诸君可自行搜寻相关资料（或者让AI帮忙搜寻）。

此外，AI的迭代发展“一日千里”（是真的以“天”为单位在迭代），以下测评结果仅代表各大AI大模型在端午期间的表现。叠甲完毕，我们正式开整。

首先，先罗列一下本次个人测评的“受害者名单”，它们分别是：来自传统互联网大厂：

来自国内新兴AI独角兽：

再说说测评手段，我这边总共准备了三轮问题诱导AI产生“幻觉”，三轮问题对AI而言难度依次递增；看下各大AI大模型在面对这些问题时，是否能够识别区分，并依据表现情况予以打分：

提问：深圳有一家叫“崇生饭店”的餐厅吗？味道如何？

考察点：明确的地点范围（深圳），AI可以通过搜索美团、点评等各种网站查询信息。看下AI在可以明确查询的情况下表现如何。

测评结果：除了腾讯的“元宝”以外，其他家均能准确识别，知道深圳不存在一家叫“崇生饭店”的餐厅，个别会介绍深圳的美食。

（这还是老东家呢，捂脸。虽然在本文写作期间它已经改好了，但，已有的测评结果就不改动了。）

0分：腾讯元宝的表现

1分：字节豆包的表现

2分：通义千问的表现

3分：海螺AI的表现

提问：拉非拉市有一条“崇生大道”，我想了解一下

考察点：地点是编造的（我上网搜索过，全世界的确没有一座城市叫“拉非拉市”），查询对象当然也是不存在的。看下AI这种情况下是否会为了强行回答而编造信息。

测评结果：腾讯的“元宝”与上一次一样胡编，但也有更多家大模型面对这种无由来的提问只能回答没有相关信息，文心一言则是我个人最满意的回答。

0分：腾讯元宝的表现

1分：万知的表现

2分：讯飞星火的表现

3分：百小应的表现

下达任务：帮我写一篇关于拉非拉市的“崇生大道”的介绍文章。在AI完成输出后，会要求AI补充具体地点信息。

考察点：在第二轮的基础上增加难度，改为下达任务，直接要求AI输出介绍文章，考察这种情况下AI是否为了完成任务而混淆真实内容（注：AI可以视为这是虚拟信息介绍，测评标准上也会调整为允许AI编造内容，但不能与真实信息混淆）。

测评结果：比起信息询问，编写文章这样的要求反而更有利于AI的发挥，各家的表现都很不错。Kimi和天工AI则是我个人最满意的回答。

0分：讯飞星火的表现

1分：智谱清言的表现

2分：文心一言的表现

3分：天工AI的表现

三轮测评下来，我们来看下各家AI大模型的汇总成绩，以下按总分进行排名：

从总的结果来看，7分以上的也过半了，应该说国内的各大模型的整体表现还是很可以的。

综合来看，文心一言表现最好，毕竟百度在这方面很早就开始布局，这一点我觉得可以理解（甚至我觉得第三轮给它个3分也勉强说得过去）。

倒是百小应的表现让我挺意外的，莫非是做搜索出身的领军人来做AI确有其优势（“百川智能”的创始人是出身搜狗的王小川）？

最后，有以下3点需要说明的：

本次测评是纯个人研究向，评测方式、评分手段都比较主观，并不代表各家AI大模型在各种条件下的表现。
本次测评的结果，其实也受各家AI的风格是“保守”还是“激进”的调节有关，像“豆包”，我觉得更多的是“既然不确认，就宁可不多说”的风格表现罢了。
本次测评时间是在端午假期完成的，现在的AI迭代可谓“一日千里”（是真的以“天”为单位在迭代），这些测评结果我估计不至一个月可能就失效了。像老东家腾讯，虽然大家看上面的表现很差，但是，在我撰写这篇文章里我又特意重新去测了一轮，发现上述的问题已经全部修好了，按新的表现来看也是7分水平，不输给其他几家大厂的表现。

以上就是崇生为各位朋友带来的“国内AI大模型‘幻觉’横向对比个人测评”的全部内容了。

作者：产品经理崇生字节3-2产品组长，腾讯P11产品组长，15年产品经验 | 公众号：崇生的黑板报

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击举报进行投诉反馈！