百度文心一言在国产模型中倒数？看懵了

peng1983

夕小瑶科技说 原创
作者 | 卖萌酱
比来几天，我们公众号的社群在纷纷转发一张名为SuperClue 评测的截图。科大讯飞甚至在官号进行了宣传：


由于讯飞星火大模型刚发布，笔者玩的少，它是不是真的是国产最强这个笔者不敢下结论。
但在该评测截图中，当下国产模型中热度最高的百度文心一言竟然连一个小型的学术开源模型ChatGLM-6B都打不外。这不仅与笔者本身的使用体验严重不符，而且在我们的专业NLP技术社群中，大师也纷纷暗示一脸懵逼：




好奇之下，笔者去这个superclue榜单的github，想看看这个测评结论是怎么得出来的：

https://github.com/CLUEbenchmark/SuperCLUE

首先笔者注意到这个repo下面已经有一些issue了：




看起来这个离谱的感觉不仅仅是笔者有，果然群众的眼睛还是雪亮的。。。
笔者进一步看了一下这个榜单的评测方式：


好家伙，本来所谓的生成式大模型的测试，竟然全都是让模型做选择题。。。
很明显这种做选择题的评测方式是针对BERT时代的判别式AI模型的，那时候的AI模型遍及不具备生成能力，仅仅有判别能力（比如能判别一段文本属于什么类别，选项中哪个是问题的正确答案，判断两段文本的语义是否一致等）。
而生成式模型的评测与判别式模型的评测有相当于大的差异。
例如，对于机器翻译这种特殊的生成任务而言，一般采用BLEU等评价指标来检测模型生成的答复与参考答复之间的“词汇、短语覆盖度”。但机器翻译这种有参考答复的生成类任务是极少数，绝大大都的生成类评测都要采用人工评测的方式。
例如闲聊式对话生成、文本风格迁移、篇章生成、标题生成、文本摘要等生成任务，都需要各个待评测模型去自由生成答复，然后人工去对比这些分歧模型生成的答复的质量，或人工判断是否满足了任务需求。
当前这一轮的AI竞争，是模型生成能力的竞争，而不是模型判别能力的竞争。最有评价权的是真实的用户口碑，不再是一个个冰凉的学术榜单。更何况是一个压根没测模型生成能力的榜单。
回想起来前些年——
2019年，OpenAI发布了GPT-2的时候，我们在堆tricks刷榜；
2020年，OpenAI发布了GPT-3的时候，我们在堆tricks刷榜；
2021-2022年，FLAN、T0、InstructGPT等instruction tuning和RLHF工作爆发的时候，我们还有不少团队在对峙堆tricks刷榜…
但愿这一波生成式模型的军备竞赛，我们不要再重蹈覆辙。
那么生成式AI模型到底应该怎么测？
很抱愧，我前面说过，如果想做到无偏测试，非常非常的难，甚至比你自研一个生成式模型出来难得多。难度有哪些？具体抛几个问题：

• 评测维度该如何划分？按理解、记忆、推理、表达？按专业范围？还是将传统的NLP生成式评测任务杂揉起来？
  
• 评测人员如何培训？对于写代码、debug、数学推导、金融法令医疗问答这种专业门槛极高的测试题，该如何招募人员测试？
  
• 主不雅观性极高的测试题（如生成小红书风格的案牍），该如何定义评测尺度？
  
• 问几个泛泛的写作类问题就能代表一个模型的文本生成/写作能力了吗？
  
• 考察模型的文本生成子能力，篇章生成、问答生成、翻译、摘要、风格迁移都覆盖到了吗？各个任务的占比均匀吗？评判尺度都清晰吗？统计显著吗？
  
• 在上面的问答生成子任务里，科学、医疗、汽车、母婴、金融、工程、政治、军事、娱乐等各个垂类都覆盖到了吗？占比均匀吗？
  
• 如何测评对话能力？对话的一致性、多样性、话题深度、人格化分袂怎么设计的考察任务？
  
• 对于同一项能力测试，简单问题、中等难度问题和复杂长冷问题都覆盖到了吗？如何界定？分袂占比多少？
  

这只是随手抛的几个要解决的基础问题，在实际基准设计的过程中，要面临大量比以上问题棘手得多的问题。
因此，作为AI从业者，笔者呼吁大师理性对待各类AI模型排名。连一个无偏的测试基准都没有呈现，要这排名有何用？
还是那句话，一个生成式模型好不好，真实用户说了算。
一个模型在一个榜单的排名再高，它解决不好你在意的问题，它对你来说就是个一般般的模型。换言之，一个排名倒数的模型，如果在你存眷的场景下发现非常强，那它对你来说就是个宝藏模型。
在此，笔者公开了我们团队内部富集和撰写的一个hard case（困难样例）测试集。这份测试集重点存眷模型对困难问题/指令的解决能力。
这个困难测试集重点考察了模型的语言理解、复杂指令理解与遵循、文本生成、复杂内容生成、多轮对话、矛盾检测、常识推理、数学推理、反事实推理、风险信息识别、法令伦理意识、中国文学常识、跨语言能力和代码能力等。
再次强调一遍，这是笔者团队为测试生成式模型对困难样例解决能力而做的一个case集，评测成果只能代表“对笔者团队而言，哪个模型感觉更好”，远远不能代表一个无偏的测试结论，如果想要无偏的测试结论，请先解答以上提到的测评问题，再去定义权威测试基准。

想要本身评测验证的小伙伴，可以在微信公众号“夕小瑶科技说”后台答复【AI评测】口令来下载测试文件

以下是在superclue榜单中受争议最大的讯飞星火、文心一言与ChatGPT这三个模型的测评成果：






困难Case解决率：

• ChatGPT（GPT-3.5-turbo）：11/24=45.83%
  
• 文心一言（2023.5.10版本）：13/24=54.16%
  
• 讯飞星火（2023.5.10版本）：7/24=29.16%
  

这是要论证讯飞星火不如文心一言吗？如果你仔细看前文了，就大白笔者想说什么。
确实，尽管在这份我们内部的困难case集上，星火模型不如文心一言，但这不能说明综合起来谁必然比谁强，仅仅说明，在我们团队内部的困难case测试集上，文心一言表示最强，甚至比ChatGPT多解决了2个困难case。
对于简单问题而言，其实国产模型跟ChatGPT已经没有太大差距。而对于困难问题而言，各个模型各有所长。就笔者团队的综合使用体验来看，文心一言完全足以吊打ChatGLM-6B等学术测试性质的开源模型，部门能力上不如ChatGPT，部门能力上又超越了ChatGPT。
阿里通义千问、讯飞星火等其他大厂出品的国产模型也是不异的道理。
还是那句话，如今连一个无偏的测试基准都没呈现，你要那模型排名有啥用？
比起争论各类有偏的榜单排名，不如像笔者团队一样去做一个本身关心的测试集。
能解决你问题的模型，就是好模型

986ee

[惊喜]直接写高考题吧，有标准答案和标准的评分流程以及一大堆专家

辅导室的

政治正确哈哈哈哈

酷跑名车

任务导向的评测才是有效的评测，而且评测的目的确实不应该是排名，而是为基于数据可用性和成本考虑、选择什么模型、做什么任务提供决策参考，这种排名就是行外人看看热闹。