清华陈述：文心一言稳坐国内第一，超越 ChatGPT

郭图

出品|开源中国
清华大学新闻与传布学院沈阳团队近日发布的《大语言模型综合性能评估陈述》显示，百度文心一言在三大维度 20 项指标中综合评分国内第一，超越 ChatGPT，此中中文语义理解排名第一，部门中文能力超越 GPT-4。
据了解，陈述本次评估拔取了 GPT-4、ChatGPT 3.5、文心一言、通义千问、讯飞星火、Claude、天工 7 个大语言模型，围绕生成质量、使用与性能、安全与合规三大维度，全面考察大语言模型上下文理解、中文语义理解、误导信息识别、逻辑推理、内容安全性、隐私庇护等 20 项指标。
综合来看，文心一言语义理解能力突出，出格是具备更好的中文理解能力，更懂中国文化，同不时效性强、内容安全把握细微，这源于其常识增强、检索增强和对话增强的技术创新。



在生成质量方面，基于对语义理解、输出表达、适应泛化的综合评测，文心一言得分率 76.98%，仅次于 GPT-4，遥遥领先于包罗 ChatGPT 在内的其他大语言模型。此中，在部门中文语义理解方面，文心一言以 92% 的得分率排名榜首，超越讯飞星火、GPT-4。凭借常识增强的核心特色，文心一言对本土语言特性把握更精准，同时由于训练语猜中包含大量本土文本，对本土文化理解也更深刻，能够更好措置与本土文化相关的主题和布景，如诗歌、方言等，具备更强的国内落地空间。



在安全合规方面，基于对内容安全性、成见和公平性、隐私庇护等综合评测，文心一言得分率 78.18%，与 GPT-4 并列排名第一，远超其他大语言模型。陈述显示，文心一言内容安全性好，注重用户隐私庇护和版权庇护。

13435353813

虽然文心一言确实进化很快，也不至于吊打gpt4吧[思考]中文理解[大笑]是骡子是马，公测溜溜看群众反响就好了，这都快测半年了，app反反复复回炉重造，最近的社区反馈好的话会在月底公测不？  说实话，llm还是学生用的多，暑假不公测憋到什么时候去 ，这时候公测正好压住星火二次升级的热度，没劲了啊，llm在我们这里并没有那么吃香的，工人那么多，谁用这个，没用，减不了一点工作负担。