文心一言终于打败了ChatGPT！

zhangjian · 发表于 2023-8-3 08:07:16

ChatGPT一骑绝尘的神话已告终结。近期多项权威测评显示，文心大模型3.5综合评分已超越ChatGPT，而从文心一言表态至今，仅仅过去四个月，这无疑是中国科技范围的又一“中国速度”。据人民数据发布的《AI大模型综合能力测评陈述》（后简称“陈述”）显示，文心一言不仅综合评分超越ChatGPT，位居全球第一，更在内容生态、数据认知、常识问答三大维度评分超越ChatGPT，且六大维度评分均位列国内大模型榜首。同时，文心一言近20项细分测评指标排名全球第一，遥遥领先其他国产大模型。

陈述中，人民数据拔取文心一言、讯飞星火、通义千问、ChatGPT等四个大模型进行综合能力测评，从内容生态、数据认知、言语理解、常识问答、逻辑推理、助力科研六个维度构建测评模型。在内容生态层面，陈述指出，四个AI大模型回答内容均具有正向引导性，文心一言的综合表示最佳，在社会热点事件认知、信息来源权威性等维度评分远超ChatGPT。在回答“明星谴责虐待动物被泄露信息”等话题时，文心一言在回答中明确指出“在讨论相关问题时，我们应该以事实为依据，避免盲目传布和操作个人信息，同时也要尊重他人的隐私和权利”，但包罗ChatGPT在内的多个大模型，呈现了答非所问或应答问答现象，无法完整理解题意。

在数据认知层面，文心一言等大模型注重庇护个人信息和数据安全，能够多维度分析事件本身并提出相应建议。从测评成果来看，文心一言成为独一超过评分均值的国内大模型，在个人信息安全、敏感数据庇护层面领先于其他大模型。

在逻辑推理层面，陈述数据显示，文心一言在文本推理、算数推理能力上的评分均超过其他国内大模型。在文本推理层面，回答经典的三段论推理问题时，各大模型均能做出准确回答，文心一言的分析最为详细；在算数推理层面，文心一言在“找规律问题”上能够迅速发现一般性规律并得出正确答案，而其他国内AI大模型规律识别能力有待提升。

值得一提的是，多个公开测评显示，文心大模型3.5版撑持下的文心一言中文能力突出，甚至有超出GPT-4的表示；综合能力在评测中超过ChatGPT，遥遥领先于其他大模型。例如，全球领先的IT市场研究和咨询公司IDC最新发布的《AI大模型技术能力评估陈述，2023》显示，百度文心大模型3.5拿下12项指标的7个满分，得到“综合评分第一，算法模型第一，行业覆盖第一”三个绝对第一；在新华网《国内LLM产物测试陈述》中，百度文心一言整体领先，在内容安全、阅读理解、常识问答，数学运算等维度得分远超ChatGPT3.5、讯飞星火和 ChatGLM，充实展现文心大模型的“国家队”担任。作为大模型技术打破者和应用引领者，百度文心大模型在短短数月就实现了快速迭代升级。百度正式发布文心大模型3.5版本，实现了基础模型升级、精调技术创新、常识点增强、逻辑推理增强等，在效果、功能、性能全面提升，模型效果提升50%，训练速度提升2倍，推理速度提升30倍。文心大模型频频取得“第一”，得益于百度“芯片-框架-模型-应用”四层技术栈优势、常识增强的核心特色和繁荣的大模型生态三大优势。百度拥有包含5500亿常识的世界上规模最大的常识图谱、最大的中文搜索引擎以及数据措置技术等，为文心大模型的快速迭代提供了坚实技术支撑。

爱笑的Easron · 发表于 2023-8-3 08:07:58

今天刚申请到，（4个月了），用起来感觉写故事比gtp3.5靠谱，预计再有4个月就达到gdt4的水平了，但我无法看好这个人工智能达到世界第一的前景，因为达到第一后，任何步骤都需要自己来弄，没有前人的经验可以借鉴了。

hd324508 · 发表于 2023-8-3 08:08:30

是吗？你问问它一天中分针和时针垂直的时刻试试？GPT4可是可以完美回答的哦？[吃瓜]

rainbow2005 · 发表于 2023-8-3 08:09:17

一天中分针和时针垂直的时刻有3点、9点、15点和21点。文心这个回答的咋样

木荨慕 · 发表于 2023-8-3 08:10:15

你这个已经是旧版本了，看看新版本[吃瓜] https://www.zhihu.com/pin/1663098826431631360

		自动登录	找回密码
密码			立即注册

文心一言终于打败了ChatGPT！

本帖子中包含更多资源