实测百度「文心一言」，4次迭代后还是翻车了？

guguangton

5月4日，百度创始人、董事长兼首席执行官李彦宏在内部活动演讲环节暗示，算力是可以买来的，创新能力是买不来的，需要自建。但目前来看，国产AI还没有能得到广泛承认的产物真正跑出来。

出品 | 微果酱（wjam123456）
作者 | 陈出木

在李彦宏近期的发言中，他提到，文心一言内测一个多月，完成4次大的技术升级，大模型推理成本降到本来的十分之一，或者说推理性能提升近10倍。“当别人方才开始思考如何进行训练的时候，我们已经在推理上冲出了很远。”



这十分自信里，不知道产物体验能占几分？

相较于Bing（必应）俄然全面开放，文心一言此刻仍然处于内测阶段，此前申请过内测资格的小伙伴们正在排队体验，如果申请成功将收到短信通知。




文心一言的界面和Bing是相似的，不外对于AI小白来说，文心一言的对话框还提供了快捷插入提问模板的功能，只需要输入“/”即可获取写陈述、画画、查常识的提问模板。



那么，文心一言和Bing对比如何呢？果酱妹替大师测试了一下~

01#中文理解

鉴于文心一言传布鼓吹本身“擅长中文”，果酱妹向它提问了一个经典的中文脑筋急转弯——能否把大象放进冰箱。但文心一言的脑筋似乎并不能很好地“转弯”，回答认为大象不能放进冰箱。

颠末进一步引导，将问题改削为更常规的谜面“把大象放进冰箱需要几步”，文心一言才能给出果酱妹想要的答案，同时仿佛没有意识到这是个脑筋急转弯，不忘提醒要“充实考虑大象的福祉”。



果酱妹也问了Bing同样的问题，它却能识别出“这是一个著名的连环谜语”，并不需要引导就可以准确给出提问者真正想知道的答案。



脑筋转不了弯不妨，那么作为中文写作的辅助东西，文心一言的表示如何呢？


果酱妹将体验文心一言的选题任务交给了它，直接生成的文章近似于初中生写作程度，但遣词造句显得生硬，需要后期进行人工优化。



而面对果酱妹提出的细化要求，文心一言展现了简单在原文章中加了一段的偷懒操作。




直到果酱妹质疑其不懂“细化”，文心一言开始呈现听懂命令但“婉拒”作答的情况——我理解细化但不想干，输出的还是原文。



对比闪现反骨的文心一言，Bing更像是在乖巧中透着对于。面对写文章的要求，Bing总是会先保举相关阅读文章，不筹算接茬写稿，等到提问者进一步要求，它会在当真交互一轮之后给出一篇不太及格的短文。



可见，两者对于文字工作都只能做到汇总网络资料的程度，更进一步则还是得依靠人类进行编排和串联。而再细看会发现，文心一言生成的文章比Bing生成的文章会多一些连接词和过渡句，更加符合中文创作习惯。


这一点在果酱妹让两者用“天气真好”作一首藏头诗时也有所浮现。

Bing显然不太能理解“藏头诗”，给出的成果差强人意，只是反手给了一个可用的“藏头诗在线生成器”链接。



而文心一言在传统文化范围基本完胜，轻松生成符合要求的藏头诗。



02#信息检索

作为都是接入了AI的搜索引擎，对于普通用户来说，信息检索或许是用得最多的功能。这就要求AI输出的回答必需是准确的，否则其他功能玩得再花也难以获得大众的青睐。

在测试过程中，对于确定的信息，诸如某本书的作者、某个名人的生日等，文心一言和Bing都可以轻松把握。但如果提问比来的新闻或网络热梗等，两位AI都可能会给犯错误的答案。

比如关于“GPT-5什么时候发布”这个问题，此前有诸多媒体报道将在本年发布，实际上OpenAI的创始人在前几天对此作了辟谣。

而显然，文心一言只注意到此前的信息，忽略了最新的内容。



Bing也犯了同样的错误。



03#AI绘画

在这个环节的测试中，果酱妹让文心一言和Bing分袂画画：

画一幅画：一位扎着马尾辫的美少女在阳光下奔跑，二次元画风，色彩丰硕，展现出快乐、自由的感觉，穿戴白色背心、黄色短裤、白色运动鞋

Bing首先暗示本身不能画画，但可以提供找灵感的渠道以及网络图片调集。就提供的图片搜索成果来看，和果酱妹提出的要求属实差得有点远。




而有AI绘画平台文心一格支撑着的文心一言，在颠末几轮交互、引导之后，能给出一张满足部门要求的画作。过程中，文心一言呈现的较大缺陷集中在AI一直难以把握的手部和眼睛细节。



04#解答数学题

果酱妹找了几道数学题给两个AI试手，成果半斤八两，稍稍需要逻辑能力的标题问题基本都无法解答。

文心一言属于一本正经胡说八道型，一堆数学符号之后得犯错误答案。



在投喂了正确答案之后，文心一言通过错误的算式强行得出既定答案。无论果酱妹如何质疑，文心一言都保持着礼貌但瞎说的解题态度。



Bing则属于碰运气的差生，同样的标题问题初度解答错误，在得到答案之后就顺利地推导出了过程。



但当果酱妹兴致勃勃地提问了更难的标题问题之后，Bing便招架不住了，也呈现了强行推导既定答案的情况。按照其底部呈现的来源，果酱妹猜测是因为Bing没有组卷网的会员，所以没法子输出正确答案。（这一刻的确能与AI共情）



05#写在最后

颠末对文心一言和Bing的不完全测试，大师会发现，两者仍然存在差距，但差距并没有大师想象的那般如鸿沟。

目前AI遍及做不来的任务，文心一言和Bing都无法解决。而在AI的功能舒适区中，文心一言的交互会让你感到感染到AI的生硬感，Bing的应答则更加流畅。

但作为一款东西，实用性应该在第一位。两者都属于接入AI的搜索引擎范围，最关键的是能够解决用户提出的问题。就目前来看，完全依赖AI作答，以替代人工检索，暂时还不能够实现，如果只是作为工作辅助，它们确实已经展现出必然优势。

可以说，颠末一个多月的内测，文心一言有了更多的语料投喂，确实表示出了成长的效果。但其优势如果只有对中文的理解，普通大众很难放弃同样撑持中文且颠末更长时间训练的Bing。


不外，现不才定论仍然过早，文心一言还在成长初期，让我们等候其正式开放那天，看看是否如李彦宏所说完成了国产AI的自建。而退一万步说，比起Bing，文心一言的最大优势应该是不需要科学上网吧。