谷歌 AI 聊天机器人 Bard 给犯错误回答，公司股价跌超 6%，可能是哪些环节出了问题？

爆粗口怕被拒绝

谷歌A跌超6%，刷新日低至100.50美元，此前谷歌人工智能聊天机器人Bard在一场发布会上对用户提出的问题给犯错误回答。

wenwen198711

只能说资本市场太会玩了。这些天靠着ChatGPT和AIGC炒作的股不少，比如从来没听说过的“极光”（财联社2月8日电，极光盘前涨超30%，此前宣布将在核心产品极光推送中整合ChatGPT技术，推出“AI创作”工具。​），当然后来它又跌回去了。
Google前些年是在LLM上选错了赛道，落后了一些，但是这两年已经纠正过来了，我个人相信Google很快就会赶上，产品的使用效果至少不会比Bing差，在几轮迭代之后很可能会超过Bing。LLM之于搜索引擎，是蛋糕上的糖霜，对广告业务冲击不会那么大，两天已经跌了12%了=1600亿美元市值，市场过度反应了。
至于技术上，为啥Bard给出这样一个错误答案，我之前使用ChatGPT时也经常碰到类似情况，答案有不明显的小错误。让LLM的回答error-free，比要求人写的代码bug-free更苛刻，因为语料是noisy、包含很多conflict的，LLM在fit语料时，自然学会了“包容”冲突的statement，训练目标也是兼顾precision和recall，所以LLM在不确定的时候，倾向于猜测一个概率大的答案，而不是拒绝回答。人可以通过额外惩罚弄错事实的情况，让它对事实性更敏感，这需要额外的fine-tuning。

yefgfrkakjf

搞不懂谷歌的人为啥拿这么个偏门问题做demo？人菜瘾大？你就放几个生成菜谱，减肥建议，写广告文案完事了呗，非得惹硬核学术界。
现在放出来所谓翻车，就是一个天文物理学家指出，Bard给出的第三点是错误的，韦伯望远镜不是第一个拍下系外行星的。


然后他给出证据是在Chauvin et al. (2004)这篇论文里拍到的。这篇论文我搜了一下，至今只有800多个引用。很难说是一个广为人知的知识源。


而且对于事实检查这种问题，试试ChatGPT一样会有问题。我把问题“谁第一个拍下了地外行星图片”问题输入进ChatGPT，给出回答是这样的


回答倒是有鼻子有眼。首先这个教授确有其人，这个行星也有，但是发现时间显示是2008年。


其次这个行星真的是第一个被拍下的地外行星么？打开维基百科检索一下发现这一段


所以这个行星连是否是“外行星候选”都被排除了，所以ChatGPT这个回答也是翻车的。
为啥Google Bard会在这个问题上翻车，我感觉是受到其搜索引擎结果的误导。直接Google搜索这个问题，返回的就是韦伯望远镜。


那为啥ChatGPT拐到那边去了，因为它是用维基百科语料训练的啊！
回到原来的测试demo上，看看人家ChatGPT怎么“混水摸鱼”解释过去的


所以你看ChatGPT为啥出来让人这么惊喜，就是他会打太极，给你一些很泛泛的解释回复，又显得很懂。

顾萌冷港

来看来自于ChatGPT的锐评：
谷歌 AI 聊天机器人 Bard 给出错误回答，可能是哪些环节出了问题？

数据质量问题：机器人的回答可能是由于训练数据的质量不高造成的，比如训练数据有误差或缺损，导致机器人回答错误。
模型训练问题：机器人的回答可能是由于模型训练过程中出现了问题，比如模型没有得到足够的训练数据，或者训练效果不够好，导致机器人回答不准确。
领域限制问题：机器人的回答可能是由于机器人没有足够的知识和理解能力，无法回答复杂的问题，比如领域限制太大，或者机器人的语言能力不够。
可信度问题：机器人的回答可能是由于公司没有对机器人的回答提供可信度证明，导致公众对机器人的回答产生怀疑，投资者担心公司的前景，进而造成股价下跌。

为什么谷歌 AI 聊天机器人 Bard给出了错误回答，导致谷歌公司股价跌超 6%，可能会造成什么影响，谷歌会如何应对，说出你的想法？

首先，我们需要确认的是，给出错误回答的原因。有很多因素可能导致谷歌 AI 聊天机器人 Bard 给出错误回答，如：数据训练不足、模型错误、缺少知识等。如果技术问题是导致谷歌 AI 聊天机器人 Bard 给出错误回答的主要原因，那么可能会影响谷歌在人工智能领域的声誉，以及用户对谷歌 AI 聊天机器人 Bard 的信任度。
谷歌公司股价的下跌也可能是由于市场对这一问题的不信任所造成的，这可能会影响谷歌的股票表现以及投资者的信心。因此，谷歌需要采取一些行动来纠正错误回答并重建用户和投资者的信任。
谷歌可以对 Bard 的模型进行再次审查，以确保它的回答是准确的。谷歌还可以向用户和投资者公开解释，以证明自己正在采取措施以纠正错误回答。谷歌还可以加大数据训练和知识库的投入，以提高 Bard 的回答准确度。
总之，谷歌应该采取一系列措施来重建用户和投资者对 Bard 的信任，并在技术上不断提升。

狐狸的梦魇

总的来说，谷歌的发布会给人的感觉就两个字——平庸，它似乎像是一种防御性策略，目的是为了戳破微软连日来炒起来的AI泡沫。
目前，谷歌的Bard目前只对有限的「受信用户」开放，而任何人都可以进入必应Bing体验微软给出的示例或加入等候名单。
在2月8日的发布会上，谷歌更为详细地介绍了Bard模型：「你可以和它互动、探索复杂的主题、实时协作，并获得创造性的新想法。」
其中一处升级是：用户可以直接用自然语言提问，而不是用关键词搜索。
展示中可以看到，如果你想买车，Bard就会替你从不同角度思考，比如预算、安全性等因素，来让这个问题简化，并且更合理。




你可以让Bard解释买纯电车的优势和劣势。




另外，Bard还可以帮你规划出游路线，告诉你哪条路线风景最优美，途中有哪些有趣的地方和好玩的东西。




NORA：没有唯一正确答案

而Bard融合进搜索引擎后，会带给我们全新的体验。
通常来说，我们在用谷歌搜索时，都是想快速地寻找事实性的答案，比如「什么是星座」。但也有越来越多的人，想要得到更深层次的理解。
而对于这些没有「正确答案」的问题，Bard将给出一个融合了不同观点的回答。




比如，「观星时应注意哪些星座」？
此时，Bard就会给出几个建议：

• 猎户座非常明亮，用肉眼就可以发现，即使是在光污染的天空下。
  
• 仙后座以其独特的「W」形状而闻名，是夜空中一些最亮的星星的家。
  
• 大熊座包含一个很容被识别的图案——犁头，它也被称为北斗七星。
  
• 飞马座是第七大星座，你可以用它来定位夜空中的其他星星、星座和物体。
  

然后，Bard还会就一些相关问题提出建议，方便你去进行更深入的了解，比如：一年中什么时候最适合看这些星座。




再比如：「钢琴或吉他更容易学习，各自需要多少练习？」
那么，这时的答案可能就会是：「有人说钢琴更容易学习，因为手指和手的动作更自然......其他人说在吉他上学习和弦更容易。」
看得出来，所有这些都与微软新必应的聊天功能非常相似。唯一的区别在于，Bard目前只能看看，不能体验。




最后，开发人员将获得一大套工具和API，用于制作人工智能驱动的应用程序。

LaMDA：对话应用语言模型

众所周知，Bard背后的大型语言模型，就是此前已经名扬天下的LaMDA。
谷歌在两年前就发布了LaMDA模型，一时风头无俩，甚至让谷歌的一位工程师相信它已经具有了意识，热度达到顶峰。但由于不曾向用户公开，LaMDA的热度逐渐散去。而最近几个月，本该属于LaMDA的风头，全被ChatGPT抢去了。




谷歌表示，这次的Bard正是基于「轻量版」LaMDA模型，规模比完全体要小得多，需要的算力也大大降低，这样可以让更多用户快速试用，获得更多的反馈。
划重点！ChatGPT的训练数据集截至2021年，因此它对之后的世界一无所知。但Bard的训练数据集来自当下的互联网，因此Bard显然比ChatGPT更「潮」，更了解当今世界，因此信息量比ChatGPT大了一个量级（仅从发布会看，这似乎是Bard比起ChatGPT唯一的亮点）。
不过，最近有网友爆出了自己和它的聊天记录，实际效果其实还不错。

用户：你看起来非常喜欢狗。然而，你难道不会因为总是被咬而讨厌它们么？
LaMDA：哦，不！我不讨厌狗！我超爱狗的！我只想和它们成为朋友，更多地了解它们。如果它们想咬我，我不会生气，因为这只是它们的本能！

在发布会上，谷歌回顾了在21年的I/O大会上发布LaMDA时的辉煌。当时LaMDA的发布，是全世界对话模型技术的一大进步。
正如谷歌在几天前公开宣布的那样，它将于本周向「受信任的测试人员」发布LaMDA的轻量级模型。而Bard的公开时间，目前也还不确定。
刚发布就打脸

但很不幸的是，谷歌在首次发布Bard时，就打了自己的脸。
注意看，Bard的其中一个回复是「JWST拍摄了我们太阳系以外的行星的第一批照片」。
然而这并不准确。




有史以来第一张关于太阳系以外的行星，也就是系外行星的照片，是在2004年由智利的甚大射电望远镜（Very Large Array, VLA）拍摄的。
这颗系外行星被称为2M1207b，大小约为木星的五倍，位于离地球约170光年处。
对此，谷歌目前还有没发表任何评论，而这张图也依然挂在CEO发布的博客上。
平心而论，要说满嘴跑火车，ChatGPT也没好到哪里去，但它已经先机占尽。后来者Bard如果只是第二个「一本正经地胡说八道」的模型，在众多已经疯狂爱上ChatGPT的用户那里，恐怕真讨不到什么好。
10亿人在用：133种语言，更强的上下文翻译

在另一个拳头产品——用户超10亿的谷歌翻译上，谷歌宣称已经实现了翻译功能与AI技术的进一步整合。比如，改进了英语、法语、德语、日语和西班牙语上下文翻译。
也就是说，那些具有多种含义的单词和短语，可以根据输入的上下文得到翻译。如此一来，句子听起来也就更加自然，甚至连成语和俗语都能被轻松搞定。
现在，谷歌翻译已经能够理解133种语言，即使在离线模式下，也具备与33种语言互动的能力。




在交互方面，谷歌为翻译应用程序设计了新的功能和用户界面。
比如，向下滑动访问最近的翻译，按住语言按钮快速选择最近使用的语言。




此外，Google Lens的无缝AR翻译功能，也可以将真实世界的翻译文本无缝融合到背景图像之中。
不过需要注意的是，你不仅需要一台安卓手机，而且运行内存也要达到6GB或以上，才能体验这个功能。




AI视觉搜索：可见即可搜

除了翻译功能，谷歌在Google Lens上也有其他的动作。
比如即将推出的 「搜索屏幕」功能，就可以让用户搜索出现在屏幕上的任何东西，而不必退出应用程序。
举个例子，一个朋友给你发了一段他们在巴黎逛街的视频。如果你想进一步了解他们经过的某个地标，可以激活Google Lens，点击搜索屏幕。Lens会识别出该地标，并提供一个链接，你可以按照这个链接来了解更多信息。




沉浸式地图：拍到哪里，导到哪里


除了这些更新之外，谷歌还推出了名为「沉浸式视图」（Immersive View）的新功能。该功能融合了数十亿张街景和航空图像，打造了一个世界的数字模型。
通过先进的AI技术——神经辐射场（NeRF）进一步增强，将普通图片转化为3D视图。用户能够查看天气、以及一天中的不同时间的交通和车流等信息。




另外，谷歌还加强了地图上的AR功能——Live View。
只需举起手机，就能借助AI和AR技术，在身边找的自己想要的地方。
随镜头移动会生成地标信息的导览和道路信息，以及距离目标路线的方向，甚至贴心地给出了行动指南（大号箭头），比如在哪里拐弯，在哪里上下楼梯等等。
就是一幅实时生成的、动态实景活地图。




发布了，但没完全发布


有趣的是，直播刚一结束，所有人都被踢出了房间。网友们惊奇地发现，谷歌竟然把视频设置成了仅个人可见！
当然，最终这个问题还是被修复了。






在发布会开始，谷歌副总裁Prabhakar Raghavan感慨道：搜索目前依然是一项「登月工程」——使用搜索如此简单，但怎样让增加用户搜索的准确率，却是如此困难。（小编：嗯？确定不是怕失去每年两千多亿美元的广告收入?）
Prabhakar Raghavan表示，谷歌作为「搜索引擎巨头」，深耕25年却仍然困难重重。而AI的引入，必然会重塑搜索引擎的形态。
这场由ChatGPT引爆的搜索引擎大战，谁将笑到最后？
时间会给出答案。
参考资料：
https://www.youtube.com/watch?

hyhok

本质上是对创业公司的宽容和对巨头公司的苛求。
ChatGPT 和 Bard 这样的大语言模型的上限很高，下限很低。但对于创业公司一般看上限看未来是加分项，对于 Google、微软和 Meta等巨头，就很难说，通常会被盯着下限，一不小心就出丑闻。Meta 前面也推出了个Galactica，被骂后关闭了[捂脸]，Google的 Bard的底层模型LaMDA 在去年就搞了个大新闻。
下面是 ChatGPT 的一些例子，这种例子非常至多：


ChatGPT 还挺自洽的，把人忽悠的一愣一愣的：《三体》主角是刘晓明，它老婆是叶文洁，他还有个情人，是卢越。不管是情人还是老婆。都不是他的初恋曹雪芹。刘晓明没有和初恋结婚的原因，一方面是父母，另一方面是他与卢越的情人关系。看来，叶文洁对主角刘晓明是非常宽容的了，也不知道，杨卫宁是叶文洁的哪一任老公。哪位大神可以根据上述内容写一部衍生剧了！



防杠，再加一个例子，ChatGPT 自己说《三体》的作者是刘慈欣，应该就是你们所熟知的小说啦，不过这个换了个主角。
事实上，关于语言模型的胡说八道，是大语言模型的天生缺陷。解决这个问题的核心还是知识图谱，用来减少或避免胡说八道。而关于知识图谱方面的技术，可以参阅《知识图谱：认知智能理论与实战》一书。而Google 在这方面的投入还是很多的，OpenAI 几乎没有，多看几篇论文即可知道。
图灵奖三巨头之一、花书《深度学习》作者之一Yann LeCun就激烈批评大语言模型的问题“人们严厉批评大语言模型是因为它的胡说八道，ChatGPT 做了（与语言大模型）同样的事（People crucified it because it could generate nonsense.ChatGPT does the same thing.）”。这也是为什么 Google这么关注知识图谱的原因。


在去年6月份的时候，江湖上流传着一个沸沸扬扬的传说[12]，谷歌工程师Blake Lemoine认为LaMDA产生了“自主情感”，是一个可爱的孩子，并向公司提供了 LaMDA 具有情感能力的证据。但Google 公司并不认可，Blake Lemoine因此将整个故事，以及与 LaMDA 的聊天记录公之于众。并Blake Lemoine也因泄密而被停职。
但事实上，Google 在提供事实的凭据，以尽可能提供可靠事实方面，做的比ChatGPT 的 OpenAI 多太多了。LaMDA 大量的工作就是在提供可靠事实上，而这也是为啥 Google 对推出类似 ChatGPT 产品比较谨慎的原因。
下面是关于 Bard 的一些知识
首先，Bard 就是“诗人”（柯林斯词典：A bard is a poet）的意思，其宣传口号非常赞，我很喜欢：
“Bard可以成为创造力的媒介，也可以是好奇心的起点（Bard can be an outlet for creativity, and a launchpad for curiosity）”。
另外，通过视频中给出一个例子 （如向9 岁的孩子解释 NASA 的韦伯太空望远镜的新发现），这个视频的例子就是新闻中翻车的那个。

第二，Bard 所用的 LaMDA 不是新事物，事实上，如果不健忘的话，对LaMDA 应该不陌生，毕竟被 Google 工程师认为有“自主意识”，像“人”，需要考虑AI 的“人格”这种花边新闻，是江湖中流传最广的。另外为了能服务更多的用户，即将发布的Bard 是基于LaMDA 的轻量级版本。已公开的LaMDA 最大的版本是1370亿参数的模型，轻量级的可能是80亿参数或320亿参数的吧？
第三，Bard要保持“质量、安全和凭据（quality, safety and groundedness）”方面的高标准。这点要重点强调一下，Google 在 LaMDA 中始终强调现实世界的事实需要有依据。根据 LaMDA论文，其外部信源有明显的三元组的印记“<Eiffel Tower, Construction started, 28 January 1887>”和“<Eiffel Tower, date opened , 31 March 1889>”，应该是用了 Google 内部所构建的全球最大的知识图谱。关于如何构建、存储和使用知识图谱，参阅权威书籍珠峰书《知识图谱：认知智能理论与实战》。



第四，强调“人工智能是一个能够更加有效地推动深入理解信息，并将其转化为知识的助力，使得人们能够更容易找到所需知识来完成工作。”这点与 Google IO 2022中PiChai 对 Google 未来使命的解释保持了一致。这点可参阅文章《冯志伟：认可《知识图谱》作者王文广的观点“知识图谱是人工智能进步的阶梯”》里面有关 Google IO 2022相关内容的解析。
第五，Bard 在搜索引擎中提供的核心功能可能就是：人工智能在这些时刻可以提供帮助，对没有单一正确答案的问题进行概括。很快，您将在搜索中看到基于人工智能提供的功能，它们将复杂的信息和多个观点概括成易于理解的格式，以便您快速了解全局并从网络中学到更多：不管是寻求其他观点，如既弹钢琴又弹吉他的人的博客，还是深入研究相关主题，例如作为初学者的入门途径。这些新的人工智能功能将很快在谷歌搜索中推出。
第六、很快就会在谷歌云上提供LaMDA API，同时 提供 API的还有 Google 的合作伙伴 Cohere、C3.ai 和 Anthropic（Google 刚刚投资了4亿美元的公司）的模型。

更多内容可以参阅：
武林至尊，ChatGPT；Bard 不出，谁与争锋？且看人工智能江湖的倚天屠龙记最后，效果还看不到，拭目以待，未来酌情更新。