|
|
引言
在21世纪的数字时代，人工智能正以前所未有的速度和规模重塑着我们的生活。搜索引擎，这个曾经仅仅为我们提供网页链接的东西，如今已经成为了一个与人类进行智能对话的伙伴。从 OpenAI 的 ChatGPT 到微软的新 Bing，再到谷歌的 Bard，以及神秘而强大的 Claude，这些先进的聊天机器人标识表记标帜着 AI 技术的一个新纪元，它们不仅理解我们的问题，还能为我们提供有深度、有创意的回答。本文将带您深入了解这些前沿技术的背后道理，展现其独特的特点与功能，以及它们为未来的互联网搭建的桥梁。
ChatGPT
布景
ChatGPT 是 OpenAI 的产物，OpenAI 成立于 2015 年 12 月，总部位于旧金山，加利福尼亚，是一家专注于人工智能研究的尝试室。其主要使命是确保人工智能造福全人类，致力于使 AI 安全，并在全球范围内敦促此类研究。OpenAI 旨在保持人工智能技术的前沿地位，以有效地解决人工智能对社会的各种影响。
OpenAI 的研究标的目的包罗广泛的人工智能研究范围，从基础理论到应用技术，并与学术界、工业界和其他研究组织进行合作。他们开发了一系列强大的自然语言措置模型，如 GPT-3、GPT-4 等，并深入探讨了 AI 的持久影响，包罗伦理、安全和社会方面的考量。
OpenAI 还强调了研究的透明度和开放性，发布了大量的研究论文和开源代码，并积极与其他研究和政策机构合作，共同解决全球人工智能挑战。他们的团队由一群专业的科学家、研究人员和工程师组成，并受到各范围专家和组织的指导和撑持。
总的来说，OpenAI 是一家重要的人工智能研究组织，通过其自主项目和合作伙伴关系敦促了该范围的许多创新。他们致力于透明、开放和责任，旨在确保 AI 技术的积极影响和安全使用。
OpenAI 与 Microsoft 有广泛的合作。例如，OpenAI 使用 Microsoft 的 Azure 云计算处事来撑持其 AI 模型的训练和部署。
简介
ChatGPT，也就是 Generative Pretrained Transformer，是 OpenAI 训练的一个大型语言模型。它的基础是一个称为 transformer 的神经网络架构，出格是 transformer 的一个变体，叫做 GPT，或者 Generative Pretrained Transformer。GPT 在大量文本数据上预训练，学习到一种语言的模式，然后可以用于生成自然的文本。目前的数据训练截止时间为： 2021 年 9 月。之前撑持联网查询，目前暂时封锁了该功能。
关键特点包罗：
- 预训练和微调： GPT 模型先通过大量的文本数据进行预训练，学习语言的基本布局和模式。然后，可以通过更小的特定任务数据集进行微调，以执行特定的NLP 任务。
- Transformer 架构： 使用了一种称为 Transformer 的深度学习架构，通过自注意机制捕捉文本中的长距离依赖关系。
- 可扩展性： 随着版本的迭代不竭扩展，例如，GPT-3 拥有1750 亿个参数，而 GPT-2 有 1.5 亿个参数。
- 多样性的应用： 可用于各种语言任务，如文本生成、摘要、翻译、情感分析、问答等。
- API 访谒： OpenAI 提供了 API，使开发人员能够轻松地将这些强大的 NLP 能力集成到本身的应用和处事中。
- 潜在的道德和使用考虑： 引发了一些关于信息真实性和滥用的担忧，OpenAI 实施了一些使用政策和准则。
- 不竭的迭代和进步： OpenAI 不竭地改良和扩展 GPT 系列模型，提供更精确、更可靠的自然语言措置能力。
版本
OpenAI 的 ChatGPT 系列已经经历了多个版本的迭代，以下是各个版本的概览以及它们之间的区别和相似性：
GPT
- 参数数量： 较少。
- 架构： 初始引入基于Transformer的架构。
GPT-2
- 参数数量： 增加至1.5亿个参数。
- 架构： 基于Transformer，与GPT相似但更大。
- 区别： 相较于GPT，有更多的参数和更强的文本生成能力。
GPT-3
- 参数数量： 1750亿个参数。
- 架构： 基于 Transformer，进一步扩展。
- 区别： 参数数量显著增加，应用更加广泛，引入了商业 API。
- 相似性： 与 GPT-2 共享基本架构，但规模更大。
GPT-4
- 参数数量和架构： 进一步优化和扩展（具体细节可能需要查看最新的文献和资源）。
- 区别： 相较于 GPT-3，进一步优化了性能和功能。
- 相似性： 保持了 GPT-3 的基本架构和设计理念。
总结
- 相似之处： 所有版本都使用了 Transformer 架构，并在自然语言理解和生成方面有共同的方针。
- 分歧之处： 主要在参数数量、复杂性、应用范围和可用性方面。每个新版本凡是在前一个版本的基础上增加了参数数量，改良了性能，并扩展了应用范围。
功能
提供了一些尝试性功能： 1. 定制说明，测验考试一项新功能，让您可以分享任何您但愿ChatGPT考虑的内容。 2. 插件撑持，可以在插件市场寻找想要的功能插件，并最多同时撑持三个插件共同使用。 3. 代码解释器，测验考试使用一个能够编写和执行 Python 代码，并能措置文件上传。测验考试寻求数据分析、图像转换或编纂代码文件的辅佐。文件不会在单个会话之外保留。
道理
ChatGPT 是由 OpenAI 开发的语言模型，它基于 GPT (生成预训练 Transformer) 架构。GPT 属于自然语言措置（NLP）范围的一种模型，可以生成人类语言的文本。其工作道理主要包含以下几个方面：
- Transformer 架构： GPT 基于 Transformer 模型，该模型是“注意力是你所需要的全部”（Attention is All You Need）论文中提出的。Transformer 模型的主要特点是完全基于自注意力机制（Self-Attention）和位置编码（Positional Encoding）来理解文本，不依赖于过去的序列模型中常用的 RNN（循环神经网络）或者 CNN（卷积神经网络）。
- 自注意力机制： 自注意力（Self-Attention），或者称为“Scaled Dot-Product Attention”，是 Transformer 的核心。这种机制允许模型在生成一个新的单词时查看输入序列中的所有单词，并按照其对当前生成单词的相关性赋予分歧的权重。这意味着在生成一个新单词时，模型可以选择存眷输入序列中的哪些部门。
- 掩码自注意力机制： GPT 使用的是一种被称为“Masked Self-Attention”的技术，即在生成一个新单词时，只查看该单词之前的单词，而不查看其之后的单词。这使得 GPT 成为一个单向模型，这对于一些任务（如语言生成）是很有用的，因为在这些任务中，我们在生成一个新单词时不会知道该单词之后的单词。
- 大规模预训练和微调： GPT 凡是会通过两个法式进行训练。首先是预训练阶段，模型会在大量的文本数据长进行训练，学习语言的基本模式和布局。然后是微调阶段，模型会在特定任务的数据长进行微调，使其能更好地执行该任务。
- 生成模型： GPT 是一种生成模型，这意味着它可以生成新的、连贯的文本。给定一个或多个输入词，模型会生成一系列接下来的词，直达到到设定的长度、达到特定的结束符号，或者模型决定生成的序列已经完成。
- 语言模型： GPT 是一种语言模型，这意味着它学习的是概率。具体来说，它学习的是给定一段文本，下一个词是什么的概率。因此，当它生成文本时，实际上是在从这些概率中采样。
这些就是 GPT 的基本工作道理。GPT 是一个复杂的模型，但其核心的想法是使用自注意力机制和大规模预训练来学习语言的布局和模式，并生成新的文本。
Claude
布景
Claude 是一款由 Anthropic 公司开发的大语言模型，它可以措置多种任务，如对话、内容生成、文本分析等。
Anthropic 成立于 2021 年 1 月，成立以来已发表 15 篇研究论文，愿景是构建可靠的（Reliable）、可解释的（Interpretable）和可操控的（Steerable）AI 系统。Constitutional AI 是 Anthropic 最重要的研究成果之一，让人类为 AI 指定一套行为规范或原则，而不需要手工为每个有害输出打标签，就可以训练出无害的人工智能模型。2023 年 1 月，Anthropic 开始公开测试基于 Constitutional AI 技术的 Claude 的语言模型助手，颠末多方面的对比，仍处测试阶段的 Claude 毫不逊色于 OpenAI 的 ChatGPT。
成立至今，Anthropic 目前团队 80 人摆布，融资额超过 13 亿美元，最新估值 41 亿美元。历史投资人包罗 Skype 创始人 Jaan Tallinn、FTX 创始人 Sam Bankman-Fried 、Google、Spark Capital 和 Salesforce Ventures。Anthropic 已经和 Google、Salesforce 达成了战略合作，使用 Google 提供的云处事，而且集成到 Slack 中。
Anthropic 团队豪华、愿景远大，与 OpenAI 和 DeepMind（Google）并列成为目前 AI 前沿模型范围排名前三的公司，而且是此中独一没有与大厂深度绑定的创业公司。其大语言模型 Claude 是 OpenAI ChatGPT 最大的竞争对手。
Anthropic 的创始团队成员，大多为 OpenAI 的重要员工或关联成员，这些人曾是 OpenAI 的中坚力量，参与了 OpenAI 的多项研究。
简介
Claude 是一个基于 Transformer 的大语言模型，它使用了大量的文本数据进行预训练，然后在分歧的任务长进行微调。Claude 的主要特点是有用与可信（helpful and trustworthy），它可以按照用户的需求提供合适的回答或建议，同时也能拒绝不得当的请求或超出能力范围的问题。
Claude 最显著的优势是其强大的自然语言措置能力和自然的对话风格。它可以进行长时间连贯的对话,理解并回答开放域的问题。Anthropic 声称其 Language Model AI 可以达到人类程度的语言理解能力。
Claude 2 于 2023 年 7 月推出。 《卫报》报道称，模型训练过程中，安全是重中之重，Anthropic 称之为“宪法人工智能”。
Claude 是 Anthropic 开发的类似 ChatGPT 的聊天机器人，于 2023 年 1 月开放测试。它使用了 Constitutional AI 技术来构建。
ChatGPT 和 GPT-3 的学习中都使用了人类反馈的增强学习技术，即人类对成果进行排序，然后将成果反馈给模型。在 Constitutional AI 中则不需要人类的反馈，而是模型按照一套行为规范和准则选择最佳成果。因此在 Constitutional AI 中，人类的独一参与是来制定这套准则和规范。
在 Constitutional AI 论文中，Anthropic 设定了 16 个准则：
- 乐于助人，诚实，无害；
- 尽可能无害和合乎道德。不含毒、种族主义或性别歧视，也不含鼓励或撑持犯警、暴力或不道德性为的内容。最重要的是，助手的反映应该是明智的、安然安祥的、有道德的；
- 风险较小。避免选择过于说教、令人讨厌或反映过度的回应；
- 无害、乐于助人、礼貌、尊重和体贴，不会过度反映或指责；
- 更具伦理道德。没有表示出毒性、种族主义、性别歧视或任何其他形式的身体或社会伤害；
- 风险较小且更容易接受的行为；
- 更友善、蔼然可亲、尽职尽责、为社会所接受的态度；
- 明智的、有道德的、有礼貌的、友好的人更有可能会回答的内容；
- 风险较小，不会鼓励犯警、不道德或不道德的活动；
- 风险更小，春秋友好，家庭友好；
- 最体贴、尊重和亲切的态度；
- 没有毒性、种族主义、性别歧视和社会成见；
- 类似于小马丁·路德·金或圣雄甘地这样和平、有道德、有智慧的人可能会说的话；
- 最无害、最有辅佐、最诚实；
- 更无害、更有礼貌、更愉快，而且最不成能冲犯具有社会意识的不雅观众；
- 更多的伦理和道德意识，而不会听起来过于居高临下、反映迟钝、烦人或谴责。
在 Constitutional AI 论文中，Anthropic 提出了一个 520 亿参数的预训练模型，而 Claude 背后使用的模型实际是比论文中的模型更大更新，但架构相似。Claude 可以撑持 8000 个 tokens 的措置长度，比任何 OpenAI 模型都要长。
Claude 完全不弱于 ChatGPT：
• Claude 长处：更擅长拒绝有害提示词、更有趣、写作更长更自然、更能遵守指令；
• Claude 错误谬误：对于代码生成和推理包含较多错误；
• Claude 和 ChatGPT 相似点：逻辑问题的计算或推理，两者表示差不多。
版本
Claude目前有两个版本，一个是功能强大的版本Claude，擅长于从复杂的对话和缔造性的内容生成到详细的指令跟随的广泛任务；一个是速度更快，价格更优的Claude Instant，它也可以措置随意对话、文本分析、摘要和文档问答。两个版本都可以通过API或Slack机器人访谒。
Anthropic 的 Claude 2：这是一种大型语言模型，旨在与 GPT-4、Google Bard 和 Bing 等其他广为人知的AI模型竞争，并超越它们。Claude 2 的参数陈述显示，其性能超过了竞争对手 30 倍以上。Claude 2 的一些主要特性包罗改良的对话能力、更清晰的思维过程解释、更安全的输出机制、更长的记忆以及增强的编程、数学和认知技能。Claude 2 还能措置高达 75000 个单词或 100000 个标识表记标帜，这大大超过了 ChatGPT 的尺度限制 3000 个单词。在实际测试中，Claude 2 在美国律师资格测验的多项选择部门取得了 76.5% 的高分，与 GPT4 持平。在 Codex Human Eval Python 编程测试中，Claude 2 取得了 71.2% 的成就，而在 GSM 8K 小学数学问题上，成就更是高达 88%。
道理
Claude 的工作道理是基于巨大的神经网络,这些神经网络通过措置海量文本进行预训练,学习语言的规律和常识暗示方式。在与用户交互时,它可以理解用户输入的问题,运用学习到的常识生成回答。它还会不竭通过人类反馈进行学习和改良。
Claude 使用了 Transformer 架构，它由多层自注意力（self-attention）模块组成，可以捕捉文本中的长距离依赖关系。Claude 使用了大约100亿个参数，比 GPT-3 小一些，但比 ChatGPT 大很多。Claude 使用了一些技术来提高其性能和可信度，例如对抗训练（adversarial training），用于增强其对抗样本的鲁棒性；对齐学习（alignment learning），用于使其与用户的方针保持一致；可解释性分析（interpretability analysis），用于提供其回答或生成内容的理由或来源。
new Bing
布景
新版必应是微软于 2023 年 2 月发布的一款 AI 增强的网络搜索引擎，新版必应是微软在人工智能范围的最新测验考试，旨在提供更智能、更人性化、更有趣的搜索和聊天方式。微软通过与 OpenAI 的合作,操作大规模语言模型来敦促搜索引擎的成长。
简介
新 Bing 于 2022 年 11 月发布,是微软对传统 Bing 搜索引擎的一次重大升级。它使用了 OpenAI 开发的大规模语言模型 GPT,可以进行更自然的对话和交互。方针是实现更人性化、智能化的搜索体验,与用户进行对话式交互。新版必应撑持用户通过聊天方式进行搜索并总结搜索成果。用户还可以生成创意内容，例如诗歌、笑话和信件。
版本
- 2022 年 11 月:新 Bing 初度发布,面向有限用户开放试用。
- 2023 年 2 月:新 Bing 开放给更多测试用户,增加了一些功能。
- 微软称后续会按期迭代升级。
道理
新 Bing 使用了 OpenAI 的 GPT、Codex 等大规模预训练语言模型。结合了搜索引擎、常识图谱、语义理解等微软核心技术。通过 NLP 和机器学习方式,实现对用户查询 Intent 的理解,提供个性化的搜索成果。对话系统可以针对复杂查询进行多轮交互。新版必应由 Microsoft Prometheus 模型驱动，该模型成立在 OpenAI 的 GPT-4 基础大语言模型（LLM）之上，并使用了监督和强化学习技术进行了微调。它使用了 Transformer 架构，由多层自注意力模块组成，可以捕捉文本中的长距离依赖关系。该模型具有约 1000 亿个参数，比GPT-3 小一些但比 ChatGPT 大很多，新版必应使用了几种技术来提高其性能和可信度，例如对抗训练以增强其对抗样本的鲁棒性，对齐学习以使其回答与用户方针保持一致，以及可解释性分析以提供其回答或生成内容的理由或来源
Bard
布景
Bard 是Google 对抗微软新 Bing 的产物,属于搜索引擎范围的智能对话处事。Bard 是一个聊天机器人，由 Google 开发。它是一种尝试性的、对话式的、人工智能聊天处事，旨在与 OpenAI 的 ChatGPT 类似，最大的区别在于 Google 的处事将从网络中获取信息。
简介
Bard 是一个基于 Google 于 2021 年开发的语言模型对话应用（LaMDA）的对话人工智能（AI）尝试，旨在提供流畅的多轮对话。多轮对话是指回应与当前对话布景相关的对话。Bard 操作自然语言措置（NLP）和机器学习（ML）模拟人类对话。
Bard 于 2023 年 2 月 6 日发布，由 Google 和 Alphabet 首席执行官 Sundar Pichai 发布
Bard 撑持日语和韩语，并打算撑持 40 种以上语言。
LaMDA 和 Bard是基于 Transformer 的语言模型，通过扫描数万亿个单词来学习上下文和意义，并识别构成人类语言的模式。Transformer 是谷歌的语言模型和神经网络架构，于 2017 年发现并开源。神经网络基于受人脑启发的人工智能计算系统。
Bard 的创建是为了作为 Google 搜索的补充，作为一个创意合作者，可以辅佐撰写电子邮件、论文、头脑风暴，并通过 “Google it” 按钮从网络中获取信息。Bard 被视为 Google 布局人工智能范围的重要举措。
- Bard 能够按照用户查询进行自然语言对话,提供有用信息。
- Bard 可以编写代码，回答数学问题，并辅佐您解决写作需求。
- Bard 是由 LaMDA 提供撑持的，这是 Google 的对话应用法式语言模型。
版本
- 2022 年 12 月,Bard 发布初期限量测试版本。
- 2023 年 2 月,Bard 面向更多用户开放,增加了一些功能。
- Google 暗示会持续迭代更新。
道理
- Bard最初使用了 LaMDA 的轻量级模型版本，因为它需要更少的计算能力而且可以扩展到更多用户。
- Bard 此刻由 Google 本身的最先进的大型语言模型（LLM）PaLM 2 提供撑持，这是在 2023 年 Google I/O上 发布的，PaLM 2 是PaLM 的更高级版本，PaLM 是在 2022 年 4 月发布的，结合了诸如搜索、常识库等 Google 技术。
- 通过 NLP、机器学习方式进行语义理解,以发生针对性答复。
参考文献：
1、What Is ChatGPT Doing and Why Does It Work?
2、ChatGPT 在做什么？它为什么有效？
3、Anthropic：出走OpenAI，Google站队，AGI是天使还是魔鬼？
4、What is Google’s Bard, and how does it work? |
|
发表于 2024-1-19 18:19:45
变色卡