2023 年，人工智能范围有哪些前沿学术研究成果值得了解？

慕容狼君

2023 年，人工智能范围有哪些前沿学术研究成果值得了解？

195330100

今天，我为大家推荐一篇由中国科学院科技战略咨询研究院、中国科学院文献情报中心和科睿唯安联合发布了的报告《2023 研究前沿》分析报告。

报告共130页，以文献计量学中的共被引分析方法为基础，基于科睿唯安的 Essential Science IndicatorsTM (ESI) 数据库中的 12922 个研究前沿，遴选出了 2023 年自然科学和社会科学的 11 大学科领域排名最前的 110 个热点前沿和18 个新兴前沿。

对2023研究前沿感兴趣的小伙伴，速取报告！


重磅报告

【中国科学院科技战略咨询研究院/中国科学院文献情报中心/科睿唯安】  2023 研究前沿

#01#关键要点


热点前沿分析及重点热点前沿的解读

一、农业科学、植物学和动物学领域

重点热点

• 前沿一：“植物肉与细胞培养肉的替代性研究”
  
• 前沿二：“NLR 免疫受体介导的植物免疫机制”
  

重点新兴前沿

• 水果采摘机器人的识别与定位方法
  

二、生态与环境科学

重点热点

• 前沿一：土壤微塑料的环境归趋和生态毒理
  
• 前沿二：“基于自然的解决方案”的理论与应用
  

重点新兴前沿

• 人体组织中微塑料的检测与暴露
  

三、地球科学

重点热点

• 前沿一：CMIP6 模式高气候敏感度成因及影响研究
  
• 前沿二：利用重力勘测和气候试验及其后继任务研究陆地水储量变化
  

重点新兴前沿

• 汤加火山喷发全球影响研究
  

四、临床医学

重点热点

• 前沿：KRAS(G12C) 抑制剂与肿瘤靶向治疗
  

重点新兴前沿：猴痘感染暴发

四、生物科学

重点热点

• 前沿：第三代长读长测序技术解析人类基因组结构变异
  

重点新兴前沿：铜死亡：铜诱导肿瘤细胞死亡机制

五、化学与材料科学

重点热点

• 前沿一：海水电解催化剂
  
• 前沿二：电催化合成过氧化氢
  

重点新兴前沿

• 高性能 HER 和 ORR 光催化剂的开发及其在太阳能燃料合成中的应用
  

六、物理学

重点热点

• 前沿一：笼目超导材料 AV3Sb5 的特性研究
  
• 前沿二：双场量子密钥分发
  

重点新兴前沿

• 基于 W 玻色子质量精确测量结果的理论研究
  

七、天文学与天体物理学

重点热点

• 前沿一：“激光干涉仪引力波天文台”“欧洲引力波探测器”引力波瞬态目录 2 及其对致密天体性质的揭示”
  
• 前沿二：重复快速射电暴的观测及性质研究
  

重点新兴前沿：俄德合作‘光谱 -RG’空间天文台上的 eROSITA望远镜观测结果

八、数学

重点热点

• 前沿一：Onsager 猜想的证明
  
• 前沿二：基于随机块模型的社区发现
  

九、信息科学

重点热点

• 前沿一：脉冲神经网络及其神经形态芯片
  
• 前沿二：生成式对抗网络
  

十、经济学、心理学及其他社会科学

重点热点

• 前沿一：供应链风险管理及区块链技术在其中的应用
  
• 前沿二：人工智能（AI）伦理
  

重点新兴前沿：“以人为本、可持续性和富有弹性的工业 5.0 发展


#02#报告节选

想看报告的朋友，可点击下方阅读报告原文~


【中国科学院科技战略咨询研究院/中国科学院文献情报中心/科睿唯安】  2023 研究前沿



































参考报告

【中国科学院科技战略咨询研究院/中国科学院文献情报中心/科睿唯安】  2023 研究前沿

Ran0363

可持续学习的边缘计算系统

人工智能任务日益复杂、多样且动态变化，传统机器学习方法往往基于固定数据集训练任务，无法适应环境变化，如何使AI系统具备多任务持续学习的能力成为亟需解决的问题。近年来，随着摩尔定律的停滞，以衍射神经网络为代表的光学架构作为新的计算模态，在功能和效率方面展现出巨大潜力。然而，当前光电计算模型仍普遍存在“灾难性遗忘”（catastrophic forgetting）的问题，学习新任务会失去先前任务的记忆。
受人脑实现可持续学习的神经突触机制启发，辛米尔研发团队联合清华大学实验室首创了一种可重构终身学习架构，首次以光计算的方式在单一模型中超高效地完成数十种任务。该成果发表于Nature子刊《Light：Science & Applications》，通过稀疏光连接及多光谱并行计算等关键模块，赋予光计算系统超越现有技术的功能、通量与能效，为智能系统在边缘硬件的实际部署提供了光速解决方案。
行业背景与技术挑战

目前的人工智能模型大多只能处理给定的任务，当环境发生变化便无能为力，距离人们需要的通用智能相差甚远。智能系统的可持续学习能力是AI领域发展的重要瓶颈，正受到广泛关注。反观人类本身，在不断成长的过程中，人脑可以终身学习并掌握各种技能。如何借鉴人脑的终身学习机制，挖掘大规模可持续进化的计算范式成为了极具挑战性的研究方向。
然而，随着传统硅基电子计算芯片的算力和功耗严重受限，难以满足现实迫切所需的大规模高通量数据处理需求，因此探索新的计算技术和模态是未来智能系统发展的必然趋势。近年来，以光计算为基础、通过光电融合的方式构建光电神经网络已成为国际前沿的热点研究。发挥光计算高算力低功耗的特有优势，可以突破传统电子计算长延时、高功耗等瓶颈，实现计算性能的颠覆性提升，有望在算力上提升3个数量级，在能效上提升6个数量级，从而引领新一代人工智能领域的变革。
虽然以衍射神经网络为代表的各式光网络不断涌现，但是现有的光电系统中的基本光学计算单元普遍受限于固化的结构与较低的扩展性，极大地限制了光本身的物理潜能和计算能力。导致当前光网络只能实现简单的单一任务，学习新任务时无法克服灾难性遗忘的问题。
L²ONN：稀疏可重构光计算，支撑终身学习智能系统

针对上述问题，辛米尔研发团队联合清华大学实验室提出了终身学习光计算架构L²ONN（Lifelong Learning Optical Neural Network）（如图1所示），创新性实现了可持续学习的多任务智能系统。受益于大规模光连接中固有的稀疏性和并行性，光计算天然地模仿了人脑中神经元和突触的终身学习机制。通过自适应地激活相干光场中的稀疏光连接来学习每个任务，同时逐渐激活光计算来持续获得对各种任务的经验信息，多任务光学特征由分配有不同波长的多光谱表征并行处理。所提出光终身学习架构从理论上确保了光本身物理特性带来的可扩展性和通用性，构建了新型神经形态计算体系，赋予智能系统以光速计算的能力。



图 1. 光终身学习框架示意图。

为评估L²ONN的可持续学习能力，辛米尔研发团队在多个具有挑战性的数据集上进行了仿真验证（如图2所示）。大量实验证实，L²ONN首次避免了普通光神经网络的灾难性遗忘问题，在多种数据（视频理解、语音识别、医学诊断等）上完成多任务终身学习，其学习能力比普通光神经网络高出14倍以上。



图 2. 光终身学习架构在多项数据集下的增量学习结果。

进一步，团队基于衍射计算模型实际制造了光终身学习芯片（如图3所示），并利用其实现了持续学习和并行处理，完成了光学智能系统在边缘硬件的实际部署。最终结果表明，该芯片使用有限的计算资源，计算能效比典型的电神经网络高出一个数量级以上。



图 3. 光终身学习芯片原型系统、增量学习过程以及设计原理。

前景展望

该文提出的稀疏可重构光网络展现了可持续学习在边缘计算架构上的巨大潜力。随着硅光芯片集成技术的发展，光终身学习芯片可实现的规模将越来越大，为智能系统在边缘硬件的实际部署提供了可持续学习的光速解决方案。该光计算架构以其在功能、通量、能效上的优势，有望显著提升通用人工智能在工业制造、智慧城市、自动驾驶等关键领域的发展，使边缘智能计算系统拥有像人类一样对现实世界复杂任务的适应能力。
论文信息

该研究成果以“Photonic neuromorphic architecture for tens-of-task lifelong learning”为题在线发表于Nature子刊《Light：Science & Applications》，影响因子20.26。辛米尔CTO程远博士为论文的第一作者，清华大学方璐教授为论文的通讯作者。该课题得到科技部重大项目、国家自然科学基金面上项目、辛米尔预研项目等基金支持。


关于《自然》(Nature)：
创刊于1869年，是全球最知名的科学期刊之一，涵盖各学科领域，已连续10几年名列多学科领域影响因子排名第一。《自然》期刊一直致力于出版最优质、在科学技术各领域经同行评审的研究成果，贯彻并坚持其原创性、重大性、跨学科影响力、时效性、读者亲和力，发表全球最前沿的学术成果。自然系列子刊以满足特定领域科研人员的需求。每一个自然子刊，自创刊之日起，就具有巨大的影响力。



<hr/>辛米尔研发团队

辛米尔研发团队长期致力于计算机视觉、行为分析、边缘计算、硬件加速架构、人工协同方向的研究。其中自研的事件记录追溯系统、工业安全视觉防护系统、生产过程行为理解系统、视频智能分析平台、人工智能训练平台、设备与数据管理平台、工业存储器等多款产品已广泛应用于如：汽车、3C、新能源、半导体、家电、轨道交通、生物医药等行业。
辛米尔视觉科技是一家专注于打造AI边缘视频理解系统的国家高新技术企业，为各行业提供生产过程管理、实时视频分析的整体解决方案。

119911k

说几个个人比较感兴趣的。
一、LLMs & RLHF

最值得关注的肯定是LLMs，OpenAI去年11月份发布的ChatGPT引爆人工智能领域，直接导致AI大模型在2023年一整年都是AI领域、甚至整个科研领域最火的概念之一。
1、GPT-4(vision)

• GPT-4技术报告
  
• GPT-4v技术报告
  

GPT-4 是OpenAI今年3月份发布的最强的大语言模型，相比于GPT-3.5，它是多模态模型（接受图像和文本输入，输出文本），在各种专业和学术benchmark测试中表现出与人类相当的能力。例如，它通过了模拟律师资格考试，成绩在考生中的前 10% 左右；相比之下，GPT-3.5 的成绩在最低 10% 左右。


RLHF

以GPT-3.5/4系列为代表的大模型的成功离不开RLHF（基于人类反馈的增强学习），人类对语言模型在特定输入下的输出进行评级，利用这些评级来学习一个基于人类偏好的奖励模型，然后使用这个模型作为奖励信号，通过强化学习（RL）对语言模型进行微调。RLHF 是LLMs成功的核心，特别是那些为chatbot设计的模型。
但是RLHF也不是万金油，它需要雇用人类来评估和反馈模型输，使得它成本高昂，小公司玩不动，并且可能存在偏见。

• 这篇综述文章，总结了RLHF的局限和挑战。Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback
  

RLAIF

为了解决RLHF方法成本高的问题，研究人员想到能否用AI模型代替或部分代替人类完成supervision。RLAIF，顾名思义，把RLHF中的Human换成AI，代替人类注释者。

• Self-Instruct，在这个框架中，模型生成指令、输入和输出样本，然后基础它们来微调自己的参数。
  

• RLAIF，谷歌的工作，文章表明大语言模型可以通过用它们自己的输出进行训练来提高性能。
  

二、多模态+机器人

也可以说是具身（embodied）智能。AI模型能够直接利用真实世界中连续的传感器信息（比如视觉传感器图像），而不仅仅依赖于文本输入。

• PaLM-E（谷歌），PaLM-E由两部分组成，PaLM（5400亿）+ViT-22B（220亿），结合机器人，可以完成具身推理任务。
  

• RT-2 (DeepMind），从视觉语言模型到更低层级的机器人控制。
  

• RoboCat，RoboCat 是一个针对机器人操作的agent，它能够在零样本或少样本（100-1000个示例）的情况下适应新任务和新型机器人，在多个平台上展示了很好的实时性能。
  

• Champion-level drone racing using deep reinforcement learning，一个基于强化学习的用于控制无人机的自主系统，在竞速比赛中，可以达到超过人类世界冠军的水平。
  

（待续。。。

Bnnl

2023年，人工智能领域的前沿学术研究成果层出不穷，以下是一些值得了解的内容：

• 大型语言模型：大型语言模型是2023年人工智能领域最引人注目的成就之一。这些模型能够理解和生成人类语言，具有广泛的应用前景，如自然语言处理、机器翻译、聊天机器人等。其中，GPT-4等大型模型取得了令人瞩目的成果，它们不仅具有更高的性能，而且能够处理更复杂的语言任务。
  
• 深度学习：深度学习是人工智能领域最重要的技术之一，它能够从大量数据中学习并提取有用的特征。在2023年，深度学习在图像识别、语音识别、自然语言处理等领域取得了重大进展。例如，研究人员使用深度学习技术开发出了更准确的人脸识别算法和更高效的语音识别系统。
  
• 强化学习：强化学习是一种通过试错来学习的方法，它允许智能体在与环境交互的过程中自主学习。在2023年，强化学习在游戏AI、机器人控制等领域取得了重大进展。例如，AlphaGo Zero等算法通过强化学习实现了超越人类的围棋水平。
  
• 计算机视觉：计算机视觉是人工智能领域的一个重要分支，它涉及到图像识别、目标检测、图像生成等技术。在2023年，计算机视觉技术在安防、医疗、自动驾驶等领域取得了广泛应用。例如，研究人员使用计算机视觉技术开发出了能够自动检测癌症的算法和更准确的人脸识别系统。
  
• 人工智能芯片：随着人工智能技术的不断发展，对计算能力的需求也在不断增加。为了满足这种需求，研究人员在2023年开发出了更高效的人工智能芯片。这些芯片具有更高的性能和更低的功耗，可以加速深度学习等计算密集型任务的执行速度。
  

2023年是人工智能领域取得重大进展的一年，上述前沿学术研究成果不仅展示了人工智能技术的潜力，也为未来的研究和发展提供了重要的参考和启示。

2023第一性原理科研服务器、量化计算平台推荐 - 知乎 (zhihu.com)


生物信息学必备网站大全 - 知乎 (zhihu.com)
生物信息学简史 - 知乎 (zhihu.com)
Llama-2 LLM各个版本GPU服务器的配置要求是什么？ - 知乎 (zhihu.com)
人工智能训练与推理工作站、服务器、集群硬件配置推荐


整理了一些深度学习，人工智能方面的资料，可以看看
一文看懂英伟达A100、A800、H100、H800各个版本有什么区别？ - 知乎 (zhihu.com)
机器学习、深度学习和强化学习的关系和区别是什么？ - 知乎 (zhihu.com)
人工智能 (Artificial Intelligence, AI)主要应用领域和三种形态：弱人工智能、强人工智能和超级人工智能。 买硬件服务器划算还是租云服务器划算？ - 知乎 (zhihu.com)
深度学习机器学习知识点全面总结 - 知乎 (zhihu.com)
自学机器学习、深度学习、人工智能的网站看这里 - 知乎 (zhihu.com)
2023年深度学习GPU服务器配置推荐参考（3） - 知乎 (zhihu.com)


多年来一直专注于科学计算服务器，入围政采平台，H100、A100、H800、A800、L40、L40S、RTX6000 Ada，RTX A6000，单台双路256核心服务器等。

bill99

下面分几个方向综述一下人工智能领域前沿学术研究成果
一、人工智能领域的最新研究方向
当前人工智能领域的最新研究集中在深度学习和强化学习方面。深度学习是模仿人脑神经网络结构，通过大量数据训练模型，从而使机器能够实现类似于人类思维过程的一种算法。
二、前沿人工智能研究趋势
前沿人工智能研究趋势主要包括多模态学习、迁移学习和解释性人工智能。多模态学习通过结合不同的数据源，如图像、音频和文本，来提高机器学习的效果。迁移学习则是利用已有的知识来辅助新任务的学习，减少数据需求。解释性人工智能旨在让计算机的决策过程变得更加透明和可解释。
三、前沿人工智能研究成果的应用（或者论文）（方向很多，这里只挑选一些个人比较感兴趣或者了解）
（1）GPT-4是OpenAI在2023年3月14日正式发布的新模型。GPT-4是一个多模态大模型（接受图像和文本输入，生成文本）。GPT-4可以更准确地解决难题，具有更广泛的常识和解决问题的能力。能力如下图所示：


（2）Gemini是谷歌公司发布的人工智能大模型， 也一个多模态模型。同时处理、图像和音频等信息的能力，这使得它能够更深入地理解输入内容的细节，并能对复杂主题的问题进行回答。因此，对于数学、物理等复杂的学科问题。个人感觉比GPT-4功能更强悍。如下图所示：


（3）Midjourney是一个由Midjourney研究实验室开发的人工智能程序，可根据文本生成图像，使用者可通过一些对图像的描述，就可以生成想要的很多的图像作品。它非常适合初学者使用，简单易上手，生成的图片质量高，速度快。无论你是想学习AI绘画还是应用在插画、图标、电商、美术、摄影等领域，Midjourney都是你的首选。如下图示：


四、总结
最新人工智能技术发展涵盖了机器学习领域的深度学习、自然语言处理领域的BERT预训练模型以及计算机视觉领域的图像识别等。这些技术的不断发展和应用，使得人工智能在各个行业的应用越来越成熟，为人们提供了更加智能化的解决方案，将在各个领域带来更多的创新和变革。。。