找回密码
 立即注册
查看: 801|回复: 5

学习人工智能需要哪些基础常识?

[复制链接]

1

主题

0

回帖

7

积分

新手上路

积分
7
发表于 2023-9-2 08:17:59 | 显示全部楼层 |阅读模式
它与机器学习、大数据技术应用方面有哪些联系与区别,在分歧的行业上有哪些值得成长的、有前景的应用案例?
回复

使用道具 举报

0

主题

6

回帖

18

积分

新手上路

积分
18
发表于 2023-9-2 08:18:34 | 显示全部楼层
人工智能是计算机科学的一个分支,它是一个很大的方向。
从人工智能的研究范围就可见一斑,它是一门研究如何使计算机能够模拟且实现人类智能的学科。
直白点说就是,它通过模拟人的认知过程和思维意识,使计算机具有类似人的智力水平,去做人可以做的事情。
要达成这个目的,要做方方面面的努力,这又使得人工智能产生了很多的分支。


比如如何模拟人的认知过程和思维意识,帮助计算机能像人类那样思考,就产生了「机器学习」这门计算机理论。
通过训练数据和算法模型让机器具有人工智能的方法,比如大家都知道的深度学习,是机器学习的其中一个研究方向,它是使用神经网络模拟人类大脑的工作方式。
比如如何让计算机和人对话,这就需要计算机能够理解人类语言的含义,并进行回复,这就产生了 NLP 「自然语言处理」。
用来研究计算机与人类自然语言之间的交互,比如一些智能客服,问答系统,手机上常用的 Hi Siri。
比如如何让计算机具备感知视觉信息,理解它看到的东西,就产生了「计算机视觉」。
从图像或视频中提取有用的特征,进行识别、分析和理解,现在应用在视频监控、自动驾驶、医学影像诊断等方面。
比如通过智能体与环境的交互学习最优行为的「强化学习」,比如改进人与机器之间交互方式的「人机交互」,比如...
这些都是人工智能领域中的研究方向。


随着人工智能的快速发展,ChatGPT、GPT-4 等新产品和新技术的发布,再次让人工智能变的火热,在夸克发布的《2023高考志愿》报告中,人工智能相关专业的关注度上升最快,我很高兴大家能够去关注 AI,尤其是在当今这个时代,AI 正在成为各行各业的核心驱动力。
我一直认为在当今,人人都应该去了解一下 AI 技术,借着这股技术热潮助力自己,当然我也听很多同学说有这个想法,但是不知道怎么去了解,正好最近「知乎知学堂」联合「AGI课堂」推出的「程序员的AI大模型进阶之旅」公开课,我建议大家去看一下,邀请的都是圈内的技术大佬解读最前沿的技术,只有两天的课程。
通过这个课好好了解像我们这样的普通人如何做 ChatGPT 浪潮中的超级个体,一定别忘了添加助教老师微信可以免费领 AI 大模型资料,不要白不要!
不同的研究领域侧重点各不相同,需要的基础知识也是不同的。
你拿机器学习来说,它需要的基础知识:
1、数学基础
像微积分、线性代数、概率论与数理统计,用来理解和计算机器学习中算法的数学原理与推导,以及优化方法。
2、编程基础
掌握编程语言,用来实现机器学习的算法,比如 Python、R、C++ 等。
3、数据结构与算法基础
机器学习算法中使用了很多的数据结构和算法,了解常用的数据结构与算法能更好的理解和实现机器学习算法和模型。
你像自然语言处理,它需要的基础知识:
1、数学基础
微积分、线性代数、概率论与数理统计这些内容,有助于理解 NLP 模型以及学会用它们来处理文本数据,
2、编程基础
掌握编程语言,常见的是 Python、C++ 这些可以用来编写和运行程序。
3、数据结构与算法基础。
数据结构和算法对于处理和分析文本数据非常重要,掌握常见的数据结构与算法能让自己写出更高效的 NLP 算法和模型。
4、语言学基础
这个是学习自然语言处理必须的,了解基本的语言学概念和语言结构,比如像语法、句法、语义,对于自然语言处理来说是很重要的。
再者像计算机视觉,它需要的基础知识:依然是数学基础、编程基础、数据结构与算法基础以外,你需要额外具有数字图像处理基础,熟悉数字图像技术处理的基本技术。
因为篇幅原因,再多就不列了。
你可以看到,人工智能的每个研究方向具体要做的内容不同,具体要求可能也会有所不同,但还是存在着交叉和重叠的知识内容。
也就是数学基础、编程基础、数据结构与算法
这些也是学习人工智能所需要的前置知识,最好在你学习某个具体方向之前要快速学一下,只需要学习我们能用到的就好。
不要求到精通的程度,但最少你要了解,起码在后续的学习中碰到这个知识,就算你不熟,也知道可以去哪里找到这个知识学。


数学基础

数学对于人工智能的学习至关重要,我们需要理解和应用相关的模型算法,有了数学基础,可以帮助我们理解算法模型背后的数学原理,以及后续在训练模型或者评估模型时涉及的计算过程。
大家也不要害怕,主要的就是微积分、线性代数、概率论与数理统计,这都是大学中学过的数学课程。
1、微积分
微积分是高数中的内容,重点是在微分方面,重点看一下极限、导数、偏导数、梯度。
2、线性代数
线性代数对于人工智能的学习很重要,涉及到很多矩阵的运算,重点在向量、矩阵、线性方程组、特征值、特征向量。
3、概率论与数理统计
人工智能中很多算法涉及到概率论与数理统计中的内容,比如最大似然估计,高斯分布。
这里需要看概率分布(正态分布、均匀分布、伯努利分布)、抽样分布(t 分布、卡方分布)、统计量(均值、方差、置信区间)、假设检验等。
看着挺多,其实都是学过的内容,重新复习一下就想起来。
编程基础

编程这个的重要性就不必多说了吧,不会编程啥也干不了。
刚开始你就先掌握 Python 就好了,Python 具有完善的人工智能生态系统,很多模型的代码都是基于 Python 实现的。
各种配套的第三方库和工具也很完善,比如强大的数据处理库 Numpy、Pandas,比如丰富的数据可视化库 Matplotlib、Seaborn。
如何学习 Python,提高 Python 的编程能力,不是本文的重点,可以看下面这个回答:
怎样提高自己的 Python 编程能力?后续等你到了一个更高的阶段,应该也会用到 C++,它是一种编译型语言,可以直接访问和控制底层硬件以及内存,进行精细化的内存管理和优化,在处理大规模数据时至关重要。
关于 C++ 的学习路线,我先给大家放在下面,需要的时候可以回头来看:
Rocky0429:这才是你最想要的 C++ 学习路线数据结构与算法

在本科阶段,数据结构与算法就是最重要的计算机基础课之一,不管是后续考研还是找工作都很重要,没想到吧,在人工智能的学习中,数据结构与算法依然重要。
比如常见的社交网络分析,需要使用图算法处理和分析复杂的图结构数据,使用搜索算法解决推荐系统问题,或者使用排序算法生成最终的推荐结果。
对于学习人工智能的同学,或者想以后走研究这条路,数据结构与算法一定要如臂使指。
数据结构主要就是数组、链表、栈、队列和树等。
算法重要的就是排序算法、搜索算法、图等。
如果你想详细的学习数据结构与算法,可以看这里:
Rocky0429:这才是你最想要的数据结构与算法学习路线最低要求就是大家一定要掌握原理,至于暂时写不出来,也没关系。
写在最后

把前置技能花点时间准备好,等你具体研究哪个方向,再去学对应方向的知识。
当然不管你是出于什么目的想要学习人工智能,不管以后你是不是要从事相关行业,我都希望你能在有时间去学习的时候,多多了解一下 AI,「知乎知学堂」联合「AGI课堂」的这个「程序员的AI大模型进阶之旅」公开课一定可以帮助到你!
两天的课程,找到可以借助 AI 帮助自己破局的方法,做 ChatGPT 浪潮中的超级个体!
之前看到一句很有意思的对话:

人工智能的巅峰是什么?

人工智能的巅峰时 AI 们集体讨论该如何解决人类问题。
想象一下,如果 AI 们来到知乎提出这样的问题:“学习人类需要哪些基础知识”,那会是怎样一副场景?
画面太美,难以想象。


你是因为什么而喜欢上编程的?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

0

主题

3

回帖

0

积分

新手上路

积分
0
发表于 2023-9-2 08:19:06 | 显示全部楼层
人工智能是个领域,有很多的门可以入。现在算法那边比较火一些,想从那边入门的人相对比较多。要从那边入门就需要学好数学,因为弱智能的应用项目都需要用数学来建模,而建模过程有可能会用到机器学习和大数据技术。
弱智能占据了人工智能里的半壁江山,要说应用也非常广泛,各行各业都有大量的弱智能需求。
回复

使用道具 举报

0

主题

4

回帖

3

积分

新手上路

积分
3
发表于 2023-9-2 08:19:15 | 显示全部楼层
作为一名教育工作者,我来回答一下这个问题。
首先,当前学习人工智能是不错的选择,随着人工智能技术的不断发展和应用,整个行业领域会释放出大量的相关人才需求。学习人工智能技术通常要根据自身的知识基础来选择一个学习切入点,对于初学者来说,可以按照三个阶段来学习人工智能技术,分别是基础知识阶段、人工智能平台阶段和实践阶段。
人工智能技术目前有六大主要研究方向,其中计算机视觉、自然语言处理、机器人学和机器学习这几个方向的热度比较高,相关领域正在有越来越多的产品开始落地应用,比如目前大型互联网(科技)公司推出的人工智能平台,多以视觉和语言处理为基础进行打造。对于初学者来说,从机器学习开始学起则是不错的选择。
机器学习本身的定义可以理解为从一堆杂乱无章的数据中找到一定的规律并予以应用,所以机器学习也是目前大数据分析的两种主要方式之一。学习机器学习需要有两方面基础,其一是数学基础(线性代数、概率论),其二是编程语言基础,目前Python语言在机器学习领域的应用比较广泛。初期学习机器学习知识并不会遇到非常复杂的数学知识,所以即使数学基础比较薄弱,也可以学习。
机器学习的步骤涉及到数据收集、算法设计、算法实现、算法训练、算法验证和算法应用,所以机器学习的基础是数据,而核心则是算法设计,因此要想在机器学习领域走得更远,一定要重视数学相关知识的学习。实际上,人工智能领域的研发对于数学的要求还是比较高的,但是在人工智能平台落地之后,基于人工智能平台进行的应用级开发(行业创新)对于数学的要求会大幅降低。
目前人工智能领域专业人才的培养依然以研究生教育为主,如果自学人工智能知识,通常需要较长一段时间,而且学习效果未必会得到保障,要想有较好的学习效果,最好能在岗位上边用边学,通常在一年左右就能够入门。
我从事互联网行业多年,目前也在带计算机专业的研究生,主要的研究方向集中在大数据和人工智能领域,我会陆续写一些关于互联网技术方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。
如果有互联网、大数据、人工智能等方面的问题,或者是考研方面的问题,都可以在评论区留言,或者私信我!
回复

使用道具 举报

0

主题

2

回帖

14

积分

新手上路

积分
14
发表于 2023-9-2 08:19:37 | 显示全部楼层
谢邀!
当下,人工智能成了新时代的必修课,其重要性已无需赘述,但作为一个跨学科产物,它包含的内容浩如烟海,各种复杂的模型和算法更是让人望而生畏。对于大多数的新手来说,如何入手人工智能其实都是一头雾水,比如到底需要哪些数学基础、是否要有工程经验、对于深度学习框架应该关注什么等等。

那么,学习人工智能该从哪里开始呢?人工智能的学习路径又是怎样的?
本文节选自王天一教授在极客时间 App 开设的“人工智能基础课”,已获授权。更多相关文章,请下载极客时间 App,订阅专栏获取。
数学基础知识蕴含着处理智能问题的基本思想与方法,也是理解复杂算法的必备要素。今天的种种人工智能技术归根到底都建立在数学模型之上,要了解人工智能,首先要掌握必备的数学基础知识,具体来说包括:


  • 线性代数:如何将研究对象形式化?
  • 概率论:如何描述统计规律?
  • 数理统计:如何以小见大?
  • 最优化理论: 如何找到最优解?
  • 信息论:如何定量度量不确定性?
  • 形式逻辑:如何实现抽象推理?

线性代数:如何将研究对象形式化?
事实上,线性代数不仅仅是人工智能的基础,更是现代数学和以现代数学作为主要分析方法的众多学科的基础。从量子力学到图像处理都离不开向量和矩阵的使用。而在向量和矩阵背后,线性代数的核心意义在于提供了⼀种看待世界的抽象视角:万事万物都可以被抽象成某些特征的组合,并在由预置规则定义的框架之下以静态和动态的方式加以观察。
着重于抽象概念的解释而非具体的数学公式来看,线性代数要点如下:线性代数的本质在于将具体事物抽象为数学对象,并描述其静态和动态的特性;向量的实质是 n 维线性空间中的静止点;线性变换描述了向量或者作为参考系的坐标系的变化,可以用矩阵表示;矩阵的特征值和特征向量描述了变化的速度与方向。
总之,线性代数之于人工智能如同加法之于高等数学,是一个基础的工具集。

概率论:如何描述统计规律?
除了线性代数之外,概率论也是人工智能研究中必备的数学基础。随着连接主义学派的兴起,概率统计已经取代了数理逻辑,成为人工智能研究的主流工具。在数据爆炸式增长和计算力指数化增强的今天,概率论已经在机器学习中扮演了核心角色。
同线性代数一样,概率论也代表了一种看待世界的方式,其关注的焦点是无处不在的可能性。频率学派认为先验分布是固定的,模型参数要靠最大似然估计计算;贝叶斯学派认为先验分布是随机的,模型参数要靠后验概率最大化计算;正态分布是最重要的一种随机变量的分布。

数理统计:如何以小见大?
在人工智能的研究中,数理统计同样不可或缺。基础的统计理论有助于对机器学习的算法和数据挖掘的结果做出解释,只有做出合理的解读,数据的价值才能够体现。数理统计根据观察或实验得到的数据来研究随机现象,并对研究对象的客观规律做出合理的估计和判断。
虽然数理统计以概率论为理论基础,但两者之间存在方法上的本质区别。概率论作用的前提是随机变量的分布已知,根据已知的分布来分析随机变量的特征与规律;数理统计的研究对象则是未知分布的随机变量,研究方法是对随机变量进行独立重复的观察,根据得到的观察结果对原始分布做出推断。
用一句不严谨但直观的话讲:数理统计可以看成是逆向的概率论。 数理统计的任务是根据可观察的样本反过来推断总体的性质;推断的工具是统计量,统计量是样本的函数,是个随机变量;参数估计通过随机抽取的样本来估计总体分布的未知参数,包括点估计和区间估计;假设检验通过随机抽取的样本来接受或拒绝关于总体的某个判断,常用于估计机器学习模型的泛化错误率。

最优化理论: 如何找到最优解?
本质上讲,人工智能的目标就是最优化:在复杂环境与多体交互中做出最优决策。几乎所有的人工智能问题最后都会归结为一个优化问题的求解,因而最优化理论同样是人工智能必备的基础知识。最优化理论研究的问题是判定给定目标函数的最大值(最小值)是否存在,并找到令目标函数取到最大值 (最小值) 的数值。 如果把给定的目标函数看成一座山脉,最优化的过程就是判断顶峰的位置并找到到达顶峰路径的过程。
通常情况下,最优化问题是在无约束情况下求解给定目标函数的最小值;在线性搜索中,确定寻找最小值时的搜索方向需要使用目标函数的一阶导数和二阶导数;置信域算法的思想是先确定搜索步长,再确定搜索方向;以人工神经网络为代表的启发式算法是另外一类重要的优化方法。

信息论:如何定量度量不确定性?
近年来的科学研究不断证实,不确定性就是客观世界的本质属性。换句话说,上帝还真就掷骰子。不确定性的世界只能使用概率模型来描述,这促成了信息论的诞生。
信息论使用“信息熵”的概念,对单个信源的信息量和通信中传递信息的数量与效率等问题做出了解释,并在世界的不确定性和信息的可测量性之间搭建起一座桥梁。
总之,信息论处理的是客观世界中的不确定性;条件熵和信息增益是分类问题中的重要参数;KL 散度用于描述两个不同概率分布之间的差异;最大熵原理是分类问题汇总的常用准则。

形式逻辑:如何实现抽象推理?
1956 年召开的达特茅斯会议宣告了人工智能的诞生。在人工智能的襁褓期,各位奠基者们,包括约翰·麦卡锡、赫伯特·西蒙、马文·闵斯基等未来的图灵奖得主,他们的愿景是让“具备抽象思考能力的程序解释合成的物质如何能够拥有人类的心智。”通俗地说,理想的人工智能应该具有抽象意义上的学习、推理与归纳能力,其通用性将远远强于解决国际象棋或是围棋等具体问题的算法。
如果将认知过程定义为对符号的逻辑运算,人工智能的基础就是形式逻辑;谓词逻辑是知识表示的主要方法;基于谓词逻辑系统可以实现具有自动推理能力的人工智能;不完备性定理向“认知的本质是计算”这一人工智能的基本理念提出挑战。
《人工智能基础课》全年目录
本专栏将围绕机器学习与神经网络等核心概念展开,并结合当下火热的深度学习技术,勾勒出人工智能发展的基本轮廓与主要路径。点击我获取学习资源



我们再来看看人工智能,机器学习、大数据技术应用方面有哪些联系与区别
大数据、人工智能是目前大家谈论比较多的话题,它们的应用也越来越广泛、与我们的生活关系也越来越密切,影响也越来越深远,其中很多已进入寻常百姓家,如无人机、网约车、自动导航、智能家电、电商推荐、人机对话机器人等等。


大数据是人工智能的基础,而使大数据转变为知识或生产力,离不开机器学习(Machine Learning),可以说机器学习是人工智能的核心,是使机器具有类似人的智能的根本途径。


本文主要介绍机器有关概念、与大数据、人工智能间的关系、机器学习常用架构及算法等,具体如下:


机器学习的定义

大数据与机器学习

机器学习与人工智能及深度学习

机器学习的基本任务

如何选择合适算法

Spark在机器学习方面的优势


01 机器学习的定义


机器学习是什么?是否有统一或标准定义?目前好像没有,即使在机器学习的专业人士,也好像没有一个被广泛认可的定义。在维基百科上对机器学习有以下几种定义:


“机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能,特别是如何在经验学习中改善具体算法的性能”。

“机器学习是对能通过经验自动改进的计算机算法的研究”。

“机器学习是用数据或以往的经验,以此优化计算机程序的性能标准。”


一种经常引用的英文定义是:A computer program is said to learn from experience (E) with respect to some class of tasks(T) and performance(P) measure , if its performance at tasks in T, as measured by P, improves with experience E。


可以看出机器学习强调三个关键词:算法、经验、性能,其处理过程如图所示。


▲机器学习处理流程



上图表明机器学习是使数据通过算法构建出模型,然后对模型性能进行评估,评估后的指标,如果达到要求就用这个模型测试新数据,如果达不到要求就要调整算法重新建立模型,再次进行评估,如此循环往复,最终获得满意结果。


02 大数据与机器学习


我们已进入大数据时代,产生数据的能力空前高涨,如互联网、移动网、物联网、成千上万的传感器、穿戴设备、GPS等等,存储数据、处理数据等能力也得到了几何级数的提升,如Hadoop、Spark技术为我们存储、处理大数据提供有效方法。


数据就是信息、就是依据,其背后隐含了大量不易被我们感官识别的信息、知识、规律等等,如何揭示这些信息、规则、趋势,正成为当下给企业带来高回报的热点。


而机器学习的任务,就是要在基于大数据量的基础上,发掘其中蕴含并且有用的信息。其处理的数据越多,机器学习就越能体现出优势,以前很多用机器学习解决不了或处理不好的问题,通过提供大数据得到很好解决或性能的大幅提升,如语言识别、图像设别、天气预测等等。


03 机器学习、人工智能及深度学习


人工智能和机器学习这两个科技术语如今已经广为流传,已成为当下的热词,然而,他们间有何区别?又有哪些相同或相似的地方?虽然人工智能和机器学习高度相关,但却并不尽相同。


人工智能是计算机科学的一个分支,目的是开发一种拥有智能行为的机器,目前很多大公司都在努力开发这种机器学习技术。他们都在努力让电脑学会人类的行为模式,以便推动很多人眼中的下一场技术革命——让机器像人类一样“思考”。


过去10年,机器学习已经为我们带来了无人驾驶汽车、实用的语音识别、有效的网络搜索等等。接下来人工智能将如何改变我们的生活?在哪些领域最先发力?我们拭目以待。


对很多机器学习来说,特征提取不是一件简单的事情。在一些复杂问题上,要想通过人工的方式设计有效的特征集合,往往要花费很多的时间和精力。


深度学习解决的核心问题之一就是自动地将简单的特征组合成更加复杂的特征,并利用这些组合特征解决问题。深度学习是机器学习的一个分支,它除了可以学习特征和任务之间的关联以外,还能自动从简单特征中提取更加复杂的特征。下图展示了深度学习和传统机器学习在流程上的差异。如图所示,深度学习算法可以从数据中学习更加复杂的特征表达,使得最后一步权重学习变得更加简单且有效。


▲机器学习与深度学习流程对比



前面我们分别介绍了机器学习、人工智能及深度学习,它们间的关系如何?


▲人工智能、机器学习与深度学习间的关系




人工智能、机器学习和深度学习是非常相关的几个领域。上图说明了它们之间大致关系。人工智能是一类非常广泛的问题,机器学习是解决这类问题的一个重要手段,深度学习则是机器学习的一个分支。在很多人工智能问题上,深度学习的方法突破了传统机器学习方法的瓶颈,推动了人工智能领域的快速发展。


04 机器学习的基本任务


机器学习基于数据,并以此获取新知识、新技能。它的任务有很多,分类是其基本任务之一。分类就是将新数据划分到合适的类别中,一般用于类别型的目标特征,如果目标特征为连续型,则往往采用回归方法。回归是对新目标特征进行预测,是机器学习中使用非常广泛的方法之一。


分类和回归,都是先根据标签值或目标值建立模型或规则,然后利用这些带有目标值的数据形成的模型或规则,对新数据进行识别或预测。这两种方法都属于监督学习。与监督学习相对是无监督学习,无监督学习不指定目标值或预先无法知道目标值,它可以将把相似或相近的数据划分到相同的组里,聚类就是解决这一类问题的方法之一。
点击我获取学习资源


除了监督学习、无监督学习这两种最常见的方法外,还有半监督学习、强化学习等方法,这里我们就不展开了,下图展示了这些基本任务间的关系。


▲机器学习基本任务的关系




05 如何选择合适算法


当我们接到一个数据分析或挖掘的任务或需求时,如果希望用机器学习来处理,首要任务是根据任务或需求选择合适算法,选择哪种算法较合适?分析的一般步骤为:


▲选择算法的一般步骤




充分了解数据及其特性,有助于我们更有效地选择机器学习算法。采用以上步骤在一定程度上可以缩小算法的选择范围,使我们少走些弯路,但在具体选择哪种算法方面,一般并不存在最好的算法或者可以给出最好结果的算法,在实际做项目的过程中,这个过程往往需要多次尝试,有时还要尝试不同算法。不过先用一种简单熟悉的方法,然后,在这个基础上不断优化,时常能收获意想不到的效果。


06 Spark在机器学习方面的优势


在大数据上进行机器学习,需要处理全量数据并进行大量的迭代计算,这要求机器学习平台具备强大的处理能力。Spark与Hadoop兼容,它立足于内存计算,天然的适应于迭代式计算,Spark是一个大数据计算平台,在这个平台上,有我们大家熟悉的SQL式操作组件Spark SQL;功能强大、性能优良的机器学习库Spark MLlib;还有图像处理的Spark Graphx及用于流式处理的Spark Streaming等,具体有以下优势:


完整的大数据生态系统:我们大家熟悉的SQL式操作组件Spark SQL,还有功能强大、性能优良的机器学习库Spark MLlib、图像计算的SparkGraphx及用于流式处理的SparkStreaming等。

高性能的大数据计算平台:因为数据被加载到集群主机的分布式内存中。数据可以被快速的转换迭代,并缓存后续的频繁访问需求。基于内存运算,Spark可以比Hadoop快100倍,在磁盘中运算也比hadoop快10倍左右。

与Hadoop、Hive、HBase等无缝连接:Spark可以直接访问Hadoop、Hive、Hbase等的数据,同时也可使用Hadoop的资源管理器。

易用、通用、好用:Spark编程非常高效、简洁,支持多种语言的API,如Scala、Java、Python、R、SQL等,同时提供类似于shell的交互式开发环境REPL。


07 小结


本文简单介绍了机器学习与大数据,与人工智能的关系。同时也介绍了机器学习的一些基本任务和如何选择合适算法等问题,在选择机器学习平台时,这里我们介绍了Spark这样一个大数据平台的集大成者,它有很多优势,而且也得到越来越多企业的青睐。

接下来我们再来看看人工智能最有前景的六大领域
目前来说,有许多关于人工智能公认定义的争论。有些人认为人工智能就是“认知计算”或是“机器智能”,而另一些人则把它与“机器学**”的概念混淆了。然而,人工智能并不是特指某种技术,它实际上是一个由多门学科组成的广阔领域,包括机器人学和机器学**等。人工智能的终极目标是让机器替代人类去完成需要认知能力的任务。为了实现这一目标,机器必须自动学**掌握能力,而不仅仅是执行程序员编写的命令。






人工智能在过去的十年里取得了令人叹为观止的进步,例如自动驾驶汽车、语音识别和语音合成。在此背景之下,人工智能这一话题越来越多地出现在同事和家人的闲谈之间,人工智能技术已经渗透到他们生活的角角落落。与此同时,流行媒体几乎每天也在报道人工智能和技术巨头们,介绍他们在人工智能领域的长期战略。一些投资者和企业家渴望了解如何从这个新领域挖掘价值,大多数人还是绞尽脑汁思考究竟人工智能会改变什么。此外,各国政府也正在努力应对自动化给社会带来的影响(如奥巴马总统的离职演讲)。

其中,人工智能的六大领域在未来可能对数字产品和数字服务产生重要的影响。作者一一列举了这六个方向,解释了它们的重要性,目前的应用场景,并列举出正在使用的公司和研究机构。

强化学习

强化学**是一种通过实验和错误来学**的方法,它受人类学**新技能的过程启发。在典型的强化学**案例中,代理者通过观察当前所处的状态,进而采取行动使得长期奖励的结果最大化。每执行一次动作,代理者都会收到来自环境的反馈信息,因此它能判断这次动作带来的效果是积极的还是消极的。在这个过程中,代理者需要平衡根据经验寻找最佳策略和探索新策略两方面,以期实现最终的目标。





Google的DeepMind团队在Atari游戏和围棋对抗中都运用了强化学**的技术。在真实场景中,强化学**有被用来提高Google数据中心的能源利用率。强化学**技术为这套冷却系统节省了约40%的能耗。强化学**有一个非常重要的优势,它的代理者能以低廉的代价模拟生成大量的训练数据。相比有监督的深度学**任务,这个优势非常明显,节省了一大笔人工标注数据的费用。

应用:包括城市道路的自动驾驶;三维环境的导航;多个代理者在同样的环境中交互和学**等

生成模型

不同于用来完成分类和回归任务的判别模型,生成模型从训练样本中学到一个概率分布。通过从高维的分布中采样,生成模型输出与训练样本类似的新样本。这也意味着,若生成模型的训练数据是脸部的图像集,那么训练后得到的模型也能输出类似于脸的合成图片。细节内容可以参考Ian Goodfellow的文章。他提出的生成对抗模型(GAN)的结构当下在学术界非常的火热,因为它给无监督学**提供了一种新思路。GAN结构用到了两个神经网络:一个是生成器,它负责将随机输入的噪声数据合成为新的内容(比如合成图片),另一个是判别器,负责学**真实的图片并判断生成器生成的内容是否以假乱真。对抗训练可以被认为是一类游戏,生成器必须反复学**用随机噪音数据合成有意义的内容,直到判别器无法区分合成内容的真伪。这套框架正在被扩展应用到许多数据模式和任务中。





应用:仿真时间序列的特征(例如,在强化学**中规划任务);超分辨率图像;从二维图像复原三维结构;小规模标注数据集的泛化;预测视频的下一帧;生成自然语言的对话内容;艺术风格迁移;语音和音乐的合成

记忆网络

为了让人工智能系统像人类一样能够适应各式各样的环境,它们必须持续不断地掌握新技能,并且记住如何在未来的场景中应用这些技能。传统的神经网络很难掌握一系列的学**任务。这项缺点被科学家们称作是灾难性遗忘。其中的难点在于当一个神经网络针对A任务完成训练之后,若是再训练它解决B任务,则网络模型的权重值不再适用于任务A。





目前,有一些网络结构能够让模型具备不同程度的记忆能力。其中包括长短期记忆网络(一种递归神经网络)可以处理和预测时间序列;DeepMind团队的微神经计算机,它结合了神经网络和记忆系统,以便于从复杂的数据结构中学**;渐进式神经网络,它学**各个独立模型之间的侧向关联,从这些已有的网络模型中提取有用的特征,用来完成新的任务。

应用:训练能够适应新环境的代理者;机器人手臂控制任务;自动驾驶车辆;时间序列预测(如金融市场、视频预测);理解自然语言和预测下文。

微数据学习微模型
一直以来深度学习模型都是需要堆积大量的训练数据才能达到最佳的效果。比如,某只参加ImageNet挑战赛的团队使用了120万张分布于1000个类别的人工标注图像训练模型。离开大规模的训练数据,深度学习模型就不会收敛到最优值,也无法在语音识别、机器翻译等复杂的任务上取得好效果。数据量需求的增长往往发生在用单个神经网络模型处理端到端的情况下,比如输入原始的语音片段,要求输出转换后的文字内容。这个过程与多个网络协同工作各处理一步中间结果不同(比如,原始语音输入→音素→词→文本输出)。如果我们想用人工智能系统解决训练数据稀缺的任务时,希望模型训练用到的样本越少越好。当训练数据集较小时,过拟合、异常值干扰、训练集和测试集分布不一致等问题都会接踵而至。另一种方法是将在其它任务上训练好的模型迁移到新的任务中,这种方法被称为是迁移学习。




一个相关的问题是用更少的模型参数建立更小的深学**架构,而模型的效果却保持最佳。这种技术的优势在于更高效的分布式训练过程,因为训练过程中需要传输的参数减少了,并且能够方便地将模型部署在内存大小受限制的嵌入式硬件上。

应用:训练浅层模型来模拟在大规模的已标注训练数据集上训练得到的深度网络模型;构建效果相当但参数更少的模型结构(如SqueezeNet);机器翻译

学习/推理硬件

促进人工智能发展的催化剂之一就是图形处理器(GPU)的升级,不同于CPU的顺序执行模式,GPU支持大规模的并行架构,可以同时处理多个任务。鉴于神经网络必须用大规模(且高维度)数据集训练,GPU的效率远高于CPU。这就是为什么自从2012年第一个GPU训练的神经网络模型——AlexNet公布之后,GPU已经成为名副其实的淘金铁锹。NVIDIA在2017年继续领跑行业,领先于Intel、Qualcomm、AMD和后起之秀Google。





然而,GPU并非专为模型训练或预测而设计,它原本是用于视频游戏的图像渲染。GPU具有高精度计算的能力,却遭遇内存带宽和数据吞吐量的问题。这为Google之类的大公司和许多小型创业公司开辟了新领域,它们为高维机器学**任务设计和制造处理芯片。芯片设计的改进点包括更大的内存带宽,图计算代替了向量计算(GPU)和矢量计算(CPU),更高的计算密度,更低的能源消耗。这些改进令人感到兴奋,因为最终又反哺到使用者的身上:更快和更有效的模型训练→更好的用户体验→用户更多的使用产品→收集更大的数据集→通过优化模型提高产品的性能。因此,那些训练和部署模型更快的系统占据显著的优势。点击我获取学习资源

应用:模型的快速训练;低能耗预测运算;持续性监听物联网设备;云服务架构;自动驾驶车辆;机器人

仿真环境

正如之前提到,为人工智能系统准备训练数据很具有挑战性。而且,若要将人工智能系统应用到实际生活中,它必须具有适用性。因此,开发数字环境来模拟真实的物理世界和行为将为我们提供测试人工智能系统适应性的机会。这些环境给人工智能系统呈现原始像素,然后根据设定的目标而采取某些行动。在这些模拟环境中的训练可以帮助我们了解人工智能系统的学**原理,如何改进系统,也为我们提供了可以应用于真实环境的模型。

应用:模拟驾驶;工业设计;游戏开发;智慧城市
以上内容进个人见解,希望对你有所帮助

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

0

主题

1

回帖

0

积分

新手上路

积分
0
发表于 2023-9-2 08:20:19 | 显示全部楼层
最重要的基础是你要一直保持热情,和兴趣,不然学到最后也只会是半吊子。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|T9AI - 深度人工智能平台 ( 沪ICP备2023010006号 )

GMT+8, 2024-11-21 19:36 , Processed in 0.061023 second(s), 24 queries .

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表