AI框架简单概述
1. AI框架(深度学习框架)的成长历程[*]早期率先推出的深度学习框架,应该得算是theano和Caffe, 大体的时间点如下所示:
[*]此中框架的整合或封装有如下实现方式:
[*]caffe/caffe2/pytorch主要由Facebook负责开发
[*]而早期的theano也基本转入形成tensorflow,并有Google主要负责开发:
http://pic2.zhimg.com/v2-49cc149ff9a8256a881c4056a6db7755_r.jpg
[*]基于pytorch1.0进行高级封装诞生了FastAI,tensorflow进行封装成高级API则有了Keras;
[*]各大框架的用户占有率斗劲可知,仍主要以tensorflow和pytorch为主:
[*]当前在工业场景仍主要由tensorflow为主导,因其采用的是自底向上的设计思路,具有较好的计算速度
[*]在学术研究等场景则主要以pytorch为主导,因其采用自顶向下的设计理念,优先从易用性考虑,因此可发现近两年其用户数剧增
2. AI框架成长趋势
[*]随着深度学习中计算量急剧扩大,为缩短模型训练时间,各大框架则陆续对并行计算进行了撑持以提高训练速度,例如撑持单机多卡/多机多卡等训练方式
[*]为加速训练,另一个趋势则为对网络优化减枝以减小训练耗时的同时;提升底层计算硬件单元的计算能力也同等重要,为此英伟达则推出了各种型号的GPU(图像措置单元,针对深度学习网络中常见的计算机视觉训练任务效果提升显著)
[*]分析现有的AI框架,大部门框架都有两方面同步提高的趋势,如百度的paddel paddel深度学习平台与出产的硬件进行结合;在这方面而言,3月底华为推出的MindSpore做得更为到位一些,Mindspore具有自动并行(auto-parallel)的特性,并与自研的达芬奇计算芯片相结合(进行芯片底层运算优化,提高计算速度)。
参考文献:
[*]https://zhuanlan.zhihu.com/p/59086302
2. https://www.jiqizhixin.com/articles/2020-04-01-10?from=synced&keyword=%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E6%A1%86%E6%9E%B6 。。真的有够简单
页:
[1]