情迷伯纳乌 发表于 2023-7-11 13:17:01

AI框架简单概述

1. AI框架(深度学习框架)的成长历程


[*]早期率先推出的深度学习框架,应该得算是theano和Caffe, 大体的时间点如下所示:



[*]此中框架的整合或封装有如下实现方式:

[*]caffe/caffe2/pytorch主要由Facebook负责开发





[*]而早期的theano也基本转入形成tensorflow,并有Google主要负责开发:


http://pic2.zhimg.com/v2-49cc149ff9a8256a881c4056a6db7755_r.jpg


[*]基于pytorch1.0进行高级封装诞生了FastAI,tensorflow进行封装成高级API则有了Keras;




[*]各大框架的用户占有率斗劲可知,仍主要以tensorflow和pytorch为主:

[*]当前在工业场景仍主要由tensorflow为主导,因其采用的是自底向上的设计思路,具有较好的计算速度
[*]在学术研究等场景则主要以pytorch为主导,因其采用自顶向下的设计理念,优先从易用性考虑,因此可发现近两年其用户数剧增

2. AI框架成长趋势



[*]随着深度学习中计算量急剧扩大,为缩短模型训练时间,各大框架则陆续对并行计算进行了撑持以提高训练速度,例如撑持单机多卡/多机多卡等训练方式
[*]为加速训练,另一个趋势则为对网络优化减枝以减小训练耗时的同时;提升底层计算硬件单元的计算能力也同等重要,为此英伟达则推出了各种型号的GPU(图像措置单元,针对深度学习网络中常见的计算机视觉训练任务效果提升显著)
[*]分析现有的AI框架,大部门框架都有两方面同步提高的趋势,如百度的paddel paddel深度学习平台与出产的硬件进行结合;在这方面而言,3月底华为推出的MindSpore做得更为到位一些,Mindspore具有自动并行(auto-parallel)的特性,并与自研的达芬奇计算芯片相结合(进行芯片底层运算优化,提高计算速度)。


参考文献:


[*]https://zhuanlan.zhihu.com/p/59086302
2. https://www.jiqizhixin.com/articles/2020-04-01-10?from=synced&keyword=%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E6%A1%86%E6%9E%B6

67676949 发表于 2023-7-11 13:17:31

。。真的有够简单
页: [1]
查看完整版本: AI框架简单概述