【AI框架核心技术】系列来啦！从入门到昇腾！
【AI框架核心技术】这个系列，主要是跟大师一起探讨和学习人工智能、深度学习的计算机系统设计，而整个系统是围绕着我在工作之余所堆集、梳理、构建关于AI框架的一些核心技术内容。AI系统里面，其实大部门开发者并不关心AI框架或者AI框架的前端，因为AI框架作为一个东西，最大的方针就是辅佐更多的算法工程师快速实现他们的算法想法。不外呢，有着这么一群AI框架的开发工程师，但愿梳理相关的常识点，辅佐更多的系统工程师，快速对算法进行落地部署和性能优化的AI框架有个更全面和深刻的理解。
系列内容
AI是最新的电力，大约在一百年前，我们社会的电气化改变了每个主要行业，从交通运输行业到制造业、医疗保健、通讯等方面，我认为如今我们见到了AI明显的令人惊讶的能量，带来了同样巨大的改变。显然，AI的各个分支中，成长的最为迅速的就是深度学习。因此此刻，深度学习是在科技世界中广受欢迎的一种技巧。
通过《AI框架核心技术》这个系列内容，以及这门课程后面的几门课程，你将获取而且掌握的技能：
[*] 在《AI框架基础》第一门课程中，您将了解到AI框架的具体感化，可以提供给开发者一个编写神经网络模型的库和提供丰硕的API。以及近几年AI框架快速成长的历史和变迁。在这门课程的结尾，您将了解到分歧的编程范式对AI框架的影响和对用户习惯的影响。
[*] 在《自动微分》中，你将深入了解微分和微分的分歧方式，此中自动微分是微分很重要的实现方式之一，对于传统的几种微分方式有其独特的优势，这里面将会深入自动微分的正反向模式，不外在代码具体实现却有千差万别，于是我们将会手把手去用代码实现2种分歧模式的自动微分。
[*] 在《计算图》这一门课程，您将掌握AI框架的核心暗示：计算图。这里主要了解到什么是计算图和对计算图如何暗示以外，还会了解到计算图跟自动微分的关系，如何暗示反向模型和梯度，最后您还可以了解计算图中最难表达的控制流和动静统一的核心技术。
[*] 最后在《分布式并行》课程中，我们将会分为《分布式集群》、《分布式算法》、《分布式并行》3大内容进行展开，每一个内容都较为独立，于是最后我们将会把上面的技术串起来。
然这里不是打广告，而是但愿跟所有存眷开源项目的好伴侣一起探讨研究，共同促进学习讨论，也欢迎各位专家和伴侣多拍拍砖，多提点定见。相关的材料都开源在这里：DeepLearningSystem/Frontend at main · chenzomi12/DeepLearningSystem
具体大纲
1 AI框架基础
[*]基本介绍silde,video
[*]AI框架有什么用 silde,video
[*]AI框架之争（框架成长）silde,video
[*]编程范式（声明式&命令式）silde,video
2. 自动微分
[*]基本介绍 silde,video,article
[*]什么是微分 silde,video,article
[*]正反向计算模式 silde,video,article
[*]三种实现方式 silde,video,article
[*]手把手实现正向微分框架 silde,video,article
[*]亲自实现一个PyTorch silde,video,article
[*]自动微分的挑战&未来 silde,video
3. 计算图
[*]基本介绍silde,video
[*]什么是计算图 silde,video
[*]计算图跟自动微分关系 silde,video
[*]图优化与图执行调剂 silde,video
[*]计算图的控制流机制实现 silde,video
[*]计算图未来将会走向何方？silde,video
4. 分布式集群
[*]基本介绍 silde,video
[*]AI集群处事器架构 silde,video
[*]AI集群软硬件通信 silde,video
[*]调集通信原语 silde,video
[*]AI框架分布式功能 silde,video
5. 分布式算法
[*]大模型训练的挑战 silde,video
[*]算法：大模型算法布局 silde,video
[*]算法：亿级规模SOTA大模型 silde,video
6. 分布式并行
[*]基本介绍 silde,video
[*]数据并行 silde,video
[*]模型并行之张量并行 silde,video
[*]MindSpore张量并行 silde,video
[*]模型并行之流水并行 silde,video
[*]混合并行 silde,video
[*]分布式训练总结 silde,video
完结，撒花！ 期待～ 感谢你的第一个支持！ 大佬，单纯从工作体验上来讲，你觉得写AI框架有趣还是做AI算法有趣呢？我个人感觉如果做AI框架，更多的工作可能偏系统，偏工程，缺少了炼丹的快乐。我做过一段时间的算法落地之后我发现还是做算法研究有意思，那种炼丹带来的未知感，每取得一些进展，就感觉魔法一样，真多让我欲罢不能。但是让我去做一些确定的事情，我就没有兴奋的感觉，感觉一切都是在预期之内，就觉得索然无味了[大笑]，大佬怎么看啊 AI框架其实并没有大家认为得这么无聊，底下都是C++，其实AI框架也有很多算法相关的研究，例如：量化剪枝压缩、内存优化、并行策略，这些都要结合算法，负责无法做好优化。
当然ZOMI酱也理解你的感受，当初ZOMI进入MindSpore团队之前也有过这个挣扎，从体验来说其实做算法解决方案，真正帮助到客户解决他们的问题，ZOMI觉得是最有趣的哈。 干好活，大巴数钱最有趣，哈哈~~~ [赞同]要是有开源代码配合解释就更好了 之前[小情绪][小情绪]也考虑过你的问题，底层很多编译用C++实现的，各种抽象封装。还没想好怎么配合开源代码解释，或者只讲上层接口怎么使用？[惊喜][惊喜] 粒度划分到哪一层的话可能还得作者这边来结合文章把握，手撸一个lite框架或者配合源码解释其实都是ok的，但是能run起来看到数据流动的过程我觉得更为重要[调皮] 同AI框架开发者，期待一波～