【技术科普】和从业者聊聊AI Infra | DevmoreWork迪魔王 Devmore - More about Dev

【技术科普】和从业者聊聊AI Infra | DevmoreWork

67分钟 ·
播放数505
·
评论数5

# 导读

本期嘉宾是 AI Infra 架构师长凡,目前在蚂蚁负责 AI Infra 项目 DLRover。



AI、AGI、大模型、人机交互、各种概念层出不穷,这次的 AI 浪潮似乎比前些年更加真实了一些,ChatGPT、Midjurney 等等,也让普通人而非科学家才能用上 AI 的能力。在这样的时代下,我们又开始讨论,很多职业是不是或消失?程序员会不会失业?



另外,AI Infra 作为 AI 领域的基础设施,我们和一线工程师聊聊,面对大模型时代的到来,实质感受是怎样的,以及在如今的时代,AI Infra 和开源是怎样的关系,如果要投身 AI Infra 领域,又有哪些宝贵的从业建议,一起收听吧。



# 主播

- 五花肉:目前负责 DLRover 开源运营,处于和 GPT embedded 模式合作阶段。

- 君晓:多年技术内容编辑经验,有较多海外内容运营经历。



# 嘉宾

- 长凡:北邮通信专业硕士毕业,先后在中国移动、蚂蚁,从算法到工程,2018 年开始进入 AI 领域从业,目前在 AI Infra 领域负责开源项目 DLRover。



# 时间轴

-【05:26】AI 的整体架构介绍

-【09:45】AI Infra 的容灾就是跟时间抢钱

-【13:09】大模型时代,AI Infra 从业者的心态,兴奋、迷茫还是恐慌?

-【16:00】大模型出来后,之前做机器学习和深度学习的会失业吗?

-【28:50】怎么看待 AI Infra 和开源的关系

-【38:30】参与开源给嘉宾带来的变化

-【45:17】硬广:嘉宾的开源项目:DLRover

-【46:18】放眼全球,AI Infra 领域有哪些可以学习和借鉴的

-【50:22】AI 相关名词科普

-【58:53】要入门 AI Inra 领域,有哪些建议?



# 延伸阅读

- 【AI Infra】:即人工智能基础设施,是支持 AI 系统和应用运行的底层技术和架构。这包括硬件、软件、数据管理系统、网络资源以及其他使 AI 应用能够高效、可靠运行的组件。TensorFlow 和 PyTorch 这两个广泛使用的开源机器学习库,就是 AI 基础设施的重要软件组成部分。

- 【TensorFlow】:由 Google 开发并维护,是一个强大的数学计算框架,但它主要被用于机器学习和深度学习项目。TensorFlow 支持广泛的计算任务,具有灵活的架构,允许用户在多种平台(如 CPU 、GPU 和  TPU)上部署计算。

- 【PyTorch】:由 Facebook 的 AI 研究团队开发,是一个专门为深度学习而设计的库,以其对研究者友好的接口和动态计算图而著称。PyTorch 支持快速实验和创新,使得构建和调试复杂的神经网络变得更加直观。

- AI 基础硬件设备:

   - CPU:中央处理单元,计算机的主要处理器,擅长处理通用计算任务和复杂的逻辑操作。它由少数几个核心组成,每个核心可以执行高度复杂的操作序列。CPU 适合处理不需要并行计算或 GPU 资源不可用时的 AI 任务。

   - GPU:图形处理单元,最初被设计用于处理视频游戏中的复杂图形和图像,但其高度并行的结构使其非常适合于深度学习和大规模的矩阵运算。相比 CPU,GPU 拥有更多的处理核心(成百上千个),可以同时处理大量的操作。GPU 已经成为了深度学习训练的首选硬件,因为它能显著加快模型训练的速度。

   - TPU: 张量处理单元,TPU 是由 Google 专门为深度学习计算设计的一种 ASIC(专用集成电路)。TPU 针对 AI 运算进行了优化,尤其是在处理张量运算时,能提供高效的性能。TPU 特别适合于加速深度学习应用,包括训练和推断。它能够处理大量的并行计算任务,提供比 GPU 更高的性能和效率。



# 推荐

[DLRover](github.com):蚂蚁开源大规模智能分布式训练系统,专门用于自动管理 DeepRec 分布式训练作业的资源。 它可以帮助用户实现自动扩容和缩容,提高资源利用率和作业调度效率。



# Staff

后期:迪西

运营:潘潘

文档:天猪



# 关于节目

「迪魔王Devmore」让有意义的事情有意思。

[DevmoreWork](www.yuque.com),more about work,侧重专业的职场话题,邀请行业专业嘉宾,为大家带来更多专业方向的知识和参考。

[DevmoreLife](www.yuque.com),tech in life,是技术生活系列,技术源于生活,又归于生活,该系列跟你聊一聊生活中无处不在的技术。

[MeetDevmore](www.yuque.com),meet with us,围绕某一个话题,邀请嘉宾和听众们边吃边聊,我们相信,每一个观点都值得被听见。


展开Show Notes
Juliett
Juliett
2024.3.26
嘉宾说话语速有点快啊,听起来还没那么清晰,AI infra 底层的架构那儿基本都没听清… 有些遗憾啊,感觉是很好的topic(至少我一个做IT infra的人很想听听AI infra 的技术东西)但真的很难坚持听完…
五花肉Tree
:
🥺技术小哥不太常说话,抱歉,但这不巧了嘛!正好有一篇文章:https://mp.weixin.qq.com/s/2tYO1z5pt-nU6duANzDlbg
Juliett:☺️ 感谢贴心的文字版
3条回复
天猪
天猪
2024.5.24
44:44 🤪