No.156 对谈蚂蚁曹仁:AI 时代的粮草先行,算力和架构如何承接泼天计算量三五环

No.156 对谈蚂蚁曹仁:AI 时代的粮草先行,算力和架构如何承接泼天计算量

42分钟 ·
播放数10249
·
评论数15

嘉宾|姚敏,花名曹仁,蚂蚁集团算力集群基础架构负责人

主播 | 刘飞,内容创作者,产品经理,袋泡原叶茶「三五杯」联合创始人

本期邀请的是蚂蚁集团算力集群基础架构负责人姚敏。随着人工智能的快速发展,对算力的需求急剧增加,基础设施也随之变化。姚老师长期在这个领域耕耘,很有发言权。

这次跟姚老师聊到了算力的发展阶段、巨大变革,面对 AI 应用的多样化和深度化,以及算力需求呈现的两大趋势:追求极端复杂的模型和根据垂直行业需求开发专用模型。与此同时,业内面临着技术、人才和成本等多重挑战。随着 AI 技术的发展,如何有效管理能源消耗和成本,以及探索可持续发展模式将成为关键问题。希望对你有所启发。

内容索引

01:51 Part1 算力的变化

智能算力比例已经超过30%,可能很快会超过一半

从基础算力向智能算力发展

大模型出现的条件:神经网络模型、互联网数据和芯片算力提升

单个体的芯片能力会越来越强

算力的变化:体积更小,耗能更大,成本暴增

13:07 Part2 蚂蚁集团AI战略和算力变化带来的挑战

希望AI像扫码支付一样便利每个人的生活

蚂蚁集团AI应用三大方向:生活管家、医疗管家和金融管家

硬件和电力消耗向西部清洁能源可再生能源的方向发展

国内面临的挑战:硬件和人才都需要提升

巨大的前期投入成本和持续运行成本,劝退很多人

30:59 Part3 未来应用场景探索和建议

算力发展方向:追求极致的高密度和模型越来越大

在擅长的领域新增,在外围合作落地

战略选择:选择方向,承接能力

可持续发展:算效提升,软硬件结合

制作人:严格

片头:Where Are You Going (Live) - 海龟先生

片尾:无版权音乐来源:mubert - The Star Power

欢迎在评论区留言交流。如果喜欢《三五环》,也恳请能在苹果 Podcast 、网易云音乐、Spotify 或喜马拉雅留下你的宝贵好评。感谢!

商务合作&嘉宾自荐,请加微信: wocaishiliufei

封面图片由 Midjourney 生成,版权所有©️三五环

展开Show Notes
终于听到我工作内容相关的一集,我们部门说ai半年,到现在还没有找到场景落地😂
mulan_8Zzc
mulan_8Zzc
2024.7.29
我司也和大数据中心架构有些相关,在高温下提升芯片和交互元件的速度同时保证高可靠性是真的挺难的。
飞哥本期播客主要围绕 AI 展开,涉及算力问题及挑战、蚂蚁集团的 AI 战略与应用、基础大模型的发展方向、国内芯片差距与建议,还包括对创业者的提示和风险考量。
00:25 关于 AI 算力相关的讨论
00:43 姚敏介绍在蚂蚁集团的工作经历
01:29 AI 算力成为行业热点及变化
04:00 大模型训练所需算力巨大
04:56 训练模型面临的挑战和成本问题
05:31 GPU 卡的高成本与稀缺性
07:26 芯片技术提升及散热问题
08:45 关于数据中心、AI 技术及蚂蚁相关业务的讨论
08:45 数据中心机房温度控制及液冷技术的应用
10:24 AI 对高性能网络和数据传输的要求
12:04 大模型训练链路的特点与挑战
13:22 蚂蚁的 AI 战略及技术大模型
14:30 蚂蚁在数据中心的能耗与能源考虑
16:02 支付宝生活服务应用场景及提升需求
17:05 关于AI算力、人才需求及相关发展的讨论
17:05 希望加强规划执行能力,实现更原子化的服务
18:05 算力变化涉及人才要求,行业人才整体稀缺
18:46 构建全电路设计的专业人才最为缺乏
22:10 国内AI算力面临诸多挑战,需快步追赶
24:15 AI场景兴起,国内对算力诉求强烈但存在误区
25:10 小模型训练推理几张卡可行,但大模型参数量等复杂情况需解决
25:25 关于大模型发展及相关问题的讨论
25:54 百模大战及追赶 GPT-4 的情况
26:29 蚂蚁的真实应用场景及相关产品
28:26 AI 发展中的能耗与绿色计算
29:56 大模型训练场景的变化与收敛
31:06 国内大模型发展面临的算力挑战
32:56 AI 创业者需考虑的算力相关问题
33:47 关于大模型发展的讨论及相关要点
33:47 存在算力墙、通讯墙、内存墙等问题需硬件厂商突破
34:15 国内大模型在单芯片能力上短线与海外有差距但靠平行能力发展
35:35 行业在等待某个垂类大模型应用改变应用生态
36:22 芯片能力提升,未来或有更多本地大模型架构和AI芯片成为主流
38:27 大模型厂商关注集中提供好模型,走到端侧有大量工作
39:11 做AI方向要考虑成本、难度等,垂类应用基于成熟模型可能更好
付胜昔
付胜昔
2024.7.25
曹老师不会是飞哥阿里前同事吧(bushi)
一周双更!大赞!
fortomorrow
fortomorrow
2024.7.26
👍
CC023
CC023
2024.7.26
谢谢。
张目
张目
2024.7.25
见解独到,期待蚂蚁在ai上的产品
Nancy_LtED
Nancy_LtED
2024.7.30
这个更新频率可以
这是不是又是飞总“坐在对面的同事”?
🌹🌹🌹
付胜昔
付胜昔
2024.7.25
沙发🛋️
还蛮好奇达摩院的情况
19:15 博士起步
XUAN_0L4K
XUAN_0L4K
2024.7.25
👍👍👍👍👍