2495
8【主播的话】
大家好，新年快乐！
农历新年的第一期节目，我们有幸邀请到 Lepton AI 的产品负责人鱼哲。他将与我们深入探讨 AI 基础设施领域的最新动态和未来趋势。嘉宾不仅是一位从开发者转型为产品经理的 AI 行业专家，还曾负责高性能 AI 计算架构平台的工作，对 AI 应用层开发者的需求有着深刻的理解。
在本期节目中，我们将聚焦于 AI Infra 的核心挑战，探讨如何通过产品和技术的融合提升 AI 应用的性能和效率。嘉宾还将分享他对多模态模型、结构化输出以及 AI 应用开发者需求的独到见解。
本期节目为我们探索 AI Infra 的重要一步，我们将继续带来更多深入的解析和讨论。
嘉宾和主播长期在北美工作生活，夹杂英文在所难免，不接受抱怨！Enjoy!
【本期嘉宾】
Yuze 鱼哲，毕业于美国伦斯勒理工大学。前阿里云高性能AI平台产品负责人。专注于AI在金融量化，风控，搜索推荐，自动驾驶，互联网娱乐等行业落地及应用。目前在北美明星AI架构平台Lepton AI 就任产品负责人。推特 @YuzeMa5。
【本期主播】
Leo Zhao 硅谷大厂高级机器学习工程师，GenAI LLM发烧友
【本期焦点】
01:56 AI Infra 的目标用户和需求分析
03:45 AI 应用开发者的特点和需求
06:21 AI 应用开发的路径和挑战
08:25 AI Infra 的覆盖面和优化方向
10:10 具体案例讨论：动画片分镜制作的 AI 应用
13:44 AI 模型的可扩展性和后端服务的挑战
15:28 AI 推理方向的技术探讨
18:53 AI 性能优化的具体方法和案例
22:51 AI 模型的定制化开发和技术选择
27:12 RAG 在 AI 应用中的挑战
32:30 AI 模型推理的优化方向和实践
38:01 AI 模型推理的算法和硬件优化
42:36 AI 应用开发的优化策略和业务取舍
47:20 Lepton AI 的收费模式和用户成本
51:04 AI 应用开发的未来趋势和发展方向
