我们回来了！2024年转眼就剩下不到两周了，接下来要努力了！这一期是10月一场直播的录制。AI时代日新月异，最近几个月 windsurf, Devin 一众 AI 软件开发工具不断刷新我们对于软件开发范式的认知。这一期对于更底层 AI native 软件技术栈的讨论，仍然不过时。 Hello World, who is OnBoard!? 随着 GPT, Claude 等大模型的出现和迅速演进，AI 应用开发进入了全新的阶段。传统的软件开发流程正在被重新审视，新的开发框架、数据存储方式和调试方法层出不穷。这次的嘉宾，在软件技术栈的各个领域都可谓重磅。 Andy Peng 是AWS 生成式AI核心产品 Bedrock 的核心成员，负责AWS上Anthropic 一系列重要 API 的同时，他也是 Linux Foundation 和 Cloud Native Computing Foundation (CNCF) 的重要成员，从云计算、分布式系统到AI 技术设施，都是绝对的一线专家。 Dongxu 是我们的返厂嘉宾，开源数据库PingCAP的创始人兼CTO，本次的的话题也是受到他的一条朋友圈启发：围绕AI的应用开发，会对整个软件开发范式，包括开发框架、数据存储和处理方式、观测性工程和质量体系等等，带来怎样的变化？ 另一位返厂嘉宾也是绝对的大牛，Lepton AI 创始人 CEO贾扬清, 从 Google Brain 到 Facebook AI 到阿里巴巴，作为 Caffee2, Pytorch 的核心元老，到创立Lepton AI，致力打造 AI cloud，又看到整个AI开发生态有怎样的演进？有什么可以从上一代 AI infra 发展中可以参考的变与不变？ 这次讨论的话题需要一些技术基础知识，另外，嘉宾长期在海外工作生活，夹杂英文在所难免，不接受抱怨，欢迎评论区提出新的问题和观点。Enjoy! 嘉宾介绍 * 贾扬清，Lepton AI 创始人 & CEO，ex-Facebook AI, Google Brain, 阿里云副总裁, 深度学习框架 Caffe 和 ONNX 的创建者之一 * Andy Peng, AWS Bedrock 核心成员，Cloud Native Computing Foundation (CNCF) Ambassador * 黄东旭，PingCAP 联合创始人兼 CTO，分布式数据库 TiDB 作者。 * OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 我们都聊了什么 03:05 嘉宾自我介绍，最近关注到的 AI 相关产品：DSPy, 快手可灵，Anthropic Artifacts 12:08 开发基于大模型的应用，为什么需要不一样的技术栈？ 18:45 为什么上一波 AI 的API商业模式不work, 这一次 Model as a service 的API业务会有什么异同？ 25:26 过去一年，应用开发工具有哪些重要变化？未来更复杂的应用还有哪些需求？ 33:35 AutoGPT 启发了 RAG？Agent 的实际落地情况怎样？ 35:13 AI 应用为什么会重构 Kubernetes 的资源调度方式？ 40:08 多模态和非结构化数据的增加，会对 Infra 和开发工具有哪些新的需求？对于现在的 data infra 公司意味着什么？ 51:15 AI 应用需要怎样新的可观测性体系？ 61:43 AI 和RAG系统中的搜索，与传统搜索有哪些异同？ 64:47 Agentic workflow 会对应用开发技术栈带来哪些新的需求？现在做工具“抽象化”还太早了吗？ 70:56 变革中，新的定义如何产生？为什么很多概念定义都是在美国诞生的？ 73:18 这一系列变化中，有哪些是新玩家的新机会？哪些适合现有玩家做改良？ 76:58 做一个开发工具，如何决定是否要开源？ 78:41 多模态实时交互会对开发技术栈带来哪些新的挑战？ 81:12 如何判断哪些开源项目可以做商业化？ 85:45 我们需要单独的向量索引吗？VectorDB 有多少机会会被现有数据库公司占据？ 93:43 未来技术选型的决策会由AI来做吗？软件开发会变成标品吗？ 95:40 云厂商和大模型提供商之间是相互竞争的吗？ 99:22 端侧模型和云端部署模型之间是怎样的关系？未来的格局会有什么变化？ 104:21 未来1-3年，期待 infra 领域还有哪些变化？ 109:51 嘉宾的产品未来还有哪些重要计划！ 我们提到的公司 * LangChain: www.langchain.com - 一个用于开发语言模型应用程序的框架。 * LlamaIndex: gpt-index.readthedocs.io - 一个用于 LLM 应用程序的数据框架。 * Databricks: www.databricks.com （可能是指他们的模型服务和优化基础设施） * Anyscale: www.anyscale.com一个用于构建和部署 Ray 应用程序的平台，通常用于扩展机器学习工作负载。 * Mosaic: www.mosaicml.com一个用于高效、可扩展地训练大型 AI 模型的平台。 * Modal: modal.com一个用于构建和部署机器学习模型的平台。 * Vercel: vercel.com一个用于前端框架和无服务器函数的平台。 * Guardrails: shreyar.github.io - 一个用于为 LLM 应用程序添加安全性和可靠性的开源库。 * SQLite: www.sqlite.org一个轻量级的、基于文件的数据库。 * DSPy: github.com - 一个用于构建 LLM 应用的框架， * Factory.ai: factory.ai * LiveKit: livekit.io - 一个用于构建和扩展实时音频和视频体验的开源基础设施。 * Dify: dify.ai - 一个用于视觉化构建 LLM 应用的平台，提供可视化界面和 workflow 编排功能。 * AWS Bedrock: aws.amazon.com - AWS Bedrock 让你能够通过 API 访问和使用来自不同提供商的各种强大的基础模型。 * AWS App Studio: aws.amazon.com - AWS App Studio 简化了在 AWS 云上构建、部署和扩展 Web 应用程序的流程。 * Phidata: www.phidata.com - Phidata 帮助你构建实时数据管道和应用程序，处理和分析流式数据。 * NPI AI: www.npi.ai - The best tool for AI taking action. * Unstructured.io: unstructured.io - Unstructured.io 帮助你从各种类型的文档和数据中提取有价值的信息，例如文本、图像和表格。 * Datalogy: https://www.datologyai.com/ - 自动生成和管理训练数据集。 * Rockset: rockset.com - Rockset 提供了一个实时分析数据库，用于构建需要快速查询和分析数据的应用程序。 * Anthropic Artifact: Anthropic Artifact 是一系列专注于安全性和可靠性的 LLM，可用于各种任务，例如对话生成和文本摘要。 * AutoGPT: github.com - AutoGPT 是一个实验性项目，旨在探索如何使用 LLM 来自动执行任务和目标。 * artificialanalysis.com - Artificialanalysis.com 提供了工具和资源来帮助你评估和比较不同的 LLM。 * GraphRAG: github.com - GraphRAG 将知识图谱与 LLM 相结合，以提供更准确和全面的信息检索和生成。 * vLLM: github.com - vLLM 帮助你更高效地在各种硬件上部署和运行 LLM 推理。 * PGvector: github.com - PGvector 让你能够在 PostgreSQL 数据库中存储和查询向量嵌入，这对许多机器学习应用程序至关重要。 * DuckDB: duckdb.org - DuckDB 是一款高性能的分析型数据库，非常适合处理大量数据和复杂查询。 重要词汇 * RAG (Retrieval Augmented Generation): RAG 通过从外部知识源检索相关信息来增强 LLM 的能力，使其能够生成更准确和翔实的响应。 * Embedding: 嵌入是一种将文本、图像或其他数据转换为数字向量表示的技术，使计算机能够理解和处理这些数据。 * Function calling: 函数调用允许 LLM 调用外部函数或 API 来执行特定任务，例如获取实时信息或与其他系统交互。 * Prompt engineering: Prompt engineering 是一种设计和优化 LLM 输入提示的技术，以引导模型生成所需的输出。 * RPA (Robotic Process Automation): RPA 是一种使用软件机器人来自动化重复性任务的技术，例如数据输入和处理。 * Agentic workflow: Agentic workflow 是一种 LLM 驱动的自动化流程，LLM 可以自主地执行任务和做出决策。 * Data lake: 数据湖是一个集中存储各种类型原始数据的存储库，例如结构化数据、非结构化数据和半结构化数据。 * ETL (Extract, Transform, Load): ETL 是一种将数据从各种来源提取、转换和加载到目标系统（例如数据仓库）的过程。 * Vector database: 向量数据库专门用于存储和查询向量嵌入，这对于许多机器学习应用程序（例如相似性搜索和推荐系统）至关重要。 * Observability (可观测性): 可观测性是一种通过监控系统行为来了解和诊断系统性能和问题的方法。 参考文章 * www.enceladus.ventures * a16z.com * www.supervised.news * www.factory.ai * blog.livekit.io * www.harness.io * OpenAI Acquires Rockset 欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！ M小姐研习录 (ID: MissMStudy) 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

你们期待已久的最硬核干货的OpenAI o1模型技术解读来了！上个月最值得关注的事件，或许就是9月12号OpenAI o1模型的发布了，大家对这个新的模型翘首以待许久，OpenAI CEO Sam Altman 也称之为新范式的开始。经过强化学习（Reinforcement Learning）并结合Chain of thoughts 思维链技术，o1在处理物理、数学、编程等复杂问题时，甚至和该领域的博士生水平不相上下。OnBoard! 的嘉宾，不会让你失望！ Hello World, who is OnBoard!? 强化学习如何给大语言模型带来新的逻辑推理能力这？这种能力的来源、实现方式和未来潜力又是怎样的？o1带来的“新范式”会对行业有怎样的影响？ 这次的嘉宾都是有实际训练LLM经验的一线研究员。这场三个多小时的解读，相信会给你不一样的视角！其中两位就来自 RL 绝对高地的 Google, 也是AlphaGo, alphafold, alphageometry 等一系列世界领先的RL工作的发源地。他们都分别在RL和MCTS（蒙特卡洛树搜索）领域有长期的研究和实践经验。另一位嘉宾则是在互联网大厂从LLM预训练到RLHF都有一手经验。中美视角的综合，碰撞出很多火花。这个嘉宾阵容对o1的猜想和解读，相信会让你直呼过瘾。 这次的探讨会涉及很多技术细节，嘉宾长期的海外工作学习，难免穿插英文，不接受抱怨。Enjoy! PS 本期录制时间是2024年9月27日 嘉宾介绍 Kimi Kong，Research engineer @Google deepmind, 他在 Stanford 读书期间就接触强化学习，从机器人到现在的大语言模型，对强化学习的理论和使用的沿革有非常系统的理解。 Eric Li （返场嘉宾！），Research scientist @Google Cloud, PhD @Caltech。大家都猜测 o1 将蒙特卡洛树搜索 (MCTS) 应用到了LLM，是提升逻辑推理能力的重要方式之一。Eric 就发表了多篇LLM和MCTS结合的论文，绝对的专家。 苏辉，前微信AI研究员，现国内一线互联网公司大模型负责人。 Cohost: Cage，原字节的数据科学家，现拾像科技研究员，公众号“海外独角兽”撰稿人 OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 我们都聊了什么 02:36 嘉宾自我介绍，MCTS 科普，为什么对LLM+RL新范式很重要； Cursor 为何值得关注，Physics in LLM from Allen Zhu, 语言对推理能力的价值 20:25 对o1发布有什么印象深刻的地方，数据的重要性和难点 40:16 如何拆解o1能力提升的来源？如何重新训练一个o1? 56:10 为什么复杂的o1 却解决不好简单的数学或常识问题？ 60:16 o1 用于 tool use 的任务，可能有什么挑战？ 对agent 产品有什么影响？ 66:46 如何看待agent 数据集难收集的问题？ 68:38 什么是 Chain of Thoughts (CoT)和MCTS? 对o1的作用跟以前CoT做法有什么不一样？MCTS 在LLM推理中可能有什么作用？ 83:07 什么是强化学习（RL）？在LLM中应用RL是怎样的演进过程？ 89:35 RL和self play 其他领域，比如机器人，有怎样的应用？跟在LLM的应用有何异同？ 93:45 RL, CoT, self-play 之间是怎样的关系？ 真的可以无上限提升LLM推理能力吗？ 106:56 o1 有可能是单一模型还是 multi-agent system? 119:11 LLM和游戏有什么相互影响？为什么玩游戏的能力对LLM 很值得关注？游戏数据对LLM训练有什么价值？ 126:54 Google 很早就开始 RL 相关研究，为什么 OpenAI o1先出来了？ 133:16 o1 新范式的出现，对于追赶者来说意味着什么？更容易还是更难？ 141:43 要追赶 OpenAI o1, 最容易被低估和高估的是什么？ 143:48 对未来的展望：未来1年和3年，预期AI领域会发生什么？ 我们推荐的内容 * OpenAI: Scaling Laws for Reward Model Overoptimization * Cursor * Allen Zhu: Physics of Language Models * Language is primarily a tool for communication rather than thought * OpenAI: Improving mathematical reasoning with process supervision * InstructGPT * OpenAI PRM 800k 数据集 * Let's Verify Step by Step * Anthropic: Constitutional AI: Harmlessness from AI Feedback * RLAIF * OpenAI Hyung Won Chung: "Don't teach. Incentivize." * Toolformer * Chain of thoughts * DDPM * DPO * PPO * Sergey Levine: Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actorT Haarn * AlphaGo * AlphaGo-Zero * AlphaZero * MADDPG (Multi-Agent Deep Deterministic Policy Gradient (MADDPG), from OpenAI paper "Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments" * AlphaZero-Like Tree-Search can Guide Large Language Model Decoding and Training * Reasoning with Language Model is Planning with World Model * Chain of Thought Empowers Transformers to Solve Inherently Serial Problems 参考文章 * openai.com * openai.com * OpenAI’s Strawberry and inference scaling laws * 海外独角兽：LLM的范式转移：RL带来新的 Scaling Law * 张俊林：Reverse-o1:OpenAI o1原理逆向工程图解 欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！ M小姐研习录 (ID: MissMStudy) 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

本期播客与《此话当真》合作，这次的创业者深度访谈，有些不一样！这位女侠一般的创业者 2016 年就开始做出海应用创业。这次的访谈，我们看看一位8年出海老兵，如何从0做到数千万用户，又如何在 LLM 大潮中，雷厉风行地带领公司将 AI 融入实践中。 Hello World, who is OnBoard!? 今天的嘉宾，是 Guru Network 创始人兼CEO， Renee 王小雨。2016年，她开发的 Castbox 成立并进军海外移动端播客市场，填补了市场空白，注册用户曾一度达到 3000 万，位列第三方播客产品榜首。如今，这位毕业于北大心理学系，有着多年开发经验的前 Google 员工，正沿着她的创业路径，领导着一个有着 50 多款产品和全球 5000 多万月活用户的公司。 邀请 Renee 来，是我们看到了AI浪潮中，她如何通过自身快速的学习，不仅上线了数款AI native 产品，更是将AI技术迅速融入到各个产品的工作流中，甚至实现了组织和人才的整体进化。 过去这么多年打造海外产品的心得，在AI时代有怎样的变与不变？ 有历史的创业者，如何带领自己的组织实现AI化的进化？ 相信你可以从 Renee 分享的一线实战心得中得到不少启发。 这次两个小时的对话中，你也能感受到这位真性情的女性创业者。一路走来的蜕变与成长。我们聊得开心，也希望你听得有收获又尽兴。Enjoy! 嘉宾介绍 * 王小雨 Renee（公众号：Renee创业随笔）： Castbox 创始人兼 CEO（we are HIRING! renee@castbox.fm） * OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 我们聊了什么 Renee 的创业经历：从 Castbox 到产品矩阵 01:50 北大心理系、大三自学编程、勇闯 Google 后选择离开创业 11:20 创立 Castbox，月活一度达 3000 万 13:56 单一产品商业化困难，转型矩阵式打法 创始人如何有效组织和管理公司？ 21:27 发挥各家优势是跨国组织的效率密码 22:47 Founder Mode 带来的启发：不管规模多大，创始人一定要抓细节 应用 AI 技术给一家公司带来了什么影响和挑战？ 27:39 从生产到推广环节，AI 技术应用带来了历史最快的增长 33:41 如何在公司中推广应用 AI：founder 要能够发掘出水下的新技术人才 39:03 矩阵式打法背后：以市场和收入为导向会更轻松 44:14 面对大模型生产力转化的不足，主动增加工程投入有价值吗？ 创业者视角 VS 投资人视角；单一产品做大 VS 矩阵式生意 47:52 聊聊投资者与创业者心态的不同，做生意和做事业如何选择 54:42 互联网产品早期就得砸钱吗？ 55:53 不是所有互联网产品都是赢家通吃，学着接纳多样化产品的自然规律 如何在当下做好一个 AI 产品 57:52 只看应用层，最后满足的还是用户需求；为什么说品类和组织能力是关键 61:42 今天的 AI 产品经理需要真的懂 AI，知道 AI 的边界在哪 66:56 潜力产品的两个特征：符合成瘾机制 + 激发心流状态 聊聊创业本身，有关创始人的心态和行为 71:31 创业作为一种生活方式，4000 weeks 如何教会我放弃执念，更有耐心 77:19 如何决定是否要拿投资人的钱？为什么不要迷恋宏大叙事，先立地，再顶天 81:39 创业者的悲观与乐观 84:51 出海创业者一定要到美国去吗？ 88:40 快问快答：如何与自己和解，断舍离，对我影响大的人 我们推荐的内容 * 公众号：Renee 创业随笔 * 创业的耐心 * 悲观的乐观主义者 * Founder Mode By Paul Graham * 上瘾——让用户养成使用习惯的四大产品逻辑 Hooked: How to Build Habit-Forming Products, by Nir Eyal * 《底层逻辑2》by 刘润：商业的加减乘除 * 闪电式扩张 Blitzscaling: The Lightning-Fast Path to Building Massively Valuable Companies, by Reid Hoffman, Chris Yeh 欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！ M小姐研习录 (ID: MissMStudy) 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

OnBoard! 又一期全英文访谈来啦！去年采访 MosaicML （$1.3Bn 被Databricks 收购）的CTO Hanlin Tang 和 Sapphire Ventures 合伙人 Casber Wang 的那期节目很受欢迎，创始人和投资人从不同角度探讨一个话题的形式看来很值得再尝试一次。这次的两位嘉宾，Monica 也是期待已久啦！ Hello World, who is OnBoard!? 这次我们来聊聊硅谷一直以来的投资热点：大模型应用的数据基础设施。去年方兴未艾的 vectorDB (向量数据库），现在竞争格局有了怎样的演变？AI应用场景中多模态数据的增加对于 data infra 会带来怎样的挑战和机遇？ 这两位身处硅谷一线的嘉宾，太适合深入探讨这个话题了： 创始人嘉宾 Chang She，LanceDB 的 Co-founder & CEO。LanceDB 是一个为多模态数据设计的开源向量数据库。Chang 是 data infra 的老兵了：他是著名的 Pandas library 的核心贡献者之一，他创立的 Datapad 几年前被Cloudera 收购。2022年，Chang 又开始了第二次创业征程，创立了LanceDB. VC 嘉宾 Brian Zhan，是硅谷50年历史的顶尖老牌早期基金 CRV的投资人。他们最新一期基金超过$1.5Bn, 投资过的 startup 包括DoorDash、Airtable, Vercel 等等。Brian 曾在 Meta 做 data infra 产品经理，后来加入了开源数据库独角兽Starburst。少有的有技术和产品背景的 infra 投资人！ Brian 在2023年底领投了 LanceDB $8M seed轮, LanceDB 至今总融资额超过$11M. 现在，LanceDB 的用户已经囊括了一众头部 GenAI 公司，包括 Character.ai，Midjourney，Harvey 等等。 我们还畅谈了Chang作为连续创业者的心得，以及两位对开源商业化模式和 data infra 热点话题的一些犀利观点，他俩的配合也是非常有趣。Enjoy! 嘉宾介绍 * Chang She (推特 @changhiskhan)： Co-founder & CEO @LanceDB. 曾任 Tubi VP Engineering, 2013年创立的 Datapad 被Cloudera 收购。Pandas library 的核心贡献者。 * Brian Zhan（推特 @brianzhan1）：Investor @CRV. 加入CRV 之前，在 Meta 和 Starburst 担任 Presto 产品经理。 * OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 我们都聊了什么 02:15 Speakers' self-intro, which data infra project Chang found interesting 05:20 Why CRV invested in LanceDB 07:50 Why Chang started LanceDB, and why customers use Lance and LanceDB 18:36 Investor's view on VectorDB - how LanceDB stand out from the competition? Why does it have the potential to become a platform? 27:47 Will there be a convergence of vectorDB? How do we think about competition from incumbent databases such as PGVector by Postgres? 32:57 Takeaways from the announcements from Databricks and Snowflake summits in June 2024 36:15 When do we need a new data format? Why is opensource important for data format? 43:14 How will AI change the data infra landscape? What will stay, what will be replaced, and what will emerge? 52:31 Why does Chang think that RAG is similar to recommendation systems? 55:34 How to evaluate if a new opportunity is for incumbents or startups? 57:57 What are some common mistakes in building data infra? Why does Chang think that opensource is not a default mode? 60:05 How to view OpenAI's acquisition of Rockset? 74:14 Is RAG system here to stay? 79:11 Chang's lessons as a second time founder? Advice to technical founders. 87:04 Brian: What early investors look for in early stage startups 90:47 What do the speakers find exciting about AI in the next 1-3 years? AI agents, healthcare, robotics, multimodal (voice, video gen) 99:36 Quick-fire questions: book recommendations, what's underrated and overrated, oat milk and pressure relief 我们提到的内容 * LanceDB: An open-source vector database designed for multi-modal data. * Lance format: A storage format that improves the performance of LanceDB. * Panda: A popular Python library for data analysis and manipulation. * HDFS: The Hadoop Distributed File System, a scalable storage system for large datasets. * Cloudera: A leading provider of enterprise data cloud solutions. * Data fusion: The process of combining data from multiple sources into a unified view. * Presto: A distributed SQL query engine for big data analytics. * Parquet: A columnar storage format that is efficient for data analysis. * Postgres: A powerful, open-source relational database management system. * PGVector: An extension for PostgreSQL that adds support for vector embeddings. * Unity catalog: A centralized metadata management platform for data discovery and governance. * Prefect: An open-source workflow orchestration platform for data engineering pipelines. * Dag works: A cloud-based data orchestration platform for building and managing data pipelines. * Airflow: A popular open-source platform for programmatically authoring, scheduling, and monitoring workflows. * Voyage AI: A startup focusing on building a platform for autonomous vehicle development. * Reflection AI: A startup that uses AI to help people understand and improve their communication skills. * Decagon AI: A startup that builds AI models for scientific discovery. * Rockset: A real-time analytics database built for the cloud. * RockDB: A high-performance embedded key-value store. 参考文章 * www.ycombinator.com * blog.changshe.io * blog.lancedb.com * medium.com * www.snowflake.com * www.databricks.com * Databricks + Tabular：www.prnewswire.com * openai.com 欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！ M小姐研习录 (ID: MissMStudy) 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

OnBoard! 终于又上新啦！这一期的嘉宾是一位少有的硅谷成功连续创业者，梁胜，他创立的三家公司都被成功并购、累计退出金额达10亿美金！ Hello World, who is OnBoard!? 国内很多朋友可能不是很熟悉梁胜，但是在开源和 infra 领域，他绝对是鼎鼎大名。从2000年第一次创业开始，他亲历了云计算整个崛起的20年。最近一次，他2014年创立的Kubernetes 管理平台 Rancher Labs, 融资超过9000万美金，2020年以超过6亿美金被SUSE 收购。2022年，他又开始了新的创业征程。 这一期超过2个小时访谈，你会听到一个硅谷创业老兵非常真实的创业和技术思考。每一次创业都经历了大小的转型： 作为创业公司，如何在早期发现看似很小的机会？ 如何避开直面大厂的竞争？ 如何在快速变化的市场中做各种战略性的取舍？ 都是最一线的经历。 这一次创业，梁胜的公司在我们的对话之前，也刚刚做了一次pivot 转型，从 infra 开发工具，也进入到生成式AI领域。他们发布的GPTscript, 让开发者可以用自然语言进行编程。我们对话之前，编程 agent Devin 刚刚横空出世，梁胜如何看待这次AI大潮对于开发者生态的颠覆性影响？这次 pivot 背后又是怎样的心路历程？ 不论你希望了解在开发者工具和开源领域创业，在硅谷的创业公司收并购，或许你也是在日新月异的AI领域探索的创业者和从业者，相信这一期真诚又有干货的访谈一定让你受益匪浅。 因为种种原因，这一期其实是今年4月Monica 在硅谷的时候录制的。不过我们谈论的很多内容现在也没有过时！接下来我们还有好多存货要放送，敬请期待！Enjoy! 嘉宾介绍 梁胜，Acorn Labs 联合创始人 & CEO. 中科大少年班，耶鲁大学博士，创办了Cloud.com (被Citrix 2亿美金收购），成为Citrix 首位华人 CTO。Racher Lab 创始人& CEO, 2020年被SUSE 以6亿美金收购。2022年创办 Acorn labs, 融资超过千万美金。 OnBoard! 主持 Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 我们都聊了什么 02:00 Sheng 的自我介绍，24年前如何在硅谷第一次创业 06:43 影响最大的投资人：不做到世界第一就不值得做？不同领域会有什么不同吗？ 13:55 用做到世界第一的思维，如何影响企业的决策？ 16:02 如何开始 Racher Labs ($600+M 收购) 的创业：创业越来越难了，Rancher 如何转型，如何被收购 20:44 公司收购之后，在大公司里亲历创新者窘境，startup 为什么要创造新的市场 25:48 为什么创业公司一定要从小的市场开始做？ 28:11 Rancher 定义新的市场的挑战，为什么觉得在5000万美金收入的时候卖掉？ 33:36 为何决定从收购的公司出来，开始第四次创业？要为AI开发者提供怎样的工具？ 39:18 为何 AI 应用开发需要不同的平台？平台的重构为何是随着应用改变？为什么说kubernetes 以后可能不需要了？ 44:39 Pivot 到AI产品的过程：GPTScript 如何诞生？用自然语言写应用是怎么实现的？ 54:33 如何克服大模型直接写应用的技术难点？ 如何从用户需求角度思考不同场景的技术需求？ 60:54 为什么说现在以数据库为核心搭建的 RAG 走进了死胡同？ 64:07 过去几次创业经历，让我不再担心大厂？ Agent 现在看着市场越小，对创业公司越好？ 70:22 如何思考是否应该开源？为什么说开源是最低成本的试错？最好的开源是“为自己做”？ 76:00 开源商业化模式有什么最佳实践？为什么说开源的困难其实都是市场太小？ 78:49 做开发者工具的生意有什么误区？开发者很难挣钱吗？ 81:56 创业过程中最大的挑战是什么？为什么说创业机会不是 evaluate 出来的？第一个客户怎么找？ 87:17 快问快答：推荐的书，创业以来的变化，期望AI会带来什么变化，创业者如何解压？ 我们提到的内容 * GPTScript by Acorn Labs * Devin/Cognition Lab: www.cognition.ai -构建端到端的软件代理，特别是Devin，第一个AI软件工程师。 * Citrix: www.citrix.com - 一家云计算和虚拟化技术公司，提供服务器、应用程序和桌面虚拟化解决方案。 * Kubernetes: kubernetes.io - 一个开源容器编排系统，用于自动化软件部署、扩展和管理。 * Redhat: www.redhat.com - 一家领先的企业开源软件解决方案提供商，包括红帽企业Linux和OpenShift。 * SUSE: www.suse.com - 全球领先的创新、可靠和企业级开源解决方案提供商，专注于Linux和云基础设施。 * RAG: 一种大型语言模型架构，它将信息检索系统与文本生成模型相结合，以提高事实准确性并提供最新响应。 * 推荐的书：Zero To One, by Peter Thiel 参考文章 * www.acorn.io * www.forbes.com * Acorn Labs 介绍 * GPTScript 介绍 * Acorn Lab 转型 欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！ M小姐研习录 (ID: MissMStudy) 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

大家好，欢迎来到新一期OnBoard!，今年是大家讨论 AI 应用最频繁，也是最期待应用爆发的一年，然而回顾海内外无论面向C端用户还是企业级的产品，似乎离我们希望看到的“现象级”仍有距离。但如果聚焦在许多细分场景，回到现在大模型或技术适合解决的市场，也是上期与戴雨森的对谈里提到的“Technology-market fit”，我们仍可以发现不少应用正逐渐开始证明自己的产品力，这里面不乏来自中国人或华人创办的公司。 当我们提到「闷声赚大钱」的「大钱」，并不一定指巨额财富。我们也不打算在节目中透露它们的具体收入数字，因为我们认为，赚钱本身就是一个非常积极的信号。这意味着产品找到了市场契合度（Product-market Fit），找到了愿意付费的目标用户，这也意味着飞轮开始转动起来了。 Hello World, who is OnBoard!? 这一期是与 AI 主题播客「十字路口」的串台，我们与主播 Koji 一起聊聊身边看到与听到的那些华人创办的 AI 公司，这些公司总部有在国内，有的在硅谷、新加坡、日本等地。无论他们身处何地，他们都和我们处在同一个社交圈和文化体系中，能给我们带来最直接的启发和参考，Enjoy！ 「十字路口」主持 Koji：关注 AI 的自媒体「十字路口」主理人，「新世相」/「躺岛」联合创始人 OnBoard!主持 高宁：前美元 VC 投资人，Global SaaS 社区及服务组织 Linkloud 联合创始人，公众号我思锅我在 (ID: thinkxcloud) 主理人。| 即刻：High寧 我们都聊了什么 02:42 AI创业，这一次为什么这么看重出海？ 06:06 PictureThis如何在北美抓住用户？ 08:31 AI教育为什么涌现许多不错的中国团队？ 12:06 Speak为什么崛起在韩国？ 16:04 UMU如何在日本敲开企业客户大门？ 18:14 为什么中国团队适合做AI陪伴等C端产品？ 23:24 AI赋能创意营销涌现了哪些高增长的产品？ 29:47 AI图像生成工具有哪些不一样的商业模式？ 31:52 效率工具类产品是如何“卷”出来的？ 37:35 Voice agent赛道上又出现了哪些新兴公司？ 38:54 Coding agent公司里又出现了哪些华人身影？ 40:40 为什么这次AI创业全球范围内涌现越来越多华人？ 44:57 Linkloud是如何服务SaaS及AI出海团队的？ 46:21 日本与美国市场的异同在哪里？ 51:28 我们能从硅谷AI创业潮中学到什么？ 我们提到的公司或产品 * PictureThis * Answer AI * StudyX * Speak * UMU * ChatOn * CrushOn * Chai * Talkie * HeyGen * Opus Clip * Creatify * ACE Studio * Fotor * Cutout Pro * Monica.im * Notta * Final Round AI * Retell * Devin * Nexa AI/Octopus 别忘了！同步关注主播的微信公众号，看更多干货内容哦： 我思锅我在 (ID: thinkxcloud) by GN 以上就是本期节目的全部内容，欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

大家好，欢迎来到新一期OnBoard!。6月初，我们终于完成了今年初的一个重要目标——线下听友会，超过100位听友在北京，与两位主播和到场嘉宾一起，度过了干货满满的一整天。上一期节目是真格基金管理合伙人戴雨森和Monica的对谈回放，还没有听过的朋友欢迎回去复习。 Hello World, who is OnBoard!? 第二场对话，我们特地邀请到了三家面向不同海外客群的代表公司，知识工作者为主的Monica.im，开发者与程序员为主的Logto，还有面向北美青少年及学生群体为主的Answer AI，然而无论在对用户群体的调研方式，还是产品设计和增长的最佳实践，要做好全球化及本地化的秘诀等问题，三位嘉宾都分享了很多共通点和非共识的答案，希望也对正在出海的各位有所帮助，Enjoy！ 嘉宾介绍： * 肖弘：Monica.im 创始人 & CEO，2022年底成立的 Monica.im，也是中国最早一批 GenAI 工具。发展一年多的时间，现在在全球有了几百万活跃用户。更早之前肖弘在国内To B SaaS 领域连续创业，并完成了并购退出。 * 周立：Answer AI 创始人，目前北美增长最快的 AI Tutor 之一，目标用户是从七年级到大学的学生，在美国拥有超过 200 万的移动端用户。周立曾任创新工场的早期员工，LiveIn出海社交应用创始人，Kika输入法联合创始人，还担任过豌豆荚的代理CEO，曾是老虎地图的早期核心员工。 * 李铭：Logto 产品和市场负责人，2022年成立的 Logto 是面向全球开发者的工具产品，打造新一代的身份验证和鉴权的 infrastructure。上线以来，在 GitHub 上下载量超过加入 275k。在回国之前，她在字节和 Dropbox。李铭还有一个公众号《鸡汤挂面》，结合创业从0到1的经验，以一个 designer x product x growth 的视角，分享了非常很多出海增长的思考。 OnBoard!主持：高宁，前美元 VC 投资人，Global SaaS/AI 社区 Linkloud 联合创始人，公众号我思锅我在 (ID: thinkxcloud) 主理人。| 即刻：High寧 我们都聊了些什么？ 01:03 出海Panel里三位嘉宾自我介绍以及现在公司产品的简介。 08:14 如何找到并定义产品的理想用户画像（ICP）的？ 13:46 如何在全球市场开展用户访谈？ 29:40 为什么PMF是一个可预测的状态？ 34:41 什么叫用卖期货的方式验证PMF？ 48:07 在大家看来各自领域中跟对标的公司有什么学习的地方？ 58:12 为什么做好全球化不要犯怵，但要实际走到海外去？ 重点公司或词汇 * Photomath * Brainly * Quizlet * Superbase * HashiCorp * Duolingo 别忘了！同步关注两位 Host 的微信公众号，看更多干货内容哦： M小姐研习录 (ID: MissMStudy) by Monica 我思锅我在 (ID: thinkxcloud) by GN 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 最后，OnBoard! 终于成立听友群啦！新年新气象，加入Onboard! 听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes, 发送你的姓名、公司和职位，小助手会拉你进群。期待你来！

这次依旧是硬核话题，我们跟学术大牛深度聊聊2024年上半年美国创投圈最火的的话题之一，具身智能。 没错，智能机器人之火终于从国内来到美国了。在去年下半年的时候，美国创投界还是在关注大模型和应用、infra等等，虽然Deepmind RT-2 等工作彼时已经崭露头角，更喜欢软件的美国VC似乎还在犹豫机器人这个太硬的赛道。但是从今年上半年开始，事情似乎有了变化。 Hello World, who is OnBoard!? 除了Figure AI 这样的人形机器人公司获得了英伟达、微软等一系列战投的加持，硅谷的老牌基金们也疯狂涌入了所谓的机器人大模型公司，比如学术大牛创立的 Physical intelligence, Skild, 还有 Cruise 前CEO 创立的Bot company, 等等。 这次的嘉宾也是大名鼎鼎，UCSD 计算机科学副教授，苏昊老师，关注具身智能和3D视觉领域的同学应该都不陌生。他参与的一系列AI数据集和软件工作，从ImageNet到ShapeNet、PointNet、SAPIEN，以及最近的ManiSkill等等，都是三维视觉、机器人操作等领域穿越几个时代的标志性作品。苏昊老师现在还是智能机器人创业公司Hillbot 的联合创始人，我们深度探讨了： * 过去一年，我们从学术界、工业界讨论的种种话题，又有了哪些新的进展？ * 大模型的发展如何影响具身智能的不同技术路径？ * 大模型带来的泛化能力，跟硬件、控制系统等，又会怎样相互作用？ * 机器人模型里的数据问题，有哪些解决方案？ 具身智能这个看似很纷繁的话题，苏昊老师总是能抽丝剥茧，相信你们也能从我们两个多小时的交流中，受益匪浅。Enjoy! 对了！今年年初，Onboard 就发布过一期关于具身智能的讨论，嘉宾包括了 Deepmind Robotics，高仙机器人和UCSD 的不同视角的重磅嘉宾。那一期讨论也非常精彩，建议大家回去复习哈！ 嘉宾介绍 苏昊 (Twitter @HaoSuLabUCSD)，UC San Diego Associate Professor，Hillbot智能机器人初创公司创始人、CTO。Stanford PhD, UCSD 具身智能实验室主任，数据科学研究所创始成员，以及视觉计算中心和情境机器人研究所成员。他的研究工作集中在开发算法来模拟、理解并与物理世界互动。 OnBoard! 主持：Monica, 美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 我们都聊了什么 03:04 苏昊的学术历程，为什么最近觉得有关证明的研究进展对机器人领域很有启发？ 10:05 从智能演化的角度，理解“具身智能”这个“老概念” 15:01 为什么从语言而不是视觉上最先看到了接近人类的智能？ 21:31 实现具身智能有哪些主流的路线？如何理解不同路径不同切入点背后的逻辑？ 32:10 可以通过大模型的能力实现运动控制吗？有泛化性的控制数据要怎么采集？ 38:26 演示学习 (learning from demonstration) 有哪些不同路径？ALOHA这类遥操作有什么利弊？ 47:00 规划和执行需要一起做训练吗？做一个端到端的系统核心难点在哪里？ 51:15 划重点：好的算法的本质就是降低对数据的需求 52:23 针对机器人的大模型会跟LLM架构有什么异同？ 59:31 人形机器人可以解决数据和能力泛化的问题吗？ 66:16 模拟器能解决训练数据的问题吗？近年来模拟器相关技术有什么关键进展？ 78:31 AI生成3D，Sora 等新技术进展对实现 sim2real 路径有什么影响？ 95:26 苏昊老师现在的创业项目 Hillbot 100:32 快问快答：推荐的书，影响最大的人，具身智能被高估和低估的话题，如何解压！ 重点词汇和公司 * Boston Dynamics * PI (Physical Intelligence) * OpenAI DALL-E 3 * SAPIEN: A SimulAted Part-based Interactive ENvironment * ManiSkill: a powerful unified framework for robot simulation and training powered by SAPIEN. * Google Deepmind RT-1: Robotics Transformer for real-world control at scale * Google Deepmind RT-2: New model translates vision and language into action, Paper * Google Deepmind Open X-Embodiment: Robotic Learning Datasets and RT-X Models, Paper * ALOHA: A Low-cost Open-source Hardware System for Bimanual Teleoperation * Mobile ALOHA: a low-cost and whole-body teleoperation system for data collection. * Behavior Colony：行为克隆 * Learning from Demonstration：示范学习 * Meta AI Habitat: A Platform for Embodied AI Research * AI2: The Allen Institute for Artificial Intelligence * Segment Anything Model (SAM): a new AI model from Meta AI that can "cut out" any object, in any image, with a single click * robot-VILA: Look Before You Leap: Unveiling the Power of GPT-4V in Robotic Vision-Language Planning * CoPa: General Robotic Manipulation through Spatial Constraints of Parts with Foundational Model * ImageNet: image database organized according to the WordNet hierarchy 参考文章 * EP 44.【AI年终特辑3】具身智能深度对话：从学术到产业，机器人的ChatGPT时刻来了吗？ - OnBoard! | 小宇宙 * Debate: Is Scaling Enough to Deploy General Purpose Robots @CoRL2023 * 解密机器人大模型RFM-1：Covariant创始人陈曦专访 * 对话高阳：具身大模型框架ViLa+CoPa 欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！ M小姐研习录 (ID: MissMStudy) 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

聊到生成式AI的发展，开源绝对是最关键的话题之一。这次的嘉宾，可以说涵盖了大模型开源领域最值得关注的公司：从顶流社区Huggingface, 到全球开源社区都关注的阿里通义千问 Qwen 大模型，堪称行业标准的 LLM 推理框架 vLLM, 还有最近最火的软件开发 agent 项目 OpenDevin. 真的是黄金阵容！ 这一期节目也发布得很应景：就在今天凌晨，阿里发布了最新的通义千问 Qwen 系列模型！Qwen2-72B 的表现甚至全面超过 SOTA 的 Llama 3，大家赶紧去关注！ 首先跟大家汇报一下，上周日我们在北京举办的 OnBoard! 第一次线下听友会真是超预期！开放报名4天就250多人报名，周日从上午9点到下午3点，从机器人到AI，创业投资和软件出海，100人的场地，直到最后都几乎座无虚席！真的是非常感谢大家的支持~我们正在努力整理精华文字稿，也请期待我们更多活动！ Hello World, who is OnBoard!? 回到这一期播客，我们将深入探讨大模型的开源生态。 在生成式AI飞速发展的一年多时间里，开源无疑是一个不可忽视的话题。开源模型的迅猛发展，从 Meta 的 Llama 3 到 Mistral 的最新模型，它们对闭源大模型如 GPT4 的追赶，不仅令人惊艳，更加速了 AI 场景下产品的实际应用。而围绕大模型的生态系统，从推理加速到开发工具，再到智能代理，技术栈的丰富程度，虽然已经孕育出了像 Langchain 这样的领军企业，但这一切似乎只是冰山一角。 特别值得一提的是，随着阿里千问系列、Deepseek、以及 Yi 等中国团队主导的模型在国际舞台上崭露头角，我们不禁思考，除了模仿和追赶，中国在大模型领域的发展是否还有更多值得我们关注和自豪的成就。 今天，Monica 有幸邀请到了几位极具代表性的重磅嘉宾，来自 Huggingface 的开源老兵，有通义千问 Qwen 的开源负责人（他也是 Agent 领域最受关注的项目 OpenDevin 核心成员），还有最具国际影响力的开源项目 vLLM 主导人。真是涵盖了大模型开源生态的各个领域的最一线视角！ 嘉宾们都太宝藏了，我们的话题延伸到大模型的各个方面，录了近4个小时！我们前半部分聊了很多infra的创新，以及最近很火的、以OpenDevin 为代表的软件开发agent 背后的技术和生态等话题。下半部分，我们回到大模型开源的主题，畅谈了： * 底层基础大模型的开源闭源生态，未来可能有怎样的演进？ * 开源模型商业化跟过去我们在大数据时代看到的databricks 之类开源商业模式有哪些异同？ * 如何做一个有国际影响力的开源项目？ 还有数据、评测等等大模型领域的核心话题，真的非常全面，又不失一线从业者的深度。 索性就不分成两部分了，大家可以对着 show notes 里面的时间戳，直接跳转到你感兴趣的话题（虽然我觉得每个话题都很好！） 介绍了这么多，还要声明一下，节目里面重点聊到的开源社区 Huggingface，还有几个开源的项目，包括阿里千问、OpenDevin, Deepseek, 零一万物的 Yi，vLLM 等，都没有收取任何广告，完全是嘉宾走心分享，全程无广！当然，如果你们或者其他AI公司考虑赞助一下我们用爱发电的播客，我们当然也是欢迎的！ 三小时硬核马拉松开始，enjoy! 嘉宾介绍 * Tiezhen Wang, Huggingface 工程师，他可以说是中国与世界开源 AI 生态的桥梁，更是从 Google TensorFlow 时代到 Huggingface 早期员工，对中国和世界的开源 AI 生态都有极深的洞察。 * Junyang Lin, 通义千问开源负责人，作为 Qwen 在全球开源社区的主要代言人，他不仅见证了开源的发展历程，还是目前备受瞩目的 Agent 开源项目 OpenDevin 的核心团队成员。 * 李卓翰，UC Berkeley PhD，他所主导的项目更是大名鼎鼎，就是已经成为行业标准的大模型推理框架 vLLM！他所在的 Sky Lab 被誉为开源基础设施的摇篮，从估值百亿美元的 Databricks 到 Anyscale（开源计算框架 Ray 的商业化公司）。他还深度参与了 Chat Arena, Vicuna 等多个国际知名开源项目，对大模型周边生态和 infra 的不仅有国际一线经验，更是有很多有技术理想的干货！ * OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 我们都聊了什么 05:28 嘉宾自我介绍，有意思的开源 AI 项目 18:37 vLLM 如何开始的，如何成为全球顶尖项目，为什么我们需要一个大模型推理框架？ 30:24 Agent framework: OpenDevin 这样的负责 agent 会带来怎样的推理挑战？ 40:37 做好一个编程 Agent，还需要哪些新的工具？多模态会带来怎样的变化？ 56:16 我们需要怎样的 Agent Framework？为什么最适合开源社区来做？Framework 会收敛吗？ 67:46 什么是 Crew AI? 如何看待 Multi-agent 架构？ 73:11 借鉴前端框架的发展历史，如何理解一个框架如何成为行业标准？ 77:54 Huggingface 上开源LLM现状，过去一年多有哪些重要进展？有哪些不同的开源方式？泽娜要给你看待一个开源模型的流行程度？ 94:27 如何理解不同架构的开源大模型生态？Qwen 如何通过架构演进打造更好的开源生态？ 104:59 中国的大模型开源项目有哪些创新？大模型架构有哪些变化？ 112:17 为什么说新的模型架构可能会带来商业化的新机会？我们能从以前的开源商业化中学到什么？ 119:22 我们看到现有大模型架构的天花板了吗？什么是一个新的架构？ 128:03 Zhuohan 从参与最早的开源 LLM 之一 Vicuna 的经历学到什么？学术界和业界在大模型生态上如何分工？ 140:48 用于大模型的数据集领域有哪些值得关注的进展？ 149:42 Mistral 为什么这么快爆火？打造一流国际开源项目有什么可借鉴的经验？vLLM 有什么道和术上的心得？ 166:13 Chatbot Arena 是如何开始的？为什么模型的评测那么重要？还有哪些挑战和可能的进展？ 180:49 Zhuohan 对于 vLLM 商业化方式有什么思考？未来推理成本还有哪些下降空间？ 188:17 快问快答：过去一年生成式AI发展有什么超出预期和不及预期的地方？未来还有什么值得期待？ 我们提到的公司和重点名词 * Qwen, Qwen-2 * OpenDevin: opendevin.github.io * vLLM: github.com * Yi (Github), 零一万物 * Chatbot Arena: huggingface.co * AutoGPT: github.com * crew AI: www.crewai.com * autoAWQ: github.com * LLM.c: github.com * Flash attention: github.com * Continuous batching：一种数据处理技术，用于将连续的数据流分批处理，以提高效率和可扩展性。 * KV cache：键值对缓存，一种存储结构，通过键快速访问数据值，常用于提高数据检索速度。 * Page attention：页面注意力机制，一种在处理长文本时，使模型集中注意力于当前页面或段落的技术。 * Quantization：量化，将数据表示的精度降低到更少的比特数，以减少模型大小和提高计算效率。 * Direct Preference Optimization (DPO): Your Language Model is Secretly a Reward Model * Google Gemini: deepmind.google * Adept: www.adept.ai * MetaGPT: github.com * Dolphinan open-source and uncensored, and commercially licensed dataset and series of instruct-tuned language models based on Microsoft's Orca paper * Common crawl: commoncrawl.org 参考文章 * Tiezhen 的报告：Booming Open Source Chinese-Speaking LLMs: A Closer Look, Slides * 通义千问一周年，开源狂飙路上的抉择与思考｜魔搭深度访谈 * 阿里林俊旸：大模型对很多人来说不够用，打造多模态Agent是关键 | 中国AIGC产业峰会 欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！ M小姐研习录 (ID: MissMStudy) 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

今年上半年 AI 领域最大的热点，除了 OpenAI 的 Sora 之外，当然就是——AI程序员！与 Github Copilot 的代码补全不同，AI Agent 公司 Cognition Labs 和其产品 Devin，宣称世界上第一位“AI 软件工程师”，拥有全栈技能，通过一个指令就能完成整个开发过程。可以端到端构建和部署程序。成立不到半年，估值就高达 20 亿美金！相应的，从Princeton SWE-agent, 到开源项目OpenDevin 这些直接竞争者，到Replit, Augment 等独角兽玩家，都纷纷进入这个领域。这是新的泡沫，还是不远的未来？ Hello World, who is OnBoard!? 这一期我们邀请的三位来自硅谷的嘉宾，在这个领域都太有发言权了！有著名的软件开发云平台独角兽 Replit 的 AI 产品核心成员，有 Agent 领域数个奠基之作的顶尖研究员，还有 ex-Google Deepmind, 现任明星 AI 编程辅助独角兽公司 Augment 的早期核心研究员。 借着小酒，我们长达两个多小时的对话，畅聊了你最关心的话题： AI 会取代工程师吗？ AI取代了一部分软件开发需求之后，会如何重塑软件开发？ Devin 是否能代表 AI Agent 应用开发的方向？ Agent 产品未来还会迎来怎样的提升？基础大模型的边界在哪里？ 最后，生成式 AI 对个人职业和社会会产生怎样的深远影响？ 这或许是市面上你能听到的对于这个话题最深入的讨论（之一？！）——还有，结尾有来自 Princeton 高材生的彩蛋！ Enjoy！ 嘉宾介绍： * 李珎：Replit AI 团队负责 AI Coding agent，ex- startup 创始人, ex- Googler。Replit 成立于 2016 年，是一个基于浏览器的 IDE，允许用户在多种编程语言中编写、运行和分享代码。2023 年$97.4M 的 B 轮，投资人包括 A16Z，Khosla Ventures、Coatue 等，估值 $1.16B * 姚顺雨：普林斯顿大学博士，清华大学获学士。他在Agent 领域发表了一系列非常有影响力的论文：从有奠基意义的 ReAct，Tree of Thoughts, 到成为行业标准的基于 GitHub 的代码能力评估数据集 SWE-Bench，到首个开源AI 程序开发 agent 项目 SWE-agent，是绝对的天才研究员！ * 赵宇哲：Augment 任 AI 研究员，曾在Google Brain（现Google Deepmind）任 Staff Research Engineer，主要研究方向是语言模型预训练，指令训练，神经检索和检索增强语言模型。Augment 成立于 2022 年，是一家为提供企业级全栈式 AI 编程助手的初创公司，由硅谷著名老牌风投 Sutter Hill Ventures 孵化（Snowflake也诞生于此），并在最新一轮获得由Index Ventures、Lightspeed Venture Partners 和 Google 前 CEO Eric Schmidt 等领投的 2.5 亿美金融资，估值接近 10 亿美金。 OnBoard! 主持 * Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 * 高宁：前美元 VC 投资人，Global SaaS 社区及服务组织 Linkloud 联创，公众号我思锅我在 (ID: thinkxcloud) 主理人。| 即刻：High寧 我们都聊了什么 03:30 三位嘉宾背景、如何进入AI领域以及最近常用的AI产品。 20:26 Replit是如何设计AI产品的，背后逻辑是什么？ 28:58 Replit需要训练Coding专属模型的原因是什么？ 34:04 训练代码或数学等专属模型的目的是什么？ 37:50 现在Coding模型跟基础大模型的能力相比有什么差异？ 40:51 Coding模型的训练方法对基础大模型的训练还有什么启发？ 45:26 为什么Replit当初选择构建自己的IDE，以及对后来AI功能设计的影响在哪里？ 51:01 为什么Augment选择以插件的形态服务专业程序员，以及难点在哪里？ 55:27 为什么RAG能更好理解企业级Codebase的需求？ 58:13 使用RAG的过程中最有挑战的地方在哪里，以及如何保证准确率？ 63:38 Augment如何将服务企业的产品标准化？ 67:04 为什么短时间内具有更长Context的大模型仍无法替代RAG？ 69:57 为什么没有针对Coding能力好的Benchmark，以及SWE-Bench诞生的背景？ 73:48 什么是SWE-Agent，以及Agent解决了什么问题？ 78:50 为什么SWE-Agent或Devin相比RAG的准确率有很大提升？ 81:33 SWE-Agent跟Devin的差异在哪里？ 83:12 往后这类Coding agent的准确率提升会在哪里？ 86:50 回顾Agent领域的发展，其中有哪些重要里程碑？ 93:01 是否有必要训练针对Agent的大模型？ 98:37 Replit是如何探索Coding agent的？ 102:03 对Devin印象最深刻的是什么，还有什么是不知道的？ 105:43 Devin现在的用户画像可能是谁？ 109:45 为什么Coding agent能力提升不仅在大模型上，还需在产品化上？ 116:46 顺雨最新一篇解决奥数问题的研究对Coding模型有什么启发？ 120:31 现在基础大模型的能力提升还在哪里，还有哪些是我们不知道的？ 122:15 大模型是否具备System 2的慢思考能力，以及我们如何实现？ 127:13 关于Multi-agent，Replit在做怎样的探索？ 131:13 如何定义Multi-agent系统，什么情况下需要？ 135:08 要实现Multi-agent环境，具体会面临什么挑战？ 137:31 展望未来，AI编程究竟会如何重塑软件开发流程？ 145:45 基于语言模型的Agent带来的社会影响有哪些，人类真的会被替代吗？ 158:56 最后，快问快答：今年研究的小目标、业余爱好和短期内AI最期待的事件？ 165:14 彩蛋！来自顺雨的一段RAP，欢迎来到“宇宙中心”！ 我们提到的公司或产品 * Devin * SWE-Agent * Augment * Sierra | The Conversational AI Platform * Replit * Buildspace * Heygen | AI Video Generator * Fiverr - Freelance Services Marketplace * Magic.dev * Scale AI: Accelerate the Development of AI Applications * RAG: Retrieval-Augmented Generation * Voyage AI * OpenDevin: Code Less, Make More * Adept AI * imbue 我们提到的论文或文章 * SWE-bench * BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding * LaMDA: our breakthrough conversation technology * Measuring Massive Multitask Language Understanding * Synergizing Reasoning and Acting in Language Models * Cognitive Architectures for Language Agents * Tree of Thoughts: Deliberate Problem Solving with Large Language Models * ReAct: Synergizing Reasoning and Acting in Language Models * Can Language Models Solve Olympiad Programming? * Announcing Replit AI for All * Introducing Multiplayer AI Chat * Replit AI Manifesto * AI Agent Code Execution API * princeton-nlp.github.io * The Worlds I See: Curiosity, Exploration, and Discovery at the Dawn of AI 欢迎我们的微信公众号，了解更多中美软件、AI与创业投资的干货内容！ M小姐研习录 (ID: MissMStudy) 我思锅我在（ID: Thinkxcloud） 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 OnBoard! 终于成立听友群啦！新年新气象，加入Onboard听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes, 发送你的姓名、公司和职位，小助手会拉你进群。期待你来！

非常久违的两位主播的研究对谈来了！在 ChatGPT 诞生近一年半的时间里，生成式 AI 领域几乎每天都在发生激动人心的变化。从大模型到应用，从软件到机器人，从文字到图片、视频、声音，从全新的商业模式到对现有业务的赋能。比起很久之前那一期对谈，不只是 AI，两位主播也都分别开始了新的征程，过去一年有了很多机会在中美一线市场频繁穿梭，终于有机会分享一些我们沉淀下来的观察与思考。 Hello world, who is OnBoard!? Monica 去年加入了另一家美元 VC，更聚焦地关注海外的早期投资机会。GN从美元机构离开，创立了 SaaS/AI 社区 Linkloud（公众号同名），帮助越来越多中国软件和科技公司走向全球。 AI 无疑是这个时代里边最大的变量之一，近两个小时，过去一年在中美频繁奔波的我们，探讨了你关心的各种问题： * AI应用落地真的不及预期吗？ * 从应用到infra有哪些有意思的落地案例？ * 如何看待国内AI的进展和弯道超车的机会？ * 中美差异背后的原因是什么？ * AI公司出海有什么最佳实践与建议？ * 我们对AI短期和长期的期待，以及podcast/newsletter推荐！ 一些拙见，抛砖引玉，希望对大家有一些些启发~！Enjoy! 我们都聊了什么 03:11 两位主播的自我介绍，以及最近半年日常使用的AI产品。 15:54 一年以来，哪些AI产品或落地超预期或不及预期？ 20:24 为什么还在成长期的SaaS公司最容易将AI落地？ 23:11 AI在全球其他地区的渗透有什么不一样的地方？ 26:00 为什么在美国大模型和Infra层的进展会超预期？ 30:16 对苹果Siri的预期，以及可能面临的限制在那里？ 35:31 Soundhound是如何结合Voice AI来落地点餐场景，并完成商业化的？ 40:42 EvolutionIQ是如何在保险领域结合AI并促进业务增长的？ 49:08 Monica错过的一家初创公司是如何将AI融入销售人员工作流的？ 55:47 为什么AI代码生成领域在今年会百花齐放？ 65:38 国内AI的进展与美国有什么不同，为什么在C端会出现更多产品？ 76:07 中美资本市场的差异在哪里，以及创业者该如何在市场下行时树立长期愿景？ 81:58 为什么中美差异最大的是AI在B端的发展，以及机器人是否是个变量？ 92:55 为什么“单点极致”可能是中国AI公司出海最重要的方式？ 97:33 为什么出海第一步要走出国门，感受并融入开放的生态？ 100:55 作为投资人，如何看待面对大模型公司下创业公司的壁垒和竞争力？ 106:41 两位主播对今年AI的“大胆”预测和期待有哪些？ 119:02 最后，奉上我们这一年新种草的播客和Newsletter，希望对听众有帮助！ 我们提到的公司或产品 * Devin (by Cognition Lab): cognitionlab.com * SWE-agent: swe-agent.com * DBRX by Databricks: github.com * Jamba: A Hybrid Transformer-Mamba Language Model * Hume AI: www.hume.ai * Monica.im: https://monica.im/ * Gemini Advanced: https://gemini.google.com/advanced * Perplexity: www.perplexity.ai * Kimi Chat: https://kimi.moonshot.cn/ * Six助手（目前还在灰度测试，微信不接受新用户啦） * Workstream: www.workstream.us * Klarna: www.klarna.com * Speak: https://www.speak.com/ * Lepton.ai: www.lepton.ai * Soundhound: www.soundhound.com * EvolutionIQ: evolutioniq.com * Siro: siro.ai * Magic.dev: magic.dev * Codium: https://www.codium.ai/ * Cursor: https://cursor.sh/ * Augment: www.augmentcode.com * Sweep: www.sweep.io * Typeface: www.typeface.ai * Sierra AI: https://sierra.ai/ * Physical intelligence: https://physicalintelligence.company/ * Skild: www.skild.ai * Covariant: covariant.ai * Figure: www.figure.ai * Cobot: https://www.co.bot/ * Deepmind RT-X: deepmind.google 播客及Newsletter推荐 * Latent Space | swyx & Alessio | Substack * Bg2 Pod * Interconnected | Where Tech, Investing, Geopolitics Come ... * Elad Gil * First Round Review * What's 🔥 in Enterprise IT/VC #322 - by Ed Sim * Generative Now | AI Builders on Creating the Future ... * 20VC - Venture Capital, Entrepreneurship, and Podcast 欢迎我们的微信公众号，了解更多中美软件、AI与创业投资的干货内容！ M小姐研习录 (ID: MissMStudy) 我思锅我在（ID: Thinkxcloud） 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 OnBoard! 终于成立听友群啦！新年新气象，加入Onboard听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes, 发送你的姓名、公司和职位，小助手会拉你进群。期待你来！

上周 GDC 2024 大会在旧金山举办，可谓是游戏行业一年一度的顶级专业盛会，想必很多游戏开发者、AI 游戏方向的创业者及投资人都亲历现场。从 AIGC 到大模型，这次 GenAI 的浪潮可谓对游戏，这个看似传统的行业带来各个维度和环节的冲击，而去年斯坦福小镇、AI agents 和国内《完蛋！我被大模型包围了》、《哄哄模拟器》等 AI 原生小游戏的一夜火爆，更让我们对 AI 游戏有了更多期待！ Hello World, who is onboard? 在第五十期节目里，我们特地邀请到三位来自游戏领域不同细分方向的嘉宾，有来自硅谷 AI NPC 引擎开发平台Inworld AI的产品负责人，Inworld AI 曾在去年半年内获得超过6,000万美元融资，还有来自微软 Xbox 部门 Gaming AI 的工程师，第三位更是兼顾游戏方向资深从业与投资背景。 我们从 AI 对游戏已经带来的变化聊起，包括 AIGC、NPC 角色扮演到 Agents 的可能性，到该如何设计打造一款 AI 原生游戏以及所面临的限制，如何看待第三方开发工具在产业里的定位和挑战，最后三位嘉宾也给出了对初创公司的建议和期望，希望对无论是游戏玩家还是创业者的你们有所启发，Enjoy！ 嘉宾介绍： * Nathan Yu：Inworld AI 产品总监，前微软 MR 部门高级产品经理。 * 邱成岭：微软 Xbox Gaming AI 工程师，个人对 Agent framework 和 On-Device model 也有工程及开发经验。 * 孙宇光：创业者，投资人，专注AI和 XR gaming 等方向。 OnBoard!主持 * Monica：美元 VC 投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 * 高宁：前美元 VC 投资人，Global SaaS 社区及服务组织 Linkloud 联创，公众号我思锅我在 (ID: thinkxcloud) 主理人。| 即刻：High寧 我们都聊了什么 01:52 三位嘉宾自我介绍，以及2023年最喜欢的一款游戏。 06:37 从传统AI到生成式AI，对游戏产业产生了哪些重要影响？ 08:39 这一次生成式AI带来的变革主要是哪两个方面？ 13:50 Inworld AI团队是什么背景，以及如何从元宇宙转变为AI NPC引擎平台的？ 15:58 Inworld AI核心产品是什么，以及用户最关心哪些性能？ 18:40 NPC引擎支持实时互动设计还是像Copilot一样辅助开发者？ 19:56 加入AI元素的NPC在游戏里扮演什么角色，以及对用户的价值究竟在哪里？ 22:47 哪类游戏最适合加入AI NPC等元素？ 26:18 为什么Nathan认为当下AI游戏应让用户知晓含有AI NPC元素？ 30:40 除了幻觉，AI NPC还面临哪些限制或挑战？ 34:37 如何定义AI原生游戏，至今有哪些有趣的实验或Demo？ 37:21 为什么至今还没有类斯坦福小镇的游戏诞生，里面有什么挑战？ 43:07 为什么Agents在游戏的应用不是新鲜事，以及现在有哪些落地？ 50:25 为什么市场上没有太多成功的第三方游戏开发工具，挑战在哪里？ 52:58 Inworld AI是如何让游戏工作室愿意使用第三方工具而不DIY？ 57:44 生成式AI还将在哪些地方为游戏开发者提高工作效率？ 60:37 微软Xbox与Inworld AI的战略合作在哪些方面？ 64:48 为什么第三方工具的难在跟现有工作流的结合，Inworld AI又该如何解决？ 67:36 Inworld AI早期是如何获客，并与知名工作室达成合作的？ 70:35 为什么对游戏产业的深刻认知对初创公司或第三方工具来说很关键？ 73:08 未来一两年，生成式AI对游戏产业还可能带来怎样的变革？ 77:07 海内外AI原生游戏发展会有什么不同，为什么AI小游戏将可能爆发？ 我们提到的游戏或相关研究： * Uncover the Smoking gun * Yandere AI Girlfriend Simulator * Baldur's Gate 3 * Generative Agents: Interactive Simulacra of Human Behavior * The Elder Scrolls * How to DM | Dungeons & Dragons * Cygnus Enterprises * Roblox * RimWorld * Minecraft * StarCraft * Forza Drivatar * Trueskill * LLM Agent in Werewolf Game * Meta AI’s CICERO dipomacy game 欢迎我们的微信公众号，了解更多中美软件、AI与创业投资的干货内容！ M小姐研习录 (ID: MissMStudy) 我思锅我在（ID: Thinkxcloud） 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 OnBoard! 终于成立听友群啦！新年新气象，加入Onboard听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes, 发送你的姓名、公司和职位，小助手会拉你进群。期待你来！

本期继续探讨如何在海外市场打造AI应用。上一期节目我们从不同角度探讨了技术如何推动 AI 应用落地，以及嘉宾在各自领域做应用和产品的所见所闻。如果你还没有听过上一期，欢迎先补课！ Hello World, who is OnBoard!? 本期我们邀请到了横跨中美的几位嘉宾，在各自的领域也非常有代表性。包括Monica.im 这个用户过百万的 AI 工具的创始人，也有 Typeface 这样由 Adobe 前 CPO 创建的、针对企业级用户的美国本土 AI 创业公司的早期员工，还有经历过移动互联网时代的大厂 to C 方向探索者。他们不同视角和经验的碰撞，非常精彩，这次的内容分成两期给大家放送。 第二部分，我们将着重探讨 AI 产品从0到1的增长，产品长期竞争力和未来展望。都是来自一线的实践和思考干货，大家 Enjoy! 嘉宾介绍 * 肖弘：Monica.im 创始人 & CEO。之前在国内 To B SaaS 领域创业。 * 张涛：古典产品经理，工具、内容、SaaS都做过，目前探索 AI 应用场景中。 * 赵鑫宇：Typeface 早期员工，负责产品后端研发以及大模型调优，此前在 Meta 和 Tiktok 等参与 growth engineering 和机器学习工作。 * OnBoard! 主持：Monica：美元 VC 投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 我们都聊了什么 02:31 Monica.im海外增长是如何0到1的？为什么建立一个学习型组织很关键？ 13:13 五年后，Red希望Monica.im会是一个什么样的定位？ 19:07 从企业服务落地角度，为什么Agents和对专业知识的抽象会有很大价值？ 23:43 现在AI互动还有哪些“改良”空间以及张涛团队正在尝试哪些小实验？ 29:30 什么样的AI产品出海对国内来说有优势？ 32:06 如何构建应用产品的壁垒？为什么团队至少需要有很“懂”模型的成员？ 43:50 如何看待与也做Killer app的大模型公司的竞合关系？海内外大模型公司差异在哪里？ 60:33 Google Gemini真正的差距为什么在开发者生态上？ 63:55 最后，大家未来一年工作的重心在哪里，以及还有什么期待？ 我们提到的公司： * Character.ai * Google Gemini * Cohere * Anthropic * Inflection AI * Twilio * Stripe * Mistral AI 重点词汇： * SEO：Search Engine Optimization * Stable Diffusion * ControlNet * Code interpreter * Scaling law 欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！ M小姐研习录 (ID: MissMStudy) 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 OnBoard! 终于成立听友群啦！新年新气象，加入Onboard听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes, 发送你的姓名、公司和职位，小助手会拉你进群。期待你来！

大家好，欢迎来到 Onboard！这一期是几个月前拖欠的作业，不过即使在 AI 发展日新月异的今天，如何打造 AI 应用这个主题，倒也仍然不过时。毕竟打造伟大产品，本身就是一个需要长期探索和耕耘的过程。 过去一年，我们就 AI 和大模型技术做了很多深度探讨，但是一方面，大家看到大模型能力突飞猛进，英伟达等“买水”生意也蒸蒸日上。另一方面，又普遍感觉 AI 应用落地的速度低于预期。到底现在国内外应用产品真实落地的情况是怎样的？从太薄的 “GPT wrapper”, 到轻量级产品工具，到企业级应用，一线的创业者和从业者有哪些心得？出海已经是 AI 应用不得不谈的主题之一，做一个面向海外的产品，从0到1的增长应该怎么做？大模型底层技术的演进，又给产品的设计带来哪些机会和挑战？ Hello World, who is OnBoard!? 本期我们邀请到了横跨中美的几位嘉宾，在各自的领域也非常有代表性。包括Monica.im 这个用户过百万的 AI 工具的创始人，也有 Typeface 这样由 Adobe 前 CPO 创建的、针对企业级用户的美国本土 AI 创业公司的早期员工，还有经历过移动互联网时代的大厂 to C 方向探索者。他们不同视角和经验的碰撞，非常精彩，这次的内容分成两期给大家放送。 第一部分，我们讨论了不同 AI 产品形态，不同场景的应用，以及技术发展对于应用产品的影响。第二部分，我们将着重探讨 AI 产品从0到1的增长，产品长期竞争力和未来展望。都是来自一线的实践和思考干货，大家 Enjoy! 嘉宾介绍 * 肖弘：Monica.im 创始人 & CEO。之前在国内 To B SaaS 领域创业。 * 张涛：古典产品经理，工具、内容、SaaS都做过，目前探索 AI 应用场景中。 * 赵鑫宇：Typeface 早期员工，负责产品后端研发以及大模型调优，此前在 Meta 和 Tiktok 等参与 growth engineering 和机器学习工作。 * OnBoard! 主持：Monica：美元 VC 投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 我们都聊了什么 02:43 各位嘉宾的自我介绍，以及自己正在做的或公司的AI产品是怎样的？ 10:27 为什么国内创业者选择在to C方向上居多，而海外更多面向to B？ 12:27 为什么Monica.im选择插件形态以及前两次创业对这次新征程的帮助。 21:57 为什么Monica.im的定位是Copilot for web？ 27:14 一开始就服务企业级客户的Typeface在产品和Go-to-market上有什么特别之处？ 35:31 为什么Typeface需要做得足够“深”才能满足企业对Onboarding和品牌风格上的需求？ 39:51 为什么对大多数来说信息不存在过载，以及用AI来处理并“消费”人类生产的内容有什么机会？ 49:13 为什么未来人与AI的互动将变成一件非常正常的事情？ 58:17 为什么从全行业角度，现在AI的渗透率比从业者眼里其实要低很多？ 63:12 对于Monica.im，如何通过提升执行力和用户体验来加快产品渗透率的？ 67:21 企业级客户对各类型AI产品的使用意愿如何，以及阻碍在什么地方？ 73:04 为什么例如LCM等技术是文生图领域非常重要的里程碑？ 82:38 在企业里，为什么从产品Demo到真正落地间的跨度还很大？ 92:45 在做To C产品中，有哪些技术问题是Monica.im最关注的？ 106:26 现在主流的LLM Ops工具有哪些，以及嘉宾有什么推荐？ 我们提到的公司： * Jasper AI * Copy.ai * Character.ai * Adobe * Rewind * ElevenLabs * Mistral AI * Perplexity * Google Gemini * Lepton AI * Fireworks AI * Weights & Biases * Databricks 重点词汇： * Stable Diffusion * LCM：Latent Consistency Model * AI Companion * Extension * Semantic search * Multi-modality * Inference 欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！ M小姐研习录 (ID: MissMStudy) 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 OnBoard! 终于成立听友群啦！新年新气象，加入Onboard听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes, 发送你的姓名、公司和职位，小助手会拉你进群。期待你来！

OnBoard! 终于成立听友群啦！新年新气象，加入Onboard听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes, 发送你的姓名、公司和职位，小助手会拉你进群。期待你来！ 久违的一对一访谈回来啦！这次的嘉宾绝对重磅，贾扬清老师，关注AI领域的同学应该都听过他的鼎鼎大名！他在 UC Berkeley 博士期间创立了深度学习框架 Caffe, 很快成为行业事实标准。先后在 Google Brain, Facebook AI 从事最前沿的AI研究，随后又担任了阿里巴巴技术副总裁，领导大数据计算平台。2023年开始新征程，在硅谷创立了 Lepton AI. Hello World, who is OnBoard!? 作为AI和infra行业的行业领军人物，扬清老师是如何思考自己AI创业的方向的？他如何理解未来AI对于基础设施的需求，跟云计算这么多年的发展有哪些异同的地方？这一年以来，回到世界AI创新中心的硅谷，他对于AI和创业的理解、开发者工具和应用的价值、开源和闭源模型等等话题，都有怎样的思考迭代？ 我们不知不觉又聊了近两个小时，真是干货满满，你也能感受到扬清条理清晰、观点犀利，又温和儒雅，实在是太令人享受的谈话了。这大概就是播客的魅力，让我们在文字之外，感受到更真实鲜活的人。 嘉宾长期在美国工作生活，有英文在所难免，不接受抱怨！Enjoy! 嘉宾介绍 贾扬清（推特：@jiayq），Lepton.ai 创始人。本科和研究生阶段就读于清华大学自动化专业，后赴加州大学伯克利分校攻读计算机科学博士。他在博士期间创立并开源了如今业内耳熟能详的深度学习框架Caffe，被微软、雅虎、英伟达、Adobe 等公司采用。2013年毕业后，他加入谷歌，是谷歌大脑 TensorFlow 的作者之一。2016年2月加盟Facebook，并开发出Caffe2Go、Caffe2、PyTorch等深度学习框架。2019 年加入阿里巴巴，担任阿里巴巴集团副总裁、阿里云智能计算平台事业部总裁。 嘉宾主持：戴雨森，真格基金合伙人，清华大学工业工程系2004级校友，曾在斯坦福大学管理科学与工程系就读。戴雨森22岁时参与创办了知名互联网上市公司聚美优品，主管互联网产品、运营、市场投放、品类等。加入真格基金之后，主要关注人工智能方向投资。 OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学 我们都聊了什么 02:14 主持和嘉宾的自我介绍，Lepton 最近一篇论文为什么值得关注？ 06:00 Lepton AI是做什么的，为什么称之为 AI cloud company? 10:02 为什么想要成立 Lepton AI? 11:50 设计针对AI的基础设施难点在哪里？跟传统云厂商和HPC的差别是什么？ 19:46 为什么说现在我们不需要担心AI推理成本？未来提升的空间有多少？硬件和软件还可能有哪些突破？ 25:27 开发者如何选择AI基础设施和响应的开发工具？为什么 leaderboard 是不够的？ 28:49 Nvidia 会有新的挑战者吗？什么是“不可能三角”？ 33:48 MLOps 是个伪命题？！AI 需要的开发工具是怎样的？ 39:01 应用开发门槛越来越低，如何思考AI应用的价值？微软20年前的海报给了我们怎样的启发？ 44:47 AI native 的组织是怎样的？ 54:51 开源和闭源、专用和通用模型未来的关系？未来会 one model rules all 吗？ 64:24 创业之后有什么感受和收获？去年年初提出的“三个基本假设”，这一年有什么变化？ 67:56 未来AI应用和平台的市场格局会发生怎样的变化？ 70:01 为什么说我们低估了颠覆的难度？期待5年后AI可以完成什么？ 76:59 快问快答：喜欢的AI产品，推荐的书籍，解压的方式，想要问 AI 什么问题？ 我们提到的内容 1. DistriFusion: Distributed Parallel Inference for High-Resolution Diffusion Models, Paper, Code 2. Meta research: Training ImageNet in 1 Hour 3. AI inference leaderboard 4. Lepton Search, Code 5. Perplexity 6. 推荐的书：菊与刀 参考文章 1. 贾扬清的个人网站 2. 贾扬清：三个基础假设 3. 贾扬清：ChatGPT，和聪明地设计 Infra 4. Twitter 讨论：Are LLM APIs losing money? 5. Does One Large Model Rule Them All? 欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！ M小姐研习录 (ID: MissMStudy) 欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。 OnBoard! 终于成立听友群啦！新年新气象，加入Onboard听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes, 发送你的姓名、公司和职位，小助手会拉你进群。期待你来！