148. 对游凯超3小时访谈：开源Infra、和模型Co-design 、“如果vLLM失败，我们会后悔一辈子”

今天我们的嘉宾是游凯超，他是创业公司Inferact联合创始人兼首席科学家——这个公司很特殊，是从伯克利一个校园开源项目vLLM演化而来。这个社区的维护者用了将近3年时间，把它从一篇算法论文变成了一个开源社区，又变成了一个公司的正常运营。

这些维护者们放弃了大量的个人诱惑，坚持着他们所相信的开源精神。

今年初，Inferact获得了1.5亿美元种子轮融资。我们讨论了当一个寄托着社区情怀的开源项目，变成一个商业化的组织运营之后，它所面临的抉择、转变与思考。

另外一方面，我们也非常希望在AI Infra技术前沿上，给大家带来一些新的思路。所以我也和游凯超聊了聊，在AI Infra、模型结构，甚至Harness Engineering都要联合设计的时代背景下，多方的联合设计应该怎么做？

接下来，就是我对游凯超的访谈。

OUTLINE:

00:02:18 从算法到机器学习系统

00:37:56 开源项目vLLM的诞生

01:07:25 “如果vLLM失败了，我们会后悔一辈子”

01:20:11 “仁慈的独裁者”

01:37:16 从社区到创业

01:52:56 模型与Infra的Co-design

02:15:10 Token VS 电力

02:35:41 技术预测

LINKS：

我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出；

我们的视频播客在Bilibili、小红书、视频号、抖音等全视频平台播出；

如果你想服用文字版，请搜索我们工作室的公众号：语言即世界language is world。

DISCLAIMER: 本内容不作为投资建议。

CONTACT: xiaojunzhang@lisw.ai

Jump into the new world-and explore with us!😉