- E5 LLM 范式迁移:OpenAI o1,Self-play RL与 AGI 下半场
本节目是全球投资平台拾象科技和开源研究平台「海外独角兽」共同出品的声音栏目。 作为海外独角兽和「张小珺商业访谈录」的第四期串台,拾象科技 CEO 李广密和商业作者张小珺的围绕 AGI 发展路径展开了猜想,self-play RL 是新的 scaling law。 这期讨论录制于 2 周前,随着今天凌晨 OpenAI o1 模型的发布,我们的猜想得到验证,LLM 正式进入了 self-play RL 范式时代。 o1 的发布只是 AGI 下半场的开始,我们也相当期待接下来 Anthropic Claude 3.5 系列新模型的发布,Claude 3.5 和 o1 的表现会是 RL 进程是否顺利的风向标。 作为关注 AI 最前沿的团队,我们围绕 self-play RL 也已经发布了多篇研究,本期内容是一篇高质量科普,关于 RL 和合成数据会如何帮助模型升级?基于 LLM 的 RL 和 self play 和以前的 RL 有什么不同?模型的 Reasoning 能力提升后会带来什么新机会?等等关键问题都可以找到最完整的答案。 点击查看本期对谈的文字内容 ▫️延伸阅读▫️ LLM 新范式:OpenAI o1,self-play RL 和 AGI 下半场 LLM 范式转移:RL 带来新的 Scaling Law OpenAI联创:RLHF是超级智能的秘密武器 草莓模型即将发布,如何参与新一轮 AI 上涨周期? * 更多信息欢迎关注公众号:海外独角兽 ▫️AGIX 指数▫️ AGIX 指数是拾象设计的追踪 AGI 科技革命的指数,是我们在全球科技上市公司中精选出的“高 AI 纯度”公司的组合。AGIX 指数是定位 AI 进程的坐标,也为投资者捕捉 AI-alpha 提供了一个价值工具。
- E4 为什么 AGI 应用还没有大爆发?
本节目是全球投资平台拾象科技和开源研究平台「海外独角兽」共同出品的声音栏目。 本期内容是我们和「张小珺商业访谈录」的第三期串台,是对今年上半年全球大模型发展的总结。本期内容主要讨论了 AI 应用,对 AI 问答引擎 Perplexity 进行了深度剖析,还对今年年底可能发布的 GPT-5 进行了预测。 点击查看本期对谈的文字内容。 本期人物 李广密:拾象科技创始人及 CEO。 张小珺:商业作者,曾供职《财经》杂志,目前在腾讯新闻,一直写作关于中国商业的深度报道。 主要话题 * 04:49 为什么 Perplexity 是过去一年中唯一跑出来的 AI 应用? * 11:56 Perplexity 与 Google、OpenAI 竞争的护城河是什么?未来会独立长大还是被并购? * 20:54 为什么说现在模型能力和产品能力都不够? * 22:29 AI 应用层大爆发的关键条件有哪些?如果 OpenAI GPT-4o 给开发者的 API 成本大幅下降,成本可忽略,哪些应用能爆发? * 28:26 模型变小的挑战是什么? * 34:33 AI 新物种会在GPT-5出来半年后大爆发 * 36:09 GPT-5 为什么还没有发布? * 38:34 过去半年中国 AI 公司的梯队有什么变化?他们的生死线是什么? * 43:42 大模型是好的商业模式吗?壁垒在哪? * 52:41 FSD过去一年有什么进展? * 48:14 在 Scaling Law 之外,会有不一样的路线走向 AGI 吗? * 59:49 创业公司和大公司不是颠覆关系,是依赖关系。 拾象 AGIX 指数 本月拾象正式发布了指数产品 AGIX Index( Bloomberg Ticker: SOLEAGIX )。如同纳斯达克 100 通过严密的公司组合成为互联网科技革命的晴雨表一样,拾象 AGIX 指数是我们围绕 AI 革命设计的,代表的是新一轮 AI 革命,通过对上千家公司的层层筛选、最终精选出 50 家左右公司组成,涵盖了 AI Hardware、Infra 和 Application 三个板块。我们希望它成为 AGI 浪潮的新一代价值决策工具。 点击链接了解 AGIX Index 详情。 延伸阅读 * Perplexity CEO:AI 创业公司要先做产品,后做模型 * AGI 马拉松与大基建 * 跨年对谈:千亿美金豪赌开启 AI 新摩尔时代 * 我们距离 AGI 还有多远 * Scaling 能通往 AGI 吗? * 拾象AGIX指数发布:AI 时代的纳斯达克100 使用音乐 El Marsiano - Don Bacilon 制作出品 * 出品:海外独角兽 * 监制:Siqi * 运营:Lavida 联系我们 微信公众号:海外独角兽
- E3 AGI 马拉松与大基建,2024 年全球大模型会如何演进?
全球投资平台拾象科技和开源研究平台「海外独角兽」出品 本期内容是我们和「张小珺商业访谈录」串台节目的第二期。在上期节目中,拾象科技 CEO 李广密和商业作者张小珺一起总结了 2023 年全球大模型竞赛,本期我们选择将“AGI 大基建与马拉松”作为关键词,延续上次内容,对 2024 Q1 全球大模型的发展进行了复盘,主要讨论了模型竞争格局的变化、模型的算力和能源瓶颈、开源模型对闭源模型的冲击,以及全球 AGI 时间线的变化等关键问题。 点击查看本期对谈的文字版内容。 本期人物 * 李广密:拾象科技创始人及 CEO。 * 张小珺:商业作者,曾供职《财经》杂志,目前在腾讯新闻,一直写作关于中国商业的深度报道。 主要话题 * 00:25 从 OpenAI Sora 到 Llama3,2024 的 LLM 格局和 AGI 演进发生了哪些变化 * 02:12 Elon 和 Google 都加入了开源,为什么说“开源模型会打掉闭源模型”的商业价值? * 15:14 为什么这波 AGI 浪潮中诞生的巨头会比互联网时代更加庞大? * 18:20 AGI 登山路线:南坡模型,北坡产品 * 24:04 AGI 大基建现在的关键瓶颈是算力和数据中心建设 * 34:35 中美 AGI 大基建差异 * 41:53 Scaling law 接下来还能走多远?是否能通往 AGI? * 50:53 创业公司追随 Sora 是很危险的 * 56:45 为什么 AGI 时间线看起来进展变慢了? * 1:06:05 AGI 时代也许并不需要 killer app,而是一个随时随地的 agent 延伸阅读 * AGI 马拉松与大基建 * 跨年对谈:千亿美金豪赌开启 AI 新摩尔时代 * Sora 的算力数学题 * 我们距离 AGI 还有多远 * Scaling 能通往 AGI 吗? * AI 重塑法律行业:为 80%的工作带来 10x 提升 * Notion CEO:为什么 RAG 会彻底改变知识型工作? * 专访 VideoPoet 作者:LLM 能带来真正的视觉智能 * 专访 Pika Labs 创始人:探索视频生成的 GPT 时刻 使用音乐 El Marsiano - Don Bacilon 联系我们 微信公众号:海外独角兽
- E2 新摩尔定律时代:拾象 2024 LLM 猜想 | 新年特辑
Alignment 是全球投资平台拾象科技和开源研究平台「海外独角兽」旗下的声音栏目。 本期内容是我们和「张小珺商业访谈录」的串台节目,拾象科技 CEO 李广密和商业作者张小珺一起讨论了 2023 年的大模型军备竞赛、接下来的格局变化,以及在 2024 年大模型领域值得期待的重要事件。拾象团队在过去一年中积极追踪着全球一线大模型公司、顶级 AI research lab 的动态,本期内容也是我们持续研究的浓缩总结,我们相信,“新摩尔定律时代”才刚刚开始,随着模型智能能力的进化和算力成本的持续优化,在 2024 年还会有更多惊喜涌现。 点击查看本期对谈的文字版内容。 本期人物 李广密:拾象科技创始人及 CEO。 张小珺:商业作者,曾供职《财经》杂志,目前在腾讯新闻,一直写作关于中国商业的深度报道。 主要话题 * 03:29 2023 年 AI 的四大重要分水岭有哪些? * 04:23 除了 OpenAI、Anthropic、Google 外,还有谁能进入大模型竞赛圈? * 20:45 GPU 成本下降后,下一代模型的训练成本为何会提高? * 29:36 2024 年将是硅谷大模型公司格局的关键决胜阶段 * 36:40 什么是“新时代摩尔定律”,为什么它会成为 AI 未来发展的风向标? * 44:44 2023 年 LLM 巨额投资在赌什么?赌出来了什么样的结果? * 54:10 开源与闭源模型的终结形态是什么样的? * 01:05:20 GPT-5 或将在 2024 实现? * 01:28:10 大模型 native 产品的“乔布斯”在哪? 延伸阅读 * 跨年对谈:千亿美金豪赌开启 AI 新摩尔时代 * 专访VideoPoet作者:LLM能带来真正的视觉智能 * 专访Pika Labs创始人:探索视频生成的GPT时刻 * Character AI:如何把LLM变成人类想象力引擎? * Perplexity AI,比Google Bard和Bing Chat更靠谱的问答引擎 * Midjourney:AIGC现象级应用,一年实现1000万用户和1亿美元营收 * Runway:AI Native Tools工厂,视频生成领域的字节跳动 使用音乐 El Marsiano - Don Bacilon 制作出品 * 出品:海外独角兽 * 监制:Siqi * 运营:Lavida 联系我们 微信公众号:海外独角兽
- E1 AI 从业者们聊GPT:大模型的进化、格局和 AI Native 应用
Alignment 是全球投资平台拾象科技和开源研究平台「海外独角兽」旗下的声音栏目。 本期内容来自以 GPT-4 主题的一场闭门讨论会。英伟达 CEO 黄仁勋在 GTC 2023 中提到 AI 领域正迎来自己的 “iPhone 时刻”,创立不到 10 年的 OpenAI 正是推动着一切发生的重要力量之一。而前不久 OpenAI 发布的 GPT-4 又将 AGI 热潮掀高了一层。 在 GPT-4 发布后,海外独角兽组织了一场主题闭门会,在长达 3 小时的讨论中,AI 领域从业者、一线创业者以及一级市场投资人们共同讨论了: * GPT 是如何进化的? * 大模型的边界在哪里? * 多模态会为大模型带来什么样的新能力? * AI Native 应用长什么样? * 有哪些关于大模型的非共识? 我们将其中的精彩内容进行剪辑,作为 「Alignment」 的第一期内容发布。Enjoy~ 注:节目录制时间为 2023 年 3 月 19 日,音频内容根据本次讨论会现场实录剪辑制作,仅代表嘉宾观点,点击链接可查看本次活动完整纪要。 本期人物 * 李广密 拾象科技创始人&CEO * 李志飞 出门问问创始人& CEO * 硅谷徐老师 公众号:硅谷云 |Twitter:@H0wie_Xu * 陈利人 独到科技 * 戴雨森 真格基金 * 陈于思 某 VC * Ethan 蒋镒珍 Vitally AI * 符尧 艾伦人工智能研究所 * 郑玉典 硅谷 AI 创业者 * 张星辰 源码资本 * 沈涛 帆软 * 李泽宇 天风海外 * 徐玥晨 明势资本 * 邢曜鹏 五源资本 * 杨臻 某 PE 机构 * Michael Liu Fam Capital * 李贺 主要话题 * 00:02:13 GPT-4 的边界可以以超过人类最强作为一个分界线 * 00:10:48 OpenAI 不只追求做新东西,从 80 分到 90 分的优化要难于从 0 到 50 分的突破 * 00:16:28 GPT 的能力未来可以“量产”无限供给的应届大学生 * 00:24:25 ChatGPT 可以应对职场的“勾心斗角”吗? * 00:36:37 AI Native 的应用长什么样?AI 将如何改变软件生产过程 * 00:41:16 OpenAI VS 垂直模型,模型的未来格局会是什么样? * 00:58:38 大模型时代,开源可能是一个伪命题 * 01:03:29 未来大模型是否有边缘端推理芯片需求? * 01:06:51 为什么大模型的可解释很重要? * 01:13:15 AIGC 是一个典型的中国叙事,大模型的应用要远大于“内容生成” 延伸阅读 * OpenAI与AIGC:改变人类生产范式,通往“万物的摩尔定律” * Anthropic:出走 OpenAI,Google 站队,AGI 是天使还是魔鬼? * OpenAI 创始人的AGI预言:AI Safety、Scaling laws 与 GPT-20 * ChatGPT 思考:探索智能的极限 * Scaling laws for reward model overoptimization * 通用人工智能时代到来:尽管 AGI 不完美,人类也会犯错 【本期讨论中被提及的相关名词】 * MidJourney:一款文生图应用,产品搭载在 Discord 中,基于同名自有模型开发。 * Jasper.ai: AI 营销写作工具 * Character.ai:个性化 AI 聊天机器人平台,用户可以自定义或借助模板来设定 chatbot 的风格,并与之对话 * Github Copilot:由 OpenAI 和 Github 合作推出的自动编程工具,基于AI编程模型Codex 开发。 * Stable Diffusion(SD):一款开源的文生图模型,由 Stability AI 公司开发。 * Hallucination: 幻觉 (hallucination) 是指没有相应的客观刺激时所出现的知觉体验。 * Google 三大论文:2003 年、 2004 年和2006 年,Google 公司先后发表了三篇著名的论文 GFS 、MapReduce和 BigTable。Doug Cutting 在受到了这些理论的影响后开始在雅虎开发 Hadoop。 * HDFS: 一种分布式文件系统,用于处理在商业硬件上运行的大型数据集。 它用于将单个 Apache Hadoop 集群扩展到数百 (甚至数千)个节点。 * 3D 堆叠:把一块芯片从二维展开至三维的技术路径,通过缩短电流传递路径来降低功耗。 * Boot loader: 操作系统内核运行之前运行的一段小程序。可以初始化硬件设备、建立内存空间的映射图,从而将系统的软硬件环境带到一个合适的状态,以便为最终调用操作系统内核准备好正确的环境。 * PRD: Product Requirement Document 产品需求文档 * Kubernetes(K8s):用于自动部署、扩缩和管理容器化应用程序的开源系统。它将组成应用程序的容器组合成逻辑单元,以便于管理和服务发现。Kubernetes 源自 Google 15 年生产环境的运维经验,同时凝聚了社区的最佳创意和实践。 使用音乐 El Marsiano - Don Bacilon 制作出品 * 出品:海外独角兽 * 制作:Siqi * 运营:Lavida * 后期:默默、Huilei * 设计:Lydia 联系我们 微信公众号:海外独角兽