2210
7大家好，欢迎来到共识粉碎机AI颠覆软件讨论会系列的第一期播客！
共识粉碎机是AI圈的老社群了，从去年3月份开始我们就坚持举办AI颠覆软件讨论会系列，走到现在已经是第19期了，我们也终于准备好在第19期将内容搬上播客！
与过去大家听到的AI播客不同，我们同时会讨论场景、应用，也会直接进入到技术细节。
讨论节奏会非常快速，信息量非常密集，相信每一期对于听众都是一次信息大爆炸。
【本期嘉宾】
陈将：Ziilliz生态和AI平台负责人
唐飞虎：月之暗面担任研发工程师和开发者关系负责人
【共识粉碎机主持人】
周默：共识粉碎机公众号主理人，前美元对冲基金投资人，前腾讯/微软战略与投资经理。
共识粉碎机目前也承接投研咨询合作与AI战略转型/大模型技术落地项目，欢迎戳公众号了解。
【参考资料】
本期的内容已经抽取成文字纪要，请查阅共识粉碎机公众号的文章：
关于RAG的讨论共识粉碎机在过往文章中也有讨论，请查阅：
【本期内容】
本次讨论的大背景是在之前的RAG讨论会后（陈将老师也作为嘉宾参与），我们收到了非常多关于在不同场景是选择长文本还是RAG的问题。与过去讨论长文本与RAG经常空对空相比，我们本次讨论会将分到具体的场景、具体的指标，方便创业者、从业者、投资人具体了解。
以下是我们聊得：
00:04:21 长文本与RAG的典型差别：准确率
00:06:55 长文本与RAG的典型差别：成本与延迟
00:09:43 长文本降低First Token延迟的方法
00:13:40 长文本vsRAG就像关公战秦琼，：要看场景
00:16:35 RAG的部署工作与难度
00:20:38 RAG的权限处理
00:23:58 长文本的部署与权限处理
00:27:25 长文本的技术爬坡路径
00:29:16 RAG的技术爬坡路径
00:35:04 场景比较：数值计算/Text2SQL
00:40:24 场景比较：客服与Sales Agent
00:52:10 长文本与RAG的长度边界讨论
00:55:01 场景比较：AI Coding
01:01:04 企业的代码库有多大？
01:03:49 企业大代码库一定要用RAG吗？
01:05:36 企业大代码库如何做解析结构？
01:09:02 场景比较：AI搜索
01:11:24 GitHub Copilot用长文本还是RAG？
01:12:26 RAG的成本原理与组成
01:17:17 长文本还有哪些工作可以降低成本？
01:18:53 长文本与RAG的融合架构与部署
01:23:36 QA环节：长文本的技术壁垒与大模型差异化
01:24:52 QA环节：AI搜索他对于网页语义提取能做到什么颗粒度？AI搜索是否还会混合过去的传统倒排？
01:28:12 QA环节：大厂的丰富索引库经验会不会让其在AI搜索上比创业公司更强？
01:29:46 QA环节：GraphRAG带给我们什么启发？技术路线是否是现在的Best Practice？
01:34:15 QA环节：企业内部落地RAG的过程中如何克服冷启动？
