Vol.26|张宏江对话卢一峰:大模型「皇冠上的明珠」,到底是什么?开始连接LinkStart

Vol.26|张宏江对话卢一峰:大模型「皇冠上的明珠」,到底是什么?

29分钟 ·
播放数2294
·
评论数3

【本期内容】

自 OpenAI 发布让全世界瞩目的 ChatGPT 以来,时间已经过去一年有余。大模型技术在这一年里不断进化:无论是越来越强的多模态能力,还是智能体 Agent 潜力初现,都让人们对这一场 AI 革命充满期待。但在 LLM 技术飞速发展的当下,要想使得大模型的能力落地关键领域,还存在哪些挑战及亟待解决的问题?

本期播客,开始连接 LinkStart 特别邀请了两位顶尖的技术极客——美国工程院院士、智源研究院原理事长张宏江院士,与 Google DeepMind 资深工程师卢一峰,于极客公园创新大会 2024 上进行了一场有关前沿技术的对话。这次对谈中涉及了多个极为关键的话题:如何解决大模型幻觉、使大模型拥有「超人类」的能力、训练数据枯竭的下一步应对、以及底层技术架构创新等。

正如卢一峰的调侃,不少提问是价值「百亿美元」级别的问题。

                                                                                                              
【嘉宾】

张宏江:美国工程院院士、智源研究院原理事长

卢一峰:Google DeepMind 资深工程师

                                                                                 

【精彩时刻】

03:21 聊聊大模型已做到的「快思考」与未拥有的「慢思考」

05:49 大模型如何学会像人一样「慢思考」,即具备长期的学习能力?

09:12 在解决大模型的「幻觉」问题上,有什么新的技术突破?

10:43 如果在对齐步骤中不够谨慎地选用数据,可能会促使大模型「撒谎」

14:06 除开 Transformer,未来会出现新的大模型架构吗?

15:43 如何突破大模型架构的优化瓶颈:“先下山,再上山。”

18:53 在训练模型时,中小企业如何寻找更高质量的数据?

20:17 合成数据的下一个机会点:「超人类数据」

24:52 创业者如何获得核心竞争力:跳入水中,成为大模型世界的 Doer

                                                                           

【对话稿件实录】

《智源张宏江对话谷歌卢一峰:什么才是大模型「皇冠上的明珠」?》

                                                                        

【关于节目】

「开始连接」是一档由极客公园出品的泛科技知识圆桌栏目,在这里,我们会邀请各行各业的嘉宾一起跨界对话、碰撞思想,用科技、商业和人文的视角一起描摹这个时代。每周三晚也会在「视频号-极客公园」同步直播,共同畅聊时下热点话题,欢迎扫码关注。

本期编辑:xuxu

剪辑:Katherine

公众号/视频号:极客公园

展开Show Notes
Vivian_Dai
Vivian_Dai
2024.3.06
互联网上的知识是人类知识水平的average ,“快思考”出来的,用一个average 来训练出一个 “超人类”的预期是不太可靠的,需要更高quality 的有深度的知识,“慢思考”出来的。——引申思考:目前有种做法是,用大模型生成的数据来作为训练的数据集,这样的话是不是数据的质量会一直停留在average 的水平上?
Eric666666
Eric666666
2024.2.27
听着中英混杂太累,还是看文字吧
24:52 学习完人类全部互联网知识之后,更进一步的突破还是需要靠 ai 自己去探索,去强化学习,去不断碰撞直到凿出新的知识边界。
卢博士这一段,就像是一个垂垂老矣的人类智者,对着 AI 说:"师傅领进门,剩下的就靠你自己了"