「打捞时代碎片,文字对抗时间。」
《商业漫谈》是一档关注科技、商业、人文三岔口的访谈节目,也是我的一份时代侧写笔记。
——————————
今天要聊的话题是大模型的开源闭源之争。如果你是非技术人士,先别着急撤离,本期播客的60分钟将会带你厘清:当下热议的大模型开源、闭源之争究竟指的是什么?大模型的开源究竟是怎么个「开」法?为什么开源是一种精神,充满了理想主义的乌托邦味道?
这期节目还有一个有趣的背景:
1.【大佬「吵架」】在不久前的百度create大会上,李彦宏曾放出观点:开源模型的能力会被闭源远远甩在身后。一时间,周鸿祎、傅盛等创业者纷纷表达了反对的观点。
2.【开源「顶配」 Llama3 发布】紧接着,在北京时间3月15日凌晨2点,大洋彼岸,Meta的开源大模型 Llama3 发布,它被视作全球开源大模型的「顶配」,也是国内众多大模型的「奶妈」——许多模型都是基于 Llama3 预训练而来。Llama3 的发布,标志着开源模型的能力已经来到了新的高度。
看起来,李彦宏被打脸了。但事实真的如此吗?
本期节目,我邀请了全球最大的开源 AI 社区 Huggingface 的中国区负责人王铁震,他将从技术的角度为我们还原:开源在全球创新、以及在中国的发展历史。还有,在当下火热的 AI 浪潮中,开源、闭源的选择对大模型创业者来说,究竟意味着什么?
想了解更全面的笔记欢迎移步公众号「卫诗婕 商业漫谈」,这是我全职独立写作后的第一篇「作业」,之后也会持续更新,期待你的关注~
有关主播:卫诗婕,独立商业作者,曾任《极客公园》执行总编,早年任职于《人物》、GQ报道、字节跳动。代表作:《ofo的终场战事》、《罗永浩:薛定谔的理想主义》、《朱一旦的枯燥生活》、底稿对话CEO系列、《下一站,沙特》等。作品曾获金字节奖年度新锐作者、网易非虚构文学奖年度作者、全球真实故事奖中文报道十佳。
本期内容 shownotes :
02:53 从谷歌到Hugging Face,开源的氛围更有激情和活力
04:43 一个开源项目要经历的轨迹
06:41 科普:到底什么是开源?
07:55 字幕组是中国最早的开源形式
09:44 开源项目中的角色分工:maintainer、contributor和使用者
12:30 开源,AI 发展的加速器
15:48 历史上,大模型是第一次出现开源和闭源「齐头并进」
19:02 过去 8 个月,开源大模型的能力直逼闭源,为什么?
21:23 创业者们「叫板」李彦宏,大模型的开源闭源之争
23:50 开源闭源可以互相转化,这道光谱非常宽
31:44 此「开源」不同于彼「开源」,open source 和 open access
35:19 开发者如何在开源模型上训一个垂类模型?
38:00 Hugging Face社区里的开发者现状
40:47 微调(SFT)和继续预训练(Continuous Pre-Training)的成本
47:00 Llama 3 为什么要有三个版本,如何选择参数?
54:49 谈趋势:模型会先变大、再变小
55:07 开源的人才分布在全球各地,像硅谷这类人才高地还会存在吗?
有任何听后感,欢迎在留言区反馈和分享行业内趋势&资讯,感谢~