64. 和广密聊AGI大基建时代:电+芯片=产出智能张小珺Jùn|商业访谈录

64. 和广密聊AGI大基建时代:电+芯片=产出智能

82分钟 ·
播放数15856
·
评论数67

3月,我们连续从多个角度关注了中国AGI进展,这集让我们把目光投向海外,对刚过去的 2024 Q1全球大模型的赛局做一个场上的复盘和点评。嘉宾是《商业访谈录》的老朋友、拾象CEO广密。

他提出,我们正处于一场宏大的“AGI大基建”时期。正如上世时期纪90 年代克林顿推出美国信息高速公路建设,这才有了后面的美国互联网泡沫破裂和互联网黄金20年——如果没有基建,就不可能有应用大爆发。

我们的播客节目在腾讯新闻首发,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:)
  • 01:45 盘点2024 Q1
  • 03:40 开源 & 闭源
  • 06:32 AGI 是马拉松
  • 06:45 物理硬件成阻碍AGI最大因素
  • 08:05 失败案例Inflection
  • 08:41 黄仁勋的主权 AI、T5T、不鼓励996
  • 10:34 渐进式解锁
  • 12:29 改变软件生产方式+信息检索的变革
  • 16:50 能源 + 芯片=产出智能
  • 19:46 南坡是模型,北坡是产品
  • 23:41 突然给经济社会加了两道税
  • 25:30 AGI大基建:造价与玩家
  • 26:34 训练GPT-3.5和GPT-4,消耗多少算力和能源?
  • 39:37 电+芯片=产出智能
  • 40:38 Scaling Law
  • 47:26 AGI登山路线图和路标
  • 57:40 OpenAI
  • 01:04:02 集团军作战,如何结盟?
  • 01:05:12 Apple、英伟达、阿里
  • 01:07:20 Killer App、硅谷投资三大件
  • 01:09:25 自动驾驶和机器人
  • 01:15:47 我们作为碳基智能,为什么在追求硅基智能上这么热衷?
  • 01:17:00 Sam、黄仁勋、马斯克

广密的上一集:《54. 口述全球大模型这一年:人类千亿科学豪赌与参差的中美景观》

【更多信息】

本集文字版本:腾讯新闻原文 & 作者的收藏夹

联络我们:微博@张小珺-Benita,小红书@张小珺jùn

更多信息欢迎关注公众号:张小珺

展开Show Notes
pleasego
pleasego
2024.4.17
一如既往的高质量,小珺聊大模型 AI AGI这些节目完全可以算作华语世界科技商业领域最优质的内容输出了
绝望的生鱼片0_0:已经反复二刷
庄明浩
庄明浩
2024.4.17
Guangmi提供了基本上完整的海外AI大模型的竞争和数据视角
晨萱-语迟者说-INFJ:但是关于开源 vs.闭源,他说反了吧?海外主流思想是开源追不上闭源。按照过去经验开源参与人数多,技术提升会更快。但大模型的范式不同,它本质上依赖算力,如你最近一期播客所言,目前价值还是由大模型提供,而不是靠应用层。开源的大量开发人员只能臆想技术提升,根本没机会验证与迭代,只有算力集中的大厂能做,自己做自己的闭源,自己优化,这也是月之暗面的观点
晨萱-语迟者说-INFJ:其实早前这一期,嘉宾的观点也是开源永远追不上闭源 https://www.xiaoyuzhoufm.com/episode/65910adb991e2ee60880f151
JASting
JASting
2024.4.17
45:06 训练量=参数量*训练token量*6。 GPT4为例,1.8万亿参数,13万亿token,6倍=2.5万GPU,19.5万亿次计算,叠加50%利用率。
元大都的海棠花:最近力量训练,看到你这个评论我差异了很久哈哈。话说换头像了耶
Guangmi
Guangmi
2024.4.17
对AGI最重要的问题是啥?今天最大非共识是啥?
JASting:48:15 请问这两个公司是什么,可以麻烦敲个字出来嘛
HedgeSage:Elevenlabs是做文生音的, 就是自然语音合成。 Suno是AI音乐创作, 前几天刷屏的让我们荡起双桨, 就是利用这个平台作的。
Joes东
Joes东
2024.5.30
强烈建议这哥们再来一期 多模态 agent 已经被他开盒了
听书读书
听书读书
2024.4.19
这期会发到公众号上吗
张小珺
:
已经发啦
非常好奇广密是如何获取这些资讯的
听到翻笔记和类似划重点的声音
波子快跑:哈哈哈是的
HedgeSage
HedgeSage
2024.4.17
AGI投研第一人!
Ian言
Ian言
2024.4.19
Scaling law已经被证明了吗?为什么小参数模型也能比大参数展现出更好的能力?如果Scaling Law不成立,是不是GPU也就没有相应规模的市场?
晨萱-语迟者说-INFJ:这个更好的结论是怎样得来的呢? 国内网上能看到的信息百分百是PR或者外行推断,很少有精确信息。再有中国擅长出小镇做题家。以做题的思路来测试很容易在专项上腰要领先。但没用,实际还是赶不上
JASting
JASting
2024.4.17
25:32 目前是AGI大基建时期,目前关键瓶颈是“算力和数据中心建设”。就是即使有万张卡也不能快速用起来,万卡集群的互联通信能力、稳定性、能耗、数据中心的降温要求都达不到。比特驱动的数字世界迭代快,原子驱动的物理世界迭代跟不上。好在都是工程问题,不是科研问题,都可以解决。
香放
香放
2024.5.08
好节目。
idlh
idlh
2024.4.30
1:10:08 马上就来中国,fsd入华了
LiveLiveLive
LiveLiveLive
2024.4.17
专注海外一线的AI最新、最有价值的信息收集和整理,都用大模型摘要总结和翻译好了,实时更新,推荐大家用GrowMinds这个晓橙旭,学习和follow都很省时省力
Julia_Scott
Julia_Scott
2024.4.17
1:15:01 “先去大模型,再去机器人”😏
JASting
JASting
2024.4.17
07:01 今年Q1新learnings: 物理硬件成为阻碍AGI时间表最大因素:1️⃣GPU的数据中心和物理硬件瓶颈大(不是单靠无限加GPU和数据就能到AGI);2️⃣能源基建老旧、能源结构与激增用电量的匹配度弱。因此,AGI是马拉松不是冲刺赛,大家还有充足时间;
围吉桐桐
围吉桐桐
2024.4.18
李广密有x号么
阿白菜呆
阿白菜呆
2024.7.25
07:17 大模型梯队
晓雅聊AI
晓雅聊AI
2024.7.06
看这期可以搭配硅谷101的E149期
red_13Z3
red_13Z3
2024.6.26
8000张H100训练100天,约耗电2600万度,这个耗电量是怎么计算出来的?H100的功率将近1400瓦?