概述本期主题： 深入解析 Scaling Law及其在模型性能优化中的应用。 核心问题： Scaling Law 描述了模型性能如何随着模型参数规模、数据集大小和计算资源投入增长，展现出一定的幂律关系。 讨论内容涵盖 Scaling Law 的核心公式、应用场景，潜在局限性及未来发展的可能性。 时间轴 00:00 - 开场与节目介绍 01:02 - 什么是 Scaling Law？核心概念解析 11:48 - Scaling Law 的现实意义及限制 19:51 - 应用案例：OpenAI 的研究成果及行业观察 23:16 - Scaling Law 的限制及未来发展方向 24:16 - 结尾总结 相关资源: OpenAI 的 Scaling Law 研究论文 https://doi.org/10.48550/arXiv.2001.08361 Hestness, Joel; Narang, Sharan; Ardalani, Newsha; Diamos, Gregory; Jun, Heewoo; Kianinejad, Hassan; Patwary, Md Mostofa Ali; Yang, Yang; Zhou, Yanqi (2017-12-01). "Deep Learning Scaling is Predictable, Empirically" https://doi.org/10.48550/arXiv.1712.00409 Hoffmann, Jordan; Borgeaud, Sebastian; Mensch, Arthur; Buchatskaya, Elena; Cai, Trevor; Rutherford, Eliza; Casas, Diego de Las; Hendricks, Lisa Anne; Welbl, Johannes; Clark, Aidan; Hennigan, Tom; Noland, Eric; Millican, Katie; Driessche, George van den; Damoc, Bogdan (2022-03-29). "Training Compute-Optimal Large Language Models" https://doi.org/10.48550/arXiv.2203.15556 联系我们 如果喜欢本期节目，请订阅、分享，欢迎留下宝贵的意见，如有错误请多指正，新人上路，请多指教！ 联系方式：公众号【孙霄逸 Xiaoyi】 特别鸣谢: 本期主播：马克孙， 老柏 感谢团队：对本期节目的策划与剪辑支持。