EP01 论文速读 | 简单反思《语言模型的 Scaling Law》，现在还适用吗？

概述本期主题：

深入解析 Scaling Law及其在模型性能优化中的应用。

核心问题：

Scaling Law 描述了模型性能如何随着模型参数规模、数据集大小和计算资源投入增长，展现出一定的幂律关系。

讨论内容涵盖 Scaling Law 的核心公式、应用场景，潜在局限性及未来发展的可能性。

时间轴

00:00 - 开场与节目介绍

01:02 - 什么是 Scaling Law？核心概念解析

11:48 - Scaling Law 的现实意义及限制

19:51 - 应用案例：OpenAI 的研究成果及行业观察

23:16 - Scaling Law 的限制及未来发展方向

24:16 - 结尾总结

相关资源:

OpenAI 的 Scaling Law 研究论文

doi.org

Hestness, Joel; Narang, Sharan; Ardalani, Newsha; Diamos, Gregory; Jun, Heewoo; Kianinejad, Hassan; Patwary, Md Mostofa Ali; Yang, Yang; Zhou, Yanqi (2017-12-01). "Deep Learning Scaling is Predictable, Empirically"

doi.org

Hoffmann, Jordan; Borgeaud, Sebastian; Mensch, Arthur; Buchatskaya, Elena; Cai, Trevor; Rutherford, Eliza; Casas, Diego de Las; Hendricks, Lisa Anne; Welbl, Johannes; Clark, Aidan; Hennigan, Tom; Noland, Eric; Millican, Katie; Driessche, George van den; Damoc, Bogdan (2022-03-29). "Training Compute-Optimal Large Language Models"

doi.org

联系我们

如果喜欢本期节目，请订阅、分享，欢迎留下宝贵的意见，如有错误请多指正，新人上路，请多指教！

联系方式：公众号【孙霄逸 Xiaoyi】

特别鸣谢:

本期主播：马克孙， 老柏

感谢团队：对本期节目的策划与剪辑支持。