研究突破 · 人工校订条目

OpenAI 提出 Scaling Laws，规模化成为大模型路线

Scaling Laws for Neural Language Models

日期

2020 年 1 月 23 日

类别

研究突破

机构 / 模型

OpenAI

证据

1 条 · 1 类

Kaplan 等人发现语言模型损失随参数量、数据量与计算量呈幂律下降，并给出可外推的拟合公式。它把“把模型做大”从经验判断变成可预算的工程路线，直接支撑 GPT-3 及此后的大模型竞赛；2022 年 Chinchilla 又修正了参数与数据的配比。

校订注记：arXiv 预印本核对；Chinchilla 的修正见后续记录

• 机器学习
• 大模型
• 缩放定律
• 论文