Scaling Laws for Neural Language Models

Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei

2020-01-23arXiv preprint8800 citeringar

Sammanfattning

Denna artikel från OpenAI etablerade de fundamentala skalningslagarna som visar att språkmodellers prestanda förbättras förutsägbart med mer data, mer beräkningskraft och fler parametrar. Dessa lagar har blivit grunden för AI-industrins investeringar — de förklarar varför företag spenderar miljarder på GPU-kluster och datacenters.

Relaterade företag

OpenAI

Skapare av ChatGPT, GPT-5.4 Pro/Thinking/Mini — Sora avvecklat

Taggar

Scaling Laws Language Models Training Grundläggande forskning

Relaterade entiteter

Refererar

Published by OpenAI

First author

Led to founding of Anthropic based on scaling insights

GPT-4o

Modell

Scaling laws validated by GPT-4

DeepSeek

Företag

DeepSeek scaled following these principles

NVIDIA

Företag

GPU compute scaling central to the paper

GPT-5.4 Pro

Modell

Scaling laws validated by later GPT-5.x models

Författare

Lead author

Organization lead

Chief Scientist

Indirect influence (backpropagation foundations)

Greg Brockman

Person

OpenAI leadership