Attention Is All You Need

Denna banbrytande artikel introducerade Transformer-arkitekturen som helt ersätter rekurrenta och konvolutionella nätverk med en ren attention-mekanism. Transformer möjliggör betydligt mer parallell träning och har blivit grunden för praktiskt taget alla moderna språkmodeller inklusive GPT, BERT, Claude och Llama. Artikeln demonstrerade att self-attention ensamt räcker för att uppnå toppresultat inom maskinöversättning och lade grunden för den AI-revolution vi ser idag.