Attention Is All You Need

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser, Illia Polosukhin

2017-06-12NeurIPS 2017145000 citeringar

Sammanfattning

Forskningsartikeln som uppfann Transformer-arkitekturen — grunden för alla moderna stora språkmodeller inklusive GPT, Claude, Gemini och LLaMA. Artikeln föreslog en ny nätverksarkitektur baserad enbart på attention-mekanismer, utan rekurrens eller konvolutioner, och visade överlägsna resultat på maskinöversättning. Denna artikel har förändrat hela AI-fältet.

Kopplade personer

Aidan Gomez

CEO & medgrundare, Cohere

Relaterade företag

Google DeepMind

AI-forskning och Gemini 3.1-modellerna

Taggar

Transformer Attention NLP Grundläggande forskning

Relaterade entiteter

Refererar

Google DeepMind

Företag

Published by Google Brain team

OpenAI

Företag

Foundational for GPT architecture

Anthropic

Företag

Foundational for Claude architecture

Mistral AI

Företag

Transformer architecture used by Mistral models

DeepSeek

Företag

Transformer architecture used by DeepSeek models

Författare

Co-author

Contributor (indirect, inspired by prior work)

Arthur Mensch

Person

Related research at DeepMind prior to Mistral founding

Refererad av

GPT-4 Technical Report

Publikation

Builds on transformer architecture

deepseek-v3-technical-report

Publikation

Builds on transformer architecture