Трансформеры и внимание
Архитектура, ставшая стандартом индустрии. Механизм self-attention позволяет модели взвешивать значимость каждого токена контекста, а параллелизация вычислений — обучаться на триллионах слов. На трансформерах построены GPT, Claude, Gemini, Llama и практически все современные LLM.