
Трансформеры — это нейросетевые модели, использующие механизмы самовнимания для таких задач, как картирование мозга, языковой перевод и связывание контекста в ИИ-агентах.Трансформер — архитектура нейросетей, где вся последовательность обрабатывается параллельно. Слово «банк» (в смысле финансового учреждения или скамейки) уточняет значение через связи с другими словами в предложении, используя механизм внимания (динамический вес важности). Это позволило преодолеть ограничения старых моделей, которые путались в длинных фразах. Так оперативный штаб распределяет задачи: каждый агент видит общую картину и выделяет приоритетные цели.
Предложена в статье «Attention is All You Need» (2017) Васивани и коллег из Google. Основная идея механизма внимания восходит к работам 1990-х годов, но именно трансформер утвердил его как самодостаточный строительный блок. Сначала завоевал машинный перевод, а затем — генеративные модели (GPT, BERT), компьютерное зрение и даже предсказание структуры белков.
Ключевой элемент — самовнимание: для входной последовательности вычисляются матрицы запросов (Q), ключей (K) и значений (V). Веса внимания получаются как масштабированное скалярное произведение запросов и ключей, после softmax. Формула: Attention(Q,K,V) = softmax(QK^T/√d_k)V, где d_k — размерность ключей. Энкодер применяет многоголовое внимание: несколько параллельных голов проецируют вход в разные подпространства, затем результаты объединяются. Позиционное кодирование добавляет информацию о порядке слов, так как модель не имеет встроенного представления последовательности.
Машинный перевод, голосовые помощники и системы, понимающие длинные тексты, — от чат-ботов до автоматических отчётов.
Современные трансформеры (вроде GPT) могут содержать сотни миллиардов настраиваемых параметров — примерно как число звёзд в небольшой галактике.




















