Большие языковые модели — это методы на основе нейронных сетей, которые учатся генерировать и предсказывать человекоподобный текст по огромным наборам данных.Современные большие языковые модели — это нейросети с архитектурой «трансформер», насчитывающие от сотен миллионов до сотен миллиардов параметров. Каждый параметр — это число, влияющее на то, как сигнал от одного слова передаётся другому. Модель не хранит слова, а превращает их в векторы чисел — математические точки в многомерном пространстве смыслов. Предобучение идёт по задаче автозаполнения: модель закрывает пропущенные слова или предсказывает следующее слово в последовательности. После этого её можно дообучить на специализированных примерах, чтобы она вела диалог, решала задачи или писала код.
История началась с статистических n-граммных моделей (1950‑е), затем нейросетевых языковых моделей (Bengio et al., 2000‑е). Поворотным моментом стала статья Attention Is All You Need (2017), предложившая архитектуру трансформера. Компания OpenAI в 2018 выпустила GPT-1 с 117 млн параметрами, а в 2020 GPT-3 с 175 млрд параметрами продемонстрировала, что модель без явного обучения умеет переводить, программировать и рассуждать, просто получив инструкцию на естественном языке. С тех пор соревнование идёт как в сторону увеличения моделей, так и повышения эффективности (Mixture-of-Experts, Chinchilla scaling laws).
Модель получает на вход контекстное окно из n токенов. Каждый токен отображается в эмбеддинг и кодируется слоями самовнимания, создавая контекстуализированные представления. На выходе линейный классификатор предсказывает распределение вероятностей следующего токена. Обучение минимизирует перекрёстную энтропию между предсказанием и истинным токеном. При генерации текст порождается последовательным сэмплированием токенов (обычно с ядром top-p или top-k). Ключевые техники: предварительное обучение на неразмеченном тексте, затем инструктивное или RLHF‑дообучение для настройки на полезность и безопасность. Механизм внимания вычисляет веса схожести запросов и ключей для каждой пары токенов, позволяя фокусироваться на дальних зависимостях.
Такие модели пишут новости, сочиняют стихи, генерируют программный код, отвечают на вопросы клиентов в чатах и помогают врачам составлять выписки из историй болезни.
GPT-3 способна написать эссе, которое комиссия не отличила от написанного человеком, за 2 секунды — время, за которое человек только открывает текстовый редактор.
