
Самообучающееся обучение — это метод, при котором модели извлекают представления из неразмеченных данных, предсказывая части входных данных.Самонаблюдаемое обучение — это парадигма, в которой модель генерирует обучающие сигналы, извлекая их из самой структуры неразмеченных данных. В отличие от обучения без учителя, которое часто фокусируется на кластеризации или понижении размерности, здесь строятся суррогатные (предтекстовые) задачи, не требующие человеческих аннотаций. Например, в обработке естественного языка маскируется часть слов во входном предложении, и сеть учится восстанавливать их по контексту. В компьютерном зрении популярны контрастные методы: два случайно искажённых варианта одного изображения «сближаются» в пространстве представлений, а к другим изображениям — «отталкиваются». Это формирует зрительное понятие, напоминающее то, как младенцы вычленяют объекты из фона.
Идеи самоконтроля прослеживаются в работах по автоэнкодерам (Хинтон, 2006) и обучению представлений через восстановление. Поворотный момент — 2018 год с появлением BERT (Devlin et al.), использующего маскирование слов. Для изображений в 2020 году метод SimCLR (Chen et al.) показал, что простая контрастная схема с большими размерами батча сопоставима с обучением с учителем. Позднее Vision Transformers в сочетании с маскированным автокодированием (MAE) повторили успех NLP, продемонстрировав масштабируемость.
Общая схема SSL включает: 1) предтекстовую задачу — автоматическую генерацию целевого сигнала; 2) кодировщик, извлекающий представления; 3) опционально проектор для сопоставления метрик; 4) функцию потерь, решающую конкретную предтекстовую задачу. В NLP: маскированный язык (MLM) — задача восстановления скрытых токенов. Модель получает последовательность с масками [MASK] и учится предсказывать оригинальные слова через кросс-энтропию. В CV: контрастные методы учатся инвариантным к аугментациям представлениям, используя батчи большого размера и механизм momentum encoder для стабилизации. Недавние маскированные автокодировщики (MAE) маскируют случайные патчи изображения, а декодер восстанавливает пиксели, принуждая модель понимать глобальную структуру объектов.
Системы распознавания речи, автопереводчики, все современные большие языковые модели (вроде GPT), медицинская диагностика по снимкам без подписей врачей.
После самонаблюдаемого обучения на текстах модель GPT-3 оказалась способна писать стихи, код и научные эссе, хотя её никто специально этому не учил.














