Способность модели хорошо работать на новых, ранее не встречавшихся данных, а не только на обучающих примерах.Обобщение — это способность модели, будь то нейронная сеть или биологический мозг, хорошо работать на новых, ранее не встречавшихся данных, а не просто запоминать примеры, на которых она обучалась. Это основная цель любой обучающейся системы: модель, которая работает только на своей обучающей выборке, не по-настоящему выучила лежащую в основе закономерность, а вместо этого переобучилась на шум или специфические особенности данных. В физике и машинном обучении обобщение позволяет сети, обученной на ограниченном наборе измерений, предсказывать результаты для совершенно новых условий, например, восстанавливать распределение тёмной материи по гравитационному линзированию или предсказывать поведение квантовых состояний света.
Концепция была формализована в 1960-х и 1970-х годах в рамках статистической теории обучения, в частности Владимиром Вапником и Алексеем Червоненкисом, которые ввели размерность Вапника — Червоненкиса (VC-размерность) для количественной оценки способности модели к обобщению.
Обобщение возникает, когда модель улавливает основные закономерности данных, а не их поверхностные детали. Это достигается с помощью таких методов, как регуляризация, кросс-валидация и обучение на разнообразных наборах данных, которые вынуждают модель находить компактные и многократно используемые представления. В мозге обобщение, как считается, опирается на формирование абстрактных карт или схем, которые можно гибко применять к новым ситуациям, как показывают исследования того, как мозг переносит прошлый опыт на новые контексты. Ключевой момент — модель должна выучивать признаки, которые действительно предсказательны для широкого диапазона входных данных, а не только те, что случайно подходят к обучающим примерам.
Обобщение делает нейронные сети полезными в физике — от предсказания карт гравитационного линзирования до классификации квантовых состояний света, а также в медицине, где модели, обученные на неполных данных, должны давать точные прогнозы для новых пациентов.
Модель, которая идеально запоминает свои обучающие данные, почти всегда будет работать хуже на новых данных, чем более простая модель, допускающая некоторые ошибки на обучающей выборке, — это явление известно как компромисс между смещением и дисперсией.


















