
Метод машинного обучения, при котором знания, полученные при решении одной задачи, применяются к другой, но связанной задаче.Перенос обучения — это стратегия машинного обучения, при которой модель, обученная на одной задаче, используется в качестве отправной точки для второй, связанной задачи. Вместо обучения с нуля модель переносит признаки и закономерности, изученные в первой области, что часто ускоряет обучение и улучшает производительность, особенно когда данных для целевой задачи мало. В физике перенос обучения стал мощным инструментом для применения нейронных сетей, обученных на смоделированных или синтетических данных, к реальным экспериментальным данным, а также для адаптации моделей от одной материальной системы к другой.
Концепция переноса обучения возникла в 1990-х годах в сообществе машинного обучения, с формальными основами, предложенными Лориеном Праттом и другими. Она получила широкую популярность после 2012 года, когда глубокие сверточные сети, предварительно обученные на ImageNet, были успешно дообучены для других визуальных задач.
Типичный подход включает два этапа: предварительное обучение и дообучение. Во время предварительного обучения нейронная сеть изучает общие представления на большом, часто общем наборе данных — например, изображениях или спектрах многих различных материалов. На этапе дообучения веса сети слегка корректируются с использованием меньшего, специфичного для задачи набора данных. Ранние слои, которые захватывают низкоуровневые признаки, такие как края или спектральные пики, часто замораживаются, в то время как более поздние слои переобучаются для сопоставления этих признаков с новой задачей. Это работает, потому что многие физические системы имеют общие базовые структуры, поэтому изученные признаки эффективно переносятся.
В физике перенос обучения используется для обучения нейронных сетей, предсказывающих свойства материалов по ограниченным экспериментальным данным, для ускорения планирования доз в лучевой терапии, а также для адаптации моделей от одной конфигурации ускорителя частиц или реактора к другой.
Перенос обучения — это причина, по которой современные модели ИИ могут обучаться на огромных общих наборах данных, а затем специализироваться на узких задачах всего на нескольких сотнях примеров, что в противном случае потребовало бы миллионов размеченных образцов.













