Спрятанные признаки ускоряют обучение экспресс
Нейросеть можно сравнить с общежитием, где каждому жильцу полагается своя комната. Обычно каждый признак в данных занимает отдельный нейрон, и обучение идёт по очереди: сначала один признак, потом другой. Это медленно и зависит от того, какие именно данные попались.
Но если разрешить нескольким признакам жить в одной комнате — наложить их друг на друга, — картина меняется. Учёные построили простую модель «учитель-ученик» и вывели формулы для обучения без наложения. Оказалось, что показатель степени в законе обучения (то, насколько быстро падает ошибка со временем) зависит от статистики данных и важности каналов.
Когда же в модели появляется «узкое место» для наложения, происходит переход к универсальному закону: ошибка падает как единица, делённая на время. Это не зависит ни от данных, ни от важности каналов. Обучение ускоряется до десяти раз по сравнению с последовательным перебором признаков.
Такой быстрый темп с универсальным показателем может объяснить, почему большие языковые модели, которые активно используют наложение признаков, обучаются столь эффективно. Возможно, именно перекрытие признаков позволяет им быстро схватывать закономерности языка, не увязая в деталях.
Наложение признаков похоже на то, как человек запоминает лица: мы храним не отдельный нейрон для каждого знакомого, а распределённый код, где одни и те же нейроны участвуют в разных воспоминаниях.
В романе «Ложная слепота» Питера Уоттса инопланетный разум использует распределённые представления, чтобы обрабатывать информацию с невероятной скоростью — примерно так, как наложение признаков ускоряет обучение.