Малые данные встречаются в финансах, медицине, климатологии, биологии: наблюдений мало, а признаков тысячи. В таких условиях нейросети переобучаются, а стандартные методы не отделяют важные признаки от шума. Соседние работы в архиве уже предлагают карты с честным признанием незнания, алгоритмы-самоучки и нейросети для гравитационных карт, но задача совместного снижения размерности и классификации остаётся открытой. Данная работа стоит в русле методов, которые ищут устойчивые структуры в малых данных, и предлагает замкнутое решение с гарантированной сходимостью.
Авторы строят функционал, который одновременно минимизирует ошибку восстановления данных после поворота в пространство меньшей размерности и расхождение Кульбака-Лейблера между предсказанными и истинными метками. Поворот задаётся матрицей с ортонормированными столбцами, а разбиение пространства на ячейки описывается матрицей принадлежности. Для каждого шага итераций выводится аналитическое решение: поворот находится через сингулярное разложение, принадлежность точек к ячейкам выбирается по ближайшему центру с поправкой на метку, условные вероятности меток пересчитываются по частотам. При дискретном разбиении (каждая точка принадлежит одной ячейке) все подзадачи решаются в замкнутой форме, а общая стоимость итерации линейна по числу признаков и наблюдений.
На синтетических данных о продолжительности жизни червей GOAL достиг AUC около 0.95 в режиме больших данных и около 0.7 в малых данных, уступив только алгоритму eSPA+, который использует дополнительную энтропийную регуляризацию. На прогнозе тёплой фазы Эль-Ниньо по 295 200 признакам и 720 наблюдениям GOAL показал AUC около 0.9 для горизонта 24 месяца, обойдя всех конкурентов при значительно меньшем времени счёта. На задаче восстановления сетей активности генов по 182 генам GOAL достиг средней AUC 0.910 и точности 0.828, став лучшим в 82.7% из 910 сценариев, тогда как случайный лес и LSTM отстали на 0.1 и 0.17 по AUC соответственно. Время работы GOAL составило 0.019 секунды против 9.84 у случайного леса и 39.88 у LSTM.
Работа отличается от соседей по архиву тем, что даёт единое решение для поворота, разбиения и классификации с доказанной сходимостью и линейной стоимостью. Другие подходы либо решают только снижение размерности без учёта меток, либо требуют дорогой настройки гиперпараметров. GOAL заполняет нишу быстрого и прозрачного инструмента для малых данных, где важна интерпретируемость и повторяемость. Для науки это означает, что задачи с сотнями тысяч признаков и сотнями наблюдений становятся решаемыми на обычном ноутбуке.
Тема может развиваться в сторону нечёткого разбиения пространства, когда точка принадлежит нескольким ячейкам с разными вероятностями. Это может повысить точность, но потребует решения задач выпуклого программирования вместо аналитических формул. Другое направление — ускорение шага поворота, который сейчас самый дорогой из-за сингулярного разложения. Возможно, появятся приближённые методы для очень больших матриц или распределённые версии алгоритма.
Алгоритм применим в климатологии для долгосрочных прогнозов, в биоинформатике для восстановления генных сетей по ограниченным экспериментальным данным, а также в медицинской визуализации и финансовом анализе, где данных мало, а признаков много.
Следующий шаг — проверить GOAL на задачах с сильным дисбалансом классов и концептуальным дрейфом, где стандартные методы часто отказывают. Также стоит сравнить нечёткое и дискретное разбиение на одних и тех же наборах данных, чтобы понять, когда стоит платить вычислительной сложностью за точность.
В области машинного обучения остаётся нерешённой проблема выбора метрик для оценки моделей на малых данных, поскольку стандартные меры могут давать смещённые результаты из-за переобучения. Данная работа не решает эту проблему, но делает шаг к более надёжным методам, которые меньше зависят от объёма данных. Открытым остаётся и вопрос автоматического выбора гиперпараметров, особенно диапазона поиска, который в малых данных трудно определить заранее.
Для прогноза Эль-Ниньо использовались 295 200 признаков при всего 720 наблюдениях — это как пытаться угадать мелодию по 720 нотам, когда в партитуре 295 200 строк.