Как навести резкость на малые данные ✎

Оригинал: "Gauge-optimal approximate learning for small data classification problems"
arXiv:2310.19066 · 2023-10-29 · CC BY-NC-SA 4.0 · собственный разбор · 2 мин
Алгоритм GOAL поворачивает и сжимает пространство признаков, чтобы классифицировать данные, которых меньше, чем измерений.

Оптик крутит оправу, ловит фокус, и размытое пятно становится чёткой картинкой. Примерно так же работает алгоритм GOAL: он поворачивает облако данных, сжимает лишние измерения и наводит резкость на то, что действительно важно.

Когда признаков больше, чем наблюдений, стандартные методы напоминают попытку разглядеть лицо через запотевшее стекло: шум забивает сигнал. GOAL действует иначе. Он одновременно поворачивает систему координат, чтобы отбросить пустые направления, разбивает пространство на ячейки и подгоняет классификатор так, чтобы предсказания совпадали с реальными метками. Каждый шаг считается по готовым формулам, без долгой настройки, а сходимость доказана математически.

В задаче прогноза тёплой фазы Эль-Ниньо по 295 200 признакам и всего 720 наблюдениям GOAL достиг точности около 0.9 по метрике AUC для горизонта 24 месяца. Это как угадать мелодию по 720 нотам из партитуры в 295 200 строк.

Секрет в том, что алгоритм не пытается объять необъятное. Поворот пространства вычисляется через сингулярное разложение — тот же приём, которым сжимают фотографии. Принадлежность точек к ячейкам выбирается по ближайшему центру с поправкой на метку, а вероятности меток пересчитываются по частотам. Всё это складывается в единый цикл, где каждый виток делает картинку чуть резче.

На восстановлении сетей активности генов по 182 генам GOAL оказался лучшим в 82.7% из 910 сценариев, потратив 0.019 секунды там, где случайный лес работал 9.84 секунды, а LSTM — 39.88. Разница в скорости позволяет запускать анализ на обычном ноутбуке, а не на кластере.

До появления GOAL не было единого метода, который бы одновременно снижал размерность, разбивал пространство и классифицировал малые данные без переобучения. Теперь такой инструмент есть, и он уже показал себя в климатологии и биоинформатике.

Оптик возвращает линзу на место: теперь видно не только контуры, но и детали. GOAL делает то же самое с данными, которых мало, а шума много. И если раньше такие задачи требовали дорогих вычислений, то теперь фокус наводится за сотые доли секунды.

Для прогноза Эль-Ниньо использовались 295 200 признаков при всего 720 наблюдениях — это как пытаться угадать мелодию по 720 нотам, когда в партитуре 295 200 строк.

L_{GOAL} = \frac{1}{T}\sum_{d=1}^D\sum_{t=1}^T (X_{d,t} - \{RS\Gamma\}_{d,t})^2 - \frac{\epsilon_{CL}}{TM}\sum_{m=1}^M\sum_{t=1}^T \Pi_{m,t}\log\left(\sum_{k=1}^K \Lambda_{m,k}\Gamma_{k,t}\right)
Первое слагаемое отвечает за качество поворота и разбиения, второе — за соответствие предсказанных вероятностей меток истинным.
R^* = U \tilde{I} V^\top, \quad X\Gamma^\top S^\top = U\Sigma V^\top
Поворот в пространство меньшей размерности вычисляется аналитически из сингулярного разложения, что ускоряет итерации.
\arg\min_{\Gamma\in\Omega_\Gamma} \frac{1}{2}\mathrm{vec}(\Gamma)^\top (I_T \otimes S^\top S)\mathrm{vec}(\Gamma) - \mathrm{vec}\left(S^\top R^\top X - \frac{\alpha}{2}\log(\Lambda)^\top \Pi\right)^\top \mathrm{vec}(\Gamma)
Позволяет аппроксимировать нелинейный шаг разбиения решением квадратичной программы, что упрощает реализацию.
Понятия
генетический алгоритм задача оптимизации подгонка методом наименьших квадратов метод наименьших квадратов xgboost обобщение кластеризация методом k-средних генеративно-состязательные сети классификация изображений размеченные данные генеративная модель самонаблюдаемое обучение слабое обучение оптимизация принцип конкурентного исключения Гаузе метод конечных элементов сходимость обучение кластеризация информационный критерий