Глюкометр, которому не нужно прокалывать палец, а достаточно лишь «взглянуть» на запястье, — мечта миллионов людей с диабетом. Именно её обещают алгоритмы, извлекающие уровень глюкозы из обычного сигнала пульса — фотоплетизмограммы (ФПГ), той самой кривой, что измеряет частоту сердечных сокращений в умных часах. Проблема в том, что до сих пор никто не мог объективно сравнить эти алгоритмы между собой: каждый исследователь использовал собственные наборы данных и уникальные протоколы проверки.
Группа учёных построила первый прозрачный конвейер для честной оценки таких моделей машинного обучения. Они взяли пять типичных подходов и прогнали их через три уровня строгости валидации. Первый уровень — случайное перемешивание окон сигнала, когда фрагменты записи одного человека могут попасть и в обучающую выборку, и в проверочную. Здесь модели демонстрировали обнадёживающие результаты. Второй уровень — окна одного человека всегда остаются вместе: либо в обучении, либо в проверке, что исключает утечку индивидуальных особенностей. Третий, самый суровый, — часть людей полностью исключается из обучения, и модель должна предсказать их уровень глюкозы, никогда ранее не «видя» этих пациентов.
Результат оказался отрезвляющим. Как только деление данных становилось честным, точность моделей рушилась. Коэффициент детерминации R², показывающий, насколько прогноз лучше простого среднего значения, падал до нуля или даже уходил в отрицательную область. Иными словами, алгоритм работал не лучше, чем если бы он всегда называл средний уровень сахара по всей выборке. Но самое коварное открытие ждало впереди.
Даже у полностью провалившейся модели более 90% предсказаний попадали в безопасные зоны A и B по сетке ошибок Кларка — стандартному клиническому инструменту, который врачи используют для оценки точности глюкометров. Эта сетка классифицирует ошибки на опасные (зоны C, D, E) и допустимые (A, B). Оказалось, что если просто всегда предсказывать среднее значение, сетка Кларка почти всегда будет рисовать благостную картину. Метрика, призванная отсеивать плохие приборы, здесь систематически прячет провал, поскольку не учитывает природу ошибок бескровных методов.
Так мечта об умных часах, измеряющих сахар, получает важное предостережение. Прежде чем запускать алгоритмы в реальную клиническую практику, необходимо сначала навести порядок в их машинной оценке — с честным разделением данных и метриками, которые не способны вводить в заблуждение.
Сетка ошибок Кларка, которую используют для проверки глюкометров, была предложена в 1987 году и с тех пор стала мировым стандартом. Она делит все ошибки на пять зон: A (клинически точные), B (допустимые), C, D и E (потенциально опасные). Парадокс в том, что для очень плохих моделей, которые просто угадывают среднее значение, почти все точки падают в A и B.