Глюкометр, который не колет палец, а просто смотрит на запястье — мечта миллионов людей с диабетом. Именно её обещают алгоритмы, извлекающие уровень глюкозы из обычного сигнала пульса — фотоплетизмограммы (той самой, что измеряет пульс в умных часах). Проблема в том, что до сих пор никто не мог толком сравнить эти алгоритмы между собой: каждый исследователь использовал свои данные и свои способы проверки.
Группа учёных построила первый прозрачный конвейер для честной оценки таких моделей. Они взяли пять типичных подходов и прогнали их через три уровня строгости. Первый уровень — случайное перемешивание окон сигнала, когда кусочки записи одного человека могут попасть и в обучение, и в проверку. Здесь модели показывали обнадёживающие результаты. Второй уровень — окна одного человека всегда остаются вместе: либо в обучении, либо в проверке. Третий, самый суровый, — часть людей полностью исключается из обучения, и модель должна угадать их сахар, никогда их раньше не «видев».
Результат оказался отрезвляющим. Как только деление данных становилось честным, точность моделей рушилась. Коэффициент детерминации (R²), показывающий, насколько прогноз лучше простого среднего, падал до нуля или даже уходил в минус. Иными словами, алгоритм работал не лучше, чем если бы он всегда называл средний уровень сахара по всей выборке. Но самое коварное открытие ждало впереди.
Даже у полностью провалившейся модели более 90% предсказаний попадали в безопасные зоны A и B по сетке ошибок Кларка — стандартному клиническому инструменту, который врачи используют для оценки точности глюкометров. Эта сетка делит ошибки на опасные и допустимые. Оказалось, что если просто всегда предсказывать среднее значение, сетка Кларка почти всегда будет рисовать благостную картину. Метрика, призванная отсеивать плохие приборы, здесь систематически прячет провал.
Так мечта об умных часах, измеряющих сахар, получает важное предостережение. Прежде чем запускать алгоритмы в реальную клиническую практику, нужно сначала навести порядок в их машинной оценке — с честным разделением данных и метриками, которые не умеют врать.
Сетка ошибок Кларка, которую используют для проверки глюкометров, была предложена в 1987 году и с тех пор стала мировым стандартом. Она делит все ошибки на пять зон: A (клинически точные), B (допустимые), C, D и E (потенциально опасные). Парадокс в том, что для очень плохих моделей, которые просто угадывают среднее значение, почти все точки падают в A и B.