Камера смотрит на лицо и руки человека, а по едва заметным изменениям температуры кожи понимает: сейчас ему тяжело. Тепло тела — как невидимые чернила, которые проявляются при стрессе. Кровь приливает к одним участкам и отливает от других, и картина получается у каждого своя. Задача — найти в этом тепловом узоре те места и секунды, которые выдали тревогу.
Авторы создали систему FABLE-Therm. Она берёт несколько уже обученных нейросетей, которые смотрят на разные части тела, и объединяет их выводы не в конце, а на раннем этапе. Так сохраняются детали: какой участок кожи потеплел, когда именно. Это похоже на то, как несколько свидетелей описывают одно событие — если каждый расскажет свою часть, картина будет полнее, чем если просто усреднить их слова. В тестах на людях с опиоидной зависимостью система достигла точности 0.938 по шкале AUROC (чем ближе к 1, тем лучше).
Но точность — не всё. Учёные заметили, что модель хуже работает на некоторых группах людей. Они разобрали, почему: часть разрыва можно закрыть, добавив больше данных о тех, кого система пока плохо понимает. Но остаётся ещё разрыв из-за того, что люди просто разные. Это как если бы термометр точнее мерил температуру у людей одного телосложения. Понимание этой разницы помогает строить более справедливые системы, которые не подводят конкретного человека.
Температура кожи лица может меняться на доли градуса при эмоциональном возбуждении — это фиксируют чувствительные тепловизоры.
В сериале «Почти человек» полицейские андроиды считывают тепловые сигнатуры, чтобы понять эмоции человека.