Трудности с подбором слов встречаются при старении и неврологических болезнях, но их трудно локализовать и измерить. Стандартные тесты трудоёмки, дают мало данных и нечувствительны к лёгким нарушениям у людей с высоким когнитивным резервом. Автоматический анализ естественной речи обещает количественный и масштабируемый подход. Работа стоит рядом с исследованиями, где нейросети читают историю болезни или оценивают произношение, но здесь впервые объединены лексика и акустика для оценки памяти.
Участники выполняли задание «Знаменитые лица»: рассматривали фотографии известных людей и рассказывали всё, что помнят. Записи транскрибировали нейросетью WhisperX, а реплики участников отделяли от реплик интервьюера с помощью алгоритма pyannote. Затем из текста извлекали лексические признаки: общее число слов, долю редких слов (частотность по Ципфу), а из аудио — длительность высказываний и пауз. Паузы короче 250 миллисекунд считали речью, а речевые сегменты короче 150 миллисекунд — шумом.
Группы не различались по лексическим показателям: общее число слов, доля редких слов и другие метрики были одинаковыми. Зато пациенты с височной эпилепсией говорили более короткими фразами (в среднем 5.54 секунды против 6.59 у здоровых), делали более короткие паузы (0.61 против 0.67 секунды) и чаще замолкали (10.81 пауз в минуту против 9.29). Эти различия были статистически значимыми. Лексический индекс коррелировал с баллами по шкале MoCA (r=0.35) и тесту называния Бостона (r=0.62) у пациентов, но не с тестами на память или беглость речи. Частота пауз отрицательно коррелировала с точностью биографических воспоминаний (r=-0.31).
Работа показывает, что лексические и временные признаки речи отражают разные когнитивные функции: словарный запас связан с называнием, а темп речи — с эффективностью воспоминаний. В отличие от соседних исследований, где речь анализировали для диагностики деменции или оценки произношения, здесь применён единый конвейер к спонтанному рассказу при эпилепсии. Это открывает путь к чувствительным цифровым маркерам, которые не упираются в потолок стандартных тестов.
Метод можно распространить на другие задачи, где требуется устный пересказ, например на описание картинок или пересказ историй. Речевые маркеры можно отслеживать во времени, чтобы заметить ухудшение до того, как оно станет очевидным. Перспективно объединить анализ речи с данными о мозговой активности, чтобы связать паузы с эпилептиформными разрядами.
Результаты могут пригодиться в неврологии для мониторинга пациентов с эпилепсией и ранних стадий болезни Альцгеймера, а также в телемедицине для дистанционной оценки когнитивных функций.
Следующий шаг — проверить, как речевые показатели меняются после операции на височной доле и коррелируют ли они с данными нейровизуализации.
Работа затрагивает нерешённую проблему чувствительной оценки когнитивных функций у людей с высоким резервом, где стандартные тесты не видят изменений. Она также связывает субъективные жалобы на подбор слов с объективными речевыми параметрами.
Частота слов измерялась по шкале Ципфа: слово с частотой 3 встречается примерно раз на миллион слов, а с частотой 4 — раз на десять тысяч. Редкие слова оказались маркером словарного запаса.
Работа опубликована не на arXiv. Здесь её страница, PDF и формализация: проверить можно самим, а не только прочитать наш разбор.