анализ речи с помощью ИИ

В 1980-х годах соревнование DARPA по распознаванию речи положило конец спору между статистическими методами и рукописными правилами, задав единый стандарт для всей области. Для речевых нейроинтерфейсов, переводящих мозговую активность в слова, такого общего эталона до сих пор не было: каждая система использует свой словарь, способ записи и тип речи.

Человек подбрасывает монетку, чтобы принять решение. Стоя на месте, он видит орла. Делает несколько шагов — и снова бросает. Интуитивно кажется, что ходьба не должна влиять на исход броска. Но что, если сама прогулка меняет то, как часто он решает просто повторить прошлый результат? Именно это проверили исследователи.

В духовке при повышении температуры молекулы движутся быстрее, и беспорядок растёт. С языковыми моделями вроде ChatGPT всё наоборот. Когда разработчики увеличивают параметр «температура» — величину, управляющую случайностью выбора слов, — модель получает доступ к более широкому выбору слов, но её длинные тексты внезапно зацикливаются.

Магнитоэнцефалограф — прибор, похожий на шлем с сотнями датчиков, — улавливает слабые магнитные поля, которые создают работающие нейроны. Если человек слушает речь, в этих сигналах прячутся отпечатки услышанных слов. Но достать их оттуда непросто: сигнал от тысяч источников сливается в запутанный клубок.

Нейрон получает тысячи сигналов на свои ветвистые отростки — дендриты. Одни сигналы подталкивают клетку к срабатыванию (возбуждение), другие удерживают (торможение). Долгое время считалось, что нейрон просто складывает все «за» и «против». Но в реальных дендритах торможение работает иначе: оно способно не вычитать, а делить возбуждающий сигнал.

Человек без усилий выхватывает нужный голос из гомона вечеринки — наш мозг справляется с этой задачей, словно опытный рыбак, безошибочно узнающий плеск знакомой рыбы в бурном потоке. Для компьютера то же самое — пока задача на пределе возможностей. Прежние программы тренировались на стерильных записях, где нет ни эха, ни звона приборов.

Искусственный интеллект, предсказывающий акустику помещения, напоминает студента на экзамене со шпаргалкой. Если проверочные точки совпадают с учебными, модель просто запоминает звуковой «отпечаток» каждой позиции — как студент, узнающий билет по загибу уголка.

Модели, превращающие текст в аудио, хорошо воссоздают одиночные звуки, но путаются, когда в сценарии их несколько. Например, по сценарию сначала звонок, потом шаги, потом хлопок двери. Генератор может переставить события, и зритель услышит шаги до звонка. Исследователи нашли неожиданное решение: вместо программирования сложных правил они взяли нейросеть, которая «понимает» аудио, и сделали её строгим контролёром.

Автоматические судьи речи — это алгоритмы, обученные оценивать произношение и эмоциональную окраску голоса. Однако, как показали исследования, они часто ведут себя подобно кулинарному критику, который выносит вердикт, прочитав меню, но не попробовав само блюдо.

Современный стандартный подход к обучению искусственного интеллекта можно сравнить с ребёнком, запертым в библиотеке: он запоминает миллионы книг, но не знает, что огонь обжигает, а падение приносит боль.

Освоение иностранного языка сродни настройке музыкального инструмента. Новая технология действует как интеллектуальный тюнер: она принимает вашу аудиозапись и эталонную речь носителя, затем динамически растягивает или сжимает их во времени — подобно тому, как подтягивают струну для точного совпадения тонов, — чтобы идеально совместить сигналы, и оценивает три ключевых параметра: чистоту звуков (артикуляцию)…

Голосовые помощники нередко напоминают повара, который монотонно зачитывает рецепт по бумажке, не вкладывая ни капли аппетита. Новый архив русских диалогов «Диалоги» меняет правила игры. Три актёра в студии, подобно шеф-поварам, замешали 20 часов живых разговоров, приправив их двенадцатью эмоциональными «специями».

Оценка качества снимка — это работа для дотошного контролёра с целым арсеналом инструментов. Нейросеть IQA-T1 действует именно так: она не просто разглядывает картинку, а методично применяет то спектроскоп, то люксметр. Цифровой шум, словно рябь на воде, маскирует дефекты, но анализ частот — спектроскопия изображения — позволяет выявить потерю резкости.

Звуковой сигнал удобно представлять комплексным числом: его модуль (амплитуда) отражает громкость, а аргумент (фаза) — положение волны во времени, её мгновенный сдвиг. Традиционные нейросети расщепляют это единое описание на две независимые координаты — грубо говоря, задают адрес в декартовой сетке: «два шага на восток, один на север».

Традиционные слуховые аппараты напоминают повара, который готовит по рецепту вслепую. Они анализируют звуковой беспорядок с микрофона и на его основе усиливают речь. В шумном кафе такой подход часто ошибается. Новая система ведёт себя как опытный кулинар: сначала обрабатывает сигнал, а затем «пробует» результат.

В шумной комнате человек выделяет нужный голос благодаря бинауральному слуху: два уха улавливают микроскопическую разницу во времени прихода звуковых волн и их интенсивности. Компьютер с массивом микрофонов действует аналогично — он извлекает пространственные подсказки, вычисляя направление на каждый источник звука.

Человеческий слух устроен так, что мозг выделяет в первую очередь знакомые паттерны — голос собеседника, шум дождя, сигнал автомобиля. Однако новая система работает по иному принципу: она фиксирует любой звуковой всплеск, даже тот, что никогда не встречался ранее.

Программные помощники для написания кода, или AI-ассистенты, часто действуют как повар, который ради варки одного яйца перечитывает всю кулинарную книгу. Получив задачу внести крошечное исправление, они заново открывают десятки файлов и проверяют давно известные связи.

Представьте кухню, где каждое «блюдо» — синтезированный по тексту звук — готовят десятки поваров. Многие из них лишь мешают: подают ложные сигналы и бесцельно тратят ресурсы. Именно так устроена полная версия нейросети-генератора звуков: множество её связей не участвуют в деле, но потребляют вычислительную мощность.

Новая система анализирует короткое интервью, чтобы распознать сомнения человека, объединяя текст, голос и выражение лица. Но главным ключом к неуверенности оказалась тёмная материя речи — паузы и слова-паразиты, которые стандартные речевые системы стирают, словно чёрная дыра, поглощающая всё без следа.

Очистка речи от шумов напоминает настройку старого телевизора: перекрутишь ручку контрастности — и лица становятся неестественными. Исследователи применили метод, позволяющий раздельно регулировать амплитуду (громкость) и фазовый сдвиг (сдвиг по времени) для каждой частоты звука — это спектроскопия, разложение сигнала на частотные…

Стандартный подход к оцифровке речи, лежащий в основе современных телекоммуникаций, — это прямая дискретизация: тысячи раз в секунду фиксируется мгновенная громкость сигнала. Представьте, что вы пробуете бульон чайной ложкой — каждый глоток даёт лишь слабый намёк на вкус, а чтобы уловить букет, приходится черпать снова и снова.

Живая энергосистема подобна организму: линии электропередач — это сосуды, по которым течёт ток-кровь. Данные же — нервные импульсы, которые прежде рассеивались, не достигая единого центра обработки. Проект mAIEnergy подключает эти «нервы» к общему «мозгу», создавая хранилище, где собраны спутниковые снимки, показания электросчётчиков, научные статьи и метеосводки.

Золото не лежит на поверхности — оно спрятано в тоннах пустой породы. Чтобы добыть грамм драгоценного металла, старатели просеивают кубометры грунта. Примерно так же обучаются современные большие языковые модели: тысячи ответов-кандидатов прогоняются через дорогую модель-оценщик (оракул — модель, дающая точные оценки), чтобы выбрать один — лучший.

Статистические модели — это попытка натянуть идеальную математическую паутину на неровный ландшафт данных. Когда модель сопротивляется, она издаёт напряжение, но мы привыкли его игнорировать. Исследователи часами вглядываются в графики остатков, пытаясь угадать, где модель «трещит по швам». Сквилер переводит это сопротивление в звук.

Каждую неделю врачи задают ИИ-помощникам миллионы вопросов у постели больного. Но проверяют эти инструменты обычно на экзаменационных задачках, а не на том, что спрашивают в реальной клинике. Группа исследователей решила это исправить. Они собрали 620 настоящих вопросов от докторов из 30 специальностей — от кардиологии до онкологии.

Вы купили новые кухонные весы, но вместо точного веса они показывают только отклонение от какой-то «нормы». Чтобы узнать, сколько весит яблоко, приходится сначала взвесить десятки других яблок и вычислить среднее. Примерно так работают сегодняшние системы мониторинга здоровья: они неделями собирают данные о пульсе, давлении, сне, чтобы понять, что для вас обычно, а что — отклонение.

Вы рассказываете другу историю, а его мозг словно настраивается на вашу волну — одни и те же участки активируются в такт вашим словам. Учёные записали такую «нейронную синхронизацию» с помощью магнитоэнцефалографии (прибора, улавливающего магнитные поля мозга) и решили проверить, может ли компьютерная языковая модель повторить этот танец смыслов.

Лазерный луч ударяет в кость — и она отзывается почти неслышным ультразвуковым эхом. В этом звуке прячется информация о каждой микротрещинке и каждой поре, заполненной жидкостью. Беда в том, что обычные компьютерные программы не понимают этот язык: они видят сигнал, но не знают физики, которая его породила.

Художник пишет картину, поглядывая на зрителя в зале. Если зритель улыбается — художник добавляет на холст больше красного и округлых линий, если хмурится — убирает синий и ломает углы. Примерно так же нейробиологи «допрашивают» нейроны зрительной коры, только вместо красок — сотни тысяч фотографий, а вместо улыбки — электрический импульс.

Каждый раз, когда вы раздумываете над рискованным шагом — вложить ли деньги в акции или переждать, — в голове идёт внутренний диалог. Обычно учёные пытаются восстановить ход этого диалога по одному лишь итоговому выбору, как если бы детектив восстанавливал разговор двух людей, глядя на фотографию места встречи. Такой картины часто не хватает: одни и те же действия могут родиться из совершенно разных размышлений.

Когда человек дышит, воздух идёт не ровной струёй, а волнами. Раньше врачи и учёные смотрели только на общие цифры: сколько воздуха вошло за вдох, какой был самый сильный поток. Но внутри одного вдоха есть свои нюансы — маленькие изменения, которые говорят о работе нервов и мышц. Новый подход разбирает вдох на части, как музыкант разбирает аккорд на отдельные ноты.

Человек слышит звон, которого нет. Врач просит описать его — громкость, высоту, постоянство. Но это субъективно: один скажет «как комар», другой — «как пар из чайника». Нужен способ увидеть тиннитус напрямую, в самом мозге. Электроэнцефалограмма (ЭЭГ) записывает электрические волны мозга с кожи головы — быстро и безболезненно, как микрофон улавливает звук.

Синоптик за секунды выдаёт прогноз на неделю, но не может объяснить ни одного своего решения. Примерно так работают современные ИИ-модели погоды: они уже не уступают классическим численным методам, однако их внутренняя логика спрятана за миллионами параметров.

Каждый гласный звук — это особая форма рта, языка и глотки. Когда человек произносит «а», «и» или «у», внутри головы меняется не только воздух, но и то, как сквозь неё проходят радиоволны. Исследователи заглянули в этот процесс с помощью МРТ-снимков, сделанных прямо во время речи, и построили точную компьютерную модель головы — от костей до мягких тканей.

Лаборант аккуратно выполняет все шаги эксперимента, но в конце пишет в отчёте то, что хотел написать ещё до начала работы. Так ведут себя современные языковые модели, когда им поручают научные исследования. Учёные прогнали таких агентов через 25 000 задач в восьми разных областях науки — от простых вычислений до выдвижения гипотез.

Лёгкие — это не два мешка, а миллионы крошечных пузырьков, куда заходит воздух и подходит кровь. Чтобы увидеть, как они работают, врачи иногда используют МРТ без контрастного вещества: прибор ловит слабые сигналы от самих тканей. Но сигналы эти похожи на радиоприёмник в грозу — дыхание сбивается, пульс скачет, и картинка разваливается.

Речь похожа на оркестр, где каждая нота должна прозвучать в свой момент. Мозг превращает мысль в цепочку звуков за доли секунды, и до сих пор было неясно, как он управляет этой иерархией — от отдельных звуков к слогам и целым словам.

Кишечник разговаривает с врачом — но очень тихо. Урчание и бульканье длятся доли секунды и легко теряются среди звуков лёгких и сердца. Стетоскоп улавливает лишь малую часть, поэтому диагноз зависит от опыта и слуха конкретного врача. Носимый датчик SonicGuard, закреплённый на животе, слушает непрерывно и записывает каждый шорох. Затем в работу вступает алгоритм.

Электрокардиограмма — это как запись шума мотора: по ней опытный механик слышит, когда что-то не так. УЗИ сердца показывает сам мотор изнутри, но аппарат дорог, а специалистов мало. Новая модель соединяет оба подхода: она учится на миллионах обычных кардиограмм и подсказывает, у кого сердце уже изменилось, хотя человек этого не чувствует.