Procesamiento de Audio y Voz eess.AS

Una maestra en clase explica la diferencia entre «casa» y «caza»: ponte la mano en la garganta y siente la vibración. Una máquina que reconoce el habla hace algo parecido, solo que dentro no tiene garganta, sino largas listas de números. Resulta que esos números se pueden ordenar en estantes, como bloques con letras en una guardería.

El intestino habla con el médico, pero muy bajito. Los gruñidos y gorgoteos duran fracciones de segundo y se pierden fácilmente entre los sonidos de los pulmones y el corazón. El estetoscopio capta solo una pequeña parte, por lo que el diagnóstico depende de la experiencia y el oído del médico concreto.

Si aplaudes en una habitación vacía, el eco revelará su tamaño y forma. Cada objeto —una silla, un libro, una persona— añade su propia firma a ese eco: el sonido se refleja en él de una manera particular. Los autores del artículo han ideado cómo reescribir por completo esa firma sonora. Rodearon una región del espacio con una superficie cerrada de micrófonos y altavoces.

Un micrófono cardioide común, como una oreja, oye mejor de frente, pero sus lecturas se emborronan si el sonido viene de lado. La solución es reunir varias de estas «orejas» en una esfera. Así se obtiene una bola sonora que capta la señal desde todas las direcciones.

Un nuevo sistema analiza una entrevista corta para reconocer las dudas de una persona, combinando texto, voz y expresión facial. Pero la clave principal de la inseguridad resultó ser la materia oscura del habla: pausas y muletillas que los sistemas de voz estándar borran como un agujero negro.

Limpiar el habla del ruido es como intentar sintonizar un televisor viejo: si giras demasiado la perilla de contraste, los rostros se vuelven artificiales.

Una gran red neuronal, como Whisper, domina cientos de idiomas y recuerda al modelo estándar del universo: todo está equilibrado. Pero entrenarla en un idioma raro rompe el equilibrio: se convierte en un agujero negro que atrae todos los recursos de aprendizaje. La red comienza a olvidar los demás idiomas.

El método estándar de digitalización de voz: se toman lecturas de volumen miles de veces por segundo. Es como probar un caldo con una cucharadita: cada sorbo es aguado y casi no hay detalles. El flujo de datos se hincha, aunque el significado es ínfimo. Los científicos propusieron primero ‘reducir’ la señal de audio.

El sonido se describe naturalmente con un número complejo, donde el volumen es la fuerza de la onda y la fase su posición en el tiempo. Las redes neuronales convencionales lo descomponen en dos coordenadas independientes, como si para dar una dirección dijeran: «dos al este, uno al norte».

Antes, la locución de un texto largo, como un audiolibro, requería que el ordenador tuviera en mente una imagen detalladísima de cada segundo de sonido, como si para una conversación de una hora hubiera que dibujar un plano milimétrico de todo el recorrido. Esos «mapas» eran enormes, e incluso máquinas potentes se atragantaban, ensamblando el habla por partes.

Los audífonos tradicionales se parecen a un cocinero que sigue una receta a ciegas. Analizan el desorden sonoro del micrófono y, basándose en él, amplifican el habla. En una cafetería ruidosa, este enfoque a menudo falla. El nuevo sistema se comporta como un chef experimentado: primero procesa la señal y luego prueba el resultado.

En una habitación ruidosa, una persona distingue la voz deseada gracias a los dos oídos, que captan la diferencia en la llegada del sonido. Una computadora con varios micrófonos actúa de la misma manera: recibe pistas espaciales, de dónde habla cada uno. Antes, estas pistas se usaban para enfocarse en una sola dirección, como el haz de una linterna.

El oído humano está diseñado de tal manera que el cerebro destaca principalmente los patrones conocidos: la voz del interlocutor, el ruido de la lluvia, la bocina de un coche. Sin embargo, el nuevo sistema funciona con un principio diferente: detecta cualquier ráfaga sonora, incluso una que nunca antes se haya encontrado.

La cancelación activa de ruido crea un «antisonido» para eliminar el ruido. Pero los sistemas convencionales son ciegos: no saben de dónde proviene el sonido. En habitaciones con eco, es como boxear con los ojos vendados: cancelas a ciegas.

La red neuronal que genera sonidos a partir de texto se parece a una cocina donde cada «plato» lo preparan decenas de cocineros. Muchos solo estorban: envían señales falsas y malgastan recursos.

Los modelos que convierten texto en audio recrean bien los sonidos individuales, pero se confunden cuando en el guión hay varios. Por ejemplo, según el guión primero suena el timbre, luego los pasos, después el portazo. El generador puede alterar los eventos y el oyente escuchará los pasos antes del timbre.

El director sostiene no una batuta, sino un pincel, y cada movimiento da vida a color y forma. La nueva tecnología funciona de manera similar: convierte el estado de ánimo de la canción en un vídeo panorámico que envuelve al oyente. Primero, el algoritmo, al igual que el análisis de la luz por el espectro, descompone la pista en emociones.

Los jueces automáticos del habla son algoritmos que evalúan la pronunciación y las emociones. Sin embargo, a menudo funcionan como un crítico culinario que emite un veredicto tras leer el menú, pero sin probar el plato.

Aprender un idioma extranjero es como afinar un instrumento musical. La nueva tecnología funciona como un afinador inteligente: toma tu grabación y el habla de referencia de un nativo, las estira o comprime en el tiempo (como se tensa una cuerda) para alinearlas con precisión, y evalúa tres parámetros principales: la pureza de los sonidos, la precisión rítmica y la…

Los asistentes de voz a menudo recuerdan a un cocinero que lee una receta en papel sin sombra de apetito. El nuevo archivo de diálogos rusos 'Diálogos' cambia las reglas: tres actores en el estudio, como chefs, mezclaron 20 horas de conversaciones reales con doce 'especias' emocionales. Cada réplica recibió una etiqueta de estilo y emoción, resultando un libro completo de sabores.

WanSong crea música como un escultor talla una estatua: comienza con ruido, similar al rugido de una cascada, y poco a poco elimina todo lo superfluo hasta que emergen notas y voces puras. Este método — difusión — transforma el caos en orden, como la tinta que se dispersa en el agua, pero al revés. El modelo no pega sonidos a partir de fragmentos, sino que da a luz una canción terminada de una vez.

El ser humano extrae sin esfuerzo la voz deseada del bullicio de una fiesta. Para una computadora, lo mismo es aún una tarea al límite de sus posibilidades. Los programas anteriores se entrenaban con grabaciones estériles, sin eco ni pitidos de aparatos.

La inteligencia artificial que predice la acústica de una sala se parece a un estudiante en un examen con una chuleta. Si los puntos de prueba son los mismos que los de entrenamiento, el modelo simplemente memoriza la 'huella sonora' de cada posición, como un estudiante que reconoce el examen por una esquina doblada.