Sonido cs.SD

En septiembre de 2024, en la sala de conciertos de Linz, en el escenario no solo había una orquesta. Junto a los músicos trabajaba un dispositivo que generaba pares de fotones entrelazados: un láser de 405 nm de longitud de onda incidía en un cristal no lineal y se dividía en dos fotones de 810 nm que volaban hacia dos estaciones de medición, Alicia y Bob.

Un ornitólogo en la selva escucha un trino, pero el ave se esconde entre el follaje. Sería ideal obtener su retrato al instante, aunque sea desde una base de datos de fotos. Normalmente, para eso se necesitan miles de pares «grabación del canto + foto de esa misma ave», y reunirlos es caro y lento. Los autores tomaron un camino indirecto: usaron dos modelos ya entrenados.

Las placas de bronce del gamelán no suenan según un diapasón único: cada orquesta en Java mantiene su propia afinación, y dos conjuntos vecinos pueden tocar la misma melodía con intervalos ligeramente distintos.

Una maestra en clase explica la diferencia entre «casa» y «caza»: ponte la mano en la garganta y siente la vibración. Una máquina que reconoce el habla hace algo parecido, solo que dentro no tiene garganta, sino largas listas de números. Resulta que esos números se pueden ordenar en estantes, como bloques con letras en una guardería.

El intestino habla con el médico, pero muy bajito. Los gruñidos y gorgoteos duran fracciones de segundo y se pierden fácilmente entre los sonidos de los pulmones y el corazón. El estetoscopio capta solo una pequeña parte, por lo que el diagnóstico depende de la experiencia y el oído del médico concreto.

Una gran red neuronal, como Whisper, domina cientos de idiomas y recuerda al modelo estándar del universo: todo está equilibrado. Pero entrenarla en un idioma raro rompe el equilibrio: se convierte en un agujero negro que atrae todos los recursos de aprendizaje. La red comienza a olvidar los demás idiomas.

El sonido se describe naturalmente con un número complejo, donde el volumen es la fuerza de la onda y la fase su posición en el tiempo. Las redes neuronales convencionales lo descomponen en dos coordenadas independientes, como si para dar una dirección dijeran: «dos al este, uno al norte».

Los modelos que convierten texto en audio recrean bien los sonidos individuales, pero se confunden cuando en el guión hay varios. Por ejemplo, según el guión primero suena el timbre, luego los pasos, después el portazo. El generador puede alterar los eventos y el oyente escuchará los pasos antes del timbre.

El director sostiene no una batuta, sino un pincel, y cada movimiento da vida a color y forma. La nueva tecnología funciona de manera similar: convierte el estado de ánimo de la canción en un vídeo panorámico que envuelve al oyente. Primero, el algoritmo, al igual que el análisis de la luz por el espectro, descompone la pista en emociones.

Los jueces automáticos del habla son algoritmos que evalúan la pronunciación y las emociones. Sin embargo, a menudo funcionan como un crítico culinario que emite un veredicto tras leer el menú, pero sin probar el plato.

El ser humano extrae sin esfuerzo la voz deseada del bullicio de una fiesta. Para una computadora, lo mismo es aún una tarea al límite de sus posibilidades. Los programas anteriores se entrenaban con grabaciones estériles, sin eco ni pitidos de aparatos.

La inteligencia artificial que predice la acústica de una sala se parece a un estudiante en un examen con una chuleta. Si los puntos de prueba son los mismos que los de entrenamiento, el modelo simplemente memoriza la 'huella sonora' de cada posición, como un estudiante que reconoce el examen por una esquina doblada.

El magnetoencefalógrafo, un dispositivo parecido a un casco con cientos de sensores, capta los débiles campos magnéticos que generan las neuronas en acción. Cuando una persona escucha habla, en esas señales se esconden huellas de las palabras oídas. Pero extraerlas no es fácil: la señal de miles de fuentes se funde en una maraña confusa.