El robot de laboratorio cuenta moléculas y se equivoca. En un tubo hay 0, en otro 12, en un tercero 3, aunque en realidad en todos hay aproximadamente lo mismo. Estas cifras "crudas" son algo habitual en biología: secuenciación de ADN, recuento de especies en una muestra de agua, actividad génica. Hay muchos datos, pero son dispersos y varían más de lo que permitiría el azar simple.
Los matemáticos han propuesto un "traductor" para ese ruido: un método de residuos basado en la distribución Dirichlet-multinomial (DM). La idea se parece al corrector de un editor de texto: no reescribe el texto desde cero, sino que solo subraya los pasajes sospechosos, dejando todo lo demás intacto. Así ocurre aquí: el método no cambia los ceros ni los unos originales, sino que solo comprime los valores repetidos si se salen del patrón general. Toda la limpieza se realiza en una sola pasada, y el tiempo de procesamiento depende únicamente del número de celdas no nulas, es decir, es casi instantáneo.
El nuevo enfoque es como un adaptador universal. No solo funciona con tablas simples, sino también con datos en los que las características están relacionadas en cadenas o árboles (por ejemplo, especies en un árbol filogenético). Esto permite limpiar con la misma herramienta datos sobre genes, proteínas o ecosistemas. Y lo mejor: se puede "enchufar" directamente en programas de análisis ya existentes, sin tener que reescribirlos por completo.
El corrector no inventa hechos. Solo elimina el ruido, dejando el texto —o la tabla— más limpio de lo que estaba.
La distribución Dirichlet-multinomial se utiliza a menudo para analizar textos: describe bien cómo varían las frecuencias de las palabras de un documento a otro.
En "La máquina diferencial" de Gibson y Sterling, el análisis de datos cambia el curso de la historia: nuestro método habría sido el filtro perfecto para el ordenador de vapor de Lord Babbage.