Le robot de laboratoire compte les molécules — et se trompe. Dans un tube, 0 ; dans un autre, 12 ; dans un troisième, 3, alors qu'en réalité, il y en a à peu près autant partout. Ces chiffres « bruts » sont monnaie courante en biologie : séquençage de l'ADN, comptage des espèces dans un échantillon d'eau, activité des gènes. Les données sont nombreuses, mais elles sont creuses et plus dispersées que ne le permettrait le simple hasard.
Les mathématiciens ont proposé un « traducteur » pour ce bruit — une méthode de résidus basée sur la distribution de Dirichlet-multinomiale (DM). L'idée ressemble au travail d'un correcteur dans un traitement de texte : il ne réécrit pas le texte, mais souligne seulement les passages suspects, laissant tout le reste intact. Ici, c'est pareil : la méthode ne modifie pas les zéros et les uns d'origine, mais ne fait que compresser les valeurs répétées si elles sortent du lot. Tout le nettoyage se fait en une seule passe, et le temps de traitement ne dépend que du nombre de cellules non nulles — c'est-à-dire presque instantanément.
Cette nouvelle approche est comme un adaptateur universel. Elle fonctionne non seulement avec des tableaux simples, mais aussi avec des données où les caractéristiques sont liées en chaînes ou en arbres (par exemple, les espèces sur un arbre phylogénétique). Cela permet d'utiliser le même outil pour nettoyer les données sur les gènes, les protéines ou les écosystèmes. Et surtout, on peut simplement la « brancher » sur des programmes d'analyse déjà existants, sans avoir à les réécrire entièrement.
Le correcteur n'invente pas de faits. Il ne fait qu'enlever le grain, laissant le texte — ou le tableau — plus propre qu'avant.
La distribution de Dirichlet-multinomiale est souvent utilisée pour l'analyse de textes : elle décrit bien comment les fréquences des mots varient d'un document à l'autre.
Dans « La Machine à différences » de Gibson et Sterling, l'analyse des données change le cours de l'histoire — notre méthode aurait été un filtre idéal pour l'ordinateur à vapeur de Lord Babbage.