Les ingénieurs qui améliorent les réseaux de neurones agissent comme des sélectionneurs : ils essaient une variante, observent le résultat, conservent la meilleure. Ils ont rassemblé 935 de ces essais issus de 161 articles et mesuré à quelle fréquence une modification de code s'avère bénéfique, nuisible ou sans effet. Le tableau est familier à tout biologiste : 68 % des modifications dégradent les performances, 19 % ne changent rien, et seulement 13 % apportent un gain.
La forme de la distribution des conséquences chez l'IA est presque identique à celle connue pour les mutations chez la mouche du vinaigre et la levure de boulanger. De plus, l'apparition de nouvelles techniques architecturales suit les mêmes vagues : d'abord lente, puis une croissance explosive, enfin un plateau. Quatorze solutions techniques ont été inventées indépendamment 3 à 5 fois chacune — comme les ailes chez les oiseaux et les chauves-souris.
La conclusion est simple : l'évolution ne concerne pas l'ADN ou le code, mais la forme du paysage dans lequel la recherche se déplace. Qu'il s'agisse de gènes ou de paramètres de réseaux de neurones, la statistique des succès et des échecs est la même.
La proportion de modifications bénéfiques chez les réseaux de neurones (13 %) est plus élevée que chez tous les organismes étudiés, mais plus faible que chez les virus avec leurs génomes minuscules — ceux-ci évoluent encore plus rapidement.
Dans « Jurassic Park », le mathématicien du chaos Ian Malcolm disait que la vie trouve toujours un chemin. Il s'avère que l'intelligence artificielle cherche son chemin sur les mêmes sentiers statistiques.