Pour extraire de l'or, on fait passer des tonnes de stérile au crible afin de trouver une pépite de métal. De la même manière, en apprentissage automatique, les grands modèles de langage génèrent de nombreuses réponses, et chacune est vérifiée par un réseau de neurones-évaluateur coûteux (un oracle — un programme qui fournit une évaluation précise). Le processus ressemble à une chaîne de montage où chaque étape consomme des ressources.

Les scientifiques ont appliqué deux vieilles astuces du monde des bases de données. La première consiste à ne pas vérifier toutes les réponses à la suite. Comme un géologue prélève des échantillons de sol, ici on calcule une note moyenne à partir de quelques réponses aléatoires et on surveille l'intervalle de confiance (la plage où se situe la valeur réelle). Lorsque la dispersion cesse de varier fortement, on arrête la vérification. Cette méthode de Monte-Carlo réduit considérablement le nombre d'appels à l'oracle.

La deuxième méthode consiste à placer un « crible » rapide à l'entrée. Sur un petit ensemble de réponses déjà vérifiées, on entraîne un modèle de substitution (un remplaçant léger de l'oracle). Il examine des caractéristiques simples — longueur du texte, présence de chiffres — et écarte immédiatement les variantes faibles. L'oracle n'est appelé que pour les réponses restantes. Cette approche rappelle le lavage du sable aurifère : d'abord, on emporte la roche légère avec de l'eau, puis on cherche les pépites dans le résidu lourd. Tout cela fonctionne par-dessus l'apprentissage par renforcement (une méthode où le modèle apprend à partir d'évaluations), mais le rend beaucoup plus efficace.

Toute cette sélection aléatoire transforme un balayage lent en un processus rapide — comme un séparateur automatique dans une mine d'or. Les anciennes méthodes de traitement des requêtes donnent une nouvelle vie à l'entraînement des réseaux de neurones.