En la minería de oro, toneladas de roca estéril pasan por un tamiz para encontrar una pepita de metal. De manera similar, en el aprendizaje automático los grandes modelos de lenguaje generan multitud de respuestas, y cada una es verificada por una costosa red neuronal evaluadora (un oráculo: un programa que proporciona una evaluación precisa). El proceso se asemeja a una línea de montaje donde cada paso consume recursos.

Los científicos aplicaron dos viejos trucos del mundo de las bases de datos. El primero es no verificar todas las respuestas una tras otra. Así como un geólogo toma muestras de suelo, aquí se calcula una evaluación promedio a partir de unas pocas respuestas aleatorias y se monitorea el intervalo de confianza (el rango donde se encuentra el valor real). Cuando la dispersión deja de cambiar significativamente, se detiene la verificación. Este método de muestreo aleatorio reduce el número de llamadas al oráculo varias veces.

El segundo método es colocar un rápido «tamiz» en la entrada. Con un pequeño conjunto de respuestas ya verificadas se entrena un modelo sustituto (un reemplazo ligero del oráculo). Este examina características simples —la longitud del texto, la presencia de números— y descarta de inmediato las opciones débiles. El oráculo se llama solo para las que quedan. Este enfoque se asemeja al lavado de arena aurífera: primero se elimina la roca ligera con agua, y luego se buscan las pepitas en el residuo pesado. Todo esto funciona sobre el aprendizaje por refuerzo (un método donde el modelo aprende a partir de evaluaciones), pero lo hace mucho más eficiente.

Todo este muestreo aleatorio convierte una lenta enumeración en un proceso rápido, como un separador automático en una mina de oro. Los viejos métodos de procesamiento de consultas dan nueva vida al entrenamiento de redes neuronales.