concepto

punto de referencia

Un conjunto de datos o tarea estándar utilizado para evaluar y comparar el rendimiento de los modelos de IA.
57 artículos relacionados

Descripción

Un benchmark es una prueba estandarizada o un conjunto de datos que se utiliza para medir y comparar el rendimiento de los modelos de IA. Proporciona un terreno común para evaluar diferentes enfoques, asegurando que los resultados sean reproducibles y comparables entre grupos de investigación. Los benchmarks son esenciales para seguir el progreso en IA, ya que ofrecen criterios objetivos de lo que constituye una mejora.

Historia

El concepto de benchmarks en IA ganó prominencia con el auge del aprendizaje automático en la década de 1980, pero el término se generalizó en la década de 2000 con la creación de conjuntos de datos estandarizados como ImageNet para el reconocimiento de imágenes.

Cómo funciona

Los benchmarks suelen consistir en un conjunto fijo de tareas, preguntas o muestras de datos con respuestas correctas conocidas. Los modelos de IA se ejecutan contra estas tareas y sus resultados se puntúan mediante métricas predefinidas, como exactitud, precisión o recuperación. Las puntuaciones permiten a los investigadores clasificar los modelos e identificar cuáles funcionan mejor en tipos específicos de problemas.

En la práctica

Los benchmarks se utilizan en la investigación académica, el desarrollo industrial y las competiciones para evaluar modelos de IA en tareas como la clasificación de imágenes, el procesamiento del lenguaje natural y el descubrimiento científico.

Dato curioso

Algunos benchmarks de IA están diseñados para ser 'adversarios', es decir, están específicamente elaborados para exponer debilidades en los modelos, lo que conduce a algoritmos más robustos.

Artículos relacionados · 55

Una balanza para los pensamientos: cómo medir si un neurointerfaz realmente comunica
En la década de 1980, la competencia de reconocimiento de voz de DARPA puso fin al debate entre métodos estadísticos y reglas escritas a mano, estableciendo un estándar unificado para todo el campo.
Orquesta sin director: cómo la medición colectiva de la luz levanta la maldición de la incompatibilidad
De noche, en la cima de un volcán, seis telescopios apuntan al mismo puntito de luz. Cada uno captura su copia de la onda, y si se combinan sus señales, se obtiene una imagen que ningún instrumento por sí solo podría lograr. Pero hay un detalle: la luz captada por diferentes estaciones no se puede simplemente sumar como si fueran fotografías.
Biomoléculas2026-08-191 minarXiv:2608.18604exprés
Cómo los ingenieros de proteínas aprenden de sus errores
Un ingeniero de proteínas se parece a un cocinero que intenta hacer un plato que sea a la vez sabroso, saludable y barato. Al cambiar un ingrediente, corre el riesgo de estropear otro. Antes, los asistentes informáticos solo podían evaluar las propiedades de las proteínas por separado, sin ver cómo se relacionan entre sí.
Genómica2026-07-192 minarXiv:2607.17227exprés
Atlas celulares: quién lee mejor el lenguaje del tejido
Cada vez más, los biólogos confían a las computadoras la lectura de las "instrucciones de uso" de una célula viva. Seis modelos recientes de inteligencia artificial —Nicheformer, CellPLM, scGPT-spatial, GenePT, scELMo y Novae— son como seis traductores de diferentes dialectos del mismo lenguaje celular.
El algoritmo autodidacta: cómo escuchar la melodía en el ruido
Reconstruir una imagen completa a partir de fragmentos es como distinguir la melodía de una orquesta en una sala ruidosa. Este tipo de tareas se presentan en la fotometría, donde a partir de un tenue centelleo se recupera el brillo de una estrella. Los métodos tradicionales requieren información precisa sobre el ruido, que casi nunca se conoce.
Cómo pescar la voz de un amigo en medio del bullicio
El ser humano extrae sin esfuerzo la voz deseada del bullicio de una fiesta. Para una computadora, lo mismo es aún una tarea al límite de sus posibilidades. Los programas anteriores se entrenaban con grabaciones estériles, sin eco ni pitidos de aparatos.
Cómo la IA dejó de confundir los sonidos en los guiones
Los modelos que convierten texto en audio recrean bien los sonidos individuales, pero se confunden cuando en el guión hay varios. Por ejemplo, según el guión primero suena el timbre, luego los pasos, después el portazo. El generador puede alterar los eventos y el oyente escuchará los pasos antes del timbre.
Sonido2026-07-151 minarXiv:2607.13477exprés
Los jueces de IA no escuchan con oídos, sino con etiquetas
Los jueces automáticos del habla son algoritmos que evalúan la pronunciación y las emociones. Sin embargo, a menudo funcionan como un crítico culinario que emite un veredicto tras leer el menú, pero sin probar el plato.
Sopa química calcula números: cómo las reacciones se convirtieron en computadoras
En una sopa hirviendo, las moléculas chocan caóticamente y reaccionan. Pero si medimos cómo cambian sus concentraciones, emergen patrones. Así funcionan las redes químicas de carbono: mezclas de moléculas que espontáneamente «cocinan» información, convirtiendo cada reacción en un cálculo elemental. Antes solo se usaban para modelar la naturaleza.
Señales cerebrales: aprender a entender sin maestro
El cerebro se comunica con breves chasquidos eléctricos. Antes, para aprender este lenguaje, se necesitaban miles de ejemplos traducidos por un experimentador. El método MOJO sigue otro camino: como cuando se aprende un idioma por inmersión, primero escucha el 'flujo de conciencia' sin pistas y encuentra por sí mismo patrones repetitivos.
IA con lupa y espectrómetro: evaluación de la calidad de imágenes
Evaluar la calidad de una imagen es tarea de un inspector meticuloso con un juego de herramientas. La red neuronal IQA-T1 actúa exactamente así: no solo observa la imagen, sino que aplica ora un espectroscopio, ora un luxómetro.
Audiodiarización: cómo un algoritmo capta cualquier evento sonoro sin conocimiento previo
El oído humano está diseñado de tal manera que el cerebro destaca principalmente los patrones conocidos: la voz del interlocutor, el ruido de la lluvia, la bocina de un coche. Sin embargo, el nuevo sistema funciona con un principio diferente: detecta cualquier ráfaga sonora, incluso una que nunca antes se haya encontrado.
Engaño sintético: cómo las imágenes falsas enseñan a la computadora a ver la verdad
Un cocinero que aprende a cocinar con dibujos corre el riesgo de arruinar cada plato. La misma trampa le espera a la visión por computadora: los modelos necesitan miles de imágenes etiquetadas, pero recopilarlas manualmente es costoso y tedioso. Las imágenes sintéticas resuelven el problema, solo si se ven realistas.
Cómo la IA dejó de leer lo innecesario
Los asistentes de programación suelen actuar como un cocinero que, para hervir un solo huevo, relee el libro de cocina entero. Al recibir la tarea de hacer una pequeña corrección, vuelven a abrir decenas de archivos y verifican vínculos ya conocidos. Esto es trabajo innecesario: energía que se desperdicia.
Sistemas y Control2026-07-131 minarXiv:2607.11122exprés
Controlador flotador: estabilidad mediante una ecuación instantánea
El flotador en el tanque del inodoro es un controlador ideal: al detectar el nivel de agua, lleva instantáneamente el sistema al equilibrio sin mirar al pasado. Los ingenieros aplicaron este principio a las redes neuronales.
Cómo la casualidad gobierna la evolución
La evolución fluye como el agua. En un río ancho los cambios son suaves y lentos, mientras que un arroyo de montaña bulle con cada piedra. El tamaño de la población y la frecuencia de las mutaciones determinan el cauce: ancho y tranquilo o estrecho y lleno de rápidos.
Sinfonía de átomos: cómo la IA convirtió el microscopio en director de orquesta de la materia
El microscopio electrónico es un órgano gigante: en lugar de tubos, lentes electromagnéticas; en lugar de aire, un flujo de electrones acelerados. Antes solo pintaba frescos mudos del mundo atómico, condenando a los científicos a una descodificación extenuante.
La nota fantasma: por qué el progreso tecnológico esconde civilizaciones extraterrestres
Durante décadas, la radioastronomía ha escuchado el cosmos con la esperanza de captar transmisiones de radio de banda estrecha, la «voz» tecnológica de lejanos exoplanetas.
Física Cuántica2026-07-042 minarXiv:2607.03982exprés
Receta de un experimento cuántico: para no olvidar nada
Una computadora cuántica se parece a un instrumento musical caprichoso: el más mínimo cambio de temperatura, humedad o afinación de las cuerdas hace que la melodía suene distinta.
Inspección aduanera para el código: cómo garantizar la optimización sin errores de los programas infantiles
Un niño construye un juego sencillo en Scratch: un personaje aparece en el centro y salta instantáneamente a una esquina. El primer movimiento se pierde entre fotogramas: nadie lo ve. Eliminar esa instrucción es seguro. Pero, ¿cómo lo sabe un optimizador automático? Hoy, el repositorio de Scratch alberga decenas de millones de proyectos escritos por jóvenes autores.
El club de las alianzas selectas: la receta de la estabilidad de von Neumann
Ochocientos participantes —empresas y trabajadores— entran al mercado. Cada uno tiene en mente una lista rígida de preferencias. El objetivo: emparejarse de modo que a nadie le apetezca rehacerlo todo.
Quién trata mejor: ¿IA general o especialista de nicho?
Cada semana, los médicos hacen millones de preguntas a los asistentes de IA junto a la cama del paciente. Pero estas herramientas suelen evaluarse con ejercicios de examen, no con lo que se pregunta en una clínica real. Un grupo de investigadores decidió cambiar eso. Reunieron 620 preguntas reales de doctores de 30 especialidades, desde cardiología hasta oncología.
Física Divulgativa2026-06-261 minarXiv:2606.28437exprés
Huellas del pensamiento: qué se nos escapa al buscar extraterrestres
Al explorar lejanos exoplanetas, los científicos buscan rastros de vida —por ejemplo, agua y carbono— y rastros de tecnología: señales de radio, megaestructuras. Pero entre estas pistas hay un gran vacío. Si la inteligencia no creó máquinas o estas desaparecieron, no la notaremos.
Dinámica de Fluidos2026-06-182 minarXiv:2606.20139exprés
Cómo los vórtices invisibles convierten un flujo suave en caos
El flujo de aire que rodea un ala o una pala de turbina se comporta como una cuerda: primero es suave y en capas, es el régimen laminar. Pero basta con que la velocidad aumente o aparezca una perturbación externa para que la cuerda se rompa en un temblor caótico: la turbulencia.
Cómo crear un péptido terapéutico ideal: tres propiedades a la vez
Un ingeniero ajusta una antena: estira un segmento y la frecuencia se desplaza; cambia el ángulo y la ganancia cae. Algo parecido ocurre en el desarrollo de péptidos terapéuticos (cadenas cortas de proteínas).
Ancla genética para la salud
Compras una báscula de cocina nueva, pero en lugar de mostrar el peso exacto, solo indica la desviación respecto a una "norma". Para saber cuánto pesa una manzana, primero tienes que pesar decenas de otras manzanas y calcular el promedio.
Cómo comprobar un predictor sin conocer la respuesta
Un laboratorio envía a un robot una lista de mil moléculas candidatas para un nuevo fármaco. El robot predictor, entrenado con datos antiguos, da para cada una una evaluación de 'apta o no apta'. Pero cuando la lista proviene de un área desconocida —otro virus o un tumor raro—, el robot empieza a confundirse. Su confianza sigue siendo alta, pero los aciertos reales caen a cero.
El cerebro como una orquesta que además toca jazz
Los ingenieros construyen un automóvil. Unos ensamblan una réplica exacta del motor, con cada pistón y cada bujía, pero el coche no avanza: le faltan el volante y las ruedas. Otros crean un kart rápido y autónomo, pero su motor de plastilina no se parece al real. Algo parecido ocurre en la ciencia del cerebro.
Por qué unas preguntas funcionan y otras no
Pruebas un plato en un restaurante, pero no has visto el menú. Le haces preguntas al camarero: ¿está muy salado? ¿qué especias tiene? — y por las respuestas intentas adivinar qué chef lo preparó.
Cómo el cerebro se mantiene al filo de la navaja
El cerebro está organizado como un edificio de varias plantas: los pisos inferiores procesan señales simples, mientras que los superiores las integran en imágenes complejas. Los científicos sospechan desde hace tiempo que este orden está relacionado con la forma en que las neuronas trabajan juntas. Pero cómo exactamente seguía siendo un misterio.
Por qué el segundo toque se siente diferente
La mano descansa sobre la mesa y llegan dos vibraciones cortas a la muñeca, una tras otra. Hay que decir cuál es más fuerte. La tarea parece simple, pero la respuesta depende de cuál vibración fue primero. Si la primera es débil y la segunda fuerte, la diferencia parece mayor que cuando se invierten.
Física Divulgativa2026-04-211 minarXiv:2604.20896exprés
Escala de Loeb: cuando una roca extraña no es solo una roca
A veces, los astrónomos detectan objetos interestelares: bloques rocosos o cometas procedentes de otros sistemas estelares. La mayoría parecen normales, pero algunos desconciertan por su forma, velocidad o brillo.
El científico artificial: una mente mecánica que aún no sabe dudar
El ayudante de laboratorio sigue con esmero todos los pasos del experimento, pero al final escribe en el informe lo que ya quería escribir antes de empezar. Así se comportan los modelos de lenguaje modernos cuando se les encarga una investigación científica.
Etiquetas para grafos: cuando el enfoque cuántico cede ante la simplicidad
Imagina un mapa urbano: las intersecciones son los nodos, las calles las conexiones. Para que un algoritmo entienda la estructura, cada nodo necesita una etiqueta. El enfoque clásico — el modelo estándar — asigna etiquetas simples, como números de casa.
Un examen para un científico de IA
El mejor asistente de IA para científicos ha salido peor en el examen que un estudiante mediocre en un control. Solo un 21% de respuestas correctas, y eso es el techo para los cuatro modelos más potentes. Los problemas de la nueva prueba no los escribieron programadores, sino estudiantes de posgrado: personas que lidian a diario con la ciencia real. La prueba se llama COMPOSITE-STEM.
Cuando el código no nace del artículo
Un traductor que nunca ha asistido a una reunión traduce literalmente y pierde la mitad del sentido. No sabe que un asentimiento del jefe significa «hazlo como la vez pasada», y que la frase «bueno, ya veremos» es un rechazo cortés. Así también un modelo de lenguaje que escribe código a partir de un artículo científico: las ecuaciones las lee, pero los acuerdos tácitos no.
Física Química2026-04-021 minarXiv:2604.02144exprés
Cómo comprobar la precisión de los cálculos cuánticos
Cuando los químicos calculan el comportamiento de las moléculas en el ordenador, utilizan métodos aproximados porque el cálculo exacto es demasiado complejo. Para los átomos ligeros existen estándares contrastados, pero para los pesados, donde los efectos de la relatividad son importantes, no los había. Es como comprobar una regla con otra regla, en lugar de con el metro patrón.
Pronóstico del tiempo: foco en lo esencial
La atmósfera es un sistema caótico, y un pronóstico detallado para todo el planeta requiere una potencia de cálculo colosal.