concept

référence

Un jeu de données ou une tâche standardisé utilisé pour évaluer et comparer les performances des modèles d'IA.
57 articles liés

Description

Un benchmark est un test standardisé ou un ensemble de données utilisé pour mesurer et comparer les performances des modèles d'IA. Il fournit un terrain d'entente pour évaluer différentes approches, garantissant que les résultats sont reproductibles et comparables entre les groupes de recherche. Les benchmarks sont essentiels pour suivre les progrès en IA, car ils offrent des critères objectifs de ce qui constitue une amélioration.

Histoire

Le concept de benchmarks en IA a gagné en importance avec l'essor de l'apprentissage automatique dans les années 1980, mais le terme s'est largement répandu dans les années 2000 avec la création de jeux de données standardisés comme ImageNet pour la reconnaissance d'images.

Comment ça marche

Les benchmarks consistent généralement en un ensemble fixe de tâches, de questions ou d'échantillons de données avec des réponses correctes connues. Les modèles d'IA sont exécutés sur ces tâches, et leurs sorties sont notées à l'aide de métriques prédéfinies, telles que la précision, l'exactitude ou le rappel. Les scores permettent aux chercheurs de classer les modèles et d'identifier ceux qui performent le mieux sur des types de problèmes spécifiques.

En pratique

Les benchmarks sont utilisés dans la recherche académique, le développement industriel et les compétitions pour évaluer les modèles d'IA pour des tâches comme la classification d'images, le traitement du langage naturel et la découverte scientifique.

Anecdote

Certains benchmarks en IA sont conçus pour être « adversariaux », c'est-à-dire qu'ils sont spécifiquement élaborés pour révéler les faiblesses des modèles, conduisant à des algorithmes plus robustes.

Articles liés · 55

Une balance pour les pensées : comment mesurer si une interface neuronale parle vraiment
Dans les années 1980, le concours DARPA de reconnaissance vocale a mis fin au débat entre les méthodes statistiques et les règles écrites à la main, établissant une norme unique pour tout le domaine.
Un orchestre sans chef d'orchestre : comment la mesure collective de la lumière lève la malédiction de l'incompatibilité
La nuit, au sommet d'un volcan, six télescopes observent le même point de lumière. Chacun capture sa propre copie de l'onde, et si l'on combine leurs signaux, on obtient une image qu'aucun instrument seul ne pourrait produire. Mais il y a un piège : la lumière captée par différentes stations ne peut pas simplement être additionnée comme des photographies.
Biomolécules2026-08-191 minarXiv:2608.18604express
Comment les ingénieurs en protéines apprennent de leurs erreurs
Un ingénieur en protéines ressemble à un cuisinier qui essaie de préparer un plat à la fois savoureux, sain et économique. En modifiant un ingrédient, il risque d'en gâcher un autre. Autrefois, les assistants informatiques ne pouvaient évaluer les propriétés des protéines qu'individuellement, sans voir comment elles sont liées entre elles.
Génomique2026-07-192 minarXiv:2607.17227express
Atlas cellulaires : qui lit le mieux le langage des tissus ?
Les biologistes confient de plus en plus aux ordinateurs la lecture des « modes d'emploi » de la cellule vivante. Six modèles récents d'intelligence artificielle — Nicheformer, CellPLM, scGPT-spatial, GenePT, scELMo et Novae — sont comme six traducteurs de dialectes différents d'un même langage cellulaire.
Traitement du signal2026-07-161 minarXiv:2607.14597express
L'algorithme autodidacte : comment entendre une mélodie dans le bruit
Reconstituer une image complète à partir de fragments, c'est un peu comme essayer de distinguer la mélodie d'un orchestre dans une salle bruyante. De telles tâches se posent en photométrie, où l'on reconstitue la luminosité d'une étoile à partir de faibles scintillements.
Comment extraire la voix d'un ami du brouhaha d'une conversation
Un humain extrait sans effort la voix qu'il cherche du brouhaha d'une fête. Pour un ordinateur, c'est encore une tâche à la limite du possible. Les programmes précédents étaient entraînés sur des enregistrements stériles, sans écho ni tintement de couverts.
Comment l'IA a cessé de confondre les sons dans un scénario
Les modèles qui transforment le texte en audio reproduisent bien les sons isolés, mais se mélangent les pinceaux quand le scénario en comporte plusieurs. Par exemple, selon le scénario, on a d'abord une sonnerie, puis des pas, puis un claquement de porte. Le générateur peut intervertir les événements, et le spectateur entendra les pas avant la sonnerie.
Son2026-07-151 minarXiv:2607.13477express
Les juges IA n'écoutent pas avec leurs oreilles, mais avec des étiquettes
Les juges automatiques de la parole sont des algorithmes qui évaluent la prononciation et les émotions. Cependant, ils fonctionnent souvent comme un critique culinaire qui rend son verdict après avoir lu le menu, sans avoir goûté le plat.
La soupe chimique calcule les nombres : quand les réactions deviennent des ordinateurs
Dans une soupe bouillonnante, les molécules entrent en collision de manière chaotique et réagissent. Mais si l'on mesure comment leurs concentrations varient, des régularités apparaissent.
Signaux cérébraux : apprendre à comprendre sans professeur
Le cerveau communique par de brefs clics électriques. Autrefois, pour apprendre cette langue, il fallait des milliers d'exemples traduits par l'expérimentateur. La méthode MOJO suit une autre voie : comme dans l'apprentissage par immersion, elle écoute d'abord le « flux de conscience » sans aucune indication et repère elle-même les motifs récurrents.
L'IA à la loupe et au spectromètre : évaluer la qualité des images
Évaluer la qualité d'une image, c'est le travail d'un contrôleur méticuleux muni de tout un attirail. Le réseau de neurones IQA-T1 agit exactement ainsi : il ne se contente pas de dévisager l'image, il y applique tantôt un spectroscope, tantôt un luxmètre.
Entendre l'inconnu : comment l'ordinateur apprend à capter tous les sons
L'oreille humaine se concentre sur ce qui lui est familier, mais ce nouveau système fonctionne autrement : il capte tout pic sonore, même celui qui n'a jamais été entendu auparavant. C'est la diarisation audio — pas simplement la recherche de bruits précis, mais le découpage de tout l'enregistrement en segments où l'on note le début et la fin de chaque événement.
Tromperie synthétique : comment les fausses images apprennent à l'ordinateur à voir la vérité
Un cuisinier qui apprend à cuisiner avec des images dessinées risque de rater chaque plat. Le même piège attend la vision par ordinateur : les modèles ont besoin de milliers d'images annotées, mais les collecter à la main est coûteux et fastidieux. Les images synthétiques résolvent le problème, à condition qu'elles ressemblent à de vraies.
Comment l'IA a cessé de lire pour rien
Les assistants logiciels d'écriture de code agissent souvent comme un cuisinier qui, pour faire cuire un seul œuf, relit tout son livre de recettes. Face à une demande de correction minuscule, ils rouvrent des dizaines de fichiers et vérifient des liens connus depuis longtemps. C'est du travail inutile — de l'énergie gaspillée.
Contrôleur flotteur : la stabilité par une équation instantanée
Le flotteur dans la chasse d'eau est un contrôleur idéal : en sentant le niveau de l'eau, il ramène instantanément le système à l'équilibre sans se soucier du passé. Des ingénieurs ont appliqué ce principe aux réseaux de neurones.
Comment le hasard pilote l'évolution
L'évolution coule comme l'eau. Dans une large rivière, les changements sont lents et progressifs, tandis qu'un torrent de montagne bouillonne à chaque pierre. La taille de la population et la fréquence des mutations tracent le lit : large et calme, ou étroit et plein de rapides.
La symphonie des atomes : quand l'IA transforme le microscope en chef d'orchestre de la matière
Le microscope électronique est un orgue géant : au lieu des tuyaux, des lentilles électromagnétiques ; au lieu de l'air, un flux d'électrons accélérés. Autrefois, il ne faisait que dessiner des fresques muettes du monde atomique, condamnant les scientifiques à un déchiffrage épuisant.
La note fantôme : pourquoi le progrès technologique cache les civilisations extraterrestres
Pendant des décennies, la radioastronomie a écouté l'espace, espérant capter des émissions radio à bande étroite — la « voix » technogénique d'exoplanètes lointaines.
Physique quantique2026-07-042 minarXiv:2607.03982express
Recette d'expérience quantique : pour ne rien oublier
Un ordinateur quantique ressemble à un instrument de musique capricieux : la moindre variation de température, d'humidité ou d'accord des cordes — et la mélodie sonne différemment.
Contrôle douanier pour le code : comment garantir une optimisation sans faille des programmes pour enfants
Un enfant assemble dans Scratch un jeu simple : le personnage apparaît au centre et saute instantanément dans un coin. Le premier déplacement disparaît entre les images — personne ne le voit. Supprimer une telle commande est sans danger. Mais comment un optimiseur automatique peut-il le savoir ?
Le club des unions d'élite : la recette de stabilité selon von Neumann
Huit cents participants — entreprises et travailleurs — entrent sur le marché. Chacun a en tête une liste de préférences stricte. L'objectif : se répartir en paires de sorte que personne ne soit tenté de tout recommencer.
Qui soigne le mieux : l'IA généraliste ou le spécialiste ?
Chaque semaine, les médecins posent des millions de questions aux assistants IA au chevet des patients. Mais ces outils sont généralement testés sur des exercices d'examen, pas sur ce qui est demandé dans une vraie clinique. Un groupe de chercheurs a décidé d'y remédier.
Traces d'intelligence : ce que nous manquons dans la recherche d'extraterrestres
En explorant les exoplanètes lointaines, les scientifiques cherchent des traces de vie – par exemple l'eau et le carbone – et des traces de technologies : signaux radio, mégastructures. Mais entre ces indices, un vide béant. Si l'intelligence n'a pas créé de machines ou si celles-ci ont disparu, nous ne la remarquerons pas.
Comment des tourbillons invisibles transforment un écoulement lisse en chaos
Le flux d'air qui enveloppe une aile ou une pale de turbine se comporte comme une corde : d'abord lisse et stratifié — c'est le régime laminaire. Mais dès que la vitesse augmente ou qu'une ondulation externe apparaît, la corde se met à vibrer de manière chaotique — c'est la turbulence.
Calcul et langage2026-06-132 minarXiv:2606.15422express
Comment créer le peptide thérapeutique idéal : trois propriétés à la fois
Un ingénieur règle une antenne : il tire sur un segment — la fréquence dérive, il change l'angle — le gain chute. C'est à peu près ainsi que fonctionne le développement des peptides thérapeutiques (de courtes chaînes protéiques).
L'ancre génétique pour la santé
Vous achetez une nouvelle balance de cuisine, mais au lieu d'un poids précis, elle n'affiche que l'écart par rapport à une « norme » quelconque. Pour connaître le poids d'une pomme, il faut d'abord peser des dizaines d'autres pommes et calculer la moyenne.
Comment vérifier un prédicteur sans connaître la réponse
Un laboratoire envoie à un robot une liste de mille molécules candidates pour un nouveau médicament. Le robot-prédicteur, entraîné sur d'anciennes données, donne pour chacune une évaluation « convient – ne convient pas ». Mais lorsque la liste provient d'un domaine inconnu – un autre virus ou une tumeur rare – le robot commence à se tromper.
Le cerveau, un orchestre qui joue aussi du jazz
Des ingénieurs construisent une voiture. Les uns assemblent une réplique exacte du moteur, chaque piston et chaque bougie, mais la voiture ne roule pas — pas de volant ni de roues. D'autres créent un kart rapide et autonome, mais son moteur en pâte à modeler ne ressemble pas à un vrai. C'est à peu près la situation dans la science du cerveau.
Pourquoi certaines questions fonctionnent et d'autres pas
Vous goûtez un plat au restaurant, mais vous n'avez pas vu le menu. Vous posez des questions au serveur — trop salé ? avec quelles épices ? — et à partir des réponses, vous essayez de deviner quel chef l'a préparé.
Comment le cerveau oscille au bord du gouffre
Le cerveau est organisé comme un immeuble à plusieurs étages : les étages inférieurs traitent les signaux simples, tandis que les étages supérieurs les assemblent en images complexes. Les scientifiques soupçonnent depuis longtemps que cet ordre est lié à la manière dont les neurones travaillent ensemble. Mais comment exactement restait un mystère.
Pourquoi la deuxième caresse semble différente
La main repose sur la table, et deux courtes vibrations arrivent au poignet, l'une après l'autre. Il faut dire laquelle est la plus forte. La tâche semble simple, mais la réponse dépend de la vibration qui vient en premier. Si la première est faible et la seconde forte, la différence paraît plus grande que lorsqu'on les inverse.
L'échelle de Loeb : quand un caillou étrange n'est pas qu'un caillou
Les astronomes repèrent parfois des objets interstellaires – des blocs de roche ou des comètes venus d'autres systèmes stellaires. La plupart semblent banals, mais certains intriguent par leur forme, leur vitesse ou leur éclat.
Le scientifique artificiel : un esprit machine qui ne sait pas encore douter
Le laborantin exécute consciencieusement toutes les étapes de l'expérience, mais à la fin, il écrit dans son rapport ce qu'il avait déjà en tête avant de commencer. C'est ainsi que se comportent les modèles de langage modernes lorsqu'on leur confie des recherches scientifiques.
Étiquettes pour graphes : quand l'approche quantique cède le pas à la simplicité
Plan d'une ville : les intersections sont les nœuds, les rues les connexions. Pour que l'algorithme comprenne la structure, chaque nœud doit être étiqueté. L'approche classique — modèle standard — attribue des étiquettes simples, comme des numéros de maisons.
L'examen pour un scientifique IA
Le meilleur assistant IA pour scientifiques a réussi l'examen moins bien qu'un cancre à un contrôle. Seulement 21% de bonnes réponses – et c'est le plafond pour les quatre modèles les plus puissants. Les problèmes du nouveau test n'ont pas été écrits par des programmeurs, mais par des doctorants : des gens qui côtoient la vraie science au quotidien. Le test s'appelle COMPOSITE-STEM.
Physique numérique2026-04-052 minarXiv:2604.04089express
Quand le code ne naît pas de l'article
Un traducteur qui n'a jamais assisté à une réunion traduit mot à mot — et perd la moitié du sens. Il ne sait pas que le hochement de tête du chef signifie « faites comme la dernière fois », et que la phrase « on verra bien » est un refus poli. C'est pareil pour un modèle de langage qui écrit du code à partir d'un article scientifique : il lit les équations, mais pas les accords tacites.
Physique chimique2026-04-021 minarXiv:2604.02144express
Comment vérifier la précision des calculs quantiques
Lorsque les chimistes calculent le comportement des molécules sur ordinateur, ils utilisent des méthodes approchées, car un calcul exact est trop complexe. Pour les atomes légers, il existe des références éprouvées, mais pour les atomes lourds, où les effets de la relativité restreinte sont importants, de telles références faisaient défaut.
StretchCast : des prévisions météo à la carte
L'atmosphère est un système chaotique, et une prévision détaillée pour toute la planète exige des puissances de calcul colossales.