statistique

critère d'information

Comparaison de modèles qui échange la qualité de l'ajustement contre le nombre de paramètres, comme dans l'AIC et le BIC.
37 articles liés

Description

Un critère d'information est un score numérique utilisé pour comparer des modèles statistiques concurrents sur un même ensemble de données. L'idée centrale est de trouver un équilibre entre deux objectifs opposés : un modèle doit bien s'ajuster aux données, mais il ne doit pas être si complexe qu'il se contente de mémoriser le bruit. Les critères d'information formalisent ce compromis en combinant une mesure de la qualité de l'ajustement—typiquement la vraisemblance maximale—avec un terme de pénalité qui croît avec le nombre de paramètres du modèle. Les exemples les plus célèbres sont le critère d'information d'Akaike (AIC) et le critère d'information bayésien (BIC), chacun dérivé de fondements théoriques différents mais servant le même objectif pratique.

Histoire

L'AIC a été introduit par Hirotugu Akaike en 1974, et le BIC a été développé par Gideon Schwarz en 1978. Tous deux ont été motivés par la théorie de l'information et sont depuis devenus des outils standard en statistique et dans de nombreux domaines scientifiques.

Comment ça marche

Pour un modèle donné, on calcule la valeur maximale de la fonction de vraisemblance, qui quantifie la probabilité des données observées sous ce modèle. Le critère d'information soustrait ensuite une pénalité qui dépend du nombre de paramètres : l'AIC utilise une pénalité de 2 fois le nombre de paramètres, tandis que le BIC utilise le logarithme népérien de la taille de l'échantillon multiplié par le nombre de paramètres. Des valeurs plus faibles du critère indiquent un meilleur modèle. La différence entre les critères de deux modèles peut être interprétée comme une mesure approximative de la preuve relative, une différence d'environ 10 étant une preuve forte en faveur du meilleur modèle.

En pratique

En physique, les critères d'information sont utilisés pour choisir entre des modèles théoriques concurrents—par exemple, pour décider si une raie spectrale est mieux décrite par un pic unique ou par deux pics se chevauchant, ou si les données cosmologiques favorisent un univers plat avec une constante cosmologique plutôt que des alternatives plus exotiques.

Anecdote

L'AIC est dérivé d'une mesure issue de la théorie de l'information appelée divergence de Kullback-Leibler, qui quantifie la perte d'information lorsqu'une distribution de probabilité est approximée par une autre.

Concept graph →

Articles liés · 33

Comment choisir l'épaisseur d'un cristal en 50 simulations
Un interprète lors d'une négociation n'écoute pas chaque mot individuellement : il saisit le sens de phrases entières. En microscopie électronique, le problème est similaire : il faut déterminer l'épaisseur d'un cristal et son inclinaison dans le faisceau, alors qu'on ne dispose que de la figure de diffraction, un motif de milliers de…
Une balance pour les pensées : comment mesurer si une interface neuronale parle vraiment
Dans les années 1980, le concours DARPA de reconnaissance vocale a mis fin au débat entre les méthodes statistiques et les règles écrites à la main, établissant une norme unique pour tout le domaine.
Un biais qui n'a pas besoin d'être appris
Dans un entrepôt, des cartons de pommes et de poires. Les pommes sont nombreuses, les poires rares. Mais quand le magasinier dit « un fruit à la peau lisse », nous pensons plus souvent à la poire rare qu'à la pomme fréquente. C'est l'effet de taux de base inversé : un dérèglement persistant dans la façon dont le cerveau résout l'ambiguïté entre les catégories.
Physique quantique2026-08-042 minarXiv:2608.03944express
Protection quantique contre mémoire classique
Un ordinateur quantique ressemble à un flocon de neige fragile posé sur une paume chaude. Le moindre souffle de chaleur ou une légère vibration – et il se transforme en goutte. Pour que le flocon survive, on le corrige constamment, en restaurant sa forme initiale. C'est ce qu'on appelle la correction d'erreurs quantiques.
Physique chimique2026-08-032 minarXiv:2608.02536express
Comment capturer le moment où une protéine se plie
Un col de montagne relie deux vallées. Dans l'une, la protéine est repliée, dans l'autre, elle est dépliée. Pour passer de l'une à l'autre, il faut franchir la selle, le point le plus haut du chemin. En science des protéines, ce point est appelé état de transition, et la coordonnée qui indique la distance jusqu'à lui est le committor.
Étoiles à neutrons jumelles : quand la précision change la donne
Une étoile à neutrons est l'ancien noyau d'une étoile massive, comprimé à la taille d'une ville. Une cuillère à café de sa matière pèse comme une montagne.
Comment identifier un ennemi dans le ciel en quelques secondes
En plein combat, un pilote doit comprendre instantanément ce qu'est un objet et quelles sont ses intentions. Les systèmes conventionnels attendent des données radar complètes – c'est comme un gardien qui ne réagit qu'après le tir. Le nouvel algorithme, lui, agit comme un gardien chevronné : dès les premiers mouvements de l'attaquant, il anticipe la manœuvre de la cible.
Apprendre à l'IA à ne pas confondre des IRM similaires
Une IA classique regarde les images médicales comme des puzzles faits de pièces inconnues : elle considère que deux images non appariées sont complètement différentes. C'est comme essayer de distinguer des jumeaux sans connaître leur lien de parenté. Or, en médecine, les patients atteints d'une même maladie présentent des IRM presque identiques, et l'algorithme se trompe en confondant les « parents ».
Traitement du signal2026-07-151 minarXiv:2607.13583express
Un orchestre d'éléments imparfaits : comment les irrégularités renforcent le signal
Un panneau intelligent pour contrôler les ondes radio qui se déplacent à la vitesse de la lumière fonctionne comme un orchestre : des centaines d'éléments miniatures, véritables « instruments », modifient leur phase (le moment où ils entrent en jeu) sur commande via une tension.
Comment l'entropie aide les robots à trouver leur chemin plus vite
Un groupe de recherche ratisse un champ brumeux. Au début, les gens s'écartent largement : une « température » de recherche élevée signifie une grande diversité de tentatives. Ayant repéré une piste, ils se rapprochent. Mais la vitesse de rapprochement est cruciale — si l'on resserre le cercle trop tôt, la meilleure trouvaille restera de côté.
L'IA à la loupe et au spectromètre : évaluer la qualité des images
Évaluer la qualité d'une image, c'est le travail d'un contrôleur méticuleux muni de tout un attirail. Le réseau de neurones IQA-T1 agit exactement ainsi : il ne se contente pas de dévisager l'image, il y applique tantôt un spectroscope, tantôt un luxmètre.
Comment un ordinateur apprend à entendre chacun dans une pièce bruyante
Dans une pièce bruyante, l'humain distingue la voix recherchée grâce à ses deux oreilles, qui perçoivent une différence dans l'arrivée du son. Un ordinateur équipé de plusieurs microphones agit de la même manière : il reçoit des indices spatiaux — d'où vient chaque voix.
Contrôleur flotteur : la stabilité par une équation instantanée
Le flotteur dans la chasse d'eau est un contrôleur idéal : en sentant le niveau de l'eau, il ramène instantanément le système à l'équilibre sans se soucier du passé. Des ingénieurs ont appliqué ce principe aux réseaux de neurones.
Physique quantique2026-07-072 minarXiv:2607.06404express
Le code quantique à l'identique
Un ordinateur quantique ressemble à un orchestre sans chef : chaque qubit est un musicien, et la moindre fausse note fait dérailler toute la symphonie. Pour éviter que la musique ne se transforme en cacophonie, on a inventé des codes quantiques qui corrigent les erreurs.
Ligne de partage des eaux : comment un simple interrupteur « oui/non » révèle des modèles multidimensionnels
Sur une carte topographique, les gouttes de pluie choisissent leur chemin : tombées sur un versant, elles s'écoulent vers la rivière A ; sur l'autre, vers la rivière B. L'observateur ne voit que les méandres des rivières (variables de réponse Y) et sait de quel versant provient l'eau (instrument Z), mais il ne voit pas les gouttes elles-mêmes (facteurs inobservés ε).
Squealer : quand le modèle couine, incrédule face à vos données
Les modèles statistiques sont une tentative de tendre une toile mathématique idéale sur le paysage accidenté des données. Lorsque le modèle résiste, il émet une tension, mais nous avons pris l'habitude de l'ignorer. Les chercheurs passent des heures à scruter les graphiques de résidus, essayant de deviner où le modèle « craque ». Squealer traduit cette résistance en son.
Qui soigne le mieux : l'IA généraliste ou le spécialiste ?
Chaque semaine, les médecins posent des millions de questions aux assistants IA au chevet des patients. Mais ces outils sont généralement testés sur des exercices d'examen, pas sur ce qui est demandé dans une vraie clinique. Un groupe de chercheurs a décidé d'y remédier.
Comment un choix malin d'échantillons apprend au métal à prédire sa résistance
Un chef ne gaspille pas ses ingrédients en préparant tout le plat pour en évaluer le goût — il goûte une goutte de sauce. C'est la même logique qui sous-tend la méthode du « jumelage d'informations » pour prédire la résistance des métaux.
Comment vérifier un prédicteur sans connaître la réponse
Un laboratoire envoie à un robot une liste de mille molécules candidates pour un nouveau médicament. Le robot-prédicteur, entraîné sur d'anciennes données, donne pour chacune une évaluation « convient – ne convient pas ». Mais lorsque la liste provient d'un domaine inconnu – un autre virus ou une tumeur rare – le robot commence à se tromper.
Pourquoi certaines questions fonctionnent et d'autres pas
Vous goûtez un plat au restaurant, mais vous n'avez pas vu le menu. Vous posez des questions au serveur — trop salé ? avec quelles épices ? — et à partir des réponses, vous essayez de deviner quel chef l'a préparé.
La conscience comme défaillance du thermostat
Un thermostat maintient une pièce à 20 degrés. Ouvrez la fenêtre en hiver – il enclenche le chauffage pour rétablir l'équilibre. Le cerveau fait quelque chose de similaire : il prédit constamment ce qui va se passer l'instant d'après et se corrige s'il se trompe. C'est ainsi qu'il apprend.
Méthodologie2026-04-251 minarXiv:2604.23463express
Comment deux médecins posent un diagnostic plus précis ensemble
Deux spécialistes examinent la même image du sein. L'un est un médecin expérimenté, l'autre un programme d'intelligence artificielle. Parfois leurs avis coïncident, parfois ils divergent. La fréquence à laquelle ils sont d'accord détermine la précision avec laquelle ils distinguent ensemble un tissu sain d'une tumeur.
Pourquoi l'ADN ne se copie pas de la manière la plus économe
Si vous écrivez la recette d'une protéine sur une feuille et que vous la donnez à imprimer, une faute de frappe sur une seule lettre peut gâcher tout le tirage. La cellule est confrontée au même problème lorsqu'elle copie son ADN — une longue instruction composée de quatre « lettres » chimiques.
Pourquoi la deuxième caresse semble différente
La main repose sur la table, et deux courtes vibrations arrivent au poignet, l'une après l'autre. Il faut dire laquelle est la plus forte. La tâche semble simple, mais la réponse dépend de la vibration qui vient en premier. Si la première est faible et la seconde forte, la différence paraît plus grande que lorsqu'on les inverse.
L'examen pour un scientifique IA
Le meilleur assistant IA pour scientifiques a réussi l'examen moins bien qu'un cancre à un contrôle. Seulement 21% de bonnes réponses – et c'est le plafond pour les quatre modèles les plus puissants. Les problèmes du nouveau test n'ont pas été écrits par des programmeurs, mais par des doctorants : des gens qui côtoient la vraie science au quotidien. Le test s'appelle COMPOSITE-STEM.
Le cerveau apprend en rendant les neurones semblables
Un couteau de cuisine et un économe, pris séparément, accomplissent des tâches différentes, mais lorsqu'un cuisinier apprend une nouvelle recette, il saisit souvent le même couteau pour tout. Il semble que le cerveau fasse de même lorsqu'il acquiert une nouvelle compétence de discrimination visuelle.
Biomolécules2026-01-311 minarXiv:2602.00660express
Comment les protéines trouvent leur minimum
Pour distinguer une protéine d'une autre, il faut décrire sa forme et sa composition. Ces descriptions sont des dizaines : longueur de la molécule, charge, solubilité. Mais elles ne sont pas toutes aussi utiles. La méthode appelée Differentiable Information Imbalance (DII) sait sélectionner les caractéristiques les plus informatives, en éliminant les superflues.
Points de rupture : quand le restaurateur nettoie les données
Les vieux bulletins météo réservent des surprises : la colonne du thermomètre bondit soudain d'un demi-degré, non pas à cause du temps, mais parce que la station a changé d'instrument. Ces sauts brusques dans les données sont appelés points de changement, et les distinguer des véritables signaux climatiques est un défi que les statisticiens peinent à relever.
Un réseau de neurones distingue les vrais cristaux des chimères
Les zéolithes, minéraux poreux, fonctionnent comme de minuscules éponges percées de trous de taille strictement définie. Par ces ouvertures passent les molécules d'une certaine sorte tandis que d'autres restent piégées — c'est sur ce principe que reposent la purification de l'eau, la séparation des gaz et la catalyse en pétrochimie.
Physique médicale2026-01-232 minarXiv:2601.17165express
Un test sonore pour vérifier la radiographie
Le médecin regarde une image du sein pour repérer une masse suspecte. Si l'image est belle et lisse, mais que la masse a disparu, une telle image ne sert à rien. C'est exactement le problème auquel ont été confrontés les chercheurs qui ont développé une nouvelle méthode pour tester les logiciels de tomographie photoacoustique.
Le fil du contact : pourquoi un maillon manquant peut tout faire s'effondrer
L'interprète sursaute au moindre bruit dans la salle, et une réunion d'une heure en dure deux. C'est un peu la même chose dans la lutte contre une épidémie : le service de traçage des contacts tente de reconstituer la chaîne de contamination, mais il y a toujours des oublis.
Comment tirer le meilleur de chaque photon
Un microscope à fluorescence ressemble à un photographe qui photographie dans le noir : plus il prend de clichés, mieux on voit, mais chaque cliché coûte des photons. Dans une cellule vivante, leur réserve est limitée, sinon la lumière tuerait l'échantillon.
Bruit avec mémoire : comment le bruit coloré modifie la causalité climatique
Les courants océaniques s'entrelacent comme une toile collante : chaque perturbation laisse une trace qui ne disparaît pas instantanément.