méthodes de régularisation

Un interprète dans une salle bondée essaie de saisir le discours d'une personne, mais entend le bourdonnement de centaines de voix. Une molécule qui stocke l'information quantique dans son spin se trouve dans une situation similaire : son spin est entouré par l'agitation thermique des atomes, et c'est précisément cette agitation qui efface progressivement la mémoire.

Garder en tête la position exacte d'un stylo qu'on déplace lentement est une tâche banale pour le cerveau. Pour les réseaux de neurones artificiels, c'est presque impossible. Les réseaux récurrents classiques, comme GRU et LSTM, ont tendance à découper le mouvement continu en paliers rigides : le stylo ne glisse pas de façon fluide, il saute d'un point à un autre.

En 2019, l'installation LIGO a enregistré une onde gravitationnelle — une ondulation dans le tissu de l'espace-temps — dont la carte temps-fréquence ressemblait à un peigne étrange. Chaque signal de fusion de trous noirs laisse une empreinte unique, comme des empreintes digitales.

De nombreux processus naturels sont décrits par des équations, mais nous n'en connaissons que des fragments. La nouvelle méthode agit comme un cartographe qui, à partir de quelques repères, reconstitue une carte complète du territoire.

Vous êtes sous la douche : vous tournez le robinet, et l'eau est tantôt glacée, tantôt brûlante. Les tuyaux vivent leur vie – la pression varie de façon imprévisible. Le nouveau contrôleur apprend au fur et à mesure : il ne connaît pas le circuit d'eau, mais en quelques minutes il s'adapte et amène la température à un niveau confortable, sans franchir les seuils de sécurité.

En eau calme, la trajectoire est claire. Mais dans les courants turbulents, le robot a besoin d'une autre stratégie. Les approches habituelles exigent une carte précise des courants, mais en réalité, on ne peut pas l'obtenir. La nature procède autrement : les poissons sentent la pression et les tourbillons directement contre leur corps.

L'approche standard pour une classe de problèmes d'apprentissage automatique évoque un ressort étiré qu'on oublie de relâcher : les méthodes standard gonflent artificiellement la taille du problème, transformant les calculs en trou noir pour la mémoire et le temps.

Le cerveau communique par de brefs clics électriques. Autrefois, pour apprendre cette langue, il fallait des milliers d'exemples traduits par l'expérimentateur. La méthode MOJO suit une autre voie : comme dans l'apprentissage par immersion, elle écoute d'abord le « flux de conscience » sans aucune indication et repère elle-même les motifs récurrents.

Les antennes classiques, pour déterminer précisément la direction, doivent fonctionner de manière coordonnée : elles captent non seulement le volume, mais aussi la position de l'onde à un instant donné. Le moindre défaut de réglage, et la direction est perdue. La nouvelle méthode ne s'appuie que sur la force du signal.

Les étoiles à neutrons sont les derniers agrégats de matière visible avant la chute dans un trou noir. Dans leurs entrailles, la matière est comprimée à des densités de l'ordre du billion. Là, les forces nucléaires et la gravité s'entrelacent pour former une substance exotique inaccessible à tout accélérateur terrestre.

Les puces neuromorphiques fonctionnent différemment des ordinateurs classiques, construits selon les plans de John von Neumann, avec une mémoire et un processeur séparés.

Des chercheurs ont pris 16 activités quotidiennes — de la vaisselle aux squats — et ont décomposé les mouvements en composantes élémentaires, un peu comme un spectroscope décompose la lumière en spectre. En comparant trois approches, ils ont trouvé une clé inattendue pour la reconnaissance : une simple image moyenne suffit.

Un flocon de neige grandit, une nappe de pétrole s'étale, une foule se déplace – les équations diffèrent pour chaque cas. Mais le résultat final est souvent le même : la forme, la vitesse, le motif obéissent à un schéma simple qui se répète à différentes échelles. C'est cela, l'universalité : derrière les détails se cache une loi commune.

Les signaux gravitationnels des étoiles massives mourantes sont des murmures qui nous parviennent des laboratoires les plus violents de l'Univers.

Le microlentillage gravitationnel est un effet cosmique fascinant, prédit par Einstein et développé par Zwicky. Un corps massif, passant entre nous et une étoile lointaine, courbe sa lumière comme une lentille, créant des amplifications et distorsions caractéristiques.

60 souris, 1980 échantillons, 234 patients atteints d'un cancer du poumon. Derrière chaque chiffre se cachent des milliers de gènes. Leur activité est mesurée pour comprendre la maladie.

L'or ne se trouve pas en surface — il est caché dans des tonnes de stérile. Pour extraire un gramme de métal précieux, les chercheurs d'or tamisent des mètres cubes de terre.

L'Univers a une vitesse à laquelle il se dilate, appelée constante de Hubble. Le problème est que les deux méthodes les plus précises pour la mesurer donnent des chiffres différents. L'une, qui utilise la lumière primitive de l'Univers (le rayonnement fossile), donne une certaine valeur.

Vue de l'extérieur, la croissance d'une population ressemble à un train qui prend de la vitesse : d'abord il avance péniblement, puis il accélère. Mais dès qu'on plonge dans les données, l'image se brouille. Dans une mesure, on compte une dizaine d'individus ; dans une autre, une centaine d'un coup.

Améliorer la recette d'un plat complexe est un art délicat, surtout si l'on ne peut goûter que quelques variantes par jour. Changer les ingrédients au hasard est risqué : retirez le sel ou la levure, et la base est gâchée.

Un réseau social ressemble à une ville : il y a des quartiers géants et des ruelles minuscules. Quand un algorithme y cherche des groupes soudés, il sort souvent deux ou trois énormes ensembles et beaucoup de petits fragments. Mais le client — par exemple, une municipalité — a besoin de quartiers à peu près de la même taille pour répartir équitablement les cliniques ou les écoles.

Si l'on montre la même photo de chat à deux réseaux de neurones différents, ils arrivent souvent à une conclusion similaire : « chat ». Mais si on leur demande plus de détails, les réponses peuvent diverger. Un modèle remarquera les moustaches, un autre la robe, un troisième la posture.

Le tailleur coupe un costume, mais les coutures gondolent et les boutons ne tombent pas droit. En théorie quantique des champs, des incohérences du même genre sont appelées anomalies : elles apparaissent quand la symétrie des équations se brise lors du passage à la description quantique. On les corrige généralement en cousant des pièces supplémentaires – les contre-termes de Bardeen-Weiss-Zumino.

Former un modèle aérodynamique précis, c'est un peu comme la cuisine : d'abord, le chef apprend des centaines de recettes pour saisir les principes généraux, puis il perfectionne facilement un plat particulier.

Un réseau de neurones qui apprend du nouveau ressemble à un voyageur en terrain montagneux. Chaque connaissance acquise est une dépression dans le relief, où le voyageur roule et se coince. Pour en sortir et atteindre un nouveau creux, il faut de l'énergie.

Un aimant faible dans une IRM, c'est comme une ampoule tamisée dans une pièce sombre : l'image est là, mais les détails se noient dans le grain. Ces scanners fonctionnent avec un champ de moins de 0,1 tesla (un scanner hospitalier standard en fait 3, soit 30 fois plus), mais ils sont légers, bon marché et ne nécessitent pas de salle spéciale. Un seul problème : le bruit dévore la qualité.

Les batteries de nouvelle génération n'utilisent pas simplement un électrolyte liquide, mais de l'eau dans laquelle est dissoute une très grande quantité de sel – des ions lithium et de grosses molécules organiques. Les ions sont si nombreux qu'ils entrent constamment en collision, comme une foule dans un couloir étroit.

L'eau qui tourbillonne dans un entonnoir finit par perdre sa surface lisse : apparaissent alors de l'écume et des éclaboussures. Les mathématiciens décrivent ces écoulements par des équations, mais celles-ci cachent un mystère — parfois la solution « explose », devient infinie, et personne ne sait pourquoi.

Un réseau de connaissances dense : chacun est lié à presque tout le monde, et dans cette toile, il est difficile de comprendre qui est vraiment important. Trop de fils — l'ordinateur s'étouffe, la modélisation patine. Des chercheurs ont trouvé comment éclaircir ces réseaux sans perdre l'essentiel. L'idée est de supprimer les connexions qui ne participent pas aux chemins les plus courts.

Notre tissu corporel ressemble à une ville : dans différents quartiers vivent différentes cellules, chacune avec son propre travail. Pour comprendre comment cette ville est organisée, les biologistes prennent des images montrant quels gènes sont actifs à chaque point.

Un modèle de langage est une construction multicouche où chaque couche traite les mots à sa manière. Au début de l'apprentissage, les couches sont chaotiques, mais elles s'organisent progressivement en deux équipes. La première équipe fonctionne simplement : sa géométrie interne s'aplatit, devient moins enchevêtrée. La seconde reste complexe et sinueuse.

On peut comparer un réseau de neurones à une résidence où chaque locataire dispose de sa propre chambre. En général, chaque signal dans les données occupe un neurone distinct, et l'apprentissage se fait séquentiellement : d'abord un signal, puis un autre. C'est lent et cela dépend des données rencontrées.

Un modèle linguistique de protéines, c'est un peu comme un chef cuisinier qui aurait appris dans des milliers de recettes et qui compose maintenant de nouveaux plats. Parfois, il s'emballe et met du sel dans chaque plat, parce qu'un bon livre de recettes en contenait beaucoup.

Les vieux bulletins météo réservent des surprises : la colonne du thermomètre bondit soudain d'un demi-degré, non pas à cause du temps, mais parce que la station a changé d'instrument. Ces sauts brusques dans les données sont appelés points de changement, et les distinguer des véritables signaux climatiques est un défi que les statisticiens peinent à relever.

La communication quantique par satellite ressemble à un appel entre deux phares lointains : le faisceau doit toucher exactement le détecteur, sinon le message est illisible.

Affiner un réseau de neurones, c'est un peu comme essayer de modifier un trou noir sans toucher à son horizon des événements : on ne change qu'une petite partie des paramètres.

Des briques de tailles différentes, posées dans un même mur, y laissent des fissures. C'est à peu près ce qui se passe avec les atomes dans les alliages réfractaires : lorsque deux métaux différents forment un réseau cristallin commun et que leurs atomes diffèrent légèrement en taille, une contrainte apparaît à l'intérieur du matériau.

Un réseau de neurones classique pour la chimie quantique ressemble à un élève qui apprend de ses erreurs, mais qui trébuche toujours au même endroit. Il progresse lentement vers la bonne réponse, est sensible aux réglages et perd souvent sa stabilité.

Un interprète dans une salle bruyante essaie de distinguer la parole du brouhaha. La méthode habituelle consiste à mémoriser un ensemble de phrases et à les appliquer selon un schéma. Mais si le bruit augmente, le schéma se brise.

Au bord de l'espace-temps, là où aboutissent tous les rayons lumineux, vivent des symétries que les physiciens débattent depuis un demi-siècle. On les appelle superrotations : ce sont des transformations de la sphère céleste qui divergent en certains points, comme des tourbillons dans l'hélium superfluide.