Traitement d'images et de vidéos eess.IV

Le cortex cérébral ressemble à une feuille de papier froissée : il a une épaisseur, des courbures et une profondeur de plis. Avec l'âge, cette feuille se modifie de manière inégale – par endroits elle s'amincit, par endroits elle perd la netteté de ses courbures. Autrefois, les médecins évaluaient l'âge du cerveau dans son ensemble, comme s'ils regardaient la feuille de loin.

L'anatomopathologiste regarde dans l'oculaire et voit une coupe de tissu rose-violet — c'est ainsi que se présente la coloration classique à l'hématoxyline et à l'éosine. Les colorants se lient aux noyaux et au cytoplasme, et c'est par la couleur que le médecin juge de la maladie. Mais la préparation de la lame elle-même prend des heures : fixation, inclusion en paraffine, section, coloration.

Le microscope électronique balaie l'échantillon et enregistre en chaque point la façon dont les électrons sont diffusés par les atomes. On obtient une pile gigantesque d'images – une par point.

Une caméra thermique classique ressemble à un thermomètre qui chauffe et refroidit lentement. Elle montre bien où se trouve la chaleur, mais ne suit pas les mouvements rapides. Le nouveau capteur fonctionne autrement : il compte les quanta de chaleur individuels, comme un compteur de gouttes pendant une averse.

L'échographie cardiaque, c'est comme une fenêtre sur le compartiment moteur : on voit les cavités se contracter et se relâcher. La question clé est de savoir combien de sang le cœur éjecte à chaque battement. Les médecins calculent cela à la main, et deux spécialistes peuvent diverger de 10 à 15 %.

L'aorte, l'artère principale du corps, n'est pas un simple tube. À chaque battement du cœur, elle se dilate et se contracte, comme un tuyau en caoutchouc sous la pression de l'eau. Visualiser ce mouvement en volume est difficile : l'IRM standard ne fournit que des coupes planes, et une acquisition 3D complète dans le temps nécessite un équipement coûteux et de longues minutes d'immobilité dans le scanner.

Le laser fait fondre la poudre métallique couche par couche, et dans le bain bouillonnant, des bulles de vapeur apparaissent et s'effondrent en quelques millisecondes. Impossible auparavant de voir cette cuisine en action : le tomographe à rayons X, qui produit des images tridimensionnelles, est trop lent.

Sous les rues des villes s'étend une toile de fibre optique — des centaines de kilomètres de fils de verre qui transportent Internet. Mais les cartes précises de cette toile sont souvent perdues ou obsolètes. Trouver un câble sous terre, c'est un peu comme chercher à tâtons un fil dans un mur sans savoir où il passe.

Le chirurgien retire la tumeur du sein, mais comment savoir si aucune cellule malade ne reste sur les bords ? Actuellement, le tissu est envoyé au laboratoire et la réponse arrive plusieurs jours plus tard. Si la marge n'est pas saine, une seconde opération est nécessaire. La nouvelle méthode promet de donner la réponse directement au bloc opératoire, pendant que la patiente est encore sur la table.

La lumière, en traversant un milieu trouble comme le lait ou un tissu vivant, se diffuse dans toutes les directions. Reconstruire où la lumière a été absorbée plus fortement, c'est comme deviner la forme d'un objet tombé à partir de la flaque qu'il a laissée sur le trottoir.

Une goutte d'encre dans un verre d'eau se disperse rapidement et uniformément. Mais si l'eau est emprisonnée entre des billes densément tassées, le nuage d'encre rampe lentement et de manière capricieuse — il contourne les obstacles, se coince dans les goulots étroits. C'est à peu près ainsi que se déplacent les molécules d'eau dans les tissus vivants.

Pour regarder à l'intérieur d'un muscle, on l'illumine avec des ondes radio dans un champ magnétique puissant — c'est ainsi que fonctionne l'IRM.

Chez une personne, la maladie commence par un tremblement de la main — la tasse danse sur la soucoupe pendant qu'il la porte vers la table. Chez une autre, les jambes refusent soudain de marcher droit : le pas devient court, traînant, comme si le sol était recouvert d'une couche collante. Ce ne sont pas deux maladies différentes, mais deux visages d'une même maladie — la maladie de Parkinson.

L'échographie, ce n'est pas seulement pour voir les bébés à l'écran. Elle permet aussi d'examiner les muscles et les tendons, mais il y a un hic : les os. Pour le son, ils agissent comme un miroir pour la lumière. La réflexion est si forte que tout ce qui se trouve derrière devient invisible.

Un chef met des années à affiner son art de réduire une recette à trois ou quatre ingrédients essentiels, puis de reconstituer le plat à partir de ceux-ci. Si la composition est connue, on obtient le repas attendu. Un ingrédient étranger perturbe la compression, et le résultat est incompréhensible. Le compresseur quantique fait de même avec les images médicales.

Une masse carbonisée de la taille d'un poing : voilà ce qui reste d'un rouleau de la bibliothèque de la ville romaine d'Herculanum. Il y a deux mille ans, l'éruption du Vésuve l'a enseveli, et depuis, personne n'a lu le texte caché à l'intérieur. Tenter de dérouler physiquement un tel rouleau le réduirait en cendres. Mais désormais, les archéologues n'ont plus besoin de prendre ce risque.

L'œil est enflammé, la cornée s'opacifie. Le médecin doit comprendre d'urgence qui est en cause — une bactérie ou un champignon. Le traitement en dépend. Une erreur peut coûter la vue. Mais la réponse classique du laboratoire arrive plusieurs jours plus tard, et dans les régions éloignées, on peut ne jamais la recevoir.

Le radiologue scrute les nuances de gris et de blanc à l'écran — des dizaines de coupes du corps où il faut repérer chaque tache suspecte. La segmentation manuelle d'un patient prend une demi-heure, et dans un grand hôpital, ils sont des centaines.

Quand un verre d'eau est plein, continuer à verser est un gaspillage inutile. Les jeux en streaming font souvent la même chose avec les données vidéo : l'encodeur pousse le flux au maximum, alors que l'œil cesse de remarquer les améliorations bien avant la limite.

Les images IRM de la prostate ressemblent souvent à des photos prises à travers une vitre sale : bruit, contours flous, distorsions dues aux imperfections du champ. Des chercheurs ont testé ce qui se passe si l'on « lave » cette vitre : éliminer le superflu, corriger les distorsions et aligner précisément les différentes vues.

Évaluer la qualité d'une image, c'est le travail d'un contrôleur méticuleux muni de tout un attirail. Le réseau de neurones IQA-T1 agit exactement ainsi : il ne se contente pas de dévisager l'image, il y applique tantôt un spectroscope, tantôt un luxmètre.

Les images médicales sont des cartes de densité des tissus. La luminosité de chaque point indique ce qui se trouve à cet endroit, un peu comme la photométrie mesure l'intensité de la lumière. Mais les algorithmes habituels analysent les points individuellement, ce qui donne des contours d'organes irréguliers.

Ce quadricoptère de la taille d'une abeille trace tout seul son itinéraire à l'intérieur, comme une sonde spatiale dans un champ d'astéroïdes. La caméra fonctionne comme un instrument de photométrie, captant la lumière réfléchie, et le processeur, à la vitesse de la lumière, décide où tourner.

Une photo numérique brute ressemble à une mosaïque : chaque pixel ne stocke qu'une couleur de base — rouge, verte ou bleue. Pour compresser un tel fichier, on le sépare en luminosité (l'image détaillée en noir et blanc) et en composante chromatique.

Les systèmes modernes de vision artificielle gagnent en autonomie : des ingénieurs ont réussi à implémenter un algorithme de reconnaissance des formes directement sur une puce miniature, évitant ainsi à la caméra de transmettre des données à un ordinateur encombrant.

Les scanners ne produisent pas de clichés prêts à l'emploi. Ils collectent une multitude d'« ombres » — des projections de l'intérieur du corps, obtenues sous différents angles ou à l'aide de différents signaux — puis reconstruisent mathématiquement une image volumétrique.

Le chef d'orchestre ne tient pas une baguette, mais un pinceau, et chaque mouvement fait naître couleur et forme. La nouvelle technologie fonctionne de la même manière : elle convertit l'ambiance d'une chanson en vidéo panoramique qui enveloppe l'auditeur. D'abord, l'algorithme, à l'instar de l'analyse de la lumière par spectroscopie, décompose le morceau en émotions.

Une goutte d'urine sous le microscope n'est pas une flaque plate, mais un volume multicouche. Comme une pile de pages transparentes : si l'on regarde une page, les voisines sont floues. Ainsi, la lumière du microscope ne montre nettement qu'une seule couche de profondeur.

L'IA diagnostique apprend comme un étudiant en médecine avant l'examen. On lui donne une radiographie et les plaintes du patient. Mais parfois, parmi les supports de cours, se glisse le rapport complet du médecin — la réponse toute faite. Le réseau neuronal la mémorise, et sa précision au test bondit à 98 %. Mais c'est de la triche : la vraie compétence ne se développe pas.

Les données d'un seul scan CT équivalent à plusieurs longs métrages. TCAM-Diff contourne ce goulot d'étranglement : le programme compresse la vue tridimensionnelle en trois projections d'ombre, un peu comme un sculpteur qui reconstituerait une statue à partir de ses silhouettes sur trois murs.

Les ultrasons rebondissent sur les organes et en dessinent les contours, mais sur une image de l'ovaire, il est difficile de distinguer un kyste bénin rempli de liquide d'un nodule cancéreux solide. Même les spécialistes tracent les limites différemment, ce qui influence directement le choix du traitement.

Imaginez un tuyau d'arrosage tordu : l'eau y rencontre une résistance, la pression chute. Un processus similaire se produit dans les artères lorsqu'elles perdent leur géométrie rectiligne. La tortuosité des vaisseaux n'est pas un simple défaut esthétique, mais un facteur qui perturbe l'hémodynamique et fait peser une menace d'AVC ischémique.

Habituellement, un scanner CT prend de nombreuses radiographies sous différents angles et assemble une image en trois dimensions. Mais parfois, les médecins ne scannent qu'une petite zone — par exemple un seul poumon — et les données sont tronquées. C'est comme si l'on donnait à un chef une cuillère de soupe à goûter et qu'on lui demandait de donner la recette exacte de toute la casserole.

Entraîné sur des photos ordinaires, le modèle DINOv3 s'est mis à voir les visages comme un spectre : tout seul, sans indications, il distingue les zones des yeux, du nez, de la bouche.

Dans une scène tridimensionnelle, chaque point est comme un bonbon dont la couleur change selon l'angle de vue. Pour décrire ce jeu de nuances, on stocke pour chaque point des dizaines de nombres — une fonction mathématique spéciale, imaginée par Joseph Fourier. La mémoire se remplit en un instant.

L'algorithme d'amélioration de photos ressemble à un GPS qui guide pas à pas une image floue vers une version nette. Le bruit et les distorsions, il les élimine en se déplaçant de pixel en pixel sur une carte familière. Mais si le cliché est pris dans des conditions inconnues — par exemple avec un flai inhabituel — la carte ne correspond pas au terrain.

La caméra à pixel unique évoque un artiste qui peint à travers un pochoir percé de nombreux trous. Chaque prise de vue ne laisse passer qu'une partie du flux lumineux, puis l'ordinateur assemble ces fragments pour reconstituer une image complète. Autrefois, l'ordre des masques était immuable, comme si l'artiste utilisait toujours le même pochoir sans jamais regarder son sujet.

Contrairement aux caméras classiques, les caméras événementielles ne capturent que les instants où la lumière devient plus vive ou plus faible. Elles ne produisent pas de photos, mais émettent un flux incessant de ces scintillements. Les scientifiques ont transformé ce flux en une image nette de la Terre, en survolant celle-ci à bord d'un satellite.

Deux images du même cerveau, prises à des moments différents, ressemblent à des photos d'une même maison avant et après rénovation. Pour comprendre ce qui a changé, on les superpose et on observe les différences.

Un radiologue regarde un scanner abdominal et voit non seulement des organes, mais aussi leur disposition mutuelle : quel rein est plus gros, où se trouve la tumeur par rapport au vaisseau. C'est comme lire une carte : il ne suffit pas de savoir où se trouve habituellement une ville, il faut aussi savoir mesurer la distance entre deux points sur le terrain.