Deux photos d'un même endroit : l'une prise le matin par un drone, l'autre le soir par un satellite. Sur la première, des ombres d'arbres ; sur la seconde, des reflets sur l'eau. C'est comme deux récits d'un même événement dans des dialectes différents. La fusion d'images, c'est le traducteur qui trouve un langage commun entre ces clichés.
Le traducteur cherche des points de repère : les angles des bâtiments, les méandres des rivières. Puis il les met en correspondance, estime comment décaler ou faire pivoter une image pour qu'elle coïncide avec l'autre, et applique cette transformation. Pour des images du même type, on utilise le coefficient de corrélation (une mesure de similarité des luminosités) ; pour des types différents, l'information mutuelle (une mesure de dépendance statistique).
Il n'existe pas de traducteur universel. Pour les simples décalages, les marqueurs suffisent ; pour les distorsions complexes, on utilise les réseaux de neurones et les algorithmes évolutionnaires. Mais lorsque l'image est masquée par des nuages, les points de repère se perdent, et le problème reste ouvert.
Pour fusionner des images IRM et TEP du cerveau, on utilise souvent l'information mutuelle : elle trouve des motifs communs dans les intensités, même si une image montre l'anatomie et l'autre l'activité métabolique.