Un ornithologue dans la jungle entend un trille, mais l'oiseau se cache dans le feuillage. Il aimerait bien obtenir son portrait sur-le-champ — ne serait-ce qu'à partir d'une base de photos. D'habitude, il faut pour cela des milliers de paires « enregistrement du chant + photo du même oiseau », et les collecter coûte cher et prend du temps.

Les auteurs ont pris un chemin détourné : ils ont utilisé deux modèles prêts à l'emploi. L'un comprend le lien entre image et texte (par exemple, « poitrine rouge, calotte noire » → photo de rouge-gorge). L'autre relie le texte et le son (« trille mélodieux avec des variations » → enregistrement de rouge-gorge). Ensuite, ils ont utilisé le premier modèle comme professeur : ses descriptions textuelles ont été transférées dans le second, en ajustant l'encodeur audio pour que le son du rouge-gorge se place à côté du texte sur la poitrine rouge. Les images n'ont pas du tout participé à l'apprentissage.

Résultat : lors du test SSW60, le modèle trouve la bonne photo d'oiseau à partir de son chant mieux que les combinaisons directes de systèmes existants. Et il n'a pas perdu sa capacité à distinguer les sons eux-mêmes — la classification des espèces n'en souffre pas. Pour les biologistes de terrain, c'est une chance d'identifier rapidement des animaux rares et discrets par leur voix, sans disposer d'aucune photo appariée.

La même astuce — apprendre une modalité à travers le texte pour l'aligner avec une autre — pourrait servir bien au-delà de la bioacoustique. Partout où les données appariées manquent, le texte peut jouer le rôle de pont entre les mondes.