Comment les modèles de langage détectent les répétitions dans les protéines express
Les protéines sont des chaînes d'acides aminés, et on y rencontre souvent des segments répétés. Parfois, les répétitions sont exactes, comme une même phrase prononcée deux fois. Parfois, elles comportent des « coquilles » : quelques lettres sont changées, mais le sens reste le même. Ces répétitions sont importantes : elles aident la protéine à se replier dans la bonne forme et à remplir son rôle.
Les scientifiques savaient déjà que les modèles de langage entraînés sur des millions de séquences protéiques parviennent à repérer ces répétitions. Mais la manière exacte dont ils s'y prennent restait mystérieuse. Dans cette nouvelle étude, les auteurs ont plongé à l'intérieur du modèle et ont suivi son fonctionnement pas à pas. Il s'avère que le mécanisme pour les répétitions inexactes est plus général : il englobe celui des répétitions exactes, un peu comme savoir lire un texte avec des coquilles donne automatiquement la capacité de lire un texte sans coquilles.
Ensuite, les « têtes d'induction » de l'attention repèrent des segments identiques ou similaires à différents endroits de la chaîne et transfèrent l'information entre eux. Cela aide le modèle à prédire quel acide aminé devrait se trouver à la place d'une lacune. Ainsi, le modèle de langage combine un mécanisme général de recherche de motifs avec des connaissances biologiques sur les propriétés des acides aminés.
Cette découverte constitue une étape vers la compréhension de la manière dont les modèles peuvent saisir des processus évolutifs plus complexes inscrits dans les séquences protéiques. À terme, ils pourront mieux prédire la structure et la fonction des protéines, ce qui est crucial pour le développement de médicaments et les biotechnologies.
Dans les protéines, les répétitions peuvent être très longues — par exemple, la titine, qui confère leur élasticité aux muscles, contient des centaines de domaines répétés, semblables aux maillons d'une chaîne.