Comment les modèles de langage détectent les répétitions dans les protéines express
Les protéines sont des chaînes d'acides aminés, et on y rencontre souvent des segments répétés. Parfois, les répétitions sont exactes, comme une même phrase prononcée deux fois. Parfois, elles comportent des « coquilles » : quelques lettres sont changées, mais le sens reste le même. Ces répétitions sont importantes : elles aident la protéine à se replier dans la bonne forme et à remplir son rôle.
Les scientifiques savaient déjà que les modèles de langage entraînés sur des millions de séquences protéiques parviennent à repérer ces répétitions. Mais la manière exacte dont ils s'y prennent restait mystérieuse. Dans cette nouvelle étude, les auteurs ont plongé à l'intérieur du modèle et ont suivi son fonctionnement pas à pas. Il s'avère que le mécanisme pour les répétitions inexactes est plus général : il englobe celui des répétitions exactes, un peu comme savoir lire un texte avec des coquilles donne automatiquement la capacité de lire un texte sans coquilles.
Ensuite, les « têtes d'induction » de l'attention repèrent des segments identiques ou similaires à différents endroits de la chaîne et transfèrent l'information entre eux. Cela aide le modèle à prédire quel acide aminé devrait se trouver à la place d'une lacune. Ainsi, le modèle de langage combine un mécanisme général de recherche de motifs avec des connaissances biologiques sur les propriétés des acides aminés.
Cette découverte constitue une étape vers la compréhension de la manière dont les modèles peuvent saisir des processus évolutifs plus complexes inscrits dans les séquences protéiques. À terme, ils pourront mieux prédire la structure et la fonction des protéines, ce qui est crucial pour le développement de médicaments et les biotechnologies.
Résumé original
tel que rédigé par les auteurs, en anglais arXiv:2602.23179
Protein sequences are abundant in repeating segments, both as exact copies and as approximate segments with mutations. These repeats are important for protein structure and function, motivating decades of algorithmic work on repeat identification. Recent work has shown that protein language models (PLMs) identify repeats, by examining their behavior in masked-token prediction. To elucidate their internal mechanisms, we investigate how PLMs detect both exact and approximate repeats. We find that the mechanism for approximate repeats functionally subsumes that of exact repeats. We then characterize this mechanism, revealing two main stages: PLMs first build feature representations using both general positional attention heads and biologically specialized components, such as neurons that encode amino-acid similarity. Then, induction heads attend to aligned tokens across repeated segments, promoting the correct answer. Our results reveal how PLMs solve this biological task by combining language-based pattern matching with specialized biological knowledge, thereby establishing a basis for studying more complex evolutionary processes in PLMs.
Dans les protéines, les répétitions peuvent être très longues — par exemple, la titine, qui confère leur élasticité aux muscles, contient des centaines de domaines répétés, semblables aux maillons d'une chaîne.