Как языковые модели узнают повторы в белках экспресс
Белки — это цепочки аминокислот, и в них часто встречаются повторяющиеся куски. Иногда повторы точные, как одна и та же фраза, сказанная дважды. Иногда — с опечатками: пара букв заменена, но смысл тот же. Такие повторы важны: они помогают белку сворачиваться в нужную форму и выполнять свою работу.
Учёные уже знали, что языковые модели, обученные на миллионах белковых последовательностей, умеют находить эти повторы. Но как именно они это делают, оставалось загадкой. В новом исследовании авторы заглянули внутрь модели и проследили её работу шаг за шагом. Оказалось, что механизм для неточных повторов — более общий: он включает в себя и механизм для точных повторов, как если бы умение читать текст с опечатками автоматически давало умение читать текст без них.
После этого так называемые «индукционные головы» внимания находят одинаковые или похожие куски в разных местах цепочки и переносят информацию между ними. Это помогает модели предсказать, какая аминокислота должна стоять на месте пропуска. Так языковая модель сочетает общий механизм поиска паттернов с биологическими знаниями о свойствах аминокислот.
Это открытие — ступенька к пониманию того, как модели могут улавливать более сложные эволюционные процессы, записанные в белковых последовательностях. А значит, в будущем они смогут лучше предсказывать структуру и функцию белков, что важно для разработки лекарств и биотехнологий.
В белках повторы могут быть очень длинными — например, белок титин, который придаёт мышцам упругость, содержит сотни повторяющихся доменов, похожих на звенья цепи.