О чём молчат умные клетки: внимание без пользы экспресс
Внутри клетки кипит работа: тысячи генов включаются и выключаются, как лампочки на огромном табло. Нейросети, обученные читать это табло, научились угадывать, что произойдёт, если «выключить» один ген или добавить лекарство. Но как именно они это делают — загадка. Учёные решили заглянуть внутрь и проверить: правда ли «внимание» модели (то, на какие гены она смотрит пристальнее) отражает реальные связи в клетке.
Они взяли две известные модели — scGPT и Geneformer — и прогнали через них данные о клетках крови и клетках сетчатки. Оказалось, что внимание действительно выстраивает структуру: в ранних слоях модели видны связи между белками, которые физически прикасаются друг к другу, а в поздних — связи между генами, которые управляют друг другом. Красиво, как схема метро. Но когда эти «карты» использовали для предсказания реакции клетки на возмущение, они не помогли. Простой метод, который просто смотрит, какие гены чаще всего меняются вместе, дал результат 0.81–0.88 по шкале точности, а «умные» связи внимания — лишь 0.70. Если вообще убрать эти связи, предсказания не ухудшаются.
Это как если бы переводчик на совещании делал подробные пометки на полях, но переводил хуже, чем словарь. Учёные предложили способ «переобучения» внимания — CSSI, который помогает модели лучше восстанавливать реальные сети генов (до 1.85 раза точнее). Но даже после этого простые методы остаются сильнее. Для науки это важный урок: не доверяй красивым картинкам, проверяй пользу числом.
Модель scGPT обучали на данных 33 миллионов клеток — это больше, чем людей в Токио.
В сериале «Мир Дикого Запада» роботы имели красивые «воспоминания», но не понимали их смысл — похожая ситуация с вниманием нейросетей.