архитектура памяти нейронной сети

Мозг похож на город, где каждая клетка — житель, а её судьба зависит от соседей. Раньше считалось, что старение каждой клетки — её личное дело: накопились повреждения в ДНК, значит, клетка износилась сама по себе. Но новое исследование показывает, что даже способность клетки чинить свою ДНК зависит от того, кто живёт рядом.

Стопка страниц, которую листали много раз, запоминает это: одни листы ложатся ровно, другие топорщатся, а кое-где остаются заломы. Примерно так ведут себя слоистые материалы, когда в них входят ионы. В новой работе учёные наблюдали за отдельными чешуйками MXene — двумерного карбида титана — и увидели, как история циклов зарядки и разрядки меняет их структуру.

Джазовое трио играет в полумраке клуба. Пианист ведёт мелодию, контрабасист держит ритм, барабанщик рассыпает дробь. Если слушать только пары музыкантов, можно уловить, как пианист подстраивается под бас или бас под барабаны. Но главное рождается, когда все трое импровизируют одновременно: одна фраза пианиста меняет игру барабанщика, а та, в свою очередь, подталкивает контрабасиста к новому ходу.

В 2023 году в Бельгии 101 человек в возрасте от 50 до 69 лет провёл несколько дней в лаборатории, где его мозг сканировали, записывали сон и просили решать задачи на память и внимание. Так родился набор данных COFITAGE, в котором каждый участник описан с пяти сторон: молекулярной, структурной, физиологической, генетической и когнитивной.

Белковый инженер похож на повара, который пытается сделать блюдо одновременно вкусным, полезным и дешёвым. Изменяя один ингредиент, он рискует испортить другой. Раньше компьютерные помощники умели оценивать свойства белков только по отдельности, не видя, как они связаны между собой.

Двое договариваются встретиться, но у каждого свои дела. Один сомневается: а вдруг второй не придёт? И решает не идти. Второй думает так же. Встреча не случается. Так выглядит простой механизм, который разбирают авторы работы: общее дело требует, чтобы каждый вкладывал время, но выгода зависит от того, участвует ли партнёр. В модели каждый человек ведёт список дел, упорядоченных по важности.

В длинных отростках нейрона — дендритах — постоянно снуют крошечные курьеры. Это молекулы матричной РНК — матричная РНК, или мРНК, — которые несут инструкции для сборки белков. Их путь начинается в теле клетки, а заканчивается в синапсах — специализированных контактах с другими нейронами.

Белок скользит по нити ДНК, как ключ по связке, — ищет свой замок. Один неверный поворот, и ген останется выключенным. Чтобы понять, где белок ухватится надёжно, нужно измерить силу этой хватки — энергию связывания. Но перебрать все возможные места вручную невозможно: геном млекопитающих — это миллиарды «букв».

Ночной город: в одних окнах горит свет, в других темно. Если соединить линиями окна, которые зажигаются одновременно, получится паутина связей. Такую паутину исследователи изучили для крошечных мозговых органоидов — живых скоплений нервных клеток, выращенных в лаборатории.

Представьте опытного шеф-повара в час пик: внезапно отказывает плита или заканчивается ключевой ингредиент. Вместо паники он мгновенно перекраивает рецептуру — ускоряет приготовление одних блюд, замедляет другие, перебрасывая ресурсы на ходу. Этот принцип динамической адаптации лёг в основу нового поколения сверхнадёжных сетей.

После брошенного камня круги на воде исчезают, но жидкость хранит микроскопические колебания. Малейший порыв — и рябь возникает снова. Сети нейронов ведут себя похоже. Когда электрические сигналы затихают, память о них остаётся в точках контакта — синапсах, где передача импульсов меняет силу связей. Как вода после шторма, эти следы таят скрытую энергию.

Рой роботов подобен стае светлячков в ночном лесу: каждый движется по простому наитию — «туда, где свободнее», и из этого роения рождается согласованный порядок. Долгое время оставалось загадкой, как без явной связи и централизованных команд возникает слаженность.

Сборка светового чипа похожа на игру, где нужно провести луч через лабиринт из крошечных зеркал и светоделителей. Каждый такой элемент работает как стрелка на железной дороге: он либо пропускает свет прямо, либо направляет на соседний путь. Задача — получить на выходе строго определённый световой узор, потратив как можно меньше «стрелок». Обычно инженеры годами ищут самый короткий маршрут для каждой задачи.

Почему одни системы — от генных сетей до авиаперевозок — хранят отпечатки прошлого дольше других? Долгое время сетевая наука винила топологию: число связей, модульность, спектр. Но две сети с одинаковым скелетом могут помнить и забывать совершенно по-разному. Ключ — в геометрии весов: в том, как силы взаимодействий распределены по направленным путям.

Проектирование машин сродни кулинарии: необходимо точно знать, где «тесто» порвётся. Классические численные методы, например, анализ методом конечных элементов, проверяют каждую точку детали часами — это как обмерять всю кастрюлю, чтобы ручка не отвалилась.

Сфотографировать тончайшую паутинку, дрожащую на ветру, — примерно так выглядит задача заглянуть в сосуды живого мозга. Ультразвуковая локализационная микроскопия (УЛМ) превращает обычный ультразвук в инструмент, способный увидеть отдельные капилляры, но только если очень точно подобрать настройки.

Кассир в супермаркете в час пик не запоминает каждую пробитую покупку — он держит в голове общую сумму и следит за очередью. Примерно так же мозг распределяет свои силы: дорогая и точная кора (то, что отвечает за обдумывание) и более простые, экономные подкорковые ядра (где живут привычки) работают в паре.

Обычный полевой транзистор похож на кран с очень чувствительной ручкой: чуть повернул — вода пошла. В холодных недрах квантового компьютера, где всё охлаждено почти до абсолютного нуля, такой кран должен открываться строго по команде.

Человек смотрит на дверной замок и видит щель для ключа. Он знает, что ключ вставляют и поворачивают. Но если вместо скважины — сенсорная панель, привычная рамка ломается. Человек не просто ошибается: он понимает, что привычный способ не годится, и может сказать: «Здесь нет места для ключа, нужен другой подход». Такая честная остановка с объяснением — редкость для машин.

Человек, который ищет ключи, перебирает в уме места, где они могли оказаться. Птица, которая осенью рассовала сотни семечек по щелям, зимой перебирает их безошибочно. Как мозг вмещает столько адресов, если нейронов у всех примерно поровну? Ответ нашёлся в геометрии.

После партии в Scrabble доска напоминает мозаику: фишки разбросаны, но складываются в связный узор — островки слов посреди моря пустых клеток. Такой узор можно описать математически, но обычно это требует сложных правил.

Мозг устроен как многоэтажное здание: нижние этажи обрабатывают простые сигналы, а верхние собирают их в сложные образы. Учёные давно подозревают, что этот порядок связан с тем, как нейроны работают вместе. Но как именно — оставалось загадкой. Исследователи записали электрическую активность тысяч нейронов в зрительной коре и гиппокампе мыши.

Город, где улицы не прямые, а извилистые, с тупиками и скрытыми проходами. Курьер на велосипеде потратит гораздо больше времени, чтобы доставить посылку, чем в городе с ровной сеткой дорог. Так и молекулы внутри живой ткани: их путь зависит от того, насколько «запутана» структура ткани. Учёные построили модель, которая описывает движение молекул в такой «запутанной» среде.

Инженеры, улучшающие нейросети, действуют как селекционеры: пробуют вариант, смотрят на результат, оставляют лучшее. Собрали 935 таких проб из 161 статьи и измерили, как часто правка кода оказывается полезной, вредной или никакой. Картина вышла знакомая каждому биологу: 68% изменений ухудшают работу, 19% не меняют ничего, и лишь 13% дают выигрыш.

Обычная флешка хранит биты в ловушках для электронов, но прочитать их можно только через отдельный провод и усилитель. В новой разработке роль и хранилища, и лампочки играет один и тот же кусочек полуметалла теллура.

Сердце — не идеальный шар, его форма меняется от удара к удару. Чтобы построить точную трёхмерную копию для компьютерной модели, обычно делают десятки срезов на магнитно-резонансном томографе. Но это как собирать арбуз из тонких ломтиков: чем меньше срезов, тем больше догадок. Новый подход учит нейросеть понимать форму сердца по редким контурам.

Нейрон в мозге похож на человека, который раздаёт свои визитки на многолюдной конференции. Сначала он легко знакомится, но по мере заполнения записной книжки каждый новый контакт требует всё больше усилий — свободного места остаётся мало. Это правило «скученности» авторы положили в основу модели: чем больше входящих связей уже есть у нейрона, тем труднее сформировать ещё одну.

Горсть песка на столе — просто куча. Но если песчинки правильно потрясти, куча начинает вести себя как память: запоминает, какое движение за каким следует. В новом опыте частицы двигали циклически, и после тренировки они воспроизводили нужный узор даже без полной команды. Секрет в контактах между частицами.

В глубине мозга есть крошечный участок — супрахиазматическое ядро. Это дирижёр, который задаёт ритм всему организму: когда спать, когда просыпаться, когда выделять гормоны. Учёные взяли настоящую карту связей этого участка у мыши и сделали её копии — одну больше, другую меньше. Как если бы сняли план города и построили по нему и посёлок, и мегаполис.

Сердце сокращается не всё сразу, а волной: электрический сигнал бежит по мышце, и за ним, как рябь по воде, прокатывается сжатие. При аритмии эта волна сбивается — где-то задерживается, где-то зацикливается, и насос начинает работать вразнобой. Увидеть такую волну изнутри сегодня можно, только введя в сердце катетер с датчиками — процедура не из приятных.

В мозге мыши около 70 миллионов нейронов, и связи между ними распределены далеко не поровну: у одних клеток всего пара десятков контактов, у других — тысячи. Это как город, где есть тихие переулки и многолюдные площади. Но до сих пор было неясно, как такая неоднородность влияет на саму работу мозга.

Два фонаря на далёком берегу ночью сливаются в одно пятно света. Так и обычная плоская антенна не может отличить два радиопередатчика, стоящих слишком близко друг к другу: их сигналы смешиваются, и приёмник видит лишь общую кашу. Инженеры нашли выход — они сделали антенну не плоской, а как стопку прозрачных пластин.

Болезнь Альцгеймера похожа на запутанный клубок ниток: тысячи генов переплетаются, и трудно понять, какие из них рвутся первыми. Раньше учёные искали важные гены, просто подсчитывая, сколько связей у каждого узла в сети. Но такой подход похож на оценку человека по числу знакомых — не всегда самый общительный оказывается самым влиятельным.

Мозг — это не один большой компьютер, а скорее оркестр, где разные группы музыкантов играют свои партии. Сети нейронов, отвечающие за память, внимание или эмоции, постоянно переговариваются. При болезни Альцгеймера этот оркестр начинает фальшивить: одни группы замолкают, другие играют невпопад. Но как это увидеть на снимке мозга? Учёные придумали хитрый способ.

Мозг похож на огромный город: районы-области общаются между собой по улицам-нервным путям. Если светофоры на перекрёстке ломаются, движение замирает. Так и в мозге: если пучки нервных волокон (белое вещество) работают плохо, далёкие области перестают действовать согласованно, и мысль буксует.

Кристалл, который внутри напоминает губку с лабиринтом пор, оказался способен выполнять вычисления. Материал с названием DUT-8 состоит из металлических узлов и органических перемычек, образующих ажурную решётку. Под воздействием разных газов эта решётка слегка меняет форму — как карточный домик, который перестраивается от лёгкого дуновения.

Языковая модель — это многослойная конструкция, где каждый слой обрабатывает слова по-своему. В начале обучения слои хаотичны, но постепенно выстраиваются в две команды. Первая команда работает по-простому: её внутренняя геометрия сглаживается, становится менее запутанной. Вторая остаётся сложной и витиеватой.

Офис, где сотрудники обмениваются записками. Пока задач мало, каждый работает сам по себе. Но приходит срочный заказ — и одни отделы начинают активно слать сообщения другим, а общая работа становится слаженнее. Примерно так ведет себя мозг, когда мы пытаемся удержать в уме несколько вещей одновременно. Ученые нашли способ заглянуть в эту «переписку».

Белки в клетке общаются, как люди в огромном городе: одни передают сигналы, другие тормозят, третьи просто рядом. Графовая нейросеть видит карту этих связей — кто с кем соединён, — но для неё это просто линии. Она не знает, что белок DDR1 важен для выживания раковых клеток, а его сосед — ключ к лекарству.

Мозг за день накапливает впечатления, как комната — вещи. Ночью, во время глубокого сна, он не просто отдыхает, а наводит порядок: перебирает дневные события и решает, что оставить, а что выбросить. Учёные построили компьютерную модель мозга, которая днём учится на нескольких примерах, а ночью «пересматривает» их, как будто видит сны.