Нейробиологи практически увидели мир глазами подопытной мыши. Они превратили данные об активности нейронов в движущее изображение. Тем самым ученые частично восстановили видеоролик, который показывали подопытному грызуну. Хотя качество изображения пока далеко от идеала, метод «дешифровки» нейронной активности может быть очень полезен для изучения мозга.
Незримое зрение
Видеть легко, а вот понять, как работает зрение, довольно сложно. Обработка зрительной информации начинается еще на сетчатке глаза. Далее зрительный нерв приносит ее в распределительную станцию мозга — таламус. После переработки в таламусе сигал поступает в первичную зрительную кору V1 (от английского visual). Эта зона коры разделяет информацию о форме, цвете и движении. Часть данных она обрабатывает сама, а остальное направляет во вторичную и следующие зоны зрительной коры. Сильно упрощая, можно сказать, что зона V1 распознает форму предметов, V2 и V3 дорисовывают недостающие линии, V4 распознает цвет, а V5 — движение. Дело окончательно запутывает тот факт, что информация то и дело «возвращается на доработку» в предыдущие зоны. В свое время нейробиологи с изумлением обнаружили, что 90% нейронных отростков, соединяющих таламус и зону V1, передают сигнал в обратном направлении — из коры в таламус.
Разобраться в этой картине сложно, но необходимо хотя бы для того, чтобы помочь людям с нарушениями зрения. Протез глаза, подключающийся прямо к зрительному нерву, пока остается мечтой. Сделать камеру размером с глаз легко, трудно перевести изображение на язык, понятный зрительным зонам мозга.
Нейросети живые и мертвые
Далеко не всякий эксперимент можно провести на человеке. Например, трепанация черепа разрешена только по медицинским показаниям. Поэтому ученые часто ограничиваются экспериментами на животных, особенно на мышах. Разместив датчик под черепом грызуна, можно в реальном времени следить за активацией буквально каждого нейрона в исследуемой области мозга.
Частью огромной работы по изучению зрения является конкурс Sensorium. В 2023 году организаторы поставили участникам сложную задачу. Десяти мышам показывали 1800 видеороликов по 10 с каждый, в это время датчики следили за активностью около 8000 нейронов в первичной зрительной коре. Участникам предлагалось создать систему искусственного интеллекта, которая получает на вход заданное видео, а также информацию о скорости бега мыши, размере зрачков и движениях глаз. По этим данным нужно было спрогнозировать активность нейронов. На черно-белых видео демонстрировались естественные предметы — например, человеческие лица.
Подчеркнем: хотя участники конкурса создавали искусственные нейронные сети, предсказывающие активность живых нейронов, у них не было задачи поклеточно скопировать зрительную кору мыши. Конкурсанты использовали современные архитектуры нейросетей, похожие на мозг примерно как самолет на ворону. Так GPT-5 или Gemini может успешно имитировать общение, будучи совершенно не похожа на человеческий мозг по архитектуре.
Первое место в конкурсе заняла программа DNEM Руслана Байкулова. Она достигла коэффициента корреляции 0,3 между истинной и прогнозируемой активностью нейронов. Говоря упрощенно, коэффициент корреляции показывает, насколько два явления связаны между собой. Коэффициент 0,3 говорит о том, что связь есть, хотя и не очень сильная. То есть ИИ не слишком хорошо предсказывал активность нейронов мыши, но все же лучше, чем «методом тыка».
Трудности перевода
В недавнем исследовании команда британского нейробиолога Джоэла Бауэра использовала программу DNEM для противоположной задачи: восстановить видео по нейронной активности. Для начала исследователи заново, с нуля, обучили этот ИИ на видеороликах, предоставленных организаторами конкурса. При этом несколько роликов было зарезервировано для экспериментов, они не использовались при обучении. После обучения началась экспериментальная часть. Ученые взяли зарезервированный видеоролик и данные о реакции на него нейронов мыши, собранные организаторами конкурса. После этого нейростети DNEM показывали «пустое» входное видео с равномерно серым экраном. Программа прогнозировала активность нейронов Само собой, очень отличался от реальной реакции мозга на показанный ролик — прежде всего потому, что грызуну показывали отнюдь не пустой экран. Исследователи меняли в своем видеоролике пиксель за пикселем, добиваясь все лучшего сходства между прогнозом нейросети и картиной работы мышиного мозга. Добившись наилучшего сходства, они сравнили синтезированный ролик с тем, который организаторы конкурса действительно показывали животному.
Некоторые из этих сравнений можно увидеть на иллюстрации. Вверху — то, что видела мышь, внизу — кадр, реконструированный группой Бауэра. Заметно, что качество реконструкции отнюдь не блестящее. Например, когда на реальном кадре видно человеческое лицо, на реконструированном его можно углядеть лишь при очень большом желании.
У этих недостатков несколько причин. Прежде всего, 8000 нейронов, активность которых была отслежена, покрывают лишь пятую часть зрительной коры мыши. Зона V1 сохраняет геометрическую связь с изображением: нейроны в центре зоны обрабатывают центральную часть поля зрения. Поэтому, очевидно, изображение должно быть более правдоподобным в центре и расплываться по краям. Кроме этого, видео «подгонялось» под результат работы программы DNEM, которая не слишком хорошо предсказывает реальную активность нейронов. Наконец, DNEM получает видеоданные в разрешении, в три раза худшем, чем острота мышиного зрения (видимо, для экономии вычислительных ресурсов). Человек видит еще лучше мыши, так что было бы странно ожидать от синтезированных роликов HD-качества.
Однако если сравнивать реконструкции с эталонными видео не на глаз, а математически, корреляция «пиксель к пикселю» достигает 0,57. В предыдущих исследованиях этот показатель не превышал 0,24. В связи с этим исследователи называют свои результаты «первой высококачественной реконструкцией» видеороликов, показанных мышам.
Возможно, действительно высокого качества можно достичь, если просканировать активность большего количества нейронов и усовершенствовать используемый ИИ.
Что подобные исследования дают нейробиологам? Заменить «черный ящик» живой зрительной коры на не менее «черный» искусственной нейросети — это достижение или нет? Разумеется, само по себе это не дает новых идей о том, как работает мозг. Однако если ИИ действительно обеспечит синхронный перевод между изображением на экране и активностью мозга, ученые получат своего рода виртуальную лабораторию. Вместо живой зрительной коры, следить за которой сложно и затратно, можно будет использовать ее виртуальный «слепок». Такой модели можно предъявить сколько угодно изображений и проверить на ней любые гипотезы о работе живого мозга. Ученые получат очень дешевый и удобный полигон для исследований, пусть и предварительных. Гипотезы, подтвержденные на «виртуальном мозге», можно будет проверить на животных.
Мнение редакции может не совпадать с точкой зрения автора