Новая нейросеть научилась восстанавливать увиденное человеком изображение прямо по сканам его мозга. Разработка ученых из Института Вейцмана требует всего один час калибровки вместо сорока. Это серьезный скачок для технологий чтения мыслей и нейроинтерфейсов.
- Модель предсказывает структуру и содержание картинки отдельно для большей точности.
- Система обучается на синтетических парах скан и изображение, что снимает дефицит данных.
- Точность пока не идеальна, но торт уже не путают с камнем, хотя сэндвичи вместо пирога случаются.
- Технологию планируют применить для помощи парализованным пациентам и изучения снов.
Как это работает на практике
Раньше нейросетям требовались горы данных. Чтобы научить алгоритм понимать конкретного человека, нужно было около 40 часов сканирования его мозга в аппарате МРТ. Это дорого и муторно. Один час такой процедуры обходится исследователям в 600-1000 долларов.
Команда под руководством Михаль Ирани придумала хитрый обходной путь. Они создали универсальный энкодер. Сначала модель учится предсказывать активность мозга по обычной картинке. Затем этот предсказанный скан подается в декодер, который должен восстановить исходное изображение.
Этот цикл повторяется много раз. В результате система учится генерировать правдоподобные пары скан-картинка самостоятельно. Около 70% данных для обучения были созданы самим ИИ. Это позволило сократить время настройки на нового человека до одного часа.
Где система дает сбой
Чудес не бывает. Модель все еще ошибается в деталях. В одном из тестов алгоритм уверенно превратил изображение торта в три сэндвича. В другом случае собака на экране превратилась в козу.
Зато общий контекст и структура изображения передаются верно. По сравнению с предыдущими попытками реконструкции мысленных образов результат выглядит значительно четче. Раньше на выходе получалось размытое пятно, отдаленно напоминающее объект. Сейчас мы видим узнаваемые формы и цвета.
Разработчики не планируют останавливаться на статичных картинках. Следующий этап включает видео и аудио. В перспективе это даст шанс полностью парализованным людям общаться с внешним миром. Также технология поможет ученым изучать природу флешбэков при посттравматическом стрессе.
Мнение редакции Mr.Android
Обычно такие новости звучат как научная фантастика, но здесь мы видим конкретный инженерный прорыв. Сокращение времени калибровки с 40 часов до одного переводит технологию из разряда лабораторных диковинок в практическую плоскость. Конечно, до бытовых сканеров еще далеко, но когда-нибудь мы будем делиться интересными моментами из своих снов в нейронете.
