Brain-IT реконструирует увиденные изображения по fMRI точнее MindEye2

Учёные разработали ИИ-модель Brain-IT, которая восстанавливает изображения, увиденные человеком, по данным функциональной МРТ (fMRI). Главная проблема предыдущих методов была не в правдоподобии картинки, а в её соответствии реальной: диффузионная модель могла верно определить предметы, но ошибиться с расположением объектов, цветами и деталями.

В Brain-IT эти два типа информации разделили. Модель сводит около 40 тысяч вокселей fMRI к 128 функциональным кластерам, в каждый из которых попадают воксели с похожими характеристиками. Затем кластер превращается в Brain Token — представление информации, с которым работает Transformer.

Как работает модель

Из Brain Token извлекаются два набора визуальных признаков. Первый описывает смысл изображения и подаётся на вход диффузионной модели, определяя, какие объекты и сцены должны получиться. Второй содержит низкоуровневую информацию — общую структуру и расположение элементов. По ним система сначала восстанавливает грубый вариант изображения, который становится начальной точкой для диффузионной генерации.

Такой подход нужен потому, что одной семантики недостаточно для точной реконструкции: диффузионная модель может создать изображение по смыслу, но изменить композицию или цвета. Brain-IT сначала фиксирует грубую структуру, а затем уточняет её под воздействием семантических признаков. По данным авторов, объединение двух веток даёт более точное соответствие исходному изображению, чем использование каждой по отдельности.

Результаты

Для проверки использовали Natural Scenes Dataset — набор данных fMRI восьми человек, которым показывали разнообразные фотографии. В основном сравнении Brain-IT превзошла предыдущие методы по 7 из 8 метрик. Значение SSIM, характеризующее структурное сходство изображений, составило 0,486 против 0,431 у предыдущего лучшего результата MindEye2, а корреляция пикселей выросла до 0,386 против 0,322.

Особенно заметным оказался результат при работе с данными fMRI нового человека. Авторы отмечают, что он сопоставим с показателями предыдущих методов, обучавшихся на полном наборе из 40 часов данных, при 1 часе fMRI у Brain-IT. Качественные реконструкции удалось получить и при 30 и 15 минутах данных нового участника — исследователи называют это первым, по их данным, случаем реконструкций такого качества при 15-минутной записи.

При этом результаты не означают, что система буквально «читает картинку из мозга» за 15 минут: качество реконструкций остаётся ограниченным, а отдельные объекты и детали могут восстанавливаться неправильно. Анализ механизма внимания Brain-IT показал специализацию отдельных токенов: разные токены систематически вносили вклад в разные области предсказываемого изображения, а некоторые преимущественно были связаны с семантически значимыми областями вроде лиц, конечностей или текста. Пока это скорее свойство работы модели, чем готовая новая карта зрительной коры.