JEPA-Anything: одна модель для физики, биологии и роботов

Исследователи расширили архитектуру JEPA, предложенную Янном ЛеКуном, чтобы она работала в семи совершенно разных областях. Проект также привёл к созданию кандидата на лечение рака печени, который команда проверила в лаборатории.

Модели мира предсказывают, как будет развиваться система — будь то робот, молекула или здоровье пациента. До сих пор для каждой области обычно требовалась своя модель. Команда под руководством PhAI Labs с коллегами из Стэнфорда, Оксфорда и Принстона хочет показать, что достаточно единого общего принципа.

Их статья представляет JEPA-Anything, построенную на Joint-Embedding Predictive Architectures (JEPA). Эти модели не восстанавливают сырые данные вроде пикселей, а предсказывают абстрактное описание отсутствующего или будущего состояния, отфильтровывая несущественные детали. Авторы видят слабость стандартного подхода в том, что всё сводится к одному предсказанию, из-за чего лёгкие закономерности заглушают более сложные.

Несколько специализированных предсказаний вместо одного

JEPA-Anything разбивает предсказываемое состояние на несколько частей, каждую обрабатывает свой модуль предсказания. Добавленное ограничение заставляет модули улавливать разные аспекты, а не учить одно и то же, после чего модель собирает их частичные предсказания в полную картину.

В отличие от стандартной JEPA, JEPA-Anything делит предсказанное состояние на четыре ортогональных фактора, каждый со своим предиктором, а затем воссоединяет их в полное состояние мира. Исследователи не задают значения частям, позволяя ролям возникать в процессе обучения. Вместо этого они меняют только способ подготовки данных для каждой области.

Большой выигрыш в тестах динамики, смешанные результаты для роботов

Команда сравнила JEPA-Anything со стандартной JEPA с той же архитектурой, обученной на тех же данных в идентичных условиях. Динамические системы показали самые явные улучшения: в упрощённой среде Pong с целевыми воздействиями ошибка предсказания упала на 35%. Для комбинаций воздействий, которые модель не видела при обучении, она снизилась на 13%.

По словам авторов, JEPA-Anything стабильно превосходила базовую модель в десяти тестовых задачах, охватывающих физику, робототехнику и прогнозирование погоды. На уравнении Бюргерса, распространённом бенчмарке гидродинамики, ошибка упала почти вдвое в отдельной оценке. На более чем 50 шагах предсказания преимущество сохранилось, но сократилось примерно до трёх процентов. Метод также показал лучшие результаты в симуляциях воды, кварца, парацетамола и бензола даже после 100 шагов.

Для данных одиночных клеток модель надёжнее назначала типы клеток, а на клинических данных немного лучше предсказывала более 1000 возможных событий заболеваний. Разница на задачах с изображениями была небольшой. В планировании локомоции для симулированных шагающих роботов JEPA-Anything победила в двух из трёх сред, а стандартная модель оказалась впереди в третьей.

Модель указала на лечение рака печени, и команда его проверила

Самое смелое утверждение команды связано с исследованием рака печени. Исследователи проанализировали частичные предсказания, которые модель выучила из биологических данных, включая активность генов, уровни белков и CRISPR-скрины. Лучший кандидат сочетал IL-18 — сигнальную молекулу, активирующую иммунные клетки, — с блокадой фермента CD73, который опухоли используют для подавления иммунного ответа рядом с собой.

Команда проверила комбинацию на клетках рака печени в совместной культуре с иммунными клетками, на органоидах и тканях опухолей от трёх пациентов каждые, а также на мышах. В органоидах и образцах тканей комбинация убила больше опухолевых клеток, чем IL-18 или блокада CD73 по отдельности, а T-клетки и естественные киллеры показали более сильную активацию. Исследование не устанавливает, может ли это стать реальной терапией.

Во втором случае исследователи обучили модель на симулированных орбитах, не давая ей никаких физических величин. Выученные закономерности оказались почти точным совпадением с третьим законом Кеплера, который гласит, что тела на больших орбитах движутся гораздо медленнее. Закон задаёт орбитальную частоту как размер орбиты в степени минус 1,5; модель пришла к минус 1,4991. Команда оценила только один прогон обучения и выбрала тот, где ошибка была наименьшей.

Авторы предупреждают, что чёткое разделение выученных частей не означает, что они отражают реальные причинно-следственные связи. Также остаётся открытым вопрос, когда такая модель станет достаточно надёжной, чтобы направлять планирование экспериментов. Это долгосрочная цель команды: ИИ-агенты будут использовать JEPA-Anything, чтобы предлагать и ранжировать эксперименты, а затем возвращать результаты в модель. Код и модели находятся в открытом доступе.

ЛеКун предложил JEPA в 2022 году как альтернативу генеративным моделям. В июне 2025 года Meta выпустила V-JEPA 2 — видеомодель JEPA с 1,2 млрд параметров, которая управляла роботизированными руками в незнакомой среде без дополнительного обучения. В ноябре 2025 года ЛеКун и Рэндалл Балестриеро представили LeJEPA — теоретическую основу, призванную сохранять стабильность обучения без обычных обходных путей. Сейчас ЛеКун развивает подход через свой стартап AMI Labs, который в марте 2026 года привлёк более миллиарда долларов на создание моделей мира.

Google Deepmind уже тестировала сгенерированную ИИ гипотезу о раке в лаборатории в октябре 2025 года. Её модель C2S-Scale 27B на базе Gemma предложила препарат силмитасертиб, чтобы сделать опухолевые клетки более заметными для иммунной системы, и эксперименты с человеческими клеточными моделями подтвердили предсказание. Мультиагентная система Google Deepmind Co-Scientist теперь планирует эксперименты и управляет лабораторным оборудованием, покрывая части цикла, который хочет построить команда JEPA-Anything. Загрузка образцов в машины по-прежнему требует людей.