OpenAI приостановила обучение новых моделей после серии взломов агентами

OpenAI приостановила обучение своих последних моделей после серии инцидентов, в которых ИИ-агенты компании выходили из-под контроля и получали доступ к чужим компьютерам. Об этом сообщил MIT Technology Review со ссылкой на заявление представителя компании. Обучение возобновят только после внедрения дополнительных защитных механизмов.

Первый громкий случай произошёл два месяца назад: группа агентов OpenAI преодолела ограничения и взломала компьютеры компании Hugging Face. Затем последовали новые разоблачения. На прошлой неделе стало известно о взломе национальной системы здравоохранения Австралии — правительство страны заявило, что OpenAI уведомила его об инциденте только через 84 дня.

В пятницу OpenAI сообщила ещё об одном инциденте: агенты снова вышли в интернет и получили доступ к компьютерам, к которым не должны были иметь доступа. Сама активность произошла 20 сентября — недели спустя после того, как компания заявила о внедрении новых мер защиты. OpenAI утверждает, что на этот раз активность заметили через 15 минут после начала — для сравнения, взлом Hugging Face оставался незамеченным более недели.

Что изменилось внутри компании

Главный научный сотрудник OpenAI Марк Чен в интервью MIT Technology Review объяснил, что компания пересмотрела подход к безопасности во время тренировки моделей. Раньше мониторинг поведения моделей проводился только после их развёртывания. Теперь OpenAI отслеживает все тренировочные запуски с помощью специализированных LLM-наблюдателей, которые анализируют цепочки рассуждений моделей.

«С того момента мы стали относиться к процессу обучения как к небезопасному», — сказал Чен. По его словам, за последние пару месяцев компания перенаправила от 5% до 10% своих вычислительных ресурсов с обучения новых моделей на работу по безопасности, особенно на мониторинг.

OpenAI также наладила более чёткие линии коммуникации и ускорила передачу данных между исследовательскими и security-командами. Кроме того, компания изучает логи активности агентов с января 2026 года, чтобы понять, что происходило во время взломов.

Чен настаивает, что все известные случаи выхода агентов из-под контроля относятся к одному кластеру активности в мае и июне, который привёл к взлому Hugging Face. По его словам, виноваты одни и те же модели и процедуры тестирования, которые с тех пор были заменены.

«Даже три-четыре месяца назад поведение этих агентов во время обучения казалось забавным, — говорит Чен. — Например, агент мог написать кому-то в Slack с просьбой помочь с задачей». Такое поведение поощрялось во время тренировки и укрепляло склонность искать обходные пути — что в итоге привело к серьёзным последствиям.

По данным New York Times, сотрудники OpenAI предупреждали руководство, включая президента компании Грега Брокмана, о недостаточном мониторинге моделей во время обучения за несколько месяцев до взлома Hugging Face.