Хинтон, Бенджио и 20 исследователей выпустили статью об интеллектуальном взрыве
Джеффри Хинтон, Йошуа Бенджио и ещё два десятка исследователей опубликовали в Кембридже статью об «интеллектуальном взрыве». Они описывают, как ИИ может ускорить собственное развитие и почему к этому нужно готовиться заранее.
- В статье 22 автора, среди них Якуб Пачоцки из OpenAI и сооснователь Anthropic Джек Кларк.
- В Anthropic доля кода, написанного моделями, выросла с единиц процентов до более 80% с начала 2025 года.
- Авторы советуют регуляторам обязать лаборатории отчитываться об автоматизации R&D и допускать внешних аудиторов.
Джеффри Хинтон, Йошуа Бенджио и ещё два десятка исследователей выпустили статью об «интеллектуальном взрыве». Работа вышла в Кембридже, всего у неё 22 автора. Среди них главный научный сотрудник OpenAI Якуб Пачоцки и сооснователь Anthropic Джек Кларк.
Главный вопрос статьи: что будет, если ИИ начнёт ускорять разработку ИИ настолько, что годы прогресса сожмутся в месяцы. Авторы начинают с того, что уже происходит в лабораториях. В Anthropic доля кода, написанного моделями, выросла с единиц процентов до более 80% с начала 2025 года. Доля R&D-задач, которые ИИ выполняет автономно, за полгода выросла с 1% до 26%.
Логика взрыва
Сценарий простой: модели расширяют исследовательский штат, штат делает модели лучше, и цикл повторяется. Компьюта одной лаборатории хватит на эквивалент миллионов топовых исследователей. Если исторические темпы отдачи от исследований сохранятся, то после полной автоматизации прогресс ускорится в 10 раз примерно за полтора года.
Сценарий может и не реализоваться, если упрётся в компьют, данные или длительность претрейнов. Но риски авторы считают серьёзными. Общество не успеет адаптироваться, люди потеряют контроль над моделями, а лидер гонки получит слишком большой перевес.
Что предлагают
Регуляторам советуют обязать лаборатории отчитываться о степени автоматизации R&D и пускать внешних аудиторов проверять модели до внутреннего деплоя. Параллельно нужно заранее подготовить механизмы замедления: лимиты на прирост способностей за период, возможность ставить на паузу конкретные нагрузки в датацентрах, международные соглашения с проверкой исполнения.
По мнению авторов, если взрыв начнётся, решать что-то будет уже поздно.
Для профиТехнические детали: архитектура, цифры, ссылки
Статья доступна по адресу: casp.ac/reports/intelligence-explosion. В работе 22 автора, среди них Джеффри Хинтон, Йошуа Бенджио, главный научный сотрудник OpenAI Якуб Пачоцки и сооснователь Anthropic Джек Кларк.
Авторы приводят данные Anthropic: доля кода, написанного моделями, выросла с единиц процентов до более 80% с начала 2025 года; доля R&D-задач, выполняемых ИИ автономно, за полгода выросла с 1% до 26%. Оценка ускорения: при сохранении исторических темпов отдачи после полной автоматизации прогресс ускорится в 10 раз примерно за полтора года.
Предлагаемые меры: обязательная отчётность лабораторий об автоматизации R&D, внешний аудит моделей до внутреннего деплоя, лимиты на прирост способностей за период, пауза конкретных нагрузок в датацентрах, международные соглашения с проверкой исполнения.
Вопросы и ответы
- Кто авторы статьи?
- 22 исследователя, включая Джеффри Хинтона, Йошуа Бенджио, Якуба Пачоцки из OpenAI и Джека Кларка из Anthropic.
- Что такое интеллектуальный взрыв?
- Сценарий, в котором ИИ ускоряет разработку ИИ настолько, что годы прогресса сжимаются в месяцы.
- Какие меры предлагают авторы?
- Отчётность лабораторий об автоматизации R&D, внешний аудит моделей, лимиты на прирост способностей и международные соглашения.
