ИИ пишет код, который не понимают даже инженеры OpenAI

Треть кода, написанного нейросетями, попадает в продакшен без полного понимания человеком. Даже инженеры OpenAI признаются, что не разбираются в сгенерированных GPU-ядрах.

Главное
  • 35% сгенерированного ИИ кода уходит в продакшен без полного понимания инженерами, по данным Undo
  • 94% разработчиков хотя бы раз за полгода разбирали логику нейросети задним числом
  • Инженеры OpenAI не понимают, что делает сгенерированный код GPU-ядра, рассказал Джордан Нанос
Иллюстрация к новости о том, что ИИ пишет код, который программисты не понимают
Фото: iXBT

Искусственный интеллект всё чаще пишет рабочий код, который не способны осмыслить даже опытные инженеры. Основатель компании Infinity Джереми Никсон рассказал Business Insider, что программисты перестают понимать, что именно собирает языковая модель, а их роль смещается от создания продуктов к «присмотру» за нейросетью.

Проблема оказалась глубже, чем кажется: исследователи фиксируют когнитивный спад и атрофию навыков у специалистов, которые перестают писать код вручную и не осваивают умения, нужные для проектирования крупных систем.

Яркий пример пришёл из самой OpenAI. Технический сотрудник SemiAnalysis Джордан Нанос рассказал, что инженеры OpenAI, читая код GPU-ядра для оптимизации, признавались: они не понимают, что этот код делает. «Можно идти строка за строкой — и везде „нет, нет, нет“, — описал он. — ИИ понимает, ИИ тестирует, а ты видишь результат. Но он выдаёт корректные ядра, которые отлично работают». По мнению Наноса, это не некомпетентность, а смена парадигмы: разработчик задаёт архитектуру и критерии приёмки, а нейросети отдают всё остальное.

Оборотная сторона — ошибки и галлюцинации, которые проскальзывают в продакшен. Amazon ранее в этом году ввела 90-дневный «тест безопасности кода» после серии сбоев, нарушивших обработку заказов. Хотя компания отрицала вину ИИ, внутренние логи и заметки показали обеспокоенность менеджеров «высоким радиусом поражения изменений, созданных с помощью ИИ».

Согласно аналитике компании Undo, 35% сгенерированного нейросетями кода уходит в промышленную среду без полного понимания инженерами, 29% разработчиков сообщают о падении производительности из-за необходимости «распутывать ИИ-код» несколько раз в месяц, а 94% сталкивались с такой ситуацией минимум однажды за полгода.

Пока оптимисты видят в этом естественную эволюцию профессии, критики указывают на тревожный парадокс: индустрия растит поколение инженеров, которые не понимают код, от которого зависит всё более цифровой мир.

Вопросы и ответы

Что происходит с кодом, который пишет ИИ?
35% сгенерированного кода уходит в продакшен без полного понимания инженерами, по данным Undo.
Почему инженеры OpenAI не понимают код?
Они признаются, что не понимают, что делает сгенерированный код GPU-ядра, хотя он работает корректно.

Источники

Материал подготовлен редакцией на основе указанных источников. Как мы работаем