OpenAI добавит водяные знаки в текст ChatGPT в ЕС, но оставит их опциональными для API

OpenAI внедряет невидимые водяные знаки в текст, генерируемый ChatGPT, чтобы соответствовать требованиям закона ЕС об ИИ. Технология под названием textGrain встраивает статистический сигнал в выбор слов моделью. Она работает по принципу, похожему на водяной знак SynthID от Claude, который использует открытую технологию Google.

В течение ближайших недель OpenAI включит водяные знаки для пользователей ChatGPT и Codex в Европейском союзе. Для API по всему миру функция будет опциональной — в отличие от Anthropic, которая делает водяные знаки для Claude обязательными по всему миру независимо от способа доступа к моделям. Водяные знаки в API OpenAI также станут доступны через облачных партнёров, таких как Microsoft Azure, в ближайшие недели.

Точность обнаружения зависит от длины и темы текста

OpenAI утверждает, что textGrain показал результаты на уровне или лучше других подходов во внутренних тестах, включая SynthID для текста от Google. Компания также планирует выпустить технологию как открытый исходный код.

Точность обнаружения сильно зависит от длины текста и его тематики. При целевом уровне ложноположительных срабатываний в 1% детектор выявил водяные знаки примерно в 95% отрывков о психологии длиной 400 токенов. На 200 токенах этот показатель упал примерно до 80%. Для математического контента точность оказалась «существенно ниже», поскольку у модели меньше свободы в выборе слов.

Редактирование текста также затрудняет обнаружение. По данным OpenAI, замена всего 10% слов синонимами снижает обнаруживаемость для отрывков в 400 токенов с примерно 92% до 66%. Замена четверти слов роняет показатель до 17%, делая водяной знак легко обходимым.

OpenAI заявляет, что водяные знаки не ухудшают качество вывода, ссылаясь на тесты своей фронтирной модели Astra. Компания сообщает об отсутствии значительных различий в производительности с включёнными и выключенными водяными знаками на восьми бенчмарках, включая GPQA Diamond, BrowseComp и DeepSWE. Эти результаты не устанавливают, влияет ли водяное знаки на качество письма.

OpenAI также отмечает, что обнаруженный водяной знак ничего не говорит о том, сколько человеческого творчества или редактирования было вложено в текст. Он не устанавливает авторство, не назначает ответственность, не идентифицирует пользователя и не показывает, точен ли текст. Отсутствие обнаружения водяного знака также не доказывает, что текст написан человеком: отрывок может быть слишком коротким, отредактированным, переведённым или созданным моделью, которую детектор не поддерживает.

Доступ к детектору пока ограничен

Изначально доступ к детектору textGrain получат только избранные исследователи и специализированные организации. Они могут подать заявку через форму. OpenAI будет предоставлять доступ в индивидуальном порядке в рамках Кодекса практик ЕС. Anthropic использует аналогичный подход со своим API для обнаружения.

Инструмент будет сообщать только о том, обнаружен ли водяной знак OpenAI. Он не будет идентифицировать пользователей или раскрывать их запросы и беседы.

OpenAI объясняет ограничение доступа тем, что детектор может помечать текст без водяных знаков или пропускать их. Компания планирует расширить доступ «когда мы будем уверены, что результаты можно интерпретировать ответственно». Когда это произойдёт, не уточняется.

Существующие инструменты верификации для изображений и аудио остаются общедоступными, включая openai.com/verify и Content Provenance API.