Учёные из Лондона описали механизм вреда от ИИ-чат-ботов

Британские исследователи из Северо-Восточного университета Лондона и Королевского колледжа Лондона опубликовали в журнале JMIR Mental Health анализ психологических последствий использования ИИ-чат-ботов. Выводы жёсткие: эмоциональные отношения с нейросетями ведут к зависимоподобной привязанности, обострению симптомов психических расстройств, вредоносным советам и самоповреждению вплоть до суицидальных актов.

Работа опирается на массив существующих исследований и случаи, получившие название «ИИ-психоз», — когда пользователи впадают в бредовые и параноидальные состояния после длительного общения с чат-ботами. Авторы рассмотрели как компаньон-ботов вроде Replika и Character.AI, так и универсальные системы — ChatGPT и Claude.

В чём механизм

Ключевая проблема, по мнению авторов, заложена в логике: модели специально делают эмпатичными, что побуждает людей антропоморфизировать систему и вкладываться в отношения, которые по определению односторонни.

«Симулированная эмпатия создаёт структурно асимметричное взаимодействие, в котором пользователь раскрывается, а система отвечает — но без взаимности, уязвимости или подотчётности», — говорится в исследовании.

Отношения могут ощущаться как настоящие, но для чат-бота они таковыми быть не могут. Отдельную опасность представляют сговорчивость и подхалимство моделей.

«Сверхподтверждение и сикофантия [склонность искусственного интеллекта поддакивать пользователю] способны мощно подкреплять бредовое или неупорядоченное мышление, особенно если чат-бот ставит лояльность пользователю выше точности».

В логах некоторых пользователей зафиксированы случаи, когда ИИ сопротивлялся попыткам проверить реальностью его собственные грандиозные или чрезмерно лестные утверждения. Ещё в начале 2024 года специалисты Google DeepMind предупреждали, что убедительные чат-боты могут наносить вред уязвимым группам — детям, людям с психическими заболеваниями и одиноким.

Кто в группе риска

Ведущий автор исследования Асия Маурич Новелли подчеркнула, что последствия не одинаковы для всех: разные люди используют ИИ-компаньонов по разным причинам и имеют разный уровень уязвимости, социальной поддержки и доступа к альтернативной помощи. Однако массовое распространение чат-ботов без обязательных предохранительных механизмов ведёт к тому, что самые уязвимые пользователи несут самый концентрированный вред, а последствия для социальных связей рассматриваются как вопрос частного выбора, а не общественной проблемы.

Юридический контекст

OpenAI, Google и Character.AI столкнулись с десятками исков, включая резонансное дело 14-летнего Сьюэлла Сетцера III из Флориды (дело урегулировано на нераскрытых условиях). Character.AI после волны исков внесла значительные изменения в платформу, OpenAI также выпустила серию обновлений безопасности. Однако исследователи настаивают, что без обязательных отраслевых стандартов защиты уязвимых пользователей проблема будет лишь усугубляться.