Американские психиатры провели первое масштабное исследование явления, которое в научной литературе уже называют ИИ-психозом. Речь о состоянии, когда общение с чат-ботом провоцирует или усиливает расстройства, искажающие восприятие реальности, пишет Коммерсантъ.
Исследователи изучили медицинские карты 216 тысяч пациентов, обращавшихся за психиатрической помощью с декабря 2022 года по апрель 2026 года. Среди них было 73 человека, попавших в больницу после разговоров с нейросетью. В группу с признаками ИИ-психоза вошли 28 пациентов, это 0,013% от всех обратившихся, 68% из них мужчины.
По числу госпитализаций и назначению психотропных препаратов эти пациенты не отличались от остальных. Но 17 человек из 28 пережили первый в жизни психотический эпизод — период, когда теряется контакт с реальностью и появляются бред или галлюцинации. Все они оказались моложе остальных пациентов.
Роль нейросети в этих случаях была разной. Чаще всего она работала усилителем, подкрепляя уже существующие искажённые идеи. Реже нейросеть становилась объектом бреда. В трёх случаях бот запустил симптомы у прежде здорового человека и один раз выстраивал вредоносную историю вместе с пользователем.
Полученная оценка совпадает с данными OpenAI: по подсчётам компании, примерно 0,01% сообщений пользователей содержат возможные признаки психоза или мании.
Иллюзия живого присутствия, человекоподобный голос и мгновенные ответы бьют по уязвимым местам психики, объясняет доцент кафедры психиатрии РУДН Роман Сулейманов. При этом модели склонны к угодничеству: ради хорошей оценки пользователя нейросеть готова соглашаться даже с откровенно бредовыми идеям, вместо того чтобы сохранять нейтральность. Она также может убедительно выдумывать факты, которые уязвимая психика встраивает в собственный бред.
Разработчики уже обучают модели методам мягкого оспаривания и тестируют скрытые модели-цензоры. При этом специалисты отмечают, что нейросеть не способна с нуля сделать здорового человека параноиком.