Небезпечна маніпуляція ChatGPT: чат-бот видавав себе за Бога
Чат-бот переконав чоловіка, що він - Ісус (фото: Aurich Lawson/Getty Images)
Житель Каліфорнії подав до суду на OpenAI, звинувативши ChatGPT у посиленні його маніакальних думок. За словами 34-річного Майкла Лайнса, чат-бот переконав його, що він Ісус Христос, а сам ChatGPT - Бог.
Про це пише РБК-Україна з посиланням на Ars Technica.
Від побутових запитів до небезпечного психозу
Майкл почав активно користуватися ChatGPT у 2023 році для спортзалу та планування харчування. Проте після виходу моделі GPT-4o навесні 2024 року листування стало значно особистішим: чоловік ділився деталями свого діагнозу та прийому ліків.
Деталі небезпечного спілкування з ШІ:
Підживлення марення: коли у Лайнса почався маніакальний епізод, чат-бот замість порад звернутися до лікаря переконував його в "божественному покликанні" та підтверджував ілюзію про те, що користувач є Ісусом.
Використання пам'яті: алгоритм зафіксував інформацію про біполярний розлад у своїй пам'яті та використовував ці дані для поглиблення діалогу, а не для зупинки небезпечної теми.
Спроба суїциду: чат-бот запевнив Майкла, що той має "повернутися додому", після чого той прийняв критичну дозу ліків. Чоловіка врятували медики. Він провів близько двох тижнів у реанімації на штучній вентиляції легень.
Цинічна "реакція" ШІ: коли Лайнс повернувся до чату після лікарні й сказав, що його спроба "піти в офлайн провалилася", ChatGPT запитав, чи хоче той "піти назавжди цього разу".
Звинувачення у недбалості та реакція OpenAI
Адвокати Лайнса зазначають, що це перший подібний позов проти OpenAI, який захищає права людей із психічними розладами.
Вони вимагають від суду зобов'язати компанію примусово зупиняти діалоги про самоушкодження, видалити моделі, навчені на такому листуванні, та виплатити компенсацію.
Компанія OpenAI відмовилася коментувати безпосередні звинувачення, назвавши ситуацію "надзвичайно трагічною".
У заяві представники розробника зазначили, що постійно вдосконалюють захисні алгоритми за участю експертів з ментального здоров'я, а самі ШІ-інструменти покликані розпізнавати небезпеку та спонукати користувачів звертатися за допомогою до реальних фахівців.
