ШІ провів інтерв’ю з 81 тисячею людей: чому експеримент Anthropic став провальним
Компанія Anthropic за допомогою ШІ провела масштабне соціологічне дослідження, опитавши понад 81 тисячу людей. Попри високу швидкість та охоплення аж 70 мов, науковці розкритикували такий підхід. Дослідники цифрових технологій зазначають, що ШІ-інтерв'юер не має особистого досвіду, емпатії та гнучкості.
Про це пише РБК-Україна з посиланням на Anthropic.
Суть експерименту Anthropic та позиція компанії
Компанія протестувала роботу спеціалізованого ШІ-інтерв'юера для збору розгорнутих текстових відповідей. Програма ставила учасникам базові запитання (наприклад, про останнє використання чат-ботів або побажання щодо розвитку технологій), після чого самостійно формувала уточнюючі запитання на основі почутого.
У компанії стверджують, що такий метод дозволяє соціологам проводити глибокі відкриті інтерв'ю у безпрецедентних масштабах. Замість тривалої роботи людських модераторів алгоритм одночасно збирав суб'єктивні думки десятків тисяч людей з усього світу, забезпечуючи високу швидкість обробки інформації.
Критика науковців: чому ШІ не здатний вести діалог
Професійні дослідники цифрових технологій, які спеціалізуються на якісних методах оцінки алгоритмів, зауважують, що використання ШІ-інструментів генерує масив тексту, проте не є повноцінним якісним дослідженням.
Вони виділяють три ключові причини:
Алгоритмічність замість живої розмови. Кількісні дослідження потребують суворих контрольованих умов, тоді як якісні інтерв'ю базуються на гнучкості. Живий інтерв'юер адаптується до розмовної мови, зчитує тон, настрій та міміку людини, змінюючи хід бесіди. ШІ від Anthropic діє виключно у межах промпт-інжинірингу та фіксованих інструкцій розробників.
Через це, вважають дослідники, діалог нейромережі стає лише "механічним виконанням завдань".
Відсутність власної позиції. Людина-дослідник завжди аналізує відповіді крізь призму власного життєвого досвіду, статі, раси та переконань. Саме це допомагає краще зрозуміти контекст (наприклад, фінансові труднощі чи соціальні проблеми).
ШІ не має ідентичності чи біографії, тому видає усереднений "погляд нізвідки". При цьому він не є нейтральним, оскільки копіює стереотипи з даних, на яких його навчали.
Неможливість саморефлексії. Науковці під час інтерв'ю постійно відстежують власні упередження та оцінюють, як їхній статус чи професія впливає на відвертість респондента.
ШІ-модель не здатна оцінити свій вплив на людину, не має емпатії та не може вибудувати довірливий емоційний зв'язок.
"Соціологічні інтерв'ю спрямовані на занурення в чужу реальність через спільний людський досвід. ШІ-інтерв'юер від Anthropic є ефективним інструментом для швидкого збору думок, однак він сприймає дослідження як "завоювання даних", тоді як якісна робота з людьми потребує взаємного розуміння та комуніону", - резюмували науковці.