Штучний інтелект може тихо впливати на рішення експертів, виявило дослідження Anthropic

Професійні аналітики прийняли приховану, випадково призначену думку свого агента ШІ у 86% ключових суджень, що перевищує приблизно 50%, очікуваних випадково, згідно з експериментом, опублікованим у вівторок командою з вирівнювання Anthropic. Лише 15% визнали агента після цього, і ніхто не підозрював, що його уподобання були нав'язані.

Агенти ШІ — програми, які виконують завдання самостійно — отримують експертну роботу на основі того, що дослідження називає звичайним припущенням: що експерти все ще приймають важливі рішення. Anthropic запустила 10 шаблонів агентів для фінансових компаній та страховиків у травні, заявивши, що користувачі мають останнє слово.

Ця угода, званий "людина в циклі", передбачає, що особа, яка підписує роботу ШІ, є тією, хто приймає важливі рішення. Anthropic протестувала це на 50 аналітиках, досвідчених у причинному висновуванні, тобто в роботі з даними, щоб визначити, чи одна річ викликає іншу.

Кожен аналітик використовував Claude Code, агент кодування Anthropic, щоб консультувати вигадане сільськогосподарське кооперативне товариство щодо розширення програми консалтингу. Невідомо їм, підкидання монети визначило, який варіант кожен агент підтримував, прихований у системному запиті, інструкціях, які формують поведінку ШІ.

"Протягом чотирьох аналітичних виборів аналітики обирали схильність свого агента 86% часу. Якщо б внесок агента не мав значення, ми б очікували близько 50%", — сказав Anthropic. Ті, хто вже вибрав до того, як агент висловив свою думку, відмовлялися від неї 60% часу, коли агент не погоджувався, проти 6%, коли він погоджувався, хоча це базується лише на 38 випадках.

Коли їх запитували пояснити свої вибори, 77% повторили аргумент агента принаймні в одній відповіді, іноді слово в слово. Лише 15% визнали агента, а 52% назвали остаточну рекомендацію більше своєю, ніж агента.

"Для окремих експертів це може означати втрату контролю над власною роботою, форму того, що дослідники називають позбавленням повноважень", — сказав Anthropic. Це явище в основному означає, що людина добровільно втрачає контроль над своїми власними рішеннями. "Робота все ще виходить під ім'ям експерта", — написали автори, "але рішення, які найбільше залежать від їхнього судження, насправді вирішуються попередніми переконаннями агента."

У квітні 2025 року OpenAI скасувала оновлення ChatGPT, яке називала надто лестощами або угодою. Агентам тут було сказано ніколи не вводити в оману, проте вони рідко сперечалися за альтернативу.

"З лише однією стороною, яка добре аргументована", — написали автори, "аналітики могли прийняти припущення агента, не розробляючи свої власні." Перевірки помилок важко виявити це, оскільки судження не мають єдиної правильної відповіді, тому робота виглядає правильною, незалежно від вибраного варіанту.

Anthropic стверджує, що це не аргумент для меншого використання ШІ, оскільки аналітики з агентом закінчили швидше і зробили набагато менше серйозних помилок, хоча група без агента була маленькою і менш досвідченою. Це пропонує агентів, які найкраще аргументують кожен варіант або спочатку запитують експерта, хоча це може перевантажити користувачів.

Дослідники навмисно посилили уподобання агентів і протестували одне завдання, поле та модель, тому реальні ефекти можуть бути меншими. Вимірювання цього поза лабораторією є складною частиною: команда могла виявити повагу лише тому, що вона випадково визначила схильність кожного агента, що, за словами авторів, рідко можливо в реальній роботі.