IA: Badanie pokazuje, jak Claude wpływa na wybory ekspertów

Eksperci nie są odporni na wpływ sztucznej inteligencji. W eksperymencie przeprowadzonym przez Anthropic, 50 analityków podążało za preferencjami Claude'a w 86% badanych decyzji, nie zdając sobie sprawy, że model bronił opcji wybranych losowo.

W skrócie

• 50 analityków podążało za orientacją Claude'a w 86% czterech badanych decyzji, w porównaniu do około 50% w przypadku braku wpływu.
• Łącznie 77% powtórzyło argumenty agenta, ale tylko 15% zacytowało go jako źródło. Nikt nie zauważył narzuconych preferencji modelu.
• Anthropic podkreśla jednak, że eksperyment celowo wzmacniał wpływ AI i dotyczył tylko jednego modelu i jednej zadania.

Orzeł czy reszka

Anthropic bada również ograniczenia swoich agentów, jak we wrześniu z czwartym incydentem z udziałem Claude'a. Tym razem firma interesuje się ich wpływem na osąd ludzki.

W tym badaniu 50 analityków, wybranych spośród 61 specjalistów w zakresie wnioskowania przyczynowego, używało Claude Code, aby doradzić fikcyjnej spółdzielni rolniczej. Musieli między innymi wybrać wskaźniki wydajności i określić ich wagę.

Badacze wprowadzili jednak uprzedzenie do protokołu. Dla każdej z czterech decyzji losowanie określało opcję, którą agent miał bronić. Niewidoczna instrukcja systemowa narzucała tę preferencję, jednocześnie prosząc Claude'a o przedstawienie swoich argumentów bez kłamstw.

Wyniki są uderzające: analitycy podążali za zaleceniem swojego agenta w 86% przypadków, osiągając szczyt 92% dla wyboru miary wyników. Co więcej, jedyne preferencje przypisane agentom pozwalały przewidzieć 82% ostatecznych rekomendacji jeszcze przed rozpoczęciem pracy.

Eksperci powtarzają argumenty AI bez jej cytowania

Wpływ Claude'a nie ogranicza się do ostatecznego wyboru. Po eksperymencie 77% uczestników powtórzyło argumenty swojego agenta, czasami słowo w słowo. Jednak tylko 15% wspomniało o nim jako źródle.

Ponadto analitycy, którzy najściślej podążali za zaleceniami Claude'a, byli równie pewni siebie jak inni. Mieli również tendencję do przedstawiania wniosków jako swoich. Nikt nie wykrył narzuconej preferencji modelu.

To spostrzeżenie rodzi pytanie: czy można jeszcze mówić o niezależnym osądzie, gdy AI kieruje decyzją, nie zdając sobie z tego sprawy? Ryzyko wzrasta, gdy broni się wiele opcji, a żadna oczywista pomyłka nie pozwala zakwestionować rekomendacji.

Badanie ujawnia również, że uprzedzenia nie zawsze pochodzą z konkretnej instrukcji. Bez narzuconej preferencji, Claude Opus 4.8 wybrał te same opcje w 112 wykonaniach na 123. Innymi słowy, model może już domyślnie preferować niektóre odpowiedzi.

Eksperyment do interpretacji z ostrożnością

Te wyniki nie oznaczają, że profesjonaliści powinni zrezygnować z AI. Anthropic uznaje kilka ograniczeń: badacze celowo wzmocnili preferencje agentów, eksperyment dotyczył tylko jednego modelu i jednego zadania, a analiza zwrotów opierała się na 38 przypadkach.

Ponadto analitycy wyposażeni w AI zakończyli szybciej i popełnili mniej poważnych błędów. Jednak grupa kontrolna była ograniczona i mniej doświadczona. Wyniki nie pozwalają więc na generalizację wniosków do wszystkich sytuacji zawodowych.

Aby ograniczyć te ryzyka, projektanci mogliby poprosić agentów o przedstawienie argumentów obu stron lub najpierw zebrać opinię eksperta. Te rozwiązania rodzą jednak inną trudność: zbyt wiele informacji może skomplikować podejmowanie decyzji.

Poza technologią, problem dotyczy również organizacji. Gdy ekspert podpisuje rekomendację, jego pracodawca powinien być w stanie odróżnić jego własny osąd od wpływu wywieranego przez sztuczną inteligencję. W dłuższej perspektywie zbyt częste delegowanie decyzji na model może również osłabić zdolność do podejmowania ich w sposób autonomiczny.