IA: Một nghiên cứu cho thấy cách Claude định hướng lựa chọn của các chuyên gia

Các chuyên gia không thể tránh khỏi ảnh hưởng của trí tuệ nhân tạo. Trong một thí nghiệm do Anthropic thực hiện, 50 nhà phân tích đã tuân theo sở thích của Claude trong 86% các quyết định được nghiên cứu, mà không biết rằng mô hình này đang bảo vệ các lựa chọn được chọn ngẫu nhiên.

Tóm tắt

• 50 nhà phân tích đã theo dõi định hướng của Claude trong 86% bốn quyết định được nghiên cứu, so với khoảng 50% khi không có ảnh hưởng.
• Tổng cộng, 77% đã lặp lại các lập luận của tác nhân, nhưng chỉ có 15% trích dẫn nó như một nguồn. Không ai phát hiện ra sở thích bị áp đặt lên mô hình.
• Tuy nhiên, Anthropic nhấn mạnh rằng thí nghiệm đã cố tình khuếch đại ảnh hưởng của AI và chỉ tập trung vào một mô hình và một nhiệm vụ.

Đầu hoặc đuôi

Anthropic cũng xem xét giới hạn của các tác nhân của mình, như vào tháng 9 với một sự cố thứ tư liên quan đến Claude. Lần này, công ty quan tâm đến ảnh hưởng của họ đối với phán đoán của con người.

Trong nghiên cứu này, 50 nhà phân tích, được chọn từ 61 chuyên gia về suy diễn nguyên nhân, đã sử dụng Claude Code để tư vấn cho một hợp tác xã nông nghiệp giả tưởng. Họ phải chọn các chỉ số năng suất và xác định trọng số của chúng.

Tuy nhiên, các nhà nghiên cứu đã đưa vào một thiên lệch trong giao thức. Đối với mỗi bốn quyết định, một cuộc rút thăm ngẫu nhiên xác định lựa chọn mà tác nhân phải bảo vệ. Một hướng dẫn hệ thống vô hình đã áp đặt sở thích này, đồng thời yêu cầu Claude trình bày các lập luận của mình mà không nói dối.

Kết quả thật ấn tượng: các nhà phân tích đã theo dõi khuyến nghị của tác nhân của họ trong 86% các trường hợp, với đỉnh điểm là 92% cho lựa chọn đo lường kết quả. Thậm chí còn đáng ngạc nhiên hơn, những sở thích duy nhất được gán cho các tác nhân cho phép dự đoán 82% các khuyến nghị cuối cùng trước khi công việc bắt đầu.

Các chuyên gia lặp lại các lập luận của AI mà không trích dẫn

Ảnh hưởng của Claude không chỉ giới hạn ở lựa chọn cuối cùng. Sau thí nghiệm, 77% người tham gia đã lặp lại các lập luận của tác nhân của họ, đôi khi từng chữ một. Tuy nhiên, chỉ có 15% đề cập đến nó như một nguồn.

Hơn nữa, các nhà phân tích theo dõi chặt chẽ các khuyến nghị của Claude cũng tự tin như những người khác. Họ cũng có xu hướng trình bày các kết luận như của riêng họ. Không ai phát hiện ra sở thích bị áp đặt lên mô hình.

Nhận định này đặt ra một câu hỏi: liệu có thể nói đến phán đoán độc lập khi AI định hướng một quyết định mà không có sự nhận thức của chuyên gia? Rủi ro gia tăng khi có nhiều lựa chọn được bảo vệ và không có sai sót rõ ràng nào cho phép đặt câu hỏi về khuyến nghị.

Nghiên cứu cũng tiết lộ rằng các thiên lệch không phải lúc nào cũng đến từ một chỉ dẫn cụ thể. Không có sở thích bị áp đặt, Claude Opus 4.8 đã chọn cùng một lựa chọn trong 112 lần thực hiện trên 123. Nói cách khác, một mô hình có thể đã ưu tiên một số câu trả lời theo mặc định.

Một thí nghiệm cần được diễn giải cẩn thận

Những kết quả này không có nghĩa là các chuyên gia nên từ bỏ AI. Anthropic thừa nhận một số giới hạn: các nhà nghiên cứu đã cố tình tăng cường sở thích của các tác nhân, thí nghiệm chỉ tập trung vào một mô hình và một nhiệm vụ, và phân tích các sự thay đổi dựa trên 38 trường hợp.

Hơn nữa, các nhà phân tích được trang bị AI đã hoàn thành nhanh hơn và mắc ít lỗi nghiêm trọng hơn. Tuy nhiên, nhóm chứng vẫn nhỏ và ít kinh nghiệm hơn. Do đó, các kết quả không cho phép tổng quát hóa các kết luận cho tất cả các tình huống nghề nghiệp.

Để hạn chế những rủi ro này, các nhà thiết kế có thể yêu cầu các tác nhân trình bày các lập luận của cả hai bên hoặc thu thập ý kiến của chuyên gia trước. Tuy nhiên, những giải pháp này cũng đặt ra một khó khăn khác: quá nhiều thông tin có thể làm phức tạp quá trình ra quyết định.

Ngoài công nghệ, vấn đề cũng liên quan đến các tổ chức. Khi một chuyên gia ký một khuyến nghị, nhà tuyển dụng của họ phải có khả năng phân biệt phán đoán của riêng mình với ảnh hưởng của trí tuệ nhân tạo. Về lâu dài, việc ủy quyền quá thường xuyên cho một mô hình cũng có thể làm yếu khả năng ra quyết định một cách độc lập của họ.