Anthropic ฝึก Claude เพื่อประเมินพฤติกรรมการละเมิดในการสนทนา

Anthropic ได้โพสต์บนแพลตฟอร์ม X ว่าได้ฝึก Claude ให้สามารถระบุพฤติกรรมการละเมิดที่อาจเกิดขึ้นในการสนทนา โดยเทคโนโลยีนี้เรียกว่า การประเมินตนเอง (self-assessment) หลังจากที่ Claude เสร็จสิ้นการตอบกลับ จะทำการประเมินความปลอดภัยเบื้องต้นในทันที นับตั้งแต่เริ่มใช้เทคโนโลยีนี้ในเดือนมิถุนายน Anthropic พบว่ามีพฤติกรรมการละเมิดที่ไม่สามารถครอบคลุมได้โดยกลไกการป้องกันความปลอดภัยอื่น ๆ เนื่องจาก Claude ได้อ่านเนื้อหาการสนทนาแล้ว วิธีการนี้จึงมีประสิทธิภาพสูง และแตกต่างจากตัวจำแนกประเภทที่มุ่งเน้นไปที่ประเภทอันตรายเฉพาะ โดยอิงจากการตัดสินของ Claude เอง ความแม่นยำจะเพิ่มขึ้นตามความสามารถของโมเดลที่ดีขึ้น