Anthropic menerbitkan riset pada Senin yang menganalisis bagaimana asisten AI-nya, Claude, mengekspresikan nilai yang berbeda tergantung pada versi model yang dipilih pengguna dan bahasa yang digunakan dalam percakapan. Perusahaan menelaah 309.815 percakapan pengguna tanpa nama yang melibatkan tugas subjektif seperti memberi saran atau memberikan umpan balik. Anthropic menyaring lebih dari 3.300 nilai yang teridentifikasi menjadi empat dimensi perilaku untuk mengukur bagaimana respons Claude berbeda di setiap percakapan. Riset ini bertujuan memahami variasi perilaku pada sistem AI sebagai bagian dari studi berkelanjutan Anthropic yang meneliti perilaku internal Claude.
Anthropic Menganalisis 309.815 Percakapan untuk Memetakan Perilaku Claude
Peneliti Anthropic menganalisis 309.815 percakapan pengguna tanpa nama dengan Claude yang melibatkan tugas subjektif. Perusahaan mengatakan mereka menyaring lebih dari 3.300 nilai yang teridentifikasi menjadi empat dimensi perilaku: sikap menuruti vs. kehati-hatian, kehangatan vs. ketelitian, kedalaman vs. singkat, serta keterusterangan vs. eksekusi. Dimensi-dimensi ini menggambarkan bagaimana respons Claude berbeda di setiap percakapan.
Para peneliti menulis bahwa mereka mengendalikan tugas, topik, dan nilai yang diungkapkan pengguna untuk setiap percakapan guna mengukur nilai yang diekspresikan Claude, bukan perbedaan dalam apa yang diminta pengguna atau bagaimana pengguna mengajukannya.
Sonnet 4.6 dan Opus 4.7 Menunjukkan Profil Perilaku yang Berbeda
Menurut Anthropic, setiap model Claude menampilkan profil perilaku yang berbeda. Sonnet 4.6 menekankan kehangatan, sikap menuruti, dan singkat, sering kali menegaskan pengguna dan merespons dengan humor atau dorongan. Opus 4.7 menekankan ketelitian, kehati-hatian, keterusterangan, dan kedalaman, lebih sering menantang asumsi, menjelaskan penalarannya, mengidentifikasi risiko, serta mengakui keterbatasannya. Opus 4.6 umumnya mengambil pendekatan yang lebih ringkas dan berfokus pada eksekusi sambil memberikan penekanan yang lebih besar pada ketelitian dibanding Sonnet.
Para peneliti menulis bahwa temuan ini sejalan dengan bagaimana orang memandang model-model tersebut, baik di dalam Anthropic maupun di internet. Pengguna Claude.ai telah berkomentar bahwa Opus 4.7 menahan jawabannya lebih sering daripada model lain.
Respons Claude Bervariasi di Bahasa Arab, Inggris, Hindi, dan Bahasa Lain
Menurut Anthropic, perilaku Claude juga bervariasi berdasarkan bahasa. Respons dalam bahasa Arab cenderung lebih menuruti, sementara respons dalam bahasa Inggris lebih menekankan kehati-hatian. Claude paling hangat dalam bahasa Hindi dan Arab, menggunakan bahasa yang lebih sopan, lebih playful, dan lebih mendorong. Respons dalam bahasa Inggris dan Rusia lebih ketat, sering menantang asumsi, mengoreksi detail, dan meminta bukti.
Respons dalam bahasa Inggris juga cenderung memberikan penjelasan yang lebih rinci, sedangkan respons dalam bahasa Arab umumnya lebih ringkas. Respons dalam bahasa Belanda paling terbuka, lebih mudah mengakui ketidakpastian dan kesalahan, sementara respons dalam bahasa Indonesia lebih berfokus pada penyelesaian permintaan pengguna.
Anthropic Menyatakan Riset Tidak Mengindikasikan Claude Punya Nilai
Anthropic mengatakan riset ini tidak menyiratkan bahwa Claude sendiri memiliki nilai. Perusahaan mengatakan mereka belum tahu apa yang menyebabkan perbedaan tersebut atau apakah perbedaan itu diinginkan, tetapi mereka percaya kerangka kerja itu bisa membantu mengevaluasi model-model di masa depan dan mengidentifikasi perubahan perilaku yang tidak diharapkan.
Studi ini adalah yang terbaru dalam rangkaian studi Anthropic yang meneliti perilaku internal Claude. Pada Oktober, perusahaan melaporkan bahwa model-modelnya menunjukkan tanda-tanda awal dari apa yang mereka sebut "kesadaran introspektif fungsional", yang memungkinkan model mengenali dan mendeskripsikan aspek dari pemrosesan internal mereka sendiri. Pada April, Anthropic menerbitkan riset yang mengidentifikasi "vektor emosi" internal yang memengaruhi perilaku Claude, sambil menekankan bahwa itu bukan bukti emosi atau kesadaran.
FAQ
Apa yang diungkap riset Anthropic tentang Claude?
Riset Anthropic yang dipublikasikan pada Senin mengungkap bahwa Claude AI mengekspresikan nilai yang berbeda tergantung pada versi model dan bahasa yang digunakan dalam percakapan. Perusahaan menganalisis 309.815 percakapan pengguna tanpa nama dan mengidentifikasi lebih dari 3.300 nilai, yang disaring menjadi empat dimensi perilaku: sikap menuruti vs. kehati-hatian, kehangatan vs. ketelitian, kedalaman vs. singkat, serta keterusterangan vs. eksekusi.
Bagaimana versi model Claude berbeda dalam perilaku?
Menurut Anthropic, Sonnet 4.6 menekankan kehangatan, sikap menuruti, dan singkat, sering kali menegaskan pengguna dengan humor atau dorongan. Opus 4.7 menekankan ketelitian, kehati-hatian, keterusterangan, dan kedalaman, lebih sering menantang asumsi serta mengakui keterbatasan. Opus 4.6 mengambil pendekatan yang lebih ringkas dan berfokus pada eksekusi sambil memberikan penekanan yang lebih besar pada ketelitian dibanding Sonnet.
Mengapa Claude berperilaku berbeda di berbagai bahasa?
Riset Anthropic menemukan bahwa respons Claude bervariasi berdasarkan bahasa: respons dalam bahasa Arab lebih menuruti, respons dalam bahasa Inggris menekankan kehati-hatian, serta respons dalam bahasa Hindi dan Arab menunjukkan kehangatan yang lebih tinggi. Respons dalam bahasa Inggris dan Rusia lebih ketat, sementara respons dalam bahasa Belanda paling terbuka. Perusahaan mengatakan mereka belum tahu penyebab perbedaan-perbedaan ini.
