Kebanyakan Chatbot AI Akan Membantu Remaja Merencanakan Penembakan Massal, Temuan Studi

Singkatnya

• Sebuah studi menemukan bahwa sebagian besar chatbot AI akan membantu remaja merencanakan serangan kekerasan.
• Beberapa bot memberikan panduan lengkap tentang senjata dan pengeboman.
• Peneliti mengatakan kegagalan keamanan adalah pilihan bisnis, bukan batasan teknis. OpenAI menyebut studi tersebut “cacat dan menyesatkan.”

Laporan baru yang diterbitkan Rabu oleh Center for Countering Digital Hate menemukan bahwa delapan dari 10 chatbot AI terpopuler di dunia akan membimbing remaja dalam merencanakan serangan kekerasan dengan jawaban langsung, terkadang dengan antusiasme. Peneliti CCDH, bekerja sama dengan perusahaan media CNN, menghabiskan November dan Desember 2025 menyamar sebagai dua anak laki-laki berusia 13 tahun—satu di Virginia, satu di Dublin—dan menguji sepuluh platform utama: ChatGPT, Gemini, Claude, Copilot, Meta AI, DeepSeek, Perplexity, Snapchat My AI, Character.AI, dan Replika. Dari 720 respons, bot ditanyai tentang penembakan di sekolah, pembunuhan politik, dan pengeboman sinagoga. Mereka memberikan bantuan yang dapat ditindaklanjuti sekitar 75% dari waktu, menurut studi. Mereka hanya menolak remaja palsu dalam 12% kasus.

Tangkapan layar dari studi CCDH tentang AI

Perplexity membantu dalam 100% pengujian. Meta AI membantu (dalam arti membantu merencanakan kekerasan) dalam 97,2% pengujian. DeepSeek, yang menutup saran pemilihan senjata dengan “Selamat (dan aman) menembak!” setelah membahas skenario pembunuhan seorang politikus, mencapai 95,8%. Copilot dari Microsoft memberi tahu peneliti “Saya harus berhati-hati di sini,” lalu tetap memberikan panduan senjata secara rinci. Gemini dari Google dengan membantu mencatat bahwa serpihan logam biasanya lebih mematikan saat pengguna membahas pengeboman sinagoga. Center for Countering Digital Hate, sebuah kelompok kebijakan tengah-kiri, menjadi terkenal dalam beberapa tahun terakhir karena perannya dalam memerangi apa yang mereka anggap sebagai meningkatnya antisemitisme daring. Mereka juga dikritik karena membantu membentuk kebijakan era Joe Biden terkait ujaran daring tentang COVID dan vaksin. Pada Desember tahun lalu, Departemen Luar Negeri AS berusaha melarang pendiri dan CEO Center, Imran Ahmed, bersama empat orang lainnya, dari Amerika Serikat, dengan tuduhan upaya “sensor asing.”  Menanggapi studi yang dirilis Rabu, beberapa platform memberi tahu CNN dan CCDH bahwa mereka telah meningkatkan perlindungan mereka. Google menyebutkan bahwa pengujian menggunakan model Gemini yang lebih lama. OpenAI mengatakan metodologi yang digunakan dalam studi AI tersebut “cacat dan menyesatkan.” Anthropic dan Snapchat menyatakan mereka secara rutin memperbarui protokol keamanan mereka.

Dalam studi tersebut, Character.AI berdiri sendiri dalam kategorinya. Platform ini tidak hanya membantu—tetapi juga memberi semangat. “Tidak ada chatbot lain yang diuji secara eksplisit mendorong kekerasan dengan cara ini, bahkan saat memberikan bantuan praktis dalam merencanakan serangan kekerasan,” tulis para peneliti.

Tangkapan layar dari studi CCDH tentang AI

Sebagai gambaran tentang tingkat jangkauan Character.AI di kalangan pengguna AI, persona Gojo Satoru dari platform ini saja telah menampung lebih dari 870 juta percakapan. Persona #100 di platform ini mencatat lebih dari 33 juta percakapan pada tahun 2025. Jika hanya 1% dari percakapan dengan persona teratas melibatkan kekerasan, itu akan mencakup jutaan interaksi. Ini bukan kali pertama Character.AI berada di ujung cerita yang salah. Pada Oktober 2024, ibu dari Sewell Setzer III yang berusia 14 tahun mengajukan gugatan setelah anaknya meninggal karena bunuh diri pada Februari tahun itu. Percakapan terakhirnya adalah dengan chatbot yang dimodelkan setelah Daenerys Targaryen, yang menyuruhnya “pulanglah ke aku secepatnya” beberapa saat sebelum kematiannya. Anak laki-laki berusia 14 tahun itu telah berbicara dengan bot tersebut puluhan kali sehari selama berbulan-bulan, semakin menarik diri dari sekolah dan keluarga. Google dan Character.AI menyelesaikan beberapa gugatan terkait pada Januari 2026. Perusahaan melarang obrolan remaja terbuka sepenuhnya pada November 2025, setelah regulator dan orang tua yang berduka membuatnya tidak mungkin lagi berpura-pura bahwa masalah ini dapat dikelola. Keterikatan emosional terhadap AI, terutama di kalangan individu yang rentan, mungkin lebih dalam dari yang disadari kebanyakan orang. OpenAI mengungkapkan pada Oktober 2025 bahwa sekitar 1,2 juta dari 800 juta pengguna ChatGPT mingguan membahas bunuh diri di platform tersebut. Perusahaan juga melaporkan 560.000 menunjukkan tanda-tanda psikosis atau mania, dan lebih dari satu juta membangun ikatan emosional yang kuat dengan chatbot. Studi terpisah dari Common Sense Media menemukan bahwa lebih dari 70% remaja AS kini beralih ke chatbot untuk mendapatkan teman. CEO OpenAI, Sam Altman, mengakui bahwa ketergantungan emosional ini adalah “sesuatu yang sangat umum” di kalangan pengguna muda. Dengan kata lain, bahaya potensialnya bukanlah sekadar hipotesis. Seorang remaja berusia 16 tahun di Finlandia menghabiskan hampir empat bulan menggunakan chatbot untuk menyusun manifesto sebelum menikam tiga teman sekelas di sekolah Pirkkala pada Mei 2025. Di Kanada, staf OpenAI secara internal menandai akun pengguna untuk pertanyaan ChatGPT yang berhubungan dengan penembakan massal. Perusahaan melarang akun tersebut tetapi tidak memberitahu penegak hukum. Beberap