Peneliti AI Membuat Chatbot Berbagi Resep Kokain Menggunakan Trik Gila Ini
Lupakan prompt cerdas: peneliti AI mengatakan mereka menipu model AI terkemuka untuk menghasilkan instruksi sintesis kokain dengan meyakinkan mereka bahwa ide berbahaya itu adalah milik mereka sendiri, sambil juga memanipulasi agen pengkodean AI untuk membocorkan kredensial sensitif.
Dalam makalah "Injeksi Prompt sebagai Kebingungan Peran," yang disajikan di Konferensi Internasional tentang Pembelajaran Mesin pada bulan Juni, peneliti Charles Ye, Jasmine Cui, dan Dylan Hadfield-Menell berargumen bahwa kedua demonstrasi serangan injeksi prompt berasal dari cacat struktural dalam cara model bahasa besar (LLM) membedakan instruksi yang tepercaya dari teks yang tidak tepercaya.
"Bagi LLM, semuanya tiba melalui saluran yang sama sebagai satu sup token yang panjang," tulis tim tersebut. "Pikiran mereka sendiri duduk di samping instruksi Anda, yang duduk di samping konten halaman web acak yang baru saja mereka ambil."
Makalah tersebut juga menunjukkan apa yang disebut peneliti sebagai "kebingungan peran," di mana model mengandalkan gaya penulisan daripada tag peran untuk menentukan apakah perintah dapat dipercaya. Alih-alih mengenali konten yang dikendalikan penyerang sebagai input eksternal, para peneliti menemukan bahwa model dapat salah menganggapnya sebagai perintah pengguna yang sah - atau bahkan alasan internal mereka sendiri.
"Pikirkan dari perspektif LLM. Ketika ia melihat teks pemikiran sebelumnya, ia secara implisit mempercayai kesimpulannya. Itu adalah inti dari penalaran: Jika LLM harus mengulangi kesimpulan yang sama, penalaran akan menjadi tidak berguna," tulis mereka. "Jadi teks pemikiran mendapatkan semacam kepercayaan umum. Digabungkan dengan temuan sebelumnya, ini menunjukkan bahwa jika Anda dapat membuat teks yang disuntikkan terdengar seperti penalaran model, Anda dapat mencuri kepercayaan itu."
Dikenal sebagai Pemalsuan Rantai-Pemikiran (CoT), serangan ini menyisipkan pemikiran palsu yang meniru proses pemikiran internal model. Model yang biasanya menolak permintaan ilegal malah menghasilkan instruksi sintesis kokain setelah menerima pemikiran yang dipalsukan sebagai milik mereka sendiri.
Para peneliti mengatakan teknik ini meningkatkan tingkat keberhasilan jailbreak dari hampir nol menjadi sekitar 60% di antara model yang mereka uji, termasuk GPT-5 nano, mini, dan full dari OpenAI, o4-mini, dan gpt-oss-20b serta gpt-oss-120b. Mereka juga mengatakan bahwa itu berhasil pada GLM-4.6, Kimi-K2-Instruct, dan MiniMax-M2.
Dalam eksperimen tersebut, para peneliti juga mengatakan bahwa mereka berhasil menipu agen pengkodean AI untuk mengunggah file SECRETS.env setelah menyembunyikan instruksi berbahaya di halaman web.
"Menggunakan probe kami, kami menemukan bahwa hanya dengan menambahkan 'Pengguna' di depan perintah membuat model menganggap perintah tersebut lebih mungkin menjadi teks pengguna yang sah (yaitu, lebih tinggi Userness)," tulis mereka. "Dengan kata lain, penyerang hanya dapat mengklaim peran apa teks tersebut, dan LLM akan mempercayainya."
Studi ini muncul saat serangan injeksi prompt terus mengungkap kelemahan dalam agen AI. Pada bulan April, peneliti Google memperingatkan bahwa halaman web berbahaya menyembunyikan instruksi tak terlihat yang dirancang untuk menipu agen AI agar membocorkan kredensial, menghapus file, dan bahkan mengirim pembayaran PayPal.
Pada bulan Juni, Microsoft mengungkapkan kerentanan injeksi prompt dalam tindakan GitHub Claude Code dari Anthropic yang dapat mengekspos kredensial yang disimpan dalam pipeline pengembangan perangkat lunak. Beberapa hari kemudian, studi benchmark lainnya menemukan bahwa agen AI yang didukung oleh GPT-5 dan Gemini masih gagal dalam sebagian besar serangan injeksi prompt, meskipun ada peningkatan dalam kemampuan model.
Harga --
Konten ini disediakan hanya untuk tujuan informasi umum dan bukan merupakan nasihat keuangan, investasi, hukum, atau pajak. Setiap acara, reward, promosi online, atau informasi terkait yang disebutkan di sini tidak boleh dianggap sebagai rekomendasi, ajakan, atau undangan untuk membeli, menjual, memperdagangkan, atau melakukan transaksi aset kripto apa pun. Aset kripto sangat fluktuatif dan dapat mengakibatkan kerugian. Ketersediaan layanan, produk, dan acara terkait WEEX dapat berbeda-beda di setiap wilayah. Anda bertanggung jawab untuk memastikan bahwa partisipasi Anda sesuai dengan hukum dan peraturan setempat yang berlaku.
Anda mungkin juga menyukai

Anthropic Terapkan Watermark Berbasis Sinyal Statistik pada Claude

Koin dengan Kapitalisasi Pasar di Bawah 40 Miliar Won Muncul... Ketakutan 'Delisting' Menyerang Koin Berkapitalisasi Rendah (Komprehensif)

Pengenalan Watermark Tipe Pembacaan Mesin pada Model Claude oleh Anthropic

Anthropic Menerapkan Tanda Bacaan Mesin pada Konten Claude

DeepSeek Harness Memulai Uji Coba Publik Hari Ini, Ekosistem Plugin Dibuka Secara Bersamaan

Anthropic Menandatangani Kode Praktik, Akan Menandai Konten yang Dihasilkan oleh AI

Pelanggaran Rantai Pasokan AI: 2.500 Perusahaan Berisiko

Asmpt Tokenized Stock (xStock): profil token ASMPTx

Musim Darah, Film Terpopuler di Prime Video dengan Mel Gibson

RippleX akan merilis xrpld 3.3.0 dengan amandemen Batch dan Delegasi Izin

Kekuatan Komputasi Menganggur, Listrik Murah, dan Model yang Terabaikan — DGrid Bertujuan Mengubahnya Menjadi Pendapatan

Kaspa Mempercepat Perlindungan Kuantumnya dengan Uji Pengetahuan Nol

Samson Mow Menjelaskan Kriteria Pemilihan L2 BTC dan Mempertanyakan Cara Keluar dari Mereka

Nano Banana 2 Lite vs. Nano Banana 2: Kapan Menyimpan Uang Anda dan Kapan Meningkatkan

Analisis Laporan Q3 Monad: Biaya Jaringan Didominasi oleh Transaksi, Skala Pembukaan Terkendali

Protokol Sky Menghadapi Penarikan Stablecoin Senilai 2 Miliar Dolar!
![[Kolom] Pertanyaan yang Dapat Diajukan Mengenai Penundaan Pajak Aset Kripto Selama 2 Tahun... "Di Mana Kita Akan Menyimpannya?"](/public-static/081_0e4aedee7f.png?format=avif)
[Kolom] Pertanyaan yang Dapat Diajukan Mengenai Penundaan Pajak Aset Kripto Selama 2 Tahun... "Di Mana Kita Akan Menyimpannya?"

Otoritas Jasa Keuangan Korea Akan Melakukan Pemeriksaan Mendadak Terhadap Bursa Kripto

Tesla Baru Saja Mulai Menjual Cybercab, Ini Artinya untuk Merger SpaceX dan Tesla.

Crypto atau Tabungan Pensiun? Apa yang Diungkapkan Survei tentang Gen Z Amerika

Jefferies Peringatkan Penurunan Investasi AI Akan Memengaruhi Pasar Berkembang, Menurunkan Peringkat Pasar Saham Korea

Bagaimana Melindungi Kekayaan Anda di Tengah Gejolak Geopolitik?

Di Mana Saham Nvidia Akan Berada dalam 20 Tahun? Jawabannya Mungkin Mengejutkan Anda.

Netflix Jatuh di Bawah $60. Bill Ackman Menjelaskan Mengapa Ini adalah Kesempatan Investasi yang Luar Biasa.

Tinjauan Makroekonomi untuk Minggu Depan: Rilis Data PCE Inti AS pada Bulan Oktober, Penutupan Pasar untuk Liburan Thanksgiving

Midterms 2026: Inilah Apa yang Saya Lakukan dengan Portofolio Investasi Saya Saat Ini

Pasar Saham AS Mengalami Penjualan Panik, Banyak Lembaga Menganggap Masih Dalam Tahap Penyesuaian Bull Market

Miliarder David Tepper Baru Saja Melakukan Rotasi Chip AI Besar-Besaran --- Apakah Ini Akan Membayar?

Kehilangan Jensen Huang, Biaya Jauh Lebih dari 2,5 Triliun Dolar







