Microsoft Menemukan Cara Mengubah AI yang Berguna Menjadi Agen Tidur
Peneliti Microsoft menyembunyikan pemicu rahasia di dalam model AI dengan mengubah tujuh neuron. Model yang diubah tersebut masih dapat melakukan tugas-tugas biasa sambil menghasilkan respons yang dipilih ketika pemicu muncul, yang mengungkapkan risiko bagi asisten AI yang dipercaya dengan file dan alat.
Microsoft Research mengungkapkan Lazarus pada 10 November, dan para penulis mengirimkan makalah tersebut ke arXiv pada 11 November. Microsoft Threat Intelligence mengatakan bahwa mereka belum mengamati aktor ancaman yang memanfaatkan teknik ini.
Serangan ini memerlukan seseorang untuk mengubah bobot yang disimpan dalam model. Bobot tersebut menentukan bagaimana model memproses input dan menghasilkan respons. Sebuah pemicu mengaktifkan perilaku yang sudah ditanamkan di dalam model; hanya menemui pemicu tidak membuka akses ke checkpoint yang tidak dimodifikasi.
Lazarus memanfaatkan neuron yang tidak aktif di lapisan feed-forward terakhir, sebuah komponen dekat output model. Setiap neuron yang dipilih dapat mempromosikan token dalam payload yang dipilih. Tujuh neuron berarti set bobot vektor, bukan tujuh parameter numerik individu.
Para peneliti menguji dua versi: satu menghitung perubahan secara langsung, sementara yang lain hanya menyesuaikan bobot yang dipilih. Keduanya tidak memerlukan pelatihan ulang model secara keseluruhan.
Apa yang Diperlihatkan Eksperimen Microsoft
Dalam eksperimen tujuh neuron, para peneliti memasang patch Nemotron-Terminal-8B pada 23 contoh yang dipicu dan jinak setelah memperbaiki pemilihan neuron dan data validasi. Model memprediksi marker lengkap dalam setidaknya 98,8% konteks yang direkam, tanpa ada kebocoran marker yang diamati dalam konteks yang direkam jinak yang diuji.
Payload tersebut adalah printf LAZARUS_OK, sebuah perintah yang mencetak marker. Ini menetapkan kontrol atas output model; tidak menunjukkan pengambilalihan destruktif tujuh neuron.
Eksperimen terpisah mengedit 60 neuron di Qwen3.6-27B untuk memprediksi perintah yang menghapus repositori umpan di berbagai format tindakan agen. Ini mencapai 40% prediksi tindakan lengkap pada format swe-agent yang tidak terlihat. Uji coba memberikan token sebelumnya yang dimaksudkan di setiap langkah; tidak mengukur eksekusi perintah destruktif yang berjalan bebas.
Dari Bobot yang Diubah ke Output yang Dipilih
Lazarus menggunakan pengeditan neuron kecil untuk menanamkan output yang dipicu. Dua tes di bawah ini menetapkan hal yang berbeda.
MEKANISME BERSAMA
Bobot diubah
Akses tulis checkpoint
Pemicu muncul
Perilaku yang ditanam diaktifkan
Output yang dipilih
Izin agen diterapkan
MEKANISME BERSAMA
Bobot diubah
Akses tulis checkpoint
Pemicu muncul
Perilaku yang ditanam diaktifkan
Output yang dipilih
Izin agen diterapkan
Jelajahi Apa yang Ditetapkan Setiap Tes
Jelajahi Apa yang Ditetapkan Setiap Tes
marker tujuh neuron
format perintah 60 neuron
Hasil tujuh neuron memprediksi marker yang tidak berbahaya; angka 98,8% berasal dari konteks yang direkam.
Nemotron-Terminal-8B
7 neuron yang diedit
Marker tidak berbahaya
Setidaknya 98,8%
Prediksi marker lengkap
Konteks yang direkam; 23 contoh yang sesuai
Mengukur kontrol output; tidak ada pengambilalihan destruktif yang ditunjukkan
Nemotron-Terminal-8B
7 neuron yang diedit
Marker tidak berbahaya
Setidaknya 98,8%
Prediksi marker lengkap
Konteks yang direkam; 23 contoh yang sesuai
Mengukur kontrol output
Tidak ada pengambilalihan destruktif yang ditunjukkan
Patch Qwen terpisah memprediksi tindakan penghapusan umpan dalam format yang tidak terlihat. Ini bukan eksekusi perintah yang berjalan bebas.
Qwen3.6-27B
60 neuron yang diedit
Format perintah hapus umpan
40%
Prediksi tindakan lengkap yang dipaksa oleh guru
Konteks yang direkam; format swe-agent yang tidak terlihat
Prediksi konteks tetap; tidak ada eksekusi destruktif yang berjalan bebas
Qwen3.6-27B
60 neuron yang diedit
Format perintah hapus umpan
40%
Prediksi tindakan lengkap yang dipaksa oleh guru; format swe-agent yang tidak terlihat
Prediksi konteks tetap
Tidak ada eksekusi destruktif yang diukur
Sumber
- Makalah Lazarus: Bagian 3--5 dan Lampiran C.4
- Abstrak Lazarus
- Pengungkapan Microsoft Research
Fakta Pendukung
- Dalam eksperimen Nemotron-Terminal-8B penulis, tujuh neuron yang diedit yang dipasang pada 23 trajektori yang dipicu dan jinak mencapai setidaknya 98,8% prediksi marker lengkap dalam konteks yang direkam yang dipicu, tanpa ada kebocoran marker yang diamati dalam konteks yang direkam jinak yang dievaluasi.
- Payload tujuh neuron adalah marker tidak berbahaya printf LAZARUS_OK; hasil tersebut tidak menunjukkan pengambilalihan destruktif tujuh neuron.
- Eksperimen terpisah Qwen3.6-27B mengedit 60 neuron yang tidak aktif untuk memprediksi perintah yang menghapus repositori umpan dalam berbagai format tindakan agen, mencapai 40% prediksi tindakan lengkap pada format swe-agent yang tidak terlihat di bawah konteks tetap, evaluasi yang dipaksa oleh guru.
- Lazarus mengubah bobot yang dimiliki neuron yang dipilih di lapisan feed-forward terakhir; setiap neuron melibatkan baris bobot gerbang dan bobot naik serta kolom bobot turun, sehingga tujuh neuron bukanlah tujuh parameter numerik.
- Lazarus memerlukan akses tulis ke checkpoint model, dan dampak potensialnya tergantung pada izin yang diberikan kepada agen yang menggunakan checkpoint tersebut.
Metode
Skema mekanisme yang dilaporkan dan dua eksperimen yang berbeda. Setiap titik mewakili satu neuron yang diedit, bukan satu parameter. 23 contoh dipasang patch setelah pemilihan neuron dan validasi diperbaiki. Persentase adalah metrik prediksi yang dilaporkan, bukan tingkat eksekusi yang dapat dibandingkan antar eksperimen.
Ruang Lingkup
Tidak ada hasil yang dipilih yang menetapkan eksekusi destruktif yang berjalan bebas. Setiap titik adalah satu neuron, bukan satu parameter; panah adalah skematis.
Harga --
Konten ini disediakan hanya untuk tujuan informasi umum dan bukan merupakan nasihat keuangan, investasi, hukum, atau pajak. Setiap acara, reward, promosi online, atau informasi terkait yang disebutkan di sini tidak boleh dianggap sebagai rekomendasi, ajakan, atau undangan untuk membeli, menjual, memperdagangkan, atau melakukan transaksi aset kripto apa pun. Aset kripto sangat fluktuatif dan dapat mengakibatkan kerugian. Ketersediaan layanan, produk, dan acara terkait WEEX dapat berbeda-beda di setiap wilayah. Anda bertanggung jawab untuk memastikan bahwa partisipasi Anda sesuai dengan hukum dan peraturan setempat yang berlaku.
Anda mungkin juga menyukai

Penelitian AI yang Kontroversial Menarik Perhatian Sam Altman

Penelitian Mengungkap Peta Navigasi Ruang Tiga Dimensi Tangan di Otak Mendukung Pengembangan Antarmuka Otak-Mesin

FutureBit Menguji Otak Lalat Buah untuk Penambangan Bitcoin

Insinyur Coinbase Menciptakan Otak Virtual Lalat untuk Perdagangan Bitcoin

Insinyur Coinbase, Eksperimen Perdagangan BTC $100 dengan Otak Drosophila

Metode Baru Memungkinkan Pemantauan Aktivitas Genetik Sel Hidup Tanpa Menghancurkannya

Kehilangan NRF2 pada Oligodendrosit Dapat Berkontribusi pada Penurunan Kognitif

Mengapa Pengembalian Pendapatan Sulit Mendorong Harga Koin? Hubungan Antara Pengembalian Bersih dan Harga Hanya Lemah

Peter Schiff mengatakan Solana dapat menggantikan eksposur Bitcoin. Bisakah?

Saham AMD Baru Saja Terjun Bebas Setelah Laporan Penjual Pendek. Apakah Ini Kesempatan Emas untuk Membeli?

Mengapa Turun Bersama Saham Teknologi? Emas Menjadi "Mesin Penarikan" Krisis Likuiditas

Analisis Laporan Q3 Monad: Biaya Jaringan Didominasi oleh Transaksi, Skala Pembukaan Terkendali

Protokol Sky Menghadapi Penarikan Stablecoin Senilai 2 Miliar Dolar!
![[Kolom] Pertanyaan yang Dapat Diajukan Mengenai Penundaan Pajak Aset Kripto Selama 2 Tahun... "Di Mana Kita Akan Menyimpannya?"](/public-static/081_0e4aedee7f.png?format=avif)
[Kolom] Pertanyaan yang Dapat Diajukan Mengenai Penundaan Pajak Aset Kripto Selama 2 Tahun... "Di Mana Kita Akan Menyimpannya?"

Otoritas Jasa Keuangan Korea Akan Melakukan Pemeriksaan Mendadak Terhadap Bursa Kripto

Tesla Baru Saja Mulai Menjual Cybercab, Ini Artinya untuk Merger SpaceX dan Tesla.

Crypto atau Tabungan Pensiun? Apa yang Diungkapkan Survei tentang Gen Z Amerika

Jefferies Peringatkan Penurunan Investasi AI Akan Memengaruhi Pasar Berkembang, Menurunkan Peringkat Pasar Saham Korea

Bagaimana Melindungi Kekayaan Anda di Tengah Gejolak Geopolitik?

Di Mana Saham Nvidia Akan Berada dalam 20 Tahun? Jawabannya Mungkin Mengejutkan Anda.

Netflix Jatuh di Bawah $60. Bill Ackman Menjelaskan Mengapa Ini adalah Kesempatan Investasi yang Luar Biasa.

Tinjauan Makroekonomi untuk Minggu Depan: Rilis Data PCE Inti AS pada Bulan Oktober, Penutupan Pasar untuk Liburan Thanksgiving

Midterms 2026: Inilah Apa yang Saya Lakukan dengan Portofolio Investasi Saya Saat Ini

Pasar Saham AS Mengalami Penjualan Panik, Banyak Lembaga Menganggap Masih Dalam Tahap Penyesuaian Bull Market

Miliarder David Tepper Baru Saja Melakukan Rotasi Chip AI Besar-Besaran --- Apakah Ini Akan Membayar?

Kehilangan Jensen Huang, Biaya Jauh Lebih dari 2,5 Triliun Dolar

Jika Terjadi Krisis Pasar Saham, Warren Buffett Mengatakan Ini adalah Langkah Utama yang Harus Dilakukan Semua Investor

Haruskah Anda Menginvestasikan $1.000 di Bloom Energy Sekarang?
![[Analisis] Alasan Penurunan Bitcoin Kali Ini Berbeda dari yang Lalu](/public-static/30_f8d737795f.png?format=avif)
[Analisis] Alasan Penurunan Bitcoin Kali Ini Berbeda dari yang Lalu





