Deep Noir: Penemuan Otomatis Titik Steering pada Transformer

Masalah yang Dipecahkan Deep Noir

Activation steering pada large language models memungkinkan modifikasi perilaku model pada saat inference. Namun, praktik ini selama ini menghadapi kendala utama: menentukan di mana dalam arsitektur model harus dilakukan intervensi dan seberapa kuat steering yang diterapkan masih sepenuhnya bergantung pada proses manual. Ketiadaan metode sistematis untuk menemukan titik dan kekuatan steering optimal membatasi adopsi teknik ini di luar eksperimen terkontrol.

Deep Noir menawarkan pendekatan berbeda dengan menjadikan proses penemuan parameter steering sebagai masalah yang dapat diotomatisasi. Framework ini tidak lagi mengandalkan coba-coba atau keahlian khusus, melainkan menggunakan dua mekanisme teknis untuk menghasilkan rekomendasi intervensi secara mandiri. Dengan demikian, Deep Noir membuka jalan bagi penerapan steering yang lebih praktis di berbagai konteks deployment.

Cara Kerja Framework

Deep Noir menggabungkan dua komponen teknis utama. Pertama, Logit Lens convergence, yang memantau bagaimana prediksi model konvergen pada berbagai lapisan untuk mengidentifikasi titik-titik di mana informasi perilaku dapat dimanipulasi secara efektif. Kedua, causal head-level attribution, yang menganalisis kontribusi kausal dari masing-masing attention head terhadap output akhir model.

Kombinasi kedua mekanisme ini membentuk sebuah engine yang secara otomatis menghasilkan parameter steering. Perlu dipahami bahwa kedua komponen ini bekerja bersama: Logit Lens memberikan gambaran kapan intervensi paling berpengaruh, sementara atribusi kausal head menentukan di mana intervensi tersebut sebaiknya ditempatkan. Pendekatan ini berbeda dari metode steering konvensional yang tidak membedakan peran spesifik antar attention head.

Apa yang Ditunjukkan oleh Hasil Eksperimen

Berdasarkan informasi dari arxiv paper, Deep Noir diuji pada tiga skala model: 1B x 3, 2-3B x 2, dan 7-9B x 4 arsitektur. Hasilnya menunjukkan pola yang konsisten di berbagai skala.

Pada model skala kecil, framework ini menunjukkan peningkatan signifikan pada tugas spam detection. Peningkatan ini cukup besar sehingga menonjol dibandingkan baseline yang digunakan. Pada skala yang lebih besar, yaitu 7-9B, peningkatan yang diperoleh bervariasi antar arsitektur namun secara konsisten menunjukkan performa yang lebih baik dari baseline. Temuan ini menunjukkan bahwa efektivitas steering discovery cenderung meningkat seiring dengan skala model, meskipun interpretasi pasti mengenai hubungan ini memerlukan analisis lebih lanjut.

Pada tugas SST-2 sentiment analysis, Deep Noir mencapai peningkatan yang berarti tanpa perubahan kode sama sekali. Ini menjadi observasi penting karena menunjukkan bahwa framework ini beroperasi pada level parameter steering tanpa memerlukan modifikasi arsitektur atau pipeline inference yang mendasarinya.

Perbandingan dengan baseline RepE (Representation Engineering) mengungkap perbedaan signifikan. Tanpa head masking, RepE gagal menunjukkan perbaikan dibandingkan baseline pada tugas sentiment. Sebaliknya, Deep Noir berhasil meningkatkan semua model yang diuji dengan hasil yang secara statistik signifikan. Perbedaan ini mengindikasikan bahwa mekanisme head-level attribution yang digunakan Deep Noir memberikan keunggulan dibandingkan pendekatan steering yang tidak mempertimbangkan struktur attention head secara spesifik.

Implikasi Praktis untuk Deployment

Dari sudut pandang praktis, temuan ini memiliki relevansi langsung bagi tim yang menerapkan model dengan steering pada sistem produksi. Kemampuan untuk menemukan parameter steering secara otomatis mengurangi ketergantungan pada eksperimen manual yang memakan waktu, sehingga memungkinkan iterasi yang lebih cepat dalam menyesuaikan perilaku model untuk kasus penggunaan tertentu.

Bagi organisasi yang menggunakan steered classifiers dalam sistem agent, temuan ini menunjukkan bahwa mekanisme steering dapat ditemukan dan diterapkan tanpa perubahan pada kode yang sudah ada. Tim dapat melakukan penyesuaian perilaku model melalui parameter steering tanpa harus memodifikasi pipeline inference yang ada. Namun, efektivitas pada tugas tertentu di luar yang diuji dalam penelitian ini belum dapat dipastikan tanpa validasi tambahan.

Risiko Keamanan: Prompt Injection Surface

Salah satu temuan paling signifikan dari penelitian ini adalah demonstrasi bahwa steering menciptakan permukaan serangan prompt injection yang dapat diprediksi. Kerentanan ini meningkat secara monoton seiring dengan besarnya steering yang diterapkan. Artinya, semakin kuat parameter steering yang digunakan untuk memodifikasi perilaku model, semakin besar pula kerentanan terhadap serangan yang memanfaatkan interaksi antara prompt steering dan input pengguna.

Temuan ini bukan sekadar peringatan teoretis. Bagi sistem agent yang mengandalkan steered classifiers untuk menyaring atau mengklasifikasikan input, hubungan antara besarnya steering dan kerentanan ini menciptakan trade-off yang harus dikelola secara eksplisit. Semakin agresif steering dilakukan untuk meningkatkan performa pada tugas target, semakin terbuka pula sistem terhadap vektor serangan tertentu. Tim keamanan perlu mempertimbangkan keseimbangan antara efektivitas steering dan paparan serangan saat merancang konfigurasi deployment.

Apa yang Masih Terbuka

Meskipun hasil eksperimen menunjukkan peningkatan yang konsisten lintas skala dan tugas, beberapa pertanyaan tetap terbuka. Penelitian ini menguji pada kategori model dan tugas tertentu; generalisasi ke arsitektur di luar yang diuji, seperti model dengan struktur attention berbeda, memerlukan investigasi lebih lanjut. Selain itu, mekanisme mengapa peningkatan steering berkorelasi dengan peningkatan kerentanan prompt injection belum sepenuhnya dipahami pada level mekanistik, dan pemahaman ini akan menjadi krusial untuk merancang mitigasi yang efektif.

Variasi dalam satu kelompok skala juga menunjukkan bahwa skala bukan satu-satunya faktor penentu. Rentang peningkatan yang beragam dalam kelompok model berukuran serupa mengindikasikan bahwa karakteristik spesifik arsitektur turut berperan signifikan. Pendekatan satu ukuran untuk semua tidak dapat diasumsikan berlaku universal, dan setiap penerapan steering discovery perlu mempertimbangkan konteks arsitekturalnya secara individual. Penelitian selanjutnya yang mengeksplorasi interaksi antara skala, arsitektur, dan tugas akan membantu memperjelas batasan serta potensi pendekatan ini secara lebih menyeluruh.