Bagaimana Anker Semantik dari Model Bahasa Beku Memutus Kesalahan Self-Referensial dalam Adaptasi Waktu Uji

Apa Itu Wild Test-Time Adaptation

Wild test-time adaptation (WTTA) adalah pendekatan untuk memperbarui model pembelajaran mesin secara langsung selama inferensi, ketika data uji berdatangan dalam batch kecil. Berbeda dengan pelatihan konvensional yang menggunakan kumpulan data besar, WTTA beroperasi di bawah kondisi pergeseran distribusi yang terjadi bersamaan dan perubahan proporsi kelas yang berubah-ubah sepanjang waktu.

Konteks ini penting karena dalam praktiknya, model tidak pernah menghadapi data yang persis sama dengan data pelatihan. Ketika distribusi data berubah di lapangan, model perlu beradaptasi tanpa akses penuh ke data historis atau label ground truth. WTTA menjadi relevan untuk skenario di mana model harus bertahan menghadapi perubahan kondisi secara real-time.

Masalah Loop Self-Referensial

Sebagian besar metode WTTA yang ada menghasilkan sinyal adaptasi dari model itu sendiri. Sinyal ini mencakup ketidakpastian prediksi, keandalan sampel, dan geometri fitur lokal. Ketika model sumber masih andal, pendekatan ini bisa berjalan masuk akal.

Namun, ketika model menghadapi pergeseran distribusi yang signifikan, model menjadi tidak andal. Sinyal adaptasi yang berasal dari model yang sedang bermasalah tersebut kemudian dapat memperkuat kesalahan yang sudah ada. Kondisi ini membentuk loop self-referensial: model menyesuaikan diri berdasarkan bukti yang dihasilkannya sendiri, dan bukti tersebut cacat karena model itu sendiri sedang salah.

Loop ini menjadi tantangan karena tidak ada mekanisme validasi eksternal di dalam proses adaptasi. Model tidak memiliki cara untuk membedakan antara sinyal yang informatif dan sinyal yang hanya mencerminkan kebingungannya sendiri. Akibatnya, adaptasi bisa semakin menjauh dari perilaku yang benar alih-alih memperbaikinya.

MASA: Pendekatan Berbasis Anotasi Semantik

MASA (Multimodal-LLM-Anchored Semantic Adaptation) hadir untuk memutus loop tersebut. Inti gagasannya adalah melengkapi bukti dari model internal dengan deskripsi semantik terstruktur yang dihasilkan oleh multimodal large language model (MLLM) yang dibekukan.

MLLM yang dibekukan ini tidak ikut beradaptasi. Perannya adalah sebagai sumber referensi eksternal yang stabil, memberikan gambaran tentang keluarga objek dan faktor gangguan seperti gaya visual, sudut pandang, dan oklusi. Dengan demikian, sinyal adaptasi tidak lagi bergantung sepenuhnya pada kondisi model sumber. Referensi semantik ini hadir sebagai lapisan validasi tambahan yang tidak terpengaruh oleh pergeseran distribusi yang dialami model utama.

Mekanisme Kerja MASA

Proses MASA dimulai dengan pemilihan anchor. MASA menanyakan MLLM hanya untuk sejumlah kecil anchor yang beragam dan telah diperingkat berdasarkan keandalan. Batasan ini penting untuk menjaga biaya inferensi tetap terkendali, karena setiap query ke MLLM menambah beban komputasi.

Setelah deskripsi semantik dari anchor diperoleh, MASA mengenkoding informasi tersebut dan menyebarkannya ke sampel-sampel uji di sekitarnya. Informasi visual-semantik ini kemudian disimpan dalam prototype memory daring. Prototype memory ini berfungsi sebagai basis referensi yang terus diperbarui seiring kedatangan data baru.

Pada tahap adaptasi, MASA menggunakan retrieval yang peka terhadap deskriptor dari prototype memory. Hasil retrieval ini menjadi target tambahan untuk adaptasi ringan pada parameter affine normalisasi. Artinya, model tidak mengubah seluruh parameter secara drastis, melainkan menyesuaikan lapisan normalisasi berdasarkan referensi semantik eksternal yang telah dikumpulkan.

Mengapa Pendekatan Anchor Relevan

Pemilihan anchor yang beragam dan andal menjadi kunci keberhasilan MASA. Anchor berfungsi sebagai titik referensi semantik yang mewakili kelas-kelas objek dalam berbagai kondisi visual. Karena deskripsi berasal dari MLLM yang tidak terpengaruh pergeseran distribusi, anchor ini memberikan titik tolak yang stabil bagi proses adaptasi.

Pendekatan ini juga mempertimbangkan efisiensi komputasi. Dengan hanya menanyakan MLLM untuk anchor dalam jumlah kecil, MASA berusaha menyeimbangkan antara kualitas referensi semantik dan beban inferensi tambahan. Penyebaran informasi dari anchor ke sampel tetangga memungkinkan cakupan yang lebih luas tanpa perlu menanyakan MLLM untuk setiap sampel.

Keterbatasan dan Pertanyaan Terbuka

MASA dievaluasi pada benchmark WTTA ImageNet-C dalam kondisi batch terbatas, domain campuran, dan pergeseran label yang tidak seimbang, menggunakan backbon ResNet dan ViT. Namun, sebagai pendekatan yang masih dalam tahap penelitian, ada beberapa aspek yang perlu diperhatikan.

Pertama, kualitas deskripsi semantik sangat bergantung pada kemampuan MLLM yang digunakan. Jika MLLM menghasilkan deskripsi yang kurang tepat untuk domain tertentu, adaptasi bisa terarah ke arah yang salah. Kedua, pemilihan anchor melibatkan peringkat keandalan, dan mekanisme peringkat ini sendiri bisa menjadi titik kegagalan jika tidak dikalibrasi dengan baik. Ketiga, penyimpanan prototype memory daring memerlukan manajemen memori yang efisien agar tidak membengkak seiring waktu.

MASA menawarkan perspektif baru dalam mengatasi self-referential loop pada WTTA dengan memanfaatkan kekuatan semantik dari MLLM frozen. Pendekatan ini menunjukkan bahwa referensi eksternal yang stabil dapat melengkapi sinyal internal model yang rentan kesalahan, tetapi validasi lebih lanjut diperlukan untuk memahami batas-batas praktisnya dalam berbagai skenario dunia nyata.