20/8/2026

Memahami Reward Shaping Berbasis LLM untuk Agen Reinforcement Learning

Pelajari bagaimana kerangka kerja baru memungkinkan agen Reinforcement Learning menggunakan umpan balik LLM tanpa merusak kebijakan optimal melalui reward shaping.

Ilustrasi konseptual tentang integrasi antara Large Language Model dan Reinforcement Learning melalui diagram alur data. — Photo by Brett Jordan on Unsplash

Read in English

Tantangan Integrasi LLM dan Reinforcement Learning

Menggabungkan Large Language Models (LLM) dengan Reinforcement Learning (RL) telah menjadi fokus utama dalam pengembangan agen AI yang lebih cerdas. Namun, penggunaan LLM sebagai pemberi imbalan (reward) sering kali menghadapi kendala teoretis. Masalah utamanya adalah ketidakakuratan: jika LLM memberikan skor yang salah pada suatu tindakan, agen RL mungkin akan mempelajari perilaku yang tidak diinginkan atau menyimpang dari tujuan aslinya.

Memahami Reward Shaping Berbasis LLM untuk Agen Reinforcement Learning illustration 1 — Photo by Brett Jordan on Unsplash

Selama ini, pendekatan 'LLM-as-reward' umumnya mengandalkan skor langsung dari model bahasa. Jika skor tersebut bias atau tidak konsisten, agen RL akan mengikuti kesalahan tersebut. Hal ini menciptakan ketidakpastian dalam stabilitas pelatihan agen.

Dengan demikian, penting untuk memahami bagaimana sinyal dari LLM dapat diintegrasikan tanpa mengganggu proses belajar yang optimal. Kerangka kerja yang dibahas di sini mencoba menjawab kebutuhan tersebut dengan memformalkan interaksi antara perencana berbasis bahasa dan pengontrol berbasis hadiah.

Kerangka Kerja Hybrid: LLM-Planner dan RL-Controller

Sebuah pendekatan baru mencoba mengatasi masalah ini dengan memformalkan arsitektur hybrid antara LLM dan RL. Dalam model ini, sistem dibagi menjadi dua komponen utama:

LLM-Planner: Berperan sebagai perencana tingkat tinggi yang memberikan panduan strategis.

RL-Controller: Berperan sebagai pengontrol tingkat rendah yang mengeksekusi tindakan berdasarkan umpan balik.

Penelitian terbaru memformalkan arsitektur ini sebagai *Goal-Augmented Markov Decision Process* (MDP). Dengan cara ini, peran LLM bukan sekadar memberikan angka imbalan mentah, melainkan memberikan konteks tambahan yang memperkaya proses pengambilan keputusan agen.

Pendekatan ini memungkinkan LLM untuk memberikan skor kemajuan per state, yang kemudian digunakan sebagai bagian dari fungsi imbalan. Dengan memasukkan tujuan (goal) ke dalam MDP, agen dapat mempertimbangkan tidak hanya hadiah langsung, tetapi juga jarak menuju tujuan akhir.

Konsep Policy-Invariant Reward Shaping

Salah satu kontribusi penting dalam bidang ini adalah konsep *policy-invariant reward shaping*. Inti dari konsep ini adalah bagaimana menggunakan skor kemajuan (*progress score*) dari LLM sebagai fungsi potensial yang terbatas (*bounded potential function*).

Mengapa hal ini penting? Dalam RL tradisional, mengubah fungsi imbalan (reward shaping) berisiko mengubah kebijakan optimal (optimal policy) yang seharusnya dicapai agen. Namun, dengan menggunakan fungsi potensial yang terukur, kerangka kerja ini menjamin bahwa kebijakan optimal tetap terjaga.

Secara teoretis, ketika skor kemajuan LLM dianggap sebagai potensial yang terbatas, perubahan pada fungsi imbalan tidak mengubah himpunan kebijakan optimal. Artinya, meskipun skor yang diberikan oleh LLM tidak sepenuhnya akurat, agen RL tetap akan menuju ke tujuan akhir yang benar. Ini memberikan lapisan keamanan teoretis yang tidak dimiliki oleh metode pemberian imbalan LLM secara umum.

Mengapa Pendekatan Ini Berbeda?

Perbedaan mendasar antara metode ini dengan pendekatan LLM-as-reward konvensional terletak pada jaminan stabilitasnya. Pada metode konvensional, kesalahan LLM dapat menyebabkan kegagalan total dalam pembelajaran agen. Sementara itu, dengan pendekatan *policy-invariant*:

Ketahanan terhadap Ketidakakuratan: Agen tidak akan tersesat hanya karena LLM memberikan skor yang sedikit meleset.

Stabilitas Teoretis: Dengan menggunakan bounded potential function, kebijakan optimal dapat dipertahankan meskipun fungsi imbalan dimodifikasi dengan umpan balik LLM, berdasarkan analisis teoretis yang diusulkan.

Integrasi yang Lebih Mulus: Memungkinkan penggunaan LLM sebagai pemandu (planner) tanpa harus mengandalkan presisi absolut dari setiap skor yang diberikan.

Pendekatan ini juga memungkinkan pelatihan agen dengan lebih fleksibel, karena LLM dapat diperbarui atau diganti tanpa perlu menyesuaikan ulang seluruh kebijakan RL.

Keterbatasan dan Implementasi

Meskipun menawarkan solusi teoretis yang kuat, penerapan praktis dari kerangka kerja ini masih memerlukan penelitian lebih lanjut, terutama dalam skala lingkungan yang sangat kompleks. Saat ini, efektivitas metode ini telah diverifikasi melalui simulasi numerik pada model MDP sederhana, termasuk dalam skenario di mana skor LLM bersifat adversarial (berlawanan) dengan imbalan dasar.

Bagi pengembang AI, memahami mekanisme ini sangat penting untuk membangun agen yang tidak hanya mampu belajar dari bahasa manusia, tetapi juga tetap stabil dan dapat diandalkan secara matematis dalam tugas-tugas yang kritis. Untuk panduan praktis tentang integrasi AI gateway, lihat Gaionix documentation.