Mengapa Delegasi pada Agen AI Perlu Diukur dari Nilai Pengguna, Bukan Hanya Hasil Tugas

Mengapa Evaluasi Agen AI Perlu Melihat Lebih dari Hasil Tugas

Dalam diskusi tentang agen AI otonom, metrik yang dominan selama ini adalah apakah tugas selesai. Apakah agen menyelesaikan pekerjaan yang didelegasikan? Apakah output-nya akurat? Pertanyaan-pertanyaan ini penting, tetapi sebuah studi terbaru yang diterbitkan di arXiv menunjukkan bahwa ukuran tersebut mungkin tidak cukup. Penelitian berjudul "Value-Sensitive Delegation in Everyday AI Agent Use: Evidence from OpenClaw" mengambil pendekatan berbeda: alih-alih mengukur penyelesaian tugas, studi ini mengukur nilai-nilai yang pengguna prioritaskan ketika mereka mendelegasikan pekerjaan kepada agen AI.

Perbedaan ini bukan sekadar akademis. Ketika organisasi dan individu mulai mengandalkan agen AI untuk menangani pekerjaan rutin maupun kompleks, memahami apa yang sebenarnya mereka butuhkan dari agen tersebut — bukan hanya apakah agen itu menghasilkan sesuatu — menjadi krusial untuk menghindari kesenjangan antara ekspektasi dan kenyataan.

Bagaimana Penelitian Ini Menganalisis Penggunaan OpenClaw

Studi ini menggunakan pendekatan Value Sensitive Design, sebuah kerangka kerja yang secara eksplisit memasukkan nilai-nilai manusia ke dalam desain dan evaluasi sistem. Tim peneliti menganalisis sebuah korpus besar unggahan Reddit yang ditulis dari sudut pandang pertama, yang membahas pengalaman pengguna dengan OpenClaw. Setiap unggahan dikategorikan berdasarkan empat dimensi: nilai manusia yang diwakili, aspek agen yang digunakan, tingkat pemenuhan nilai tersebut, dan hasil yang dialami pengguna.

Penggunaan LLM sebagai asisten analisis memungkinkan pemrosesan skala besar terhadap data teks yang sangat bervariasi. Pendekatan ini memungkinkan identifikasi pola yang sulit ditemukan melalui coding manual semata, meskipun keterbatasan analisis otomatis terhadap nuansa kontekstual tetap perlu diperhitungkan.

Nilai-Nilai yang Muncul dalam Penggunaan Agen Sehari-hari

Dari analisis tersebut, ditemukan 21 nilai yang terorganisasi ke dalam enam kelompok nilai. Beberapa kelompok yang teridentifikasi mencakup Autonomous Operation (operasi otonom), Dependable and Affordable Operation (operasi yang dapat diandalkan dan terjangkau), Bounded Reach (jangkauan yang terbatas), Reviewability (kemampuan untuk meninjau), dan Equitable Access (akses yang adil).

Keenam kelompok ini menggambarkan spektrum kekhawatiran pengguna yang jauh lebih luas dari sekadar akurasi output. Pengguna tidak hanya memikirkan apakah agen menyelesaikan tugas dengan benar, tetapi juga tentang seberapa otonom agen beroperasi, seberapa mudah hasilnya ditinjau kembali, dan siapa yang memiliki akses terhadap kemampuan agen tersebut. Keragaman ini menunjukkan bahwa delegasi AI adalah fenomena yang multidimensi.

Temuan Utama: Nilai Tersentuh di Kondisi Operasional, Bukan di Output

Temuan paling menonjol dari studi ini berkaitan dengan di mana nilai-nilai tersebut terpenuhi atau justru tidak terpenuhi. Secara relatif terhadap porsi korpus masing-masing aspek, nilai-nilai pengguna terklaster bukan pada output agen — yaitu hasil langsung yang dihasilkan — melainkan pada kondisi operasional yang pengguna atur sekitar jalannya agen.

Lebih spesifik lagi, nilai-nilai biasanya terpenuhi di bagian di mana pengguna menggambarkan apa yang agen hasilkan, dalam lima dari enam kelompok nilai. Namun, nilai-nilai justru sebagian besar tidak terpenuhi di bagian di mana pengguna menggambarkan pengawasan terhadap agen, dalam seluruh enam kelompok nilai.

Pola ini menggambarkan situasi yang menarik: pengguna merasa kebutuhan nilainya terpenuhi ketika mereka memahami output agen, tetapi merasa tidak terpenuhi ketika mereka harus mengawasi prosesnya. Ini menunjukkan bahwa transparansi hasil mungkin lebih berperan dalam pemenuhan nilai dibandingkan kemampuan pengawasan itu sendiri — sebuah temuan yang berpotensi mengubah cara organisasi merancang alur kerja delegasi.

Implikasi untuk Pengembang dan Organisasi

Bagi pengembang yang membangun atau menerapkan agen AI, temuan ini membawa beberapa implikasi praktis. Pertama, fokus pada kualitas output saja tidak cukup untuk memastikan bahwa pengguna merasa kebutuhan mereka terpenuhi. Kedua, kondisi di sekitar delegasi — termasuk biaya, akses, dan mekanisme pengawasan — perlu mendapat perhatian desain yang serius.

Organisasi yang mengadopsi agen AI sebaiknya mempertimbangkan untuk mendefinisikan secara eksplisit parameter operasional yang mengatur batasan agen, seperti ruang lingkup tindakan yang diizinkan, mekanisme pelaporan, dan siapa yang memiliki akses. Kondisi-kondisi ini, menurut temuan studi, lebih erat kaitannya dengan pemenuhan nilai pengguna dibandingkan performa murni agen.

Pendekatan ini sejalan dengan prinsip bahwa sistem AI yang baik bukan hanya sistem yang mampu menyelesaikan tugas, tetapi sistem yang beroperasi dalam kerangka yang sesuai dengan kebutuhan dan harapan manusia yang menggunakannya.

Keterbatasan dan Pertanyaan yang Belum Terjawab

Sebagai analisis berbasis data sekunder dari unggahan Reddit, studi ini memiliki keterbatasan yang perlu diakui. Data bergantung pada apa yang bersedia dilaporkan pengguna, yang mungkin tidak mewakili seluruh populasi pengguna agen AI. Selain itu, analisis berbantuan LLM, meskipun efektif untuk skala besar, memiliki potensi bias dalam interpretasi konteks dan nada.

Studi ini juga tidak menguji intervensi spesifik — ia menggambarkan pola yang ada, bukan mengukur efek dari perubahan desain tertentu. Oleh karena itu, temuan ini sebaiknya dipandang sebagai peta awal untuk memahami dinamika delegasi, bukan sebagai panduan definitif untuk desain sistem.

Penelitian selanjutnya dapat menguji apakah perbaikan pada kondisi operasional — seperti mekanisme tinjauan yang lebih baik atau konfigurasi batasan yang lebih transparan — memang meningkatkan pemenuhan nilai pengguna secara terukur. Temuan ini dapat menjadi titik awal yang berguna untuk memikirkan bagaimana agen AI diterapkan secara lebih bijak, dengan memperhatikan kondisi operasional yang ditetapkan pengguna.

Untuk informasi lebih lanjut tentang konfigurasi dan pengelolaan agen AI dalam infrastruktur organisasi, lihat dokumentasi Gaionix.