Menganalisis FinRank: Standar Baru untuk Akurasi Bukti dalam Jawaban Pertanyaan Keuangan

Tantangan Provenans dalam Analisis Keuangan

Dalam domain keuangan, sekadar memberikan jawaban yang benar secara numerik tidaklah cukup. Sebuah sistem AI mungkin memberikan angka yang tepat, namun jika angka tersebut diambil dari periode pelaporan yang salah atau entitas yang berbeda dalam dokumen SEC yang sama, maka jawaban tersebut menjadi tidak valid secara hukum dan operasional. Masalah ini dikenal sebagai masalah sensitivitas proveniensi (provenance-sensitive), di mana sistem harus mampu membedakan antara fakta yang serupa namun merujuk pada konteks yang berbeda.

Dokumen seperti laporan 10-K dan 10-Q sering kali mengandung pengulangan informasi yang sangat mirip di berbagai bagian, lintas periode pelaporan, atau bahkan di antara perusahaan yang sebanding. Hal ini menciptakan tantangan besar bagi sistem *Retrieval-Augmented Generation* (RAG) tradisional yang hanya berfokus pada kecocokan semantik tanpa mempertimbangkan konteks spesifik entitas dan waktu.

Mengenal FinRank: Benchmark Berbasis Bukti

FinRank hadir sebagai solusi untuk mengatasi celah evaluasi ini. Berbeda dengan benchmark *Question Answering* (QA) konvensional yang hanya menilai kebenaran jawaban akhir, FinRank mewajibkan sistem untuk mengidentifikasi bukti pendukung yang tepat. Benchmark ini dirancang khusus untuk menangani kompleksitas dokumen SEC yang padat dan repetitif.

Dataset FinRank menggunakan catatan tanya-jawab yang disusun secara manual, mencakup laporan 10-K dan 10-Q dari berbagai perusahaan. Keunggulan utama dari benchmark ini terletak pada penggunaan *hard negatives* yang dikurasi secara manual. Ini adalah potongan teks yang tampak sangat mirip dan relevan secara semantik, namun sebenarnya salah karena merujuk pada entitas, periode, atau konteks pengungkapan yang berbeda.

Metodologi Evaluasi yang Komprehensif

FinRank tidak hanya mengukur satu aspek, melainkan memecah evaluasi menjadi beberapa tugas terpisah untuk memberikan gambaran mendalam tentang performa sistem:

Dengan pendekatan ini, pengembang dapat mengetahui apakah kegagalan sistem disebabkan oleh ketidakmampuan mencari (*retrieval*) atau ketidakmampuan membedakan konteks yang mirip (*discrimination*).

Analisis Performa Baseline

Hasil awal dari benchmark ini menunjukkan betapa sulitnya tugas yang dihadapi oleh model AI saat ini. Berdasarkan pengujian pada korpus bukti yang digabungkan, sistem yang dievaluasi menunjukkan tantangan besar dalam mencapai tingkat recall yang tinggi.

Temuan awal menunjukkan bahwa model encoder dengan parameter di bawah satu miliar memberikan peningkatan performa yang sangat kecil dibandingkan metode BM25 tradisional. Selain itu, terdapat temuan bahwa model *embedder* yang khusus diadaptasi untuk bidang keuangan dapat menunjukkan performa yang berbeda dibandingkan metode berbasis teks tradisional. Hal yang paling mencolok adalah penurunan akurasi berpasangan (*pairwise accuracy*) yang signifikan ketika sistem dihadapkan pada *hard negatives* yang dikurasi dibandingkan dengan *negatives* acak.

Implikasi bagi Pengembangan Sistem AI Keuangan

Data dari FinRank memberikan sinyal kuat bagi para insinyur perangkat lunak dan peneliti AI bahwa optimasi semantik saja tidak cukup untuk aplikasi keuangan yang kritis. Sistem masa depan memerlukan pemahaman yang lebih dalam tentang relasi antara entitas, waktu, dan konteks pengungkapan.

Pengembangan model yang mampu melakukan diskriminasi terhadap *hard negatives* akan menjadi kunci utama. Hal ini menuntut integrasi yang lebih baik antara teknik *retrieval* tradisional dengan pemahaman konteks yang lebih granular, guna memastikan bahwa setiap jawaban yang dihasilkan oleh AI dapat dipertanggungjawabkan secara faktual berdasarkan bukti yang tepat dalam dokumen resmi.