AIDA: Agen yang Menemukan Wawasan Bisnis Tanpa Diminta

Setiap gudang data enterprise adalah kuburan wawasan yang tidak terdeteksi. Datanya ada — 200+ metrik, 100+ dimensi, bertahun-tahun sejarah — tapi bottleneck-nya selalu analis manusia: mereka hanya bisa mengajukan begitu banyak pertanyaan, menjelajahi begitu banyak dimensi, menguji begitu banyak hipotesis.

Paper baru, Towards Autonomous Business Intelligence via Data-to-Insight Discovery Agent (arXiv:2605.07202), mengusulkan AIDA (Autonomous Insight Discovery Agent) — framework end-to-end yang membiarkan agen berbasis LLM menjelajahi data enterprise secara otonom dan menemukan wawasan bisnis yang dapat ditindaklanjuti tanpa kueri yang ditulis sebelumnya.

Masalah Inti: SQL adalah Bottleneck

Tanya analis data apa yang memperlambat mereka, dan mereka akan bilang: menulis SQL. Bukan karena SQL sulit — tapi pemetaan dari pertanyaan bisnis ke SQL yang benar itu lossy. “Kenapa tingkat konversi kita turun Selasa lalu?” membutuhkan join di 5 tabel, filter jendela waktu, definisi kohort, dan pengujian signifikansi statistik. Setiap langkah adalah peluang SQL menjadi salah secara halus.

Solusi “Text-to-SQL” yang ada mencoba mengatasi ini dengan LLM yang menghasilkan SQL dari bahasa alami. Masalahnya: mereka hanya sebagus pertanyaan yang Anda ajukan. Jika Anda tidak berpikir untuk bertanya tentang korelasi antara pola cuaca dan tingkat keranjang ditinggalkan, LLM juga tidak akan.

AIDA membalik skripnya. Alih-alih menunggu manusia mengajukan pertanyaan, agen secara proaktif menjelajahi ruang data untuk menemukan pola menarik.

Arsitektur: Jembatan DSL

Inovasi arsitektur kunci AIDA adalah Domain-Specific Language (DSL) yang berada di antara penalaran bahasa alami dan eksekusi SQL:

Niat Bahasa Alami
         ↓
   DSL (terstruktur, presisi)
         ↓
   SQL (dapat dieksekusi, benar)

DSL berfungsi sebagai representasi antara yang presisi secara semantik. Ia menangkap konsep bisnis seperti “kohort,” “tahap corong,” dan “signifikansi statistik” dalam kosakata yang didefinisikan secara formal. LLM bernalar dalam bahasa alami, menerjemahkan niatnya ke DSL, dan DSL mengkompilasi ke SQL yang dijamin benar.

Kenapa tidak langsung menyuruh LLM menulis SQL? Karena LLM membuat error halus dalam generasi SQL — kondisi join yang salah, logika agregasi yang tidak tepat, ketidakcocokan zona waktu. DSL menghilangkan permukaan error ini dengan membatasi output LLM ke grammar yang diverifikasi secara formal. Jika DSL mengkompilasi, SQL-nya benar. Jika tidak, agen bisa mencoba ulang tanpa mengeksekusi kueri buruk terhadap database produksi.

Mesin Eksplorasi: RL Dipandu Pareto

Dengan jembatan DSL yang memastikan kebenaran kueri, tantangan berikutnya adalah pencarian. Ruang 200-metrik × 100-dimensi memiliki ledakan kemungkinan analisis. Pencarian menyeluruh tidak mungkin.

AIDA menggunakan Reinforcement Learning yang dipandu Prinsip Pareto:

1. State: Pemahaman agen saat ini tentang ruang data, direpresentasikan sebagai graf dimensi yang dijelajahi dan pola yang ditemukan
2. Action: Pilih dimensi mana yang akan digali, metrik mana yang akan dikorelasikan, atau jendela waktu mana yang akan diperluas
3. Reward: Signifikansi statistik dan relevansi bisnis dari wawasan yang ditemukan, diukur dengan effect size × confidence interval × kepentingan domain
4. Policy: Pencarian yang dioptimalkan Pareto — fokuskan 80% anggaran eksplorasi pada 20% dimensi yang secara historis menghasilkan wawasan paling berdampak

Ini bukan random walk. Bukan grid search. Ini strategi eksplorasi yang dipelajari yang semakin baik dalam menemukan wawasan semakin ia menjelajah.

Kenapa Ini Mengalahkan Agen Berbasis Alur Kerja

Sebagian besar alat “BI agentik” saat ini adalah berbasis alur kerja: urutan kueri SQL yang telah ditulis sebelumnya, dengan beberapa ringkasan bahasa alami yang dihasilkan LLM di akhir. Mereka bisa menjawab “apa yang terjadi” tapi bukan “hal menarik apa yang terjadi yang tidak kita tahu untuk ditanyakan.”

Eksplorasi berbasis RL AIDA berbeda secara fundamental:

Penulis mendemonstrasikan bahwa AIDA “secara signifikan mengungguli agen berbasis alur kerja” dalam penemuan wawasan dan persepsi lingkungan — artinya ia tidak hanya menemukan pola yang lebih menarik, tapi juga membangun model internal lanskap data yang lebih akurat.

Testbed Ritel Instan

Pengaturan eksperimental perlu dicatat: AIDA diuji pada lingkungan ritel instan dengan:

• 200+ metrik (tingkat konversi, nilai pesanan rata-rata, customer lifetime value, perputaran inventaris, dll.)
• 100+ dimensi (waktu, kategori produk, segmen pelanggan, geografi, saluran, jenis promosi, dll.)

Ini tingkat kompleksitas yang realistis — bukan dataset mainan. Ini sesuai dengan apa yang mungkin dimiliki perusahaan e-commerce ukuran menengah di gudang data mereka.

Hasilnya: AIDA mencapai “persepsi lingkungan yang unggul dan analisis yang lebih mendalam dari berbagai perspektif” dibandingkan pendekatan yang ada.

Implikasi Engineering

1. DSL adalah Inovasi Nyata

Kebijakan eksplorasi RL yang mendapat sorotan, tapi jembatan DSL adalah wawasan engineering yang layak dicuri. Tim mana pun yang membangun antarmuka LLM-ke-database harus mempertimbangkan bahasa antara formal. Ini kerja ekstra di awal, tapi jaminan kebenaran kueri menghilangkan seluruh kelas kegagalan produksi.

2. Anggaran Eksplorasi adalah Hyperparameter Baru

Tidak seperti alat BI tradisional di mana analis memutuskan seberapa dalam untuk pergi, AIDA memperkenalkan anggaran eksplorasi sebagai parameter yang dapat disetel. Berapa banyak komputasi yang bersedia Anda keluarkan untuk penemuan otonom? Ini adalah konsep operasional baru untuk tim data.

3. Wawasan ≠ Tindakan

AIDA menemukan pola. Ia belum merekomendasikan tindakan. Celah antara “kami menemukan korelasi antara cuaca dan keranjang ditinggalkan” dan “kami harus memicu kampanye diskon ketika hujan diperkirakan” masih merupakan keputusan manusia. Langkah logis berikutnya untuk riset ini adalah menutup loop itu — memiliki agen tidak hanya menemukan, tapi mengusulkan intervensi dan mengukur ROI yang diharapkan.

Keterbatasan

1. DSL bersifat domain-spesifik secara desain: DSL harus dibuat secara manual untuk setiap domain bisnis baru. Ia tidak bisa otomatis generalisasi dari ritel ke kesehatan ke keuangan.

2. Desain fungsi reward tidak sepele: Pembobotan Pareto dari “relevansi bisnis” membutuhkan keahlian domain untuk mendefinisikan. Fungsi reward yang dirancang buruk bisa memihak agen ke false positive atau melewatkan wawasan kritis.

3. DSL proprietary, belum ada rilis open source: Paper menjelaskan framework tapi belum merilis kode atau grammar DSL. Tanpa spesifikasi DSL, hasilnya berguna secara arah tapi tidak bisa langsung direproduksi.

Gambaran Besar

AIDA mewakili pergeseran kategori dalam cara kita berpikir tentang AI untuk data enterprise. Paradigmanya adalah: manusia bertanya → AI menjawab. AIDA mengusulkan: AI menjelajah secara otonom → manusia mereview penemuan.

Ini pergeseran yang sama yang terjadi di catur (manusia vs. komputer → komputer mengusulkan langkah untuk analisis manusia) dan penemuan obat (manusia mendesain molekul → AI menyaring miliaran kandidat). Ketika ruang pencarian terlalu besar untuk kognisi manusia, peran AI berubah dari “responden” menjadi “penjelajah.”

AIDA tidak akan menggantikan analis data. Tapi ia akan mengubah pekerjaan mereka dari “menulis kueri SQL” menjadi “mereview dan bertindak berdasarkan pola yang ditemukan AI.” Analis yang belajar bekerja dengan agen eksplorasi akan menjadi yang menemukan wawasan yang dilewatkan pesaing mereka.