AIDA: 묻지 않고 비즈니스 인사이트를 발견하는 에이전트

모든 엔터프라이즈 데이터 웨어하우스는 발견되지 않은 인사이트의 묘지다. 데이터는 거기에 있다 — 200개 이상의 메트릭, 100개 이상의 차원, 수년의 역사 — 하지만 병목은 항상 인간 분석가였다: 그들은 한정된 질문만 할 수 있고, 한정된 차원만 탐색하며, 한정된 가설만 테스트할 수 있다.

새로운 논문, Towards Autonomous Business Intelligence via Data-to-Insight Discovery Agent (arXiv:2605.07202)는 **AIDA (Autonomous Insight Discovery Agent)**를 제안한다 — LLM 기반 에이전트가 사전 작성된 쿼리 없이 엔터프라이즈 데이터를 자율적으로 탐색하고 실행 가능한 비즈니스 인사이트를 발견하는 end-to-end 프레임워크다.

핵심 문제: SQL이 병목이다

데이터 분석가에게 무엇이 속도를 늦추는지 물어보면 SQL 작성이라고 말할 것이다. SQL이 어려워서가 아니다 — 비즈니스 질문에서 올바른 SQL로의 매핑이 손실이 크기 때문이다. “지난주 화요일에 전환율이 왜 떨어졌지?“는 5개 테이블 간 조인, 시간 윈도우 필터, 코호트 정의, 통계적 유의성 테스트가 필요하다. 각 단계는 SQL이 미묘하게 틀릴 기회다.

기존 “Text-to-SQL” 솔루션은 LLM이 자연어에서 SQL을 생성하도록 하는 방식으로 이를 해결하려 했다. 문제: 질문하는 만큼만 좋다. 날씨 패턴과 장바구니 포기율 간의 상관관계를 묻는 것을 생각하지 않으면 LLM도 생각하지 않는다.

AIDA는 대본을 뒤집는다. 인간이 질문하기를 기다리는 대신 에이전트가 데이터 공간을 사전에 탐색하여 흥미로운 패턴을 찾는다.

아키텍처: DSL 브릿지

AIDA의 핵심 아키텍처 혁신은 자연어 추론과 SQL 실행 사이에 위치하는 **도메인 특화 언어(DSL)**다:

자연어 의도
         ↓
   DSL (구조화, 정밀)
         ↓
   SQL (실행 가능, 정확)

DSL은 의미적으로 정밀한 중간 표현 역할을 한다. “코호트”, “퍼널 단계”, “통계적 유의성” 같은 비즈니스 개념을 공식적으로 정의된 어휘로 캡처한다. LLM은 자연어로 추론하고, 의도를 DSL로 변환하며, DSL은 보장된 정확한 SQL로 컴파일된다.

왜 LLM이 직접 SQL을 작성하게 하지 않는가? LLM은 SQL 생성에서 미묘한 오류를 만들기 때문이다 — 잘못된 조인 조건, 부정확한 집계 로직, 시간대 불일치. DSL은 LLM의 출력을 공식적으로 검증된 문법으로 제한함으로써 이 오류 표면을 제거한다. DSL이 컴파일되면 SQL이 정확하다. 컴파일되지 않으면 에이전트가 프로덕션 데이터베이스에 잘못된 쿼리를 실행하지 않고 재시도할 수 있다.

탐색 엔진: 파레토 기반 RL

DSL 브릿지가 쿼리 정확성을 보장하면 다음 과제는 검색이다. 200 메트릭 × 100 차원 공간은 가능한 분석이 폭발적으로 많다. 완전 탐색은 불가능하다.

AIDA는 파레토 원칙에 기반한 강화 학습을 사용한다:

1. 상태: 에이전트가 데이터 공간에 대한 현재 이해, 탐색된 차원과 발견된 패턴의 그래프로 표현
2. 액션: 어떤 차원을 드릴다운할지, 어떤 메트릭을 상관분석할지, 어떤 시간 윈도우를 확장할지 선택
3. 보상: 발견된 인사이트의 통계적 유의성과 비즈니스 관련성, 효과 크기 × 신뢰 구간 × 도메인 중요도로 측정
4. 정책: 파레토 최적화 검색 — 역사적으로 가장 영향력 있는 인사이트를 제공한 20%의 차원에 탐색 예산의 80% 집중

이는 무작위 탐색이 아니다. 그리드 검색도 아니다. 더 많이 탐색할수록 인사이트 찾기에 더 능숙해지는 학습된 탐색 전략이다.

워크플로우 기반 에이전트보다 나은 이유

오늘날 대부분의 “에이전트 BI” 도구는 워크플로우 기반이다: 사전 스크립팅된 SQL 쿼리 시퀀스에 마지막에 LLM 생성 자연어 요약이 붙는다. “무슨 일이 일어났는지”는 답할 수 있지만 “우리가 물어볼 줄 몰랐던 흥미로운 일이 무엇인지”는 답하지 못한다.

AIDA의 RL 기반 탐색은 근본적으로 다르다:

저자들은 AIDA가 인사이트 발견과 환경 인식 모두에서 “워크플로우 기반 에이전트를 크게 능가”한다고 입증했다 — 더 흥미로운 패턴을 찾을 뿐만 아니라 데이터 환경에 대한 더 정확한 내부 모델을 구축한다.

즉시 소매 테스트베드

실험 설정이 주목할 만하다: AIDA는 즉시 소매 환경에서 테스트됐다:

• 200개 이상의 메트릭 (전환율, 평균 주문 가치, 고객 생애 가치, 재고 회전율 등)
• 100개 이상의 차원 (시간, 제품 카테고리, 고객 세그먼트, 지역, 채널, 프로모션 유형 등)

이는 현실적인 복잡성 수준이다 — 장난감 데이터셋이 아니다. 중간 규모 전자상거래 회사가 데이터 웨어하우스에 실제로 가지고 있을 만한 것이다.

결과: AIDA가 기존 접근법보다 “다양한 관점에서 우수한 환경 인식과 더 심층적인 분석”을 달성한다.

엔지니어링 시사점

1. DSL이 진정한 혁신

RL 탐색 정책이 헤드라인을 장식하지만, DSL 브릿지가 도용할 가치가 있는 엔지니어링 인사이트다. LLM-데이터베이스 인터페이스를 구축하는 모든 팀은 공식 중간 언어를 고려해야 한다. 추가 초기 작업이지만 쿼리 정확성의 보장이 전체 클래스의 프로덕션 실패를 제거한다.

2. 탐색 예산이 새로운 하이퍼파라미터

전통적인 BI 도구에서 분석가가 얼마나 깊이 갈지 결정하는 반면, AIDA는 탐색 예산을 조정 가능한 파라미터로 도입한다. 자율 발견에 얼마나 많은 컴퓨팅을 쓸 의향이 있는가? 이는 데이터 팀을 위한 새로운 운영 개념이다.

3. 인사이트 ≠ 행동

AIDA는 패턴을 발견한다. 아직 행동을 추천하지는 않는다. “날씨와 장바구니 포기율 간의 상관관계를 찾았다”와 “비가 예보되면 할인 캠페인을 시작해야 한다” 사이의 간격은 여전히 인간의 결정이다. 이 연구의 다음 논리적 단계는 그 루프를 닫는 것이다 — 에이전트가 발견할 뿐만 아니라 개입을 제안하고 예상 ROI를 측정하는 것.

한계

1. DSL은 설계상 도메인 특화: DSL은 각각의 새로운 비즈니스 도메인을 위해 수제작되어야 한다. 소매에서 헬스케어, 금융으로 자동 일반화되지 않는다.

2. 보상 함수 설계가 간단하지 않음: “비즈니스 관련성”의 파레토 가중치는 도메인 전문 지식이 필요하다. 잘못 설계된 보상 함수는 에이전트를 false positive로 편향시키거나 중요 인사이트를 놓칠 수 있다.

3. 독점 DSL, 오픈소스 미공개 (현재): 논문은 프레임워크를 설명하지만 현재까지 코드나 DSL 문법을 공개하지 않았다. DSL 사양 없이는 결과가 방향성으로는 유용하지만 직접 재현 가능하지는 않다.

더 큰 그림

AIDA는 엔터프라이즈 데이터를 위한 AI에 대한 범주 전환을 나타낸다. 기존 패러다임은: 인간이 질문 → AI가 답변. AIDA는: AI가 자율 탐색 → 인간이 발견물 검토.

이는 체스(인간 vs 컴퓨터 → 컴퓨터가 수를 제안하면 인간이 분석)와 신약 발견(인간이 분자 설계 → AI가 수십억 후보 스크리닝)에서 일어난 것과 같은 전환이다. 검색 공간이 인간 인지에 너무 클 때 AI의 역할은 “응답자”에서 “탐험가”로 뒤집힌다.

AIDA는 데이터 분석가를 대체하지 않는다. 하지만 그들의 일을 “SQL 쿼리 작성”에서 “AI가 발견한 패턴 검토 및 실행”으로 바꿀 것이다. 탐색 에이전트와 협업하는 법을 배우는 분석가가 경쟁사가 놓친 인사이트를 찾는 사람이 될 것이다.