SubQ: 1200만 토큰 컨텍스트를 1000분의 1 비용으로 약속하는 서브쿼드 LLM

2026년 5월 5일, 마이애미 기반 스타트업 Subquadratic이 스텔스 모드에서 등장해 대담한 주장을 했다: 그들의 모델 SubQ는 진정한 서브쿼드레틱 아키텍처로 구축된 최초의 대규모 언어 모델로, 1200만 토큰을 단일 컨텍스트 윈도우에서 처리할 수 있으며 오늘날 선도 모델의 극히 일부 컴퓨팅 비용만 든다.

핵심 혁신: SSA (Subquadratic Sparse Attention)

표준 Transformer 어텐션은 **O(n²)**로 확장 — 컨텍스트 두 배에 컴퓨팅 네 배. SubQ는 희소 어텐션 메커니즘으로 복잡도를 거의 선형 **O(n)**으로 줄인다고 주장.

벤치마크 성능

회의론

1. 기술 논문 없음
2. 폐쇄된 가중치
3. 좁은 벤치마킹
4. 연구 vs 프로덕션 격차 — 83% → 65.9% (17점 차이)

References

• VentureBeat
• FelloAI: SubQ Review