SubQ: LLM Subquadratic Hứa Hẹn Ngữ Cảnh 12M Token Với Chi Phí Thấp Hơn 1.000 Lần
by needhelp
subq
subquadratic
llm
sparse-attention
long-context
ai-architecture
Đổi Mới Cốt Lõi: SSA
SSA thay thế attention matrix dày đặc bằng cơ chế chọn sparse dựa trên nội dung, giảm độ phức tạp xuống gần O(n).
Hoài Nghi
Không có paper, không mở trọng số, benchmark hẹp. Cộng đồng nghiên cứu đòi bằng chứng độc lập.