SubQ: LLM แบบ Subquadratic ที่สัญญา Context 12M Token ด้วยต้นทุนต่ำกว่า 1,000 เท่า
by needhelp
subq
subquadratic
llm
sparse-attention
long-context
5 พฤษภาคม 2026 สตาร์ทอัพจาก Miami ชื่อ Subquadratic โผล่จาก stealth ด้วยคำกล่าวที่กล้าหาญ: SubQ คือ LLM ตัวแรกที่สร้างบนสถาปัตยกรรม subquadratic ที่แท้จริง
นวัตกรรมหลัก: Subquadratic Sparse Attention (SSA)
Standard Transformer attention scale เป็น O(n²) SSA แทนที่ attention matrix แบบ dense ด้วยกลไก sparse selection อิงตามเนื้อหา ลดความซับซ้อนเป็น O(n) เกือบเชิงเส้น
สงสัย
ชุมชนวิจัย AI หยิบยกข้อกังวล:
- ไม่มี technical paper
- Closed weights
- Benchmark แคบ