SubQ: सबक्वाड्रेटिक LLM जो 12M टोकन कॉन्टेक्स्ट का वादा करता है 1,000x कम लागत पर

5 मई 2026 को, Subquadratic नाम की एक Miami-बेस्ड स्टार्टअप स्टील्थ से बाहर आई — उनके मॉडल SubQ के साथ जो पहला LLM है जो पूरी तरह से सबक्वाड्रेटिक आर्किटेक्चर पर बना है, जो 12 मिलियन टोकन को एक सिंगल कॉन्टेक्स्ट विंडो में प्रोसेस कर सकता है।

प्रतिक्रिया तुरंत — और गहराई से विभाजित — आई।

कोर इनोवेशन: सबक्वाड्रेटिक स्पार्स अटेंशन (SSA)

क्वाड्रेटिक प्रॉब्लम

स्टैंडर्ड Transformer अटेंशन O(n²) के रूप में स्केल करता है — कॉन्टेक्स्ट दोगुना करो, कंप्यूट चार गुना करो।

सबक्वाड्रेटिक समाधान

SSA डेंस अटेंशन मैट्रिक्स को कंटेंट-डिपेंडेंट स्पार्स सेलेक्शन मैकेनिज्म से रिप्लेस करता है, कॉम्प्लेक्सिटी को नियर-लीनियर O(n) तक कम करता है।

बेंचमार्क परफॉरमेंस

बेंचमार्क	SubQ स्कोर	तुलना
SWE-Bench Verified	81.8%	Opus 4.6: 80.8%
RULER 128K	95.0%	Opus 4.6: 94.8%
MRCR v2 (1M टोकन)	65.9%	GPT-5.5: 74.0%

संशय

AI रिसर्च कम्युनिटी ने कई चिंताएँ उठाई हैं:

कोई टेक्निकल पेपर नहीं
बंद वेट्स
संकीर्ण बेंचमार्किंग
रिसर्च vs प्रोडक्शन गैप

यह क्यों मायने रखता है

क्वाड्रेटिक बैरियर Transformer आर्किटेक्चर पर आखिरी बड़ी कंस्ट्रेंट है
लॉन्ग कॉन्टेक्स्ट 1M+ टोकन पर सब कुछ बदल देता है
इकॉनमिक्स भले ही SubQ दावों का 10% ही डिलीवर करे, यह लॉन्ग-कॉन्टेक्स्ट टास्क के लिए मौजूदा तरीकों से सस्ता होगा