needhelp
← ブログに戻る

SubQ：サブクアドラティックLLM、1200万トークンのコンテキストを1000分の1のコストで実現

著者 needhelp
subq
subquadratic
llm
スパースアテンション
ロングコンテキスト
AIアーキテクチャ

Subquadratic SubQ LLM

2026年5月5日、Subquadratic というマイアミ拠点のスタートアップがステルスモードから登場し、大胆な主張を行いました。彼らのモデル SubQ は、真にサブクアドラティックなアーキテクチャ上に構築された初の大規模言語モデルであり、1200万トークンを単一のコンテキストウィンドウで処理でき、計算コストは現在の主要モデルのほんの一部だとしています。

業界の反応は即座に——そして真っ二つに分かれました。

Subquadratic とは？

Subquadratic は2026年に設立されたAIインフラ企業で、本社はフロリダ州マイアミにあります。CEO Justin Dangel とCTO Alexander Whedon（元Meta GenAI責任者）が率いるこのスタートアップは、2900万ドルのシード資金を調達し、評価額は 5億ドル と報じられています。

投資家リストはスタートアップ界のオールスター級です：Tinder共同創業者 Justin Mateen、元SoftBank Vision Fundパートナー Javier Villamizar、そしてAnthropic、OpenAI、Stripe、Brexの初期投資家たち。

資金調達発表

中核的革新：サブクアドラティックスパースアテンション（SSA）

最大の特徴は SSA（Subquadratic Sparse Attention）、つまりコンテキスト長に応じたモデルのスケーリング方法を根本的に変えるスパースアテンション機構です。

二次関数の問題

標準的なTransformerのアテンションは O(n²) でスケーリングします——コンテキストが倍になれば、計算量は4倍になります。100万トークンでは、アテンションだけで数兆回の演算が必要になります。これが、ほとんどのモデルがコンテキストを128Kや200Kトークンに制限している理由です。

サブクアドラティックな解決策

SSAは、密なアテンションマトリックスをコンテンツ依存のスパース選択メカニズムに置き換えます。すべてのトークンを他のすべてのトークンと比較する代わりに、モデルは動的に関与するトークンを選択し、複雑性を準線形の O(n) スケーリングに削減します。

これは以前のスパースアテンションアプローチ（Mamba、RWKV、DeepSeekなどで使用されていたもの）とは以下の点で異なります：

  1. コンテンツ依存の選択——固定パターンではなく、関連性に基づいてトークンを選択
  2. 完全なサブクアドラティック——アテンション部分だけでなく、アーキテクチャ全体が線形スケーリング用に最適化
  3. 訓練可能なスパース性——モデルは事前学習中にどの関係が重要かを学習

結果：Subquadraticは、標準的なTransformerモデルと比較して、1200万トークン時のアテンション計算量を 約1000分の1 に削減すると主張しています。

ベンチマークパフォーマンス

Subquadraticは3つのベンチマーク結果を公開しました：

ベンチマークSubQスコア比較
SWE-Bench Verified81.8%Opus 4.6: 80.8%
RULER 128K（長文脈検索）95.0%Opus 4.6: 94.8%
MRCR v2（100万トークン検索）65.9%GPT-5.5: 74.0%, Gemini 3.1 Pro: 26.3%

100万トークンでは、SubQはMRCR v2でGemini 3.1 Proを大幅に上回り（65.9% vs 26.3%）、GPT-5.5（74.0%）には及ばないものの健闘しています。RULERの結果は特に印象的で、128Kコンテキストで95%の精度を達成し、Claude Opus 4.6に匹敵しながら、コストは 約300分の1（8ドル vs 約2600ドル）とされています。

ベンチマーク比較

製品：SubQを使う3つの方法

Subquadraticは3つの製品をプライベートベータで提供しています：

1. SubQ API

OpenAI互換のAPIエンドポイントで、100万トークンのプロダクションコンテキストウィンドウを提供。最小限のコード変更でSubQに切り替えられます。

2. SubQ Code

コードベース全体をコンテキストに読み込むCLIコーディングエージェント。RAGチャンキングの代わりに、リポジトリ全体を取り込んでホリスティックに推論できます。

無料の長文脈リサーチツール——100万トークンのメモリを持つPerplexityのようなもの。初期テスターは、書籍全体や技術文書をアップロードして分析できると報告しています。

SubQ 製品スイート

コスト面の主張

最も衝撃的なのは経済面での主張かもしれません。Subquadraticのタスクあたりのコスト分析：

タスクSubQClaude Opusコスト比
RULER 128K8ドル約2600ドル約325倍安い
SWE-Bench約0.50ドル約5ドル約10倍安い
MRCR v2 1M約50ドル約15000ドル（推定）約300倍安い

これらの数字が正しければ、その影響は計り知れません。経済的に不可能だった長文脈タスク（コードベース全体の分析、完全な法的文書の処理、学術論文全体のレビュー）が日常的なものになります。

懐疑論：研究者が証拠を求める理由

すべての人が納得しているわけではありません。AI研究コミュニティはいくつかの懸念を提起しています：

1. 技術論文がない

Subquadraticは査読付き論文や完全な技術報告書を公開していません。ウェブサイトには「論文近日公開」とあります——多くの研究者にとって危険信号です。

2. クローズドウェイト

モデルはオープンソース化されていません。ウェイトや再現可能な仕様へのアクセスなしでは、独立した検証は不可能です。

3. 狭いベンチマーク範囲

公開されたベンチマークは3つだけで、すべて長文脈またはコーディングタスクに偏っています。汎用推論（MMLU、GPQA）、数学（MATH、GSM8K）、マルチモーダルベンチマークの結果はありません。

4. 研究とプロダクションのギャップ

研究構成ではMRCR v2で 83% を獲得していますが、プロダクションAPIでは 65.9% ——17ポイントの差があり、何が評価されているのか疑問が生じています。

5. 単一実行の結果

公開された結果には信頼区間がありません。MLベンチマークでは、単一実行は分散によって誤解を招く可能性があります。

以前のサブクアドラティックな試み（Mamba、RWKV、Hyena、S4）は小規模では有望でしたが、本番規模ではTransformerの品質に匹敵していません。コミュニティはSubQがそのパターンを破るかどうかを見守っています。

「Subquadraticの主張は、‘Attention Is All You Need’以来最も重要なAIアーキテクチャのブレークスルーか——あるいは、資金豊富な蜃気楼のどちらかだ。中間はない。」 —— VentureBeatの記事で引用されたAI研究者

確認済みと未確認の情報

確認済みの事実と未検証の主張を分けて考えましょう：

確認済み：

  • 約5億ドルの評価額で2900万ドルのシード資金調達 ✅
  • チームに元Meta GenAI責任者のAlexander Whedon ✅
  • 2026年5月5日にステルスから登場 ✅
  • APIと製品がプライベートベータとして存在 ✅

未検証：

  • プロダクションでの1200万トークンコンテキスト ❌（研究構成のみ）
  • 1000分の1の計算量削減 ❌（独立監査なし）
  • ベンチマークの再現性 ❌（論文なし、ウェイトなし）
  • プロダクション信頼性 ❌（プライベートベータ、限定的なテスター）

ロードマップ：今後の予定

Subquadraticは野心的なロードマップを持っています：

  • 2026年Q3：APIアクセス拡大、SDKリリース
  • 2026年Q4：5000万トークンのコンテキストウィンドウを目標
  • 2027年：エンタープライズ向けポストトレーニングツール

同社はSubQのウェイトをオープンソース化する計画はないと明言しており、商用APIプロバイダーとしてのポジショニングを目指しています。

なぜこれが重要なのか

懐疑論があるとしても、SubQはAI開発における重要な瞬間を表しています：

  1. 二次関数の壁はTransformerアーキテクチャの最後の大きな制約です。サブクアドラティックスケーリングを解決した者は、根本的に新しいユースケースを解き放ちます。

  2. 長いコンテキストがすべてを変える。100万トークン以上になれば、エージェントはコードベース全体、法的案件、学術文献、ビジネス文書を一度に処理できます——RAGもチャンキングもコンテキスト損失もありません。

  3. 経済性が注目を強いる。SubQが主張の10%しか実現しなくても、長文脈タスクにおいては既存のアプローチより安価です。

  4. 競争圧力は健全。SubQが本物かどうかに関わらず、その話題性はすべてのラボに独自のサブクアドラティック研究を加速させる圧力をもたらします。

結論

SubquadraticのSubQは、2026年で最も重要で——かつ最も物議を醸す——AI発表の一つです。検証されれば、SSAはAIの経済性を根本的に変え、100万トークンのコンテキストを手頃で普遍的なものにするかもしれません。そうでなければ、スケーリングできなかったアーキテクチャの長いリストに加わることになります。

独立した検証は数ヶ月以内に行われるでしょう。それまでは、SubQに対しては純粋な好奇心と健全な懐疑心の両方をもって接するのが最善です。

確かなことは一つ：サブクアドラティックAIへの競争は、正式に始まりました。

参考資料

このページをシェア