自适应并行推理：让大模型自己决定何时「多线程」思考
大语言模型很擅长推理——但它们很慢。让 LLM 解一道复杂的数学题或调试一个多文件代码库，它会一步一步地思考，每次只有一个想法。这种顺序方法有个名字：思维链推理。它有个问题：推理链越长，延迟越高——模型也越容易在自己的思考中「迷路」，研究人员称之为「上下文腐化」。
新一轮研究正在改变这一切。自适应并行推理让 LLM 自主决定何时将任务拆分为子任务、并行运行多少个、以及如何协调结果。这就像一个人按部就班地干活，和一个知道何时该分派任务的团队负责人之间的区别。
顺序推理的困境
传统 LLM 推理是这样工作的：步骤 1，然后步骤 2，然后步骤 3。每一步都依赖前一步的输出。这对简单任务有效，但会在以下场景崩溃：
- 延迟叠加 —— 50 个顺序步骤，每步 200ms = 10 秒等待
- 上下文腐化 —— 链越长，模型越容易偏离原始意图
- 探索成本高昂 —— 如果步骤 3 有 5 个可能的分支，顺序探索所有分支会非常慢
对于实时应用——编程助手、语音代理、自动驾驶系统——这些延迟不只是烦人，而是致命缺陷。
什么是自适应并行推理？
核心思想很简单：让模型自己决定并行策略。自适应推理不像固定规则（「始终运行 4 个并行线程」），而是给予 LLM 自主权回答三个问题：
| 决策 | 问题 |
|---|---|
| 何时分解 | 这个任务是否复杂到值得并行化？ |
| 多少线程 | 可以同时探索多少个独立的子任务？ |
| 如何协调 | 来自并行线程的结果应该如何合并和综合？ |
这很像一个经验丰富的工程师的工作方式：简单的事按顺序搞定，遇到不确定性时分叉并行调查，然后将发现合并为一个连贯的结论。
关键研究：ThreadWeaver 和 Multiverse
伯克利 AI 研究实验室 (BAIR) 的两篇最新论文正在推动这一范式：
ThreadWeaver
ThreadWeaver 引入了 LLM 推理的动态线程管理。模型学会在遇到分支点——多个可能的解决方案路径——时生成并行线程，并在积累足够证据时合并它们。
Multiverse
Multiverse 更进一步，将并行推理视为树搜索问题。模型同时维护多个推理「宇宙」，尽早剪枝不理想的分支，并在有希望的方向上加深探索。
两种方法在数学和代码推理基准上均取得显著提升，同时大幅降低了端到端延迟。在某些基准测试中，并行方法以不到一半的时间达到与顺序推理相同的准确率。
为什么这很重要
从固定并行到自适应并行的转变之所以重要，有三个原因：
1. 实时 AI 成为可能。 语音助手和编程副驾驶需要亚秒级响应。自适应并行可以将复杂推理任务的延迟削减数秒。
2. 更高效的算力使用。 运行 4 条并行的短链比一条超长链更便宜——尤其是跨线程共享 KV 缓存时。
3. 更好的推理质量。 独立的并行探索降低了模型在早期错误步骤上「钻牛角尖」的风险。
更大的图景
这是一个更广泛趋势的一部分：LLM 在如何使用算力方面正变得越来越自主。我们已经看到推理时扩展（模型在难题上思考更久），现在又有了推理时并行（模型在分支问题上思考更广）。
最终目标是模型能够动态分配算力——时间和并行度——基于面前具体问题的难度。简单问题得到快速的顺序回答。困难问题则调动一队并行推理线程，由元推理层协调和合并。
这不只是让 LLM 更快，而是让它们更聪明地思考。