隐状态传过去，接收模型就能用吗？

假设模型 A 读到一份内部文档：项目 Neral-7 的负责人是林岚，下次评审在周四。模型 B 没看过文档，只收到问题：“Neral-7 的负责人是谁？”

最普通的协作方式，是让 A 写一句话，再让 B 阅读。Latent communication 想省掉其中的文字中转：A 已经算出了文档的内部表示，为什么不能把它直接交给 B？

这个想法很自然。但把一句话换成一个向量以后，原来被语言接口包办的事情也浮了出来：哪个坐标表示什么？B 在哪一层接收？它怎样从消息里找出人名？A 保存了很多信息，哪些与 B 的问题有关？

先把几个对象放进同一条计算链。模型把文本切成 token，也就是它处理文本的小单位，不一定是完整的字或词；再查表，把每个 token 变成输入向量，称为嵌入。向量经过一层层计算，在某层、某位置的当前值就是 hidden state，或隐藏状态。模型先批量处理已有输入提示（prompt），这一步叫 prefill；随后逐个生成新 token，叫解码。为了不在每一步重算历史，各层保存注意力会用到的键和值，合称 KV cache。稍后会解释这些键和值怎样被读取。

Latent communication 选择其中某些连续状态作为消息。关键是建立一条接收者能使用的计算路径：传过去的可以是词汇概率的加权嵌入、隐藏状态，也可以是注意力缓存。不同路径已有实际成功的证据，条件和代价却很不一样。

下面一直围绕这个小问题展开：A 算过的东西，怎样变成 B 回答时真正用得上的东西？文中的项目、人名及二维例子都是为解释机制构造的，不是论文实验。

先分清 A 知道什么，B 缺少什么

在刚才的例子里，A 有私有文档，B 有问题。A 需要传过去的是 B 原本没有的事实。

换一种情形：A、B 都看到了完整文档和问题，只是 A 更擅长推理。此时 A 的价值可能是识别关系、组织证据、给出计算结果，而非补充原始输入。再换一种情形：两个角色使用同一模型，前一个角色已经处理了长上下文，后一个只想接着算。传 cache 的主要价值又可能是避免重复计算。

这三种设定都可能叫 latent communication，却回答不同的问题。一个系统在“共同做数学题”上变好，并不能直接说明它能传递私有文档里的罕见人名。

为了把接口说清楚，可以先写一个简单模型：

这里，$m$ 是要发送的消息，$y$ 是答案，$p(y)$ 是接收者给答案的概率；下标 s/r 分别表示发送与接收。$x_s$ 是 A 的输入，$E_s$ 是 A 已经完成的编码或推理，$C$ 负责选择、压缩、转换消息；$x_r$ 是 B 自己的输入，$I$ 把消息放进 B 的计算，$D_r$ 才是随后生成答案的过程。有些接口还会让 $C$ 依赖 B 的状态，先看 B 需要什么再构造消息。

这是本文的整理框架，不是某篇论文证明的统一模型。它有一个简单好处：不能只报 $m$ 有多少维，就跳过接收端。

文字拿掉后，是否还需要共同坐标？

先看一种相对温和的做法：不直接交换任意 hidden state，而是保留词汇这个公共参照。

普通生成在每一步产生词汇概率 $p$，再选出一个 token。CIPHER 不立刻选词，而是把每个候选 token 的嵌入乘上它的概率，再相加。用矩阵写就是

其中 $E_r$ 是接收者的词嵌入表，每一行对应一个 token 的向量，转置后与概率向量相乘便得到上述加权和。若两个模型共享切分规则（tokenizer）和词汇索引，发送者便可把自己的概率权重落到接收者的嵌入上。双方的隐藏状态维度、嵌入数值不必相同，但同一个概率坐标必须指向同一个 token。这是它异模型实验的实际桥梁。CIPHER，§3¹

直观地说，A 暂时不把“可能是甲，也可能是乙”压成唯一选择，而是发一个加权位置。论文中，把软消息主要留在不确定的位置，效果接近全程使用软消息；这为“减少过早硬选择”提供了经验支持。CIPHER，§5.3¹

但这里有两个容易混淆的层次。第一，$E_r^\top p$ 是词嵌入的重心。词汇通常比嵌入维度多得多，不同概率分布可以落到同一个重心，它不会自动保存完整的 $p$。第二，后面的神经网络是非线性的，把几个候选的嵌入取平均再运行，一般不等于分别运行每个候选再平均结果。

这条路保留了一种很有用的折中：消息不再是离散词，但可读性仍然依赖语言训练留下的坐标。

如果连这层参照也拿掉，直接把 A 的 hidden state 塞给 B，会怎样？

考虑一个人为构造的二维例子。A 用 $(1,0)$ 表示“林岚”、$(0,1)$ 表示“周四”；B 恰好使用相反的坐标。双方都能正确做自己的任务，向量尺寸也完全一致，直接复制却会把负责人和日期对调。现实表示当然不会这么整齐，但这个例子揭示了同一个问题：模型内部的坐标含义来自它前后的计算，而非维度编号本身。

因此，形状兼容只保证张量能放进去。数值尺度、层的位置、此前上下文和后续读出，都可能改变它会起什么作用。AC 直接把发送者某层最后位置的激活，也就是该处的隐藏状态，移植到接收者，确实在部分同构和异构组合上有效；不过收益随任务和模型对变化，加入线性映射也并非总会更好。这给出了直接移植可行的实例，还没有赋予任意模型共同坐标。Communicating Activations，§3–4、附录 B³

最近的 Portable Semantics 把这件事放进一个可控的小世界：小模型单元通过两个向量完成有限状态上的函数组合，研究者再测试不同训练实例之间的直接交换与几类对齐。一个同初始化的实例对可以互通，跨初始化方向则没有通过论文设定的迁移标准。这个结果的价值是把“各自学会同一任务”与“彼此接口兼容”分开；其模型、任务和映射类别都有限，不能据此推出一般的不可能性。Portable Semantics，§3–6²⁸

接收者到底怎样“读”一个向量？

回到文档例子。只发最后一个位置的向量，意味着把需要传递的内容放进一个固定载体里。B 要从这个载体中找出负责人，A 的编码和 B 的读出必须相互配合。

另一种办法，是保留多个位置，让 B 自己查询。注意力恰好提供了这样一个接口：先给每条记忆打分，再把分数变成总和为 1 的权重，最后按权重汇总内容。《动手学深度学习》，查询、键和值

这里 $q$ 是一条查询向量；$K$ 和 $V$ 把各条记忆的 key、value 分别排成矩阵。$qK^\top$ 是查询与每条 key 的点积分数，softmax 将它们转成权重，乘 $V$ 完成加权求和。$d$ 是 key 的维度，除以 $\sqrt d$ 用来控制分数尺度。直观上，可以把 $q$ 理解为 B 当前想找什么，把 $K$ 理解为记忆的检索地址，把 $V$ 理解为取出的内容。在真实模型里，它们都是分布式表示，不会明确分成“负责人栏”和“日期栏”。

这也解释了为什么把 A 的 KV cache 复制过来并不天然成立。A 的 key 是为 A 的 query 投影产生的，B 的 query 未必会给正确位置高分。即使取对了 value，B 的后续网络也可能不会使用它。

延续前面的二维例子：如果记忆地址把两个坐标对调，查询却仍用旧坐标，注意力就可能选错位置。查询也做相应变换，才有机会保持原来的匹配关系。若 value 的坐标也变了，读取后的计算还要跟着适配。这里需要共同建立的是一整套读取协议。

因此，只把状态拟合得很像，也未必够。一个 Pythia 模型对的实验中，线性桥可以较好拟合归一化后的状态，实际替换却使论文采用的宽松答案匹配指标明显下降；直接放回接收者自己的状态则没有这个问题。该接收者原本的解题水平也很低，实验只测试了一个模型对和未经适配的读取方式，不能推出连续通信普遍失败。更一般的解释是：平均几何误差没有告诉我们，误差是否恰好落在后续计算敏感的方向。Pythia 负结果，§3–5⁴²

CALM 的选择是学习这个协议：冻结两个模型，也就是训练时不更新它们原来的权重，只学习投影和跨模型注意力（cross-attention），让接收者查询另一模型的多层状态。它的互补能力实验很直观：一个模型掌握字符串到数字的对应，另一个会算术，组合后才能完成带这些字符串的计算。这与私有文档例子并不相同，但展示了中间表示可以支持原有能力的组合。CALM，§3–4、Table 1²

接收位置也会改变问题。作为额外输入位置的连续前缀（soft prefix）要经过所有后续层；拼进原生 KV 的内容会与本地记忆一起分配注意力权重；独立的旁路注意力（side attention）则先单独检索，再把结果加回主干。三者即使传同样数量的向量，模型看到的计算也不同。

Vision Wormhole 提供了另一个有意思的接收位置：它为不同视觉语言模型训练消息编码／解码器（codec），把消息解码成视觉嵌入入口处的残差。这里没有把文字画成图片再 OCR；它借用了模型本来就具有的连续输入通道。跨模型可读性仍由 codec 和锚点对齐建立。Vision Wormhole，§3、附录 B–C⁹

至此，“传内部状态”已经有了更具体的含义：找一个 B 能访问的计算入口，把 A 的状态变成这个入口能够利用的条件。

同一个模型的记忆，为何容易交接一些？

如果 A、B 使用同一个 checkpoint，即同一组确定的模型权重，很多坐标问题可以暂时省掉。

当一个模型在相同输入、位置和掩码约定下重算历史，得到的 K/V 与原先缓存一致，直接复用便能避免那部分重复计算。这是 cache 的计算等价性。LatentMAS 利用兼容主干，把角色接力过程中的多层 KV 留给后续角色；中间角色可以连续生成作为后续输入的向量步骤（latent steps），最后角色再输出文字。其“lossless”论证中的缓存等价，依赖同一模型与相同输入等条件。LatentMAS，§3、附录 A–B¹³

这里的“相同输入”还有一个具体含义：缓存是在哪段上下文里算出来的。先单独读文档乙，再把其缓存接到文档甲后面，并不等于一起读甲、乙。旋转式位置编码 RoPE 可以调整 key 的位置，却不能让乙已经算好的状态补上当时没看过的甲。接收端还要规定每个新位置能看哪些缓存，不能仅因数据已加载，就允许它看到本应位于未来的内容。这是由因果计算和位置编码得到的区别。Transformer，§3.2；RoFormer，§3.2.2

这也解释了为什么需要训练“为后续读取准备记忆”。SemPIC 调整写入计算，用完整上下文模型的输出监督缓存被重新接入后的读取；C²KV 则在多个压缩记忆拼接后训练答案。二者都让未来怎么读进入训练目标，而不只是把现成数组拼起来。它们研究的缓存复用与异构模型翻译相邻，但任务不同，也不保证任意文档拼接都等价于全文重算。SemPIC，§3–4³⁵；C²KV，§3–4³⁴

这里容易多走一步：缓存等价并不说明 latent 推理与某段文字推理等价，更不说明换一个模型后语义仍然不变。继承前一个角色的 cache，还会继承其上下文和已经造成的偏向。

同一模型也未必能舒服地接收自己的任意状态。最后层 hidden state 和输入嵌入的分布可以不同。Coconut 在单模型内部把前一步 hidden state 反馈成下一步输入，并用分阶段训练让模型适应这种计算；它帮助理解连续状态递推，但不是独立模型之间的通信实验。CCoT 同样属于单模型压缩推理，生成压缩状态后的准确率与完整文字推理步骤（CoT）之间仍有明显差距。Coconut，§3–4²⁰；CCoT，§3–5²¹

StateBridge 则在同模型角色之间，利用已生成消息的 hidden states 与对应词嵌入，做逐消息的几何对齐，再构造接收前缀。它不需要跨样本训练，却仍然需要生成原消息并计算对齐。因而“免训练”“不传文字”和“不生成文字”是三个独立属性。StateBridge，§3⁸

把前面出现的接口按信息关系、接收位置和可读性来源放在一起，可以看到它们没有在解决完全相同的问题。

窄屏可左右滑动查看完整表格。

表中两个大小写近似的名字属于不同论文：KVComm¹⁵ 可以仅对发送端文档做 prefill，不生成文字消息；KVCOMM¹⁶ 保留上游文字生成，主要省下接收端重复处理文本的 prefill。看见“KV 通信”四个字，仍然需要追问省掉了哪一步。

真正跨模型时，训练在教什么？

最直接的目标，是让 B 在收到消息后答对：

这里 $y^*$ 是正确答案；正确答案的概率越大，负对数损失越小。$\theta$ 表示可训练参数，可以只包含桥接器，也可以包含接收者的部分参数。梯度穿过 B 的读取过程，告诉桥接器哪些变换对答案有帮助。相比只让两组向量在欧氏距离上接近，这个目标更贴近最终用途。

这个区别在缓存复用中也能看到。CacheBridge 在同家族模型之间拟合缓存映射，加入面向注意力敏感度的加权后，后续预测可以改善，而缓存本身的拟合分数未必更高。它为“接收用途比原样重建更重要”提供了一个具体例子，尚未验证跨家族代理通信。CacheBridge，§3–4³⁰

但“用答案损失训练”也并非充分条件。如果 B 单靠问题就经常答对，训练可能学到通用偏置，未必迫使它读取每条消息的独特内容。稍后还需要内容干预来区分。

C2C 是共享输入设定下的具体实现：双方都处理同一段文字，先建立 token 和层的对应，再由训练过的模块融合双方 KV，修改接收者的 prompt cache。它省去发送者先写一段解释的过程，而不要求消息补齐一份接收者从未见过的原文。C2C，§3¹²

如果两边看到不同证据，逐 token 对应就不好用了。XKV 把两边 cache 的多个位置分别汇聚成少量向量（池化），再融合成跨层记忆，让接收端各位置查询并获得自己的 KV 更新。这样，B 的状态参与决定如何吸收 A 的证据。论文实际测试了跨家族模型对，不过各设置需要拟合通信模块，并非换一个新模型就能直接使用。XKV，§3–4¹⁴

另一条互补路线，是先问 B 需要哪些证据。B 问负责人时，人名是重点；若改问评审日期，需要保留的内容也会变化。9 月的 CacheBack 根据接收者的问题，对发送端已有状态中的位置打分、选择片段；无关问题替代真实问题的消融会明显损害其一组结果。不过，论文实际交接连续输入行，再由接收者重新 prefill，并非直接移植 KV；其中原文位置还可由 token ID 精确恢复。这使它成为一个很清楚的例子：按接收需求选对内容，可以与选用哪种传输载体分开。 当前实验题量较小，也缺少同样选取片段的文本对照，因此收益不能全部归于连续编码。CacheBack，§3–4、附录 C.3²⁷

模型数量增多以后，也已有超越单对桥接的探索。C2C 既组合了独立训练的传入桥，也评估了多发送者、多接收者的共享空间原型；XBridge 展示了两个已训练传入桥的组合。这些结果说明共享接口和模块组合有可行路径。目前这些实验所支持的是已知端点及其模块的组合，不能顺手扩展成未经适配的新模型都懂同一种语言。C2C，附录 A.5¹²；XBridge，附录 C.3⁷

最后，训练数据本身也能提高能力，需要单独对照。DiffMAS 在共享主干的角色接力上做任务适配；与使用相同监督数据的文本系统比较时，部分任务仍有增益，也有任务打平。因此，系统变好以后，还要区分接口和额外任务训练各自的作用。DiffMAS，§3–4、Table 4¹⁷

从这些设计看，训练建立的不是抽象的“向量含义”，而是一个使用关系：在这些输入和任务上，B 应当如何让 A 的状态影响自己的回答。

传过去的是输入的表示，还是已经算出的结果？

接口能读懂以后，还有一件事要确认：发送者到底算到了哪里。

A 对文档做一次 prefill，就能留下每个输入位置的状态。这些状态已经经过多层计算，包含上下文关系，但不能笼统等同于 A 完成一次长推理之后的状态。假如文档没有直接写负责人，而是给出几条任职、代理和生效日期规则，A 可能还需要后续计算才能得到答案。

对于因果 Transformer，这个区别有一个很具体的来源。某个 prompt 位置的状态只能依赖截至该位置的输入。随后生成的草稿没有反向改写这些旧位置；保存了完整 prompt cache，也没有自动保存后来发生的全部计算。草稿位置的状态则能够依赖此前草稿步骤。

因此，省掉发送者解码，可能同时省掉一部分原本会发生的计算。接收者随后需要自己完成它，或者接口训练需要让发送者用更短的连续过程完成它。这解释了为何只比较“文字有多少 token、latent 有多少位置”，不足以判断是否提供了相同帮助。

Interlat 的做法是先训练接收者读取计划状态，再固定接收者，训练更短的 latent 生成过程；压缩目标同时考虑答案与接收行为。对照来看，Draft-KV 保留已经生成的草稿状态，只读取原文 prefill 的缓存桥则让 B 从原文的另一种表示中获益。三者实际交出的计算进度不同。Draft-KV，§3²⁴；Interlat，§4⁶；C2C，§3¹²

这里没有一种状态永远更好。直接提取负责人可能不需要长草稿；复杂规则组合可能受益于额外计算。需要比较的是 B 收到的可用帮助，以及获得这份帮助的总代价。

有些信息，保留文字反而更合适

我们的例子里，“负责人”是一种关系，而 Neral-7 和“林岚”是具体标识。接收者既要理解关系，也要精确恢复名字。

如果把文档压成一个很小的连续瓶颈，训练可能保留“某项目有负责人”这种结构，却丢掉低频字符串。相反，直接保留 token 能提供精确的词汇身份，但 B 仍要解释上下文。这两种需求可以分工。

XBridge 就采用混合接口：发送者一次 prefill 后，同时交出上下文状态和原始上下文 token；词汇映射将完整上下文放进接收者的嵌入前缀，学习到的 cross-attention 再提供状态增益。它绕过了发送者的自回归摘要生成，却没有绕过原文。在一组 HotpotQA 消融中，用于衡量答案重合的 F1 分数，仅状态通道为 30.3，仅词汇通道为 56.5，两者结合达到 78.8，支持这种互补性。XBridge，§3–4⁷

这个结果不意味着连续信道在原理上不能传名字。有限精度向量当然可以编码字符串；问题在于训练有没有教会接收者稳定恢复它，以及为此需要多大预算。保留现成的词汇协议，是一种务实的工程选择。

SDE 也保留文字，并在对应位置附加相邻状态的差分；ThoughtComm 则提取多代理状态中的共享与私有结构，生成个性化 soft prefix。它们分别强调增量变化和信息分工，不应被笼统归为“把所有文字都删除”。尤其“多个代理共享某个潜变量”描述的是依赖结构，本身并不保证这个变量表达的判断正确。SDE，§3¹¹；ThoughtComm，§3–4⁵

怎样知道 B 真用了 A 传来的内容？

现在假设 B 答对了“林岚”。仅凭这个结果，还不能判断它是否读懂消息：它可能原本就知道，也可能训练时学会了经常猜这个答案。

更有说服力的做法，是更换文档中的负责人，保持问题与接收接口不变，观察答案是否跟着变。或者把另一份文档产生的消息换进来，比较正确配对、错误配对和不接收消息三种情况。

记三种条件的准确率为 $A_M,A_D,A_0$，便有

左边是系统相对无消息的总提升；右边第一项是当前样本正确配对的价值，第二项是即使消息来自别处仍产生的变化。这只是算术分解，不自动把两项解释成纯粹的因果机制。错误消息可能伤害 B；于是很大的配对差，也可能来自 $A_D$ 太低。三项都应当看。

两篇因果审计把这个问题落到了实际接口上。它们尽量保持 cache 的长度、位置、掩码等条件，改变消息属于哪个样本；结果显示，“消息有影响”“正确配对有帮助”“另一个代理比自己多算一次更有价值”可以给出不同答案。Do Latent Channels Actually Communicate?²²；When Does Latent Communication Pay?²³

后一篇还有一个重要的正结果：用随机字符串生成接收者没见过的私有实体映射时，正确 cache 能把检索准确率提高到很高水平，主设置达到 100%。然而在若干共享问题的自然任务上，正确与错配 cache 的差异很小。合起来看，同一条通道能够承载私有事实，却不代表它在每种任务上都贡献了同样多的新内容。实验交接的是包含 prompt 的完整缓存，因此也不能把全部功劳归给后来生成的 latent thought。When Does Latent Communication Pay?，§4–5²³

Draft-KV 给出了另一种积极答案。发送者先实际生成草稿，再抽取草稿位置的 KV，接收者通过训练过的侧向注意力读取。其训练先要求从消息重建内容，再训练任务使用，并约束错配消息的伤害；跨家族实验和正确／错配对照显示了内容相关的收益。这里交接的是发送者已经完成的草稿计算，发送者仍然生成离散文字，还要额外抽取状态，因而这个结果主要支持“有用的读取”，而非“省掉草稿生成”。Draft-KV，§3–5²⁴

这也是为什么把向量送给一个额外训练的读出器（probe）、发现它能恢复答案，还不够。这个读出器有自己的训练和读取能力；真正要使用消息的是 B。反过来，清零 cache 导致崩溃，也可能只是破坏了 B 期待的输入分布。

对于私有文档，最有意义的问题始终是：B 缺少的那条事实，是否通过这条接口可靠改变了它的答案？“私有”在这里仅表示输入没有直接交给 B，并不表示消息具备隐私保护。缓存仍可能携带原文信息。关于完整性，已有攻击研究也明确区分：认证可以发现交接后的篡改，却不能证明合法发送者给出的状态可信。When Latent Agents Lie，§5–8²⁵

还要检查整个系统的行为。10 月 1 日更新的安全研究，在冻结代理、训练连接的设置中发现，即使用正常数学任务训练接口，也可能提高系统对有害请求的顺从程度。端点权重没变，端到端函数却变了。这是对部分学习型接口的直接风险证据，不能推广成所有连续信道都不安全；也意味着“基础模型已经对齐”不能代替接口接入后的评估。Safety of Latent Communication，§4、附录 C²⁹

省下 token 以后，账应该怎么算？

连续通信最直接的时间机会，是省掉 A 写长消息的串行解码。B 也可能少处理一段文字。但新接口会增加状态提取、转换、压缩、传输和读取的成本。

一个简化的部署判断是：

这是单次请求关键路径的整理式，不是普遍速度定理；能够并行的阶段不能机械相加，实际批处理和硬件也会改变各项。跨设备时，还需要考虑消息字节数、可用带宽和同步等待。

训练和适配则是另一笔生命周期账：如果都折算为相同口径的费用，可以写成“总成本 = 一次性适配费用 + 使用次数 × 每次请求费用”。使用次数越多，适配越可能值得；但训练的 GPU 小时不能直接摊进用户看到的单次请求延迟。

字节数尤其容易被“token-free”遮住。一个 $4096$ 维 BF16 向量，每个数占 2 字节，总共有 $8192$ 字节。它占一个序列位置，不等于它只占一个 token ID 的传输空间。完整 KV 的近似大小则是

其中 2 表示 K 与 V，$L$ 是层数，$T$ 是位置数，$H_{KV}$ 是 KV 头数，$d_h$ 是头维度，$b$ 是每个数的字节数。这是张量存储的直接记账，还没包括序列化等开销。

压缩于是成为自然的下一步，但目标应该与接收有关。把发送者 hidden state 重建得很像，不保证保留了“林岚”这条答案关键事实；保留所有细节也可能浪费大量容量。

可以从一个最简单的删除操作看清“与接收有关”是什么意思。固定 B 的一个注意力头（一条注意力读取通道）、一次查询 $q$，原注意力给各位置的权重 $\alpha_i$ 非负且总和为 1，输出是 $o=\sum_i\alpha_i v_i$。只保留一部分位置 $S$，它们原本合计获得的权重为 $a=\sum_{i\in S}\alpha_i$。如果保留位置的 key、value 和分数都不变，只在保留项内重新归一化，那么当 $0<a<1$ 时，新输出 $o_S$ 满足

$o_{\bar S}$ 是被删部分自己的加权平均。若每个 value 的长度都不超过 $V_{\max}$，两组平均的距离至多为 $2V_{\max}$，因此

直观地说：对这条查询，如果删掉的位置原本几乎没有注意力，局部读取的变化就有一个小上界。这里要求 $a>0$；$a=1$ 时误差为零。这是本文基于标准注意力的直接推导，只适用于固定查询、纯位置选择和有界 value，且不改变保留条目的位置与掩码约定；平均多个 key、改变 gate 或经过更多网络层后，都不能直接套成答案质量保证。

删去的总权重小，是让这个局部误差上界小的充分条件，并非保持输出的必要条件：如果被删与保留部分的平均 value 本来相同，即使删掉很多权重，输出也可以不变。

重要的是“对这条查询”。B 改问评审日期，注意力分布也会变。为负责人问题选出的片段，未必保住日期问题的权重；A 自己的注意力，也未必等于 B 将来查询时的注意力。于是，接收需求已知时可以有针对性地压缩，需求未知时则需要覆盖更广的查询。这正好把 CacheBack 的内容选择与接收端读取目标接起来。

CondenseFlow 用学习到的探针，把不断增长的 KV 历史汇聚成固定槽位，并以注意力输出重建训练压缩器。它体现的是一种有用取舍：让接收端近似读到原本会读到的东西，同时接受一定质量损失。论文的一组长轮次实验中，缓存大幅缩小，实际总时间下降约 20%；这两个比例并不相同。CondenseFlow，§3–4¹⁸

另一个更直接的例子来自 OBF：对新引入的 prompt cache 做选择和残差补偿，整条 relay 的数据量约减少到原来的五分之一，但所报告快速版本的端到端时间略有增加。少传数据和更快完成，在单设备环境下完全可能分开。When Less Latent Leads to Better Relay，附录 I¹⁹

新的稀疏编码工作还展示了一个视觉语言通信 codec 的输出可以大幅压缩。但其高压缩倍率以原始 FP32 稠密输出为分母；它没有与同码率的量化、低秩方案完整比较。因此，有价值的可压缩性证据，也需要和“优于哪种传输方案”分开。Post-Hoc Sparse Coding，§3–4、附录 A³¹

持续耦合的设计又有另一笔账。Mixture of Thoughts 在解码过程中持续运行选中的专家并交换状态；Bicameral Model 让两个模型在每个生成位置按因果顺序双向耦合。这些接口可以组合计算能力，却不能因为最终只展示一份回答，就把其他模型的计算删掉。Mixture of Thoughts，§3、附录 C⁴；Bicameral Model，§2–3¹⁰

因此，质量、串行解码步数、prefill 时间、通信字节和训练成本需要分别报告。连“首 token 时间”（TTFT）也要看起止点：有些测试算到缓存就绪，有些还包括查询处理和首 token 生成，不能仅凭名字相同就相除。C²KV，§4³⁴；SemPIC，§4³⁵

不同论文采用不同任务、模型和预算，把各自的最高加速倍数排成一条进步曲线，没有共同的分母。

回到最初的问题

A 读过文档，B 收到问题。要让 B 利用 A 的内部状态，可以依靠共同词汇坐标，把概率转成 B 的嵌入；可以在兼容模型之间交接记忆；也可以训练一个桥，让 B 通过自己的查询、层结构和输出目标读取 A 的计算。需要精确名字时，保留词汇通道与连续状态一起工作也是合理选择。

这些方法的共同点，是把原来由自然语言承担的可读性，分配给词汇锚点、模型兼容性、读取结构和训练。连续表示的存储容量只是材料；接收者能稳定恢复什么、用它做什么，才决定通信的价值。

对于 Neral-7，最好的消息未必是最完整的文档状态，也未必是最短的向量。它需要在 B 已知问题的条件下，保住负责人这条信息，并让 B 的计算准确地取出它。若 A 还不知道 B 将问什么，就必须保存更广的内容，或者留下可继续查询的记忆。

这给出了一个具体答案：绕过文字以后，模型依然需要协议。协议不一定由人可读的句子构成，但必须把发送者算出的状态，变成接收者能够可靠使用的条件。现有工作已经展示了多种建立这种关系的方法；判断一种接口是否合适，应该从信息分工、读取机制和完整成本开始。