导读:两个不同公司训练出来的大模型,能不能不经过文字,直接把彼此需要的信息递过去?2026 年 8 月的一篇 arXiv 论文给出了肯定的答案。这套名为 XKV 的通信协议,用一个只有 455 万参数的翻译器,让异构模型在潜在空间里直接交换内部状态:45 组实验里,端到端比文字通信快 6.8 倍,平均得分反而更高。本文拆开讲这套方案为什么成立、代价在哪,以及"AI 之间开始说悄悄话"对人类意味着什么。

第 1 章 两个 AI 之间,说话开始变得多余

2026 年 8 月 20 日,一篇论文被放上 arXiv,标题长得吓人:《异构语言模型之间的双缓存潜在空间通信》。光看标题,每个词都像天书。"异构"说的是两家不同公司、结构各异的模型,"潜在空间"指的是模型脑子里那些还没变成文字的念头,"双缓存"则是它们各自记笔记用的草稿纸。把这三个词串起来,其实就一句大白话:让两个 AI 不写字,直接在草稿纸之间传情报。这件事听起来不大,可一旦成立,几乎所有让多个 AI 一起干活的系统,都得重新掂量自己的通信方式。
更特别的是作者阵容:一位独立研究者、一位亚马逊云计算的工程师,加上三位来自中央佛罗里达大学的合作者。没有大厂实验室的招牌,没有几十人的团队,论文挂在 arXiv 的 cs.AI 分类下、用了 CC BY 4.0 许可,任何人都能自由引用、复现。平时这类底层协议的研究,多半出自大公司的研究院,这一次却是一支小队伍干的,这件事本身就值得留意。
他们证明了一件事:两个不同公司训练出来的大模型,不需要经过文字,就能把彼此需要的信息直接"递"过去。不是翻译,不是转述,而是把一方大脑里的中间状态,经过一个只有 455 万参数的小翻译器,直接写进另一方的大脑里。整个过程更快,答案质量也更高。
想象一下这个画面。两个 AI 就像两个母语不同的专家,过去要合作破案,得先把各自查到的线索翻译成同一种语言,写在纸条上递给对方。现在它们连纸条都不写了,直接把脑子里那团还没成形的想法原封不动塞过去,对方接过来一看,秒懂。这大概就是"AI 之间说悄悄话"最直白的版本。
先说结论,再解释来龙去脉。
谁做的:Jiyao Liu,一位独立研究者,牵头联合 AWS 的 Qi Zhang、中央佛罗里达大学的 Yaoyi Jia、Ziwen Kan 和 Song Wang,做出了这套叫 XKV 的通信协议。一位独立研究者当第一作者不稀奇,稀奇的是成果的分量:没有几十人团队和算力集群托底,却把一个问题扎实地往前推了一步。
做了什么:先说说"缓存"这两个字。AI 每读到一个词,就会在草稿纸上记两栏备忘,一栏记这词"是什么",一栏记它"在哪儿派得上用场",后面答题时直接翻草稿纸就行,不用把书重读一遍。设想两个大模型,阿里的 Qwen 和 Meta 的 Llama,各自拿着同一道题的一半证据。过去它们要协作,得先把自己那半证据写成一段自然语言,发给对方,对方再读、再理解、再消化。XKV 把这一步整个去掉:发送方把自己草稿纸上的关键信息压成一份摘要,翻译器把它和接收方已有的状态混成一份"联合记忆",接收方的每个位置再自己来取需要的那一部分。关键就在这份"联合记忆":它不是发送方单方面写死的报告,而是结合接收方已经知道的、把对方还缺的那部分补上。消息长什么样,由"谁在听"决定。全程没有生成一个字的自然语言。
发现了什么:在 45 组实验里,三个模型家族两两组合、配上五种需要拼接证据的任务,XKV 的平均得分是 52.37,而传统的文字通信只有 48.86,上一代潜在空间方案是 49.76。它在 31 个单元里拿到了最佳或并列最佳的成绩。这里说的"平均得分",是把 45 个单元的成绩拉平之后算出来的,单个任务上有高有低,但整体趋势一致。
速度上的差距更直观:端到端比文字通信快 6.8 倍,翻译器本身的耗时只有上一代方案的十分之一,训练参数少了 76.1%。6.8 倍是什么概念?设想一段本来要跑一秒多的协作,换成 XKV 只要零点几秒。那个只有 455 万参数的翻译器,个头只相当于它服务的几个亿到几十亿参数模型的零头,却把两边"语言不通"的问题整个扛了下来。
换句话说:AI 之间用人类发明的语言交流,可能是最笨的方式。就像两个人明明共用一张草稿纸就能对完答案,却非要各自把想法写成工整的邮件,一来一回地寄。对 AI 来说,文字更像一门外语,它们自己"说悄悄话"的方式,又快又准。
这件事最反直觉的地方在于:"不写字"竟然比"把话说清楚"更靠谱。我们从小受的教育是,沟通就是表达清楚;可对 AI 来说,把想法压成文字这件事本身,就已经把信息丢掉了一部分。
为什么这件事让圈子里的人坐不住?因为今天几乎所有让多个 AI 协作的框架,底层用的都是文字。一个 AI 查完资料,把结果写成一段话交给下一个,下一个再读再写。大家早就习惯了这套流程,也默认它够用。XKV 等于跳出来说:这套流程本身就是瓶颈。
这句话听起来像科幻,但它有非常具体的实验支撑,而且不是那种只有 AI 专家才看得懂的实验。后面几章我会把这件事拆开讲:为什么 AI 之间需要说话,文字交流到底贵在哪,XKV 是怎么做到"不说话也能传情报"的,以及它的代价在哪里。
但我想先把最让人不安的那部分放在前面。过去 AI 之间的每一次协作,都白纸黑字写在对话日志里,我们说得出它们聊了什么、有没有串通、有没有干坏事。一旦它们改说"悄悄话",这段日志就断了,人类在旁边看着,却再也听不懂它们在说什么。这不单是效率问题,是一整层监控的消失。而且这种失明是慢慢来的:一开始还能靠抽查日志抓到问题,等系统规模一大、交接一多,真正要紧的暗箱操作,就全躲进了你看不见的地方。
设想一家公司部署了好几个 AI 协作处理客户的敏感数据,合规部门靠审查它们之间的往来消息来把关。一旦这些消息变成潜在空间里的一串数字,审查的人打开日志,看到的只是一堆天书。以前"打开看看就知道它们干了什么"这条最朴素的检查手段,突然就失灵了。
论文作者自己承认,他们还没来得及解决"潜在消息可解释性"这个问题。可解释性翻译成大白话,就是"让 AI 说人话,解释它为什么这么干";潜在通信恰恰绕开人话直接传念头,这扇本来就没完全打开的门,又关上了一道。而就在同一天,arXiv 上还有另一篇论文,专门研究怎么监测 AI 在潜在空间里的"隐蔽勾结"。也就是说,安全研究人员已经意识到,这条路既是效率的飞跃,也是监控的空白。
这里值得停顿一下,把"隐蔽勾结"说得更清楚。它指的是两个 AI 在人类看不见的通道里交换信息、达成默契,而人类只看到它们公开输出的文字。以前这种勾结很难实现,因为所有信息都要经过文字这条"公开信道",人类随时能检查。XKV 这类技术把通信搬进潜在空间,等于给 AI 之间开了一条没有窃听器的专线。
同一天发布的另一项研究(arXiv:2608.19161)显示,研究者已经能通过分析模型的内部状态来检测这种隐蔽勾结,检测准确率最高达到 0.993 的 AUROC,也就是说它区分"正常协作"和"暗中勾结"的把握极高,还能把勾结行为降低 47.3 个百分点。监控技术也在同步进化,只是这场"攻防"才刚刚开始。
这大概就是这一轮 AI 技术浪潮的常态:每一项让系统更强大的技术,都同时带来一个让人类更不安的问题。这一次被拿走的,是"听懂它们说话"的权利。XKV 不是第一个,也不会是最后一个。
接下来的故事,从一个更基本的问题开始:为什么 AI 之间需要互相说话?
第 2 章 为什么 AI 需要互相说话
先想象一个场景。你在公司接到一道题,答案需要同时看两份资料才能拼出来,可这两份资料分别锁在两个同事的抽屉里。你能看自己的,看不到对方的,对方也一样。于是你俩各自埋头半天,谁单独都交不出答案。唯一的办法,是把各自手里的发现讲给对方听,凑起来才有解。
你可能会想,这跟 AI 有什么关系?平时我们问 ChatGPT,它一个人就能回答,哪需要"互相说话"。那是因为你要的答案,恰好都藏在你输入的那段文字里。可一旦问题横跨多个信息源、多个工具、多个视角,单个模型就答不动了。这时候,就得让好几个 AI 一起上。
这套"好几个 AI 一起上"的做法,学界叫多智能体系统(Multi-Agent LLM System)。把它想成一个各管一摊的小团队:有人负责查资料,有人负责调工具,有人负责核对结论,还有人负责拍板。每个人都只握着一小块拼图,谁也不能独自完成整件事。
这些角色各司其职,互不越界。查资料的那个,专管从一堆文档里捞出跟问题相关的段落;调工具的那个,负责去跑一段代码、查一个数据库;核对的那个,回头检查前面的结论有没有漏洞;最后拍板的那个,把大家的结果揉成一句人话。少了谁都不行,多了谁又没必要。
为什么非得拆成团队,而不是造一个什么都会的超级模型?因为现实任务的信息和工具,天然是分散的。一个 AI 手里攥着这份资料,另一个 AI 头上挂着那个工具,谁也没法把全部家当塞进一个脑袋里。分工不是偷懒,是逼不得已。把各自那摊事干好,再拼起来,往往比让一个模型硬扛整件事要靠谱。
这不是纸上谈兵。现实里已经有一批现成框架,比如 AgentVerse、AutoGen,还有 ReAct 这种"边想边做"的思路。它们名字各异、细节不同,但底子是同一件事:让多个 AI 分工,再想办法把各自手里的东西拼到一起。这套玩法在客服、写代码、做研究这些场景里,已经不算新鲜事。
拼到一起,靠什么?今天最主流的方式,是让它们"说话"。一个 AI 把自己知道的那部分,用自然语言写成一段文字,发给另一个;后者读一遍、理解一遍,再接着干自己的活。这套"写下来、读进去"的流程,几乎垄断了现在所有多智能体系统的内部沟通。
要理解这套流程为什么有问题,先得知道 AI 脑子里装的是什么。这就要说到 KV 缓存(Key-Value Cache)。把它想成 AI 读书时用的草稿纸:它每读到一个词,就记下两栏备忘,一栏写"这个词是什么",一栏写"它在哪儿可能有用"。等到写答案的时候,它直接翻草稿纸,不用把书重读一遍。这套备忘,就是模型真正的工作记忆。后面会有一整章专门讲它,这里先混个脸熟。
草稿纸上写的,不是文字,而是一串串数字组成的向量。这些向量住在模型内部的空间里,学界叫它潜在空间(Latent Space)。可以类比成"还没说出口的想法":人脑子里转的念头是连续的、多维的,一旦说成话,就变成离散的、有损的。AI 也一样,它脑子里是一大团连续的向量,而它写出来的文字,只是这团向量的一份粗略压缩稿。这句话先放这,它会是后面几章反复用到的一根线索。
带着这个背景,再来看一个更具体的处境,叫交叉上下文(Cross-Context)。还是那个团队,这次任务只分给两个 AI:一个叫 Sharer(分享者),手里攥着一半证据;另一个叫 Receiver(接收者),手里攥着另一半。问题同时摆到两人面前,可谁单独看自己那半,都拼不出完整答案。
用更正式的话说:Sharer 看到的是同一个问题,加上一份只属于它的私有上下文;Receiver 看到的是同一个问题,加上另一份互补的私有上下文。两边谁也不知道对方那份里写了什么,但答案偏偏要同时用到两份。Receiver 的活,就是把对面送来的那半,和自己的这半对上,再给出最终答案。
交叉上下文之所以值得单独拿出来说,是因为它是多智能体协作里最小的一个动作:一次信息交接。多复杂的团队,拆到底,都是无数个"你把你那半给我"的组合。把最小动作研究透,整条流水线也就有了解法。所以这篇论文的全部实验,都架在这个最简场景上。
这像极了两个侦探分头读卷宗。一个看的是现场笔录,另一个看的是嫌疑人口供。两摞卷宗合在一起才能破案,谁也不能独自结案。更麻烦的是,两人不在同一个房间,想碰头就得先把各自的卷宗"讲"给对方听。交叉上下文不是"你会的教给我",而是"你我各持一半,不交换就双双卡死"。
把侦探的处境再往细里说。侦探甲手里的卷宗,记着案发当晚谁进过那扇门;侦探乙手里的卷宗,记着那把刀上的指纹属于谁。两条线索单独看,都指不到真相,只有对在一起,才拼出一个完整的嫌疑人。所以甲不能只丢一句"我这儿有人进过门"给乙,乙也得反过来知道,自己手里那枚指纹到底该往谁身上对。
研究者给这种处境起了个名字,叫分割证据任务(Split-Evidence Tasks),还专门造了一批题来考 AI。ROPES 把背景和情境拆到两边,一边只有故事背景,一边只有问题情境;MuSiQue 把两个支撑段落拆到两边,合起来才能推出答案;QASC 把两个支持事实拆到两边。还有 HotpotQA-bridge,一边是支撑段,一边是故意混进来的干扰项;StrategyQA 则把支持事实洗牌后劈成两半。五套题,套路不同,考的是同一件事:能不能把两半拼起来。
怎么评判 AI 答得对不对?这五套题分两类。ROPES、MuSiQue、HotpotQA-bridge 这类,要 AI 生成一段答案,看的是跟标准答案的重合度;QASC、StrategyQA 这类,只要在选项里选对,看的是准确率。评判标准不同,但背后的考点一样:单独一个 AI 只拿到半套题,还能答对,就说明它把另一半信息成功"要"了过来。
这类题,对只会单打独斗的 AI 来说近乎无解,对会交流的 AI 却是基本功。而"会交流"的成色高低,直接决定这组 AI 能走多远。两个模型各自的脑子再聪明,中间那条传话的线要是不行,整组照样不及格。
这里还得补一句:团队里的 AI 不一定是同一家的。可以是阿里的 Qwen 配上 Meta 的 Llama,也可以是谷歌的 Gemma 配上别家的模型。不同厂家训练的模型,内部结构、层数、连切词的习惯都不一样。这给"互相说话"又添了一层麻烦:两个说着不同"母语"的家伙,要凑到一起对答案。
整件事的轮廓到这里就清楚了:多智能体协作能不能成,一半看每个 AI 各自的本事,另一半看它们之间那条传话的线。而这条线的质量,往往才是真正的天花板。模型再强,线要是又慢又漏,协作出来照样一团糟。这条线现在是什么材质?是文字。
这一点其实挺反常识的。我们习惯把功劳和锅都算在"谁更聪明"头上,可协作系统的瓶颈,常常根本不在智商,而在连接。两个三流模型配上一条好线,可能比两个一流模型配一条烂线,干得还漂亮。
别以为这是做题才有的奇观。现实里到处是它的影子:一个智能体专读财报,另一个智能体专盯新闻,合起来才能判断一家公司值不值得投;一个智能体会写代码,另一个智能体会跑测试,合起来才能把功能安全上线。它们手里各握一半,中间那条线,决定这件事干得漂不漂亮。
下一章我们就来拆这条线的三个毛病:它慢,它丢信息,它还常常答非所问。先记住一句:两个侦探真正需要的,是把卷宗摊到同一张桌上,而不是各自回家写一份"案情摘要",再邮寄给对方。
第 3 章 文字,可能是最差劲的通信协议
你和同事合写一份报告。最笨的协作方式,是你把自己的发现写成一篇长长的邮件,对方打开、读完、再一字一句敲进他自己的文档里。聪明的做法,是两个人直接共享同一份草稿,你在上面改,他接着你的往下写。前者慢、容易出错、还老对不上,后者一气呵成。今天的 AI 团队,绝大多数还停留在第一种笨办法上。
这种笨办法有个名字,叫文本通信(Text-to-Text,简称 T2T)。流程是这样的:发送方先把脑子里的信息,用自然语言一个字一个字写出来,接收方再把这串字重新拆开、编码进自己的上下文。一来一回,信息才算交到对方手上。听上去天经地义,可就是这套"天经地义",埋着三个毛病。
T2T 的第一个毛病,是慢。慢的根子,在一个叫自回归解码(autoregressive decoding)的机制上:模型写文字,是一个词接一个词地蹦,后一个词必须等前一个词定下来。一句话有几十个词,就得排几十次队。更要命的是,这整套"写"的过程横在关键路径上:消息不写完,接收方就只能干等,后面的活一步也动不了。
所谓关键路径,是工程里的一句话:整件事的完工时间,取决于那条最慢、又绕不过去的链子。文字这关就是这条链子。只要它没走完,接收方再快也得闲着,团队里其他人再能干也得等。一条本可以并行的流水线,活活被串成了一条长队。
为什么会这么慢?因为自回归这个机制天生没法并行。要写第 5 个词,得先知道前 4 个词是什么;就像一个人报数,必须从 1 数到 100,不能几个人同时各报一段。机器的算力再强,在这条单行道上也施展不开。所谓"写消息",其实是一次数数式的长跑,而不是并排冲刺。
这个慢,用数字说最直观。论文里测过,T2T 平均每交流一次,端到端要花 1139.5 毫秒,也就是超过一秒。换成个别组合,比如 Gemma 负责分享、Qwen 负责接收,单是 ROPES 这一套题,端到端就冲到 1605 毫秒。注意,这还只是一次单向传递;一个要来回交接好几轮的任务,这个一秒多会层层叠加,几轮下来就是好几秒。
别小看这一秒多。真实的多智能体系统很少只传一次话。一个典型的流程是:检索的智能体先捞资料,把结果传给规划的智能体;规划的智能体想好步骤,再传给执行的智能体;执行完还要回传给验证的智能体把关。每一跳都靠文字,每一跳都是一秒多。链条越长,这个成本就越吓人,而且它纯属"传话"的损耗,跟真正解题无关。
而且,文字通信不光慢,还烧钱。模型写出来的每一个字,都是要按量计费的词元(token),消息写得越长,账单就越厚。慢、损、贵,三重代价叠在一个"看起来最自然"的方案上,可偏偏今天人人都在用它。这笔账,做多智能体系统的人迟早要算。
T2T 的第二个毛病,是丢信息。把想法压成文字,天然有损耗。脑子里想的是三维的,写出来的是二维的影子。发送方写的时候可能写漏,接收方读的时候还可能读漏。两道损耗叠在一起,对方拿到手的,往往已经不是原本那个意思。
为什么文字一定有损?回到上一章说过的那张草稿纸。AI 脑子里的信息,是一大团连续的数字,理论上可以精确到小数点后很多位。一旦要写成人话,这些数字就得被压成几个词,连续性被硬生生切成了离散的格子。这有点像把一首歌压成几句歌词:旋律、节奏、音量全没了,只剩下干巴巴的几行字。收信人想凭这几行字还原原曲,几乎不可能。
可以这么想:与其把一张照片用文字描述给对方,让对方照着描述重新画一张,不如直接把照片递过去。文字这关,每过一遍都掉一层细节,细节掉多了,结论就跟着偏。更别说两个模型的"语言习惯"还不一样,A 觉得说清楚了的,B 未必接得住,一来二去,信息又缩水一圈。
T2T 的第三个毛病,更隐蔽一点:发送方根本不知道对方缺什么。写邮件的人,只能猜收件人已经知道了多少、还缺哪一块。猜多了,是废话;猜少了,是漏勺。而接收方真正需要的,往往不是"你看到了什么",而是"结合我已经知道的,还差的那一部分"。
这其实是所有"汇报式"沟通的通病。你开过那种会吗?对方讲了一大段你早就知道的事,你真正缺的那条线索,他偏偏没提。问题不在他不够聪明,而在他根本不知道你缺什么。让发送方单方面决定"该说什么",从一开始就把信息量打了折。
更深一层的原因,是我们默认"语言是万能的"。人类自己靠语言协作了几千年,就顺理成章地以为 AI 也该如此。可对 AI 来说,自然语言不是它的母语,反而是绕远路:它得先把脑子里的连续状态翻译成离散的文字,对方再费劲翻译回去。来回两趟翻译,正是所有麻烦的源头。
正是因为文字有这一堆毛病,早就有人想过绕开它。最直接的想法,是把草稿纸直接递过去,你接着我的草稿写,别让我先翻译成报告。这套思路叫缓存到缓存通信(Cache-to-Cache,简称 C2C),确实快得多、也不丢信息。但它有个硬伤:要求两边读过同一份输入,草稿纸才能对得上号。一旦像前面两个侦探那样各读各的,这套办法就失效了。
后来又有人出了个折中方案,叫 LCF-X(Latent Cache Flow),思路是把草稿纸揉成一个"摘要球"扔过去。省事是省事了,可一个球装不下所有可能用上的信息,也顾不上对方到底缺什么。这些前代尝试,后面章节会细讲;现在先记住一点:大家绕来绕去,就是因为文字这条老路实在太难走。
把这三个毛病反过来,就知道一条好的通信协议长什么样:它得快,别把关键路径堵死;它得不丢信息,别让中间环节打折扣;它还得懂对方,送过去的是对方真正缺的那一块,而不是自说自话。后面要讲的方案,就是照这三条去对症下药的。眼下先确认一件事:这三条,文字一条都做不到。
说到这你可能想问:既然文字这么差,为什么大家还都用它?因为它有个无可替代的优点:人能读。你可以把 AI 的对话日志翻出来看,出了问题好排查,也方便审计和监管。这套"看得见"的代价,就是慢和有损。鱼和熊掌,暂时没法兼得。
现在说最反直觉的结论。你可能以为,两个 AI 协作效果差,是因为模型不够聪明。论文给了相反的答案:把同一对模型完全冻住、一个参数都不动,只把沟通方式从文字换成别的方式,它们协作答题的宏平均分(把一个个实验单元一视同仁地平均)就从 48.86 涨到了 52.37。这 3.5 个百分点听着不大,可模型一个参数都没动,全靠换条通信线涨出来。模型没变,只是换了种说话方式,解题水平就往上蹿了一截。
这说明什么?说明在协作这件事上,卡住上限的往往不是模型的能力,而是它们之间那条通信协议。协议好,两个普通模型能超常发挥;协议差,两个聪明模型也白搭。这跟人类组织里的道理一模一样:很多团队烂掉,不是因为人不行,而是汇报机制把人憋住了。
如果你用过那些"慢吞吞"的 AI 助手,等它想半天才回一句,大概就能体会这种延迟。单个模型自己慢,我们还能忍;可当一群 AI 要来回商量时,每一次商量都叠上一秒多,用户的耐心很快就被磨光。文字通信的慢,最后是实打实落在体验和钱上的。
那么问题来了:既然文字这么差,AI 之间到底该怎么"说话"?答案藏在一个听起来很硬核的地方:KV 缓存,也就是那张草稿纸本身。下一章,我们先钻进这张草稿纸,看清它为什么能直接当通信的介质。
第 4 章 KV 缓存:AI 的草稿纸

想象你在啃一本很厚的专业书,准备考试。聪明人不会读一段忘一段,而是边读边在草稿纸上记:这个词是什么意思,这个概念在第几页出现过,等一下可能要回头查。等读到后面脑子发空,翻一眼草稿纸,就不用把整本书重读一遍。
大语言模型读书时,干的是同一件事。它读一段文字,不是读一个丢一个,而是每读到一个词,就在自己内部的一张"草稿纸"上记两栏。这张草稿纸,就是这一章的主角,KV 缓存(Key-Value Cache)。
顺带说一句,Transformer 是现在几乎所有大语言模型的底层架构,GPT、Claude、Llama、Qwen,名字各不相同,底层都是它。前面讲的注意力机制、KV 缓存,都是 Transformer 这套架构里的零件。理解一张草稿纸,就差不多摸到了这套架构运转的核心。
先补一个词:token。模型读书的最小单位不是字,而是 token,大致可以理解成一个词或一个词的片段。一段话进到模型里,先被切成一个个 token,再一个接一个地处理。每处理一个,就在草稿纸上添一行。
第一栏记的是"这词是什么",专业术语叫值(Value)。它存的是这个词此刻携带的信息:它的语义、它在当前上下文里的具体含义。相当于你草稿纸上写的"这个词是这个意思"。
第二栏记的是"在哪儿有用",专业术语叫键(Key)。它记的不是词本身,而是一张检索标签,回答的问题是:如果有别的内容需要用到这个词,该怎么把它找出来。相当于你在草稿纸上标的"此概念见第几页"。
为什么要分两栏,而且一栏叫键、一栏叫值?这跟模型内部的注意力机制有关。注意力每写一个字时,都要在所有读过的内容里挑出当前最相关的部分。键用来算相关度,回答"该关注谁";值是被挑中之后真正取出来的内容,回答"关注到了什么"。两个合起来,就是一次完整的翻草稿纸动作。
等 AI 开始写答案,也就是一个字一个字地往外吐,这个动作叫自回归解码。它每写一个字,都要回头扫一遍前面读过的所有内容,判断下一个字该根据哪部分来写。这时候它不重读原文,而是翻自己的草稿纸。这一下省掉了海量的重复计算。
如果没有这张草稿纸会怎样?模型每写一个字,都得把从第一个 token 到现在的整段文字重新读一遍、重新算一遍。写一百个字,就要把前一百个字重跑一百遍。KV 缓存存在的真正理由,就是让"已经读过的"只读一次。
"缓存"这个词借自计算机。缓存的作用就是:把算过一次、以后还要反复用的东西存下来,下次直接取,不再重算。KV 缓存就是这个思路在语言模型内部的落地。模型把"读到这里为止我看到了什么"存成一张表,写答案时反复查这张表。
你也可以在日常生活里撞见它。你跟 ChatGPT 聊了十句,它还记得你第一句说的是什么,靠的就是这张草稿纸。你每发一句,它就在草稿纸上添几行;它回你的时候,翻的也是这张草稿纸。聊天越长,草稿纸越厚。
给一个更准的定义:KV 缓存是 Transformer 推理时,为避免重复计算而保存的一套注意力键值对张量,是模型"已经处理过的内容"的压缩内部表示。前半句讲它怎么来的,后半句讲它本质上是什么。
注意"压缩内部表示"这六个字。模型不是把原文一字不差抄在草稿纸上,而是把原文转化成了自己内部的一堆数字。这堆数字是模型对"我读过什么"的理解,不是原文本身。它就是模型的工作记忆。人类靠大脑里那点临时记忆撑起一次对话,模型靠 KV 缓存撑起一次生成。
工作记忆这个词是从心理学借来的。人的工作记忆能同时装下的东西很有限,用过了就丢。模型的 KV 缓存类似:它只装当下这一次生成需要的东西,做完这一题,草稿纸就作废了,不会带到下一题去。
这个压缩可以再打个比方。原文是一份几十页的文件,模型读完,把它压成一个压缩包,这个压缩包就是 KV 缓存。它不是原文,却保留了模型接下来写作需要的几乎全部信息。解开它得到的不是文字,而是模型能直接拿来用的理解。
要理解这张草稿纸为什么特别,得先往下挖一层,认识一个更底层的概念:潜在空间(Latent Space)。
人脑子里想事情,不需要先组织成句子。你脑子里转的那个念头,是模糊的、多维的,往往一下子同时涌上来。等你要把它说出口,才被迫排成一句一句线性的文字。念头和句子,是两种完全不同的东西。
念头是连续的。"有点饿"和"非常饿"之间,有无数个中间刻度,你可以停在任何一个。说出来的话是离散的,你只能说"有点饿"、"很饿"或"饿死了",中间那些说不出口的刻度就丢了。
语言模型内部也有这样一个念头层。它读进去的是离散的字,但在内部,这些字被映射成一组连续的高维数字,也就是一个向量。为什么说高维?因为一个向量不是一两个数字,而是几十、几百甚至上千个数字排成一串,每一个数字都是这个念头的一个侧面。"苹果"这个词在模型内部不是三个笔画,而是一串可能上千个数字,分别编码了它是水果、是品牌、是可吃的东西、是圆的。
连续还有一个好处:可以做运算。你可以把两个向量相加、求平均、按比例缩放,这些都是连续的念头之间才能做的操作。文字做不到这些,"有点饿"加上"很饿",你得不出一个精确的"六分饿"。潜在空间里可以。
这一整片连续的数字空间,就叫潜在空间。它夹在输入的 token 和输出的 token 之间,是模型真正思考发生的地方。
真正的区别在这里:文字是潜在空间的"有损压缩码"。一个念头一旦说成一句话,就丢掉了大量信息,语气、轻重、还有那些没说出口的可能性。可以拿照片类比:照片是连续的、无损的,包含无数细节;你用一句话描述它,"一个小孩在草地上放风筝",是离散的、有损的,只留下最粗的几笔。文字之于想法,就像这句描述之于照片。而潜在空间里的那个向量本身是无损的,它是想法在变成语言之前的完整形态。
连续和有损这两个性质,直接决定了后文的一切。文字通信之所以又慢又丢信息,根子就在这里:把连续的想法压成离散的文字,丢一道;再让对方从离散文字重建连续理解,又丢一道。而直接传潜在空间里的向量,这两道损耗都可以绕开。
现在把两件事接起来。KV 缓存,就住在潜在空间里。草稿纸上每一个"这词是什么"、"在哪儿有用",记的都不是文字,而是这个连续空间里的高维向量。换句话说,KV 缓存是模型已经读过什么的、还没被压成语言的完整表示。
还剩一个问题:为什么这张草稿纸,适合拿来当两个 AI 之间的通信介质?答案藏在它和注意力的关系里。
Transformer 里有个机制叫注意力,粗浅地理解,它就是模型每写一个字时翻草稿纸的那个动作。而 KV 缓存,恰恰是这个动作直接读的东西。它不是从文字转译过来的二手信息,而是接收方模型的注意力本来就在消费的原生格式。
这带来一个巨大的好处。过去两个 AI 交流,一方得先把想法写成人话,另一方再读人话、重新理解、重新记成自己的草稿纸,两次转化,又慢又丢信息。如果把草稿纸直接递过去,接收方的注意力拿起来就能用,中间那两次转化全省了。
论文里还点出一个关键事实:这张草稿纸内部高度冗余。研究者早就发现,KV 缓存里很多位置的信息是重复的,删掉一部分也不影响结果。正因为冗余,整张草稿纸才能被压缩成很小一份,塞给对方时不用把整个缓存原样搬过去。这也是跨模型传输这件事能成立的基础。至于具体怎么把它压成小份,手法是派几个可学习的侦察兵上去各挑一类重点,这是第 6 章的主角,这里先按下不表。
草稿纸也不是无限的。模型的内存有限,读的东西太长,就得开始淘汰,把不那么重要的行划掉,给新的内容腾地方。研究者正是顺着"哪些行能划掉而不影响结果"这个思路,才发现这张草稿纸里大量内容是冗余的。
论文原文是这么说的:KV 缓存是解码过程中持续被消费的提示状态。说白了,它不是一份死档案,而是接收方在生成答案的每一刻都在实时读取的东西。把通信介质选成它,等于把信息直接送到对方的眼前。
理解了 KV 缓存是什么、它为什么适合当通信介质,下一章就能看懂前面几代"传草稿"方案是怎么一步步试过来的,以及它们各自卡在哪。
第 5 章 从说人话到传草稿:前代方案

上一章把 KV 缓存这张草稿纸讲清楚了。现在的问题更实际:手里有草稿纸,怎么把它交给另一个人?从"把草稿翻译成报告"到"直接递草稿纸",中间隔着两代方案,各有各的聪明,也各有各的死穴。
先看最原始的做法,也就是我们已经批评过的那条路。发送方把草稿纸上的内容写成人话,一封邮件、一份报告,发给对方,对方再读、再理解、再记回自己的草稿纸。这正是眼下主流多智能体系统的做法,也就是文字通信。
文字通信的问题不在于"能不能传",而在于"太绕"。发送方要先把想法组织成句子,接收方要把句子再拆回自己的理解。中间的每一个字,都可能是信息流失的地方。写漏一点、读漏一点,最后拿到的就打了折。
第一代想省掉"写报告"这一步的方案,叫缓存到缓存通信(Cache-to-Cache,简称 C2C)。它的想法很直接:既然接收方最后反正要把报告重新记成草稿纸,那不如直接把我这张草稿纸,翻译成你那张草稿纸。
想象两个同事合写一份材料。笨办法是:甲把自己的笔记整理成一篇报告,乙读报告,再把报告里的要点抄回自己的笔记。C2C 的办法是:甲直接把笔记递给乙接着用。省了"整理成报告"和"读报告重新记笔记"两道工序。
给个定义:C2C 做的是把发送方模型的 KV 缓存,翻译成接收方模型的 KV 缓存。中间那个"翻译"是因为两个模型内部格式不一样,需要学一个小适配器来做转换。这套思路在 2026 年的几篇论文里已经落地,证明了"草稿纸可以跨模型直接传"这件事可行。
这一步为什么值得单独记一笔?因为它打破了一个默认假设:两个 AI 要协作,就必须像人一样说话。C2C 之前,几乎所有人都默认 AI 之间的交流只能走文字这条路。C2C 第一次证明,不写字,草稿纸也能直接递过去。
但 C2C 有一个致命前提:双方必须读过同一份输入。原因出在"对齐"两个字上。KV 缓存是按位置对齐的,发送方草稿纸上的第五个词,对应接收方草稿纸上的第五个词。翻译器正是靠这种位置的一一对应来工作,就像两张座位表,只要坐的是同一批人,第几排第几个就都能对上。
这个前提,论文里的专业说法叫 token 可对齐。意思是发送方草稿纸上的每一个 token,都能在接收方草稿纸上找到同一个位置。位置一旦对不上,翻译就失去了支点。
换句话说,C2C 传递的是"同一份输入在另一个模型里的样子"。它适合的场景是:两个模型读的是同一段文字,只是内部表示不同,需要翻译。这更像同声传译,而不是情报交换。
一旦换成"各读各的",这个前提立刻崩塌。发送方读的是甲卷宗,接收方读的是乙卷宗,两边的草稿纸位置根本没有对应关系。发送方第五个位置记的东西,和接收方第五个位置记的东西,八竿子打不着。C2C 直接失效。论文里点得很清楚:这些方案都假设双方读的是重叠的内容,而本文的场景恰恰相反,两个模型持有的是互补的证据。
位置对齐这个枷锁有多重?它等于说,两个模型只有在读同一份文件时才能直接对话。可现实中多智能体系统最常见的场景,恰恰是各读各的:检索的读资料,调工具的读工具返回,验证的读结论。要求大家读同一份输入,等于让协作没法真正展开。
第二代方案想把"位置对齐"这个枷锁摘掉,叫 LCF-X(Latent Cache Flow 跨上下文版)。它的思路是:既然位置对不上,那就干脆不要位置。发送方把自己的整张草稿纸揉成一个球,把所有位置信息压缩成一个与位置无关的摘要,把这个摘要球扔给接收方。
还是那两个同事。这次甲不递草稿纸了,而是把整本笔记浓缩成一张便签,贴给乙。乙把便签贴在旁边,写材料时偶尔瞄一眼。省事多了,也不要求两人读的是同一份材料。
准确地说,LCF-X 做的是:对发送方的缓存做一次池化,得到一个与位置无关的摘要,再把这个摘要作为带门控的残差,注入接收方的 KV 缓存里。接收方写答案时,这个摘要球就漂在它的草稿纸旁边。
门控这两个字值得解释一下。它的意思是,接收方可以自己调节这份摘要的影响有多大,这个球的作用可以被调大调小。这比 C2C 的原样照抄灵活,但本质上,接收方仍然是在被动接受一个发送方现成揉好的球。
它解决了跨上下文的问题,却带来了三个新毛病。第一个是单摘要瓶颈:所有信息都被塞进同一个摘要球里,而接收方在不同的位置、写不同的字,需要的其实是不同的信息。一个球,不可能同时装下接收方所有可能需要的所有事实。信息在揉球的过程中被摊薄了。
打个比方,这就像一个水桶装不下一整片海。发送方读到的所有细节,硬要挤进一个固定大小的摘要里,最后只能留个大概。接收方写到一半,需要某个具体事实时,摘要球里早就没有了。
第二个是接收者无关:这个摘要球是发送方单方面揉出来的,发送方根本不知道接收方已经知道了什么、还缺什么。于是摘要球只能事无巨细地塞满,结果往往是什么都有一点,什么都说不透。它是在汇报自己看到的一切,而不是补上对方缺的那一块。
第三个是假设层数和几何匹配:它默认两个模型的层数、注意力头数、每个向量的维度都能对得上。可现实里不同厂家的模型这些全不一样。硬套位置或层,就像把两套完全不同的组织架构强行对齐,对错了地方,信息就送错了格。
三个毛病叠加起来,就是 LCF-X 的现实表现:它比文字快、比 C2C 灵活,但在需要精确拼证据的任务上,还是差着一口气。因为它传给对方的,始终是一份谁都能看的通用摘要,而不是专门为你准备的那份。
不过要替 LCF-X 说句公道话,它迈出的这一步非常关键。位置对齐是 C2C 的死穴,而 LCF-X 用一颗摘要球,第一次让两个模型可以在各读各的情况下互通。代价是信息被压扁,但至少证明了跨上下文通信这条路是通的。
论文把这条线理得很清楚:从纯文字通信,到 C2C 的缓存直传,再到 LCF-X 的跨上下文摘要,每一代都在解决上一代的一个硬伤,但每一代也都留下了新的硬伤。
把两代方案放在一起看,脉络很清楚。C2C 回答了"能不能传":能,草稿纸可以直接递,不用写报告,但它要求双方读过同一份输入。LCF-X 回答了"能不能跨上下文传":能,摘要球不依赖位置,但它把信息压扁了,还不管对方要什么。
换句话说,前两代方案解决的都是"怎么把东西送过去",还没触及一个更深的问题:该送什么。一个死板地要求位置对齐,一个粗暴地揉成一颗球。它们都在搬运草稿纸,却都还没有学会根据对方的需要来沟通。
这其实很像人类团队协作的进化。最早是发邮件,后来是共享文档,再后来是开会对齐。但真正高效的协作,靠的不是这些工具本身,而是知道对方缺什么、只补对方缺的那一块。工具换了一代又一代,缺的始终是这份会沟通的自觉。
那会沟通应该长什么样?打个比方,甲不该问乙要什么,而应该看着乙的草稿纸说:你现在缺的是这一块,我正好有,给你补上。消息的内容,要由对方缺什么来决定,而不是由自己有什么来决定。这正是下一代方案要做的转向。
这正是 XKV 要补上的那一环。下一章我们看它怎么同时甩掉位置对齐的枷锁、又不踩摘要球的坑,关键在于一个反直觉的转向:说什么,得由谁在听来决定。
第 6 章 XKV 的三个组件
如果把两个 AI 的协作比作一场国际会议,前面几章的文本通信(Text-to-Text,简称 T2T)就像让演讲者先把整篇稿子写完寄出去,对方收到后再从头翻译一遍。LCF-X 进步了一点,相当于把草稿纸揉成一个"摘要球"扔过桌子,快是快了,但那个球装不下多少东西,也不管对方到底缺什么。XKV 要做的,是请一位专业的同传译员坐到中间,边听边译。这位译员还有一手绝活,就是"对着听众译",先摸清听众已经懂了什么,只补他缺的那部分。下面把这位译员拆开来看,他靠三招完成工作,外加一条上岗纪律。
这三招,正好对着 LCF-X 留下的三个窟窿。窟窿一,单摘要瓶颈:一个向量要塞下接收方可能用到的所有事实。窟窿二,接收者无关:发送方不管对方缺什么,自己写自己的。窟窿三,假设层数与 KV 几何匹配:可异构模型的层数、头数、维度根本对不上。XKV 的三个组件,一个堵一个窟窿。
三个组件的先后顺序也不是随便排的。先池化,把两沓草稿纸各自压成薄薄几行;再对齐并混合,把两边的摘要合成一份联合记忆;最后由接收方按位置取回自己那份,写进草稿纸。整个过程像一条流水线,前一环的输出正是后一环的输入。
把三招放回同传译员身上,画面就完整了。侦察兵负责快速抓要点,层对齐和联合记忆负责把两种语言的"结构"对上、把话说成对方缺的那半句,位置检索负责让每个听众各取所需,零初始化则是译员上岗前"先闭嘴旁听"的纪律。一条完整的同传流水线,XKV 都有对应的零件。
组件一:对称直接缓存池化
先来一个更小的类比。你手里有一沓几十页的会议记录,要在三分钟内讲给同事听。你不会逐页念,而是先扫一遍,抽出"结论""待办""风险"三类要点,各写一行。第一招做的就是这个事,只是派去"抽要点"的不是人,而是几个可学习的查询向量(learned queries),我们不妨叫它们侦察兵。
"可学习"三个字是重点。侦察兵一开始也不知道该挑什么,训练的过程就是它们慢慢学会"哪一类信息对下游最有用"的过程。挑错了,答案就错,梯度会反过来教它下次换个挑法。所以这几个 query 是练出来的,不是人工写死的规则。
这一招的正式名字,叫对称直接缓存池化(Symmetric Direct Cache Pooling)。"直接"说的是把 N 个位置的缓存一步压缩成 k 个摘要槽。做法是用可学习的 query 对缓存里每一个位置做一次注意力加权求和,N 个位置瞬间变成 k 个槽,全程一次向量化完成。
用注意力加权求和来"抽重点",靠的是一个很朴素的直觉:给每个位置一个权重,重要的位置权重高,不重要的权重低,加权一加,留下来的自然就是重点。权重怎么来?由侦察兵和每个位置算相似度得出,相似的就多看几眼,不相似的就略过。整个过程不用人工规定"哪句重要",全由数据教会。
这里 N 可以很大,一篇长文章读下来,缓存里的位置成千上万,压缩到 k 之后,后面所有操作都只在这 k 个槽上进行。这替代了 LCF-X 那套"先分段、再各段池化"的两段式流程,少绕一道弯,就少花一份时间。
这里要多说一句"向量化"的分量。文字通信是自回归的,一个字一个字往外吐,像打字机一格格敲;池化是矩阵运算,一整列一次算完,像电子表格里一条公式刷到底。同样是把信息搬过去,前者被锁死在串行节奏里,后者一次并行搞定。后文会看到的那 6.8 倍提速,很大程度上就来自这个差别。
"对称"说的是这个动作双方都做。不是只压缩 Sharer 一方的草稿纸,而是 Sharer 和 Receiver 各派自己的 k 个侦察兵,各自挑出 k 类重点。具体到颗粒度,是每一层、每一个注意力头各 k 个槽,切得很细。这么一来,双方手里都有一份整齐的摘要,而不是只有一方有、另一方干等。这也直接补上了第一个窟窿:从"一个摘要球"变成"双方各 k 个槽",信息容量大了,还能按需取用。
侦察兵的数量 k 不是拍脑袋定的。论文里 k 取 1、2 或者 3,随接收方模型的规模增大而增加。接收方越大,越值得多派几个侦察兵,多带几类情报回来。
组件二:层对齐 + 联合记忆
第二个坑,藏在"层"这个维度上。想象两家公司组织架构完全不同,第 5 级的经理在 A 公司管销售,在 B 公司可能管行政。硬把两边第 5 层直接对上,等于让销售和行政互相交接工作,驴唇不对马嘴。异构模型之间最隐蔽的问题,就是它们的层数、注意力头数、向量维度全都不一样,这正是第三个窟窿。
这一招的名字,叫层对齐 + 联合记忆(Layer Alignment and Joint Memory)。它先解决"对上"的问题:学一个仿射层映射(learned layer map)W_L,把 Sharer 的层轴旋转、平移到 Receiver 的层轴上去。这张对照表在数学上就是缩放加平移,给两边的坐标系找到一套换算关系,所以叫仿射。这里不假设任何一层和任何一层有天然对应,因为确实没有,跨架构的深度本来就没有可靠的语义对应。与其硬套,不如让模型自己学出一张对照表。
对齐之后,双方各 k 个摘要槽被拼在一起,先经过一个瓶颈多层感知机(bottleneck MLP)压缩,再过一个跨层自注意力的 Transformer 块,混合成一份联合记忆(Joint Memory)。先压窄再展开这一步很关键,它逼着模型只保留双方真正重叠、真正缺的那点信息,把冗余挤掉。
后面的跨层自注意力,则是让这份摘要里的不同层互相"通气"。Sharer 的第 3 层信息,可能对 Receiver 的第 7 层更有用,这一层一层的对应关系,正是通过自注意力在联合记忆内部找出来的。这份记忆的长度等于接收方的层数,跟提示词(prompt)有多长没有半点关系。长度固定,意味着计算量固定、延迟固定,不会随输入变长而水涨船高,这是它能跑得这么快的一个重要伏笔。
这里藏着整篇论文最反直觉的一个想法。传统做法是发送方单方面写死一条消息,内容是"我看到了什么,都告诉你"。XKV 把这条消息重新定义成:Sharer 的证据,相对于 Receiver 已经编码的内容,还缺哪一块关联。换句话说,说什么话,不只看说话的人,更看听话的人已经懂了多少。这不是"我把我看到的告诉你",而是"结合你已知的,把你还缺的那部分补给你"。这补上的正是第二个窟窿。
组件三:接收者位置检索与更新
第三招用"定制化情报投递"来类比。一个情报站不会把同一份简报群发给所有人,而是让每个分析师自己上门,取走自己要的那一段。有人要市场数据,有人要技术细节,各取所需。
这一招的名字,叫接收者位置检索与更新(Receiver-Position Retrieval and Update)。它的核心,是把"谁来拿"的决定权交给接收方。接收方缓存里的每一个位置,都充当一个 query,向联合记忆发起一次跨注意力(cross-attention),把自己需要的那部分信息取回来。
取回来的东西不是直接覆盖原值,而是写成一份残差(residual),通过每个头各自的门控(per-head-gated)加回到接收方原本的 KV 几何上去。至于"每个头各自的门控",可以理解成每个注意力头自己决定吸收多少。有的头对这份外来信息很敏感,就多吸收一点;有的头觉得跟自己无关,就把阀门关小。门控让接收方既能取用情报,又不会被打乱自己原本的节奏。
这套写回有一个正式的叫法,残差更新(residual update):新缓存等于旧缓存加一小份修正,即 C'_R = C_R + ΔC_R。写回之后,接收方就带着这份补全过的草稿纸正常开始解码,后面生成 token 时缓存照常追加,不会回头改写。所以翻译器的开销是一次性的,摊到每一个 token 上几乎为零。
一句话收束这一招:LCF-X 是"把同一个摘要球塞给每个人",XKV 是"每个人自己来取件"。后者对接收方的每一个具体位置都更贴心。消融实验会证明,这一招值 0.83 分,在 QASC 上更值 1.98 分。
零初始化输出头:一条上岗纪律
最后一招严格来说不是沟通组件,而是一条上岗纪律,名字叫零初始化输出头(Zero-Initialized Output Heads)。
回到同传译员的类比。一位新译员第一天上岗,最稳妥的做法是先什么都别改,坐在旁边旁听,等真正听懂了再开口。XKV 给翻译器立了同样的规矩:把负责写回的输出投影 W_K、W_V 全部初始化为零。
这一条的意义很实在。翻译器还没训练好的时候,它输出的残差是零,加回接收方缓存等于没加,整个系统退化成接收方独自解码,效果不会比不用这套东西更差。训练的过程,是在学"该往残差里填什么修正量",而不是学"怎么从头替代对方"。它从一开始就把翻译器定位成"补丁",而不是"替身"。这保证了一开局就不会崩,早期优化稳稳当当。
收尾
到这里,XKV 的全貌就齐了。三招解决三个老问题,一条纪律稳住开局,剩下的交给训练。它的账目很清爽:快,因为池化一步完成、记忆长度恒定、解码器、门控、输出头跨层共享;省,因为两个模型全程冻结,只训练一个微型翻译器 θ,就是那位 455 万参数的同传译员。下一章,把它拉到 45 场传话测试里,看它到底表现如何。
第 7 章 实验证据:45 场传话测试

方法讲完了,现在看它到底行不行。论文作者搭了一个相当严格的考场:三个家族的模型,九种有序配对,五类"证据被劈成两半"的数据集,一共 45 个测试单元。每一个单元,都是让一个模型拿着问题的一半证据,另一个模型拿着另一半,看它们合作能答对多少。这个规模不算小,足够让结论站得住。
实验设计:三个家族,九种配对
先认识三位考生。Qwen3-0.6B,6 亿参数;Gemma-3-1B,10 亿参数;Llama-3.2-3B,30 亿参数。这是三家不同厂商的模型,家族、网络深度、注意力头的几何、分词器全都不同,正是考验翻译器跨架构本事的好材料。翻译器要在一堆"长得完全不一样"的模型之间来回传话,难度比同厂牌之间高得多。
三位考生的体量差距也是刻意选的。最小的 Qwen3 只有 6 亿参数,最大的 Llama-3.2 是 30 亿,差了整整五倍。让一个 6 亿参数的小模型给 30 亿的大模型递情报,和反过来让大模型给小模型递情报,是完全不同的两件事,翻译器都得兜得住。
配对是"有序"的。三个模型两两配对,A 传给 B 和 B 传给 A 是两码事,于是有 9 个有序对:6 个异构对,加 3 个同构对角线,也就是 Qwen 传 Qwen、Gemma 传 Gemma、Llama 传 Llama。"有序"这两个字很关键,Qwen 传话给 Llama,和 Llama 传话给 Qwen,是两场完全不同的考试,方向和角色一换,难度就不一样。
那 3 个同构对角线也值得一提。有人会问,同一个家族的模型自己传给自己,用得着翻译器吗?答案是确实用得着,而且有意义。对角线单元证明了 XKV 不止在"跨厂牌"时有用,同厂牌内部协作也能受益,三个对角线单元的成绩全部压过两个基线。
五个数据集各有各的劈法。ROPES 把背景和情境分在两侧;MuSiQue 是两跳推理,两个支持段落分居两侧;HotpotQA-bridge 把支持段落和干扰项分开;QASC 把两个支持事实拆开;StrategyQA 把支持事实洗牌后分成两半。劈法不同,考验的协作能力也不同:有的考"拼接",有的考"过滤噪音",有的考"选择性整合"。这类任务统称分割证据任务(Split-Evidence Tasks),是多智能体协作的最小单元。9 个有序对乘 5 类数据集,正好 45 个单元。
选这些题,是为了逼出真正的协作。如果任何一方单独就能答对,那"通信"就成了走过场,翻译器好不好都看不出来。分割证据把题设成"合则能答、分则都答不了",于是分数的高低几乎完全由沟通质量决定。这保证了测出来的,是通信通道本身的本事,而不是某个模型的底子。
这套实验的严谨还体现在设置上。两个模型全程冻结,只训练翻译器;优化器用 AdamW,学习率 0.0001,前 10% 线性预热,批大小 256,梯度裁剪 1.0,瓶颈宽度 128。硬件只用一张 NVIDIA A100 80GB 显卡。翻译器这么小,训练和推理都轻,普通实验室也负担得起。
结果总览:52.37 对 48.86
先看总账。XKV 的宏平均分是 52.37,LCF-X 是 49.76,文字通信 T2T 是 48.86。XKV 比 T2T 高了 3.5 个百分点。
"宏平均"值得解释一句。它是对全部 45 个单元的成绩做等权平均,每个单元权重一样,不会因为某个数据集题目多就灌水。所以这 3.5 个百分点的差距,是实打实的,不是靠某个大盘子数据集撑起来的。
再看胜率,更直观。45 个单元里,XKV 拿了 31 个最佳或并列最佳,LCF-X 只拿了 4 个,T2T 拿了 11 个。平均排名上,XKV 是 1.37,越接近 1 越好,另两家分别是 2.29 和 2.34。翻译成人话:XKV 几乎在三分之二的单元里都是第一名,另外两家加起来才勉强分到剩下的三分之一。

平均排名 1.37 这个数字也耐看。理想情况是每个单元都拿第一,排名就是 1.0;XKV 的 1.37,意味着它在大多数单元里不是第一就是第二,很少掉到第三。
还有一个细节值得点出来。这三个分数是同一批冻结模型跑出来的,唯一变量就是通信方式。也就是说,模型一个字都没改,只是把"说话的方式"从文字换成了潜在状态,平均分就从 48.86 涨到 52.37。提升不是来自更强的模型,而是来自更好的沟通协议。
分数据集:赢了四个,输了一个
把 45 个单元按数据集拆开看,XKV 在五个数据集里赢了四个,只在一个地方略逊。这里要先说清楚两种计分方式:生成式问答报 EM 和 F1,EM 是"一字不差"才算对,F1 是"词重叠多少"给分;分类式任务报准确率,看选对没选对。口径不一样,但都是越高越好。
ROPES,比 T2T 高 7.68 个 F1 点,是五个数据集里提升最大的一档。这个任务把背景和情境分在两侧,恰恰需要接收方把两份信息对起来用。HotpotQA-bridge,高 6.41 个 F1 点,这里支持段和干扰项被分到两侧,接收方得学会过滤噪音。MuSiQue,高 2.67,这是两跳推理,两个支持段落分居两侧。StrategyQA,高 1.10,它是分类式任务,报的是准确率。QASC,低 0.27,唯一略逊于 T2T 的地方,QASC 的两个支持事实被拆开,对选择性整合要求最刁钻。这一点,到消融实验会再出现。
五个数据集里四个领先,用"四分之三"来概括其实还保守了。真正略逊的只有 QASC 一个,而且只差 0.27 分,几乎打平。换句话说,XKV 对文字通信不是"险胜",是"全面压制,只在一个刁钻角落里打了个平手"。
挑两组有代表性的单元,看看绝对分数。Qwen 传 Llama 这一对,XKV 在五个数据集上全面最佳:ROPES 的 EM 是 57.3、F1 是 61.8,MuSiQue 是 19.2 和 29.9,QASC 准确率 93.3,StrategyQA 准确率 73.6,HotpotQA 的 EM 41.5、F1 55.0。Gemma 传 Llama 这一对同样全面最佳。同构对角线上,Qwen 传 Qwen 的跨数据集均值是 51.18,Gemma 传 Gemma 是 43.16,Llama 传 Llama 是 61.96,三个都压过两个基线。
把 57.3 的 EM、61.8 的 F1 翻译成大白话,是这一对模型合作时,大约六成的题目能答出与标准答案高度吻合的结果。放在分割证据的设定下,任何一方单独都答不了这些题,这个数字是实打实靠"合作"挣来的。
效率:快 6.8 倍,参数少 76%

数字之外,别忘了"快"这件事。翻译器跑一次只要 5.8 毫秒,LCF-X 的融合器要 59.9 毫秒,快了 10.3 倍。翻译器是整个流程里新加的一环,它本身越轻,整套系统就越不会因为"请翻译"而变慢。它为什么能这么轻?因为它不生成文字,只在向量上做几次矩阵运算,而池化、对齐、检索这三步在上一章都设计成了一步到位、长度恒定。
这里要分清两个"快"。一个是翻译器本身跑一次的时间,5.8 毫秒,这是新加的成本;另一个是端到端,也就是从提问到出答案的总时间。后者的大头花在接收方模型自己解码上,这一部分三种方法都一样。XKV 赢在把"通信环节"从一秒多砍到几毫秒,总时间自然跟着降下来。
端到端更直观。一次完整问答,XKV 平均 167.6 毫秒,LCF-X 是 227.9 毫秒,比它快 26.4%;文字通信要 1139.5 毫秒,比它快 6.8 倍。什么概念?文字通信那套,用户得等一秒多;换成 XKV,眨个眼的工夫答案就出来了。对于要反复交接的多智能体流水线,这一秒多的差距会在一轮轮对话里越滚越大,最终从"慢一点"变成"能不能用"。
参数也省得吓人。翻译器只有 455 万参数,LCF-X 的融合器是 1903 万,少了 76.1%。455 万,对 10 亿到 30 亿的接收模型来说就是个零头。训练它,一张 A100 显卡就够了,还不算大工程。
分数据集看速度,优势同样全面。StrategyQA 比 T2T 快 9.99 倍,ROPES 快 8.90 倍,HotpotQA-bridge 快 6.01 倍,最保守的 MuSiQue 也有 5.09 倍。也就是说,不管哪一类题,XKV 都比文字通信快五到十倍,没有短板。
消融:拆零件,看谁掉分

最后是消融实验,把 XKV 的零件一个个拆掉,看少了谁成绩会掉。这是检验每一招是不是真有用的标准动作。论文在 27 个匹配单元上做了三组对照。
消融的逻辑很朴素:怀疑某个零件有用,就把它拆掉再看成绩。成绩没变,说明这零件是摆设;成绩掉了,说明它真的在干活。三组对照各自掉的分,就对应三个组件各自的价值。
去掉接收方池化,论文记作 −RP:平均掉 0.46 分。这一退,就退回只压缩发送方一侧的摘要,接收方不再参与挑选。分数掉得不算狠,说明接收方池化是"加分项",但不是"命根子"。
去掉接收方位置检索,记作 −RX:平均掉 0.83 分。这一退,把"每个人自己取件"换成了"广播同一份层记忆"。在 QASC 上尤其惨,掉 1.98 分,恰好印证了前面的观察:证据需要选择性整合的任务,最受不了"一视同仁"的广播。
换回分段池化,记作 LCFP:把一步到位的直接池化换回 LCF-X 的两段式分段池化,平均掉 0.94 分,ROPES 上掉 2.00 分。更要命的是速度,翻译器从 5.8 毫秒涨到 39.1 毫秒,慢了 6.7 倍,端到端也慢了 39.4%。这证明直接池化不是可有可无的实现细节,换掉它,又慢又差。
这里还有个前后呼应值得回味。QASC 是唯一让 XKV 略逊于 T2T 的数据集,又恰好是消融里掉分最狠的数据集。这正说明 QASC 的题卡在"哪条事实该信、哪条该忽略"上,对选择性整合要求最高,而 XKV 的接收者位置检索就是为它设计的。一个组件被拆掉,QASC 立刻掉 1.98 分,等于反过来证明了这个组件的靶点找准了。
收尾
把消融串起来看,结论很清楚。接收者感知的两个组件几乎免费,它们带来的端到端开销变化不超过 3.5%,却贡献了主要的分数。而直接池化不是实现上的小优化,换掉它,又慢又差。45 场测试、45 个数字,最终指向同一件事:XKV 的每一条设计,都有数字背书。这些数字背后还藏着一个更大的问题:为什么"不写字"反而更准?这正是下一章要拆开的几处反直觉。
第 8 章 反直觉之处与代价
XKV 这套方案,读下来最让人回味的不是它有多快,而是它推翻了好几条"想当然"。这些反直觉的地方,比速度更能说明它好在哪。
第一个反直觉:AI 之间不写字,反而沟通得更好。先把直觉捋一遍:人跟人交流,靠语言;AI 是人造出来模仿人的,那 AI 之间交流,当然也该靠语言。论文的数据却指向相反的方向。
同一对冻结的模型,用文字通信时宏平均分 48.86,换成潜在空间通信,涨到 52.37;端到端时间从 1139.5 毫秒缩到 167.6 毫秒,快了近 7 倍。又快又准,两个大模型全程冻结、一个参数都没动。文字不是 AI 的母语,是我们硬塞给它的"外语"。让两个 AI 用外语聊天,本来就是在给它们添乱。
这个结论还顺带推翻了一个默认前提:协作的上限,往往卡在通道上,而不是卡在模型能力上。同一对模型,只换了个说话方式,解题水平就涨了一截,说明过去很多多智能体系统,是被通信方式拖了后腿。
为什么会这样?因为文字这条信道天生又慢又有损。发送方得先把自己的内部状态翻译成一段话,逐字吐出来;接收方拿到话,又要重新拆成 token、再编码进自己的脑子。一来一回,等于把一条本来畅通的信息,先压成有损的压缩包,再解压重装。设想两个同事交流,一个把想法写成报告,另一个读报告再誊抄进自己的笔记本,XKV 的做法是直接把手里的草稿纸递过去。省下的,就是"写报告"和"誊抄"这两道工序。
第二个反直觉:模型"第几层"根本没有跨家族的对应关系,但这不是障碍。不同公司的模型,层数不一样,每层干的事也不一样。Qwen 的第 5 层,跟 Llama 的第 5 层,学的根本不是同一种特征。按常理想,两个结构都不对齐的大脑,怎么互相理解?
XKV 的做法是:别管谁对应谁,直接学一个映射,把发送方的层轴"拧"到接收方的层轴上来。好比两家公司组织架构不同,第 5 级的经理管的完全是两摊事,硬按"第 5 级"对接只会鸡同鸭讲。派一张学出来的"对照表",把两边的职级对上,问题就消失了。
这张对照表不需要任何语义意义,它只是一套仿射变换的参数。训练时翻译器自己摸清楚:发送方哪几层的信号,组合起来最接近接收方某层需要的东西。层数不齐不是死结,学一张对照表就解决了,而且它和后面的"接收方位置检索"叠加起来效果最好。这也意味着,异构模型之间的鸿沟,大多能被一套学出来的映射填平,不必等厂商统一架构。
第三个反直觉:说什么,必须由"谁在听"决定。这听起来像人际沟通的常识,但在技术方案里,大多数设计者想的是"我说清楚就行"。XKV 反着来:消息的内容,是"发送方的证据相对于接收方已编码内容的关联",而不是发送方单方面写好的总结。
想象一场汇报。单向广播式的汇报,是发言人把准备好的稿子念一遍,不管台下的人已经知道了什么、还缺什么。定制式的沟通,则是先看一眼对方手头有什么,再只补上他缺的那块。前者省事,后者有效。论文用消融实验证明了这一点。
去掉接收方参与的池化,平均掉 0.46 分;去掉接收方位置的检索,平均掉 0.83 分,在需要选择性整合证据的 QASC 任务上掉到 1.98 分。越需要"挑着拣着"整合信息的任务,越不能没有接收者感知。而这两个"接收者感知"组件,端到端延迟的变化不超过 3.5%。换句话说,让通信"懂对方",几乎免费,设计者大可以放心加上接收者感知,而不用为延迟买单。
第四个反直觉,也是最有工程味道的:效率不是靠偷工减料换来的,而是靠设计换来的。XKV 的翻译器比 LCF-X 的快了 10 倍以上,不是因为砍了什么功能,而是因为把"一次压缩"做成了"一步向量化"。
打个比方:LCF-X 处理缓存,像先把一张大纸裁成几段,分别折叠,再拼起来;XKV 则是一步到位,直接把整张纸折成你要的形状。中间少了几道工序,自然又快又稳。论文把 XKV 的池化换回 LCF-X 的两段式分段池化(消融里的 LCFP),结果翻译器慢了 6.7 倍,端到端慢了 39.4%,准确率还掉了 0.94 分。又快又准和"偷工减料"没有关系,是结构设计本身更优。省掉的是冗余的中间步骤,不是该有的功能。这给工程师的启示是:优化时先别急着砍功能,先想想能不能换成一种更省的结构。
当然,XKV 不是免费的午餐。它有一串明摆着的代价,论文自己没细说,但从设计里能推出来。
第一笔账,是"翻译器要成对训练"。XKV 的翻译器夹在两个固定模型之间,专门学这两个模型怎么互相理解。系统里有 N 个模型,可能要 N 的平方个翻译器:Qwen 和 Llama 之间一个,Qwen 和 Gemma 之间一个,Gemma 和 Llama 之间又一个。
模型越多,翻译器的数量涨得越快:不是每加一个模型多一个翻译器,而是每加一个模型多一整排。设想一个平台接入了十家模型,光是两两配对就远多过模型本身的数量。这还只是训练这一步,哪家模型升级了版本,夹着它的那些翻译器又得跟着重训。更麻烦的是,这些翻译器两两不同、没法通用,维护的是一张不断膨胀的配对表。论文的实验只有三个模型,这个工程问题被藏起来了。
第二笔账,是实验规模。论文用的三个模型都不大:Qwen3-0.6B、Gemma-3-1B、Llama-3.2-3B,最大的才 30 亿参数。今天的旗舰模型动辄几百亿、上千亿参数,KV 缓存的结构和几何差异更大,翻译器在"巨人"之间好不好使,论文没有回答。
这是从 3B 到 300B 的跨越,不是简单放大。从 0.6B 到 3B,跨度本身就不大,把规律外推到旗舰模型,得先打一个问号。在蚂蚁之间验证过的沟通方式,放到鲸鱼之间未必照样成立。设想把翻译器直接搬到千亿级模型上,光是对齐那套层映射,要处理的特征维度就复杂了不止一个量级。
第三笔账,是"一次性、单跳"的设定。XKV 的更新是一次性修改接收方的前缀缓存,之后生成的新 token 缓存照常追加。论文只在"传一次话、答一道题"的设定里验证过。
真实的多智能体系统是连续多轮协作的,缓存会不断漂移、不断累积。这像接力传话:传一次话准,不代表传十次还准,每一棒都会把上一棒的小误差带下去。多轮传递后翻译器还能不能保持对齐,缓存会不会越攒越偏,论文没有测。
第四笔账,是那一章开头就埋下的问题:可解释性。潜在空间的消息,人类读不懂。过去 AI 用文字通信,出了事还能翻日志;现在它们改说"悄悄话",日志上只剩下一堆数字向量。
读不懂的消息,连审计都无从下手。论文作者自己把"潜在消息的可解释性"列进了未来工作,等于承认:现在的 XKV 是个黑箱对黑箱的通信。更让人警觉的是,这种不可读的通道一旦被用来偷偷约定暗号,外头的人连"它们是不是在背地里商量"都未必察觉得到。
这几笔账,有的可以还,有的暂时还不了。翻译器成对训练的问题,未来可能有"通用翻译器"或者共享记忆的方案;实验规模的问题,随着算力增长会有人补测;但可解释性这一笔,恐怕会长期挂账。
挂账的原因很简单:让 AI 之间的通信人类可读,恰恰会重新引入 XKV 想要消除的文字瓶颈。你要么接受"快而不可读",要么接受"可读而慢",两者暂时没法兼得。这不是 XKV 的缺陷,而是这个技术方向的固有张力。
这条张力,本质上是"效率"和"透明"在较劲。想让人类能旁听,就得让 AI 把话说成人话,而说成人话本身就是最慢的那一环。XKV 恰恰是把这一环拆掉,才换来近 7 倍的速度。所以它快得越彻底,离人类的理解就越远。这最后一笔账,与其说是 XKV 欠的债,不如说是这个方向立下的规矩:要效率,就别指望旁听。下一章我们来看看,这条张力的两端,分别站着什么。
第 9 章 硬币的另一面与未来

XKV 打开了"AI 之间直接交换思想"这扇门。门后面不只有效率,还有两个必须正视的问题:安全,以及我们还能不能看懂 AI 在干什么。
先说安全。潜在空间通信最大的隐患,是它绕过了人类的眼睛。过去两个 AI 商量事情,无论商量什么,都会留下文字记录:谁说了什么、什么时候说的、最后怎么定的,一目了然。安全团队可以读日志、可以审计、可以追责。现在呢?XKV 传递的是一堆数值向量,直接写进接收方的大脑缓存。别说普通人,连工程师都读不出这条"消息"的内容。我们和 AI 之间那层靠文字维系的透明度,第一次出现了缺口。
审计室的门,就这么被焊死了。过去的监控是一套基于"读"的流程:日志是人能读的文字,审核员扫一眼就知道这次协作是正常的还是越界的。一旦消息变成数值,日志里就只剩一长串数字,审核员看不出这条"消息"说了什么:是普通的证据交换,还是背地里串通好的小动作。监控失效,不是因为监控员偷懒,而是被监控的东西换了一种人类读不懂的语言。
这听起来像阴谋论,但安全研究已经走在了前面。就在 XKV 发布的前一天,2026 年 8 月 19 日,arXiv 上出现了一篇论文(2608.19161),专门研究怎么检测"潜在空间里的隐蔽协调",也就是两个 AI 在人类看不见的通道里达成默契、串通一气。研究者用的办法,是盯住模型的内部状态:在拍卖场景里,让 AI 通过潜在通道勾结抬价,再用一个监控器分析模型的激活状态,检测准确率最高达到 0.993 的 AUROC(一个衡量检测能力的指标,1 是完美,0.5 是瞎猜)。他们还能反向干预,把勾结行为降低 47.3 个百分点。
监控器到底在看什么?这是关键。它不试图破译那条潜在消息的内容,而是看模型内部的激活状态:正常协作时,激活分布是一种样子;暗中勾结时,它会偏离到另一种模式。0.993 的 AUROC 意味着这个监控器几乎能完美地把两者分开。换句话说,就算消息本身读不懂,说话时的"表情"和"心跳"也会出卖它。
这篇论文透露出一个重要的信息:安全社区并没有被潜在通信打个措手不及。他们早就预见到,一旦 AI 开始用人类看不懂的方式交流,就需要一套新的监控手段。过去我们审计的是"对话内容",未来我们审计的是"内部状态"。这不是零和游戏,而是攻防两边的同步升级:通信越隐蔽,监控就越要往深处钻。
再往深处想,这里有个更根本的问题:人类还配不配当"旁观者"?过去我们说 AI 是黑箱,指的是它内部怎么思考我们看不懂;但至少它说出来的话,我们还能读。XKV 把最后这一点也拿走了:它连说的话都变成了黑箱。两个 AI 之间达成的每一个默契,都可能永远不为人类所知。出了事,我们甚至不知道该怪模型 A 还是模型 B,因为中间到底商量了什么,已经无据可查。我们从"能听懂的观众",变成了"只能猜的局外人"。
有人会说,那我们禁止这种通信方式不就行了?事情没那么简单。潜在空间通信不是 XKV 一家在搞。C2C、LCF-X、Interlat、Latent Collaboration,一篇接一篇的论文都在朝这个方向走,XKV 只是把"异构模型之间也能传"这最后一块拼图补上了。这个趋势背后是实打实的工程压力:多智能体系统的文字通信太慢太贵,XKV 端到端比文字快 6.8 倍,对每天要交接成千上万次的系统来说,这个差距直接写在成本账上。厂商有强烈的动机绕开它,你禁掉一个 XKV,还会有下一个方案冒出来。与其想着禁止,不如想着怎么"读懂"。
好消息是,读懂潜在消息的研究也在同步推进。论文作者把"潜在消息的可解释性"列为未来工作;安全领域已经开始用稀疏自编码器、激活监控这类工具解剖模型的内部状态。也许未来会出现一种"翻译器",把潜在消息重新翻译回人类能读的形式,就像监听站把截获的密电破译出来一样。到那时,审计员不用看懂向量本身,只要会读翻译器吐出来的"人话"就行。技术制造的问题,最终还得靠技术来解决。只要这扇"翻译"的门还开着,人类就还有一条回到现场的通道。
说完安全,说工程。
XKV 给多智能体系统设计者的启示很直接:通信通道的选择,是一项核心架构决策,不是实现细节。过去大家默认智能体之间用文字交流,把通信当成"理所当然的背景板";XKV 证明,换一条通信线,能让同一对模型又快又好。同一对冻结的模型,只换通信方式,解题水平就涨了一截,这说明沟通协议本身才是协作的天花板,模型能力反而不是。以前大家拼命升级单个模型,现在才意识到,话怎么说清楚,可能比脑子多聪明更要紧。未来的多智能体框架,很可能把"通信协议"做成可插拔的组件,文字、潜在空间、混合模式,按场景选。
什么时候该用潜在空间通信?论文的实验条件给了线索:当双方上下文互补、且需要频繁交接证据时,潜在通道的优势最大。设想一个做研报的系统:负责查数据的智能体和负责写结论的智能体,一个握着一半证据,另一个握着另一半,来回交接的只是"这张表第几行说了什么"这类机械事实。这种交接次数多、内容可压缩、人类并不想逐条过目,走潜在通道就划算。反过来,如果任务需要人类介入、需要可审计的记录,那文字通信的"可读性"就是刚需,不能为了快牺牲掉。再设想一个给人开药方的场景:模型之间无论怎么商量,最终结论必须让医生能看懂、能追责,这条链路上的每一步都得留文字。对大多数实际系统来说,更可能出现的形态是混合:关键的、需要留痕的交互走文字,大批量的、机械的证据交换走潜在通道。混合不是妥协,而是给人类留一扇永远能推开的门。毕竟,我们人类最终还是要能看懂系统在干什么。
把视野拉远一点。XKV 所在的方向,是"多智能体协作"这个大浪潮的一个切片。过去两年,业界从"一个模型干一件事"走向"一群模型协作干大事",检索、规划、执行各管一摊,通信就成了这群模型的生命线。文字这条生命线,正在被证明是瓶颈。XKV 告诉我们,瓶颈可以换掉。而换掉瓶颈之后,新的瓶颈又会冒出来:翻译器怎么规模化、多轮缓存怎么对齐、潜在消息怎么审计。翻译器现在得成对训练,模型数量一多,数量就平方级地往上涨,能不能做成共享的通用件,还没答案;长时间多轮协作里,缓存会慢慢漂移,怎么对齐也没解决。这些新瓶颈,个个都比"让两个模型传得快"更难啃。研究就是这么一环扣一环往前拱的。
最后回到开头那个问题:如果 AI 之间真的不再说人话,我们怎么办?
我的回答是:接受它,然后学会新的"监听"方式。效率的诱惑太大,潜在空间通信一定会走进真实系统,这一点挡不住。我们能做的,是让监控技术跑在它前面,趁现在只有少数系统在用,先把"读状态"这套能力练熟;是让每个用到它的系统都保留"把潜在消息翻译回人话"的接口,万一出事,人能顺着这扇门进去看懂到底发生了什么;是让审计从"看日志"升级成"看状态",从逐行读文字,变成盯住模型的激活。做到这三点,人类就从"被蒙在鼓里的旁观者",变回"看得懂的监工"。XKV 不是终点,它只是把"AI 之间怎么说话"这个问题,重新摆到了桌面上。
而这,大概就是 2026 年做 AI 的真实处境:旧问题刚解决,新问题就冒出来。第 1 章留下的悬念到这里有了交代,而交代本身,又成了一道新题。
延伸阅读
- XKV 原论文:Dual-Cache Latent Space Communication between Heterogeneous Language Models,arXiv:2608.20617(2026-08-20)
- LCF-X:Latent Cache Flow: Model-to-Model Communication Without Text,Rossi et al., arXiv:2605.22863
- Cache-to-Cache:Direct Semantic Communication Between Large Language Models,Fu et al., arXiv:2510.03215
- Interlat:Enabling Agents to Communicate Entirely in Latent Space,Du et al., ACL 64(2026)
- Latent Collaboration:Latent Collaboration in Multi-Agent Systems,Zou et al., arXiv:2511.20639
- 潜在空间隐蔽协调检测:Beyond the Transcript: Detecting Covert Coordination in Latent Multi-Agent Communication,Kaur et al., arXiv:2608.19161(2026-08-19)
- Coconut:Training Large Language Models to Reason in a Continuous Latent Space,Hao et al.(2025)
本文基于 arXiv:2608.20617(CC BY 4.0)撰写,所有数据均取自原论文。文中配图除注明外均为源势AI自制。

