编订｜Panda

遐想这么一个场景：你正盯着屏幕，看着你的自主AI智能体（比如OpenClaw）猖獗地运作。

它正在自主审查一个包含数十万行代码的史诗级开源形态，穿梭于无数的文献、API文档和调试日记之间。它推崇得像一个不知疲惫的超等要领员，但在这「无所不成」的表象之下，藏匿着一个随时可能引爆的硬件梦魇——跟着高下文变得越来越长，大模子的「职责挂念」正在暴涨，像一个无底洞一样，冷凌弃地吞并着辛勤的GPU显存池！

这个令悉数企业级AI建树者望风而逃的显存杀手，即是KVCache。

但当今，搞定有盘算推算来了，来自麻省理工学院（MIT）的推测团队（AdamZweiger、XinghongFu等东谈主）。他们建树出了一种名为「防御力匹配」（AttentionMatching）的全新潜在空间（LatentSpace）压缩技巧。

论文标题：FastKVCompactionviaAttentionMatching

代码地址：https://github.com/adamzweiger/compaction

其梗概在短短几秒钟内，将大型言语模子的高下文内存猖獗压缩高达50倍，且险些莫得任何精度吃亏！

这意味着原来需要一通盘H100GPU阵列才能勉强支捏的超长对话或巨型文档分析任务，当今可能只需要单张显卡就能简易跑满并发。一场对于AI基础设施的成果创新，似乎已悄然打响。

辛勤的职责挂念

大模子的阿喀琉斯之踵

要意会这项技巧有何等逆天，咱们必须先直视大模子的软肋。

LLM是自记忆的，它们生成回话时是逐token往外吐的。为了幸免在预计每一个新词时，都要把长达几万字的聊天纪录重新到尾再行狡计一遍，模子必须将之前处理过的每一个token的「数学灵魂」缓存起来——这些被索求出来的多维向量，即是「键（Key）」和「值（Value）」对，即KVCache。

跟着高下文的拉伸，这层职责挂念会不可逆转地扩张。

在当代企业级专揽中，比如分析成百上千页的法律协议、看护长达数月的私东谈主AI伴侣挂念，或者运行OpenClaw这么的自治编码智能体，单单一个用户的央求，其KVCache就能短暂飙升到数十GB。

正如论文第一作家AdamZweiger所言：「在超长高下文做事中，KVCache是最大的物理瓶颈。它不仅死死锁住了并发量，将就你减弱批处理规模，以至逼着系统进行极其影响性能的频频卸载。」

面临这个吞金兽，推测者们曾尝试过好多有盘算推算：

Token丢弃与合并（如H2O，SnapKV，PyramidKV等）：这些方法试图踢掉那些模子认为「不挫折」的token。在轻度压缩时还能对付，但一朝将压缩率拉高（比如试图压缩10倍以上），模子的才气就会碰到断崖式下落。

文本选录：这是现时工业界最无奈的标配。当内存见底时，系统暂停，让模子我方写一段高下文总结，然后清空原有挂念。这种方法异常「有损」，会把极其要津的轻捷细节（比如医疗纪录里的一个生僻商量）透彻抹除。

潜空间压缩（如Cartridges）：这是近期的前沿探索，确认了高比例压缩不仅可行，而且还能保捏高精度。但它的代价极其辛勤：它需要通过极其渐渐的端到端梯度下降来老师这些压缩后的挂念。为了压缩一段高下文，哪怕动用辛勤的GPU，也需要耗尽数小时！这在条件「秒回」的及时企业专揽中，真实是冲口而出。

咱们需要一种既有Cartridges的精度，又有传统方法速率的终极魔法。而MIT的「防御力匹配」，恰是为此而生。

冲突常理的数学魔法

「防御力匹配」的底层逻辑

MIT的推测东谈主员莫得死磕渐渐的机器学习老师，而是想出了一个绝妙的数学捷径。他们退后一步，问了一个极其履行的问题：当咱们压缩挂念时，模子究竟在乎什么？

谜底是：模子根底不在乎你存了若干个Key和Value，它只在乎当它抛出一个查询（Query，即q）时，这堆挂念能给它复返什么狂放！

为了好意思满诱拐AI，让它以为「压缩后的挂念和原来雄壮的挂念一模一样」，压缩后的键值对(C_k，C_v)必须严格匹配原始挂念的两个中枢数学属性：

防御力输出（AttentionOutput）：这是AI索求到的履行信息向量。

防御力质地（AttentionMass）：这是极其要津的极少。在拼接新token或旧挂念时，一段挂念的话语权取决于它的「质地」。

如若你径直把1000个token压缩成20个，那么这20个token的「总质地」皆备拼不外原来的1000个，这会导致模子在后续推理时，异常鄙夷这部分被压缩的挂念。为了破解这个死局，推测团队引入了一个轻捷但号称神来之笔的变量：每token标量偏差β。

这个β偏差就像是一个「杠杆权重」，它在防御力狡计的指数层面上对保留住来的Key进行乘法重加权，让戋戋1个被保留的Key，梗概爆发出代表50个被移除Key的巨大「质地」！

如若用严谨的数学言语（如论文中的公式1和2）来抒发，他们要优化的方向即是找到(C_k，β，C_v)，使得对于悉数相干的查询q：

况兼匹配总质地：

更惊东谈主的是，由于这种精妙的框架构建，这个看似复杂的非线性优化问题，果然自可是然地解体了！推测东谈主员完全甩掉了吃算力的反向传播和梯度优化。

率先，锁定C_k后，质地匹配问题退化成了一个非负最小二乘法（NNLS）问题，短暂就能狡计出偏差β。

随后，防御力输出匹配问题径直造成了一个步调的平凡最小二乘法（OLS）问题，通过简略的代数矩阵运算，一忽儿就能求出压缩后的值C_v！

这真实是降维打击。原来需要数小时的老师，被线性代数优化到了以「秒」为单元。

来自VentureBeat，由AI生成

预判你的预判

怎样索求「参考试询」与挑选「金钥匙」？

有了数学兵器，天天德州app中国网入口接下来的工程落地通常惊艳。为了让压缩算法知谈该保留什么，系统需要一批「参考试询」（Q_ref），行动模子翌日可能提议的问题的「替身」。

推测团队遐想了极其聪惠的「预演」机制：

类似预填充：暗暗在文档末尾加一句荫藏提醒：「类似前边的高下文」，然后拿获模子在试图复述时产生的里面Query向量。

自我学习：让模子对文档进行快速的合成任务，比如「索求悉数中枢事实」或「把日历结构化为JSON」，从而嗅探出模子在深度推理时会生成什么样的Query。

手里攥着这些极具代表性的Query探针，系统启动从原始的茫茫Key海中挑选「金钥匙」（C_k）。论文中提供了两种方法：

最高防御力法（HighestAttentionKeys）：这是一种闪电般的启发式方法，径直挑出在参考试询中被温雅度最高的Keys。速率极快，性价比超高。

正交匹配跟踪（OrthogonalMatchingPursuit，OMP）：这是一种愈加极客和贪念的算法。它像搭积木一样，每一步都精挑细选一个最能填补「质地流弊」残差的Key，然后用NNLS再行校准权重。天然略略耗时（仍是只是几分钟级别），但能将压实质地推向巅峰（AM-OMP）。

并非悉数「防御力」生来对等

非均匀压缩战略

这还不是要点，在长远探索模子架构时，他们发现了一个预见的风物：在多头防御力机制中，并非悉数的「头」都是职责狂。

有些Head异常贪念，需要雄壮的KV容量才能保捏性能（比如致密长程依赖的Head）；而另一些Head则极其佛系，哪怕你把它的挂念砍掉90%，它仍是能好意思满运转（比如只温雅局部词法结构的Head）。

基于这个细察，团队建树了非均匀压缩（NonuniformCompaction）战略：为每一个模子事先狡计了一条「明锐度弧线」，就像是给每一个防御力头进行了一次体检。在履行压缩时，系统不再是一刀切，而是将极其贵重的显存预算，歪斜分派给那些对信息最明锐的「中枢Head」。这一战略的引入，径直让压缩后的模子性能达成了质的飞跃！

即使在像Gemma-3-12B这种大都使用了滑动窗口防御力的夹杂架构模子上，防御力匹配仍是推崇出了惊东谈主的稳当性和鲁棒性。

压力测试

见证遗迹的时刻

为了考据这项技巧是否果然能在现实寰宇的绞肉机中存活，推测东谈主员接受了Qwen3-4B、Llama3.1-8B和Gemma3-12B，并将它们扔进了两个人大不同的测试场。

1.QuALITY基准测试：秒杀全场

在这个包含5000到8000词的步调阅读意会测试中，AttentionMatching在50倍的极限压缩比下，只是耗时几秒到一分钟（取决于是否使用OMP算法），就透彻打爆了H2O+、SnapKV、KVzip等悉数基于token编订的前辈。它的准确率弧线牢牢咬住了耗时数小时的Cartridges，确认了什么是「快、准、狠」。

2.LongHealth医疗卷宗：传统有盘算推算的坟茔

这是一个代表信得过企业级挑战的数据集。整整60，000个token，塞满了多个患者复杂的病历、化验单和用药纪录，信息密度极高。

在这个测试中，工业界最爱用的「文本选录」透彻沦为笑柄——它的准确率跌到了和「不提供任何高下文（No-Context）」一模一样的底线，意味着模子看了选录等于没看。

而AttentionMatching则犹如战神附体，大幅卓绝了悉数传统权宜之策。

天然，Zweiger也坦诚地给出了工程建议：「对于这种极高信息密度的任务，如若你想保留悉数细节，建议将压缩比调得和顺一些（比如10倍或20倍），以相通皆备的精准度。」

3.AIME2025在线动态压缩：航行中换引擎

最让东谈主扬眉吐气的，是针对在线压缩的见地考据。面临AIME顶级数学推理题，推测东谈主员锁死了物理内存上限。模子就像是在一个短促的笼子里进行异常消耗脑力的狡计。

每当内存爆满，系统就会短暂按下暂停键，用AttentionMatching将其职责挂念暴力压缩50%，然后让模子赓续想考！即使在一次解题历程中，连气儿六次「切除」一半的挂念，模子最终仍是到手找到了正确谜底，其推崇与领有无尽内存的模子完全一致。

这对于OpenClaw这么需要万古候运行、不休产生冗长用具调用日记的Agent来说，真实是救命稻草！

以至，对于那些追求压缩率、对精度条件稍宽厚的场景，推测东谈主员还玩出了一种「200倍压缩」的组合技：先让模子生成文本选录，然后再对选录的KVCache进行AttentionMatching压缩！最终在聊胜于无的显存占用下，达到了与纯选录一样的准确率。

结语

从建树者自救到大厂标配的范式革新？

天然，莫得任何魔法是莫得代价的。

必须指出的是，如若你面临的是极其复杂的数据，况兼非要追求100倍以上压缩，那么渐渐的、基于梯度优化的Cartridges仍是能在精度上险胜一筹，因为它能在更广宽的潜空间中搜索最优解，而不受限于「从原始Key中挑选」的设定。

此外，这套神技现时还不是一个不错「无脑安设」的插件软件。正如Zweiger解释的那样：「潜空间压缩是一种模子层的技巧。你必须领有拜访模子权重的权限。」这意味着，如若你完全依赖闭源的API（比如径直调用GPT-4接口），你是无法我方达成这套魔法的。企业要想享受这种显存解放，必须拥抱开源权重模子（如Llama3、Qwen3）。

而且，要将这种潜空间KV压缩技巧编织进当代极其复杂的商用推理引擎（那些早已布满了前缀缓存、变长内存打包等复杂手段的系统）中，仍是需要工程师们掉光不少头发。

但趋势已无可回击。正如Zweiger所预言的：「咱们正在见证高下文压缩发生根人道的范式革新——它正从『企业我方拼凑的粗野工程』，进化为『底层模子提供商内置的核兵器』。比如OpenAI最近推出的黑盒压缩端点，复返的即是一个不透明的对象，而不是纯文本选录。」

当「防御力匹配」透彻融入AI基础设施的血液中时，显存瓶颈将被透彻击碎。到当时，像OpenClaw这么的智能体，也许果然梗概以单机之躯，浑沌通盘寰宇的学问。

参考流畅德州app