开云(中国)2026世界杯官方推荐 牛津、英伟达等提倡驰念压缩新范式: 西宾时让模子学会断舍离

剪辑｜Panda

2026 岁首，各大 AI 厂商在高下文窗口长度上张开热烈角逐。Google 的 Gemini 3 Pro 已撑捏 100 万级 token 高下文，Meta 的 Llama 4 Scout 更宣称可解决 1000 万 token。GPT-5 系列也在快速鼓励长高下文智力。

按这个趋势，今天的大模子如故大要连气儿读完好意思套《哈利・波特》，异日以致可能平直分析所有这个词这个词大型代码仓库。

但数字背后也荫藏着一个要道问题：高下文越长，模子就越「记不住」。

这并非模子不够贤达，而是 Transformer 架构自身的工程拘谨。当模子解决长文本时，需要为每个 token 保存 Key-Value（KV）情景，用于后续生成时的安定力揣测。这个缓存区域被称为 KV Cache。

KV Cache 的大小会随高下文长度线性增长：输入越长，占用的 GPU 显存越多，推理速率也越慢。关于百万 token 级别的输入，在大型模子和高精度推理场景下，KV Cache 的内存支拨可达到数十到数百 GB，远超单张顶级 GPU 的显存容量。

高下文窗口的竞赛，内容上是一场显存的干戈。

靠近这一窘境，琢磨者们如故开导出多种「过后压缩」有蓄意，也便是在模子西宾完成之后，用多样算法对 KV 缓存进行精简。这些门径如实有用，但它们齐遗漏了一个更压根的问题：要是模子在来源学习的时候，就莫得被指导去生成「容易被压缩」的里面暗意，那么后期不管若何压缩，收尾齐将受到天花板限定。

就在这一配景下，来自牛津大学、以色列理工学院、AITHYRA 和英伟达的聚拢琢磨团队提倡了一个新的想路：与其过后弥补，不如西宾时就让模子主动学会「压缩友好」的驰念步地。

他们将这套门径定名为 KV-CAT（KV 压缩感知型西宾，KV-Compression Aware Training）。

论文标题：Training Transformers for KV Cache Compressibility

论文地址：https://arxiv.org/abs/2605.05971

KV 缓存为如何此难压缩？

要连结这项琢磨的价值，先得弄了了一个直观上看似奇怪的事实：两个输出彻底疏浚的模子，其 KV 缓存可能一个极易压缩，另一个压根无法压缩。

这听起来很反直观。咱们经常合计，要是两个系统的「收尾」疏浚，它们的里面过程应该莫得内容区别。但在神经网罗寰球里并非如斯。

琢磨团队用一个简便的例子来阐述这少量：「词频统计」。给模子输入一段笔墨，让它统计每个字母出现了些许次。这是一个只依赖「汇总信息」的任务，与每个字母出现的规章无关。

相同完成这个任务，不错有两种天壤悬隔的里面完满步地。

第一种是「自计议词然」的完满：模子对每个 token 进行孤苦编码，临了通过安定力机制对一说念 token 作念平均，得出统计收尾。这种门径简便平直，但存在一个致命残障：任何对 KV 缓存的压缩齐会突破平均揣测，导致最终收尾出错。琢磨团队从数学上评释了：这种完满步地，在表面上对任何进度的压缩齐不具备容错智力。

第二种是「结构化」的完满：模子在解决每个 token 时，荒芜纪录序列的位置信息（即这段前缀有多长），当 KV 缓存被压缩成一个单一的向量时，模子不错应用位置信息对压缩后的汇总值进行重新校准，从而收复正确的统计收尾。这种完满步地，表面上不错将苟且长度的前缀压缩到仅剩一双 KV 向量，同期保捏零纰谬。

两种完满，疏浚的输出，天壤悬隔的压缩性。

要道在于：方法的模子西宾过程，彻底莫得激发让模子去聘请第二种更结构化的完满。因为在莫得压缩的场景下，两种步地收尾彻底一样，西宾信号无从折柳。

中枢门径

让模子在「戴着镣铐」的情况放学习

意志到这少量后，琢磨团队遐想了 KV-CAT 西宾有蓄意。中枢想路极为平直：要是你想让模子学会在 KV 缓存被压缩的情况下正常职责，就在西宾时模拟这种压缩压力。

这访佛于一种「驰念遮挡西宾」。闲居的模子西宾就像让学生在西宾时不错带着完好意思的札记本作答 —— 诚然阐述优异。而 KV-CAT 则是在西宾时就充公大部分札记，开云(中国)2026世界杯官方推荐逼着学生将最进攻的信息内化成简直的「连结」，而非对札记的依赖。

具体来说，KV-CAT 在原有的预西宾模子基础上，引入了一组轻量级的「路由器」模块。这些路由器在西宾的每一步会动态判断哪些 KV 槽位是必要的、哪些不错被屏蔽，琢磨是保留约 50% 的 KV 缓存。每次前向传播，模子需要同期进行两次揣测：一次是正常的「全量」揣测（所有这个词 KV 槽位齐可见），一次是「压缩」揣测（仅保留路由器选中的 KV 槽位）。

西宾琢磨由三部分构成：

自蒸馏亏空，让压缩模式下的输出尽量靠近全量模式下的输出；

锚定亏空，平直对全量模式施加方法的下一个词瞻望琢磨，确保模子的基础智力不退化；

预算亏空，拘谨路由器践诺保留的 KV 比例不偏离 50% 的琢磨太多。

所有这个词这个词历程完成后，路由器模块在推理时会被关闭。输出的是一个方法的 Transformer 模子，它的参数与原模子疏浚，但其里面如故被西宾成一种「自然压缩友好」的暗意体式。后续不错搭配苟且现成的 KV 压缩门径使用。

详备的数学描画请拜谒原论文。

实验收尾

全面向上，且不以基础智力为代价

琢磨团队将 KV-CAT 应用于 Qwen2.5 的两个规模版块（0.5B 和 1.5B 参数），并在多个维度上对其进行评估。

来源，基础智力莫得亏空。 这是最要道的考证。在六个方法多选题基准测试上（包括 HellaSwag、WinoGrande、ARC 等），KV-CAT 西宾后的模子与原始模子险些捏平：0.5B 版块平均普及了 0.7 个百分点，1.5B 版块平均下跌了 0.5 个百分点，均属于正常的西宾波动范围。这阐述 KV-CAT 莫得以糟跶通用智力为代价换取压缩性能。

其次，后期 KV 压缩的收尾大幅改善。 在同等压缩预算下，与原始基础模子比拟：

使用安定力匹配（Attention Matching）门径对前缀进行压缩后，续写文本的困惑度（perplexity）差距最多减弱了 3.21 倍 —— 也便是说，压缩后模子的阐述与压缩前更为接近。

使用梯度优化法进行压缩时，KV-CAT 模子达到疏浚压缩质地所需的优化步数减少了最多 5 倍。这对践诺部署至关进攻：压缩自身也需要揣测资源，要是压缩速率更快，就意味着不错解决更多肯求。

第三，「大海捞针」检索准确率权贵普及。 琢磨团队遐想了一个经典的长文检索测试：在一段充满骚动项的长文本（约 1024 个 token）中藏入一个六位数的「密码」，然后将文本的 KV 缓存压缩后，测试模子能否正确回忆出这个密码。

在保留 50% 的 KV 槽位的情况下，KV-CAT 版块的 Qwen2.5-0.5B 检索准确率从 28% 跃升至 47%，Qwen2.5-1.5B 则从 49% 普及至 67%，普及幅度接近 68%。即使在极点压缩（仅保留 10% 的 KV）的情况下，KV-CAT 版块的性能也与基础模子在轻度压缩时极端。

第四，长文问答任务也有阐明改善。 在 LongBench v2 的七项长文本问答任务上，KV-CAT 模子在各压缩比例下的平均准确率均高于基础模子，最大普及幅度达到 39%。

结语

KV-CAT 并不宣称要取代现存的压缩算法。琢磨团队明确指出，它的琢磨是成为现存压缩门径的「底层增强」：相同的压缩算法，作用在 KV-CAT 西宾过的模子上，收尾更好、速率更快。

这种「西宾时为推理作念准备」的想路，在 AI 系统工程规模并不生疏。但将其具体应用于 KV 缓存的可压缩性，并从表面上评释这种属性彻底由模子的学习暗意决定，是这项职责的中枢孝敬。

诚然，这套有蓄意也有其代价：接续预西宾引入了荒芜的西宾支拨，路由器模块加多了完满复杂度，当今的实验规模也仅限于 0.5B 和 1.5B 两个相对袖珍的模子。琢磨者坦承，这套门径能否平滑膨胀到百亿以致千亿参数的大模子，仍是一个敞开问题。

但这一标的的逻辑是成就的。跟着高下文窗口的竞赛不休鼓励开云(中国)2026世界杯官方推荐，显存瓶颈正升级为制约 AI 系统规模化部署的中枢挑战。让模子从一初始就「学会压缩」，而不是生成了难以压缩的暗意之后再一火羊补牢，将是异日大模子西宾工程中越来越值高亢思意思的遐想维度。