字节跳动等团队揭示DeepSeek省内存技术短板：准确率随位置周期性波动

同一段代码、同一个问题，只是在前面多加两个无关紧要的词元，AI模型给出的答案就从错误变成了正确。这个近乎玄学的现象，被字节跳动Seed团队联合普林斯顿大学、斯坦福大学和加州大学伯克利分校的合作者在论文中抓住了。该研究于9月底发布在预印本平台arXiv上，尚未经过同行评审，指向的目标正是DeepSeek赖以成名的省内存技术。

要理解这一问题，需要先了解大模型如何处理长文本。模型阅读长文本时，会为每个词元保存一份被称为“键值缓存”的中间信息，文本越长，缓存越庞大，内存开销随之上升。DeepSeek今年4月发布的V4系列主打百万词元超长上下文，其中参数总量约1.6万亿的Pro版与约2840亿的Flash版均采用混合专家（MoE）架构，每次只激活一小部分参数参与计算。为让超长文本跑得动，V4采用分块压缩思路，把相邻若干词元打包成组、压缩成更少的缓存条目。据技术报告披露，与传统注意力方案相比，V4系列的缓存规模可缩减数十倍，这也是DeepSeek能以远低于同行的成本处理长文本的关键。

问题在于，压缩并非对所有位置一视同仁。研究团队把信息相对于压缩块边界的位置称为“相位”，发现检索性能会随相位周期性波动，并将这一现象命名为“相位敏感性”。实验显示，在DeepSeek开源的V4-Flash基础模型上，于同一段计算机代码前插入不同长度的无关文字，模型选择正确答案的能力随之起伏，准确率曲线呈现出以四个词元为周期的明显波动，V4.1的波动周期则缩短为两个词元。

在长文本检索任务中，这种位置差异带来的差距相当可观：V4-Flash基础模型不同相位之间的准确率差距高达40.2个百分点，V4-Pro基础模型也达到34.8个百分点；经过后训练的版本有所改善，但差距仍在十几到二十个百分点之间。论文指出，这一现象出现在DeepSeek-V4、V4.1以及团队自行预训练的所有压缩模型中，更像是压缩架构的共性，而非某一款产品的偶然失误。

研究人员特别提醒，平均基准分数可能掩盖这种周期性弱点——模型的总分看起来漂亮，并不代表它在每个位置上都同样可靠。对普通用户而言这种波动感受不深，但在法律文书审阅、代码审计、医疗记录分析等容错率极低的场景，一次随机的“看漏”就可能酿成大错。

研究也给出了可能的缓解方向：在训练阶段刻意让同一信息出现在不同相位，或在压缩时为关键位置保留更多细节，都有望削弱周期性波动。DeepSeek从V4到V4.1波动周期缩短、差距缩小，或许正说明技术团队已在不断打磨这一环节。

更宏观地看，这项研究折射出中国AI行业的效率路线之争。在算力受限的现实约束下，架构层面的省钱技巧成为国内实验室的核心竞争力，而任何压缩都有代价——省下的每一份内存，都可能以不易察觉的方式从模型的可靠性中扣回来。值得一提的是，正因为DeepSeek公开了模型权重和技术细节，外部研究者才得以深入剖析、发现问题，开源模式在此再次显示了自身价值。