字节发现 DeepSeek 的周期性弱点，我们实测了 V4.1，结果不太一样
雷峰网
·
·
科技
同一段代码，前面只增加无关Token，DeepSeek会改变答案吗？ 作者丨李娜 编辑丨岑峰 01DeepSeek为何有时答对、有时答错？同一道代码补全题，前面只增加几个无关Token，DeepSeek就可能改变答案。（详情可见：字节发现 DeepSeek 隐藏 Bug，加点空格，模型翻车）这是字节Seed在9月底一项…
同一段代码，前面只增加无关Token，DeepSeek会改变答案吗？ 作者丨李娜
编辑丨岑峰
同一道代码补全题，前面只增加几个无关Token，DeepSeek就可能改变答案。（详情可见：字节发现 DeepSeek 隐藏 Bug，加点空格，模型翻车）这是字节Seed在9月底一项研究中发现的现象。研究人员观察到，DeepSeek-V4-Flash基础模型会随着代码前方无关注释的长度变化，在正确答案“8”和错误答案“32”之间周期性切换。 (雷峰网)但这个存在于旧版基础模型中的异常，今天还能测出来吗？我们找来Seed论文使用的代码，通过DeepSeek官方API，对现役V4.1-Flash进行了两轮测试。结果与论文中的典型案例并不相同：固定采样的64组全部答对，另一轮测试中正确答案也始终占据预测概率首位，但它得到的概率却随着输入发生变化。为了降低长上下文的推理成本，DeepSeek V4采用了两种交替使用的注意力机制。
DeepSeek V4的CSA与HCA架构示意图- CSA（压缩稀疏注意力），将8个Token组成一个压缩窗口，每隔4个Token生成一条压缩记录，再从中筛选与当前问题最相关的信息。
- HCA（重度压缩注意力），压缩得更加激进，每128个Token只保留一条压缩记录，但会读取全部历史压缩记录。
两种机制承担不同的工作：前者尽可能保留细粒度的检索能力，后者以更高的压缩率提供全局信息。论文发现，DeepSeek V4系列的性能漂移与CSA和HCA的分块KV压缩有关。同一条信息只要前后挪动几个token，就可能落入不同的压缩位置，改变保留和检索的效果。研究人员将这种位置称为“相位”（Phase）。如果模型更擅长检索某些相位的信息，却容易忽略另一些相位，即使关键信息本身没有变化，模型也可能从答对变成答错。这就是所谓的“相位敏感性”。
图：8 Token压缩窗口、4 Token步幅示意图为了验证这一现象，团队将实验扩展到128K上下文，让模型从1.6万条键值记录中寻找指定信息。结果，DeepSeek-V4-Flash-Base表现最好的位置分组准确率达69.9%，最差的只有29.7%，相差40.2个百分点，且波动周期与压缩步幅一致。![]()
原文出处：雷峰网
（本文由聚合程序自动采集，版权归原作者所有）
DeepSeek V4的CSA与HCA架构示意图
图：8 Token压缩窗口、4 Token步幅示意图为了验证这一现象，团队将实验扩展到128K上下文，让模型从1.6万条键值记录中寻找指定信息。结果，DeepSeek-V4-Flash-Base表现最好的位置分组准确率达69.9%，最差的只有29.7%，相差40.2个百分点，且波动周期与压缩步幅一致。