DeepSeek Engram 记忆系统：突破无限上下文的革命性技术

在大语言模型的发展历程中，上下文窗口长度一直是制约模型能力的核心瓶颈。从GPT-3的2K token，到Claude的200K token，再到Gemini的1M token，业界一直在以"暴力扩展"的方式追求更长的上下文。然而，DeepSeek V4的Engram记忆系统提出了一个截然不同的思路：不是让窗口更大，而是让模型学会"记忆"。

传统上下文窗口的根本困境

O(n²) 注意力复杂度：无法逾越的计算墙

标准Transformer的自注意力机制复杂度为 O(n²)，其中 n 是序列长度。这意味着：

可以看到，当上下文从4K扩展到1M时，计算量增长了约62,500倍。即使采用FlashAttention、Ring Attention等优化技术，也只是降低了常数系数，无法改变二次方增长的本质。

现有解决方案的局限

滑动窗口注意力（Sliding Window Attention）

# 滑动窗口示意（窗口大小 w）
# 每个token只关注前后w个token
注意力范围: [i-w, i+w]
复杂度: O(n·w)  # 线性，但丢失了长距离依赖

滑动窗口将复杂度降至线性，但代价是完全丧失了长距离信息的捕获能力。对于需要跨章节推理的长文档任务，这是致命缺陷。

稀疏注意力（Sparse Attention）

稀疏注意力通过预定义的稀疏模式（如局部+全局）来减少计算量，但存在两个问题：

1. 稀疏模式是静态的，无法根据内容动态调整
2. 关键信息可能恰好落在被稀疏掉的位置上

检索增强生成（RAG）

RAG将长文档切分为chunk，通过向量检索获取相关片段。但RAG本质上是一个"外挂"系统：

• 检索质量依赖embedding模型，存在语义丢失
• 无法处理需要全局理解的任务（如整本书的主题分析）
• chunk边界切割可能破坏上下文连贯性
• 增加了系统复杂度和延迟

Engram 记忆系统：从"看见"到"记住"

核心理念

Engram（印迹/痕迹记忆）的命名源自神经科学概念——大脑中存储记忆的物理或化学变化。DeepSeek团队将这一概念引入大语言模型，设计了一种条件性记忆写入与O(1)检索的机制。

与传统注意力"每次都重新看全文"不同，Engram的核心逻辑是：

读一遍，记住关键信息，后续推理直接从记忆中检索，而非重新遍历原文。

架构设计

Engram系统由三个核心模块组成：

┌─────────────────────────────────────────────────┐
│              Engram 记忆系统架构                   │
├─────────────────────────────────────────────────┤
│                                                  │
│  ┌──────────┐    ┌──────────┐    ┌──────────┐   │
│  │ 记忆编码器 │───→│ 记忆存储库 │───→│ 记忆检索器 │   │
│  │ (Encoder) │    │ (Store)  │    │(Retriever)│   │
│  └──────────┘    └──────────┘    └──────────┘   │
│       ↑               ↑               │         │
│       │          条件性写入门控          │         │
│       │         (Gating Fn)           ↓         │
│  ┌──────────┐                   ┌──────────┐    │
│  │ 输入token │                   │ 解码输出  │    │
│  │  流       │                   │          │    │
│  └──────────┘                   └──────────┘    │
│                                                  │
└─────────────────────────────────────────────────┘

1. 记忆编码器（Memory Encoder）

将输入token序列压缩为固定维度的记忆向量。关键在于，编码器不是对所有token一视同仁，而是通过重要性评分函数来决定哪些信息值得记忆：

$$ \text{importance}(x_i) = \sigma(W_g \cdot h_i + b_g) $$

其中 $h_i$ 是第 $i$ 个token的隐藏状态，$W_g$ 和 $b_g$ 是可学习参数，$\sigma$ 是sigmoid函数。只有重要性得分超过阈值 $\tau$ 的token才会被写入记忆。

2. 条件性记忆写入（Conditional Memory Write）

这是Engram最核心的创新。传统KV Cache会无差别地缓存所有token的键值对，导致显存线性增长。Engram的条件性写入机制则实现了选择性存储：

# 条件性写入伪代码
def conditional_write(hidden_states, memory_store):
    # 计算每个token的重要性分数
    importance = sigmoid(gate_proj(hidden_states))

    # 只有超过阈值的token才写入记忆
    mask = importance > threshold  # 典型阈值: 0.5

    # 将重要token的表示压缩并写入
    compressed = compress(hidden_states[mask])
    memory_store.write(compressed, importance[mask])

    # 当记忆容量达到上限时，淘汰最不重要的记忆
    if memory_store.size > max_capacity:
        memory_store.evict_least_important()

这种机制的效果是：在处理100万token的文档时，实际写入记忆库的可能只有3-5万个关键记忆单元，压缩比高达20-30倍。

3. O(1) 记忆检索（Memory Retrieval）

传统注意力的检索是逐token比对（O(n)），而Engram采用了基于哈希的近似最近邻检索，实现了O(1)的查询复杂度：

$$ \text{retrieved} = \text{LSH}(q, \mathcal{M}) $$

其中 $q$ 是查询向量，$\mathcal{M}$ 是记忆存储库，LSH（Locality-Sensitive Hashing）确保语义相近的记忆可以在常数时间内被检索到。

复杂度对比

Engram vs RAG：本质区别

很多人会将Engram与RAG相提并论，但它们在架构层面有根本区别：

最关键的区别在于：RAG是"检索然后阅读"，而Engram是"阅读然后记忆"。RAG依赖于在推理时找到正确的chunk，但Engram在首次处理时就已经将关键信息编码到了可检索的记忆中。

实现无限上下文：1M原生 + Engram扩展

DeepSeek V4采用了双层上下文策略：

第一层：1M Token 原生上下文

通过优化的MLA（Multi-head Latent Attention）+ FlashAttention-3 + Ring Attention实现的1M token原生上下文窗口。这一层提供了精确的全注意力覆盖，适用于需要精确token级关注的任务。

第二层：Engram 无限扩展

对于超过1M token的场景（如处理整个代码仓库、多本书籍、长期对话历史），Engram记忆系统自动接管：

处理流程:
┌──────────┐     ┌──────────┐     ┌──────────┐
│ 前1M tokens │───→│ 原生注意力 │───→│ 精确处理  │
│            │     │ (Full)   │     │          │
└──────────┘     └──────────┘     └──────────┘
                                        │
                                   写入Engram
                                        ↓
┌──────────┐     ┌──────────┐     ┌──────────┐
│ 后续tokens │───→│ 原生注意力 │───→│ 精确处理  │
│            │     │ + Engram  │     │ + 记忆增强 │
└──────────┘     └──────────┘     └──────────┘

这种设计使得DeepSeek V4在理论上可以处理任意长度的输入，而不会出现性能断崖式下降。

与主流长上下文模型的对比

关键优势分析

1. 有效利用率

传统长上下文模型的"大海捞针"（Needle-in-a-Haystack）测试显示，当上下文超过一定长度后，模型对中间位置信息的检索准确率会显著下降（即"Lost in the Middle"问题）。Engram通过将关键信息提取到独立的记忆存储中，从根本上解决了这个问题。

2. 显存效率

Engram的条件性压缩使得处理1M token仅需约35GB显存，远低于全注意力所需的128GB+。这意味着：

• 单张H100（80GB）即可处理1M token上下文
• A100（40GB）可处理约500K token
• 未来有望在消费级GPU上实现长上下文推理

3. 推理速度

得益于O(1)的记忆检索，DeepSeek V4在长上下文场景下的首次token延迟（TTFT）相比全注意力实现降低了约73%。

对长文档处理和多轮对话的影响

长文档处理

Engram对长文档处理带来了质的飞跃：

传统方式： 将文档切分 → 分别处理 → 合并结果（信息丢失严重）

Engram方式： 流式读取文档 → 实时写入记忆 → 保持全局理解

在实际测试中，DeepSeek V4在以下长文档任务上的表现：

多轮对话

在多轮对话场景中，Engram的优势更加明显：

• 无限对话历史：不再需要截断旧对话或使用摘要压缩
• 精准回忆：能够准确回忆数百轮对话前提到的细节
• 人格一致性：通过记忆保持长对话中角色设定的一致性
• 任务连续性：在长时间协作编程等场景中保持完整的项目上下文

对 AI Agent 和工作流的意义

Engram记忆系统为AI Agent场景带来了革命性的可能：

1. 持久化Agent记忆

传统Agent在每次会话结束后会丢失所有上下文。Engram使得Agent可以：

• 跨会话保持用户偏好和历史交互记忆
• 积累项目知识，越用越"懂"用户
• 从历史错误中学习，避免重复同类问题

2. 复杂工作流处理

对于需要处理大量文档的工作流（如法律文档审查、代码审计、学术文献综述），Engram可以：

• 在单次处理中理解整个文档集
• 保持跨文档的一致性和关联性
• 支持增量更新，无需重新处理全部内容

3. 多Agent协作

在多Agent系统中，Engram可以作为共享记忆层：

• Agent A的发现可以写入共享记忆
• Agent B可以直接从共享记忆中检索A的发现
• 大幅减少Agent间的通信开销

性能数据与Benchmark

RULER 长上下文评测

RULER（Real-world Understanding and Long-context Evaluation for Reasoning）是业界标准的长上下文评测基准：

DeepSeek V4在所有测试长度上均取得最佳成绩，尤其在512K和1M长度上的优势更为明显，这正是Engram记忆系统发挥作用的区间。

大海捞针（Needle-in-a-Haystack）测试

在标准的大海捞针测试中，DeepSeek V4展现了近乎完美的信息检索能力：

• 1M token上下文，单针检索：准确率 99.2%
• 1M token上下文，多针检索（10针）：准确率 97.8%
• 2M token上下文（Engram模式），单针检索：准确率 96.5%
• 5M token上下文（Engram模式），单针检索：准确率 93.1%

推理性能

技术展望

Engram记忆系统代表了大语言模型上下文管理的一个重要范式转换：从"暴力扩展窗口"到"智能记忆管理"。这种思路与人类大脑的工作方式高度相似——我们不会在思考时重读所有读过的书，而是从记忆中检索相关信息。

未来可能的发展方向包括：

1. 层级记忆：短期记忆（工作记忆）+ 长期记忆（Engram）+ 永久记忆（微调）的三层体系
2. 记忆蒸馏：将多次对话中积累的记忆蒸馏为更紧凑的知识表示
3. 选择性遗忘：实现类似人类的遗忘机制，自动淘汰过时或不相关的记忆
4. 跨模态记忆：将文本、图像、代码等不同模态的信息统一编码到记忆系统中

DeepSeek V4的Engram系统虽然还处于第一代实现，但已经展现出了巨大的潜力。随着技术的迭代，我们有理由相信，"无限上下文"将从概念走向真正的现实。

本文基于DeepSeek V4技术报告、FlashMLA代码库分析及公开benchmark数据编写。部分技术细节可能随模型正式版本发布有所调整。