Skip to content
HeZzz
Go back

Dreaming:当 AI 开始在睡眠中整理记忆

为什么需要 Dreaming

作为人类来讲,一位程序员不会在第二天忘记前一天写的代码,一位作家不会在第二天忘记前一天写的小说。可是 LLM 本身并没有记忆,在一次次的 Transformers 推理中,它们无法像人类一样记住前一天甚至前一小时发生的事情,这就导致了

LLM 的记忆只能是外挂的。

如何更好地外挂记忆,成为了 LLM 能力提升之后,大家都在努力解决的一个问题。OpenAI、Anthropic、Hermes、DeepMind、Meta 等公司都在尝试不同的“做梦”范式(Dreaming),让 LLM 在离线状态下整理记忆,形成更有用的长期记忆。

Dreaming 的起源

其实图灵奖得主 Hinton 在 1995 年就提出来 Wake-Sleep 算法,提出了清醒期(Wake Phase)和睡眠期(Sleep Phase)的概念, 而 Dreaming 则是由 David Ha, Jürgen Schmidhuber 在 2018 年提出的概念, Word Moudels 则是他们利用 RNN 构建出的一个“幻觉白日梦”。

MemGPT (后来的 Letta) 则是 2023 年提出的一个“记忆增强型” LLM,也可以看作是现代 Agent 中首先引入 “记忆” 概念的。

而到了 2026 年,随着 Claude Code、Codex、尤其是 OpenClaw 的火爆,人们对于长期记忆的要求越来越高,越来越希望可以让 Agent 来像人类一样记住自己曾经做过什么。

OpenAI Dreaming V3 ———— ChatGPT Memory

在 ChatGPT 中常被直接称为 “Memory” 的 Dreaming,是 OpenAI 在 2025 年 4 月上线的,通过整理和用户的对话,来实现一个记忆机制。

在 Dreaming: Better memory for a more helpful ChatGPT 中,OpenAI 介绍了了 Dreaming V3,并说明他们是这么评测记忆系统的:

  1. Carry forward useful context: 你只需告诉 ChatGPT 一次,它就会在后续对话中记住该信息。
  2. Follow perference and constraints: 如果你描述了自己的偏好和约束,ChatGPT 会在后续对话中遵循这些偏好和约束。
  3. Stay current over time: 记忆应该和时间保持一致,ChatGPT 会记住你在不同时间点提供的信息,并在后续对话中使用这些信息。

在 OpenAI 的记忆力评估中,Dreaming V3 可以显著表现出更加优秀的理解能力以及对提示词更贴合的行为。

Anthropic Dreaming ———— Claude Code

Anthropic 的 Dreaming 则是让 Claude 来回顾自己在过去的对话中做过什么,并将这些信息整理成长期记忆。

Claude 工作的时候会向自己的 Memory 中记录下来数据,但是在多轮对话以及长任务之后,Memory 会有重复、矛盾、过时的信息积累。

为了解决这个问题,Anthropic 也采用了 Dreaming 的方式,让 Claude 读取现有的 Memory,然后生成一个新的、更加有组织性的 Memory,来替换掉原来的 Memory。

Anthropic Docs - Dreams (Managed Agents) 中提到,Dreaming 是异步的,它需要

这样, Claude 就可以开始 Dreaming 了。

Hermes、 DeepMind、Meta 的 Dreaming

Hermes Agent 作为一个开源 Agent 框架,它的 Dreaming 机制主要是通过插件来实现的,和 OpenAI、Anthropic 不同,Hermes 可以让用户来自己 review、validate、apply 或 discard 这些 Dreaming 的结果。

DeepMind Genie 3 作为一个世界模型(World Model),它的 Dreaming 机制主要是通过模拟环境来进行的。Genie 3 主要做的工作是 real-time interactivity,即实时交互。

而为了可以实现 real-time,Genie 3 必须能够回忆起之前的环境和操作,否则就会出现用户所不期待的操作。用世界模拟来做梦 是 DeepMind 的一个重要创新点。

参考链接

OpenAI 官方与核心解读

Anthropic

Hermes / Nous Research

DeepMind / Meta / 广义 Dreaming


Share this post on:

上一篇
关于上下文窗口及 Responses API 自动分页
下一篇
LangChain4j