哈佛揭示外部反馈对Agent记忆管理重要性,构建自我演化型Agent
创始人
2025-07-27 18:21:42
0

  炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!

(来源:DeepTech深科技)

近年来,大模型的迅速发展赋能了大量交互式的智能代理(大模型 Agent),使后者在类似代码生成、自动驾驶、个人助理等领域展现出令人瞩目的潜力。

这些 Agent 通常需要类似人类的记忆能力,以便持续学习并逐渐提升自身表现。具体而言,Agent 需要记录并回忆曾经遇到的任务输入以及对应的输出结果,从而帮助其在新的任务中取得良好表现。

然而,目前各种 Agent 所使用的记忆模块往往是为特定任务专门设计的。例如,自动驾驶 Agent 存储的是车辆的轨迹与状态数据,代码生成 Agent 保存的是代码片段,而个人助理型 Agent 则可能倾向于总结对话信息。这种碎片化的、任务导向的设计方式,使得研究记忆管理的通用规律与共性变得极其困难。因此,美国伊利诺伊大学香槟分校本科校友、美国哈佛大学博士生熊梓迪和所在团队决定回归到最基本的记忆管理操作——添加操作与删除操作,以便解决这样一个通用而核心的问题:到底该如何管理记忆,才能长期提升大模型 Agent 的表现?

图 | 熊梓迪(来源:熊梓迪)

研究团队的目标是提供系统性的实验证据和具有普适性的原则,避免开发者因为缺乏通用准则而只能凭经验制定策略,从而导致性能的不稳定甚至退化。

如前所述,与以往关注复杂记忆机制设计的研究不同,研究团队的研究重点回归到记忆管理最基础的两个操作上:

通过研究不同精度的外部反馈作为这两项操作的执行标准,研究团队发现了以下三个核心规律:

整体而言,研究团队揭示了一个长期被忽视的重要问题,即精准可靠的外部反馈对于记忆管理设计的重要性。在绝大多数实际场景中,由于缺乏这种高质量反馈,Agent 的记忆系统反而可能阻碍而非促进其长期的表现。

研究团队希望本研究能够激发更多关于大模型 Agent 各模块通用机制的系统性研究,并期待本工作中的发现能够为未来记忆模块的设计提供实证参考,从而推动构建更智能、具备自我演化能力的大模型 Agent。

(来源:https://arxiv.org/pdf/2505.16067)

谈及研究过程,熊梓迪对 DeepTech 表示,他与本次相关论文的共同通讯作者 Zhen Xiang 师兄(现为美国佐治亚大学助理教授)希望找到一种普遍适用于各种 Agent 的记忆管理方案。研究早期,他们尝试了许多复杂的方法,但发现由于 Agent 任务差异巨大,很难提炼出真正通用的解决方案,也难以清晰界定研究问题。

反思之后,研究团队决定回归最基础的记忆操作,聚焦于记忆的添加和删除。之所以选择这两个操作,是因为它们不仅是记忆系统中最基本的部分,同时在不同 Agent 中都有明确可能的实现方式。

研究团队随后建立了一个统一的实验框架,选择了具有代表性的多个不同领域的 Agent,包括医疗数据、自动驾驶、物联网安全等,以充分验证普适性。经过大量的实验和分析,研究团队发现了 Agent 记忆管理中三个重要的共性问题:经验跟随、错误传播和经验回放失配。这些发现帮助研究团队明确了准确可靠的外部反馈在记忆管理中不可或缺的角色,也为后续的研究和应用提供了明确的方向。

不过,熊梓迪坦言:“实验中应用程序编程接口(API,Application Programming Interface)的花销非常昂贵,比如像 GPT-4o 作为 backbone 让 Agent 在几千条任务上跑的花销真的很惊人。”这也更加凸显了本次研究的不易。

日前,相关论文以《内存管理如何影响大模型代理:经验跟随行为的实证研究》(How Memory Management Impacts LLM Agents: An Empirical Study of Experience-Following Behavior)为题发在arXiv[1],熊梓迪是第一作者。

图 | 相关论文(来源:https://arxiv.org/pdf/2505.16067)

未来,研究团队希望进一步探索如何在缺乏高质量外部反馈的情况下,尽可能减少记忆模块可能带来的负面影响,并提升其长期表现。他们相信,这对于现实的大模型 Agent 应用具有重要的价值。

参考资料:

1.https://arxiv.org/pdf/2505.16067

排版:刘雅坤

相关内容

热门资讯

招商策略:近期增量资金有何变化...   来源:招商证券策略研究  今年A股三轮行情增量资金结构不同:一季度科技股行情,融资资金、散户是主...
世锦赛女子400米自由泳李冰洁... 7月27日,2025世界泳联世锦赛女子400米自由泳决赛,李冰洁获得银牌,另一位中国选手杨佩琪收获第...
最新或2023(历届)关于预备... 敬爱的党组织:  今年,中国共产党将迎来建党x周年。x载艰苦卓绝,x载荣耀辉煌。x年来,中国共产党团...
国际仿生科学院落户昌平未来科学... 转自:北京日报客户端7月26日,2025仿生机器人与仿生智能大会在昌平未来科学城开幕。会上,仿生机器...
最新或2023(历届)关于监外... 最新或2023(历届)监外服刑思想汇报范文 :篇一  尊敬的XXXXX:  X月里的日子过得格外平静...