摘要

尽管 AI 智能体的记忆能力日益受到关注，但现有解决方案仍存在根本性局限。大多数方案依赖扁平、范围狭窄的记忆组件，限制了其在个性化、抽象化以及长期可靠回忆用户特定信息方面的能力。为此，我们提出 MIRIX，这是一种模块化的多智能体记忆系统，通过解决该领域最关键的挑战 —— 让语言模型真正具备记忆能力，重新定义了 AI 记忆的未来。

与以往方法不同，MIRIX 超越文本，拥抱丰富的视觉和多模态体验，使记忆在现实场景中真正发挥作用。MIRIX 包含六种结构严谨、功能各异的记忆类型：核心记忆、情景记忆、语义记忆、程序记忆、资源记忆和知识宝库，并搭配一个多智能体框架，动态控制和协调记忆的更新与检索。这种设计使智能体能够大规模持久化、推理和准确检索多样化的长期用户数据。我们在两个高难度场景中对 MIRIX 进行了验证。

首先，在 ScreenshotVQA 基准测试中（该基准包含近 20,000 张高分辨率电脑截图序列，需要深度上下文理解，且现有记忆系统均无法应用），MIRIX 的准确率比 RAG 基线高出 35%，同时存储需求减少 99.9%。其次，在 LOCOMO（单模态文本输入的长对话基准）中，MIRIX 达到 85.4% 的最先进性能，远超现有基线。

这些结果表明，MIRIX 为增强记忆的 LLM 智能体树立了新的性能标准。为让用户体验我们的记忆系统，我们提供了一个由 MIRIX 驱动的打包应用程序，它能实时监控屏幕、构建个性化记忆库，并提供直观的可视化和安全的本地存储以保障隐私。

 这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

这篇论文围绕 MIRIX（一种基于 LLM 的多智能体记忆系统）展开，主要知识点可总结如下：

一、研究背景与问题

现有 LLM 智能体的记忆系统存在局限，多依赖扁平、范围狭窄的记忆组件，在个性化、抽象化以及长期可靠回忆用户特定信息方面能力不足，且对多模态输入支持欠佳，难以满足现实场景需求。

二、MIRIX 系统核心设计

1. 六大记忆组件

   ：

   • 核心记忆（Core Memory）

     ：存储高优先级、持久信息，分 “智能体角色” 和 “用户” 两块，超出容量时会触发受控重写。

   • 情景记忆（Episodic Memory）

     ：记录带时间戳的事件和交互，含事件类型、摘要、细节等字段，便于按时间索引和追踪变化。

   • 语义记忆（Semantic Memory）

     ：保存独立于特定时间或事件的抽象知识与事实，包括概念、实体及关系等。

   • 程序记忆（Procedural Memory）

     ：存储结构化的目标导向流程，如操作指南、工作流等，支持任务分解与自动化。

   • 资源记忆（Resource Memory）

     ：处理用户参与的文档、多模态文件等，保证长任务的上下文连续性。

   • 知识宝库（Knowledge Vault）

     ：安全存储敏感信息，如凭证、联系方式等，高敏感信息受访问控制保护。

2. 多智能体架构

   ：由 6 个记忆管理器（各负责一种记忆）和 1 个元记忆管理器（负责任务路由）组成，协同处理记忆的更新与检索。

3. 主动检索机制

   ：智能体先根据输入生成当前主题，再据此从各记忆组件检索相关信息并注入系统提示，无需用户明确触发，确保使用最新、个性化信息。

4. 多种检索功能

   ：支持嵌入匹配、bm25 匹配、字符串匹配等，且不断扩展，智能体可依场景选择。

三、MIRIX的工作原理是什么？

MIRIX 作为基于 LLM 的多智能体记忆系统，其工作原理围绕“模块化记忆组件 + 多智能体协作 + 主动检索机制” 展开，核心是实现对用户信息的结构化存储、动态更新和高效检索，具体可分为以下几个关键环节：

模块化记忆组件：分类存储不同类型信息

MIRIX 设计了 6 种专门的记忆组件，每种组件针对特定类型的信息进行结构化存储，确保信息分类清晰、检索高效：

• 核心记忆（Core Memory）

  ：存储高优先级的持久信息，包括智能体自身的角色设定（如语气、行为模式）和用户的基本属性（如姓名、偏好），始终为智能体提供基础上下文。

• 情景记忆（Episodic Memory）

  ：以时间戳为核心，记录用户的具体事件和交互（如 “2025-03-05 用户询问项目进度”），包含事件类型、摘要、细节等字段，便于追踪用户行为和时间线。

• 语义记忆（Semantic Memory）

  ：存储抽象知识和概念（如 “用户的朋友喜欢慢跑”“Twitter 现任 CEO 是 Linda Yaccarino”），独立于具体时间，支持对实体关系的长期记忆。

• 程序记忆（Procedural Memory）

  ：记录步骤化的操作流程（如 “如何提交报销单”“Git 提交代码的步骤”），为用户提供任务指导和自动化支持。

• 资源记忆（Resource Memory）

  ：存储用户处理的文档、文件或多模态内容（如截图、PDF 文本），保留上下文以支持长任务的连续性。

• 知识宝库（Knowledge Vault）

  ：加密存储敏感信息（如密码、联系方式），通过访问控制确保安全性，避免泄露。

多智能体协作：分工管理记忆的更新与检索

MIRIX 采用“1 个元记忆管理器 + 6 个记忆管理器” 的多智能体架构，实现对复杂记忆的高效协同管理：

1. 元记忆管理器（Meta Memory Manager）

   ：作为核心协调者，接收用户输入后，分析信息类型并路由至对应的记忆管理器，同时整合各管理器的反馈，确保记忆更新的一致性。

2. 记忆管理器（Memory Managers）

   ：每个管理器专门负责一种记忆组件，独立完成信息的提取、存储、更新和冗余检查（如避免同一事件在情景记忆中重复记录）。

3. 聊天智能体（Chat Agent）

   ：处理用户交互，接收查询后触发检索流程，整合记忆中的信息生成回答，同时支持通过记忆管理器更新记忆（如用户提供新信息时）。

主动检索机制：自动关联记忆与用户需求

为解决传统记忆系统需手动触发检索的问题，MIRIX 设计了主动检索机制，实现记忆的自动调用：

1. 主题生成

   ：用户输入查询后，智能体先分析内容生成核心主题（如用户问 “Twitter CEO 是谁”，主题为 “Twitter 现任 CEO”）。

2. 跨组件检索

   ：基于主题自动从 6 种记忆组件中检索相关信息（如从语义记忆中提取 “Linda Yaccarino” 的记录），并标记信息来源（如<semantic_memory>...</semantic_memory>）。

3. 信息注入

   ：检索结果被整合到系统提示中，作为智能体生成回答的依据，确保响应基于最新、个性化的记忆，而非模型自带的过时知识。

动态更新流程：实时捕捉并整合新信息

当用户产生新交互（如发送消息、屏幕操作）时，MIRIX 按以下流程更新记忆：

1. 信息采集

   ：通过应用程序实时捕捉输入（如每 1.5 秒截取一次屏幕，过滤重复内容）。

2. 初步检索

   ：元记忆管理器先检索现有记忆，避免重复存储。

3. 路由与更新

   ：元记忆管理器将新信息分配给对应的记忆管理器（如事件类信息给情景记忆管理器），管理器按组件结构存储信息（如情景记忆添加时间戳和事件细节）。

4. 确认反馈

   ：所有更新完成后，元记忆管理器向系统反馈 “记忆更新完成”。

四、MIRIX如何实现多智能体协作？

MIRIX 通过“分层多智能体架构” 实现协作，核心是让不同角色的智能体分工处理记忆的更新、检索和交互任务，具体机制如下：

智能体角色分工

MIRIX 设计了 8 种智能体，按功能分为“管理型” 和 “交互型” 两类：

1. 元记忆管理器（Meta Memory Manager）

   • 核心协调者，负责接收所有用户输入（如对话、截图），分析信息类型（如事件、知识、文件），并路由到对应的记忆管理器。

   • 整合各记忆管理器的反馈，确保记忆更新的一致性（如避免重复存储），是多智能体协作的 “中枢”。

2. 6 个记忆管理器（Memory Managers）

   • 提取输入中的关键信息（如从截图中识别用户操作事件）；

   • 按组件的结构化格式存储（如情景记忆添加时间戳，程序记忆拆解步骤）；

   • 检查并删除冗余内容（如重复的事件记录）。

   • 每种管理器对应一种记忆组件（核心、情景、语义、程序、资源、知识宝库），专门负责该组件的信息处理：

3. 聊天智能体（Chat Agent）

   • 直接与用户交互，接收查询后触发记忆检索流程；

   • 整合检索到的记忆信息生成回答，同时支持通过记忆管理器更新记忆（如用户提供新信息时）。

协作流程

1. 记忆更新流程（用户产生新交互时）

• 步骤 1

  ：系统采集新输入（如用户消息、屏幕截图），初步过滤重复内容（如相似截图）。

• 步骤 2

  ：元记忆管理器接收输入，先检索现有记忆库，判断是否为新信息。

• 步骤 3

  ：元记忆管理器分析信息类型（如 “用户提到喜欢咖啡” 属于语义记忆），将其路由到对应的记忆管理器。

• 步骤 4

  ：目标记忆管理器按组件规则存储信息（如语义记忆记录 “用户偏好：咖啡”），并向元记忆管理器反馈 “更新完成”。

• 步骤 5

  ：元记忆管理器汇总所有反馈，确认整个记忆系统更新完毕。

2. 对话检索流程（用户查询时）

• 步骤 1

  ：聊天智能体接收用户查询（如 “我上周三做了什么？”）。

• 步骤 2

  ：聊天智能体生成查询主题（如 “用户上周三的活动”），触发主动检索。

• 步骤 3

  ：元记忆管理器协调 6 个记忆管理器，按主题从各自负责的组件中检索相关信息（如情景记忆中时间戳为 “上周三” 的事件）。

• 步骤 4

  ：各记忆管理器返回检索结果，聊天智能体整合信息（如 “上周三 14:00 您在修改论文”），生成最终回答。

协作优势

• 专业化分工

  ：每种智能体专注于特定任务（如记忆管理器深耕某类信息的处理），提升效率和准确性。

• 灵活扩展性

  ：新增记忆类型时，只需添加对应的记忆管理器，无需重构整个系统。

• 容错性

  ：单一记忆管理器故障时，元记忆管理器可暂时绕过或切换备用策略，不影响整体功能。

通过这种架构，MIRIX 实现了多智能体的高效协作，让复杂的记忆管理任务（如多模态信息存储、长周期检索）变得有序且可靠。

五、MIRIX记忆系统的准确性和效率如何？

MIRIX 记忆系统在准确性和效率上均表现突出，通过实验数据可清晰体现其优势：

准确性：显著超越现有基线

1. 多模态场景（ScreenshotVQA 基准）

   • 该基准包含大量高分辨率电脑截图（单序列近 20,000 张），要求智能体基于用户屏幕活动历史回答问题，需深度理解视觉 - 文本上下文。

   • 结果显示，MIRIX 的准确率达到59.5%，相比传统检索增强生成（RAG）基线（如 SigLIP）提升 35%，相比长上下文模型（如 Gemini）提升 410%。

   • 优势源于其结构化记忆组件（如情景记忆记录时间戳事件、资源记忆存储多模态内容）和主动检索机制，能精准关联视觉信息与用户行为。

2. 长对话场景（LOCOMO 基准）

   • 该基准为单模态文本长对话（平均 26,000 tokens，含 200 个问题），要求智能体仅依赖记忆而非原始对话内容回答。

   • MIRIX 总体准确率达85.38%，创当前最佳性能，远超现有基线（如 Mem0 的 62.47%、Zep 的 75.14%）。

   • 尤其在多跳推理任务中优势显著（83.70%），比第二名高出 24 个百分点，因其实体关系存储（语义记忆）和事件整合（情景记忆）能力更强，可高效拼接分散信息。

效率：大幅降低存储成本，提升处理速度

1. 存储效率

   • 在 ScreenshotVQA 中，MIRIX 通过提取图像关键信息（而非存储原始像素），将存储需求降至15.89MB，相比 RAG 基线（存储高分辨率图像，15.07GB）减少 99.9%，相比长上下文模型（存储 resize 图像，236.70MB）减少 93.3%。

   • 核心原因是其模块化记忆仅保留抽象信息（如事件摘要、实体关系），而非原始数据，且通过知识宝库加密存储敏感信息，避免冗余。

2. 处理效率

   • 采用流式上传和多智能体并行处理：截图实时上传至云端，元记忆管理器快速路由信息至对应记忆管理器，更新延迟从 50 秒（GPT-4 直接上传）降至 5 秒内。

   • 主动检索机制减少无效计算：通过主题生成精准定位相关记忆组件，避免全库扫描，检索速度比传统扁平记忆系统提升 30% 以上。

六、实验与结果

1. ScreenshotVQA 基准测试

   ：

   • 该基准含大量高分辨率电脑截图，要求深度上下文理解。

   • MIRIX 相比 RAG 基线准确率提升 35%，存储需求减少 99.9%；相比长上下文基线（Gemini）准确率提升 410%，存储减少 93.3%。

2. LOCOMO 基准测试

   ：

   • 针对长对话场景，限制智能体仅用检索到的记忆回答问题。

   • MIRIX 总体准确率达 85.38%，创 state-of-the-art，在多跳推理任务上优势显著，远超现有基线。

七、应用场景

1. MIRIX 应用程序

   ：跨平台应用，可实时监控屏幕、构建个性化记忆库，支持聊天交互与记忆可视化。

2. 可穿戴设备记忆系统

   ：为智能眼镜、AI 别针等提供长期记忆支持，适配硬件约束，支持本地与云端混合存储。

3. 智能体记忆市场

   ：设想去中心化生态，将个人记忆作为数字资产进行共享、交易等，含 AI 智能体基础设施、隐私保护层和市场社交功能。

 一、大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

 这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

二、如何学习大模型 AI ？

🔥AI取代的不是人类，而是不会用AI的人！麦肯锡最新报告显示：掌握AI工具的从业者生产效率提升47%，薪资溢价达34%！🚀

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

 

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

*   大模型 AI 能干什么？
*   大模型是怎样获得「智能」的？
*   用好 AI 的核心心法
*   大模型应用业务架构
*   大模型应用技术架构
*   代码示例：向 GPT-3.5 灌入新知识
*   提示工程的意义和核心思想
*   Prompt 典型构成
*   指令调优方法论
*   思维链和思维树
*   Prompt 攻击和防范
*   …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

*   为什么要做 RAG
*   搭建一个简单的 ChatPDF
*   检索的基础概念
*   什么是向量表示（Embeddings）
*   向量数据库与向量检索
*   基于向量检索的 RAG
*   搭建 RAG 系统的扩展知识
*   混合检索与 RAG-Fusion 简介
*   向量模型本地部署
*   …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

*   为什么要做 RAG
*   什么是模型
*   什么是模型训练
*   求解器 & 损失函数简介
*   小实验2：手写一个简单的神经网络并训练它
*   什么是训练/预训练/微调/轻量化微调
*   Transformer结构简介
*   轻量化微调
*   实验数据集的构建
*   …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

*   硬件选型
*   带你了解全球大模型
*   使用国产大模型服务
*   搭建 OpenAI 代理
*   热身：基于阿里云 PAI 部署 Stable Diffusion
*   在本地计算机运行大模型
*   大模型的私有化部署
*   基于 vLLM 部署大模型
*   案例：如何优雅地在阿里云私有部署开源大模型
*   部署一套开源 LLM 项目
*   内容安全
*   互联网信息服务算法备案
*   …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】