那天，AI大模型想起了，被「失忆」所束缚的枷锁

AI-Agent3小时前发布 almosthuman2014

59 0 0

文章摘要

大语言模型（LLM）的记忆能力是其进一步发展和广泛应用的关键。近期，谷歌、Anthropic、OpenAI、xAI 等公司纷纷为旗下的模型赋予记忆功能，字节跳动等也发布了具备记忆能力的多模态智能体，同时还涌现出一批关注 AI 记忆的创业公司。

LLM 记忆的类型与实现方式
翁荔将记忆分为感官记忆、短期记忆和长期记忆，本文更侧重于长期记忆。LLM 的记忆可归纳为上下文内记忆、外部记忆、参数化记忆、类人的分层式记忆和情境记忆。上下文内记忆是短期记忆，将信息放入提示词，但容量有限、成本高且临时性强；外部记忆是主流的长期记忆方式，将信息存于外部数据库，通过检索注入上下文，灵活性高但检索准确性和效率要求高；参数化记忆是将信息编码进模型参数，检索快但更新成本高且有遗忘风险；类人的分层式记忆和情境记忆借鉴人类记忆架构，让 AI 记忆更智能，不同类型的记忆常组合使用。

近期值得关注的记忆系统
1. 大厂做法：OpenAI 的 ChatGPT 可显式和隐式记忆，将用户记忆结构化保存并注入系统提示词；Anthropic 的 Claude 仅应用户要求检索引用聊天记录；Gemini 功能类似 ChatGPT，支持用户录入记忆。
2. 智能化记忆管理：MemGPT 用专门的记忆 LLM 智能体管理工作 LLM 上下文窗口；MemOS 借鉴传统操作系统架构，将记忆视为系统资源，构建全链路记忆管理闭环。
3. 记忆分层细化：MIRIX 将记忆细分成 6 类，采用模块化多智能体架构处理记忆更新和对话检索。
4. 结构化与图式记忆：将记忆转化为向量数据库有缺陷，G – Memory 设计分层记忆图式结构，解决多智能体协同问题。
5. 多模态记忆：AI 需处理多模态信息，Memories.ai 提出「大视觉记忆模型」，字节跳动等发布的 M3 – Agent 具备长期多模态记忆能力，多模态记忆正从存储片段走向构建世界。
6. 原生融入记忆：Meta 提出「记忆层」概念，将 Transformer 前馈网络替换为记忆层，还提出 BTX 方法实现参数化记忆。