ChatGPT 内存项目解析：Redis 向量数据库在 LLM 上下文管理中的应用

一. ChatGPT 内存与上下文长度限制概述

ChatGPT 内存响应 AI（人工智能）应用程序使用的大型语言模型（LLM）在处理对话时存在上下文长度限制。为改善这一限制，ChatGPT 包使用 Redis（NoSQL 数据库）作为向量数据库缓存每个会话的历史交互，从而实现基于当前上下文的自适应提示创建机制。

二. 为什么上下文长度很重要

自 ChatGPT 推出以来，其强大的对话能力和智能化表现吸引了全球关注。然而，GPT-3.5 和 GPT-4 等 LLM 在生成类似人类的对话时仍存在局限，其中最关键的是 上下文长度限制。

• 上下文长度指模型能够记住和处理的历史信息量。
• 例如 GPT-4 的上下文长度从 4096 个令牌提升至 32768 个令牌，但上下文越长，API 使用成本越高。
• 简单内存管理方法无法应对复杂对话，如用户切换主题再返回时，历史上下文可能丢失。
• 核心问题是 令牌溢出，当历史交互超出模型输入限制时，无法被纳入当前对话。

三. ChatGPT 内存项目的解决方案

ChatGPT 内存项目通过 Redis 向量数据库实现自适应内存管理：

1. 自适应性强：仅检索与当前消息相关的历史记录，避免信息冗余。
2. 优化上下文利用：合并最相关的历史交互，提升提示质量，避免令牌耗尽。
3. 成本效益高：减少不必要的令牌使用，从而降低 API 调用成本。

这种机制克服了传统启发式缓冲内存的限制，为构建高效、智能的对话系统提供可能。

四. ChatGPT 内存项目架构

核心架构基于 Redis 向量数据库，技术亮点如下：

• 向量索引算法：支持 FLAT 索引和 HNSW 索引，实现高效向量搜索。
• 实时嵌入 CRUD 操作：可创建、更新、删除嵌入，便于动态管理数据。
• 并发会话管理：每个会话独立隔离历史记录，确保隐私与安全。

流程：

1. 用户发送消息后，系统将消息与历史交互嵌入化。
2. 嵌入向量存储在 Redis 中，通过向量搜索检索相关历史记录。
3. 系统将相关历史信息与当前消息合并，生成优化提示并返回结果。

五. 代码演练

1. 环境变量配置

# OpenAI API密钥
EXPORT OPENAI_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

# Redis 数据库凭据
EXPORT REDIS_HOST=localhost
EXPORT REDIS_PORT=1234
EXPORT REDIS_PASSWORD=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

2. 创建 Redis 数据存储连接

from chatgpt_memory.datastore import RedisDataStoreConfig, RedisDataStore

redis_datastore_config = RedisDataStoreConfig(
    host=REDIS_HOST,
    port=REDIS_PORT,
    password=REDIS_PASSWORD,
)
redis_datastore = RedisDataStore(config=redis_datastore_config)

3. 实例化嵌入客户端

from chatgpt_memory.llm_client import EmbeddingConfig, EmbeddingClient

embedding_config = EmbeddingConfig(api_key=OPENAI_API_KEY)
embed_client = EmbeddingClient(config=embedding_config)

4. 创建内存管理器

from chatgpt_memory.memory.manager import MemoryManager

memory_manager = MemoryManager(
    datastore=redis_datastore,
    embed_client=embed_client,
    topk=1
)

5. 连接 ChatGPT API

from chatgpt_memory.llm_client import ChatGPTClient, ChatGPTConfig

chat_gpt_client = ChatGPTClient(
    config=ChatGPTConfig(api_key=OPENAI_API_KEY, verbose=True),
    memory_manager=memory_manager
)

6. 开始交互

conversation_id = None
while True:
    user_message = input("请输入您的消息: ")
    response = chat_gpt_client.converse(
        message=user_message,
        conversation_id=conversation_id
    )
    conversation_id = response.conversation_id
    print(response.chat_gpt_answer)

六. 交互示例

1. 未启用内存

模型无法记住用户的前几轮交互信息，容易出现重复或不一致回答。

2. 启用内存

启用内存后，模型可以记住用户的具体细节，提供更个性化的对话体验。

七. 下一步

ChatGPT 内存项目是提升 LLM 功能的重要工具，通过 Redis 向量数据库解决上下文长度限制，为多种 AI 用例提供高效解决方案。未来，它有望成为智能对话系统和情境 AI 应用的关键组件。

原文链接: https://redis.io/blog/chatgpt-memory-project/