LMCache：打破KV缓存瓶颈，重构AI Agent推理效率与成本模型

核心洞察：AI Agent 中的“重复阅读”危机

斯坦福研究团队的一项统计揭示了当前 AI 推理中的一个巨大浪费：在 AI Agent 的每一次调用中，有 62% 的内容都是重复发送的。

无论是系统提示词、工具定义还是知识库文档，在多次交互中往往保持不变。然而，现有的模型架构迫使每次请求都从头计算 KV 缓存。这就像每次询问关于教材第七章的问题时，都必须从第一页重新读完整本书。虽然现有的前缀缓存（prompt caching）能解决部分问题——在稳定场景下命中率可达 60% 到 85%，最高节省 90% 的输入成本——但其天花板极低，无法应对复杂的 Agent 场景。

技术困境：前缀缓存的局限与资源争抢

传统前缀缓存要求缓存内容必须是新请求"一字不差"的前缀。在实际生产中，以下三种常见场景会直接导致缓存失效：
1. RAG 多文档检索：单独缓存的文档 A 和 B，在新请求中同时出现时，B 因缺乏 A 的前缀而无法命中。
2. 文档顺序变化：相同文档更换拼接顺序，所有缓存全部作废。
3. 多轮对话：新增内容改变位置信息，导致稳定前缀之外的缓存失效。

其根因在于 KV 缓存是位置相关的，每个 token 的编码都依赖于其精确的上下文位置。

此外，现有缓存架构本身就在拖慢推理。阿里云的生产数据显示，10% 的缓存块贡献了 77% 的命中，而剩下 90% 的缓存块从未被使用过。更严重的是，所有 KV 缓存工具都运行在推理引擎的同一个进程中。当 Google 的 TurboQuant 将 KV 缓存压缩至 3 比特时，尽管精度未降，却因与推理计算争夺 GPU 资源，导致推理速度下降了 20% 以上。

这种架构类似于将数据库和 Web 服务器跑在同一个线程里：缓存管理是 I/O 密集型（搬运大块张量），而推理是计算密集型（矩阵乘法）。负载上升时，两者必然发生资源争抢。

解决方案：LMCache 的架构分离与 CacheBlend 技术

针对上述问题，LMCache 提出了一种全新的解决方案，其核心逻辑是将缓存管理变为独立进程。推理引擎仅通过共享 GPU 内存传输区块 ID，大块数据的移动由独立的 LMCache 进程并行处理。这种"厨师炒菜、专人取材"的分离架构带来了三大实打实的好处：
* 消除资源争抢：推理速度损失直接消失。
* 多 GPU 零拷贝共享：多个 GPU 可直接读写同一块内存，无需多次拷贝。
* 多层级并行查找：缓存可分布在 GPU、CPU、SSD 或远程存储，系统可同时查找并优先获取最快数据。

在算法层面，LMCache 引入了 CacheBlend 技术（荣获 EuroSys 2025 最佳论文奖）。该技术基于一个核心观察：Transformer 中大部分 token 只关注附近上下文，仅少量 token 需要跨文档计算注意力。CacheBlend 仅重新计算这些跨边界的 token，其余缓存直接复用。这意味着无论文档顺序如何变化，知识库中的每一篇文档都能成为可复用的缓存资产。实测表明，该技术可使多文档处理速度提升 2 到 4 倍，且无质量损失。

实测性能与生产就绪能力

在 H200 GPU 上运行 Qwen3-235B 模型、50 个并发用户的场景下，对比传统进程内缓存，LMCache 的表现如下：
* 首 Token 延迟：降至原来的 1/14。
* 解码速度：提升 4 倍。
* 启动时间：从 3 分钟以上压缩至约 30 秒。

LMCache 并非原型产品，已具备生产环境所需的全部配套：
* 兼容性：适配 vLLM、SGLang、TensorRT-LLM 等主流推理引擎，支持 NVIDIA 和 AMD GPU。
* 存储后端：覆盖 CPU 内存、本地 SSD、Redis/Valkey、Mooncake、InfiniStore、S3 兼容对象存储、NIXL 和 GDS。
* 高级特性：支持 PD 分离（prefill/decode 解耦）及可插拔的 KV 变换接口。
* 稳定性：集成 Prometheus 和 OpenTelemetry 监控，具备 Kubernetes 部署能力。故障容错方面，推理引擎崩溃不丢缓存数据，LMCache 崩溃则推理引擎自动降级运行并等待重连。

经济账：为何现在必须优化 KV 缓存？

对于 AI 从业者和创业者而言，KV 缓存管理已从"未来优化选项"转变为"当下成本决策"。

数据表明，2023 到 2026 年间，GPT-4 级别模型的 token 单价从每百万 token 30 美元跌至 0.40 美元，降幅达 80%。然而，Agent 场景下的单次任务 token 消耗是普通聊天的 5 到 30 倍。价格虽降，用量激增导致总账单反而更高。例如，Uber 使用 Claude Code 四个月便烧完了一整年的预算。

据 Gartner 预测，到 2027 年前，40% 的 AI Agent 项目会因为成本超支而被取消。单张 MI300X GPU 每天产生约 15 TB 的 KV 缓存，若大部分用完即弃，将是巨大的算力浪费。

生态与展望

LMCache 项目已获得广泛认可：
* GitHub Star 数超过 10k。
* 已被 PyTorch 基金会接纳。
* NVIDIA Dynamo 已集成 LMCache。
* epistemic-graph 等项目已将其作为默认的 KV 缓存 L2 持久化层。

项目地址：https://github.com/LMCache/LMCache

在 Agent 浪潮下，解决"大部分 token 根本不该重复计算"的问题，是降低推理成本、提升系统吞吐量的关键一步。