正在筛选:推理优化,共 1清除筛选
响应缓存、Prompt Cache 与 KV Cache 有什么区别
人工智能2026-07-316543

响应缓存、Prompt Cache 与 KV Cache 有什么区别

大模型系统中的三类缓存复用对象和责任边界不同。本文区分答案、输入前缀与推理状态,并说明前缀排序、权限和验收方法。

Prompt CachingAPI 缓存推理优化
阅读更多