人工智能2026-10-224061

推理长度失控治理｜token 账单砍半实录

本文详述推理长度失控的三大来源：EOS错配、统一深度分配及串行采样能耗，提供从终止行为审计到批处理治理方案。

推理优化Token 成本长度控制测试时扩展2026

阅读更多

人工智能2026-09-156762

Gemini 3.8 Flash本地化推理实战：低延迟高吞吐部署指南

Gemini 3.8 Flash本地化推理实战：RTX 4090单卡部署，320ms低延迟，成本降94.6%。

Gemini 3.8 Flash本地部署推理优化TensorRT-LLM成本控制

阅读更多

人工智能2026-09-103070

DFlow扩散投机解码：验证信息复用降本实测

DFlow复用被拒样本的verifier信息提升接受率，拆解块扩散投机解码原理、vLLM配置与自建托管选型。

DFlow投机解码推理优化成本控制vLLM

阅读更多

人工智能2026-07-316543

响应缓存、Prompt Cache 与 KV Cache 有什么区别

大模型系统中的三类缓存复用对象和责任边界不同。本文区分答案、输入前缀与推理状态，并说明前缀排序、权限和验收方法。

Prompt CachingAPI 缓存推理优化

阅读更多