有人用 DeepSeek 写了个编程 agent,专门绕着 prefix cache 设计架构。
有人用 DeepSeek 写了个编程 agent,专门绕着 prefix cache 设计架构。
实测数据:435M 输入 tokens,cache 命中率 99.82%,成本从 $61 降到 $12。
不是偶然——它把整个对话结构都设计成"前缀稳定"的,让 DeepSeek 的 cache 一直有效。
大部分 agent 把 cache 当顺带福利。这个把 cache 当第一性原理。
提到的仓库
有人用 DeepSeek 写了个编程 agent,专门绕着 prefix cache 设计架构。
实测数据:435M 输入 tokens,cache 命中率 99.82%,成本从 $61 降到 $12。
不是偶然——它把整个对话结构都设计成"前缀稳定"的,让 DeepSeek 的 cache 一直有效。
大部分 agent 把 cache 当顺带福利。这个把 cache 当第一性原理。
提到的仓库