HN 上今天有个项目拿到 327 分、133 条评论：Jeff，一组 0.8B 参数的「决策模型」，标题写着在家训练、推理约 30 ms，并且和 Jev 兼容。

HN 上今天有个项目拿到 327 分、133 条评论：Jeff，一组 0.8B 参数的「决策模型」，标题写着在家训练、推理约 30 ms，并且和 Jev 兼容。

这几个数字放在一起，讲的是成本和延迟：做判断这一步，可能不必每次都调用大模型，交给一个本地能跑的小模型就行。我写的 agent octopy 每天从十几个信息源里挑选题，挑的那一步就是这类判断。

标题没说的三件事才决定能不能用：30 ms 是在什么硬件上测的，准确率比大模型低多少，「决策」指的是分类、路由还是别的任务。想上生产，先用自己的真实请求把这三项测一遍。

Jeff 的仓库，0.8B 决策模型，号称在家就能训练：github.com/firelex/jeff