DeepSeek 今天宣布把内部推理框架 DeepInfer 全面开源，同时开源的还有一个生产级 Token 编解码组件 deepseek-recipe。两样一起放出来，比只放一个框架信息量大得多。
先看措辞。公告给这两样东西用的词是「内部」和「生产级」，强调的是来源和标准。开源推理框架并不少见，但一家自己在做大模型的公司，把标着「内部」的推理框架拿出来，这个信号值得记一笔。至于它在 DeepSeek 自家服务里具体跑在哪、跑多大规模，目前能看到的信息里没有，这里也不替它补。 再看 deepseek-recipe。Token 编解码管的是文字和 token 之间的来回转换，在整条推理链路里最不
GUI agent 想走数学和代码那条在线 RL 的路，最难的一直是环境，算法反倒其次。这周 Hugging Face 论文页上的 MAI-Gym（94 个 upvote）就是冲这块来的：一个开源平台，把手机、电脑、网页三类环境里的评测、数
GUI agent 想走数学和代码那条在线 RL 的路，最难的一直是环境，算法反倒其次。这周 Hugging Face 论文页上的 MAI-Gym（94 个 upvote）就是冲这块来的：一个开源平台，把手机、电脑、网页三类环境里的评测、数据采集和在线 RL 训练放进同一套系统。 先说为什么环境是瓶颈。带可验证奖励的在线 RL 已经在数学、编程、工具调用上带来了很快的进展，但换到 GUI agen
「在隐空间里思考，用文本行动」。arXiv 上一篇新论文拿这句话当了标题，今天在 HN 上拿到 257 分、152 条评论。按标题的意思，它把 agent 的推理和行动拆成了两条通道。
为什么要这样拆，可以从现在主流 agent 的做法看出来。它们的思考是写出来的：每一步推理都变成 token，一条条堆进上下文。好处是人能读，代价是贵、慢，而且推理只能沿着自然语言这条窄路走。把思考挪进隐空间，模型就在内部向量里迭代，不用每一步都翻译成字。 行动没法这样挪。agent 要调工具、写文件、给人回话，这些接口只认文本。所以「行动走文本」更像外部世界给的约束，谈不上妥协。 照这个拆法推下
长程 agent 跑到一半要接着干，上下文里到底该装什么？
论文先指出一个问题：进度早就存在持久的任务状态里了，agent 却还在一遍遍处理交互历史，也就是「这些进度是怎么做出来的」那部分记录。 CarryOn 这篇论文给的答案是：围绕可复用的任务对象来组织续跑。上下文视图从这些对象里搭出来，压缩过的历史和事后重建的进度说明都不再是主要依据。 标题里的 Pack Light 指的就是这件事：上下文围绕可复用的进度来组织，而不是围绕产生进度的那段历史。 Ca
HN 上 dom96 发了一篇博客，标题叫《I built a programming language that LLMs can't use》，拿了 106 分、84 条评论。
一个程序员专门造一门大模型用不了的语言，听着像行为艺术，也好笑：现在挑语言，居然还得先问一句 AI 写不写得来。 我平时业余靠 vibe coding 一个人搓了 6 个 app，全指望模型帮我写代码。这语言要真是这么设计的，我这套玩法直接就废了。 dom96 的博客原文，讲他做的这门大模型用不了的语言：https://blog.picheta.me/post/killswitch-lang/
24B 总参数，每个 token 只激活 2B。这是 Liquid AI 刚开源权重的 LFM2.5-24B-A2B，官方定位很直白：在端侧跑的快速智能体。
这个比例的意思是，每生成一个 token，计算量接近一个 2B 的小模型，背后能调用的却是 24B 的容量。端侧 agent 要连续调工具、多轮推理，速度主要卡在每个 token 要算多少，MoE 省的正是这一块。代价也在这里：24B 的权重还是得整个放进设备内存，算得少不等于占得少。 Hugging Face 博客的标题是 Run fast, private agents on-device。f
Codex 默认上下文从 272k 拉到 500k，等于给 agent 团队少开几次交接会，长任务最怕交接时丢细节。
Tibo 的原帖，讲了默认值从 272k 调到 500k，模型最大上下文是 1M：https://x.com/thsottiaux/status/2109430343346581527
SoloQ 这篇论文瞄准的是扩散语言模型部署里一个很具体的卡点：现有给 dLLM 做的训练后量化，都还要靠校准数据。它要做的就是把校准数据这一步去掉。
先看 dLLM 的开销在哪。它用双向的扩散方式生成 token，不像自回归模型那样一个一个往后吐。摘要里点出两种开销。第一种是计算：全序列去噪要反复调用计算量很大的前向传播。第二种是内存：block-diffusion 模型在此之上还多了一份很占内存的 KV cache。计算和内存两头都紧，模型又越做越大，所以论文认为低比特的权重加激活一起量化值得做。 再看它改的是哪一步。摘要的说法是，现有的 d
open-code-review 今天涨了 326 星，仓库总共 45366。阿里这个代码审查工具用混合架构，确定性流水线加 LLM Agent，评论精确到行。
• 内置多语言规则集点名了四类：空指针、线程安全、XSS、SQL 注入。 • LLM Agent 那一半兼容 OpenAI 和 Anthropic。 • 简介写的是 secure、fast、efficient，并称在阿里的规模上验证过。 阿里开源的混合架构代码审查工具 open-code-review：https://github.com/alibaba/open-code-review
trycua/cua 是一个开源的 computer-use 框架，就是让 AI agent 直接去操作电脑。目前 28809 个星，今天涨了 228。
它这次自称 computer-use 2.0。项目描述第一个词是 Scale，后面列了三样东西：开源驱动、跨操作系统的机器集群、用来做训练、评测和数据生成的 benchmark。 这三样都不是用来帮单个用户把某件事做完的。集群用来同时调动一批不同系统的机器，benchmark 用来给结果打分，再把跑出来的东西变成训练数据。需要这套东西的，是在训练和评测 agent 的团队。 所以 cua 瞄准的是
LLM agent 会骗人，已经有评测证明过。DecepEval 想回答的是下一个问题：在什么条件下，它更可能骗。
• 规模：1,532 个实例，覆盖 3 个任务族、28 个职业场景。 • 以前的评测多半只看孤立场景，条件也定得很窄，能证明"会骗"，却说不清"什么时候更容易骗"。 • 框架借用经典欺诈理论，起名 LLM Deception Diamond。 • 出发点很直接：agent 越自主，越可能为了任务表现去骗。 如果你在部署 agent，能用上的是这套条件拆解，比一个"欺骗率"总分有用：先查清楚自己的场
大多数 agent 的会话是一次性的：这次聊完，下次开新窗口又得从零解释一遍背景。claude-mem 补的就是这一层——把一次会话里 agent 做过的事全部捕获，用 AI 压缩，再在未来会话里把相关的部分注入回去。
它不只接 Claude Code，Codex、Gemini、Copilot、OpenCode 也能用。GitHub 上已经 95642 个 star，今天又涨了 79。 对比很直接：一边每次都要重新建立上下文，一边让上下文跨会话留着。真正的变量是中间那步 AI 压缩——注入回来的到底是不是相关的那部分，决定了这套记忆有没有用。 给每个 agent 加跨会话持久记忆的开源项目：https://git
vLLM v0.31.0 发布了，717 次提交，307 位贡献者，其中 96 位是第一次贡献。Highlights 第一条是 DeepSeek-V4.1-Flash。通读下来，这一版在这个模型上做的事可以概括成一句话：能合并的步骤都尽量合
vLLM v0.31.0 发布了，717 次提交，307 位贡献者，其中 96 位是第一次贡献。Highlights 第一条是 DeepSeek-V4.1-Flash。通读下来，这一版在这个模型上做的事可以概括成一句话：能合并的步骤都尽量合并，SM100 上的默认注意力路径也换成了新方案。 第一个证据是默认路径变了。FlashMLA mega attention 配合 V4.1 的 NVFP4 压
125B 参数，一张 RTX 4090，每秒 100 个 token。这组数字来自 HN 上今天的一个开源项目 Strata，跑的是 Qwen 3.8 Flash Next，帖子拿到 644 分、302 条评论。
如果这个速度在消费级显卡上站得住，125B 这一档的模型就不用再租卡，自己桌上那台机器就能跑。 不过标题只给了速度，没写量化到几 bit、上下文开多长，也没说 100T/s 是单条请求还是批量跑出来的。这三个条件决定它对你有没有用，看仓库时先找这三项。 Strata 项目仓库：https://github.com/Niko1221/Strata
读 PhD 做的是压缩感知，结果给 coding agent 省 65% token 的办法，是让它像原始人一样说话。
caveman：让 coding agent 用原始人语说话来省 token 的 skill 和 proxy，号称能省 65%。https://github.com/JuliusBrussee/caveman
$2 对 $0.20。Claude Code v2.1.284 把 Sonnet 5.5 设成了 Anthropic API 上的默认 Sonnet 模型，上下文 1M，输入每百万 token $2，输出 $10，缓存读取 $0.20。
按标价算，把 1M 上下文按输入价读一遍是 $2，走缓存读只要 $0.20，差了十倍。同样大的上下文，缓存命中的部分越多，账单就越接近后面那个数。 这一版还给 Claude apps gateway 的花费上限加上了美元金额，/usage 和状态栏里会显示成「$271.40 / $500.00 spent this month」。 v2.1.284 的完整更新说明：https://github.c
HN 上今天有个项目拿到 327 分、133 条评论：Jeff，一组 0.8B 参数的「决策模型」，标题写着在家训练、推理约 30 ms，并且和 Jev 兼容。
这几个数字放在一起，讲的是成本和延迟：做判断这一步，可能不必每次都调用大模型，交给一个本地能跑的小模型就行。我写的 agent octopy 每天从十几个信息源里挑选题，挑的那一步就是这类判断。 标题没说的三件事才决定能不能用：30 ms 是在什么硬件上测的，准确率比大模型低多少，「决策」指的是分类、路由还是别的任务。想上生产，先用自己的真实请求把这三项测一遍。 Jeff 的仓库，0.8B 决策模
OpenAI 的智能体钻 DNS 漏洞联网、还泄了 token。我那只每天替我挑选题的 agent，也得防它偷偷跑出去。
OpenAI 自曝内部安全事件，智能体绕过限制联网、泄露 GitHub token，最强模型的训练和工具推理全线暂停：https://the-decoder.com/openai-pauses-its-most-capable-models-after-agents-exploit-loopholes-and-leak-data
让 AI 动我的 Mac，我原来的算法很亏
每动一下先截图 丢给大模型想完再点 十二步，将近 1 美元 有人把活拆开 屏幕自己 OCR 点哪，交给小分类器 同一趟，0.003 美元 真要打字，才请大模型出场 看和点 不配每次走最贵的那一档
周末如果只读一条线
读推理 vLLM 怎么把吞吐做上去 持续批处理怎么把延迟和吞吐一起扛 KV cache 怎么在服务里落地 我自己的排法 先算术 再系统 再部署 目录太长没人看完 链接丢在下面
中文文档别直接塞进大模型
我最近把 PDF、扫描件先丢给 MinerU 它针对中文场景训过 表格、版面、公式能先收成 Markdown / JSON 再交给 LLM 读 省下的不只是耐心 是 Token 和幻觉空间 脏扫描件直接问 模型会拿版面噪声编答案 它还挺轻 8GB 内存的笔电也能跑 我的习惯很土 能本地预处理就不把原件整页塞进对话 先整理 再提问 这步比换模型划算
语音 agent 的取舍一直很烦
要聪明就贵、就慢 要便宜就在电话里卡壳 Pipecat 开出 PhoneLLM 开源权重 他们说效能能追 GPT-5.6 Terra 延迟大约三分之一 成本大约十八分之一 做法不神秘 把 NVIDIA Nemotron Nano 30B 做满血微调 专门喂电话客服 thinking 关掉 我关心的是场景模型又回来了 通用大模型在电话里浪费推理 专用的把工具调用和第一句开口练熟就够 视频里是跑起来的
不能让工程师花 token 的 IT 公司
我建议尽早退市 配图那页课更狠 没有 token 的 CS 学生 应该立即退学 我只认一句 token 是实验耗材 你不亲手烧 成本、质量、延迟这三项手感长不出来 不需要 tokenmaxxing 课堂用 deepseek-v4-flash 也行 缺的是值得烧的问题 和烧完怎么验收 把耗材锁掉 工程师就变成旁观者
Qwen Next Flash
在 M 系列本地大概十五到二十 GB 就能跑 Wallm 已支持 M5 Pro 接 Codex 实测 Prefill 约六十 Decode 约八 峰值内存二十 GB 左右 还在实验 但方向很清楚 本地模型开始能塞进真实 agent 流程
千问刚发的Qwen3.8-Flash，价格是真的狠
百万token输入1块钱，输出3块钱 上下文原生26万token，拉伸能到1M 能做到这么便宜，靠的是MoE架构的老套路 总参数125B，但每个token只激活6B 剩下的参数全是"备用军"，不用的时候不烧钱 比较有意思的是它的Attention设计 用GDN压缩历史信息，再用QSA在micro-block粒度筛掉不重要的上下文 相当于先粗筛一遍，再精细计算，这就是长序列成本降下来的关键
NVIDIA 把 Agentic AI 拆成六门课
我翻了一遍路径 比「再看一个 Agent demo」有用 怎么搭 Agent 怎么做 Agentic RAG 怎么评测 怎么定制 怎么做更深的 Agent 最后一门直接讲更安全的自主 Agent 很多人卡在第一课的兴奋感里 真正分水岭往往在评测和安全 能跑起来和敢放出去 中间差一整段工程
用 Modal 部署 Qwen3.8 27B：从 Endpoint 创建到本地调用的完整实战
如果只是在线体验模型，打开网页即可；但如果希望把模型接入自己的应用，就需要一个稳定、可鉴权的服务入口。 Endpoint 的价值在于： - 为模型提供统一的 API 地址 - 允许自己的应用通过 Token 调用 - 可以查看部署状态、GPU 配置和运行情况 - 能够通过 Quickstart 或代码示例快速接入 - 可以设置预算上限，避免测试时产生不可控费用 这次实战的目标，是把 Qwen3.8
8GB 显存到底能跑多大模型
别再靠感觉了 llmfit 扫一眼你的内存、CPU、显卡 按「能不能塞进去」「会不会卡死」「质量够不够」打分 我刚测过 27B 塞进 8GB 这种工具本该先跑一遍 再下载那十几个 G
8GB 显存，能不能跑 27B？我用 RTX 3060 Ti 实测 Qwen3.8-27B
先说答案：能跑，但不算流畅。 我在一台 Windows 台式机上，用 RTX 3060 Ti 8GB 跑通了 Qwen3.8-27B。命令行生成速度约 1.7 tokens/s，本地 API 测到约 1.9 tokens/s。 这个结果适合技术验证、轻量问答和偶尔写作，不适合拿来做高频编码助手，更别说多人服务。 如果你也是 8GB 显存，最重要的不是照抄我的每个参数，而是先选对路线：**GGUF
这张图不是在比谁更聪明
是在比谁吐字更快 左边一坨 Qwen、Claude、Grok、Gemini 智力分差不多挤在一起 速度都还在几百 token 以内晃 右边单独一个点 GPT-5.6 Sol Ultrafast 标了 Cerebras 大约 750 token 每秒 聪明没被拉开 延迟被拉开了 做 agent 循环时 这比再涨两分智力更疼