「在隐空间里思考,用文本行动」。arXiv 上一篇新论文拿这句话当了标题,今天在 HN 上拿到 257 分、152 条评论。按标题的意思,它把 agent 的推理和行动拆成了两条通道。
「在隐空间里思考,用文本行动」。arXiv 上一篇新论文拿这句话当了标题,今天在 HN 上拿到 257 分、152 条评论。按标题的意思,它把 agent 的推理和行动拆成了两条通道。
为什么要这样拆,可以从现在主流 agent 的做法看出来。它们的思考是写出来的:每一步推理都变成 token,一条条堆进上下文。好处是人能读,代价是贵、慢,而且推理只能沿着自然语言这条窄路走。把思考挪进隐空间,模型就在内部向量里迭代,不用每一步都翻译成字。
行动没法这样挪。agent 要调工具、写文件、给人回话,这些接口只认文本。所以「行动走文本」更像外部世界给的约束,谈不上妥协。
照这个拆法推下去,有三处会变:
一是成本。思考不再按字计费,长链推理那部分 token 开销有机会压下来。能压多少,光凭标题给不出数。
二是可读性只剩一半。行动还是文本,agent 最后做了什么,人能直接读到。可「它为什么这么做」,从一段能读的思维链变成了一组向量。
三是监督的方式得跟着换。要是想靠读推理过程来判断 agent 有没有跑偏,推理进了隐空间,就没有字可读了,只能从它输出的动作反推。
我拿不准的是出错之后怎么排查。我读 PhD 做的是压缩感知,看到「隐空间」,第一个问题就是压进去的信息还能还原出多少。多步工具调用里一旦走错一步,文本思维链至少还能回放,向量很难还原成人能看懂的理由。这一点光看标题判断不了。
论文原文在 arXiv,想看具体做法可以直接读:arxiv.org/abs/2610.18861