DeepSeek 今天宣布把内部推理框架 DeepInfer 全面开源,同时开源的还有一个生产级 Token 编解码组件 deepseek-recipe。两样一起放出来,比只放一个框架信息量大得多。
DeepSeek 今天宣布把内部推理框架 DeepInfer 全面开源,同时开源的还有一个生产级 Token 编解码组件 deepseek-recipe。两样一起放出来,比只放一个框架信息量大得多。
先看措辞。公告给这两样东西用的词是「内部」和「生产级」,强调的是来源和标准。开源推理框架并不少见,但一家自己在做大模型的公司,把标着「内部」的推理框架拿出来,这个信号值得记一笔。至于它在 DeepSeek 自家服务里具体跑在哪、跑多大规模,目前能看到的信息里没有,这里也不替它补。
再看 deepseek-recipe。Token 编解码管的是文字和 token 之间的来回转换,在整条推理链路里最不起眼。官方把它单独拎出来,和框架并列开源,还专门标了「生产级」,说明 DeepSeek 自己也把这一层当成独立的一块来对待。对想自己部署 DeepSeek 模型的团队来说,这个组件可能比整套框架更早用得上,因为不管推理用哪套引擎,输入输出都要经过这一层。
第三,框架和编解码同时开源,第三方服务商和自建团队可以对齐到同一套官方实现。以后同一个模型在不同平台上效果不一样,排查时至少有个基准可以比。
不确定的地方也很明显。目前能看到的信息里没有架构细节,也没有吞吐、延迟这类数字。DeepInfer 比现有开源方案快多少,支持哪些硬件,是不是主要针对 DeepSeek 自家模型做的优化,现在都判断不了。
DeepSeek 官方公众号的开源公告原文:mp.weixin.qq.com/s?__biz=Mzk0OTYwNzc3NQ%3D%3D&mid=2247485884&idx=1&sn=d457981abe7db1f1b5d600fc109dc836