125B 参数，一张 RTX 4090，每秒 100 个 token。这组数字来自 HN 上今天的一个开源项目 Strata，跑的是 Qwen 3.8 Flash Next，帖子拿到 644 分、302 条评论。
125B 参数，一张 RTX 4090，每秒 100 个 token。这组数字来自 HN 上今天的一个开源项目 Strata，跑的是 Qwen 3.8 Flash Next，帖子拿到 644 分、302 条评论。
如果这个速度在消费级显卡上站得住，125B 这一档的模型就不用再租卡，自己桌上那台机器就能跑。
不过标题只给了速度，没写量化到几 bit、上下文开多长，也没说 100T/s 是单条请求还是批量跑出来的。这三个条件决定它对你有没有用，看仓库时先找这三项。
Strata 项目仓库：github.com/Niko1221/Strata
提到的仓库