2.8T 参数的 Kimi K3
2.8T 参数的 Kimi K3
有人说不用先砸一张顶级卡也能碰
项目叫 colibri
思路很粗暴也很大胆:
专家权重不整模塞内存
需要哪个 expert
再从固态硬盘流进来
MoE 本来就是「每次只激活一小撮」
那磁盘延迟就变成可交易的工程问题
而不是绝对禁区
能跑 ≠ 很爽
但「能不能在消费级硬件上试」
这条线又被往下推了一截
仓库放第二条
提到的仓库
2.8T 参数的 Kimi K3
有人说不用先砸一张顶级卡也能碰
项目叫 colibri
思路很粗暴也很大胆:
专家权重不整模塞内存
需要哪个 expert
再从固态硬盘流进来
MoE 本来就是「每次只激活一小撮」
那磁盘延迟就变成可交易的工程问题
而不是绝对禁区
能跑 ≠ 很爽
但「能不能在消费级硬件上试」
这条线又被往下推了一截
仓库放第二条
提到的仓库