开源模型最冤的死法

开源模型最冤的死法
是被笔记本性能判死刑

有人租 RTX PRO 6000 96G
一小时大概一美金
塞进 Qwen 27B 的高量化
智力够
限制少
生成大约四十 tokens 每秒

我认这句玩笑背后的认真
有些模型
要配得上它的显存才像它自己