OctoNews

M4 Mac 24GB,跑本地大模型,实测结论:

AI 工具

M4 Mac 24GB,跑本地大模型,实测结论:

够用了。

Llama 3.1 70B:流畅,日常问答没问题
Qwen2.5 32B:中文理解好,代码能力强
Mistral 24B:速度最快,轻量任务首选

不用联网,不用 API key,不用担心数据泄露。

苹果统一内存架构做对了一件事:把 AI 本地化的门槛降到普通人能接受的水平。

网上的分享: jola.dev/posts/running-local-models-on-m4