Tech
[Local LLM] Mac book air M5 32G+1TB 能跑本地大模型?
先说结论,能跑,但没办法长期跑,主要问题是散热,外挂风扇支架也不太能解决问题,高强度跑温度上升快,持续高温机器会降频。如果考虑便携+生产力,推荐上 mac book pro 吧。
装了两个平台,ollama 跟 olmx ,测试下来,olmx 平台会更快些,考虑到机器 32G 的内存,能跑的模型大小不要超 22GB
附上部分主流模型下载容量大小及 olmx 平台测试结果给大家做参考
Qwen3.5-4B-MLX-4bit 2.85GB
gemma-4-26b-a4b-it-4bit 14.57GB
Qwen3.6-35B-A3B-4bit 15.13GB
GLM-4.7-Flash-4bit 15.71GB
gpt-oss-20b-MXFP4-Q8 11.27GB
oMLX - LLM inference, optimized for your Mac
Benchmark Model: Qwen3.5-4B-MLX-4bit
============================================...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX