V 友们好，最近帮公司做推理成本优化，把实测过程整理出来了。 背景：团队每天 2000+ 次摘要/分类调用，走 API 一个月 ¥2000 上下。这类任务（工单分类、报表摘要、字段抽取）其实 3B 模型就能干，没必要每次都叫 GPT-5 。 实测：M1 Pro 32GB + llama.cpp + Qwen2.5-3B Q4_K_M （ 2GB ） 生成 54 tok/s （每秒约 40 个汉字） prompt 解析 551 t/s ，2100 token 长文 504 t/s 基本不衰减 内存 3.2GB ，挂后台无感 部署就三步： brew install llama.cpp curl 下载 gguf （ hf-mirror.com 镜像，-C - 断点续传） llama-cli -m 模型路径 -p "提示词" 要给团队用的话 llama-server 一条命令起 OpenAI 兼容 API ，现有代码改个 base_url 就行。 顺便说下最近很火的 DeepInfer （ DeepSeek 开源的推理引擎）：性能...