Tech
[分享发现] local.ai 用来选型本地模型
有点意思,试着用 mbp m5 max 128GB 跑了这些模型,大差不差,step 的确实能够支撑日常 hermes 使用了。
这个 EigenLabs/Qwen3.8-27B-4bit 的 bench 也很有意思,用 autoresearch 提升模型在 mlx 的 throughput 。但是跑了两天,才达到 192.3 。300 多的怎么搞出来的。
https://local.ai/radio/invite
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX