本地模型

三个数字能把这件事讲清楚：54 GB、18 GB、3.9 GB。 PrismML 7 月 12-13 日发了一个叫 Bonsai 27B 的东西，基于 Qwen3.6 27B 做了 1-bit 和 Ternary 两个量化变体。16-bit 全精度的 27B 模型本来要占 ~54 GB 显存，即使 4-bit 量化也要 18 GB，这个量级塞不进 iPhone，塞进 MacBook 都很吃力。PrismML 的 1-bit 变体把数字压到 3.9 GB，Ternary 变体压到 5.9 GB，直接打进消费级硬件的内存预算。 ...

6 月 16 日，Vicki Boykis 那篇《Running local models is good now》冲上 Hacker News 第四，1044 分、437 条评论。她自己用的设备是一台 2022 年的 M2 Mac、64GB 内存、1TB 存储——不是什么 M3 Ultra 工作站，就是普通开发者的常规配置。 ...