https://cuigh.com/zh/tags/1-bit-%E9%87%8F%E5%8C%96/ Recent content in 1-Bit 量化 on 智识脉搏 Hugo zh-CN Mon, 13 Jul 2026 09:51:14 +0800 https://cuigh.com/zh/posts/bonsai-27b-1bit-on-phone-2026/ Mon, 13 Jul 2026 09:51:14 +0800 https://cuigh.com/zh/posts/bonsai-27b-1bit-on-phone-2026/ <p>三个数字能把这件事讲清楚：54 GB、18 GB、3.9 GB。</p> <p>PrismML 7 月 12-13 日发了一个叫 Bonsai 27B 的东西，基于 Qwen3.6 27B 做了 1-bit 和 Ternary 两个量化变体。16-bit 全精度的 27B 模型本来要占 ~54 GB 显存，即使 4-bit 量化也要 18 GB，这个量级塞不进 iPhone，塞进 MacBook 都很吃力。PrismML 的 1-bit 变体把数字压到 3.9 GB，Ternary 变体压到 5.9 GB，直接打进消费级硬件的内存预算。</p>