三个数字能把这件事讲清楚：54 GB、18 GB、3.9 GB。
PrismML 7 月 12-13 日发了一个叫 Bonsai 27B 的东西，基于 Qwen3.6 27B 做了 1-bit 和 Ternary 两个量化变体。16-bit 全精度的 27B 模型本来要占 ~54 GB 显存，即使 4-bit 量化也要 18 GB，这个量级塞不进 iPhone，塞进 MacBook 都很吃力。PrismML 的 1-bit 变体把数字压到 3.9 GB，Ternary 变体压到 5.9 GB，直接打进消费级硬件的内存预算。
但比"模型变小了"更值得聊的是它怎么做到的，以及这意味着 agent 部署形态可能要重新画一次。
Memory 数学：从 54 GB 到 3.9 GB 走了几步
把过程摊开看：
- 16-bit 全精度：27B × 2 byte ≈ 54 GB。这是工业标准，训练推理都这个量级。
- 4-bit 量化：~18 GB。常见的 INT4 / GPTQ / AWQ 路线，iPhone 还是塞不下，大部分笔记本也吃紧。
- Ternary（三进制 {-1, 0, +1}）+ FP16 group-wise scaling：1.71 effective bits per weight，5.9 GB。PrismML 自己的质量档。
- 1-bit（二进制 {-1, +1}）+ 同 scaling：1.125 effective bits per weight，3.9 GB。直接装进手机预算。
关键在 “effective bits per weight” 这个概念。三进制不是简单把 16-bit 砍到 3-bit 再乘 0.1875，而是每个 weight 只用 1.71 bit 表示；二进制的压缩比是 16 / 1.125 ≈ 14 倍。代价是数值表示上必然有损，不是无损压缩。
iPhone 不是装不下 27B，是 KV cache budget 把门关死了
这件事比"模型大小"更微妙。PrismML 自己点出来：
A phone never exposes its full memory to an app — a 12 GB iPhone offers about 6 GB for the model to use on-device, and the model shares that budget with its KV cache and activations.
iPhone 17 Pro 物理内存 12 GB，留给单个 app 大约 6 GB。这 6 GB 还要分给三样：模型权重、KV cache、运行时 activations。262K context 的对话一开起来，KV cache 直接吃几个 GB，留给模型权重的空间就剩 4 GB 上下。3.9 GB 的 1-bit 变体刚好压线，4-bit 的 18 GB 远远突破上限。
过去三年不是没人想做"27B on iPhone"，是这个约束把这条路基本锁死了。1-bit Bonsai 27B 是第一个真正穿过去的。
Benchmark 的真信号：不是"分高"，是"哪些能力不掉"
PrismML 跑了 15 项 benchmark 套件，涵盖 knowledge / reasoning / math / coding / instruction following / tool calling / vision，thinking-mode 评估：
- Ternary 保留全精度 baseline 的 95%
- 1-bit 保留 90%
但数字平均意义不大，真正有意思的是分项：
- math 几乎完全没动
- coding 几乎完全没动
- tool calling 也在全精度的几个点以内
这恰恰是 agentic loop 依赖的三项核心能力。模型总分会掉 5%-10%，但写代码、调工具、做数学推理这几条几乎完整保留。换句话说，这个压缩方案保留了 agent 真正需要的能力，丢的是知识类 / 闲聊类的分数。
对比实验更狠：同样的 Qwen3.6 27B，最 aggressive 的常规低-bit 量化版，分数比 1-bit Bonsai 还低，占用内存却是 2.5 倍。
Intelligence density：0.53 / GB，这不是性价比，这是新轴
PrismML 在 8B 时代引入过这个 metric：每 GB 模型能产出多少能力。Bonsai 27B 1-bit 的数字是：
- 0.53 / GB
- 是全精度 baseline 的 10 倍以上
- 是目前最好常规低-bit 替代的约 2.7 倍
翻译一下：同样 RAM 预算，全精度跑"1 单位能力"，1-bit Bonsai 跑"10 单位"。整个 capability-vs-footprint 的 Pareto 边界被往左推了一次。
端云 hybrid agent 的架构反转
我觉得这部分才是这篇 news 真正重要的部分。PrismML 自己写了一段：
Cloud APIs will remain the right choice for many products. But for agentic workloads, cloud-only execution imposes structural constraints: every step is a remote request, per-token cost accumulates with every iteration, and every plan, tool call, and intermediate result crosses the network including the user’s private files, screen, and data.
翻译成工程语言：一个 agent 跑一次任务，可能几百次 model call；每次 call 都要远程请求；每个 token 都要计费；每一步中间结果（包括用户的私人文件、屏幕截图、本地数据）都要穿过网络。这三个约束在 agent 形态下被放大了 100 倍。
本地执行把账算平了：100 步 loop 的边际成本是 0，用户数据不出本机。这打开了两类新产品：离线 assistant、本地隐私敏感的 agent。
更进一步是混合架构：
hybrid deployments that route non-frontier and privacy-sensitive tasks to a capable local model and reserve frontier cloud models for the hardest steps
agent 不再是"全部走云端一个超大模型"，而是"日常 + 隐私部分走本地 27B，真正硬的那几步走 frontier cloud"。这跟把模型压小一档是两件事，这是 agent 部署形态的重新分层。
262K context + speculative decoding + Apache 2.0
最后几个工程细节也得讲清楚：
- 262K token context：基本覆盖一整本技术书 / 长会议 transcript
- vision tower 4-bit：多模态不是营销话，vision 部分单独做了一次压缩
- speculative decoding：无损的 draft-and-verify 加速
- Apache 2.0：商用基本无门槛
性能数据：
- 1-bit 在 RTX 5090 上 163 tok/s，M5 Max 上 87 tok/s
- Ternary 在 RTX 5090 上 134 tok/s，M5 Max 上 58 tok/s
native 支持 Apple Silicon（MLX）+ NVIDIA（CUDA + 自家 low-bit kernel）。PrismML 团队 Caltech 出身，Khosla Ventures / Cerberus / Google 投资，Samsung 持续支持。