27B 模型压到 5.95GB，推理能力还保住 98%：这才是低比特该有的样子

2026年10月1日

先说一个最刺激的数字：一个 27B 参数的推理模型，权重文件只有 5.95GB。换算一下，从 FP16 的约 54GB 压到 5.95GB，小了约 9.3 倍，但 14 项 thinking-mode 基准的平均分还守在 84.78，相当于保住原版 86.32 的 98.2%。这份新东西来自 Prism ML，名字叫 Bonsai 2 27B，挂在 Hugging Face 上，Apache 2.0 开源。

低比特压缩圈子里，「量到 1-2bit 智商崩了」几乎是常识。IQ2_XXS 那种 2 比特做法，跑分直接掉到 72.59，比原版低了 14 个点还多。问题不在平均分本身，在于它崩得极其不均匀——AIME26 掉到 57.5，LiveCodeBench 掉到 56.4，可 MMLU-Redux 还能到 88.93。也就是说，刷常识题看着还行，一碰需要长链条推理的题就现原形。日常随手测根本测不出来，只有真做起 math 和 coding 才露馅。

Bonsai 的做法是把权重直接压成三元值——每个权重只取 -1、0、+1 三个可能值，每 128 个权重共享一个 FP16 缩放因子，再用一个块的 Hadamard 旋转把矩阵信息重新分布后折叠进存储里。算下来是真实的 1.72 bits/weight，全链路都是三元语言权重，没有在低比特标签背后藏高精度逃生舱。关键点在它的分项成绩：math 只从 97.06 掉到 96.57，coding 反而跟原版持平甚至略高（89.42 对 89.07），agentic 工具调用 74.92。这正是 IQ2_XXS 崩掉的那些类别，也是真干活最依赖的部分。

顺带说一句，跑分全程是 thinking mode 下用 EvalScope + vLLM 在同一台 H100 上测的，bit 宽度也是真值，不是厂商自己拍的乐观数字。

它对硬件的意义比 paper 上的分更有画面感。5.95GB 意味着一个 27B 级推理模型能塞进一台普通笔记本，或者一张单卡。RTX 5090 上约 130 tok/s，一张 72W 的 L4 也有约 30 tok/s——那种入门级数据中心显卡现在能跑 27B 的 agent 了，还能留出余量跑更长上下文。它带 262K 的上下文窗口，靠的是 Qwen3.8-27B 那个约 75% 线性注意力的混合注意力底座。在 Apple M5 Max 笔记本上实测约 47 tok/s，M5 Pro 约 28 tok/s。

想自己跑的人要记住一件事：三元权重需要专门的 kernel，普通 llama.cpp 跑不了这批文件。它没有 Hadamard 激活运行时，会把未知格式拒绝，甚至可能把 Q2_0 无声无息加载出来给你吐一坨乱码。得用 PrismML 的 llama.cpp fork，官方 demo 仓库 Bonsai-demo 是跑这些模型的权威参照，每个后端的配置、绑定的二进制版本都在那里。

文件给了两种打包，各有取舍。PTQ1_0 是紧凑存储的三元位（1.75 bits/weight，5.95GB），PQ2_0 把每个 trit 放进 2bit 槽位（2.13 bits/weight，7.21GB）。这不是简单的谁更快，PQ2_0 在 H100、A100、Blackwell 上 decode 更快，prompt 处理全面占优；PTQ1_0 在 Ada 代卡和 L4 这种内存吃紧的地方更快。内存就是硬约束的时候选 PTQ1_0，其余情况按自己的卡挑。

跑起来还有个坑要提前知道：它默认 xhigh 推理强度，会先吐一大段思考过程，所以 -n 给个小值会生成到一半就被掐断，连答案都见不到。官方建议 thinking mode 用 temperature=1.0、top_p=0.95、top_k=20、min_p=0.05。这些采样参数，加上 min_p 这种小细节，官方都写在文档里了，照着配就行。

说句实在话，这类三元压缩最唬人的是「1bit」标签，很多是拿部分权重低比特、关键层还留 FP16 在糊弄。Bonsai 有意思的地方在于它是真·全链路三元，embeddings、attention、MLP、LM head 全在 1.72 bits 里，只有 0.0976% 的线性注意力状态路径留在高精度。敢这么做还能把 math 和 coding 保住，这方向确实值得盯。

不过也得把话说满。它跟原版还是有差距的，差值集中在大类「knowledge & reasoning」和「vision」上，MMLU-Redux、MuSR 这类掉得稍多。而且 PTQ1_0 那个紧凑打包，解 trit 要花算术开销，在 Ampere、Hopper、Blackwell 上反而比 PQ2_0 慢——把体积优势同时转成所有目标上的延迟优势，官方自己都承认还在做。现在是个真实的质量-体积-速度权衡，不是单方面碾压。

我对这类的判断一向是：跑分能刷，但你得看它崩在什么地方、崩得均不均匀。IQ2_XXS 那种靠直觉刷低比特的大多数东西，早该被这类真三元方案打个问号了。5.9GB 一个 27B 推理模型，能让它在你的笔记本上本地跑 agent、还能离线用，这对「隐私敏感就要放本机跑」的场景是真落地，不是 demo 式的表演。