27B 无审查推理模型，压缩到 15.7 GB 塞进 24GB 显卡｜OrcaSAQ2 发布速评
OrcaRouter 把 27B 无审查模型压进了 24GB 显卡
OrcaRouter 昨天在 Hugging Face 上挂了个有意思的东西：OrcaSAQ2 27B Cyber Uncensored 的 GGUF。核心就一句话——把 Qwen3.8-27B 的无审查版从 54.7 GB 的 BF16 checkpoint 压到 15.7 GB，还能在 24GB 显卡上全量加载跑起来。模型仓库 8,412 的月下载量，关注这事的也不算少。
先看数字能不能兑现「压缩」这事。存储从 54.7 GB 到 15.7 GB，小了 71.3%，差不多 3.5 倍。代价是 perplexity 从 5.6532 涨到 5.6961，增量只有 +0.80%；token 级别 Top-1 一致率 94.4%，mean KLD 0.020。这些数本身不算夸张，压缩率这么高还能把困惑度控制在一个点以内，属于那种「看着像宣传、细看又确实测出来了」的成绩单。不过有个前提得记着：这些指标全是对着同一个评估路径、用这套特定权重和 BF16 参考模型比的，不是你随便拿个跑分就能复现。
真正值得展开的不是文件大小，而是它怎么把性能填进显存预算。官方实测：24GB 卡全量 offload 占 14.9 GB，单流贪婪解码 20.5 tok/s；加上 DFlash2 投机解码的 drafter 之后显存 18.1 GB，decode 提到 27.6 tok/s，差不多 +35%。24GB 卡上这套配置还能剩出约 5.9 GB 给 context 和 batching，官方建议的起步点是约 32K 交互上下文。甚至 16GB 卡不带 drafter 也能全量 offload，维持在 20.5 tok/s。对没有高端集群、手头就一张消费卡的人来说，这句比任何 benchmark 都有分量：54.7 GB 原来根本塞不进的 checkpoint，现在能本地跑了。
量化方法那块是 OrcaRouter 的「敏感度感知混合精度量化」专有系统，但官方自己也写得直白——具体校准策略、精度分配和打包技术目前不公开。你看到的是结果，不是过程。这个「只给结果、不给 recipe」的姿态，配上整页 GitHub 开源、Apache-2.0 授权、还有 OrcaCode Review / OrcaReplay / OrcaRouter Lite 这些配套项目，倒是挺典型的「开源模型 + 闭源方法」打法。至于 DFlash2 drafter，公开版本 z-lab 有 Q8_0 的 2.06GB drafter 可用，llama.cpp 直接 --spec-draft-model 挂上去，贪心解码是 lossless 的，输出和未带 drafter 时完全一致。
但得提醒一句：模型名字里明晃晃写着「Uncensored」。它从一个被 abliterated（移除拒绝方向）的 checkpoint 派生出来，官方自己的 limitations 部分写得毫不含糊——它没有有意义的拒绝行为，安全护栏、过滤、策略执行全部是部署方的责任，默认就是给 research、red-teaming 和自带安全栈的部署用的。这不只是合规免责，是真实能力边界：一个会尝试回答普通 safety-tuned 模型会拒绝的请求的模型，你对它「能干什么」的预期得按这个来。
其它限制也摆得很清楚。量化不是数学上无损的，94.4% Top-1 一致率意味着一部分 token 决策和 BF16 不同，+0.80% PPL 是模型保真度度量、不保证下游任务表现一致。纯文本，没有视觉塔；最大架构上下文 262K 不等于每张卡都能塞下完整上下文。这些不是藏起来的短板，是写在卡片上的诚实。
总体判断：这是一个「把能力压进显存包络」的思路，量化本身目标单一——在实用显存里尽量多保留有用的模型行为。对本地部署、coding assistant、terminal agent、tool-heavy 应用这类低并发交互场景，这套 27B + DFlash2 的搭配确实卡在了不少人的硬件能力边界上。真要拿去跑生产，官方采样建议 temperature 1.0 / top_p 0.95 / top_k 20，thinking 默认开，但 agent 部署前最好拿真实 tool schema、context 分布和推理预算重新 benchmark，别直接信一页纸。
至于这个「proprietary 方法 + 开源权重」的组合能给社区带来多少，得等它把精确量化方法真正放出来那天才知道。现在能确定的是：又一个原本够不着的 27B 推理模型，被塞进了 24GB 甚至 16GB 的本地机器里。
相关链接
- 模型仓库：https://huggingface.co/orcarouter/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF
- 基座模型：https://huggingface.co/Qwen/Qwen3.8-27B
- 无审查基座：https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored
- DFlash2 drafter：https://huggingface.co/z-lab/Qwen3.8-27B-DFlash2-GGUF
- Qwen3.8 技术博客：https://qwen.ai/blog?id=qwen3.8