354GB 的 MoE 被压到 66GB，速度还快了 3.4 倍：GSQ+RCO 这一手给量化上了一课

2026年10月5日

每次碰到那种「512 个 expert 的路由 MoE」模型，第一反应都是先看一眼显存账单。这模型光是 BF16 原始权重就有 354GB，本地跑基本不用想。但 ISTA-DASLab（奥地利科学技术学院那个做量化和模型压缩的组）这次放出来的东西，让「能不能塞进单卡」这个问题换了问法——他们把 Qwen3.8-Flash-Next 按每个张量单独分配量化精度，非均匀地压成了 66.4GB 到 83.6GB 的四个 GGUF 档位，最小那档比原模型小了 5.3 倍。

方法论上两套东西叠着用：GSQ 负责把每个张量在给定量化精度下压得尽量准，RCO 负责在总大小预算下给每个张量分配合适的量化类型。跟均匀量化那种「所有权重一个档」不一样，这里的搜索是按张量敏感度给精度，敏感的地方多给几个 bit，不敏感的狠踩。对 Flash-Next 这种 512 个路由 expert、48 层、每 token 激活 10 个的稀疏 MoE 来说，routed expert 的矩阵占了 95% 的可搜索权重，预算基本都花在了那儿。

说几个真正落到地上的数字。Q2_0 这档 66.4GB，是给「快」做的：它特意避开那些依赖大型 lookup table 的量化格式，因为那些格式在同 bit 下更准，但解码耗时在这模型上占比高到拖垮推理。结果就是 Q2_0 的 prompt 吞吐是 IQ2_XS 的 3.4 倍，端到端延迟低 1.9 倍，文件还更小。代价是质量掉一点：task average 89.07 对 89.16，比 IQ3_XXS 低 3.5 分。IQ2_XS 的 decode 速度在类别之间能从 49.4 一直晃到 94.5 t/s，Q2_0 稳在 92.5 到 94.5，这差距就是 lookup 成本和每个请求触达多少层挂钩导致的。

另外一个很实在的点是显存规划。第二个 shard 是那 51.2B 参数的 per-layer n-gram 查表（per_layer_token_embd），固定用 IQ4_NL 压到 4.5 bpw。它本质是 lookup 不是 matmul 权重，所以能 memory-mapped 在磁盘上，不用占 VRAM——跑的时候第一个 shard 驻留显存，第二个 shard 扔 SSD 就行，用 -lm mmap --lazy-mode on 开。这意味着 66.4GB 那档，实际需要 resident 的只有 37.6GB，剩下 28.8GB 吃的是磁盘。加上 0.91GB 的 mmproj 视觉投影，多模态也能跑。

质量上，四个档里最推荐 IQ3_S（83.6GB、3.50 bpw）：AIME25 跟 base 完全对齐（100.00），GPQA-Diamond 还反超到 92.93（base 是 91.92），LiveCodeBench v6 差 0.57，体积只有 BF16 的四分之一不到。想省显存就 IQ3_XXS 或 IQ2_XS。这里得泼盆冷水：三个模型在 zero-shot 平均上都能到 base 的 100.3%–101.4%，看起来「超过原模型」，但作者自己都说了，这个差距落在单标准误范围内，应该读成相等而不是变强，那些 recovery 略超 100% 是基准方差，不是压完反而变聪明。真正能把它们区分开的是 AIME25、GPQA-Diamond、LiveCodeBench 这几个推理和生成任务。

文件都是标准 GGUF，llama.cpp、Ollama、LM Studio 直接跑不用改。第三方引擎 Strata 还被点名说能在单张 NVIDIA 8GB 显存上跑这些 GGUF，本地起 OpenAI 兼容接口。每个发布文件还附带 tensor-allocation/ 里的 RCO 分配记录，哪个张量用了哪档精度一目了然，不用打开模型就能审计是怎么建的，这个细节对想复现的人挺友好。

唯一有点保留的是速度和质量在短 prompt、推理重的类别上并不占优。prefill 优势集中在长 prompt——RAG 9.6x、writing 6.8x、coding 6.2x，但在 stem、math、reasoning 这些短 prompt 场景，Q2_0 反而略落后（prefill 太短，解码成本盖过了收益）。所以「快」是有前提的，压到 2.4 bpw 不可能是无条件白捡。

这类非均匀量化的价值，在于让「模型跑不跑得动」这件事从看总参数变成看张量分配策略。512 个 expert 的 MoE 能压进单卡 66GB——虽然第二个 shard 还是要吃盘子——这件事本身，比某一个 benchmark 数字更值得记住。模型卡上标注的架构是 qwen4exp，base 是 Qwen/Qwen3.8-Flash-Next，下载量显示上月近 189 万次，看起来已经有不少人在试了。

相关链接