Cloudflare 开源 Clef-Flash:9B 模型只做决策、不生成文本,这是把 AI 从「聊天」拉回「判断」
Cloudflare 又往开源堆里扔了个东西,叫 Clef-Flash,一个 9B 多模态模型。这次跟平时见到的模型不太一样——它不是拿来聊天的,输出压根没有自由文本生成,只有概率:输入一个状态和一张带类型问题的 schema,它一次性对所有问题、所有允许选项输出一个概率,全程没有 output parsing 这回事。
我盯着这个设计看了一会儿。市面上多数模型都在拼命卷「生成更长的文本、更像人的对话」,Cloudflare 这条路完全相反——它把模型收敛成一个「决策器」:读文本、JSON、图片、视频都行,然后把决策动作直接映射成概率。你要做的是拿到 logits,按问题做一次 softmax,完事。API 兼容 Jev 和 SystemOne 的 POST /v1/systemone,返回 answers 按问题 ID 键控,带 choice、confidence、probabilities。对开发者来说最大的好处,是你不需要写提示词去约束输出格式,也不需要事后解析一大团自由文本去猜它到底想干什么。
先说技术底座。Clef-Flash 是在 Qwen/Qwen3.5-9B 上 post-train 出来的,带视觉编码器,参数 9B,Apache-2.0 协议,BF16。核心加了一个叫「joint schema head」的小 transformer head,它读后验的 hidden states,把状态里的证据路由到每个问题,然后联合打分所有问题的所有选项。一个 forward pass 把所有问题跑完,所以单次推理的 p95 延迟只有 122.4ms,中位数 38.8ms。对比它那个更大的兄弟 Clef,中位延迟 209ms、p95 238ms,Flash 这个速度优势挺明显的,明显是冲着高频决策场景去的。
这里有个取舍。Clef-Flash 在纯精度上并不总是赢家:MMLU 上它 91.8 比 Clef 的 90.3 略高,但 GPQA Diamond 只有 51.0,而 Jev 能到 78.3;CLINC150+OOS 只有 66.8,被 Clef 的 97.4 拉开一大截。它的强项集中在「决策类」任务上:Home appliance simulator 97.7、CLadder 97.7、WinoGrande 97.5、MuSR 86.0,都是结构化判断类。官方的 Decision Index 上,它的 Home appliance simulator 从 83.0 拉到 97.7,Humicroedit 到 75.1,这些明显是冲着真实 agent 场景里的「要不要动、怎么动」这种决策去的。
真正让我有反应的是它处理「工作流」的方式。材料里跑了四个端到端业务流程的评估,比如发票处理、客服、安全事件、agent trace 可观测性。这意味着它不只是个 benchmark 玩具,而是被设计成能嵌进实际业务决策链路里的。对开发者来说,这大概意味着:你不用再写一套「让模型输出 JSON → 写一堆 parsing 逻辑 → 校验字段 → 重试」,而是直接拿概率去做路由和分支判断。比如一个客服工单进来,问它是计费问题还是技术故障、紧急度几分、服务是不是挂了,一次推理全给你。
从使用门槛看,它确实不难接。snapshot_download 拉下来,把仓库加进 sys.path,load_release_model 加载,encode_record 编码,collate_records 打包,model(batch) 拿 logits。文本和图片视频可以混在一个 batch 里。在单张 H200 上,torch 2.11、transformers 5.10.2 就能跑。对想要低延迟决策又不想上更大模型的团队,这是个很实的选项。
不过我得说几句保留。这个「只输出概率、不生成文本」的设计,换来的是它的能力边界很清晰:它是决策器,不是通用对话模型。你别指望它帮你写邮件、解释概念、做创作,那些它一概不干。它在 GPQA、CLINC、HoVer 这些偏知识推理的任务上被同门甚至被 Jev 甩开,说明它的强项集中在「给定结构化状态做结构化判断」这个窄通道里。另外,RAGTruth 的 hallucination F1 只有 35.6,远低于 Clef 的 79.4,这个点如果你想把它用在需要低幻觉的决策上,得先掂量。
Cloudflare 这个动作值得留意的地方在于:它把「AI 判断」和「AI 生成」明确拆开了。当大家还在卷长文本、卷 Agent 能不能演得像人时,它直接说——判断归判断,文本归文本。决策走概率通道,又快又稳;真要生成自然语言,那是另外的模型的事。这个分工思路,对做 agent 路由、工单分流、安全事件分级这类场景的团队,可能是比「更大模型」更实在的解法。
官方给的 benchmark 都是它自己跑的内部结果,看看就好,别当权威。真实接入之前,用自己的数据在自己的延迟预算下实测一遍,比信任何排行榜都靠谱。
相关链接:
- Clef decision models on the Cloudflare blog
- Decision Index leaderboard
- Clef-Flash on Hugging Face