别再堆排行榜了,有人在用一个「不会思考」的模型当路由
最近 Hugging Face 上冒出一个不太一样的开源模型:AutoTrust AI 的 autotrust/JEV-35B。它被刻意做成一个「只做决定、不聊天」的东西——没有 chat,没有长文本生成,没有 thinking。你给它一段状态和一个问题,它从 2 到 256 个选项里挑一个,附上概率,大约 204 毫秒(在单张 B200 上)给结果。官方博客的标题起得很直白:用「一个决定模型」替代「一支排行榜团队」。
这套思路叫 System 1:每个排序都是一次校准过的单次决定,不做多轮推理。它做路由、做打标、做检索重排、做客服分流,但永远不"想"。作者的定位是决策模型(decision model),不是聊天模型。
它到底改变了什么工作方式
最实际的场景是这种:客服来信「我的卡被重复扣了两次」,你喂给它几个选项 billing / shipping / technical support / account security,POST /v1/decide 直接返回选哪边。它靠一个 264 槽的决策头,在最后一个 token 的隐藏状态上读出 logit,再软最大出概率。整个流程不用排名团队反复审,一个请求就是一次决定。
这解决的是真实痛点:很多线上系统把「排序」做成多步管线,召回到重排再到人工复核,延迟高、人员贵。JEV-35B 把这一步压进半秒级的单次决策里。它有个 live demo(news.guru.so),把几个新闻源的标题按重要性排序,或者把 Google/Bing/Yahoo 的结果重新按相关性排,跟搜索引擎自己的顺序并排给你看,还带一个带引用的短答案。
开源、协议、以及那张 25.6GB 的表
两个细节值得留意。其一是协议和架构:纯 Apache-2.0,且是 Qwen3.5-35B-A3B 的微调——35B 总参数、每 token 约 3B 激活。另一个是它特意给的那张「跑得起」的表:bf16 版本下载 72GB、权重占 66.5 GiB,得用 80GB 以上的卡;NVFP4 版本(autotrust/JEV-35B-NVFP4)只下载 25.6GB、占 23.3 GiB 显存,单张 32-48GB 的卡就能跑,serve.sh 和 API 完全一样。所以对小团队来说,真实门槛是那张 32GB 卡,不是 80GB 的服务器。
性能上,它在 Decision Index 0.3 公开测试集的自测是 59.73,对比自家上一代 JEV-27B-VL 的 53.64;五个技能域全领先,37 个 benchmark 里赢 24 个。NVFP4 版本公开分 59.18(bf16 是 59.73),96.6% 的答案和 bf16 完全一致,延迟不变。注意这是它自己的打分,不是排行榜正式收录——正式分还计入只有维护者能跑的 80% 私有测试。
别被广告词带跑的部分
这个模型有明显边界,卡片自己写得很清楚。它不能 chat、不能生成文本、没有 thinking——这就是个「单次判断器」,别拿它当对话模型用。它最弱的是 Knowledge & Reasoning:GPQA 才 0.360、MMLU-Pro 0.642、HLE 直接低于基线。上一代 JEV-27B-VL 在 GSM8K、ANLI、BBH 上反而更强。它偏英文,零样本做图像判断,官方也提醒高风险决策要配置信度闸门。
还有个容易踩的坑:它玩不了长程游戏。2048 最大 tile 平均只有 64(随机乱玩是 102),Flappy Bird 过不了管子,Snake 平均吃 10 个果子。卡片最后一句写得挺实在:「玩游戏用 JEV-27B-VL。」意思是,这个模型的强项在工具的即时调用判断、检索分类这类地方,别指望它有规划能力。
和 TypeSafe 的分界线
卡片里专门有一段强调:TypeSafe AI 的 TypeSafe Jev 1.13 是托管的闭源模型,而 autotrust/JEV-35B 是 AutoTrust AI 独立做的开源权重模型,两者没有从属关系。这张卡把「开权重」和「闭源托管」放在同一份评测里做对比,本身就是在表态。
我的判断:如果你们团队的瓶颈是「路由、打标、检索重排这类重复性子决策」,这个模型值得跑一次 demo——单卡就能起,serve.sh 直接起 vLLM,接口是标准的 OpenAI 服务器加一条 /v1/decide 路由。但如果你打算拿它当聊天助手,或者让它自己写代码、做长任务规划,那就别抱期望。它用「不做多步推理」换来的,是半秒内一次、校准过的决定。这笔账到底划不划算,取决于你的场景能不能接受一个永远不"多想一步"的同事。
相关链接:
- 模型卡:https://huggingface.co/autotrust/JEV-35B
- NVFP4 版本:https://huggingface.co/autotrust/JEV-35B-NVFP4
- 官方博客:https://huggingface.co/blog/autotrust/one-decision-model-instead-of-a-ranking-team-short
- 基座模型:https://huggingface.co/Qwen/Qwen3.5-35B-A3B
- 实时 demo:https://news.guru.so/ui