JEV-27B-VL 发布:一个「只做决定」的模型,学会了看图片
如果你关注过 AutoTrust 的 JEV 系列,大概知道它干的事有点特别:不追求「思考得有多深」,而是把「做决定」这件事单独抽出来——面对几个选项,一次前向传播就给你每个选项的概率,还带校准。上周它又往前迈了一步:这个只会写字的决定模型,现在能看图片了。
JEV-27B-VL 就是在原来的 JEV-27B 外面套了视觉能力。底层背的还是一个未改动的 Qwen3.8-27B(也就是它的 System 2,可以选要不要逐步思考),而负责「快速拍板」的 System 1 单独走自己的路:POST /v1/decide,传进来一段文字或一张图,加上一个问题,它就把所有选项的概率一次返给你,不用反复追问。
看图片做决定,是这件事真正的卖点
先说个数字背后的道理。模型卡里有一段很诚实的话:System 1 的决策头是纯文本训练的,所以它对图片的决定完全是 zero-shot——零训练、直接上手。可偏偏这些零样本判断在几个任务上表现得很能打。
最亮眼的例子是零样本短视频推荐。它不看任何用户交互日志、不需要 item embedding、更不用训练,只把用户最近看过的 5 个视频封面加一个新候选封面丢进去,一次前向就返回「这个用户会不会看」。在 MicroLens-100k 这个带原始封面的公开数据集上,只靠封面做 200 个用户的离线评测,AUC 达到 0.727,和用了 59,045 个用户观看史的协同过滤(0.728)几乎打平,而 top-5 命中率还更高(59% vs 49%)。换句话说,一个新视频刚上传、还没任何人看过,它就能靠封面图给出和沉淀了大量用户行为数据的推荐系统差不多的排序。冷启动问题就这么被绕过去了。
类似的还有 Agent judge 和 multimodal judge。在 VL-RewardBench 上,给一张图、一个问题、两个答案,让它判断哪个更好,整体准确率 78.3%,压过了官方排行榜上全部 26 个模型(GPT-4o 是 65.8%,Claude 3.5 Sonnet 只有 55.3%)。在 Plan-RewardBench(ACL 2026)上它 73.2% 的准确率站到了论文表格第一,排它后面的是 Qwen-Plus 70.0、DeepSeek-V3.2 69.6、GPT-5 68.5。
一次决定,不是一次「思考」
我特别想强调的一点是,这些都不是让模型「想一遍再回答」,而是单个 forward pass 直接读出所有选项的概率。模型卡里给了一个机械臂的 demo:每走一步,System 1 看一眼顶部摄像头画面,回答两个问题——目标在夹爪左边还是右边、上方还是下方,然后动;一旦答案翻转就减半步。20 个随机场景完成了 75%,每次夹到都能放进托盘(15/15),没夹到的都是偏了 3.0-3.7 厘米,单次决策约 240 毫秒。电脑使用场景也类似:截图进来,每个可点击元素标上编号框,它挑下一个该点的,0.26 秒左右一次点击,60 个多步骤任务完成了 95%。
这里有一个很反直觉的地方值得琢磨。作者明确警告:别指望 System 1 一步到位的直接选动作。问它「从 8 个电机指令里挑一个」,10 个场景 0 个完成;但拆成「左还是右、上还是下」这种最细的是/否问题,它就能跑起来。也就是说,这个模型擅长的是把决策拆到足够细碎,然后对每一小步给出带校准的概率,而不是自己一口气规划完整个任务。这也是为什么他们强调用它做 control loop,而不是让它当全能指挥。
使用上的几个坑
上手门槛不高,但有几个地方得注意。第一,--max-num-seqs 8 是硬性要求——batch 超过 8 条序列时,这个多模态模型的 vLLM LoRA 路径会返回错的概率(纯文本的 JEV-27B 不受影响);卡在 8 以内,任何并行度结果都跟 JEV-27B 一致,多出来的请求只是排队。第二,context 长度:背骨原生支持 262144 token(256K),但完整开满得用 183GB 的 B200,80GB 卡建议从 --max-model-len 131072 起步,因为 KV cache 每 token 约 65KB,全量 256K 提示词除了 52GB 权重还要吃掉约 17GB。第三,如果你不用 serve_decide.py、直接调 /v1/chat/completions 自己做 System 1,必须手动传 top_k: 0 和 top_p: 1.0,否则模型默认的 top_k=20 / top_p=0.95 会把返回的低概率选项直接清零。
写 prompt 也有点讲究。作者测出来唯一明显有用的改动是:给相近的选项各补一行「use when」描述——BANKING77 加了 4.8 个点,CLINC150 全 150 个意图加 4.3 个点。而问题措辞、JSON 还是纯文本、额外指令,全都在 ±1.5 个点的采样噪声内,基本没用。想调的时候,把力气花在给选项写清楚区分条件,而不是反复改措辞。
得踩刹车的地方
不过我也留意到模型卡自己划了不少边界。它承认决策头是文本训练的,图片上的决定是 zero-shot,虽然实验里排序很好,但图像任务上的校准「还没有被系统地测量过」。短视频推荐只是在一个数据集、200 个用户上的离线评测,而且只从封面排序。超过 16 个选项时用的是决策头从没见过的标签(Q-Z 和 AA、AB 这种双字母标记),准确率没掉,但校准只在一个数据集上验证过。长上下文测试也是纯文字的单事实判断,长文档夹图片加推理还没测。这些限制都写在卡里了,看的时候得把它们算进去。
Apache-2.0 协议,权重里是原封不动的 Qwen3.8-27B 再加 JEV 的 adapter 和决策头。最近一个月下载量超过 127 万次。如果你手头有「面对有限选项、反复做快速判断」的控制类或打分类需求——无论是判 agent 有没有完成任务、给推荐排序、还是拆成是/否问题的机械控制——这个「只给概率不做长篇推理」的思路,值得跑一把 80GB 卡试试。
相关链接