FLUX 3 Image Klein 开源了:一个 5.6B 模型同时干三件活,还带「画框定位」
Black Forest Labs 把 FLUX 3 的第一个小号开源了,型号叫 Klein,一个 5.6B 参数的开源权重模型,专做文生图和图像编辑。这次它没走「大而全」的路子,反而把三件事揉进同一个模型里:文生图、单参考图编辑、多参考图组合,全部走同一套前向,文本编码器用的是 Qwen3-VL-4B-Instruct。5.6B 这个数字只算图像 transformer,文本编码器另算。
最让我有反应的倒不是参数变小,而是模型背后那个「画框定位」的能力。它支持在 prompt 里直接写 bounding box,在 0 到 1000 的网格上指定元素的位置,再用文字去改颜色、挪位置、替换甚至删掉。关键在于它不像传统 layout 那样把像素锁死在框里——框只约束位置和尺度,元素可以从框里溢出去。这跟以前那种「画个框就给你贴上去」的体验不是一回事,更像是在跟模型商量构图,而不是下死命令。
另一个值得琢磨的细节,是官方在 README 里反复强调:不要不带 prompt upsampler 就用这个模型。FLUX 3 Image Klein 吃的是完整的场景 caption,你随手打一句「make it blue」这种短指令,出来的就是泛泛的通用图。官方配了个配套的 upsampler(flux-3-image-klein-pup,约 18.8GB),把短请求连同参考图扩写成一整段场景描述。用 Diffusers 时它不会自动跑,得你自己先跑 upsampler,把输出当 prompt 塞给主模型。也可以换任意一个 LLM,只要给它 system_prompts.json 里的那句系统提示词,让它把请求扩写成完整 caption 就行。
这个设计像是在倒逼使用习惯。以前我们习惯「prompt 越长越乱越难控」,现在反过来,你得先把一句话变成一段完整的画面描述,模型才肯认真干活。我第一反应是「这不麻烦吗」,转念一想,这正是它可控性的一部分——caption 负责构图,参考图负责锚定内容,两者分工,比把一切都塞进一句 prompt 干净得多。
跑起来的花费也不算离谱。用官方参考代码在 B200、1024×1024 下,不带上采样器,BF16 峰值显存 31GB,FP8 是 26GB,NVFP4 是 25GB。80GB 显存往上的卡,加上 upsample 大约要多占 28GB。对自托管来说,这个门槛已经可以认真考虑了,尤其是 FP8 和 NVFP4 两个量化变体,省下来的显存肉眼可见。要注意,变体文件大小不等于实际总显存占用,而且量化包需要支持对应格式的 loader,别只看下载体积冲动下单。
版本上它给了两条线。Klein 是蒸馏过的 checkpoint,16 步、无 guidance,面向生成、编辑和自托管,也是 BFL API 背后实际跑的那个;Klein Base 是未蒸馏版,bfloat16、50 步、guidance 3.5,留给微调、LoRA 训练和研究用。想上手直接用,拿 Klein;想改出自己风格的模型,拿 Base 去训。仓库里的下载脚本默认只拉 BF16 蒸馏主包加文本编码器和图像自编码器,量化变体要单独指定。
许可证这块得看清楚,别被「开源」俩字带跑。它用的是 FLUX Kommunity License v1.0,非商业使用允许,符合条件(含关联主体在内年度总收入低于 500 万美元)的「合格用户」可以做商业输出,但这不意味着可以随便拿去做商业微调或分发。军事用途、监控、生物识别、生成 CSAM 或非自愿私密影像这类用途被明确排除,License 第 4 节写得清清楚楚。Qwen3-VL-4B-Instruct 那个文本编码器单独是 Apache-2.0。要是营收超过那条线,或者想正规商用,得走 bfl.ai/licensing 的商业授权,不是说你买张卡就能开卖。
坦白说,这个模型最戳我的点是「unified」这个定位。以前文生图、单图编辑、多图合成在工作流里往往要接三套不同的东西,现在一套权重全包了,编辑和组合还能复用同一套 caption 和 box 的逻辑。对做产品、做 Agent 内容流水线的人来说,管线能省下不少对接成本。它也有明确短板:不擅长也不打算提供事实性信息,图里的文字渲染可能歪,box 只是约束不是硬遮罩,框太小或者要的元素太细可能不出现。这些官方都写在 Limitations 里了,没藏着掖着。
模型在 Hugging Face 上要登录并同意条款才能下,过去一个月下载量 3,241。仓库里有 BF16 主包和 FP8、NVFP4 变体,还有配套的 upsampler、GitHub 参考代码、diffusers 的 ModularPipeline 用法示例。想先看看效果,官方也放了 gallery 和 teaser。
一句话收个尾:这是一个「把编辑和组合真正揉进同一个模型」的开源权重来了,代价是你得先学会喂它一段完整的场景描述。至于它到底能不能在真实工作流里扛住,光看模型卡还说不死——得自己上手跑一轮流水线才知道。
相关链接
- 模型仓库:https://huggingface.co/black-forest-labs/flux-3-image-klein
- 参考推理代码:https://github.com/black-forest-labs/flux-3-image-klein
- Prompt upsampler:https://huggingface.co/black-forest-labs/flux-3-image-klein-pup
- Bounding box 格式文档:https://docs.bfl.ai/flux_3/flux3_image_bounding_boxes
- 负责任的 AI 开发说明:https://bfl.ai/blog/capable-open-and-safe-combating-ai-misuse