Iris-3B：别再绕 VAE 了，这次模型直接画每一个像素
模型发布这事现在有点像选秀，各家都在卷参数量、卷生成速度、卷谁家 latent space 更「高效」。可 speridlabs 昨天丢出来的这个 Iris-3B 走了一条有点别扭、但我看着挺对胃口的路线：它干脆不要 latent space，让网络自己把每个像素直接吐出来。3B 参数，一个扩散 Transformer，没有 VAE，没有那个把图先压成「编码再解码」的中间层，你输入一句 prompt，它直接给你 1024×1024 的图。
这个选择不是噱头。大多数图像生成器都活在压缩过的 latent 空间里，靠一个单独的 decoder 把潜在表示变回图片，问题在于这一步是有损的，latent 还总是偏向纹理信息，细节容易在那一次压缩里丢干净。Iris-3B 把这一步整个跳过，论文里写得很直白，他们就是想用像素空间的生成先验，去替代 DINOv2 那类视觉基础模型。不是又多了一个文生图，而是把一个生成模型的骨架，同时当成通用视觉学习者来用。
更值得看的是它 fine-tune 之后的另一面。同一个 backbone，不做任何架构改动，直接微调就能干稠密视觉任务——单目深度估计、图像修复、超分。跑深度就是 python scripts/depth.py photo.jpg，超分就是 python scripts/upscale.py photo.jpg，一次前向，空 prompt，连 text encoder 都不用。深度那块是零样本测的，NYUv2、KITTI、ETH3D、ScanNet、DIODE 一堆数据集平均下来 AbsRel 0.071、δ1 0.946，超分在 DIV2K 上 4× 是 LPIPS 0.292、PSNR 20.68。数据摆在这，但得说清楚，深度是仿射不变的相对深度，不是度量深度，直接拿去跟 ground truth 比的话得先拟合尺度和偏移。
重量级的其实是配套的 Iris-3B Turbo。这是把 Iris-3B 蒸馏成 4 步的版本——全 3B 参数全量微调出来的，不是 LoRA，classifier-free guidance 直接烤进权重里，每一步就是一次前向。一张 1024×1024 的图在一张 H100 上大约 0.7 秒（batch 4）。Turbo 在 prompt 跟从性上还比基础版略好一点（GenEval 0.820 对 0.798，DPG-Bench 86.68 对 86.52），代价是长文本渲染和多样性上退一点，OneIG-Bench 那边差距主要在 text 和 diversity 上。
有个细节挺有意思：第一个「几步出图」的 Iris 其实是社区先做出来的。pentacoxian-dev 用 DMD2 蒸馏搞了个 rank-64 的 LoRA 插件，只有 460MB，单张消费级 GPU 就能训，比一个 6GB 的全量 checkpoint 轻太多。官方在模型卡里专门写了一行谢谢，说「很高兴看到 Iris 这么快被社区接住」。这种官方反过来感谢社区、然后自己掏出一个全量蒸馏版的姿态，在 HF 上不算常见，味道是对的。
谈落地就得说点实际的。下载权重，文生图这块大概 12GB，depth 和 upscaler 各自加 12GB，turbo 约 6GB。安装是标准的 pip install -e .，Python 3.11+、PyTorch 2.7.1+，得有一块 NVIDIA GPU。跑起来几个参数记住就行：--cfg-scale 默认 3，越高越贴 prompt 但越生硬；--steps 默认 100，想快就调少，代价是细节。Turbo 的采样 schedule 是写死在 turbo/distill.yaml 里的，那四个 σ 值就是模型的一部分，所以 --steps、--cfg-scale 和 --negative-prompt 在 Turbo 上都不起作用。
许可给得大方，整个权重走 Apache 2.0；text encoder（Qwen3-VL-4B-Instruct）是冻结的，第一次跑会自动下载。上个月 889 次下载，不算爆，但我猜这东西在开发者圈子里会慢慢热起来——我不觉得它靠跑分碾压谁，真正值得盯的是「像素空间做通用视觉先验」这个方向本身。局限也明摆着：图里渲染长文本和精确数物体数量不总是靠谱，Turbo 画扁平矢量背景偶尔会出细颗粒噪点，还有生成约 1MP，要更大尺寸得自己再过一道 upscaler。
论文挂了 arXiv（2610.09450），从 256 一路训到 512 再到 1024，最后在 1024 上做 SFT，总共 665K 步。想试的可以直接去 GPU space 里点 Turbo demo，或拉仓库自己跑。至于「没有 latent 到底是不是真的更值得」，我还没完全被说服，但至少这一版让我愿意把 demo 多开几次，看看细节到底丢没丢。
相关链接