ECCV 2026 新作 ICRDrag：基于上下文学习的区域拖拽模型，能否重塑图像编辑范式？
核心事件
上海交通大学牛力实验室发表了名为 ICRDrag（In-Context Region-based Drag） 的研究工作，该成果已被 ECCV 2026 接收。研究团队已开源论文、代码及在线 Demo，为图像区域拖拽编辑提供了新的技术路径。
- 论文地址：https://arxiv.org/pdf/2606.25907
- 项目地址：https://github.com/bcmi/ICRDrag-Region-Drag-Editing
- 在线 Demo：https://drag.ustcnewly.com/
背景：为什么选择"区域拖拽"？
图像拖拽编辑最早由 DragGAN 带火，但业界此前几乎全采用"点对拖拽"方式——用户需手动标注起点和终点。这种方式控制信息过于稀疏，精准对齐往往需要反复尝试。
相比之下，"区域拖拽"通过标注源区域和目标区域的掩码，提供更密集的几何约束。然而，传统方法在引入掩码后极易产生视觉断层，面对复杂变形时也容易走样。
牛力实验室表示，学术界和工业界应形成互补：学术界负责验证可行性并做出原型，工业界则在此基础上扩展数据和模型规模。团队此次仅使用了 28.7 万对训练图片，若后续有工业界合作，可扩展至 280 万甚至 2800 万规模。
技术解密：五大核心突破
1. 基于 DiT 的上下文学习框架
ICRDrag 基于 DiT（Diffusion Transformer） 架构，将原图、源区域掩码和目标区域掩码一次性输入模型，直接一步输出编辑后的图像，避免了繁琐的中间步骤。
2. IMAC：图像与掩码的注意力一致性
生成新图像时，模型严格约束注意力分布，使图像特征与掩码轮廓对齐，确保生成内容不会溢出或脱离用户划定的空间边界。
3. STAC：源图与目标图的双向注意力
- 目标物体"看向"原图对应区域
- 原图区域"反向关注"目标物体
这种双向关联确保物体在形变、移动后保持身份一致性。
4. 图像与掩码的专属 LoRA
图像分支侧重纹理细节，掩码分支侧重空间轮廓。ICRDrag 为两者定制了独立的 LoRA，避免特征污染。
5. 分阶段课程式训练
- 第一阶段：使用规范、完整的语义掩码进行教学
- 第二阶段：引入随机膨胀的"稀疏不完整掩码"，模拟用户真实手绘的粗糙选区
这一设计使模型能够容忍用户随手绘制的不精确掩码。
数据集贡献：PRD 与 PRDBench
研究团队基于百万级视频数据集 OpenVid，构建了首个大规模区域拖拽数据集：
| 数据集 | 规模 | 说明 |
|---|---|---|
| PRD（Paired Region Dataset） | 28.7 万组配对样本 | 包含原图 + 源掩码 + 目标图 + 目标掩码 |
| PRDBench | 1,000 组样本 | 人工校验，标注掩码与关键点，用于公平对比点拖拽和区域拖拽模型 |
性能与限制
- 最大支持：同时画出 5 对不同的源区域和目标区域
- 锚点锁定：可在不需变动的区域设置锚点，防止无关部分走样
- 推理速度：在 A6000 显卡上，生成一张图约需 35 秒
团队表示，速度优化是后续重点，计划探索轻量化架构、稀疏注意力、跨步采样 LoRA 以及模型量化和剪枝等手段。
访谈要点摘要
Q1：为何放弃点对拖拽转向区域拖拽？
基于 DiT 架构的上下文学习使许多在传统 UNet 架构下不可行的任务变得可行。
Q2：高校实验室如何应对大厂算力优势？
寻找大模型尚未解决的痛点。当前生成模型虽强大，但在精细区域拖拽上仍存在问题。
Q3：2D 模型为何表现出"3D 意识"？
数据集使用了大量视频数据，视频天然包含姿态调整和视角转换的连续帧信息，模型由此学到了 3D 变化效果。
Q4：未来拓展方向？
一是统一点对拖拽和区域拖拽；二是精准隔离因果关系，做到"该变的地方变，不该变的地方不变"。
总结
ICRDrag 的核心价值在于：
- 技术路线创新：首次提出基于上下文学习的区域拖拽模型
- 数据集填补空白：PRD 和 PRDBench 为该领域提供了标准化资源
- 开源开放：论文、代码和 Demo 均已公开，降低了使用门槛
对于 AI 从业者和开发者而言，ICRDrag 展示了 DiT 架构在精细化图像编辑中的潜力；对于创业者和产品团队而言，该技术的开源意味着区域拖拽编辑功能可以更快集成到实际产品中。
下一步的关键变量在于：推理速度能否满足实用需求，以及工业界是否愿意投入更大规模的训练数据推动泛化能力进一步提升。