生成模型基础 Generative Model Foundations —
扩散模型与流匹配模型是当前图像生成与编辑的共同底座。这一部分包含从 DDPM、DDIM 到 Latent Diffusion 与 Rectified Flow 的方法演进，也包含 CLIP、LoRA 这类几乎无处不在的表示学习与参数高效微调工具。建议优先吃透「前向加噪—反向去噪」的统一视角，以及潜空间建模带来的算力红利。
- 正在载入…
这里把收录的论文按研究方向重新组织了一遍，每个方向下面写了一段简要的脉络说明， 并给出该方向最值得先读的几篇工作。默认只展示前 6 篇，点击“展开全部”可以看到该主题下的完整条目。
扩散模型与流匹配模型是当前图像生成与编辑的共同底座。这一部分包含从 DDPM、DDIM 到 Latent Diffusion 与 Rectified Flow 的方法演进，也包含 CLIP、LoRA 这类几乎无处不在的表示学习与参数高效微调工具。建议优先吃透「前向加噪—反向去噪」的统一视角，以及潜空间建模带来的算力红利。
图像修复要解决的问题很直观：给定一张图和一块缺失区域，把缺失的部分合理地补回来。但从 Context Encoders 到 LaMa，再到扩散式重绘，核心矛盾始终是「合理性」与「多样性」的权衡，以及如何让网络在大面积缺失下仍然保持全局结构一致。结构引导（边缘、线稿、分割图）与频域建模是两条被反复验证有效的思路。
这一方向把编辑的控制信号从掩码和参考图换成了自然语言。技术线大致分三支：通过操纵交叉注意力实现免训练编辑（Prompt-to-Prompt、MasaCtrl）；通过改进反演精度减少重建误差（Null-text Inversion、PnP Inversion）；构造指令—图像对直接训练编辑模型（InstructPix2Pix、MagicBrush、HQ-Edit）。共同难点是「改得动」与「改完不像原图」之间的平衡。
这一方向把大模型的推理能力引入视觉生成与编辑。典型做法是先让多模态模型输出显式的思考过程（Chain-of-Thought），再据此生成或修改图像；也有工作用强化学习（RLHF / GRPO / DPO 变体）激励模型自我反思与迭代修正。核心问题是：推理链是否真的提升了生成质量，以及如何评测「想得对不对」而不只是「画得像不像」。
当编辑对象是某个具体的人、宠物或产品时，仅仅「生成得好看」是不够的，还必须保持身份一致。Textual Inversion、DreamBooth 确立了「用少量参考图定制生成模型」的范式；IP-Adapter、PhotoMaker、InstantID、PuLID 则把这条路推进到免微调或少样本推理。核心矛盾是可编辑性与身份保真度的此消彼长。
扩散模型默认只优化去噪重建损失，并不直接关心人觉得好不好看、像不像提示词。对齐这一支的思路是引入偏好信号：既可以把奖励模型当作可微模块直接回传梯度，也可以借用语言模型领域的 DPO，把偏好优化改写成不依赖显式奖励模型的成对目标。实践中公认的坑是奖励过优化——一味拉高奖励分数反而导致画质退化与多样性坍缩。
生成任务里「什么算好」本身就是难题。FID、LPIPS 这类分布与感知指标各有明显缺陷，于是出现两条改进路线：一是把评价拆成可解释的子问题（TIFA 用问答检验文本一致性、VIEScore 给出可解释打分）；二是让多模态大模型充当裁判（VLM-as-a-Judge），并校准它的位置偏见与打分尺度。这一组关注的是「怎么打分」。
这一组是「拿什么测」。既有为指令编辑构建的高质量数据集（MagicBrush、HQ-Edit、UltraEdit、ImgEdit），也有成体系的评测基准（EditBench、I2EBench、GEdit-Bench、InEdit-Bench、WorldEdit）。它们定义了任务边界、指令分布与评分协议，是横向比较不同方法的前提。注意区分「提出基准」与「提出方法」——同一条目可能两者兼有。
编辑与修复都需要「改哪里」的先验，这正是视觉基础模型提供的能力。SAM 与 SAM 2 把可提示分割变成了通用接口，Grounding DINO、OpenWorldSAM 进一步支持用语言描述目标，DINOv2 与 CLIP 则提供稳定的语义表征。它们通常作为冻结模块嵌入生成流程，承担掩码生成、区域定位与语义对齐的职责。
把编辑能力从单帧扩展到时间维度后，会立刻遇到帧间闪烁与运动不连贯的问题。现有工作大致沿两条路走：在时序维度扩展注意力或引入运动模块；或把视频编辑拆成逐帧编辑加时序一致性约束。这一方向算力开销大、评测也更困难。