扩散模型新突破！无需微调，就能高效稳定移除目标物体

aixiv 专栏重磅发布：无需微调，高效目标移除的扩散模型新方法——attentive eraser

AIxiv 专栏持续关注并报道全球顶尖AI研究成果。过去数年，我们已发布超过2000篇学术技术文章，涵盖各大高校和企业实验室的最新研究。欢迎投稿或联系我们报道您的优秀工作！投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

研究团队: 浙江工商大学统计与数学学院硕士生孙文灏、阿里巴巴算法工程师崔奔雷（共同第一作者），浙江工商大学统计与数学学院董雪梅教授（通讯作者）。

扩散模型在图像生成领域取得了显著进展，尤其在处理高维复杂数据方面优势明显。然而，将其应用于图像目标移除任务时，仍面临诸多挑战，例如移除目标后残留伪影等问题。为解决这些问题，本文提出了一种无需微调的基于扩散模型的目标移除方法——Attentive Eraser，显著提升了预训练扩散模型的目标移除能力。AAAI 2025 录用并选为 Oral Presentation。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

核心创新：

Attentive Eraser 的核心在于其双重创新：

1. 注意力激活和抑制 (AAS)： 通过巧妙地修改预训练扩散模型的自注意力机制，增强模型对背景的关注，同时抑制对前景目标的关注。 此外，引入相似性抑制 (SS) 机制，有效避免因自注意力机制导致的对背景中相似目标的误判。

2. 自注意力重定向引导 (SARG)： 利用 AAS 修改后的自注意力机制，引导逆向扩散采样过程，从而更精准地移除目标并生成与背景自然融合的内容。

研究背景与方法：

当前，扩散模型如 Stable Diffusion (SD) 在图像生成方面表现出色。然而，直接应用于目标移除任务时，常出现伪影。虽然已有基于微调或提示工程的方法，但这些方法成本高且效果不稳定。Attentive Eraser 则提供了一种无需微调的解决方案，有效解决了这些问题。

实验结果:

SEEK.ai

AI驱动的智能数据解决方案，询问您的任何数据并立即获得答案

128

查看详情

实验结果表明，Attentive Eraser 在多种预训练扩散模型上均表现出色，甚至优于一些基于微调的方法。其在目标移除的质量和稳定性方面均取得了显著提升。用户偏好研究和 GPT-4o 评估进一步验证了其优越性。

鲁棒性和可扩展性：

Attentive Eraser 对不同精细度的掩码具有鲁棒性，并可扩展到其他预训练扩散模型（例如，生成动漫图像的模型）。

论文及代码:

• 论文标题：Attentive Eraser: Unleashing Diffusion Model's Object Removal Potential via Self-Attention Redirection Guidance
• 论文链接：https://www.php.cn/link/49d86226f20f62ca878fd1b8e4cfc29c
• Github 地址：https://www.php.cn/link/41111c8e0e924d1df17bf19f0da5c100
• Diffusers Pipeline：https://www.php.cn/link/38d526e00fad4f0b9b4534405e5badfd
• Model Scope Demo：https://www.php.cn/link/eb7bfee7a00af6aedab37fdb7fc71d64
• Hugging Face Demo：https://www.php.cn/link/8210d4caae707aa1f8be6d3fd558812b

欢迎访问论文链接了解更多细节。

以上就是扩散模型新突破！无需微调，就能高效稳定移除目标物体的详细内容，更多请关注php中文网其它相关文章！