炒菜、雕刻、绘画、汽车人变形！MakeAnything用扩散Transformer解锁多任务过程生成

新加坡国立大学show lab的研究成果makeanything，让ai学会了分步骤创作！这项突破性研究，通过巧妙结合diffusion transformer (dit)和非对称lora技术，首次实现了高质量、跨领域的程序化序列生成，并在21类任务中展现出优异性能及强大的泛化能力。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

挑战与突破：AI创作的“过程”难题

以往的AI图像生成，主要集中在最终结果的呈现。而要让AI生成像绘画、手工艺等复杂作品的步骤教程，则面临三大挑战：高质量多任务数据集匮乏、步骤间逻辑关联性不足以及跨领域泛化能力有限。MakeAnything团队另辟蹊径，从数据、模型和方法三个方面入手，攻克了这些难题。

MakeAnything的核心技术：

1. 海量多领域数据集： 构建了涵盖绘画、手工艺、乐高搭建、3D建模、烹饪等21个领域的超大规模数据集，包含超过24,000个标注序列，为AI学习“分步创作”提供了坚实的数据基础。

2. DiT与蛇形布局： 利用DiT模型的空间注意力机制，并创新性地采用蛇形序列布局，将多步骤图像排列成蛇形网格，强化模型对步骤顺序的感知，确保步骤间的逻辑连贯性和视觉一致性。

3. 非对称LoRA： 借鉴大语言模型的HydraLoRA技术，设计了非对称LoRA，在所有数据集上微调共享矩阵A，学习通用知识和分步骤逻辑；对不同任务单独微调矩阵B，适配特定任务特性，从而在提升泛化能力的同时，保证了不同领域任务的精准适配。

麦艺画板(Max.art)

AI工业设计平台，专注于汽车设计，线稿、渲染、3D建模全流程覆盖

27

查看详情

4. ReCraft模型：由结果反推过程： 开发了ReCraft模型，允许用户输入目标图像，AI即可生成相应的创作步骤，实现图像条件下的过程生成。

5. 强大的泛化能力： MakeAnything甚至能在未经训练的任务上展现出令人惊叹的泛化能力。

实验结果与评估：

MakeAnything在多个指标上超越现有技术，包括图文一致性、逻辑连贯性和实用性。消融实验也证明了非对称LoRA的有效性。

结语：

MakeAnything的开源，将推动AI在创意领域的发展，为艺术家和设计师提供强大的辅助工具。 其代码、模型和数据集已开源： https://www.php.cn/link/01991b6bec4ceacaf9fd8748b7fa0698

以上就是炒菜、雕刻、绘画、汽车人变形！MakeAnything用扩散Transformer解锁多任务过程生成的详细内容，更多请关注php中文网其它相关文章！