【AI辅助设计】性价比很高的开源AI换衣方案？服装电商福音

大家好，欢迎来到IT知识分享网。

AI换衣已经不是新鲜话题了,经过几个月的进化，最新的技术又来了，名字叫CatVTON。与OOTD和IDM相比，CatVTON允许你选择服装类型，然后将其替换为不同类型的服装，例如，模特穿着一件白色T恤，通过选择夹克作为服装类型，你可以将夹克替换到模特身上。

CatVTON介绍

该项目是由美图、中山大学、鹏城实验室共同完成，论文地址：http://arxiv.org/abs/2407.15886

❝

基于简单拼接的虚拟试衣扩散模型 – 优化版本

❞

CatVTON 提出了一种简单高效的虚拟试衣扩散模型，通过在空间维度上简单地拼接服装和人物图像来实现不同类别服装的虚拟试穿。该方法有效地降低了模型复杂度和计算成本，同时保持了高质量的虚拟试衣效果。

PixPin_2024-07-30_21-25-14.jpg

「优势：」

「轻量级网络：」 仅使用原始的扩散模块，无需额外的网络模块，参数量减少了 167.02M。
「参数高效训练：」 只训练与试衣相关的模块，参数量仅为骨干网络的 5.51%（49.57M）。
「简化推理：」 无需姿态估计、人体解析和文本输入等预处理步骤，只需提供服装参考图、目标人物图像和掩码。
「优异性能：」 CatVTON 在定性和定量评估中均取得了优异的结果，并且在仅使用 73K 样本的开源数据集上表现出良好的泛化能力。

「核心思想：」

CatVTON 通过空间拼接将服装和人物图像融合，简化了虚拟试衣过程，并显著降低了模型的复杂度和计算成本。

「模型结构：」

CatVTON 的核心结构包含三个部分：

「图像预处理：」 将服装图像和人物图像进行裁剪和缩放，并根据人物图像的掩码生成服装图像的掩码。
「空间拼接：」 将服装图像和人物图像根据掩码进行拼接，生成一个包含服装和人物信息的融合图像。
「扩散模型：」 利用预训练的扩散模型对融合图像进行解码，生成最终的虚拟试衣结果。

「优化策略：」

「损失函数：」 CatVTON 使用 L1 损失函数来优化模型，并使用对抗损失来提高模型的生成质量。
「数据增强：」 在训练过程中使用数据增强技术，例如随机裁剪、颜色抖动和图像翻转，来提高模型的鲁棒性。

ComfyUI工作流

插件安装

安装这个插件其实还是有点复杂的，建议用wsl2环境进行安装，会顺畅很多。其中难搞的部分就是安装：Detectron2 和 DensePose，对了，cuda必须是12.1以上。在wls2环境中，直接两条命令就可以装起来了。

pip install git+https://github.com/facebookresearch/detectron2.git@v0.6 pip install git+https://github.com/facebookresearch/detectron2.git@v0.6#subdirectory=projects/DensePose

其他的依赖可以通过正常的安装依赖方式安装即可。

pip install -r requirements.txt

这里如果已经成功安装了DensePose，就需要吧requirments.txt里面这行注释掉。

# DensePose==0.6 git+https://github.com/facebookresearch/detectron2.git@v0.6#subdirectory=projects/DensePose

安装好后，拖入作者提供的工作流，就可以玩耍了🐸。

跟Midjourney结合

ComfyUI的强大之处，在于可以把各种优质技术和资源串联起来。我这里就用了自己做的Midjourney插件，利用mj给我生成高质量模特图片，再把衣服“穿上去”，这样模特素材也不用导出找了。

Midjourney模块

CatVTON模块

选图

最后看看效果

为了省事和对比，以下就固定模特了~

总结

总得来说，这套方案性价比还是挺高的，但是也存在抽卡情况，然后毕竟是基于SD1.5的底模，图片尺寸不会太大，作为快速看效果，还是可以的。电商服装的设计师或老板，可以试试~💪⛽️。

资料软件免费放送

次日同一发放请耐心等待

关于AI绘画技术储备

学好 AI绘画不论是就业还是做副业赚钱都不错，但要学会 AI绘画还是要有一个学习规划。最后大家分享一份全套的 AI绘画学习资料，给那些想学习 AI绘画的小伙伴们一点帮助！

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

三、最新AIGC学习笔记

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://haidsoft.com/139242.html