向AI转型的程序员都关注公众号 机器学习AI算法工程
什么是 IDM-VTON 技术?
IDM-VTON 是一种基于扩散模型的虚拟试穿技术，由 KAIST 和 OMNIOUS.AI 共同开发。
IDM-VTON 透过改进扩散模型，增强虚拟试穿任务中的影像保真度和细节保留，特别是在真实世界场景中产生高保真度的虚拟试穿图像。
IDM-VTON 透过分析人物和服装的图像，即使在复杂背景和多样姿势下，IDM-VTON 也能保持服装的细节特征，产生逼真的试穿效果。
【使用步骤】
1、进入IDM-VTON，上传个人照片，或选择软件提供的内置模特；
2、上传服装照片，或选择服装库中选择合适的服装样式；
3、点击Try-on，软件会模拟服装在模特身上的效果，如上图。
二、训练教程
【配置要求】
Win 环境：windwos10/11操作系统；英伟达显卡GPU 8G以上
Mac环境：MacOS（Apple Silicon-M1/M2/M3）；推荐内存8G以上
【安装】-扩散模型
1.克隆仓库
2.安装Python依赖
3.下载预训练的VGG检查点并放置在models/vgg/目录下
【安装】-扭曲模块
4.克隆仓库
5.将代码移动至相应目录
【数据准备】-VITON-HD
1.下载VITON-HD数据集
https://github.com/shadow2496/VITON-HD
2.下载预先扭曲的衣物图像/掩模，将其放在你的VITON-HD数据集目录下
https://pan.baidu.com/share/init?surl=ss8e\_Fp3ZHd6Cn2JjIy-YQ&pwd=x2k9
完成后文件结构如下：
推理】-VITON-HD
1.下载预训练模型：
https://pan.baidu.com/s/13Rp\_-Fbp1NUN41q0U6S4gw?pwd=6bfg#list/path=%2F
【推理】-扭曲模块
2.先将 warp_vtion.pth 移动到 checkpoints 目录：
3.然后运行测试命令：
4.推断后，你可以将结果用于VITON-HD中扩散模型的推理和训练。
【推理】-扩散模型
或者直接运行：
【训练】-扭曲模块
1.运行以下命令来训练扭曲模块
【训练】-扩散模型
1.我们使用Paint-by-Example的预训练模型作为初始化，可以下载预训练模型并保存到checkpoints目录。建议使用科学加速软件下载：
下载链接：https://drive.google.com/file/d/15QzaTWsvZonJcXsNv-ilMRCYaQLhzR\_i/view
要使用VITON-HD训练新模型，首先需要在configs/viton512.yaml中修改VITON-HD数据集的根目录，然后使用main.py进行训练。例如：
或简单运行：
使用演示
论文地址：
https://arxiv.org/pdf/2403.05139v2
论文官方实现github地址：
https://github.com/yisol/IDM-VTON
在线体验地址(不仅可以换衣服，还可以换发型和胡须)：
https://huggingface.co/spaces/yisol/IDM-VTON
输出效果
萨姆·奥尔特曼
工作流
输出效果
机器学习算法AI大数据技术
搜索公众号添加： datanlp
长按图片，识别二维码
阅读过本文的人还看了以下文章：
整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主
基于40万表格数据集TableBank，用MaskRCNN做表格检测
《深度学习入门：基于Python的理论与实现》高清中文PDF+源码
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
李沐大神开源《动手学深度学习》，加州伯克利深度学习（2019春）教材
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类
如何利用全新的决策树集成级联结构gcForest做特征工程并打分？
Machine Learning Yearning 中文翻译稿
斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加： datayx