生成可控人物图像时,传统方法虽整体质量尚可,但参考图像细节纹理易扭曲,因模型聚焦失准。
Meta 针对性研发 Leffa 方法,借精准引导目标查询关注参考图像关键区,攻克细节失真难题,于虚拟试穿与姿势转移效果拔群,且具通用性,可赋能多扩散模型提升表现,开启了人物图像生成新纪元。
看到这个新闻,好久忙碌不更文的我好奇的试了一下,在线体验链接在下方
下面是我随便从 TB 上 copy 的 模特图和衣服,看看 Leffa 的合成效果。
模特试衣
除了下方稍有不完美外,都很好
模特试衣
这个不错
尝试更多模特
还可以更换人物摆的 pose
左1为原图,中间为目标post, 右侧为生成图, ps 帽子哪里来的
- 可控人物图像生成:能够基于参考图像生成可控人物图像。
- 虚拟试穿:可以精确操控人物的外观,实现虚拟试穿效果。
- 姿势转移:能够精确操控人物的姿势,实现姿势转移效果。
- 高质量图像生成:保持高图像质量,减少细节失真。
项目地址 :https://github.com/franciszzj/Leffa
在线体验 :https://huggingface.co/spaces/franciszzj/Leffa
Leffa 的效果确实不错,相比于最近出的一些 AI 虚拟试衣应用,已经可以媲美了
那么现在你知道有多少 AI 虚拟试穿的应用?
好像又没有那么多的 AI 虚拟试穿的应用落地,为什么?
可图 AI 试衣
来自快手科技
在线地址:https://www.modelscope.cn/studios/Kwai-Kolors/Kolors-Virtual-Try-On
示例1
示例2
示例3
在线地址:https://virtual-try-on.org/zh
示例4
后续集成在可灵里面了嘛?
地址:https://klingai.kuaishou.com/release-notes
Outfit Anyone
阿里开源的一键换衣虚拟试穿项目
https://humanaigc.github.io/outfit-anyone/
IMAGDressing
项目地址:https://github.com/muzishen/IMAGDressing
虚拟试衣与虚拟穿搭任务的区别: 虚拟试衣(VTON)任务主要关注消费者体验,通过局部图像修复生成真实感的试衣图像。然而,现有的 VTON 技术忽视了商家展示服装的全面需求,如灵活控制服装、面部、姿势和场景。因此,本文定义了一个虚拟穿搭(VD)任务,旨在生成固定服装和可选条件下的可编辑人像。
OOTDiffusion
项目地址:https://github.com/levihsu/OOTDiffusion
AR 虚拟试衣:打造数字化的私人衣橱
https://tryon.kivisense.com/blog/zh/ar-solution-clothes-cn/
虚拟试衣
仅需上传产品图片,AI 模特即刻为您呈现服装的上身展示效果,让客户更真实地感受到商品的魅力,极大提升满意度
https://www.piccopilot.com/zh/tools/tryon
看到这些,AI 试衣的模型已经很不错了,但是为什么还没有在电商领域应用起来呢?
我觉得可能有下面的一些原因吧。
1、学术界和真正的落地应用还有很大的 gap: 这里可能有实际场景的复杂性,如特殊体型、复杂姿势或带有特殊材质(如透明、反光、褶皱丰富的面料)的服装,再或者衣服的款式,很难生成非常精准和真实的试穿效果,从而应用用户体验,造成用户流失。
2、隐私与精准性 :AI 试衣需要人体数据来提供更个性化的试穿效果,如身高、体重、三围等或者上传个人的照片,但获取这些数据涉及用户隐私问题,并且用户提供的数据可能不准确,从而影响试衣效果的精准性。就像上面 meta 开源的 AI 试衣模型,虽然整体上看效果不错,但涉及到不同身材的人,一些细枝末节会很难处理。
3、服装的挑战 :服装款式、尺码、颜色等数据极其丰富多样,并且涉及到昂贵的标注成本,要建立一个能够涵盖各种品牌、风格、季节服装的数据库是一项艰巨的任务。而且,服装的流行趋势不断变化,需要不断更新数据。例如,每年时尚界都会推出新的服装款式和流行元素,及时获取和整合这些数据来更新 AI 试衣系统是一个持续的挑战。
话说回来,AI 技术的迭代更新只是时间问题,技术的实落地也只是时间问题,当这个技术真的能够落地的时候,绝对能够弥补现有实体店和网上购物之间的鸿沟。
或许以后我们就不需要线下实体店购物试穿一下,然后网上购买。
那么更加严峻的问题就来了,实体店会比现在还备受打击。
技术的变革,总是好坏参半。
好久没更新文章了,主要是因为这段时间工作太过繁忙,加上想静下来思考一下,就停更了两个月。后续的路,边走边 👀
我是大林,持续关注 AI 发展,和大家一起交流。微信(dalinvip2023),备注【公众号 AIGC】,进 AIGC 交流群一起交流。
主页:https://www.dalinaip.com/about
如果文章对你有一点点 🤏🏻 帮助,关注公众号并【星标】 ,可以及时收到最新 AI 信息,点赞、在看、转发给更多的朋友,后面我继续分享更多的 AI 内容。
往期推荐
从 0 到 1 的Prompt 教程,来自Claude 官方,不会写 prompt的看这个足够
几个常用 的 LLM Leaderboard 榜单,值得收藏