|本期目录/Table of Contents|

[1]丁焕,侯珏,杨阳,等.基于三维人体姿态信息的协作式扩散试衣生成网络[J].浙江理工大学学报,2024,51-52(自科五):691-704.
　DING Huan,HOU Jue,YANG Yang,et al.A collaborative diffusion based network for virtual try on based on 3D human pose information[J].Journal of Zhejiang Sci-Tech University,2024,51-52(自科五):691-704.
点击复制

基于三维人体姿态信息的协作式扩散试衣生成网络()
分享到：

浙江理工大学学报[ISSN:1673-3851/CN:33-1338/TS]

卷:
第51-52卷
期数:
2024年自科第五期
页码:
691-704
栏目:
出版日期:
2024-09-20

文章信息/Info

Title:
A collaborative diffusion based network for virtual try on based on 3D human pose information
作者:
丁焕; 侯珏; 杨阳; 刘正
 浙江理工大学，a.服装学院；b.丝绸文化传承与产品设计数字化技术文旅部重点实验室；c.国际时装技术学院， 杭州 311199
Author(s):
DING Huan;  HOU Jue;  YANG Yang;  LIU Zheng
a.School of Fashion Design & Engineering; b.Key Laboratory of Silk Culture Inheritance and  Products Design Digital Technology, Ministry of Culture and Tourism; c.International  Institute of Fashion Technology, Zhejiang Sci-Tech University, Hangzhou 311199, China
关键词:
虚拟试衣; 生成对抗网络; 扩散网络; 外观流场; 服装部件分割
分类号:
TS942-8
文献标志码:
A
摘要:
为解决人体关节遮挡产生的试衣错误、试衣生成结果保真度低以及试衣前后人体形态保持不一致等问题，提出了一种基于三维人体姿态信息的协作式扩散试衣生成网络—3DMVTON网络。首先，通过三维人体姿态估计模型重构二维人体图像对应的三维人体姿态信息，获取人体各部位的空间顺序。其次，利用多部件服装变形网络，根据服装部件的外观流场对目标服装各部位进行变形，并在人体部位空间顺序的指导下对各服装部件特征进行融合。最后，将人体全局特征与融合后的服装特征引入扩散网络，通过人体姿态控制模块与区域度判别器限制其生成自由度，保证试衣前后人体形态一致性，从而提升图像局部细粒度，获得高质量的虚拟试衣结果。将3DMVTON网络与目前常用的二维虚拟试衣网络进行实验对比，结果表明：3DMVTON网络在人体关节遮挡处的服装变形准确度更高，试衣结果更加清晰、自然和逼真，试衣前后人体形态保持更一致。3DMVTON网络能够生成高质、多姿势的试衣结果，满足虚拟试衣用户更多的试穿需求，可以提升消费者在线购物体验度，助推服装电商行业发展。

参考文献/References:

［ 1 ］赵娟 , 魏雪霞 , 徐增波 . 基于深度学习的 2D 虚拟试衣技术研究进展［ J ］ . 丝绸 , 2021, 58(9): 48 - 52.

［ 2 ］谭泽霖 , 白静 . 二维图像虚拟试衣技术综述［ J ］ . 计算机工程与应用 , 2023, 59(15): 17 - 26.

［ 3 ］施倩 , 罗戎蕾 . 基于生成对抗网络的服装图像生成研究进展［ J ］ . 现代纺织技术 , 2023, 31(2): 36 - 46.

［ 4 ］薛萧昱 , 何佳臻 , 王敏 . 三维虚拟试衣技术在服装设计与性能评价中的应用进展［ J ］ . 现代纺织技术 , 2023, 31(2): 12 - 22.

［ 5 ］崔萌 , 陈素英 , 殷文 , 等 . 基于虚拟试衣技术的服装设计与开发［ J ］ . 毛纺科技 , 2020, 48(6): 58 - 61.

［ 6 ］郭宇轩 , 孙林 . 基于扩散模型的 ControlNet 网络虚拟试衣研究［ J ］ . 现代纺织技术 , 2024, 32(3): 118 - 128.

［ 7 ］花爱玲 , 余锋 , 陈子宜 , 等 . 深度学习在二维虚拟试衣技术的应用与进展［ J ］ . 计算机工程与应用 , 2023, 59(11): 37 - 45.

［ 8 ］ GoodfellowI J, Pouget - Abadie J, Mirza M, et al. Generative adversarial nets ［ C ］∥ Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada. ACM, 2014: 2672 - 2680.

［ 9 ］ HoJ, Jain A, Abbeel P. Denoising diffusion probabilistic models ［ C ］∥ Proceedings of the 34th International Conference on Neural Information Processing Systems. Vancouver, BC, Canada. ACM, 2020: 6840 - 6851.

［ 10 ］ LeeS Y, Gu G, Park S, et al. High - resolution virtual try - on with misalignment and occlusion - handled conditions ［ C ］∥ Avidan S, Brostow G, Ciss M, et al. European Conference on Computer Vision. Tel - Aviv, Israel. Cham: Springer, 2022: 204 - 219.

相似文献/References:

[1]辛意云,王美娟,蔡倩云,等.面料丝绺方向对半圆裙虚拟试衣仿真效果的影响[J].浙江理工大学学报,2015,33-34(自科6):738.
　XIN Yi yun,WANG Mei juan,CAI Qian yun,et al.Effects of Fabric Grain Directions on  Simulation Effect of Virtual Fitting of Halfcircle Skirts[J].Journal of Zhejiang Sci-Tech University,2015,33-34(自科五):738.
[2]包晓安,高春波,张娜,等.基于生成对抗网络的图像超分辨率方法[J].浙江理工大学学报,2019,41-42(自科四):499.
　BAO Xiaoan,GAO Chunbo,ZHANG Na,et al.Image superresolution method based ongenerative adversarial network[J].Journal of Zhejiang Sci-Tech University,2019,41-42(自科五):499.
[3]林志坤,许建龙,包晓安.基于STGAN的人脸属性编辑改进模型[J].浙江理工大学学报,2023,49-50(自科三):285.
　LIN Zhikun,XU Jianlong,BAO Xiaoan.Improved model of face attribute editing based on STGAN[J].Journal of Zhejiang Sci-Tech University,2023,49-50(自科五):285.

备注/Memo

备注/Memo:
收稿日期： 2024-04-15
网络出版日期：2024-07-22
基金项目： 浙江理工大学科研启动基金项目(21072325Y)；嘉兴市重点研究计划项目（2023BZ10009）
作者简介： 丁焕(2000—)，男，浙江绍兴人，硕士研究生，主要从事虚拟试衣方面的研究
通信作者： 刘正，E-mail: koala@zstu.edu.cn
更新日期/Last Update: 2024-09-18