基于OpenPose关键点检测和卷积神经网络驱动的虚拟试衣方法研究OA

针对线上服装购物缺乏真实试穿,服装与人体姿态难以精确匹配等问题,提出一种基于OpenPose关键点检测和卷积神经网络驱动的虚拟试衣方法。该方法以单张人物图像和目标图像为输入,首先利用OpenPose提取人体关键点并构造姿态热力图,随后通过服装分割与仿射/TPS变换实现服装区域的几何预对齐,最后将人物图像、姿态表示和对齐服装在编码-解码式卷积网络中进行特征融合,并结合重建损失、感知损失和掩膜一致性损失进行端到端训练。实验在VITONHD、DressCode以及DeepFashion2子集3个公开数据集上开展。结果表明,在SSIM和LPIPS指标上,所提方法在多种姿态场景下均取得更优或具有竞争力的性能。消融实验进一步验证了OpenPose姿态约束、服装几何对齐以及感知损失和掩膜损失是关键组成部分。