CN108985298B - 一种基于语义一致性的人体衣物分割方法 - Google Patents

Abstract

本发明公开了一种基于语义一致性的人体衣物分割方法，用于在给定单帧单人衣物图片的情况下，分析每一帧的衣物区域语义情况。具体包括如下步骤：获取用于训练人体衣物分割的图像数据集，并定义算法目标；对数据集中每个单帧图像寻找其在语义空间中的相邻图片并组成图片对；对每一组图片对在流型空间中的相邻关系进行联合建模；建立衣物分割的预测模型；使用所述预测模型解析图片中衣物的语义信息。本发明适用于真实图像中的衣物分割分析，面对各类复杂情况具有较佳的效果和鲁棒性。

Description

一种基于语义一致性的人体衣物分割方法

技术领域

本发明涉及计算机视觉领域，特别地涉及一种基于语义一致性的人体衣物分割方法。

背景技术

衣物语义分割作为一种低层视觉技术，常作为一些高层视觉任务的辅助信息，如衣物检索、衣物属性分析等。衣物分割的目标是给定一张图像，预测图片中每个像素点的分类标签。衣物分割的关键因素主要包括衣物种类类内表观差异性巨大、衣物的非刚性以及衣物的极度可变形特点。传统方法一般将衣物分割任务看成一个语义分割问题，尽管一些方法在分类精度上取得了突破，但是其没有充分利用已有数据的信息。

由于统计建模的有效性，目前基于学习的方法逐渐被应用到语义分割任务中。现有的基于学习方法主要是采用端到端的深度学习框架，输入一张原始三通道颜色图片，输出预测的语义分割图。深度学习能够有效地解决特征表示的问题，但是在面对衣物分割中缺乏足够的精确标注的数据集的问题时，数据量的不足限制了深度学习的效果，同时衣物的可变形特点使得普通的卷积无法提取到合理的特征。

发明内容

针对以上问题及实际中配电网建设的需要，本发明提供了一种基于语义一致性的人体衣物分割方法。本发明具体采用的技术方案如下：

一种基于语义一致性的人体衣物分割方法包括以下步骤：

S1、获取用于训练人体衣物分割的图像数据集，并定义算法目标；

S2、对数据集中每个单帧图像寻找其在语义空间中的相邻图片并组成图片对；

S3、对每一组图片对在流型空间(即语义空间)中的相邻关系进行联合建模；

S4、建立衣物分割的预测模型；

S5、使用所述预测模型解析图片中衣物的语义信息。

作为优选，所述S1中的图像数据集包括单帧图像I_train和人工标注的语义分割图P_train；所述的算法目标为预测单帧图像中的衣物语义分割图

作为优选，所述S2包括以下子步骤：

S21、对于每个单帧图像I_train，从预训练好的人体姿态估计模型Openpose中提取人体姿态特征C_pose和图像表观特征C_appearance，通过串接C_pose和C_appearance，得到单帧图像I_train对应的图片特征G_I；

S22、对图像数据集中的图片两两计算相似度，其中，任意两张图片I_train和I′_train的相似度α计算如下：

其中C_empty为与G_I图片大小一样且值全部为0的一张图像的图片特征；C′_I为对于单帧图像I′_train，根据与单帧图像I_train相同的方法得到的图片特征；Euclidean()表示计算欧氏距离；

S23、通过相似度计算和比较，对每个单帧图像I_train，检索到与之最相似的图像I＇_train，得到图片对(I_train，I＇_train)以及对应的相似度值α。

作为优选，所述S3包括以下子步骤：

S31、使用四层卷积操作和池化操作对图片对中的I_train和I′_train分别提取特征得到S_I和S′_I，即：

S_I＝f_single(I_train；θ)

S′_I＝f_single(I′_train；θ)

其中f_single()为四层卷积操作和池化操作构建的函数，θ为卷积参数；

S32、对S31中得到的特征S_I和S′_I进行融合得到融合后特征S_interaction：

S_interaction＝(1-α)*S_I+α*S′_I

S33、使用三层卷积操作对融合后特征S_interaction进行图片语义信息的重构，得到大小为图像I_train八分之一大小的语义分割图

同时使用四层卷积和上采样操作对单个图像特征S_I进行语义信息重构，得到与图像I_train大小一致的语义分割图

S34、对所有的图片对执行S31-S33的操作。

作为优选，所述S4包括以下子步骤：

S41、建立深度卷积神经网络，神经网络的输入为一对图片对(I_train，I′_train)，输出为相对于图片I_train的语义分割图像

神经网络的结构表示为映射

用公式表示为：

其中θ₁为预测模型预测语义分割结果时所用的卷积参数，f()为深度卷积神经网络的预测函数；

S42、神经网络的损失函数为：

其中P和P_small分别表示

对应的真实语义分割图像和

对应的真实语义分割图；

表示原始尺度的预测语义分割图

和其真实语义图片的损失误差；

表示小尺度的预测语义分割图

和其真实语义图片的损失误差，所述小尺度为原始尺度的八分之一；λ为权重参数；

S43、使用Adam优化方法和反向传播算法在损失函数L下训练整个神经网络，直到神经网络收敛。

本方法基于深度神经网络，利用相似图片在流型空间中语义信息的相邻关系，采用可变形卷积对衣物的变形特征进行建模，能够更好地适应不同场景下的衣物语义分割。相比于传统的衣物语义分割方法，本发明具有如下收益：

首先，本发明的衣物语义分割方法定义了衣物语义分割中三个重要的问题，即衣物的极度可变形特点、相似图片的语义一致关系的建模以及计算准确性。通过寻求这两个方向的解决方法，可以有效地解决在数据量不足下的衣物语义分割。

其次，本发明的衣物语义分割方法基于深度卷积神经网络，建立了语义一致性模型，并同时具有计算准确性的优点。深度卷积神经网络能够更好地表达视觉特征，另外，视觉特征的提取和对应结构化模型的学习被统一在同一个框架里，提高了方法的最终效果。

最后，本发明的衣物语义分割方法提出了通过利用卷积神经网络建模相似图片对的语义一致性关系，以此预测衣物语义分割，并针对衣物可变性的特点使用可变性卷积来提取衣物的特征信息。这种方法能够有效地挖掘内容相似的图片对的语义一致性关系，并在语义空间中保持对这种语义一致性结构进行约束。

本方法在衣物检索和衣物属性分析中，能够有效提高检索和分析的准确度和效率，具有良好的应用价值。例如，在服装电商零售的应用场景里，本方法能够快速和准确地分析出模特身上的衣物区域与类别，从而能够快速完成模特身上的衣物种类，为同款检索的电商零售提供依据。

附图说明

图1为本发明的流程示意图；

图2为本发明的实验效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

参考图1，一种基于语义一致性的人体衣物分割方法包括以下步骤：

S1、获取用于训练人体衣物分割的图像数据集，并定义算法目标；

本步骤中所述的图像数据集包括单帧图像I_train和人工标注的语义分割图P_train；所述的算法目标为预测单帧图像中的衣物语义分割图

S2、对数据集中每个单帧图像寻找其在语义空间中的相邻图片并组成图片对；

本步骤包含以下子步骤：

S21、对于每个单帧图像I_train，从预训练好的人体姿态估计模型Openpose中提取人体姿态特征C_pose和图像表观特征C_appearance，通过串接(即直接拼接)C_pose和C_appearance，得到单帧图像I_train对应的图片特征G_I；

S22、对图像数据集中的图片两两计算相似度，得到任意两张图片见的相似度。其中，任意两张图片I_train和I′_train的相似度α计算如下：

其中C_empty为与G_I图片大小一样且值全部为0的一张图像的图片特征；C′_I为对于单帧图像I′_train，根据与单帧图像I_train相同的方法得到的图片特征；Euclidean()表示计算欧氏距离；

S23、通过相似度计算和比较，对每个单帧图像I_train，检索到与之最相似的图像I＇_train，得到图片对(I_train，I＇_train)以及对应的相似度值α。

S3、对每一组图片对在流型空间(即语义空间)中的相邻关系进行联合建模；

本步骤包含以下子步骤：

S31、使用四层卷积操作和池化操作对图片对(I_train，I＇_train)中的I_train和I＇_train分别提取特征得到S_I和S′_I，即：

S_I＝f_single(I_train；θ)

S′_I＝f_single(I′_train；θ)

其中f_single()为四层卷积操作和池化操作构建的函数，θ为卷积参数；

S32、对S31中得到的特征S_I和S′_I进行融合得到融合后特征S_interaction：

S_interaction＝(1-α)*S_I+α*S′_I

其中α为该组图片的相似度值；

S33、使用三层卷积操作对融合后特征S_interaction进行图片语义信息的重构，得到大小为图像I_train八分之一大小的语义分割图

同时使用四层卷积和上采样操作对单个图像特征S_I进行语义信息重构，得到与图像I_train大小一致的语义分割图

S34、对所有的图片对执行S31-S33的操作。

S4、建立衣物分割的预测模型；

本步骤包含以下子步骤：

S41、建立深度卷积神经网络，神经网络的输入为一对图片对(I_train，I′_train)，输出为相对于图片I_train的语义分割图像

神经网络的结构表示为映射

用公式表示为：

其中θ₁为预测模型预测语义分割结果时所用的卷积参数，f()为深度卷积神经网络的预测函数；

S42、神经网络的损失函数为：

其中P表示

对应的真实语义分割图像，即图像I_train的真实语义分割图，P_small表示

对应的真实语义分割图，即大小为图像I_train八分之一的真实语义分割图；

表示原始尺度的预测语义分割图

和其真实语义图片(即S1中已标注的语义分割图)的损失误差；

表示小尺度的预测语义分割图

和其真实语义图片(即S1中已标注的语义分割图)的损失误差，所述小尺度为原始尺度的八分之一，与

尺度保持相同；λ为权重参数，此处取值为0.125；

S43、使用Adam优化方法和反向传播算法在损失函数L下训练整个神经网络，直到神经网络收敛。

S5、使用所述预测模型解析图片中衣物的语义信息。

下面将上述方法应用于具体实施例中，以便本领域技术人员能够更好地理解本发明的效果。

实施例

本实施例的实现方法如前所述，不再详细阐述具体的步骤，下面仅针对案例数据展示其效果。本发明在三个具有真值标注的数据集上实施，分别为：

Fashionista v0.2数据集：该数据集包含685张图像，有56类语义标签。

Refined Fashionista数据集：该数据集包含685张图像，有25类语义标签。

CFPD数据集：该数据集包含2682张图像，有23类语义标签。

本实例在每个数据集上选取一张图片进行实验，先通过计算相似度得到最相近的图片，然后分别提取两张图片的特征，并对这一组图片对在流型空间中的相邻关系进行联合建模，得到最终的语义分割图，如图2所示。图中，groundtruth表示真实语义分割图，我们的方法得到的预测语义分割图与真实语义分割图基本一致。

本实施例检测结果的检测精度如下表所示，主要采用平均Acc以及IoU两个指标对各种方法的检测精度进行比较，其中平均Acc指标是指每个像素点的分类结果准确度，可以较好的反应预测结果；IoU是指语义区域与真值区域之间面积的交并比。如表中所示，本方法与其它传统方法相比，平均Acc和IoU指标均存在明显优势。

上述实施例中，本发明的衣物语义分割方法首先对每一组内容相似的图片在流型空间中的相邻关系进行联合建模。在此基础上，将原问题转化为端到端的结构化学习问题，并基于深度神经网络建立衣物语义分割模型。最后，利用训练好的衣物语义分割模型来预测新的一帧的衣物语义信息。

通过以上技术方案，本发明实施例基于深度学习技术发展了一种基于语义一致性的人体衣物分割方法。本发明可以利用相似图片在流型空间中语义信息的相邻关系，并采用可变形卷积对衣物的变形特征进行建模，能够更好地适应不同场景下的衣物语义分割。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于语义一致性的人体衣物分割方法，其特征在于包括以下步骤：

S1、获取用于训练人体衣物分割的图像数据集，并定义算法目标；

S2、对数据集中每个单帧图像寻找其在语义空间中的相邻图片并组成图片对；

S3、对每一组图片对在流型空间中的相邻关系进行联合建模；

S4、建立衣物分割的预测模型；

S5、使用所述预测模型解析图片中衣物的语义信息；

所述S3包括以下子步骤：

S31、使用四层卷积操作和池化操作对图片对中的I_train和I′_train分别提取特征得到S_I和S′_I，即：

S_I＝f_single(I_train；θ)

S′_I＝f_single(I′_train；θ)

其中f_single()为四层卷积操作和池化操作构建的函数，θ为卷积参数；

S32、对S31中得到的特征S_I和S′_I进行融合得到融合后特征S_interaction：

S_interaction＝(1-α)*S_I+α*S′_I

S33、使用三层卷积操作对融合后特征S_interaction进行图片语义信息的重构，得到大小为图像I_train八分之一大小的语义分割图

同时使用四层卷积和上采样操作对单个图像特征S_I进行语义信息重构，得到与图像I_train大小一致的语义分割图

S34、对所有的图片对执行S31-S33的操作。

2.根据权利要求1所述的一种基于语义一致性的人体衣物分割方法，其特征在于所述S1中的图像数据集包括单帧图像I_train和人工标注的语义分割图P_train；所述的算法目标为预测单帧图像中的衣物语义分割图

3.根据权利要求1所述的一种基于语义一致性的人体衣物分割方法，其特征在于所述S2包括以下子步骤：

S21、对于每个单帧图像I_train，从预训练好的人体姿态估计模型Openpose中提取人体姿态特征C_pose和图像表观特征C_appearance，通过串接C_pose和C_appearance，得到单帧图像I_train对应的图片特征C_I；

S22、对图像数据集中的图片两两计算相似度，其中，任意两张图片I_train和I′_train的相似度α计算如下：

其中C_empty为与C_I图片大小一样且值全部为0的一张图像的图片特征；C′_I为对于单帧图像I′_train，根据与单帧图像I_train相同的方法得到的图片特征；Euclidean()表示计算欧氏距离；

S23、通过相似度计算和比较，对每个单帧图像I_train，检索到与之最相似的图像I′_train，得到图片对(I_train，I′_train)以及对应的相似度值α。

4.根据权利要求1所述的一种基于语义一致性的人体衣物分割方法，其特征在于所述S4包括以下子步骤：

S41、建立深度卷积神经网络，神经网络的输入为一对图片对(I_train，I′_train)，输出为相对于图片I_train的语义分割图像

神经网络的结构表示为映射

用公式表示为：

其中θ₁为预测模型预测语义分割结果时所用的卷积参数，f()为深度卷积神经网络的预测函数；

S42、神经网络的损失函数为：

其中P和P_small分别表示

对应的真实语义分割图像和

对应的真实语义分割图，

表示原始尺度的预测语义分割图

和其真实语义图片的损失误差；

表示小尺度的预测语义分割图

和其真实语义图片的损失误差，所述小尺度为原始尺度的八分之一；λ为权重参数；

S43、使用Adam优化方法和反向传播算法在损失函数L下训练整个神经网络，直到神经网络收敛。

Images