CN108629367A - 一种基于深度网络增强服装属性识别精度的方法 - Google Patents

Abstract

本发明公开了一种基于深度网络增强服装属性识别精度的方法。本发明通过Mask‑out策略对服装图像数据集进行处理，通过计算图像的局部特征从而改善全局特征，最终获取最优解。该过程经历了三个神经网络，多标签属性识别增强网络将输入的一维属性特征向量处理为一个一维的预测向量，多示例全卷积网络将输入的二维特征图处理为一个二维预测矩阵，弱监督属性识别网络将输入的二维预测矩阵转化为一维预测向量完成整个服装属性识别任务。在多标签属性增强网络阶段，网络通过弱标签学习接收训练数据，避免了大量人工标注工作，这使得本方法更加经济、高效；基于弱监督学习强化的属性识别网络利用局部最优解改善整张图像的属性识别精度，从而进一步提高服装属性的识别精度。

Description

一种基于深度网络增强服装属性识别精度的方法

技术领域

本发明涉及计算机视觉和深度学习领域，具体涉及一种基于深度网络增强服装属性识别精度的方法。

背景技术

视觉属性在2009年提出以来受到国内外学者的广泛关注，属性作为图像的中层特征可以在类别与类别之间共享，有效的解决零样本学习(Zero-shot Learning，ZSL)、少样本学习(One-shot Learning)等计算机视觉任务，同时在一定程度上解决语义鸿沟的问题。由于服装的多样性与复杂性，属性作为图像的高维特征广泛应用于服装识别任务，但是基于浅层学习的相关算法对于识别精度存在一定的局限性。自2012年，卷积神经网络(Convolutional Neural Networks，CNN)将图像分类精度较传统方法提高十六个百分点，深度学习(Deep Learning)逐步应用与服装识别任务。

国内外研究者们已经提出了诸多实现服装识别的算法。Bourdev等人研究出一个***来描述人们的外貌形象，他们使用了9种属性，例如男性、恤、长发等特性。另外，对于衣服的分割也是研究热点。Hu等人提出使用基于受限德劳内三角(CDT)的前景和背景估计，这种方法不需要任何预定义的服装模型。Vittayakorn等人提出一个自动属性检测器，该检测器可以从网上收集服装图像及其描述信息。Kovashka等人开发出一个搜索引擎，该引擎允许用户上传图像和描述并反馈相关图像。Chen等人引入了一个全自动的***，这个***能够产生可命名属性列表的衣服。Lorenzo等人则做了一组实验，实验的目的是评价LBP和HOG描述子在衣服属性方面的能力。Liu等人提出了FashionNet深度学习模型，该方法的优势在于联合训练服装的类别和属性从而提高服装属性预测精度。

服装识别方法主要有：基于卷积神经网络的服装分类方法，具体步骤为：1)获取服装图像样本，将服装图像样本分为训练样本和测试样本；2)对训练样本和测试样本进行预处理；3)构建卷积神经网络模型,该卷积神经网络模型包括5个卷积层，3个池化层，3个全连接层；4)利用步骤2预处理后的训练样本对步骤3所述卷积神经网络模型进行前向传播和后向传播两个阶段的训练，当后向传播训练计算出的误差达到期望值时，训练结束，并得到卷积神经网络模型的参数；5)利用步骤训练结束的卷积神经网络模型对步骤预处理后的测试样本进行测试，并输出最终服装分类结果。

基于卷积神经网络的服装分类方法的缺点在于：

(1)现有的模型对服装进行分类，由于受类别个数限制，无法对服装进行更加高精度的识别；

(2)大量的强监督的图像标注方式需要耗费大量的人力物力；

(3)网络层数不够深，很难对复杂服装特征进行学习；

(4)基于全连接层的抽象方式的网路模型对于相近特征无法很好进行区分。

发明内容

本发明的目的是克服现有方法的不足，提出了一种基于深度网络增强服装属性识别精度的方法。本发明主要解决以下问题：一、如何把大量的强监督的图像标注方式所需要耗费的大量人力物力进行减少；二、如何提高服装属性的识别精度。

为了解决上述问题，本发明提出了一种基于深度网络增强服装属性识别精度的方法，所述方法包括：

获取服装图像数据以及标签数据作为初始数据集，数据集分为训练集与测试集。

将初始训练集服装数据和标签数据输入多标签属性识别增强网络模型，模型学习后输出测试数据的预测信息。

利用步骤二输出的预测信息，并结合Mask-out策略和多示例学习策略制作多示例全卷积网络模型的训练集与测试集。

将步骤三生成的训练集和测试集对多示例全卷积网络模型进行训练，之后把初始的训练集服装数据输入训练好的多示例全卷积网络，输出学习到的特征分布。

联合初始训练集服装数据和标签数据，以及步骤四输出的特征分布，作为弱监督属性识别网络的输入；弱监督属性识别网络对服装图像中的属性信息进行识别，输出最终的识别结果。

优选地，所述多标签属性识别增强网络，具体为：

多标签属性识别增强网络有16个卷积层，卷积核大小均为3×3，卷积操作前均对图像数据做padding＝1的操作，卷积层均接ReLU层进行非线性映射，网络包含5个池化层。卷积和池化操作后，接两个全连接层将特征映射为1×M维的向量，其中M∈Z⁺，最后通过N个全连接层将一个多分类问题转化为多个二分类问题，每个全连接层接一个损失函数层，计算出每个属性存在的概率，每个图像样本得到一个1×N维的向量，记为S＝{s_i|i∈T}，s_i为每个图像样本概率向量，T为样本总数。

优选地，所述多示例全卷积网络模型，具体为：

多示例全卷积网络有16个卷积层，卷积核大小均为3×3，卷积操作前均对图像数据做padding＝1的操作，卷积层均接ReLU层进行非线性映射，网络包含5个池化层。卷积和池化操作后，连接N个反卷积层上采样得到每个图像样本所对应的224×224×N维特征图。

优选地，所述弱监督属性识别网络，具体为：

弱监督属性识别网络的输入为初始的训练集与测试集以及多示例全卷积网络学习得到训练集与测试集的特征图，图像数据与特征图均经过转化得到对应的lmdb格式的数据。弱监督属性识别网络有16个卷积层，卷积核大小均为3×3，卷积操作前均对图像数据做padding＝1的操作，卷积层均接ReLU层进行非线性映射，网络包含5个池化层。卷积和池化操作后，接两个全连接层将特征映射为1×M维的向量，其中M∈Z⁺，最后通过N个全连接层计算出每个属性存在的概率。

本发明通过Mask-out策略对服装图像数据集进行处理，通过计算图像的局部特征从而改善全局特征，最终获取最优解。在多标签属性增强网络阶段，网络通过弱标签学习接收训练数据，避免了大量人工标注工作，这使得本方法更加经济、高效；基于弱监督学习强化的属性识别网络利用局部最优解改善整张图像的属性识别精度，从而进一步提高服装属性的识别精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例的增强服装属性识别精度方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例的增强服装属性识别精度方法的流程图，如图1所示，该方法包括：

S1，获取服装图像数据以及标签数据作为初始数据集，数据集分为训练集与测试集。

S2，将初始训练集服装数据和标签数据输入多标签属性识别增强网络模型，模型学习后输出测试数据的预测信息。

S3，利用步骤二输出的预测信息，并结合Mask-out策略和多示例学习策略制作多示例全卷积网络模型的训练集与测试集。

S4，将步骤三生成的训练集和测试集对多示例全卷积网络模型进行训练，之后把初始的训练集服装数据输入训练好的多示例全卷积网络，输出学习到的特征分布。

S5，联合初始训练集服装数据和标签数据，以及步骤四输出的特征分布，作为弱监督属性识别网络的输入；弱监督属性识别网络对服装图像中的属性信息进行识别，输出最终的识别结果。

步骤S1，具体如下：

利用目前最大的服装数据集DeepFashion所提供的图像数据以及弱监督下所需要的多标签数据，编写程序进行预处理转化为多标签属性识别增强网络可以接收的数据格式。其中，转化前的图像数据格式为jpg、png等，每张图像的标签数据为一个1×N维向量，N为服装所具备属性特征的个数(DeepFashion为每张图像提供1000个属性)；转化后的图像数据和多标签数据均为lmdb格式，图像大小均为224×224，便于网路的处理。

步骤S2，具体如下：

S21，多标签属性识别增强网络采用图像数据与标签数据分别输入的模式，通过定义两个数据层完成数据的输入，利用Slice层将多标签数据分割为N个单标签数据，其中，每个单标签代表一个属性。

S22，设计多标签属性识别增强网络的结构并设置模型的参数信息：

多标签属性识别增强网络有16个卷积层，卷积核大小均为3×3，卷积操作前均对图像数据做padding＝1的操作，卷积层均接ReLU层进行非线性映射，网络包含5个池化层。卷积和池化操作后，接两个全连接层将特征映射为1×M维的向量，其中M∈Z⁺，最后通过N个全连接层将一个多分类问题转化为多个二分类问题，每个全连接层接一个损失函数层，计算出每个属性存在的概率，每个图像样本得到一个1×N维的向量，记为S＝{s_i|i∈T}，s_i为每个图像样本概率向量，T为样本总数。

步骤S3，具体如下：

S31，采取Mask-out策略处理训练集与测试集的图像：

首先利用超像素分割算法处理每张图像样本，得到每个图像样本的B个超像素块标签，这里将每张图像样本分割为20个超像素块，即B＝20。计算每一块超像素块的像素均值代替该图像整个超像素块中像素的值，将处理后的图像送入多标签属性识别增强网络同样得到预测向量P＝{p_i|i∈T}，其中p_i为每个图像样本预测后的向量，通过p_i与步骤4中的s_i逐项做差平方，得到p′_i＝{p′_ij|j∈N}，其中，p′_ij为p_i与步骤4中的s_i差值的二范数。

S32，利用多示例学习策略增强数据集：

从P′＝{p′_i|i∈T}中选取每个属性Topⁿ(n∈T)的样本组成新的训练集与测试集，这里选取每个属性Top 50的样本，记优化后的数据集为P″＝{p″_i|i∈N}，显然

步骤S4，具体如下：

S41，设计并生成多示例全卷积网络模型训练所需的标签数据：

得到优化后的数据集中，即为该超像素块最重要的属性。依次计算每个图像样本20个超像素块中最重要的属性，并将该属性对应的编号替代超像素块的像素值，得到每个图像样本的N张特征图，将每张一通道的特征图保存为png格式。作为多示例全卷积网络的标签数据。

S42，得到的标签数据与对应的图像数据转化为lmdb格式便于多示例全卷积网络处理。

S43，设计多示例全卷积网络结构并设置多示例全卷积网络的参数：

多示例全卷积网络有16个卷积层，卷积核大小均为3×3，卷积操作前均对图像数据做padding＝1的操作，卷积层均接ReLU层进行非线性映射，网络包含5个池化层。卷积和池化操作后，连接N个反卷积层上采样得到每个图像样本所对应的224×224×N维特征图。

S44，初始的训练集与测试集经过多示例全卷积网络进行一次前向传播，得到每张图像样本224×224×N维特征图。该特征图与对应的图像数据将作为弱监督属性识别网络的输入。

步骤S5，具体如下：

S51，弱监督属性识别网络的数据输入及网络结构设计：

弱监督属性识别网络的输入为初始的训练集与测试集以及多示例全卷积网络学习得到训练集与测试集的特征图，图像数据与特征图均经过转化得到对应的lmdb格式的数据。弱监督属性识别网络有16个卷积层，卷积核大小均为3×3，卷积操作前均对图像数据做padding＝1的操作，卷积层均接ReLU层进行非线性映射，网络包含5个池化层。卷积和池化操作后，接两个全连接层将特征映射为1×M维的向量，其中M∈Z⁺，最后通过N个全连接层计算出每个属性存在的概率。

S52，训练得到的模型为最终测试所用的模型。只需将服装图像放入弱监督属性识别模型中进行一次前向传播，即可识别出该图像中服装所具备的属性。

在本发明实施例中，通过Mask-out策略对服装图像数据集进行处理，通过计算图像的局部特征从而改善全局特征，最终获取最优解。在多标签属性增强网络阶段，网络通过弱标签学习接收训练数据，避免了大量人工标注工作，这使得本方法更加经济、高效；基于弱监督学习强化的属性识别网络利用局部最优解改善整张图像的属性识别精度，从而进一步提高服装属性的识别精度。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的一种基于深度网络增强服装属性识别精度的方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于深度网络增强服装属性识别精度的方法，其特征在于，所述方法包括：

获取服装图像数据以及标签数据作为初始数据集，数据集分为训练集与测试集。

将初始训练集服装数据和标签数据输入多标签属性识别增强网络模型，模型学习后输出测试数据的预测信息。

利用步骤二输出的预测信息，并结合Mask-out策略和多示例学习策略制作多示例全卷积网络模型的训练集与测试集。

将步骤三生成的训练集和测试集对多示例全卷积网络模型进行训练，之后把初始的训练集服装数据输入训练好的多示例全卷积网络，输出学习到的特征分布。

联合初始训练集服装数据和标签数据，以及步骤四输出的特征分布，作为弱监督属性识别网络的输入；弱监督属性识别网络对服装图像中的属性信息进行识别，输出最终的识别结果。

2.如权利要求1所述的一种基于深度网络增强服装属性识别精度的方法，其特征在于，所述多标签属性识别增强网络，具体为：

多标签属性识别增强网络有16个卷积层，卷积核大小均为3×3，卷积操作前均对图像数据做padding＝1的操作，卷积层均接ReLU层进行非线性映射，网络包含5个池化层。卷积和池化操作后，接两个全连接层将特征映射为1×M维的向量，其中M∈Z⁺，最后通过N个全连接层将一个多分类问题转化为多个二分类问题，每个全连接层接一个损失函数层，计算出每个属性存在的概率，每个图像样本得到一个1×N维的向量，记为S＝{s_i|i∈T}，s_i为每个图像样本概率向量，T为样本总数。

3.如权利要求1所述的一种基于深度网络增强服装属性识别精度的方法，其特征在于，所述多示例全卷积网络，具体为：

多示例全卷积网络有16个卷积层，卷积核大小均为3×3，卷积操作前均对图像数据做padding＝1的操作，卷积层均接ReLU层进行非线性映射，网络包含5个池化层。卷积和池化操作后，连接N个反卷积层上采样得到每个图像样本所对应的224×224×N维特征图。

4.如权利要求1所述的一种基于深度网络增强服装属性识别精度的方法，其特征在于，所述弱监督属性识别网络，具体为：

弱监督属性识别网络的输入为初始的训练集与测试集以及多示例全卷积网络学习得到训练集与测试集的特征图，图像数据与特征图均经过转化得到对应的lmdb格式的数据。弱监督属性识别网络有16个卷积层，卷积核大小均为3×3，卷积操作前均对图像数据做padding＝1的操作，卷积层均接ReLU层进行非线性映射，网络包含5个池化层。卷积和池化操作后，接两个全连接层将特征映射为1×M维的向量，其中M∈Z⁺，最后通过N个全连接层计算出每个属性存在的概率。