CN107918780A - 一种基于关键点检测的衣服种类和属性分类方法 - Google Patents
一种基于关键点检测的衣服种类和属性分类方法 Download PDFInfo
- Publication number
- CN107918780A CN107918780A CN201710780963.1A CN201710780963A CN107918780A CN 107918780 A CN107918780 A CN 107918780A CN 201710780963 A CN201710780963 A CN 201710780963A CN 107918780 A CN107918780 A CN 107918780A
- Authority
- CN
- China
- Prior art keywords
- mrow
- clothes
- point
- munderover
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000005267 amalgamation Methods 0.000 claims abstract description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 36
- 230000004044 response Effects 0.000 claims description 9
- 238000003475 lamination Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 101100153586 Caenorhabditis elegans top-1 gene Proteins 0.000 description 2
- 101100370075 Mus musculus Top1 gene Proteins 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000004064 recycling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 101100261000 Caenorhabditis elegans top-3 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于关键点检测的衣服种类和属性分类方法，该方法先采集训练样本的数据；然后构建可配置的检测衣服关键点的深度模型，并将训练样本的数据输入深度模型，以对深度模型进行训练；接着利用训练后的检测关键点的深度模型对衣服图像进行分析，预测衣服图像中每个关键点的位置；最后根据S3中预测关键点的结果，以此提取相关局部信息，再融合全局的图片信息，再通过深度模型对衣服种类和属性进行训练、预测。该方法实现了能够更好融合衣服局部和全局特征。
Description
技术领域
本发明涉及计算机视觉和模式识别领域，更具体地，涉及一种基于关键点检测的衣服种类和属性分类方法。
背景技术
图像识别是计算机视觉研究中的一个重要领域，其主要任务是让计算机识别输入的图像类别。近年来，深度学***台使得研究人员不断提高在图像识别领域的技术水平。AlexNet、VGG、GoogleNet和ResidualNet等技术依次提高了图像识别的准确度。
虽然普适性的图像识别技术已经相当成熟，但是针对衣服等精细化领域的识别依然具有相当大的研究意义。
随着科技的发展，电子商务市场越来越大，其中衣服占了相当大的比重。因此研究针对衣服细化领域的种类及属性分类，对用户精准推荐商品则具有相当大的意义。
传统的衣服种类和属性的识别方法往往采用两阶段的方法：
1)提取人工设计的图像特征(如HOG，color histogram)
2)根据这些特征设计专门的分类器。
然而，这一类的传统方法受限于特征的表达能力，实际分类效果上并不好
随着近年来深度学习的发展，它在图像分类、物体检测和图像分割等领域取得了显著成效。Qiang Chen等人在2015年提出基于衣服属性描述该人特质的方法。JunshiHuang等人2015年提出以衣服属性为基本思想的衣服检索方法。这些方法都是基于深度学习强大的特征表达能力及其端对端的分类预测能力。
为了能够应对衣服当中人体模特大幅度姿势变化和遮挡，研究人员提出了像人体对齐、衣服分割和关键点检测等方法。这些方法有助于提取更加鲁棒的衣服特征表达，进一步提高分类的准确率。
Liu等人在2016年提出了Deepfashion数据集，该数据定义了衣服的6个关键点，并相应提出了一个简易的模型预测衣服属性和分类。
发明内容
本发明提供一种能够更好融合衣服局部和全局特征的基于关键点检测的衣服种类和属性分类方法。
为了达到上述技术效果，本发明的技术方案如下：
一种基于关键点检测的衣服种类和属性分类方法，包括以下步骤：
S1：采集训练样本的数据；
S2：构建可配置的检测衣服关键点的深度模型，并将训练样本的数据输入深度模型，以对深度模型进行训练；
S3：利用训练后的检测关键点的深度模型对衣服图像进行分析，预测衣服图像中每个关键点的位置；
S4：根据S3中预测关键点的结果，以此提取相关局部信息，再融合全局的图片信息，再通过深度模型对衣服种类和属性进行训练、预测。
进一步地，所述步骤S2中深度模型包括两个卷积神经网络；
第一个深度卷积神经网络对衣服关键点位置进行学习，运用卷积神经网络的卷积层提取图像的数据的基础表达，再利用反卷积层得到与原图同样尺寸的特征图来预测各个关键点的位置；
第二个深度卷积神经网络用于融合衣服图像的局部特征和全局特征，其中，局部特征根据第一个深度卷积神经网络预测得到的关键点位置提取；
衣服图像经过第一个卷积神经网络，预测出衣服关键点的位置；再根据这些关键点，确定出与识别目标有关的局部区域，再经过第二个卷积神经网络融合局部和全局特征对衣服种类和属性进行预测，输出最终的结果。
进一步地，所述的第一个深度卷积神经网络由三种主要的层实现，分别是卷积层、降采样层和反卷积层；该卷积层的输入特征和输出特征的长宽一致，可保持尺度不变；最后一层输出的特征为256×256×L，其中L是关键点的个数，让输出的feature map的第k个通道预测第k个关键点的位置，对于该能通道上的每个点的响应值F(x,y,k)，令它为预测点(x,y)是第k个关键点的概率值：
采用交叉熵来训练该卷积神经网络，定义损失函数如下：
其中batchsize是输入神经网络图像的数目，H为输入图像和输出特征的高，将手工标注的点坐标记为(xg,yg)，而对于一个二维平面，在标注点邻近的点也可作为目标点，即(xg-1,yg)，(xg,yg-1)，(xg+1,yg)，(xg,yg+1)，(xg-1,yg-1)，(xg+1,yg+1)等坐标也可以作为标注坐标；
因此定义标注点(xg,yg)处的值为最大概率值1，其邻近的坐标按照一定比例线性下降，即如下公式所示，其中α为衰减因子；
Q(x,y,k)＝max(0,1-αmax(|x-xg|,|y-yg|))
再将Q(x,y,k)标准化之后，得到真实坐标的期望概率分布G(x,y,k)
这样通过神经网络的反向传播算法更新及参数值，从而学习到一个健壮的模型。
进一步地，所述第二个深度卷积神经网络的设计如下：
在得到关键点坐标后，可以据此确定出相关细节区域，比如左右手臂，领子区域，将这些细节区域和全局图像同时输入卷积神经网络，在最后一个卷积层输出的特征再输入element-wise average pooling层，该层的数学定义如下：
其中oi,j,k表示该层在位置i,j,k的响应值，分别代表第1,2,3,...,N个区域在同一位置上的响应值。
进一步地，所述步骤S3中还包括对关键点的检测，其过程如下：
采用平均相对误差来衡量错误
其中表示标注的第i张图的第j个点的坐标，其中表示预测第i张图的第j个点的坐标，k是关键点坐标的数量，n是测试图片的数量，Di是一个标准化项，表示左肩膀和右肩膀的距离。
与现有技术相比，本发明技术方案的有益效果是：
本发明方法先采集训练样本的数据；然后构建可配置的检测衣服关键点的深度模型，并将训练样本的数据输入深度模型，以对深度模型进行训练；接着利用训练后的检测关键点的深度模型对衣服图像进行分析，预测衣服图像中每个关键点的位置；最后根据S3中预测关键点的结果，以此提取相关局部信息，再融合全局的图片信息，再通过深度模型对衣服种类和属性进行训练、预测。该方法实现了能够更好融合衣服局部和全局特征。
附图说明
图1为本发明方法流程图；
图2为用来检测关键点的第一个深度卷积神经网络示意图；
图3为图2所示深度卷积神经网络设计的结构参数图；
图4为第二个深度卷积神经网络示意图；
图5为Liu等人在2016年提出Deepfashion数据集论文中采用的对点坐标直接做回归的模型示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于关键点检测的衣服种类和属性分类方法，包括以下步骤：
S1：采集训练样本的数据；
S2：构建可配置的检测衣服关键点的深度模型，并将训练样本的数据输入深度模型，以对深度模型进行训练；
S3：利用训练后的检测关键点的深度模型对衣服图像进行分析，预测衣服图像中每个关键点的位置；
S4：根据S3中预测关键点的结果，以此提取相关局部信息，再融合全局的图片信息，再通过深度模型对衣服种类和属性进行训练、预测。
定义衣服的关键点为10个点(如表1)，我们认为该定义方法能很好的确定衣服的关键位置，为接下来进一步的识别打下良好的基础。
表1衣服的关键点
| 1 | 上领口 |
| 2 | 下领口 |
| 3 | 左肩膀 |
| 4 | 右肩膀 |
| 5 | 左手肘 |
| 6 | 右手肘 |
| 7 | 左袖口(手腕) |
| 8 | 右袖口(手腕) |
| 9 | 左底部(腰) |
| 10 | 右底部(腰) |
步骤S2中深度模型包括两个卷积神经网络；
第一个深度卷积神经网络对衣服关键点位置进行学习，运用卷积神经网络的卷积层提取图像的数据的基础表达，再利用反卷积层得到与原图同样尺寸的特征图来预测各个关键点的位置；
第二个深度卷积神经网络用于融合衣服图像的局部特征和全局特征，其中，局部特征根据第一个深度卷积神经网络预测得到的关键点位置提取；
衣服图像经过第一个卷积神经网络，预测出衣服关键点的位置；再根据这些关键点，确定出与识别目标有关的局部区域，再经过第二个卷积神经网络融合局部和全局特征对衣服种类和属性进行预测，输出最终的结果。
如图2-3所示，的第一个深度卷积神经网络由三种主要的层实现，分别是卷积层、降采样层和反卷积层；该卷积层的输入特征和输出特征的长宽一致，可保持尺度不变；最后一层输出的特征为256×256×L，其中L是关键点的个数，让输出的feature map的第k个通道预测第k个关键点的位置，对于该能通道上的每个点的响应值F(x,y,k)，令它为预测点(x,y)是第k个关键点的概率值：
采用交叉熵来训练该卷积神经网络，定义损失函数如下：
其中batchsize是输入神经网络图像的数目，H为输入图像和输出特征的高，将手工标注的点坐标记为(xg,yg)，而对于一个二维平面，在标注点邻近的点也可作为目标点，即(xg-1,yg)，(xg,yg-1)，(xg+1,yg)，(xg,yg+1)，(xg-1,yg-1)，(xg+1,yg+1)等坐标也可以作为标注坐标；
因此定义标注点(xg,yg)处的值为最大概率值1，其邻近的坐标按照一定比例线性下降，即如下公式所示，其中α为衰减因子；
Q(x,y,k)＝max(0,1-αmax(|x-xg|,|y-yg|))
再将Q(x,y,k)标准化之后，得到真实坐标的期望概率分布G(x,y,k)
这样通过神经网络的反向传播算法更新及参数值，从而学习到一个健壮的模型。
如图4所示，第二个深度卷积神经网络的设计如下：
在得到关键点坐标后，可以据此确定出相关细节区域，比如左右手臂，领子区域，将这些细节区域和全局图像同时输入卷积神经网络，在最后一个卷积层输出的特征再输入element-wise average pooling层，该层的数学定义如下：
其中oi,j,k表示该层在位置i,j,k的响应值，分别代表第1,2,3,...,N个区域在同一位置上的响应值。
进一步地，所述步骤S3中还包括对关键点的检测，其过程如下：
采用平均相对误差来衡量错误
其中表示标注的第i张图的第j个点的坐标，其中表示预测第i张图的第j个点的坐标，k是关键点坐标的数量，n是测试图片的数量，Di是一个标准化项，表示左肩膀和右肩膀的距离。
在收集了145000张标注有关键点坐标的衣服图片，把其中15000图片当作测试集，把另外130000张当作训练集，用来做比较的模型是Liu等人在2016年提出Deepfashion数据集论文中采用的对点坐标直接做回归的模型，它基于VGG-16，该模型示意图如图5所示，另外对比结果如表2所示。
| 平均相对误差 | |
| 对比模型 | 0.115 |
| 本发明提出模型 | 0.075 |
从结果对比可以看出，我们的模型大大优于对比模型，从而证明了本发明的有效性。
1)衣服种类和属性分类
作为对比，对比模型采用的都是基于VGG-16的模型，该模型是深度学习领域中非常常用的模型，测试指标采用准备的top-1准确率，即分类准确的图片占所有测试图片的比例。
自采集数据上的准确率：
Deepfashion数据集上的准确率：
| Top-1 | Top-3 | Top-5 | |
| 对比模型 | N/A | 82.58 | 90.17 |
| 本发明提出模型 | 70.59 | 88.60 | 94.05 |
从两个数据集上的实验结果来看，我们的方法都是由于对比模型的，这反映了方法的确能够更好地提取出衣服细节的特征，并且再此基础上融合全局区域后对衣服属性和分类预测有很好的帮助。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (5)
1.一种基于关键点检测的衣服种类和属性分类方法，其特征在于，包括以下步骤：
S1：采集训练样本的数据；
S2：构建可配置的检测衣服关键点的深度模型，并将训练样本的数据输入深度模型，以对深度模型进行训练；
S3：利用训练后的检测关键点的深度模型对衣服图像进行分析，预测衣服图像中每个关键点的位置；
S4：根据S3中预测关键点的结果，以此提取相关局部信息，再融合全局的图片信息，再通过深度模型对衣服种类和属性进行训练、预测。
2.根据权利要求1所述的基于关键点检测的衣服种类和属性分类方法，其特征在于，所述步骤S2中深度模型包括两个卷积神经网络；
第一个深度卷积神经网络对衣服关键点位置进行学习，运用卷积神经网络的卷积层提取图像的数据的基础表达，再利用反卷积层得到与原图同样尺寸的特征图来预测各个关键点的位置；
第二个深度卷积神经网络用于融合衣服图像的局部特征和全局特征，其中，局部特征根据第一个深度卷积神经网络预测得到的关键点位置提取；
衣服图像经过第一个卷积神经网络，预测出衣服关键点的位置；再根据这些关键点，确定出与识别目标有关的局部区域，再经过第二个卷积神经网络融合局部和全局特征对衣服种类和属性进行预测，输出最终的结果。
3.根据权利要求2所述的基于关键点检测的衣服种类和属性分类方法，其特征在于，所述的第一个深度卷积神经网络由三种主要的层实现，分别是卷积层、降采样层和反卷积层；该卷积层的输入特征和输出特征的长宽一致，可保持尺度不变；最后一层输出的特征为256×256×L，其中L是关键点的个数，让输出的feature map的第k个通道预测第k个关键点的位置，对于该能通道上的每个点的响应值F(x,y,k)，令它为预测点(x,y)是第k个关键点的概率值：
采用交叉熵来训练该卷积神经网络，定义损失函数如下：
<mrow>
<mi>J</mi>
<mrow>
<mo>(</mo>
<mi>&omega;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mrow>
<msub>
<mi>batch</mi>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>z</mi>
<mi>e</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>s</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<msub>
<mi>batch</mi>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>z</mi>
<mi>e</mi>
</mrow>
</msub>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>W</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>H</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>L</mi>
</munderover>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>*</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mi> </mi>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
</mrow>
其中batchsize是输入神经网络图像的数目，H为输入图像和输出特征的高，将手工标注的点坐标记为(xg,yg)，而对于一个二维平面，在标注点邻近的点也可作为目标点，即(xg-1,yg)，(xg,yg-1)，(xg+1,yg)，(xg,yg+1)，(xg-1,yg-1)，(xg+1,yg+1)等坐标也可以作为标注坐标；
因此定义标注点(xg,yg)处的值为最大概率值1，其邻近的坐标按照一定比例线性下降，即如下公式所示，其中α为衰减因子；
Q(x,y,k)＝max(0,1-αmax(|x-xg|,|y-yg|))
再将Q(x,y,k)标准化之后，得到真实坐标的期望概率分布G(x,y,k)
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>Q</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>W</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>H</mi>
</munderover>
<mi>Q</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
这样通过神经网络的反向传播算法更新及参数值，从而学习到一个健壮的模型。
4.根据权利要求3所述的基于关键点检测的衣服种类和属性分类方法，其特征在于，所述第二个深度卷积神经网络的设计如下：
在得到关键点坐标后，可以据此确定出相关细节区域，比如左右手臂，领子区域，将这些细节区域和全局图像同时输入卷积神经网络，在最后一个卷积层输出的特征再输入element-wise average pooling层，该层的数学定义如下：
<mrow>
<msub>
<mi>o</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<mrow>
<mo>(</mo>
<msubsup>
<mi>f</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mn>1</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>f</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<mo>+</mo>
<msubsup>
<mi>f</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>N</mi>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
其中oi,j,k表示该层在位置i,j,k的响应值，分别代表第1,2,3,...,N个区域在同一位置上的响应值。
5.根据权利要求4所述的基于关键点检测的衣服种类和属性分类方法，其特征在于，所述步骤S3中还包括对关键点的检测，其过程如下：
采用平均相对误差来衡量错误
<mrow>
<mi>e</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</munderover>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>-</mo>
<mover>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>^</mo>
</mover>
<mo>|</mo>
<mo>|</mo>
</mrow>
<mrow>
<mi>k</mi>
<mo>&times;</mo>
<msub>
<mi>D</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
</mrow>
其中表示标注的第i张图的第j个点的坐标，其中表示预测第i张图的第j个点的坐标，k是关键点坐标的数量，n是测试图片的数量，Di是一个标准化项，表示左肩膀和右肩膀的距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710780963.1A CN107918780B (zh) | 2017-09-01 | 2017-09-01 | 一种基于关键点检测的衣服种类和属性分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710780963.1A CN107918780B (zh) | 2017-09-01 | 2017-09-01 | 一种基于关键点检测的衣服种类和属性分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107918780A true CN107918780A (zh) | 2018-04-17 |
| CN107918780B CN107918780B (zh) | 2021-09-03 |
Family
ID=61898750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710780963.1A Active CN107918780B (zh) | 2017-09-01 | 2017-09-01 | 一种基于关键点检测的衣服种类和属性分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107918780B (zh) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086837A (zh) * | 2018-10-24 | 2018-12-25 | 高嵩 | 基于卷积神经网络的用户属性分类方法、存储介质、装置及电子设备 |
| CN109325952A (zh) * | 2018-09-17 | 2019-02-12 | 上海宝尊电子商务有限公司 | 基于深度学习的时尚服装图像分割方法 |
| CN109344841A (zh) * | 2018-08-10 | 2019-02-15 | 北京华捷艾米科技有限公司 | 一种服装识别方法及装置 |
| CN109358628A (zh) * | 2018-11-06 | 2019-02-19 | 江苏木盟智能科技有限公司 | 一种货箱对位方法及机器人 |
| CN109523593A (zh) * | 2018-10-19 | 2019-03-26 | 北京陌上花科技有限公司 | 用于服装图像的数据处理方法及装置 |
| CN109543700A (zh) * | 2018-11-29 | 2019-03-29 | 中山大学 | 一种抗遮挡的服饰关键点检测方法 |
| CN109583584A (zh) * | 2018-11-14 | 2019-04-05 | 中山大学 | 可使具有全连接层的cnn接受不定形状输入的方法及*** |
| CN109670591A (zh) * | 2018-12-14 | 2019-04-23 | 深圳市商汤科技有限公司 | 一种神经网络的训练方法及图像匹配方法、装置 |
| CN109753938A (zh) * | 2019-01-10 | 2019-05-14 | 京东方科技集团股份有限公司 | 图像识别方法和设备及应用、神经网络的训练方法 |
| CN109784350A (zh) * | 2018-12-29 | 2019-05-21 | 天津大学 | 结合空洞卷积与级联金字塔网络的服饰关键点定位方法 |
| CN109829484A (zh) * | 2019-01-08 | 2019-05-31 | 深圳禾思众成科技有限公司 | 一种服饰分类方法、设备及计算机可读存储介质 |
| CN109938737A (zh) * | 2019-03-01 | 2019-06-28 | 苏州博慧智能科技有限公司 | 一种基于深度学习关键点检测的人体身型测量方法及装置 |
| CN110084319A (zh) * | 2019-05-07 | 2019-08-02 | 上海宝尊电子商务有限公司 | 基于深度神经网络的时尚图像服装领型识别方法与*** |
| CN110610499A (zh) * | 2019-08-29 | 2019-12-24 | 杭州光云科技股份有限公司 | 一种图像中自动裁取局部细节图的方法 |
| CN110738230A (zh) * | 2019-04-15 | 2020-01-31 | 中国石油大学(华东) | 一种基于f-cdssd的衣物识别与分类方法 |
| WO2020052169A1 (zh) * | 2018-09-12 | 2020-03-19 | 深圳云天励飞技术有限公司 | 一种服饰属性识别检测方法及装置 |
| CN110991443A (zh) * | 2019-10-29 | 2020-04-10 | 北京海益同展信息科技有限公司 | 关键点检测、图像处理方法、装置、电子设备及存储介质 |
| CN111027549A (zh) * | 2019-12-10 | 2020-04-17 | 北京服装学院 | 一种针对女上装关键点识别方法 |
| CN111104820A (zh) * | 2018-10-25 | 2020-05-05 | 中车株洲电力机车研究所有限公司 | 一种基于深度学习的手势识别方法 |
| CN111273581A (zh) * | 2020-01-23 | 2020-06-12 | 深圳市大拿科技有限公司 | 一种智能衣柜的控制方法及相关产品 |
| CN111582400A (zh) * | 2020-05-15 | 2020-08-25 | 东华大学 | 一种基于深度学习的服装图像分类模型建立方法 |
| CN111598141A (zh) * | 2020-04-26 | 2020-08-28 | 月亮小屋(中国)有限公司 | 模型训练方法、衣物洗涤方法、***、装置和介质 |
| CN111696172A (zh) * | 2019-03-12 | 2020-09-22 | 北京京东尚科信息技术有限公司 | 图像标注方法、装置、设备及存储介质 |
| CN111753641A (zh) * | 2020-05-07 | 2020-10-09 | 中山大学 | 一种基于人脸高维特征的性别预测方法 |
| CN111784845A (zh) * | 2020-06-12 | 2020-10-16 | 腾讯科技（深圳）有限公司 | 基于人工智能的虚拟试穿方法、装置、服务器及存储介质 |
| CN112581528A (zh) * | 2020-12-24 | 2021-03-30 | 广东工业大学 | 一种基于主动学习的衣物关键点辅助标注及预测优化方法 |
| CN113538573A (zh) * | 2020-04-20 | 2021-10-22 | 中移(成都)信息通信科技有限公司 | 服饰关键点定位方法、装置、电子设备及计算机存储介质 |
| CN113781556A (zh) * | 2021-08-05 | 2021-12-10 | 广州西威科智能科技有限公司 | 双向融合机制下基于多模态数据特征提取与机器人的位姿估计方法 |
| CN117036327A (zh) * | 2023-08-22 | 2023-11-10 | 广州市疾病预防控制中心(广州市卫生检验中心、广州市食品安全风险监测与评估中心、广州医科大学公共卫生研究院) | 一种防护用品检视方法、***、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160259980A1 (en) * | 2015-03-03 | 2016-09-08 | Umm Al-Qura University | Systems and methodologies for performing intelligent perception based real-time counting |
| CN106127173A (zh) * | 2016-06-30 | 2016-11-16 | 北京小白世纪网络科技有限公司 | 一种基于深度学习的人体属性识别方法 |
| CN106126579A (zh) * | 2016-06-17 | 2016-11-16 | 北京市商汤科技开发有限公司 | 物体识别方法和装置、数据处理装置和终端设备 |
| CN106202997A (zh) * | 2016-06-29 | 2016-12-07 | 四川大学 | 一种基于深度学习的细胞***检测方法 |
| CN106599830A (zh) * | 2016-12-09 | 2017-04-26 | 中国科学院自动化研究所 | 人脸关键点定位方法及装置 |
| CN106991428A (zh) * | 2017-02-24 | 2017-07-28 | 中国科学院合肥物质科学研究院 | 基于自适应池化模型的害虫图像识别方法 |
-
2017
- 2017-09-01 CN CN201710780963.1A patent/CN107918780B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160259980A1 (en) * | 2015-03-03 | 2016-09-08 | Umm Al-Qura University | Systems and methodologies for performing intelligent perception based real-time counting |
| CN106126579A (zh) * | 2016-06-17 | 2016-11-16 | 北京市商汤科技开发有限公司 | 物体识别方法和装置、数据处理装置和终端设备 |
| CN106202997A (zh) * | 2016-06-29 | 2016-12-07 | 四川大学 | 一种基于深度学习的细胞***检测方法 |
| CN106127173A (zh) * | 2016-06-30 | 2016-11-16 | 北京小白世纪网络科技有限公司 | 一种基于深度学习的人体属性识别方法 |
| CN106599830A (zh) * | 2016-12-09 | 2017-04-26 | 中国科学院自动化研究所 | 人脸关键点定位方法及装置 |
| CN106991428A (zh) * | 2017-02-24 | 2017-07-28 | 中国科学院合肥物质科学研究院 | 基于自适应池化模型的害虫图像识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZIWEI LIU 等: "DeepFashion: Powering Robust Clothes Recognition and Retrieval with Rich Annotations", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 童冰 等: "一种融合深度特征图和形态学的车牌定位方法", 《长江大学学报 （自科版）》 * |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344841A (zh) * | 2018-08-10 | 2019-02-15 | 北京华捷艾米科技有限公司 | 一种服装识别方法及装置 |
| CN109344841B (zh) * | 2018-08-10 | 2021-11-30 | 北京华捷艾米科技有限公司 | 一种服装识别方法及装置 |
| WO2020052169A1 (zh) * | 2018-09-12 | 2020-03-19 | 深圳云天励飞技术有限公司 | 一种服饰属性识别检测方法及装置 |
| CN109325952A (zh) * | 2018-09-17 | 2019-02-12 | 上海宝尊电子商务有限公司 | 基于深度学习的时尚服装图像分割方法 |
| CN109325952B (zh) * | 2018-09-17 | 2022-07-08 | 上海宝尊电子商务有限公司 | 基于深度学习的时尚服装图像分割方法 |
| CN109523593A (zh) * | 2018-10-19 | 2019-03-26 | 北京陌上花科技有限公司 | 用于服装图像的数据处理方法及装置 |
| CN109086837A (zh) * | 2018-10-24 | 2018-12-25 | 高嵩 | 基于卷积神经网络的用户属性分类方法、存储介质、装置及电子设备 |
| CN111104820A (zh) * | 2018-10-25 | 2020-05-05 | 中车株洲电力机车研究所有限公司 | 一种基于深度学习的手势识别方法 |
| CN109358628A (zh) * | 2018-11-06 | 2019-02-19 | 江苏木盟智能科技有限公司 | 一种货箱对位方法及机器人 |
| CN109583584B (zh) * | 2018-11-14 | 2020-07-10 | 中山大学 | 可使具有全连接层的cnn接受不定形状输入的方法及*** |
| CN109583584A (zh) * | 2018-11-14 | 2019-04-05 | 中山大学 | 可使具有全连接层的cnn接受不定形状输入的方法及*** |
| CN109543700B (zh) * | 2018-11-29 | 2022-12-02 | 中山大学 | 一种抗遮挡的服饰关键点检测方法 |
| CN109543700A (zh) * | 2018-11-29 | 2019-03-29 | 中山大学 | 一种抗遮挡的服饰关键点检测方法 |
| CN109670591B (zh) * | 2018-12-14 | 2022-09-27 | 深圳市商汤科技有限公司 | 一种神经网络的训练方法及图像匹配方法、装置 |
| CN109670591A (zh) * | 2018-12-14 | 2019-04-23 | 深圳市商汤科技有限公司 | 一种神经网络的训练方法及图像匹配方法、装置 |
| CN109784350A (zh) * | 2018-12-29 | 2019-05-21 | 天津大学 | 结合空洞卷积与级联金字塔网络的服饰关键点定位方法 |
| CN109829484A (zh) * | 2019-01-08 | 2019-05-31 | 深圳禾思众成科技有限公司 | 一种服饰分类方法、设备及计算机可读存储介质 |
| CN109753938A (zh) * | 2019-01-10 | 2019-05-14 | 京东方科技集团股份有限公司 | 图像识别方法和设备及应用、神经网络的训练方法 |
| US11244151B2 (en) | 2019-01-10 | 2022-02-08 | Boe Technology Group Co., Ltd. | Computer-implemented method of recognizing facial expression, apparatus for recognizing facial expression, method of pre-training apparatus for recognizing facial expression, computer-program product for recognizing facial expression |
| CN109938737A (zh) * | 2019-03-01 | 2019-06-28 | 苏州博慧智能科技有限公司 | 一种基于深度学习关键点检测的人体身型测量方法及装置 |
| CN111696172A (zh) * | 2019-03-12 | 2020-09-22 | 北京京东尚科信息技术有限公司 | 图像标注方法、装置、设备及存储介质 |
| CN110738230A (zh) * | 2019-04-15 | 2020-01-31 | 中国石油大学(华东) | 一种基于f-cdssd的衣物识别与分类方法 |
| CN110084319A (zh) * | 2019-05-07 | 2019-08-02 | 上海宝尊电子商务有限公司 | 基于深度神经网络的时尚图像服装领型识别方法与*** |
| CN110084319B (zh) * | 2019-05-07 | 2023-06-30 | 上海宝尊电子商务有限公司 | 基于深度神经网络的时尚图像服装领型识别方法与*** |
| CN110610499B (zh) * | 2019-08-29 | 2020-10-20 | 杭州光云科技股份有限公司 | 一种图像中自动裁取局部细节图的方法 |
| CN110610499A (zh) * | 2019-08-29 | 2019-12-24 | 杭州光云科技股份有限公司 | 一种图像中自动裁取局部细节图的方法 |
| CN110991443A (zh) * | 2019-10-29 | 2020-04-10 | 北京海益同展信息科技有限公司 | 关键点检测、图像处理方法、装置、电子设备及存储介质 |
| CN111027549A (zh) * | 2019-12-10 | 2020-04-17 | 北京服装学院 | 一种针对女上装关键点识别方法 |
| CN111273581B (zh) * | 2020-01-23 | 2021-11-09 | 深圳市大拿科技有限公司 | 一种智能衣柜的控制方法及相关产品 |
| CN111273581A (zh) * | 2020-01-23 | 2020-06-12 | 深圳市大拿科技有限公司 | 一种智能衣柜的控制方法及相关产品 |
| CN113538573A (zh) * | 2020-04-20 | 2021-10-22 | 中移(成都)信息通信科技有限公司 | 服饰关键点定位方法、装置、电子设备及计算机存储介质 |
| CN111598141A (zh) * | 2020-04-26 | 2020-08-28 | 月亮小屋(中国)有限公司 | 模型训练方法、衣物洗涤方法、***、装置和介质 |
| CN111753641A (zh) * | 2020-05-07 | 2020-10-09 | 中山大学 | 一种基于人脸高维特征的性别预测方法 |
| CN111753641B (zh) * | 2020-05-07 | 2023-07-18 | 中山大学 | 一种基于人脸高维特征的性别预测方法 |
| CN111582400A (zh) * | 2020-05-15 | 2020-08-25 | 东华大学 | 一种基于深度学习的服装图像分类模型建立方法 |
| CN111784845A (zh) * | 2020-06-12 | 2020-10-16 | 腾讯科技（深圳）有限公司 | 基于人工智能的虚拟试穿方法、装置、服务器及存储介质 |
| CN111784845B (zh) * | 2020-06-12 | 2023-05-30 | 腾讯科技（深圳）有限公司 | 基于人工智能的虚拟试穿方法、装置、服务器及存储介质 |
| CN112581528A (zh) * | 2020-12-24 | 2021-03-30 | 广东工业大学 | 一种基于主动学习的衣物关键点辅助标注及预测优化方法 |
| CN112581528B (zh) * | 2020-12-24 | 2023-09-22 | 广东工业大学 | 一种基于主动学习的衣物关键点辅助标注及预测优化方法 |
| CN113781556A (zh) * | 2021-08-05 | 2021-12-10 | 广州西威科智能科技有限公司 | 双向融合机制下基于多模态数据特征提取与机器人的位姿估计方法 |
| CN117036327A (zh) * | 2023-08-22 | 2023-11-10 | 广州市疾病预防控制中心(广州市卫生检验中心、广州市食品安全风险监测与评估中心、广州医科大学公共卫生研究院) | 一种防护用品检视方法、***、设备及介质 |
| CN117036327B (zh) * | 2023-08-22 | 2024-03-12 | 广州市疾病预防控制中心(广州市卫生检验中心、广州市食品安全风险监测与评估中心、广州医科大学公共卫生研究院) | 一种防护用品检视方法、***、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107918780B (zh) | 2021-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107918780A (zh) | 一种基于关键点检测的衣服种类和属性分类方法 | |
| Li et al. | Automatic fabric defect detection with a wide-and-compact network | |
| CN106682633B (zh) | 基于机器视觉的粪便镜检图像有形成分的分类识别方法 | |
| Wang et al. | Research on face recognition based on CNN | |
| CN104778464B (zh) | 一种基于深度卷积神经网络的服装定位检测方法 | |
| Malinverni et al. | Hybrid object-based approach for land use/land cover mapping using high spatial resolution imagery | |
| CN107680678A (zh) | 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断*** | |
| CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
| CN109598224A (zh) | 基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法 | |
| CN107909015A (zh) | 基于卷积神经网络及空谱信息融合的高光谱图像分类方法 | |
| CN107977671A (zh) | 一种基于多任务卷积神经网络的舌象分类方法 | |
| CN110033440A (zh) | 基于卷积神经网络与特征融合的生物细胞计数方法 | |
| CN106529499A (zh) | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 | |
| CN108109160A (zh) | 一种基于深度学习的免交互式GrabCut舌体分割方法 | |
| Russel et al. | Leaf species and disease classification using multiscale parallel deep CNN architecture | |
| CN107808375B (zh) | 融合多种上下文深度学习模型的水稻病害图像检测方法 | |
| CN110363253A (zh) | 一种基于卷积神经网络的热轧带钢表面缺陷分类方法 | |
| CN109670066A (zh) | 一种基于双路径深层语义网络的手绘式服装商品图像检索方法 | |
| CN109558902A (zh) | 一种快速目标检测方法 | |
| CN107451565A (zh) | 一种半监督小样本深度学习图像模式分类识别方法 | |
| CN107292314A (zh) | 一种基于cnn的鳞翅目昆虫种类自动鉴别方法 | |
| CN107767416A (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
| CN110647906A (zh) | 基于Faster R-CNN方法的服饰目标检测方法 | |
| CN108256462A (zh) | 一种商场监控视频中的人数统计方法 | |
| CN110334656A (zh) | 基于信源概率加权的多源遥感图像水体提取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |