CN109145947A - 一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法 - Google Patents

一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法 Download PDF

Info

Publication number
CN109145947A
CN109145947A CN201810784023.4A CN201810784023A CN109145947A CN 109145947 A CN109145947 A CN 109145947A CN 201810784023 A CN201810784023 A CN 201810784023A CN 109145947 A CN109145947 A CN 109145947A
Authority
CN
China
Prior art keywords
image
feature
model
fashionable women
dress
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810784023.4A
Other languages
English (en)
Other versions
CN109145947B (zh
Inventor
刘骊
吴苗苗
付晓东
黄青松
刘利军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201810784023.4A priority Critical patent/CN109145947B/zh
Publication of CN109145947A publication Critical patent/CN109145947A/zh
Application granted granted Critical
Publication of CN109145947B publication Critical patent/CN109145947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法，属于计算机视觉及图像应用领域。本发明首先对输入的时尚女装待分类图像和训练集中图像进行身体部位的部件检测；其次，分别提取检测后的时尚女装图像，并训练时尚女装图像的HOG、LBP、颜色直方图和边缘算子4种底层特征，得到特征提取后的图像；然后，将定义的视觉特征描述符与提取到的4种底层特征进行匹配，采用多类SVM监督学习训练细粒度分类器模型；最后，通过训练后的细粒度分类器，对特征提取的时尚女装图像实现细粒度分类，输出时尚女装图像的分类结果。本发明采用的检测和分类方法具有较高的准确率。

Description

一种基于部件检测和视觉特征的时尚女装图像细粒度分类 方法
技术领域
本发明涉及一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法，属于计算机视觉及图像应用领域。
背景技术
网络购物受到了人们的极大欢迎，呈现出普及化、全球化、移动化的发展趋势，使得时尚服装分类成为越来越热门的话题，时尚服装分类在电子商务等领域得到广泛应用。因此，时尚服装分类也出现了很多改进的方法，其中包括最为经典的词包模型，基于深度学习的时尚服装分类方法以及基于随机森林、SVM(Support Vector Machine，支持向量机，简称SVM)、CNN(Convolutional Neural Network，卷积神经网络，简称CNN)等方法。公知方法大多都是针对时尚服装图像的粗粒度分类，缺少相似款式类别之间的分析，无法实现更精细的划分和多层次分类。由于时尚女装款式多样，不同于粗粒度的分类任务,时尚女装细粒度图像的类别精度更细致,款式类别间差异更细微,往往只能借助于微小的局部差异才能区分出不同的款式。此外，细粒度图像的信噪比很小,含有足够区分度的信息存在于很细小的局部区域中。因此，如何找到并有效利用有用的局部区域信息，更精细、准确、高效地实现时尚女装图像细粒度分类，具有重要的理论意义和实用价值。已有的公知方法中，如Berg(<POOF:Part-Based One-vs.-One Features for Fine-Grained Categorization,FaceVerification,and Attribute Estimation>，2013:955-962.)提出的基于部位的一对一特征的POOFs方法可以自动地从一组特定领域并带有特定位置和类别标注的图像集中学习大量不同的具有高区分性的中级特征。每一个特征都能够根据对象特定位置的表观特征来区分两个不同的类。Bossard(<Apparel classification with style>,2012,321-335.)针对在自然场景中如何识别和分类时尚服装提出了一个完整的方法，其关键是采用多个基于随机森林学习，并用有强大识别能力的学习者作为决策节点，同时也将随机森林扩展成拥有能够对不同领域转换的迁移森林。Cui(<Fine-Grained Categorization and DatasetBootstrapping Using Deep Metric Learning with Humans in the Loop>,2015:1153-1162)提出基于深度度量学习的通用迭代框架用于细粒度分类的，以学习嵌入到每个类别上锚点的低维特征。Zhang(<Weakly Supervised Fine-Grained Categorization WithPart-Based Image Representation>,2016,25(4):1713-1725.)提出了一个易于部署的细粒度图像分类***，其在训练或在测试阶段不使用任何对象或部分注释，而只使用训练图像的类标签。
综上所述，虽然时尚服装图像的分类方法的实现途径有很多，但由于服装款式多样、纹理和配饰多变、且服装柔性易变形，使得服装本身的样式发生变化，这些因素给分类识别带来了很大困难。公知方法中仍然存在一定的缺陷与局限性，而且由于拍摄场景及人体姿态众多，使得如何检测人体不同区域显得尤为重要。在特征提取及分类方面，公知方法大多基于颜色、纹理等底层特征来实现特征提取，不能很好利用局部信息，对于时尚服装之间细微的款式类间和类内差异的特征提取存在一定的局限性，只能实现时尚服装的粗粒度分类。
发明内容
本发明涉及一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法，以适应不同姿势和视角变换的身体部位检测，满足电子商务用途中时尚女装图像的细粒度分类。
本发明的技术方案是：一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法，包括如下步骤：Step1对输入的训练时尚女装图像T和待分类的时尚女装图像I，采用改进的DPM模型对不同姿态和视角下的人体部位进行部件检测；首先，对训练时尚女装图像T和待分类的时尚女装图像I提取HOG((Histogram of Oriented Gradient，方向梯度直方图，简称HOG)并进行归一化后得到DPM(Deformable Part Model，可变形的组件模型，简称DPM)特征；其次，根据人体姿态、视角调整DPM人体检测模型，将人体检测模型分为根模型和部件模型；然后，根据DPM特征分别计算根模型和部件模型的响应得分，进行响应变换计算目标假设得分，得到最优位置从而计算目标每个根位置的综合响应得分，最终得到检测结果。
改进的DPM模型由一个根模型和若干部件模型组成，n个部件的物体模型表示为一个(n+2)元组(F0,P1,...Pi,...Pn,b)，其中F0是根滤波器，Pi是第i个部件的模型，b是一个偏离损失系数，在l0尺度层,以(x0,y0)为锚点的响应得分为：
其中，为根模型的响应得分，vi是一个二维向量，用于指定第i个滤波器的锚点位置(即未发生形变时的标准位置)相对于根位置的坐标，为n个部件模型的响应得分，λ是在特征金字塔中以两倍分辨率计算的特征映射的级别数；
计算响应得分后，转换部件滤波器的响应并考虑空间不确定性，响应变换计算公式如下：
其中，(x,y)为第i个部件模型在尺度层的理想位置，l是特征金字塔H的级别数，(dx,dy)为相对(x,y)的偏移量，Ri,l(x+dx,y+dy)为部件模型在(x+dx,y+dy)处的匹配得分，di.φd(dx,dy)为偏移(dx,dy)所损失的得分，φd(dx,dy)＝(dx,dy,dx2,dy2)为DPM特征，di为偏移损失系数，，是模型训练时需要学习的参数模型初始化时，di＝(0,0,1,1)即偏移损失为偏移量相对理想位置的欧氏距离；
每个目标假设都指定了模型中每个滤波器在特征金字塔H中的位置：z＝(p0,...,pn)，pi＝(xi,yi,li)是第i个滤波器所在的层和位置坐标，目标假设的得分计算如下：
其中Fi'.φ(H,pi)是第i个滤波器的得分，φ(H,pi)是特征金字塔H的特征向量，Fi'是连接第i个滤波器中的权重向量而获得的向量，(dxi,dyi)＝(xi,yi)-(2(x0,y0)+vi)给出了第i个滤波器所在位置相对于其锚点位置的位移，通过目标假设得分得到最优位置，根据最优位置计算每个根位置的综合响应得分：
通过每个根位置的综合响应得分检测目标的多个实例，得到检测结果。
Step2分别提取检测后的训练时尚女装图像T'和待分类的时尚女装图像I'的HOG、LBP(Local Binary Pattern，局部二值模式)、颜色直方图和边缘算子4种底层特征，得到特征提取后的训练时尚女装图像T”和待分类的时尚女装图像I”。
Step3将定义的视觉特征描述符与提取到的4种底层特征进行匹配，采用多类SVM监督学习训练细粒度分类器模型；首先将时尚女装分为上身女装和下身女装，其中，上身服装分为14种款式，下身服装分为6种款式，全身服装款式分为3种款式，按照不同属性(如衣领、袖子、袖型、颜色、样式图案等)进行属性标注；其次，通过定义视觉特征描述符对时尚女装图像的款式以及属性进行描述，然后将视觉特征描述符与step2提取到的4种底层特征进行特征匹配，其中视觉特征描述符分为上身视觉特征描述符、下身视觉特征描述符和全局特征描述符；最后通过随机森林和多类SVM方法监督学习对特征提取后的训练时尚女装图像T”进行训练，得到款式和属性的细粒度分类器。
Step4通过训练后的细粒度分类器，对特征提取过的时尚女装图像I”实现细粒度分类，输出时尚女装图像的分类结果。
本发明的有益效果是：
1、公知的时尚服装图像的检测方法主要是针对理想场景下的时尚服装图像进行检测，但由于拍摄场景及拍照姿势以及光照、遮挡等多因素干扰，因此具有一定的局限性。本发明采用改进的DPM模型的基于人体身体部位的部件检测，能够较好适应不同场景、不同姿态和视角变换的人体部位检测。
2、公知的特征提取方法大多基于颜色特征和全局特征，特征属性比较单一，无法获得细粒度重要的局部特征和属性。本发明通过定义的视觉属性描述符，该描述符分为上身视觉特征描述符、下身视觉特征描述符和全局特征描述符。将视觉特征描述符与提取到的训练时尚女装图像的4种底层特征进行特征匹配，提高了视觉特征提取和表示的准确率。
3、公知的时尚服装分类方法大多基于SVM分类器，然而传统的SVM分类器在细粒度图像分类中存在一定的局限性，本发明中对已定义过的不同时尚服装属性分别进行监督学习，建立时尚女装图像的细粒度分类器模型，并通过采用随机森林和SVM结合对特征提取的时尚女装图像实现细粒度分类，输出时尚女装图像的分类结果，具有较高的分类准确率。
附图说明
图1为本发明的流程图；
图2为本发明中流程图实例图；
图3为本发明中时尚女装底层特征提取示例图；
图4为本发明中时尚女装属性图；
图5为本发明中时尚女装分类效果图；
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明。
实施例1：如图1-2所示，一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法，首先对输入的待分类时尚女装图像和时尚女装训练集中的时尚女装图像进行身体部位的部件检测；其次，分别提取部件检测后的时尚女装图像以及训练时尚女装图像的HOG、LBP、颜色直方图和边缘算子4种底层特征，得到特征提取后的图像；然后，将定义的视觉特征描述符与提取到的4种底层特征进行匹配，采用随机森林和多类SVM监督学习训练细粒度分类器模型；最后，通过训练后的细粒度分类器，对特征提取的时尚女装图像实现细粒度分类，输出时尚女装图像的分类结果。
具体步骤如下：
Step1对输入的训练时尚女装图像T和待分类的时尚女装图像I，采用改进的DPM模型对不同姿态和视角下的人体部位进行部件检测；首先，对训练时尚女装图像T和待分类的时尚女装图像I提取HOG并进行归一化后得到DPM特征；其次，根据人体姿态、视角调整DPM人体检测模型，将人体检测模型分为根模型和部件模型；然后，根据DPM特征分别计算根模型和部件模型的响应得分，进行响应变换计算目标假设得分，得到最优位置从而计算目标每个根位置的综合响应得分，最终得到检测结果；
Step2分别提取检测后的训练时尚女装图像T'和待分类的时尚女装图像I'的HOG、LBP、颜色直方图和边缘算子4种底层特征，得到特征提取后的训练时尚女装图像T”和待分类的时尚女装图像I”；
Step3将定义的视觉特征描述符与提取到的4种底层特征进行匹配，采用多类SVM监督学习训练细粒度分类器模型；首先将时尚女装分为上身女装和下身女装，其中，上身服装分为14种款式，下身服装分为6种款式，全身服装款式分为3种款式，按照不同属性进行属性标注；其次，通过定义视觉特征描述符对时尚女装图像的款式以及属性进行描述，然后将视觉特征描述符与step2提取到的4种底层特征进行特征匹配；最后通过随机森林和多类SVM方法监督学习对特征提取后的训练时尚女装图像T”进行训练，得到款式和属性的细粒度分类器；
Step4通过训练后的细粒度分类器，对特征提取过的时尚女装图像I”实现细粒度分类，输出时尚女装图像的分类结果。
实施例2：其中改进的DPM模型由一个根模型和若干部件模型组成，n个部件的物体模型表示为一个(n+2)元组(F0,P1,...Pi,...Pn,b)，其中F0是根滤波器，Pi是第i个部件的模型，b是一个偏离损失系数，在l0尺度层,以(x0,y0)为锚点的响应得分为：
其中，为根模型的响应得分，vi是一个二维向量，用于指定第i个滤波器的锚点位置(即未发生形变时的标准位置)相对于根位置的坐标，为n个部件模型的响应得分，λ是在特征金字塔中以两倍分辨率计算的特征映射的级别数；
计算响应得分后，转换部件滤波器的响应并考虑空间不确定性，响应变换计算公式如下：
其中，(x,y)为第i个部件模型在尺度层的理想位置，l是特征金字塔H的级别数，(dx,dy)为相对(x,y)的偏移量，Ri,l(x+dx,y+dy)为部件模型在(x+dx,y+dy)处的匹配得分，di.φd(dx,dy)为偏移(dx,dy)所损失的得分，φd(dx,dy)＝(dx,dy,dx2,dy2)为DPM特征，di为偏移损失系数，，是模型训练时需要学习的参数模型初始化时，di＝(0,0,1,1)即偏移损失为偏移量相对理想位置的欧氏距离；
每个目标假设都指定了模型中每个滤波器在特征金字塔H中的位置：z＝(p0,...,pn)，pi＝(xi,yi,li)是第i个滤波器所在的层和位置坐标，目标假设的得分计算如下：
其中Fi'.φ(H,pi)是第i个滤波器的得分，φ(H,pi)是特征金字塔H的特征向量，Fi'是连接第i个滤波器中的权重向量而获得的向量，(dxi,dyi)＝(xi,yi)-(2(x0,y0)+vi)给出了第i个滤波器所在位置相对于其锚点位置的位移，通过目标假设得分得到最优位置，根据最优位置计算每个根位置的综合响应得分：
通过每个根位置的综合响应得分检测目标的多个实例，得到检测结果。
如图3所示，本发明中分别提取部件检测后的训练时尚女装图像T'和待分类的时尚女装图像I'的HOG、LBP、颜色直方图和边缘算子4种底层特征，得到特征提取后的训练时尚女装图像T”和待分类的时尚女装图像I”。
利用PCA降维方法对特征进行降维，首先计算各个维度上特征向量的均值，并把各个维度上的特征值减去均值。然后求解协方差矩阵及该矩阵的特征向量和特征值，并保证特征向量是单位向量，再将高维度下的特征向量当做主成分，按照特征值提取出对应的特征向量。最后选择合适的主成分覆盖比例，为了保证信息损失最小，删除相对分散的特征点，增加整体可信度。通常设置保留百分值为94％，可以最大限度保留特征信息。
如表1、表2和图4所示，步骤3的具体内容为首先将时尚女装分为上身女装和下身女装，其中，上身服装分为14种款式，下身服装分为6种款式，全身服装分为3种款式；按照时尚女装不同属性(如衣领、袖子、袖型、颜色、样式图案等)进行属性标注。
表1时尚女装款式表
表2时尚女装属性表
其次，如表3所示，通过定义视觉特征描述符对时尚女装图像的款式以及属性进行描述，该描述符分为上身视觉特征描述符、下身视觉特征描述符和全局特征描述符。
然后将视觉特征描述符与step2提取到的4种底层特征进行特征匹配。
针对不同款式以及属性，本发明定义一系列视觉特征描述符对时尚女装图像的款式以及属性进行描述，分为上身视觉特征描述符、下身视觉特征描述符和全局特征描述符。其中，上身特征描述符分为衣领类型、袖子类型3种，下身特征描述符分为长度类型、褶皱类型、宽度类型3种，全局特征描述符有样式特征1种。特征提取过程中将视觉特征与底层特征匹配起来，提高特征提取的有效性。
表3时尚女装视觉特征描述符表
其中，τ表示躯干，中的m表示检测的衣领边角的数量，Aτ表示躯干τ上的像素数量，中D(Ik,Ig)是不同颜色像素Ik，Ii之间的颜色距离度量，中Rc表示衣领边缘，中表示第j个被检测到的衣领边角的标准位置，中nA表示检测到的手臂区域的像素数量，fl中ll表示下装的长度，和分别表示左、右腿的长度，fr中nw表示下装起皱像素的数量，Al表示下装检测到的全部像素数量，ft中nv表示下装垂直线像素的数量，中 分别是下装三个部分的宽度，wω是腰部区域的宽度。
最后通过随机森林(RF)和多类SVM算法根据已定义过的不同款式和属性分别进行监督学习，建立细粒度分类器模型。随机森林是T决策树的集合，其中每棵树被训练成在每个节点级别最大化信息增益，量化为以下形式：
其中，H(x)是样本集x的熵，t是将x分成子集合xl和xr的二进制测试，类别预测由平均叶子分布的类执行，L＝(l1,......lT)是所有树上的叶子节点。本发明使用强二进制SVM的区分性学习者作为***决策函数t，如果x∈Rd是一个d维的输入向量，w是训练好的SVM权向量。SVM节点将wTx＜0的所有样本分割为左侧，将所有其他样本分别分割到右侧的子节点。在训练时，几个二进制类分区是随机生成的。对于每个分组，线性SVM被训练用于随机选择的特征通道。最后，最大化多级信息增益L(x,w)的***，测量选择真实的标签作为***函数，从而得到训练的时尚女装款式细粒度分类器。
此外，多类SVM监督学习中运用了one-vs-all方法对每一种细粒度属性进行训练.根据定义的47种时尚女装属性构造47个两类分类器,其中第h个分类器把第i类同余下的各类划分开,训练时第h个分类器取训练集中第h类为正类,其余类别点为负类进行训练.对于一个需要分类的数据x,将使用投票的方式来确定x的类别.假设分类器h对数据x进行预测,如果获得的是正类结果,则用分类器h对x进行分类的结果是:x属于h类,类h获得一票.如果获得的是负类结果,则x属于h类以外的其它类.因此,除h以外的每个类都获得一票.最后统计得票最多的类是x的类属性,以训练时尚女装属性细粒度分类器。
通过随机森林和多类SVM方法监督学习对特征提取后的训练时尚女装图像T”进行训练，得到款式和属性的细粒度分类器模型。
如图5所示，通过训练后的细粒度分类器，对特征提取过的时尚女装图像I”实现细粒度分类，输出时尚女装图像的分类结果，检测结果以检测框的形式显示，款式和属性以单独的不同标签在分类结果中显示。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (3)

1.一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法，其特征在于：包括如下步骤：
Step1对输入的训练时尚女装图像T和待分类的时尚女装图像I，采用改进的DPM模型对不同姿态和视角下的人体部位进行部件检测；首先，对训练时尚女装图像T和待分类的时尚女装图像I提取HOG并进行归一化后得到DPM特征；其次，根据人体姿态、视角调整DPM人体检测模型，将人体检测模型分为根模型和部件模型；然后，根据DPM特征分别计算根模型和部件模型的响应得分，进行响应变换计算目标假设得分，得到最优位置从而计算目标每个根位置的综合响应得分，最终得到检测结果；
Step2分别提取检测后的训练时尚女装图像T'和待分类的时尚女装图像I'的HOG、LBP、颜色直方图和边缘算子4种底层特征，得到特征提取后的训练时尚女装图像T”和待分类的时尚女装图像I”；
Step3将定义的视觉特征描述符与提取到的4种底层特征进行匹配，采用多类SVM监督学习训练细粒度分类器模型；首先将时尚女装分为上身女装和下身女装，其中，上身服装分为14种款式，下身服装分为6种款式，全身服装款式分为3种款式，按照不同属性进行属性标注；其次，通过定义视觉特征描述符对时尚女装图像的款式以及属性进行描述，然后将视觉特征描述符与step2提取到的4种底层特征进行特征匹配；最后通过随机森林和多类SVM方法监督学习对特征提取后的训练时尚女装图像T”进行训练，得到款式和属性的细粒度分类器；
Step4通过训练后的细粒度分类器，对特征提取过的时尚女装图像I”实现细粒度分类，输出时尚女装图像的分类结果。
2.根据权利要求1所述的基于部件检测和视觉特征的时尚女装图像细粒度分类方法，其特征在于：所述Step1中改进的DPM模型由一个根模型和若干部件模型组成，n个部件的物体模型表示为一个(n+2)元组(F0,P1,...Pi,...Pn,b)，其中F0是根滤波器，Pi是第i个部件的模型，b是一个偏离损失系数，在l0尺度层,以(x0,y0)为锚点的响应得分为：
其中，Ro,l0(x0,y0)为根模型的响应得分，vi是一个二维向量，用于指定第i个滤波器的锚点位置相对于根位置的坐标，为n个部件模型的响应得分，λ是在特征金字塔中以两倍分辨率计算的特征映射的级别数；
计算响应得分后，转换部件滤波器的响应并考虑空间不确定性，响应变换计算公式如下：
其中，(x,y)为第i个部件模型在尺度层的理想位置，l是特征金字塔H的级别数，(dx,dy)为相对(x,y)的偏移量，Ri,l(x+dx,y+dy)为部件模型在(x+dx,y+dy)处的匹配得分，di.φd(dx,dy)为偏移(dx,dy)所损失的得分，φd(dx,dy)＝(dx,dy,dx2,dy2)为DPM特征，di为偏移损失系数，模型初始化时，di＝(0,0,1,1)即偏移损失为偏移量相对理想位置的欧氏距离；
每个目标假设都指定了模型中每个滤波器在特征金字塔H中的位置：z＝(p0,...,pn)，pi＝(xi,yi,li)是第i个滤波器所在的层和位置坐标，目标假设的得分计算如下：
其中Fi'.φ(H,pi)是第i个滤波器的得分，φ(H,pi)是特征金字塔H的特征向量，Fi'是连接第i个滤波器中的权重向量而获得的向量，(dxi,dyi)＝(xi,yi)-(2(x0,y0)+vi)给出了第i个滤波器所在位置相对于其锚点位置的位移，通过目标假设得分得到最优位置，根据最优位置计算每个根位置的综合响应得分：
通过每个根位置的综合响应得分检测目标的多个实例，得到检测结果。
3.根据权利要求1所述的基于部件检测和视觉特征的时尚女装图像细粒度分类方法，其特征在于：所述Step3中的视觉特征描述符分为上身视觉特征描述符、下身视觉特征描述符和全局特征描述符，并相应的与Step2中的4种底层特征进行特征匹配；
所述上身特征描述符用于描述衣领和袖子，包括衣领边缘上边角的百分比衣领边缘上所有边角的x变量衣领边缘上所有边角的y变量手臂区域像素点的百分比这四种特征描述符都与HOG、Roberts边缘算子特征进行匹配；
所述下身特征描述符用于描述长度、褶皱和宽度，包括腿长与下装长度的比例下装区域皱的百分比fr＝(nw/Al)，下装区域竖直线的百分比ft＝(nv/Al)，下装与腰部区域宽度的比例 这四种特征描述符都与HOG、Roberts边缘算子特征进行匹配；
所述全局特征描述符用于描述样式，包括区域内边角的密度区域内颜色方差的总体显著性区域内边角的密度匹配LBP特征，区域内颜色方差的总体显著性匹配颜色直方图特征；
其中m表示检测的衣领边角的数量，Rc表示衣领边缘，中表示第j个被检测到的衣领边角的标准位置，nA表示检测到的手臂区域的像素数量，τ表示躯干，Aτ表示躯干τ上的像素数量，ll表示下装的长度，和分别表示左、右腿的长度，nw表示下装起皱像素的数量，Al表示下装检测到的全部像素数量，nv表示下装垂直线像素的数量，分别是下装三个部分的宽度，wω是腰部区域的宽度，D(Ik,Ig)是不同颜色像素Ik，Ig之间的颜色距离度量。
CN201810784023.4A 2018-07-17 2018-07-17 一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法 Active CN109145947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810784023.4A CN109145947B (zh) 2018-07-17 2018-07-17 一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810784023.4A CN109145947B (zh) 2018-07-17 2018-07-17 一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法

Publications (2)

Publication Number Publication Date
CN109145947A true CN109145947A (zh) 2019-01-04
CN109145947B CN109145947B (zh) 2022-04-12

Family

ID=64800777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810784023.4A Active CN109145947B (zh) 2018-07-17 2018-07-17 一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法

Country Status (1)

Country Link
CN (1) CN109145947B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136100A (zh) * 2019-04-16 2019-08-16 华南理工大学 Ct切片图像的自动分类方法和装置
CN110738233A (zh) * 2019-08-28 2020-01-31 北京奇艺世纪科技有限公司 模型训练、数据分类方法、装置、电子设备及存储介质
CN111508042A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 生成脚踏车骑手用安全衣服图案的方法及装置
CN113869371A (zh) * 2021-09-03 2021-12-31 深延科技(北京)有限公司 模型训练方法、服装细粒度分割方法及相关装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819566A (zh) * 2012-07-17 2012-12-12 杭州淘淘搜科技有限公司 一种商品图像跨类目检索方法
CN104978762A (zh) * 2015-07-13 2015-10-14 北京航空航天大学 服装三维模型生成方法及***
CN105069466A (zh) * 2015-07-24 2015-11-18 成都市高博汇科信息科技有限公司 基于数字图像处理的行人服饰颜色识别方法
CN105373783A (zh) * 2015-11-17 2016-03-02 高新兴科技集团股份有限公司 基于混合多尺度可变形部件模型的未系安全带检测方法
CN105488490A (zh) * 2015-12-23 2016-04-13 天津天地伟业数码科技有限公司 基于视频的审判员着装检测方法
CN106021603A (zh) * 2016-06-20 2016-10-12 昆明理工大学 一种基于分割和特征匹配的服装图像检索方法
CN106022375A (zh) * 2016-05-19 2016-10-12 东华大学 一种基于hu不变矩和支持向量机的服装款式识别方法
WO2016168235A1 (en) * 2015-04-17 2016-10-20 Nec Laboratories America, Inc. Fine-grained image classification by exploring bipartite-graph labels
CN106203313A (zh) * 2016-07-05 2016-12-07 昆明理工大学 一种基于图像内容的服装分类和推荐方法
CN106295693A (zh) * 2016-08-05 2017-01-04 深圳云天励飞技术有限公司 一种图像识别方法及装置
CN107368832A (zh) * 2017-07-26 2017-11-21 中国华戎科技集团有限公司 基于图像的目标检测及分类方法
CN107729908A (zh) * 2016-08-10 2018-02-23 阿里巴巴集团控股有限公司 一种机器学习分类模型的建立方法、装置及***
US9959480B1 (en) * 2015-06-03 2018-05-01 Amazon Technologies, Inc. Pixel-structural reference image feature extraction

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819566A (zh) * 2012-07-17 2012-12-12 杭州淘淘搜科技有限公司 一种商品图像跨类目检索方法
WO2016168235A1 (en) * 2015-04-17 2016-10-20 Nec Laboratories America, Inc. Fine-grained image classification by exploring bipartite-graph labels
US9959480B1 (en) * 2015-06-03 2018-05-01 Amazon Technologies, Inc. Pixel-structural reference image feature extraction
CN104978762A (zh) * 2015-07-13 2015-10-14 北京航空航天大学 服装三维模型生成方法及***
CN105069466A (zh) * 2015-07-24 2015-11-18 成都市高博汇科信息科技有限公司 基于数字图像处理的行人服饰颜色识别方法
CN105373783A (zh) * 2015-11-17 2016-03-02 高新兴科技集团股份有限公司 基于混合多尺度可变形部件模型的未系安全带检测方法
CN105488490A (zh) * 2015-12-23 2016-04-13 天津天地伟业数码科技有限公司 基于视频的审判员着装检测方法
CN106022375A (zh) * 2016-05-19 2016-10-12 东华大学 一种基于hu不变矩和支持向量机的服装款式识别方法
CN106021603A (zh) * 2016-06-20 2016-10-12 昆明理工大学 一种基于分割和特征匹配的服装图像检索方法
CN106203313A (zh) * 2016-07-05 2016-12-07 昆明理工大学 一种基于图像内容的服装分类和推荐方法
CN106295693A (zh) * 2016-08-05 2017-01-04 深圳云天励飞技术有限公司 一种图像识别方法及装置
CN107729908A (zh) * 2016-08-10 2018-02-23 阿里巴巴集团控股有限公司 一种机器学习分类模型的建立方法、装置及***
CN107368832A (zh) * 2017-07-26 2017-11-21 中国华戎科技集团有限公司 基于图像的目标检测及分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
PAN HUO 等: "A Part-Based and Feature Fusion Method for Clothing Classification", 《PCM 2016: ADVANCES IN MULTIMEDIA INFORMATION PROCESSING》 *
SI LIU 等: "Street-to-Shop: Cross-Scenario Clothing Retrieval via Parts Alignment and Auxiliary Set", 《2012 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
王安琪 等: "面向个性化服装推荐的判断优化模型", 《计算机工程与应用》 *
黄冬艳 等: "联合分割和特征匹配的服装图像检索", 《计算机辅助设计与图形学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111508042A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 生成脚踏车骑手用安全衣服图案的方法及装置
CN111508042B (zh) * 2019-01-31 2023-08-18 斯特拉德视觉公司 生成脚踏车骑手用安全衣服图案的方法及装置
CN110136100A (zh) * 2019-04-16 2019-08-16 华南理工大学 Ct切片图像的自动分类方法和装置
CN110738233A (zh) * 2019-08-28 2020-01-31 北京奇艺世纪科技有限公司 模型训练、数据分类方法、装置、电子设备及存储介质
CN110738233B (zh) * 2019-08-28 2022-07-12 北京奇艺世纪科技有限公司 模型训练、数据分类方法、装置、电子设备及存储介质
CN113869371A (zh) * 2021-09-03 2021-12-31 深延科技(北京)有限公司 模型训练方法、服装细粒度分割方法及相关装置

Also Published As

Publication number Publication date
CN109145947B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN106778584B (zh) 一种基于深层特征与浅层特征融合的人脸年龄估计方法
Matsukawa et al. Hierarchical gaussian descriptor for person re-identification
CN109145947A (zh) 一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法
Opelt et al. Learning an alphabet of shape and appearance for multi-class object detection
CN103942577B (zh) 视频监控中基于自建立样本库及混合特征的身份识别方法
CN106022343B (zh) 一种基于傅里叶描述子和bp神经网络的服装款式识别方法
CN103824051B (zh) 一种基于局部区域匹配的人脸搜索方法
CN103514456B (zh) 基于压缩感知多核学习的图像分类方法及其装置
CN106022375B (zh) 一种基于hu不变矩和支持向量机的服装款式识别方法
Wang et al. Static topographic modeling for facial expression recognition and analysis
CN108229330A (zh) 人脸融合识别方法及装置、电子设备和存储介质
CN104992142A (zh) 一种基于深度学习和属性学习相结合的行人识别方法
CN110334687A (zh) 一种基于行人检测、属性学习和行人识别的行人检索增强方法
CN106056132B (zh) 一种基于傅里叶描述子和支持向量机的服装款式识别方法
CN104834941A (zh) 基于计算机输入下的稀疏自编码的脱机手写体识别方法
Khan et al. Gait recognition using motion trajectory analysis
CN106599785A (zh) 人体3d特征身份信息库的建立方法及设备
CN106778489A (zh) 人脸3d特征身份信息库的建立方法及设备
CN109614866A (zh) 基于级联深度卷积神经网络的人脸检测方法
CN104050460B (zh) 多特征融合的行人检测方法
CN108595558A (zh) 一种数据均衡策略和多特征融合的图像标注方法
Tong et al. Cross-view gait recognition based on a restrictive triplet network
CN109002850A (zh) 一种计算图像中食物热量的方法及装置
Li et al. A hierarchical framework for image-based human age estimation by weighted and OHRanked sparse representation-based classification
Ng et al. An investigation on local wrinkle-based extractor of age estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant