CN110147841A - 基于弱监督及无监督部件检测和分割的细粒度分类方法 - Google Patents

基于弱监督及无监督部件检测和分割的细粒度分类方法 Download PDF

Info

Publication number
CN110147841A
CN110147841A CN201910427921.9A CN201910427921A CN110147841A CN 110147841 A CN110147841 A CN 110147841A CN 201910427921 A CN201910427921 A CN 201910427921A CN 110147841 A CN110147841 A CN 110147841A
Authority
CN
China
Prior art keywords
component
detection
unsupervised
classification
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910427921.9A
Other languages
English (en)
Inventor
庞程
王如月
蓝如师
刘振丙
罗笑南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN201910427921.9A priority Critical patent/CN110147841A/zh
Publication of CN110147841A publication Critical patent/CN110147841A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于弱监督及无监督部件检测和分割的细粒度分类方法，步骤为：S1、获取数据集训练样本；S2、基于弱监督部件检测方法和无监督部件检测方法，对步骤S1获得的数据集训练样本进行处理，得到部件假设，即部件检测结果；S3、利用步骤S2得到的部件假设，进行部件制导分割，得到更多对细粒度分类有用的部件；S4、根据步骤S3得到的有用的部件，进行细粒度图像分类的操作，得到分类结果。该方法利用部件检测得到的部件假设来指导前景分割以保留更多的对细粒度分类有用的部件，同时抑制背景噪声，从而提升细粒度分类的性能；同时，该方法在实际应用方面的条件限制更少，大大增加了适用的场景和方法的泛用性。

Description

基于弱监督及无监督部件检测和分割的细粒度分类方法
技术领域
本发明涉及医学图像处理技术领域，具体是一种基于弱监督及无监督部件检测和分割的细粒度分类方法。
背景技术
细粒度视觉分析以其崭新的问题定义和广阔的应用前景引起了学界和工业界的关注，是近年来计算机视觉领域比较活跃的方向之一。从2010年左右细粒度识别的研究出现，到现在短短不到十年的时间里，其研究呈现出如下几个趋势：无论是特征表示，还是分割，定位等技术，从一开始的仅仅利用已有的传统图像分类的方法进行改良移植，到现在的专门为细粒度分类设计的特征表达和分类策略，研究者越来越多地从细粒度视觉分析本身的特点入手研究解决特定问题的技术。多种技术相融合的细粒度识别越来越受到重视，比如结合分割、定位和识别的共生的细粒度识别技术，比单纯的提取特征再识别的传统的方法能够更有效地区分表观特征极其相似的细粒度物体。细粒度分类及其在生物和生理学方面的新问题和新的应用不断被挖掘和研究，比如并不局限于获得更好的识别效果，而是研究人类怎么区分细粒度物体，和机器视觉的关系是怎样的。利用深度学习技术的细粒度识别技术逐渐成为主流方法，深度学习以其对于各种环境变化的极佳的鲁棒性，在细粒度分类中不断取得突破。当然，现有的细粒度视觉分析还存在着一些困难和不足。图2显示了一般的细粒度视觉分析方法框架及相关技术，其存在的问题主要有以下几点：
在特征提取方面，已有大量的工作利用多特征融合，中高层语义特征学习和众包学习等多种方法，提取局部的具有判别力的特征。但是仍然存在特征量化误差较大的问题，特征学习方式仍有待改进。因为细粒度分类中每一类物体的数量相对整体类别数量是稀疏的，每一类独有的特征可能在特征学习过程中被稀释，降低特征的判别能力。而现有的细粒度特征提取方式，无论使用底层特征或是特别设计的中高层特征，都没有考虑单类样本在总体类别中的稀疏性。这些特征提取方法大多都是按照特定的规则向特征空间进行投影，其每一次量化过程都会造成量化误差，削弱与其他类别样本在视觉上的联系。如何提取和量化特征以保持样本和各类别之间的联系，增强最终的特征编码的判别能力是需要进一步研究。
在结构化描述方面，图模型和树模型等数据结构模型已经可以表示粗略的细粒度物体结构信息，一些基于这些模型的分类方法也取得了不错的效果。鉴于部件对于细粒度分类问题的重要性，已经有许多方法研究如何发现和检测部件，而对于部件之间的层次化关系并没有***的研究。目前仅有个别文献的层次化部件匹配(Hierarchical partmatching)明确提出了这一思想并用于分割，相关研究非常之少，还有许多问题可以研究。比如在狗的种类识别中，狗的头部提供的信息往往要比其足部提供更多的视觉信息。那么在提取对应部件的特征之后，可以按照部件之间重要性的差异或者层次上的关系对齐进行池化。也就是增加具有丰富视觉信息的部件对最终分类结果的影响，而削弱其他部件对分类的影响，从而增强特征的判别力。在部件定位(检测)的过程中，同样存在层次化的关系，比如存在一些部件依附于一个主要的部件。如果能够理清它们之间的关系，就可以首先确定高层次的主要部件或者说置信度更高的部件，然后再确定低层次或者置信度低的部件，从而得到更精确的部件定位结果。
部件检测是细粒度视觉分析中提取局部特征的重要手段，研究者基于传统的图像处理技术和最新的深度网络模型提出了多种部件检测方法。但是部件检测性能仍有待提升，尤其对于姿态变化较大的物体。在部件对齐策略中常使用非参数标注传递的方法以及特别设计的基于检测子的参数化方法。参数化模型具有较好的泛化能力，其检测结果较为稳定，但是分类器需要平衡判别能力和泛化能力，使得其对一些极端的情况并不能做出正确的判断。而非参数模型在样本充足的情况下可以提供更为准确的对齐结果，特别是一些非常规的姿态情况下也能够有相当好的效果，但是在样本数量少的情况下得到的结果往往具有较大的误差，并且计算开销会随着样本数量的增加直线上升，限制了该类模型在一些便携移动设备上的应用。所以能否结合参数模型和非参数模型各自的优点，设计一种混合模型解决部件对齐的问题是值得进一步研究的。目前只有少数方法，在描述全局姿态和描述部位时，分别使用了基于检测子的参数模型和基于样例的非参数模型。
细粒度视觉分析主要面临着以下几个困难：
1)细粒度研究对象是属于同一基本类别的子类物体，其极为相似的外观导致了极小的类间差异，为识别带来困难；
2)庞大的类别数量，加上第一个困难，进一步增加了识别的挑战性；
3)许多细粒度视觉分析对象，比如生物类，由于其姿态、视觉、光照和尺度等方面的变化，大大增加了类内差异。要有效地进行细粒度视觉分析，必须尽量减少各种变化带来的类内差异，同时准确地分析物体的高度局部化的具有判别力的特征。针对细粒度视觉分析的特点及其面临的困难，领域内相关工作主要集中于研究有效的表观模型和结构模型、部件发现和对齐策略、共生的分割和检测等几个方面。
现有的研究表明，图像分类任务的准确率可以通过分割等预处理过程获得提升。这一结论在图像细粒度分类领域也得到了证实。但是一般的图像分割方法并不能很好地利用细粒度研究对象的部件信息，其分割过程往往会丢掉一些部件，将他们错误地分类成为背景。从分析可知，物体的部件在细粒度视觉分析中起到至关重要的作用，他们承载了许多具有判别力的局部特征。如果忽略这些重要的部件或者局部特征，细粒度分类的性能反而会因为分割造成一定的损失。
发明内容
本发明的目的在于克服现有技术的不足，而提供一种基于弱监督及无监督部件检测和分割的细粒度分类方法，该方法利用部件检测得到的部件假设来指导前景分割以保留更多的对细粒度分类有用的部件，同时抑制背景噪声，从而提升细粒度分类的性能。在实际应用方面的条件限制更少，大大增加了适用的场景和方法的泛用性。
实现本发明目的的技术方案是：
基于弱监督及无监督部件检测和分割的细粒度分类方法，包括如下步骤：
S1、获取数据集训练样本；
S2、基于弱监督部件检测方法和无监督部件检测方法，对步骤S1获得的数据集训练样本进行处理，得到部件假设，即部件检测结果；
S3、利用步骤S2得到的部件假设，进行部件制导分割，得到更多对细粒度分类有用的部件；
S4、根据步骤S3得到的有用的部件，进行细粒度图像分类的操作，得到分类结果。
步骤S1中，所述的数据集训练样本，采用CUB-200-2011鸟类数据集和 StanfordDogs数据集，用于测试基于部件检测和分割的细粒度分类方法，这两个数据集是细粒度视觉分析领域的基准数据集。
步骤S2中，所述的弱监督部件检测方法，包括非参数的部件坐标传递和参数化的部件检测；包括如下步骤：
(A)非参数的部件坐标传递：在数据集训练样本中搜索和查询图像的姿态最相近的K个近邻样本，求取这些近邻样本的各个部件的平均坐标，并将求得的平均坐标传递给查询图片作为查询图片对应部件的近似位置坐标；
(B)参数化的部件检测：为每一个部件训练一个部件检测子，对可能的部件位置的邻域，使用对应该部件的检测子进行滑动窗口搜索得到多个检测子；
(C)将部件训练的检测子集合，得到最终的部件检测结果。
步骤S2中，所述的无监督部件检测方法，包括如下步骤：
(1)将数据集中的样本按照姿态进行聚类，为一个聚类类别发现候选部件，随机地选择一些样本发现部件，产生部件假设；
(2)利用平均分割掩膜过滤部件假设，优化候选部件；
(3)为每一聚类类别的部件训练部件检测子，进而优化部件检测子，首先利用训练好的部件检测子在所有训练图像中重新检测所有的部件，然后从检测到的正确位置剪裁出新的正例图像构成新的训练集，最后用新的训练集重新训练部件检测子；
(4)获得部件的对应检测子，完成部件检测的过程。
步骤S3中，所述的部件制导分割，利用部件检测结果制导细粒度图像分割的方法，首先根据步骤S2中得到的部件检测结果，利用GrabCut分割方法，引入部件的位置信息以指导分割过程；然后交替更新获得的部件假设和颜色模型，使得部件假设和分割的前景假设尽量达成一致；最终达到细粒度视觉分析的要求，得到分割结果，完成部件制导分割的过程。
所述的GrabCut，核心算法是GraphCut，使用混合高斯模型作为分割算法的颜色模型，并不断地迭代更新颜色模型。
步骤S4中，所述的细粒度图像分类的操作，具体是选用基于视觉单词词袋的分类框架，即Bag-of-Words(BOW)方法，对细粒度图像的底层视觉特征进行编码得到直方图向量，对于复杂背景具有较强的鲁棒性并且在没有任何结构先验的情况下，得到理想的分类效果。
所述的底层视觉特征，包括图像的SIFT、denseSIFT和color name三种特征，作为图像的描述子，其中SIFT，、denseSIFT特征分别学习由8000个视觉单词组成的字典，colorname特征学习由800个视觉单词组成的字典，最终得到的特征编码为16800维的向量。
有益效果：本发明提供的基于弱监督及无监督部件检测和分割的细粒度分类方法，该方法有如下优点：
(1)本发明利用更具有语义信息的专家定义的部件训练模型进行检测，并迭代地更新获得的部件检测假设和分割前景假设，进而最大限度地保留尽可能多的对细粒度视觉分析有用的部件。
(2)本发明提出了一种基于弱监督的、结合参数模型和非参数模型的混合部件检测方法。该方法能够处理一些姿态变化巨大的部件分布模式，并且在较低的计算开销下给出足够精确的部件检测结果。
(3)本发明基于无监督的部件检测方法，其可以为没有任何部件信息的数据集产生部件。同时其也获得了这些部件的对应检测子，可以在未见过的图像中结合基于弱监督部件检测的非参数部件转递推理出部件的位置，完成部件检测的过程。
(4)本发明提出的部件制导分割算法则是最大程度地利用了部件假设来指导细粒度图像的前景分割，达到了以求保留检测到的对细粒度分类具有重要作用的部件的要求。在实际应用方面的条件限制更少，大大增加了适用的场景和方法的泛用性。
附图说明
图1为本发明的一种基于弱及无监督部件检测和分割的细粒度分类方法的流程图；
图2为一般的细粒度视觉分析方法框架及相关技术；
图3为实施例中弱监督部件检测框架；
图4为实施例中无监督部件检测框架；
图5为实施例中无监督部件发现算法。
具体实施方式
下面结合附图和实施例对本发明做进一步阐述，但不是对本发明的限定。
实施例：
如图1所示，一种基于弱及无监督部件检测和分割的细粒度分类方法，包括如下步骤：
S1、获取数据集训练样本，具体是选取CUB200-2011数据集和Stanford Dogs 数据集；CUB200-2011数据集包括200种鸟类的11788幅图像，并附有每幅图像的真实分割掩膜、类别标签、部件位置坐标、图像的最小包围盒，二值化特征属性等信息；Stanford Dogs数据集具有两倍于CUB鸟类数据集的样本数量，分别为120类狗收集了20580个样本图像；
S2、基于弱监督部件检测方法和无监督部件检测方法，对步骤S1获得的数据集训练样本进行的处理，得到部件假设，即部件检测结果；
S3、利用步骤S2得到的部件假设，进行部件制导分割，得到更多对细粒度分类有用的部件；
S4、根据步骤S3得到的有用的部件，进行细粒度图像分类的操作，得到分类结果。
步骤S2中，所述的弱监督部件检测方法，部件检测模型框架如图2所示，分为两个阶段：非参数的部件坐标传递和参数化的部件检测，具体包括如下步骤：
(A)在非参数部件坐标传递阶段，将所有数据集训练样本的最小包围盒中的图像缩放到256×256尺寸，图像的HOG特征被用作底层视觉特征描述物体的姿态，对于一副待检测部件的查询图像，首先在训练样本中搜索和查询图像的姿态最相近的k个近邻样本，求取这些近邻的各个部件的平均坐标，并将求得的平均坐标传递给查询图片作为查询图片对应部件的近似位置坐标；
(B)通过观察发现，整体姿态相近的两个样本，他们的部件的相对位置也是非常接近的；在参数化的部件检测阶段，假设为每一个部件训练了一个部件检测子，在步骤(A)中每一个可能的部件位置的邻域，使用对应该部件的检测子进行滑动窗口搜索，算法将检测子检测分数最大的位置作为检测到的部件位置；
(C)训练部件检测子，训练方法是：首先根据物体姿态对训练样本进行聚类，获得具有相近姿态的若干类别，将为每一个姿态训练单独的部件检测子；然后对于第i个部件，收集这个姿态类别中所有样本在部件i位置的图像块作为该部件的正例训练图像，而负例训练图像则采集自背景区域；同时提出了为一个部件训练多个检测子；其训练图像可由上述训练图像通过聚类得到，训练使用SVM 分类器；最终第i个部件训练的检测子为的一个分类器集合，得到部件假设。
步骤S2中，所述的基于无监督的部件检测方法，部件检测模型框架如图3 所示，将数据集中的样本按照姿态进行聚类，为一个聚类类别发现候选部件，随机地选择一些样本发现部件，产生部件假设；利用平均分割掩膜过滤部件假设，优化候选部件；为每一聚类类别的部件训练部件检测子，进而优化部件检测子，首先利用训练好的部件检测子在所有训练图像中重新检测所有的部件，然后从检测到的正确位置剪裁出新的正例图像构成新的训练集，最后用新的训练集重新训练部件检测子；获得部件的对应检测子，完成部件检测的过程，又因为样本会有姿态一致性这一特性，所以基于姿态一致性假设，提出了采用无监督部件发现算法，如图4所示，包括如下步骤：
(1)将数据集中的样本按照姿态进行聚类，对于每个样本，剪裁出它的最小物体边框并缩放成为256×256的图像块，然后提取图像块的HOG和显著性特征，以描述图像中物体的姿态，最后拼接两种特征作为姿态描述子并对这些描述子进行聚类得到n个姿态类别，自此聚类已经完成，后续步骤中都是在一个聚类类别中进行的；
(2)为一个聚类类别发现候选部件，利用区域分割方法为每一个聚类类别发现一组部件，组内部件的数量可能随着聚类类别的不同而不同。区域分割方法能够将图像按照邻域的相似性分成若干个区域，这些区域将作为最终部件的候选。发现部件选用的样本并不是该聚类类别所有的样本，因考虑计算复杂度的情况，仅随机地选择一些样本的发现部件；
(3)优化候选部件；由于步骤(2)中发现的候选部件可能是背景中的某些物体，并不是需要的物体上的部件，并且从不同的样本中发现的部件可能在空间位置上具有很高的重叠率，为此，通过计算一个分割掩膜来剔除上述不合适的候选部件，得到优化的部件；分割掩膜的计算方法是：使用GrabCut对随机选择产生部件的样本进行分割，前景初始化就按照经验选择距离图像边界一定距离内的图像作为初始前景，其余作为背景。然后获得每个样本的前景为1背景为0的分割结果，求取他们的平均值就可以得到上述的分割掩膜。利用这个分割掩膜，计算掩膜上每一个候选部件区域内的所有像素的平均值，作为这个候选部件属于前景的概率值。当概率值大一阈值，就留下该部件，否则剔除该部件。这样就剔除了那些具有很大可能来自背景的候选部件，最后在剩余的部件中进行非极大值抑制操作，去除具有高重叠率的部件；
(4)为每一聚类类别的部件训练部件检测子。具体方法不是使用真实的部件信息训练检测子，而是替换为通过无监督部件发现产生的部件信息。训练样本中的正例是在所有训练图像中发现的部件位置剪裁出来的，负例则从背景中剪裁。为第i个部件训练一组检测子：
(5)优化部件检测子，训练用的正例样本都是从所有训练图像中相同位置剪裁出来的，但是不同的图像中的部件可能并不处于同一位置，即使这些图片属于同一聚类类别且具有相近的姿态。这种情况下，正例样本集会含有许多噪声，因为其中许多正例并不是从部件所在的正确位置剪裁出来的；为了减少这类噪声对训练的影响，优化部件检测子：首先利用训练好的部件检测子在所有训练图像中重新检测所有的部件，然后从检测到的正确位置剪裁出新的正例图像构成新的训练集，最后用新的训练集重新训练部件检测子。这样重新产生的正例样本集具有更少的噪声，从而加强了部件检测子的判别能力。
步骤S3中，所述的部件制导分割，部件制导分割示意图如图5所示，本发明的核心思想是如果本应该属于物体部件的像素被分割方法错误地分类为背景，那么就增大分割模型中这些像素属于前景的概率，即引入部件检测。同时，还利用部件假设产生一个物体前景掩膜用于初始化分割的颜色模型，以减少因错误的模型初始化造成的分割错误。
本实施例分割方法的目标函数可以表示为：
上述公式(1)中，Z表示一副图片的所有像素的RGB值组成的矩阵；S表示GrabCut分割产生的前景掩膜；W＝[w1,w2,...,wn]存储每个像素属于前景的概率；EGC表示GrabCut的分割能量项；EP表示部件能量项；EC表示一致性项，它是分割能量项和部件能量项信息交互的桥梁，负责惩罚两者不一致的情况，另有一个超参数P＝[p1,p2,...,pn]，其指示每个像素在部件假设中的类别，即是属于部件还是属于背景；W是根据P进行初始化的，如果zi代表的像素是属于部件的，那么wi就会被初始化为1，否则为0；α和β是两个正的常数，以平衡各个能量项，其中GrabCut能量项写作：
EGC(S；Z)＝∑n∈IDn(sn；zn)+γ∑m,n∈CVm,n(zm,zn) (2)
上述公式(2)中，D是高斯概率分布的负对数，V是平滑项，C是所有相邻像素的索引，γ是一个常数，I是图像中所有像素的索引，部件能量项的定义为：
EP(W)＝∑n∈Uwn,U＝dif(P,s) (3)
这里如果一个像素在部件假设的记录中是属于部件的，但是又被分割结果s 归类为背景，那么我们称这个像素为不一致像素，dif(·)返回I中所有不一致像素的索引，据此，一致性能量项可以定义为：
表示U的补集，而这两者的并集是I，通过交替更新分割的输出和部件假设来最小化这个目标函数；
分割优化：上述公式(1)的目标函数，可以按照如下方法优化：即固定部件假设W，更新前景分割S，然后反过来，如此交替直到目标函数的值不再有大的变化，更新部件假设W。固定前景分割结果S，则分割能量项EGC可以被忽略，目标函数变为：
由于上式的最后一项并不依赖于W，所以公式(5)可以写成：
选择合适的常数α和β，使得α-βDi(si；zi)总为一个正值，所以式(6)可以看成是一个W的单调递增函数，限定每次迭代中，每个wi的变化量要么是0 要么是一个正常数λ，当wi减小到接近于0时，将其设为0并更新超参数pi，使得pi不再属于部件类而是属于背景类，这样做的目的是，只要部件假设和分割的结果不符合，那么减少被错误分到背景的部件的像素属于前景的概率。这样可以保证最终的分割结果对于一些不准确的部件检测结果造成的误差具有一定的宽容性，更新前景分割S，固定W，则部件能量项EP项可以忽略，目标函数变为下面的形式：
因此，按照下述步骤来优化目标函数(1)：
(a)根据式(6)优化部件假设W；
(b)根据W更新超参数P；
(c)重新估计混合高斯颜色模型；
(d)根据(7)优化前景分割S。
S4、根据步骤S3进行分割，得到更多对细粒度分类有用的部件，进而进行细粒度分类的操作；具体是选用基于视觉单词词袋的分类框架，即Bag-of-Words (BOW)方法，对细粒度图像的底层视觉特征进行编码得到直方图向量，对于复杂背景具有较强的鲁棒性并且在没有任何结构先验的情况下，得到理想的分类效果。
所述的底层视觉特征，包括图像的SIFT、denseSIFT和color name三种特征，作为图像的描述子，其中SIFT，、denseSIFT特征分别学习由8000个视觉单词组成的字典，colorname特征学习由800个视觉单词组成的字典，最终得到的特征编码为16800维的向量。

Claims (8)

1.基于弱监督及无监督部件检测和分割的细粒度分类方法，其特征在于，包括如下步骤：
S1、获取数据集训练样本；
S2、基于弱监督部件检测方法和无监督部件检测方法，对步骤S1获得的数据集训练样本进行处理，得到部件假设，即部件检测结果；
S3、利用步骤S2得到的部件假设，进行部件制导分割，得到更多对细粒度分类有用的部件；
S4、根据步骤S3得到的有用的部件，进行细粒度图像分类的操作，得到分类结果。
2. 根据权利要求1所述的基于弱监督及无监督部件检测和分割的细粒度分类方法，其特征在于，步骤 S1 中，所述的数据集训练样本，采用CUB-200-2011鸟类数据集和StanfordDogs数据集，用于测试基于部件检测和分割的细粒度分类方法。
3.根据权利要求1所述的基于弱监督及无监督部件检测和分割的细粒度分类方法，其特征在于，步骤S2中，所述的弱监督部件检测方法，包括非参数的部件坐标传递和参数化的部件检测；包括如下步骤：
（A）非参数的部件坐标传递：在数据集训练样本中搜索和查询图像的姿态最相近的K个近邻样本，求取这些近邻样本的各个部件的平均坐标，并将求得的平均坐标传递给查询图片作为查询图片对应部件的近似位置坐标；
（B）参数化的部件检测：为每一个部件训练一个部件检测子，对可能的部件位置的邻域，使用对应该部件的检测子进行滑动窗口搜索得到多个检测子；
（C）将部件训练的检测子集合，得到最终的部件检测结果。
4.根据权利要求1所述的基于弱监督及无监督部件检测和分割的细粒度分类方法，其特征在于，步骤S2中，所述的无监督部件检测方法，包括如下步骤：
（1）将数据集中的样本按照姿态进行聚类，为一个聚类类别发现候选部件，随机地选择一些样本发现部件，产生部件假设；
（2）利用平均分割掩膜过滤部件假设，优化候选部件；
（3）为每一聚类类别的部件训练部件检测子，进而优化部件检测子，首先利用训练好的部件检测子在所有训练图像中重新检测所有的部件，然后从检测到的正确位置剪裁出新的正例图像构成新的训练集，最后用新的训练集重新训练部件检测子；
（4）获得部件的对应检测子，完成部件检测的过程。
5.根据权利要求1所述的基于弱监督及无监督部件检测和分割的细粒度分类方法，其特征在于，步骤S3中，所述的部件制导分割，利用部件检测结果制导细粒度图像分割的方法，首先根据步骤S2中得到的部件检测结果，利用GrabCut分割方法，引入部件的位置信息以指导分割过程；然后交替更新获得的部件假设和颜色模型，使得部件假设和分割的前景假设尽量达成一致；最终达到细粒度视觉分析的要求，得到分割结果，完成部件制导分割的过程。
6.根据权利要求5所述的基于弱监督及无监督部件检测和分割的细粒度分类方法，其特征在于，所述的GrabCut，核心算法是GraphCut，使用混合高斯模型作为分割算法的颜色模型，并不断地迭代更新颜色模型。
7.根据权利要求1所述的基于弱监督及无监督部件检测和分割的细粒度分类方法，其特征在于，步骤S4中，所述的细粒度图像分类的操作，具体是选用基于视觉单词词袋的分类框架，即Bag-of-Words（BOW）方法，对细粒度图像的底层视觉特征进行编码得到直方图向量，对于复杂背景具有较强的鲁棒性并且在没有任何结构先验的情况下，得到理想的分类效果。
8. 根据权利要求7所述的基于弱监督及无监督部件检测和分割的细粒度分类方法，其特征在于，所述的底层视觉特征，包括图像的SIFT、denseSIFT和color name三种特征，作为图像的描述子，其中SIFT，、denseSIFT特征分别学习由8000个视觉单词组成的字典，colorname特征学习由800个视觉单词组成的字典，最终得到的特征编码为16800维的向量。
CN201910427921.9A 2019-05-22 2019-05-22 基于弱监督及无监督部件检测和分割的细粒度分类方法 Withdrawn CN110147841A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910427921.9A CN110147841A (zh) 2019-05-22 2019-05-22 基于弱监督及无监督部件检测和分割的细粒度分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910427921.9A CN110147841A (zh) 2019-05-22 2019-05-22 基于弱监督及无监督部件检测和分割的细粒度分类方法

Publications (1)

Publication Number Publication Date
CN110147841A true CN110147841A (zh) 2019-08-20

Family

ID=67592679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910427921.9A Withdrawn CN110147841A (zh) 2019-05-22 2019-05-22 基于弱监督及无监督部件检测和分割的细粒度分类方法

Country Status (1)

Country Link
CN (1) CN110147841A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675368A (zh) * 2019-08-31 2020-01-10 中山大学 一种融合图像分割与分类的细胞图像语义分割方法
CN110796204A (zh) * 2019-11-01 2020-02-14 腾讯科技（深圳）有限公司 视频标签确定方法、装置和服务器
CN111652236A (zh) * 2020-04-21 2020-09-11 东南大学 弱监督场景下跨层特征交互的轻量级细粒度图像识别方法
CN112800265A (zh) * 2021-02-01 2021-05-14 中国科学院空天信息创新研究院 一种基于无监督或弱监督方式的图像分割数据标注方法及***
CN112861917A (zh) * 2021-01-14 2021-05-28 西北工业大学 基于图像属性学习的弱监督目标检测方法
CN113254494A (zh) * 2020-12-04 2021-08-13 南理工泰兴智能制造研究院有限公司 一种新能源研发分类记录方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060652A1 (en) * 2016-08-31 2018-03-01 Siemens Healthcare Gmbh Unsupervised Deep Representation Learning for Fine-grained Body Part Recognition
US20190042888A1 (en) * 2017-08-02 2019-02-07 Preferred Networks, Inc. Training method, training apparatus, region classifier, and non-transitory computer readable medium
CN109359684A (zh) * 2018-10-17 2019-02-19 苏州大学 基于弱监督定位和子类别相似性度量的细粒度车型识别方法
US20190073560A1 (en) * 2017-09-01 2019-03-07 Sri International Machine learning system for generating classification data and part localization data for objects depicted in images
CN109522970A (zh) * 2018-11-28 2019-03-26 南京旷云科技有限公司 图像分类方法、装置及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060652A1 (en) * 2016-08-31 2018-03-01 Siemens Healthcare Gmbh Unsupervised Deep Representation Learning for Fine-grained Body Part Recognition
US20190042888A1 (en) * 2017-08-02 2019-02-07 Preferred Networks, Inc. Training method, training apparatus, region classifier, and non-transitory computer readable medium
US20190073560A1 (en) * 2017-09-01 2019-03-07 Sri International Machine learning system for generating classification data and part localization data for objects depicted in images
CN109359684A (zh) * 2018-10-17 2019-02-19 苏州大学 基于弱监督定位和子类别相似性度量的细粒度车型识别方法
CN109522970A (zh) * 2018-11-28 2019-03-26 南京旷云科技有限公司 图像分类方法、装置及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENG PANG等: "Exploring part-aware segmentation for fine-grained visual categorization", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
庞程等: "基于部件检测的细粒度图像分割", 《智能计算机与应用》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675368A (zh) * 2019-08-31 2020-01-10 中山大学 一种融合图像分割与分类的细胞图像语义分割方法
CN110796204A (zh) * 2019-11-01 2020-02-14 腾讯科技（深圳）有限公司 视频标签确定方法、装置和服务器
CN110796204B (zh) * 2019-11-01 2023-05-02 腾讯科技（深圳）有限公司 视频标签确定方法、装置和服务器
CN111652236A (zh) * 2020-04-21 2020-09-11 东南大学 弱监督场景下跨层特征交互的轻量级细粒度图像识别方法
CN111652236B (zh) * 2020-04-21 2022-04-29 东南大学 弱监督场景下跨层特征交互的轻量级细粒度图像识别方法
CN113254494A (zh) * 2020-12-04 2021-08-13 南理工泰兴智能制造研究院有限公司 一种新能源研发分类记录方法
CN113254494B (zh) * 2020-12-04 2023-12-08 南理工泰兴智能制造研究院有限公司 一种新能源研发分类记录方法
CN112861917A (zh) * 2021-01-14 2021-05-28 西北工业大学 基于图像属性学习的弱监督目标检测方法
CN112861917B (zh) * 2021-01-14 2021-12-28 西北工业大学 基于图像属性学习的弱监督目标检测方法
CN112800265A (zh) * 2021-02-01 2021-05-14 中国科学院空天信息创新研究院 一种基于无监督或弱监督方式的图像分割数据标注方法及***
CN112800265B (zh) * 2021-02-01 2022-03-08 中国科学院空天信息创新研究院 一种基于无监督或弱监督方式的图像分割数据标注方法及***

Similar Documents

Publication Publication Date Title
Han et al. Dynamic scene semantics SLAM based on semantic segmentation
CN110147841A (zh) 基于弱监督及无监督部件检测和分割的细粒度分类方法
Guillaumin et al. Large-scale knowledge transfer for object localization in imagenet
Unnikrishnan et al. Toward objective evaluation of image segmentation algorithms
Endres et al. Category-independent object proposals with diverse ranking
CN105389550B (zh) 一种基于稀疏指引与显著驱动的遥感目标检测方法
Bui et al. Scalable sketch-based image retrieval using color gradient features
Zhang et al. Semantic classification of heterogeneous urban scenes using intrascene feature similarity and interscene semantic dependency
Lomio et al. Classification of building information model (BIM) structures with deep learning
CN108170823B (zh) 一种基于高层语义属性理解的手绘交互式三维模型检索方法
Li et al. Hierarchical semantic parsing for object pose estimation in densely cluttered scenes
CN104751463B (zh) 一种基于草图轮廓特征的三维模型最佳视角选取方法
Lian et al. Weakly supervised road segmentation in high-resolution remote sensing images using point annotations
CN113868448A (zh) 一种细粒度场景级基于草图的图像检索方法及***
Zhang et al. Collaborative annotation of semantic objects in images with multi-granularity supervisions
CN113822134A (zh) 一种基于视频的实例跟踪方法、装置、设备及存储介质
CN105844299B (zh) 一种基于词袋模型的图像分类方法
Devareddi et al. An edge clustered segmentation based model for precise image retrieval
Ke et al. Human attribute recognition method based on pose estimation and multiple-feature fusion
Boroujerdi et al. Deep interactive region segmentation and captioning
Srivastava et al. Large scale novel object discovery in 3d
Hassan et al. Salient object detection based on CNN fusion of two types of saliency models
Sima et al. Texture superpixels merging by color-texture histograms for color image segmentation
Cai et al. Prominent edge detection with deep metric expression and multi-scale features
Wang et al. Saliency region detection method based on background and spatial position

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190820

WW01 Invention patent application withdrawn after publication