CN105809672B - 一种基于超像素和结构化约束的图像多目标协同分割方法 - Google Patents
一种基于超像素和结构化约束的图像多目标协同分割方法 Download PDFInfo
- Publication number
- CN105809672B CN105809672B CN201610120407.7A CN201610120407A CN105809672B CN 105809672 B CN105809672 B CN 105809672B CN 201610120407 A CN201610120407 A CN 201610120407A CN 105809672 B CN105809672 B CN 105809672B
- Authority
- CN
- China
- Prior art keywords
- super
- pixel
- segmentation
- subtree
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000011218 segmentation Effects 0.000 claims abstract description 105
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 5
- 238000009795 derivation Methods 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 abstract description 3
- 238000013480 data collection Methods 0.000 abstract 1
- 238000005259 measurement Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 230000001154 acute effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种非监督的基于超像素与结构化约束的图像多目标协同分割方法。针对一组包含有共同物体的多幅图片数据集,且每幅图片可能包含有多个共同物体,该方法能够准确地分割出共同物体。首先,该方法对输入的图像集进行预分割操作,得到过分割后的图像;然后,基于目标发现机制对所有的超像素进行前景和背景的分类,学习得到前背景分类器;最后,基于分类器得到的结果,对前景目标进行建模,利用森林模型假设与树图约束采用组合优化的算法完成对目标的精确分割。与同类算法相比,本发明通过提出新的森林模型假设与求解方法,通过树图的约束优化组合优化算法并提高分割精度,能够适应各种复杂场景。
Description
技术领域
本发明涉及一种基于超像素和结构化约束的图像多目标协同分割方法,适用于图片的多目标协同分割、体育运动画面中的物体分割以及图片分类识别等领域。
背景技术
在计算机视觉领域,图像分割是一个基础而又经典的难题,它的解决能够对其他诸如目标识别、物体分类等众多图像处理问题起到很好的辅助作用。在实际应用中,智能监控、医疗诊断、机器人技术与智能机器、工业自动化乃至军事制导等领域都与图像分割有着紧密的联系。借助于互联网,人们可以非常容易获取包含有相同物体或者同一类别物体的大量图片,而如何从这类图片中自动辨别并分割出人们感兴趣的共同物体成为我们研究的主要目的。通过图像的底层信息(颜色、纹理等)可以分割出感兴趣的目标,但是仅仅依赖底层的图像数据信息并不能得到想要的分割结果,而跨图片的隐含信息则能够帮助辨别何为需要辨识的共同物体。这类利用包含相同物体或者相同类别物体的多张图片来完成对感兴趣的共同物体进行分割的研究,称之为协同分割。协同分割是近些年兴起的一个热门研究主题,目前已存在较多的关于协同分割的研究工作。然而,纵观有关协同分割领域的研究和应用可知,目前的协同分割领域研究依旧存在诸多技术难题如下:
1)现有的方法主要利用底层的颜色、形状等特征,而忽略了高层可以被学习的基于超像素的特征,以及多目标场景下物体的结构化约束;
2)目前的主流算法大多针对单目标分割设计,对多目标的分割往往效果不理想,并无针对性的优化;
3)大多数方法的可扩展性不理想,无法解决对大数据库的处理。
以上的技术难题为协同分割技术在多媒体领域的广泛应用带来了诸多困扰,开发出一套适用于多目标协同分割的方法具有较高的应用价值。
发明内容
为了解决现有技术中存在的难题,本发明公开了一种基于超像素和结构化约束的图像多目标协同分割方法,该方法适用于具有多目标的共同物体的分割,通过目标发现机制与学习相结合的方法得到前背景分类器,使得算法具有更好的可扩展性。而提出的森林模型与基于树图结构化约束的迭代分割算法,有效地对组合优化能量模型进行求解,从而使得对多目标的分割更为精确,且大大提高了计算效率。
本发明采用以下技术方案:一种基于超像素和结构化约束的图像多目标协同分割方法,包含以下步骤:
(1)图像预分割:对于包含共同目标物体的图像数据集I={I1,…,IN}中的每一幅图像Ii,i=1,2……,N,进行过分割处理,得到超像素集
(2)自动目标发现:基于每幅图像的超像素集统计每个超像素的显著性值和重复性值wim,并计算超像素的评价值scoreim, 将评价值小于0.6×max(scorei)的超像素设置为背景,将评价值大于等于0.6×max(scorei)的超像素设置为前景;max(scorei)为超像素集中评价值最大的超像素的评价值;
(3)分类器学习。通过自动目标发现将训练集中的超像素集分为前景和背景,对于每一个超像素,采用如下的2004维的特征矢量描述:(a)800维矢量量化的HSV颜色表示(k均值聚类得到);(b)多尺度密集采样得到的SIFT词袋模型(1200维,分别以16、24、32像素为边的图像块采样,采样间隔为3像素);(c)4个二值化特征,用以描述超像素与图像四个边界的接触情况。基于以上特征,利用标准的支持向量机学习方法得到前背景分类器。
(4)目标建模:基于步骤(2)分类后的信息,对共同目标物体基于HSV颜色空间建立目标模型Ψf和背景模型Ψb。采用Hellinger距离度量方法分别计算超像素或超像素组合与目标模型之间的相似程度超像素或超像素组合与背景模型之间的相似程度
目标模型Ψf的建立方法如下:将原图像进行颜色空间的变换,得到HSV颜色空间下的图像;对HSV颜色空间下的图像用H,S,V以及“G”四个颜色分量进行均匀量化,统计目标物体在各个颜色分量上的分布,得到直方图分布,即目标模型Ψf;按照相同方法,统计背景图像在各个颜色分量上的分布,得到直方图分布,即背景模型Ψb;其中“G”分量代表饱和度低于5%的像素点的颜色量化值;
和分别为:是的归一化
值,为的归一化值,且
c为等分后的所有区间个数,hR和hf分别为归一化后的超像素或超像素组合R的颜色直方图和目标模型的颜色直方图,hR′和hb分别为归一化后的超像素或超像素组合R′的颜色直方图和背景模型的颜色直方图。
(5)基于超像素的分割:利用目标模型Ψf和背景模型Ψb,采用组合优化的算法对超像素进行前背景的再次分类,从而得到目标物体的最终分割;提出森林模型的假设,即假设每个超像素对应于一个顶点,对于单目标分割,最后的分割结果由多个邻接的超像素构成,且能够表示为邻接图的子树;对于多目标分割,最后的分割结果可表示为邻接图的多个子树构成的森林。综上,假设最后的分割结果为邻接图的多个子树构成的森林。通过建立邻接图来推断子树集合的方法确定最后的分割结果;具体实现过程如下:
(5.1)构建邻接图:假设图像中的每个超像素对应于图中的一个顶点,两个相邻的超像素之间由一条边连接,由此构成邻接图对于最终的目标物体分割结果,假设其为邻接图所包含的多个子树构成的森林;
(5.2)建立数值模型求解:建立数值模型,将目标分割的问题转换为组合优化问题的求解,如下:
当R为前景中的超像素或超像素组合时,当R′为背景中的超像素或超像素组合时,约束条件表示对于任意一个超像素R只能属于前背景中的一类。通过推导可得,若要求解分割结果,实际上可转换为求解最优子树集合的方法,而要求最优子树集合,需要先估计最大生成树;
(5.3)推导最大生成树:通过beam search的定向搜索方法来得到所有可能的候选子树集合基于候选子树集合通过最大似然估计的方法得到最大生成树推导如下:
表示所有潜在的生成树集合,表示数据似然概率,最终可导出,
候选子树集合,为某一子树,表示对的最大似然估计,δ(·)为指示函数,δ((x,y)∈Cq)指示边(x,y)是否属于某一子树Cq;为子树Cq与目标模型的相似程度,指示边是否属于某一子树,P(x,y)表示边(x,y)的概率,为对P(x,y)的最大似然估计。通过上式可得最大生成树的最大似然估计。
(5.4)搜索分割子树集合:基于最大生成树的最大似然估计求得然后通过动态规划技术在中搜索得到最优子树集合,具体实现步骤如下:
(5.4.1)对于图像Ii,将前背景分类器作用于超像素集合得到分类为前景的种子超像素集合其种子超像素集合由离散的种子超像素构成,首先根据每个种子超像素与目标模型的相似程度进行排序得到
(5.4.2)选取最接近目标模型的超像素s1作为起始节点,以此推断最大生成树并得出相应的最优子树及其对应的分割结果判断此分割结果与目标模型的相似程度:如果相似程度符合条件则认为分割结果有效,否则将设置为空集且将分割结果区域内包含的错误种子超像素反馈至进行删除更新;
(5.4.3)遍历集合找出在之前的最优子树所对应的分割结果区域以外是否存在种子超像素sk,若存在则重复以上的步骤得到分割结果同理进行与目标模型的相似度判断与后续处理,更新分割结果和种子超像素集合;
(5.4.4)在完成对种子超像素集合的全部遍历后,我们得到最终针对图像Ii的分割结果和更新后的种子超像素集合并根据这些信息完成目标模型的更新以及种子超像素约束信息的更新,从而使模型的估计更为接近真实场景中存在的变化情况并排除错误的种子超像素,随后开始下一次的迭代。
(6)迭代分割:根据步骤5得到的分割结果更新步骤4中的目标模型,按照步骤5所述的方法,再进行分割;
(7)重复步骤6,直至最终分割结果不再变化,即得到最终的分割结果。
进一步地,所述步骤2中,超像素显著性值度量具体为:
通过显著性检测技术,对第i幅图像Ii得到原始显著性图φi,然后计算每个超像素包含的所有像素点的显著性均值作为其度量,具体计算如下:
其中第i幅图像Ii中第m个超像素Rim的平均显著性值,表示第j个像素点的显著性值,area(Rim)为超像素Rim包含的像素个数。
超像素重复性值wim度量,具体为:
度量每个超像素与其他每幅图像中所有超像素的距离最小值,得到N-1个最小距离{d(Rim,Ik)}k≠i,进一步对N-1个最小距离{d(Rim,Ik)}k≠i求平均,得到平均最小值其中距离度量d(Rim,Ik)由基于HSV颜色的矢量距离以及基于SIFT特征的词袋模型距离加权得到,具体如下:
其中cim和gim分别代表第i幅图像Ii中第m个超像素Rim的HSV颜色特征矢量和SIFT词袋模型特征矢量,ckm′和gkm′分别代表第k幅图像Ik中第m′个超像素Rkm′的HSV颜色特征矢量和SIFT词袋模型特征矢量;
由sigmoid公式计算超像素重复性度量权重wim:
其中μ和σ是控制该sigmoid函数形态的参数,μ=0.5,σ=0.1。
进一步地,步骤6具体为:
(6.1)根据最新的分割结果,更新之前的前景目标模型,使之更加接近待分割目标;
(6.2)根据更新后的目标模型,重新产生所有可能的候选子树集合并且估计最大生成树;
(6.3)根据更新后的目标模型和最大生成树,重新采用动态规划技术搜索由子树集合构成的森林,得到分割结果;
(6.4)判断是否满足截止条件,即最后分割结果是否不再变化。若满足,则迭代结束;若不满足,则重复(6.1)-(6.3)。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
1)结合目标自动发现机制与学习,本发明能够得到一个通用的前背景分类器,对大数据图像集的扩展性较好。
2)基于前背景分类器得到的种子超像素集合较直接通过目标自动发现机制得到的前景更为精确,有助于提高后续的分割精度。
3)提出森林模型与树图结构化约束条件,大幅提高了分割准确度,尤其针对具有复杂的精细结构的多目标分割效果较好,并且为组合优化的方程求最优解提供了新的优化求解算法。
附图说明
图1是本发明的整体流程图;
图2是前背景分类器学习过程示意图;
图3是基于超像素分割的示意图;
图4是尺度、姿态剧烈变化情况下的多目标分割结果;
具体实施方式
下面结合附图通过具体实施例,对本发明的技术方案做进一步的详细说明。
以下实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
本实施例对公开的iCoseg数据集中的多类图像进行处理。这些类别的图像存在着颜色、光照条件、姿态、尺度等剧烈变化,且图像中存在多个共同物体的情况,给现有的分割技术带来巨大的挑战。图1是本发明的整体流程图,图2是分类器学习过程示意图,图3是基于超像素分割的示意图。本实施例包含以下步骤:
(1)图像预分割:对于包含共同目标物体的图像数据集I={I1,…,IN}中的每一幅图像Ii,i=1,2……,N,进行过分割处理,得到超像素集
(2)自动目标发现:基于每幅图像的超像素集统计每个超像素的显著性值和重复性值wim,并计算超像素的评价值scoreim, 将评价值小于0.6×max(scorei)的超像素设置为背景,将评价值大于等于0.6×max(scorei)的超像素设置为前景;max(scorei)为超像素集中评价值最大的超像素的评价值;
(3)分类器学习。通过自动目标发现将训练集中的超像素集分为前景和背景,对于每一个超像素,采用如下的2004维的特征矢量描述:(a)800维矢量量化的HSV颜色表示(k均值聚类得到);(b)多尺度密集采样得到的SIFT词袋模型(1200维,分别以16、24、32像素为边的图像块采样,采样间隔为3像素);(c)4个二值化特征,用以描述超像素与图像四个边界的接触情况。基于以上特征,利用标准的支持向量机学习方法得到前背景分类器。
(4)目标建模:基于步骤(2)分类后的信息,对共同目标物体基于HSV颜色空间建立目标模型Ψf和背景模型Ψb。采用Hellinger距离度量方法分别计算超像素或超像素组合与目标模型之间的相似程度超像素或超像素组合与背景模型之间的相似程度
目标模型Ψf的建立方法如下:将原图像进行颜色空间的变换,得到HSV颜色空间下的图像;对HSV颜色空间下的图像用H,S,V以及“G”四个颜色分量进行均匀量化,统计目标物体在各个颜色分量上的分布,得到直方图分布,即目标模型Ψf;按照相同方法,统计背景图像在各个颜色分量上的分布,得到直方图分布,即背景模型Ψb;其中“G”分量代表饱和度低于5%的像素点的颜色量化值;
和分别为:是的归一化
值,为的归一化值,且
c为等分后的所有区间个数,hR和hf分别为归一化后的超像素或超像素组合R的颜色直方图和目标模型的颜色直方图,hR′和hb分别为归一化后的超像素或超像素组合R′的颜色直方图和背景模型的颜色直方图。
(5)基于超像素的分割:利用目标模型Ψf和背景模型Ψb,采用组合优化的算法对超像素进行前背景的再次分类,从而得到目标物体的最终分割;提出森林模型的假设,即假设每个超像素对应于一个顶点,对于单目标分割,最后的分割结果由多个邻接的超像素构成,且能够表示为邻接图的子树;对于多目标分割,最后的分割结果可表示为邻接图的多个子树构成的森林。综上,假设最后的分割结果为邻接图的多个子树构成的森林。通过建立邻接图来推断子树集合的方法确定最后的分割结果;具体实现过程如下:
(5.1)构建邻接图:假设图像中的每个超像素对应于图中的一个顶点,两个相邻的超像素之间由一条边连接,由此构成邻接图对于最终的目标物体分割结果,假设其为邻接图所包含的多个子树构成的森林;
(5.2)建立数值模型求解:建立数值模型,将目标分割的问题转换为组合优化问题的求解,如下:
当R为前景中的超像素或超像素组合时,当R′为背景中的超像素或超像素组合时,约束条件表示对于任意一个超像素R只能属于前背景中的一类。通过推导可得,若要求解分割结果,实际上可转换为求解最优子树集合的方法,而要求最优子树集合,需要先估计最大生成树;
(5.3)推导最大生成树:通过beam search的定向搜索方法来得到所有可能的候选子树集合基于候选子树集合通过最大似然估计的方法得到最大生成树推导如下:
表示所有潜在的生成树集合,表示数据似然概率,最终可导出,
候选子树集合,为某一子树,表示对的最大似然估计,δ(·)为指示函数,δ((x,y)∈Cq)指示边(x,y)是否属于某一子树Cq;为子树Cq与目标模型的相似程度,指示边是否属于某一子树,P(x,y)表示边(x,y)的概率,为对P(x,y)的最大似然估计。通过上式可得最大生成树的最大似然估计。
(5.4)搜索分割子树集合:基于最大生成树的最大似然估计求得然后通过动态规划技术在中搜索得到最优子树集合,具体实现步骤如下:
(5.4.1)对于图像Ii,将前背景分类器作用于超像素集合得到分类为前景的种子超像素集合其种子超像素集合由离散的种子超像素构成,首先根据每个种子超像素与目标模型的相似程度进行排序得到
(5.4.2)选取最接近目标模型的超像素s1作为起始节点,以此推断最大生成树并得出相应的最优子树及其对应的分割结果判断此分割结果与目标模型的相似程度:如果相似程度符合条件则认为分割结果有效,否则将设置为空集且将分割结果区域内包含的错误种子超像素反馈至进行删除更新;
(5.4.3)遍历集合找出在之前的最优子树所对应的分割结果区域以外是否存在种子超像素sk,若存在则重复以上的步骤得到分割结果同理进行与目标模型的相似度判断与后续处理,更新分割结果和种子超像素集合;
(5.4.4)在完成对种子超像素集合的全部遍历后,我们得到最终针对图像Ii的分割结果和更新后的种子超像素集合并根据这些信息完成目标模型的更新以及种子超像素约束信息的更新,从而使模型的估计更为接近真实场景中存在的变化情况并排除错误的种子超像素,随后开始下一次的迭代。
(6)迭代分割:根据步骤5得到的分割结果更新步骤4中的目标模型,按照步骤5所述的方法,再进行分割;
(7)重复步骤6,直至最终分割结果不再变化,即得到最终的分割结果。
进一步地,所述步骤2中,超像素显著性值度量具体为:
通过显著性检测技术,对第i幅图像Ii得到原始显著性图φi,然后计算每个超像素包含的所有像素点的显著性均值作为其度量,具体计算如下:
其中第i幅图像Ii中第m个超像素Rim的平均显著性值,表示第j个像素点的显著性值,area(Rim)为超像素Rim包含的像素个数。
超像素重复性值wim度量,具体为:
度量每个超像素与其他每幅图像中所有超像素的距离最小值,得到N-1个最小距离{d(Rim,Ik)}k≠i,进一步对N-1个最小距离{d(Rim,Ik)}k≠i求平均,得到平均最小值其中距离度量d(Rim,Ik)由基于HSV颜色的矢量距离以及基于SIFT特征的词袋模型距离加权得到,具体如下:
其中cim和gim分别代表第i幅图像Ii中第m个超像素Rim的HSV颜色特征矢量和SIFT词袋模型特征矢量,ckm′和gkm′分别代表第k幅图像Ik中第m′个超像素Rkm′的HSV颜色特征矢量和SIFT词袋模型特征矢量;
由sigmoid公式计算超像素重复性度量权重wim:
其中μ和σ是控制该sigmoid函数形态的参数,μ=0.5,σ=0.1。
进一步地,步骤6具体为:
(6.1)根据最新的分割结果,更新之前的前景目标模型,使之更加接近待分割目标;
(6.2)根据更新后的目标模型,重新产生所有可能的候选子树集合并且估计最大生成树;
(6.3)根据更新后的目标模型和最大生成树,重新采用动态规划技术搜索由子树集合构成的森林,得到分割结果;
(6.4)判断是否满足截止条件,即最后分割结果是否不再变化。若满足,则迭代结束;若不满足,则重复(6.1)-(6.3)。
实施效果:
根据上述步骤,选取iCoseg数据库中的若干图片进行目标分割。图4展示了选自iCoseg的图片进行多目标分割测试。从图4可以看出,本发明对于待分割目标存在尺度、姿态、光照等剧烈变化且图像包含有多个目标的情况下,依然能够得到精确的目标分割结果。
Claims (2)
1.一种基于超像素和结构化约束的图像多目标协同分割方法,其特征在于,包含以下步骤:
(1)图像预分割:对于包含共同目标物体的图像数据集I={I1,...,IN}中的每一幅图像Ii,i=1,2......,N,进行过分割处理,得到超像素集
(2)自动目标发现:基于每幅图像的超像素集统计每个超像素的显著性值和重复性值wim,并计算超像素的评价值scoreim, 将评价值小于0.6×max(scorei)的超像素设置为背景,将评价值大于等于0.6×max(scorei)的超像素设置为前景;max(scorei)为超像素集中评价值最大的超像素的评价值;
(3)分类器学习:通过自动目标发现将训练集中的超像素集分为前景和背景,对于每一个超像素,采用如下的2004维的特征矢量描述:(a)通过k均值聚类得到800维矢量量化的HSV颜色表示;(b)多尺度密集采样得到的SIFT词袋模型,多尺度密集采样为1200维,分别以16、24、32像素为边的图像块多尺度采样,采样间隔为3像素;(c)4个二值化特征,用以描述超像素与图像四个边界的接触情况;基于以上特征,利用标准的支持向量机学习方法便可以得到前背景分类器;
(4)目标建模:基于步骤(3)分类后的信息,对前景目标物体基于HSV颜色空间建立目标模型Ψf和背景模型Ψb;采用Hellinger距离度量方法分别计算超像素或超像素组合与目标模型之间的相似程度超像素或超像素组合与背景模型之间的相似程度
(5)基于超像素的分割:利用目标模型Ψf和背景模型Ψb,采用组合优化的算法对超像素进行前背景的再次分类,从而得到目标物体的最终分割;提出森林模型的假设,即假设每个超像素对应于一个顶点,对于单目标分割,最后的分割结果由多个邻接的超像素构成,且能够表示为邻接图的子树;对于多目标分割,最后的分割结果表示为邻接图的多个子树构成的森林;综上,假设最后的分割结果为邻接图的多个子树构成的森林;通过建立邻接图来推断子树集合的方法确定最后的分割结果;具体实现过程如下:
(5.1)构建邻接图:假设图像中的每个超像素对应于图中的一个顶点,两个相邻的超像素之间由一条边连接,由此构成邻接图对于最终的目标物体分割结果,假设其为邻接图所包含的多个子树构成的森林;
(5.2)建立数值模型求解:建立数值模型,将目标分割的问题转换为组合优化问题的求解,如下:
当R为前景中的超像素或超像素组合时,当R′为背景中的超像素或超像素组合时,约束条件表示对于任意一个超像素R只能属于前背景中的一类;通过推导得到,若要求解分割结果,实际上可转换为求解最优子树集合的方法,而要求最优子树集合,需要先估计最大生成树;
(5.3)推导最大生成树:通过beam search的定向搜索方法来得到所有可能的候选子树集合基于候选子树集合通过最大似然估计的方法得到最大生成树推导如下:
表示所有潜在的生成树集合,表示数据似然概率,最终导出,
为候选子树集合,为某一子树,表示对的最大似然估计,δ(·)为指示函数,δ((x,y)∈Cq)指示边(x,y)是否属于某一子树Cq; 为子树Cq与目标模型的相似程度,指示边是否属于某一子树,P(x,y)表示边(x,y)的概率,为对P(x,y)的最大似然估计;通过上式得到最大生成树的最大似然估计;
(5.4)搜索分割子树集合:基于最大生成树的最大似然估计求得然后通过动态规划技术在中搜索得到最优子树集合,具体实现步骤如下:
(5.4.1)对于图像Ii,将前背景分类器作用于超像素集得到分类为前景的种子超像素集合其种子超像素集合由离散的种子超像素构成,首先根据每个种子超像素与目标模型的相似程度进行排序得到
(5.4.2)选取最接近目标模型的超像素S1作为起始节点,以此推断最大生成树并得出相应的最优子树及其对应的分割结果判断此分割结果与目标模型的相似程度:如果相似程度符合条件:则认为分割结果有效,否则将设置为空集:且将分割结果区域内包含的错误种子超像素反馈至进行删除更新;
(5.4.3)遍历集合找出在之前的最优子树所对应的分割结果区域以外是否存在种子超像素sk,若存在则重复以上的步骤得到分割结果同理进行与目标模型的相似度判断与后续处理,更新分割结果和种子超像素集合;
(5.4.4)在完成对种子超像素集合的全部遍历后,我们得到最终针对图像Ii的分割结果和更新后的种子超像素集合并根据这些信息完成目标模型的更新以及种子超像素约束信息的更新,从而使模型的估计更为接近真实场景中存在的变化情况并排除错误的种子超像素,随后开始下一次的迭代;
(6)迭代分割:根据步骤5得到的分割结果更新步骤4中的目标模型,按照步骤5所述的方法,再进行分割;
(7)重复步骤6,直至最终分割结果不再变化,即得到最终的分割结果。
2.根据权利要求1所述的方法,其特征在于:步骤6具体为:
(6.1)根据最新的分割结果,更新之前的前景目标模型,使之更加接近待分割目标;
(6.2)根据更新后的目标模型,重新产生所有可能的候选子树集合并且估计最大生成树;
(6.3)根据更新后的目标模型和最大生成树,重新采用动态规划技术搜索由子树集合构成的森林,得到分割结果;
(6.4)判断是否满足截止条件,即最后分割结果是否不再变化;若满足,则迭代结束;若不满足,则重复(6.1)-(6.3)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610120407.7A CN105809672B (zh) | 2016-03-03 | 2016-03-03 | 一种基于超像素和结构化约束的图像多目标协同分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610120407.7A CN105809672B (zh) | 2016-03-03 | 2016-03-03 | 一种基于超像素和结构化约束的图像多目标协同分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105809672A CN105809672A (zh) | 2016-07-27 |
CN105809672B true CN105809672B (zh) | 2019-09-13 |
Family
ID=56466027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610120407.7A Expired - Fee Related CN105809672B (zh) | 2016-03-03 | 2016-03-03 | 一种基于超像素和结构化约束的图像多目标协同分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105809672B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106875406B (zh) * | 2017-01-24 | 2020-04-14 | 北京航空航天大学 | 图像引导的视频语义对象分割方法及装置 |
CN107103326B (zh) * | 2017-04-26 | 2020-06-02 | 苏州大学 | 基于超像素聚类的协同显著性检测方法 |
CN107256412B (zh) * | 2017-05-26 | 2019-07-12 | 东南大学 | 一种基于多人眼感知分组特性的图构造方法 |
CN107527348B (zh) * | 2017-07-11 | 2020-10-30 | 湖州师范学院 | 基于多尺度分割的显著性检测方法 |
CN107610133B (zh) * | 2017-08-28 | 2020-08-25 | 昆明理工大学 | 一种多目标服装图像协同分割方法 |
CN107909079B (zh) * | 2017-10-11 | 2021-06-04 | 天津大学 | 一种协同显著性检测方法 |
CN107909576B (zh) * | 2017-11-22 | 2021-06-25 | 南开大学 | 基于支撑语义关系的室内rgb-d图像物体分割方法 |
CN108305258B (zh) * | 2018-01-31 | 2022-07-26 | 成都快眼科技有限公司 | 一种基于最小生成树的超像素分割方法、***及存储设备 |
CN111223118A (zh) * | 2018-11-27 | 2020-06-02 | 富士通株式会社 | 图像处理装置、图像处理方法及计算机可读记录介质 |
CN109559321A (zh) * | 2018-11-28 | 2019-04-02 | 清华大学 | 一种声呐图像分割方法和设备 |
CN109934235B (zh) * | 2019-03-20 | 2021-04-20 | 中南大学 | 一种无监督的腹部ct序列图像多器官同时自动分割方法 |
CN110598711B (zh) * | 2019-08-31 | 2022-12-16 | 华南理工大学 | 一种结合分类任务的目标分割方法 |
CN112164087B (zh) * | 2020-10-13 | 2023-12-08 | 北京无线电测量研究所 | 基于边缘约束和分割边界搜索的超像素分割方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101756696A (zh) * | 2009-12-31 | 2010-06-30 | 中国人民解放军空军总医院 | 多光子皮肤镜图像自动分析***及其应用于恶性黑素瘤的诊断方法 |
CN105046714A (zh) * | 2015-08-18 | 2015-11-11 | 浙江大学 | 一种非监督的基于超像素和目标发现机制的图像分割方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014149563A (ja) * | 2013-01-31 | 2014-08-21 | Akita Univ | コマ分割装置及びコマ分割プログラム |
-
2016
- 2016-03-03 CN CN201610120407.7A patent/CN105809672B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101756696A (zh) * | 2009-12-31 | 2010-06-30 | 中国人民解放军空军总医院 | 多光子皮肤镜图像自动分析***及其应用于恶性黑素瘤的诊断方法 |
CN105046714A (zh) * | 2015-08-18 | 2015-11-11 | 浙江大学 | 一种非监督的基于超像素和目标发现机制的图像分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105809672A (zh) | 2016-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105809672B (zh) | 一种基于超像素和结构化约束的图像多目标协同分割方法 | |
Ibrahim et al. | Image segmentation methods based on superpixel techniques: A survey | |
CN109190524B (zh) | 一种基于生成对抗网络的人体动作识别方法 | |
CN108960140B (zh) | 基于多区域特征提取和融合的行人再识别方法 | |
CN106055576B (zh) | 一种大规模数据背景下的快速有效的图像检索方法 | |
CN107330451B (zh) | 基于深度卷积神经网络的服装属性检索方法 | |
EP2811424B1 (en) | Method and apparatus for training an estimator for estimating a pose of an articulated object | |
CN109165540B (zh) | 一种基于先验候选框选择策略的行人搜索方法和装置 | |
CN108288051B (zh) | 行人再识别模型训练方法及装置、电子设备和存储介质 | |
CN107256017B (zh) | 路线规划方法及*** | |
CN105740915B (zh) | 一种融合感知信息的协同分割方法 | |
CN108319957A (zh) | 一种基于超点图的大规模点云语义分割方法 | |
CN106845430A (zh) | 基于加速区域卷积神经网络的行人检测与跟踪方法 | |
CN106570480B (zh) | 一种基于姿势识别的人体动作分类方法 | |
CN114841257B (zh) | 一种基于自监督对比约束下的小样本目标检测方法 | |
CN112132014B (zh) | 基于非督导金字塔相似性学习的目标重识别方法及*** | |
CN105243139A (zh) | 一种基于深度学习的三维模型检索方法及其检索装置 | |
CN105320764B (zh) | 一种基于增量慢特征的3d模型检索方法及其检索装置 | |
CN112884742A (zh) | 一种基于多算法融合的多目标实时检测、识别及跟踪方法 | |
CN105046714A (zh) | 一种非监督的基于超像素和目标发现机制的图像分割方法 | |
CN108846404A (zh) | 一种基于相关约束图排序的图像显著性检测方法及装置 | |
CN110147841A (zh) | 基于弱监督及无监督部件检测和分割的细粒度分类方法 | |
CN113032613B (zh) | 一种基于交互注意力卷积神经网络的三维模型检索方法 | |
CN112733602B (zh) | 关系引导的行人属性识别方法 | |
CN110163130B (zh) | 一种用于手势识别的特征预对齐的随机森林分类***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190913 |