CN110942468A - 一种基于超像素对概率传递的交互式图像分割方法 - Google Patents
一种基于超像素对概率传递的交互式图像分割方法 Download PDFInfo
- Publication number
- CN110942468A CN110942468A CN201911025857.8A CN201911025857A CN110942468A CN 110942468 A CN110942468 A CN 110942468A CN 201911025857 A CN201911025857 A CN 201911025857A CN 110942468 A CN110942468 A CN 110942468A
- Authority
- CN
- China
- Prior art keywords
- superpixel
- pair
- super
- pixel
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于超像素对概率传递的交互式图像分割方法。该方法包括以下步骤:将图像划分成多个超像素,构造超像素对;构造超像素对的关系矩阵;将图像由RGB空间转换为Lab空间,使用k‑means算法,对种子点特征建模,估计超像素对的初始概率,得到超像素对的初始概率矩阵;利用超像素对的关系矩阵,将超像素对的初始概率传递到全局;根据传递到全局的超像素对初始概率,确定超像素的类别,最终完成图像分割。本发明对种子点具有更好的鲁棒性,减少了计算的复杂度,提高了交互式图像分割的效率。
Description
技术领域
本发明涉及图像分割技术领域,特别是一种基于超像素对概率传递的交互式图像分割方法。
背景技术
交互式图像分割是指在用户提供的先验知识下,基于一定的相似性准则将用户感兴趣的目标从复杂的图像背景环境中分离出来,它是图像分析、模式识别和计算机视觉等领域中的一个关键问题,分割质量的好坏将直接影响后续相关应用。
由于具备多特征融合、全局最优、执行效率高等优良特性,近年来基于图论方法的研究受到了国内外学者的广泛关注,并成为了主流的交互式图像分割方法之一。当用户提供足够多的种子点时,传统基于图论的方法在分割简单彩色图像时往往能获得较好的分割结果。然而,该类方法对种子点的数量和位置较为敏感,当用户交互有限时,很难获得满意的分割。此外,传统图论方法只利用图像的局部像素关系来指引分割,由于没有充分利用图像的结构信息,往往较难分割包含噪声和纹理的图像。这些缺陷严重影响了该类方法的准确性和鲁棒性,限制了其实用性。
发明内容
本发明的目的在于提供一种分割结果对种子点的鲁棒性好、计算复杂度低、分割效率高的基于超像素对概率传递的交互式图像分割方法。
实现本发明目的的技术解决方案为:一种基于超像素对概率传递的交互式图像分割方法,包括以下步骤:
步骤1、将图像划分成多个超像素,构造超像素对;
步骤2、构造超像素对的关系矩阵;
步骤3、将图像由RGB空间转换为Lab空间,使用k-means算法,对种子点特征建模,估计超像素对的初始概率,得到超像素对的初始概率矩阵;
步骤4、利用超像素对的关系矩阵,将超像素对的初始概率传递到全局;
步骤5、根据传递到全局的超像素对初始概率,确定超像素的类别,最终完成图像分割。
进一步地,步骤1中所述的将图像划分成多个超像素,构造超像素对,具体如下:
步骤1.1、使用SLIC算法,将图像划分为M个超像素;
步骤2.2、对任意一个超像素,与其余M-1个超像素及自身组合,构建M个超像素对,M个超像素一共构建M2个超像素对。
进一步地,步骤2中所述的构造超像素对的关系矩阵,具体如下:
取超像素中像素点特征的均值作为该超像素的特征,再获取超像素的邻域关系,使用高斯函数,根据超像素的特征值对建立超像素对的关系矩阵。
进一步地,步骤3中所述的使用k-means算法,对种子点特征建模,估计超像素对的初始概率,具体如下:
使用k-means算法对前景和背景种子点分别进行聚类,以未标记种子点与簇心的距离作为权值,使用高斯函数估计每个像素属于前景标签和背景标签的概率,再取超像素中所有像素点概率的均值作为该超像素的先验概率;
将超像素对看成一个单元,建立超像素对与标签对(FF,FB,BF,BB)之间的度量关系作为超像素对属于标签对的初始概率,然后将超像素对属于标签对的初始概率作为超像素对的初始概率;其中F表示前景标签,B表示背景标签。
进一步地,步骤4中所述的将超像素对的初始概率传递到全局,具体如下:
P(t)=αQP(t-1)+(1-α)P
其中Q为步骤2获得的超像素对关系矩阵的行归一化矩阵,P为步骤3获得的超像素对的初始概率矩阵,t为迭代次数,P(t)为P第t次迭代的结果;α是平衡系数,用于平衡初始概率矩阵和迭代后矩阵对结果的影响,0<α<1。
进一步地,步骤5所述的根据传递到全局的超像素对初始概率,确定超像素的类别,具体如下:
确定超像素类别时,根据该超像素与自身及其他M-1个超像素的元素对概率之和,完成分类,过程为:判断超像素i的标签时,首先计算所有M个与超像素i相关的超像素对(i,1),(i,2),…,(i,M),分别属于标签对(FF,FB,BF,BB)的超像素对概率(PFF,PFB,PBF,PBB),然后,PFF+PFB作为超像素i属于前景标签F的概率PF,PBF+PBB作为超像素i属于背景标签B的概率PB,如果PF>PB,则超像素i属于前景标签F,否则属于背景标签B。
本发明与现有技术相比,其显著优点在于:(1)采用基于鲁棒关系传递的交互式图像分割,引入非局部关系,通过传递邻域像素之间的相似性关系来捕获图像内在的全局关系,取得了很好的分割效果;(2)使用成对关系,在相同种子点的情况下,增加了分割结果对种子点的鲁棒性;(3)使用超像素代替像素点,将成对关系矩阵的规模保持在一个合适的范围,在进行成对关系传递扩散时,减少了计算的复杂度,提高了交互式图像分割的效率。
附图说明
图1是本发明基于超像素对概率传递的交互式图像分割方法的流程图。
图2是本发明基于超像素对概率传递的交互式图像分割方法的实施过程示意图。
图3是本发明实施例中基于单个超像素的概率传递和基于超像素对概率传递两种方法得到的分割结果的比较示例图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
结合图1,本发明基于超像素对概率传递的交互式图像分割方法,包括以下步骤:
步骤1、将图像划分成多个超像素,构造超像素对;
步骤2、构造超像素对的关系矩阵;
步骤3、将图像由RGB空间转换为Lab空间,使用k-means算法,对种子点特征建模,估计超像素对的初始概率;
步骤4、利用超像素对的关系矩阵,将超像素对的初始概率传递到全局;
步骤5、根据传递到全局的超像素对概率,确定超像素的类别,最终完成图像分割。
进一步地,步骤1中所述的将图像划分成多个超像素,构造超像素对,具体如下:
步骤1.1、使用SLIC算法,将图像划分为M个超像素;
步骤2.2、对任意一个超像素,与其余M-1个超像素及自身组合,构建M个超像素对,M个超像素一共构建M2个超像素对。
进一步地,步骤2中所述的构造超像素对的关系矩阵,具体如下:
取超像素中像素点特征的均值作为该超像素的特征,再获取超像素的邻域关系,使用高斯函数,根据超像素的特征值对建立超像素对的关系矩阵。
进一步地,步骤3中所述的使用k-means算法,对种子点特征建模,估计超像素对的初始概率,具体如下:
使用k-means算法对前景和背景种子点分别进行聚类,以未标记种子点与簇心的距离作为权值,使用高斯函数估计每个像素属于前景标签和背景标签的概率,再取超像素中所有像素点概率的均值作为该超像素的先验概率,传统方法是建立单个超像素与前景标签(F)或背景标签(B)之间的度量关系作为初始先验概率,本发明是将成对超像素看成一个单元,建立其与标签对(FF,FB,BF,BB)之间的度量关系作为超像素对属于标签对的概率,然后将超像素对属于标签对的初始概率作为超像素对的初始概率。
进一步地,步骤4中所述的将超像素对的初始概率传递到全局,具体如下:
P(t)=αQP(t-1)+(1-α)P
其中Q为步骤2获得的超像素对关系矩阵的行归一化矩阵,P为步骤3获得的超像素对的初始概率矩阵,t为迭代次数,P(t)为P第t次迭代的结果;α是平衡系数,用于平衡初始概率矩阵和迭代后矩阵对结果的影响,0<α<1。
进一步地,步骤5所述的根据传递到全局的超像素对概率,确定超像素的类别,最终完成图像分割,具体如下:
确定超像素类别时,根据该超像素与自身及其他M-1个超像素的元素对概率之和,完成分类。例如判断超像素i的标签时,首先计算所有M个与超像素i相关的超像素对(i,1),(i,2),…,(i,M),分别属于标签对(FF,FB,BF,BB)的超像素对概率(PFF,PFB,PBF,PBB),然后,PFF+PFB作为超像素i属于前景标签(F)的概率(PF),PBF+PBB作为超像素i属于背景标签(B)的概率(PB),如果PF>PB,则超像素i属于前景标签(F),否则属于背景标签(B)。
下面结合附图及具体实施例对本发明做进一步详细说明。
实施例1
结合图1,本发明基于超像素对关系传递的交互式图像分割方法,包括以下步骤:
步骤1、将图像划分成若干个超像素,构造超像素对,具体如下:
步骤1.1、使用SLIC算法,将图像划分为M个超像素;
步骤2.2、对任意一个超像素,与其余M-1个超像素及自身组合,构建M个超像素对,M个超像素一共构建M2个超像素对。
步骤2、构造超像素对的关系矩阵,具体如下:
取超像素中像素点特征的均值作为该超像素的特征,再获取超像素的邻域关系,使用高斯函数,根据特征值建立超像素对的关系矩阵。
步骤3、将图像由RGB空间转换为Lab空间,使用k-means算法,对种子点特征建模,来估计超像素对的初始概率,具体如下:
使用k-means算法对前景和背景种子点分别进行聚类,以未标记种子点与‘簇心’的距离作为权值,使用高斯函数估计每个像素属于前景标签和背景标签的概率,再取超像素中所有像素点概率的均值作为该超像素的先验概率,将成对超像素看成一个单元,建立其与标签对(FF,FB,BF,BB)之间的度量关系作为超像素对属于标签对的概率,然后将超像素对属于标签对的初始概率作为超像素对的初始概率。
步骤4、使用基于传递的迭代优化方法,将超像素对的初始概率传递到全局,具体如下:
P(t)=αQP(t-1)+(1-α)P
其中Q为步骤2获得的超像素对关系矩阵的行归一化矩阵,P为步骤3获得的超像素对的初始概率矩阵,t为迭代次数,P(t)为P第t次迭代的结果;α是平衡系数,用于平衡初始概率矩阵和迭代后矩阵对结果的影响,0<α<1。
步骤5、根据传递到全局的超像素对概率,确定超像素的类别,最终完成图像分割,具体如下:
确定某个超像素类别时,根据该超像素与自身及其他M-1个超像素的元素对概率之和,完成分类。当判断超像素i的标签时,首先计算所有M个与超像素i相关的超像素对(i,1),(i,2),…,(i,M),分别属于标签对(FF,FB,BF,BB)的超像素对概率(PFF,PFB,PBF,PBB),然后,PFF+PFB作为超像素i属于前景标签(F)的概率(PF),PBF+PBB作为超像素i属于背景标签(B)的概率(PB),如果PF>PB,则超像素i属于前景标签(F),否则属于背景标签(B)。
传统的概率传递方法传递的都是单个元素(像素或超像素)的概率,本发明方法是将元素对作为一个单元,传递元素对的概率,然后根据传递后的元素对概率进行图像分割。此方法突破了基于单个元素的概率传递方法对种子点数量敏感的缺点,利用元素对的概率判断元素的类别(前景/背景),加强了元素之间的联系,提高了分割结果对种子点的鲁棒性。
结合图2,本实施例采用伯克利图像数据集中选取的图像,图像是普通的彩色图像,分割前选取图像,在图像上进行划线,前景使用红色线条标记,背景使用绿色线条标记,来获得种子点类别。使用SLIC算法生成若干个超像素,构建超像素对;取超像素中像素特征均值作为超像素特征,计算超像素对的关系矩阵;通过用户划线交互,获得前景和背景种子点,在此基础之上获得像素先验概率;取超像素中所有像素概率均值作为超像素概率,再估计成对超像素属于标签对的初始概率;然后使用基于传递的迭代优化策略将初始概率传递到全局,获得全局超像素对概率;最后根据传递后的超像素对概率,确定超像素类别,完成图像分割。
实验结果如图3所示,从图中可以看出,在有限种子点的情况下,本发明的方法较传统基于像素的概率传递方法而言,分割效果明显较好,而且分割耗时更少。由于传统的概率传递方法是基于像素的,所以分割是以像素为单位,导致许多零星的像素点被错误的分割,由此可以看出传统方法对种子点的数量更加敏感。而本发明提出的方法,是以超像素对为单位,不存在上述问题,且计算量减小,分割耗时更短。本发明获得的图像分割算法的复杂度和分割结果对种子点的敏感度都优于现有的方法,实现了较好的图像分割效果,对于图像处理中抠图等方面具有重要的实际意义。
Claims (6)
1.一种基于超像素对概率传递的交互式图像分割方法,其特征在于,包括以下步骤:
步骤1、将图像划分成多个超像素,构造超像素对;
步骤2、构造超像素对的关系矩阵;
步骤3、将图像由RGB空间转换为Lab空间,使用k-means算法,对种子点特征建模,估计超像素对的初始概率,得到超像素对的初始概率矩阵;
步骤4、利用超像素对的关系矩阵,将超像素对的初始概率传递到全局;
步骤5、根据传递到全局的超像素对初始概率,确定超像素的类别,最终完成图像分割。
2.根据权利要求1所述的基于超像素对概率传递的交互式图像分割方法,其特征在于,步骤1中所述的将图像划分成多个超像素,构造超像素对,具体如下:
步骤1.1、使用SLIC算法,将图像划分为M个超像素;
步骤2.2、对任意一个超像素,与其余M-1个超像素及自身组合,构建M个超像素对,M个超像素一共构建M2个超像素对。
3.根据权利要求1所述的基于超像素对关系传递的交互式图像分割方法,其特征在于,步骤2中所述的构造超像素对的关系矩阵,具体如下:
取超像素中像素点特征的均值作为该超像素的特征,再获取超像素的邻域关系,使用高斯函数,根据超像素的特征值对建立超像素对的关系矩阵。
4.根据权利要求1所述的基于超像素对关系传递的交互式图像分割方法,其特征在于,步骤3中所述的使用k-means算法,对种子点特征建模,估计超像素对的初始概率,具体如下:
使用k-means算法对前景和背景种子点分别进行聚类,以未标记种子点与簇心的距离作为权值,使用高斯函数估计每个像素属于前景标签和背景标签的概率,再取超像素中所有像素点概率的均值作为该超像素的先验概率;
将超像素对看成一个单元,建立超像素对与标签对(FF,FB,BF,BB)之间的度量关系作为超像素对属于标签对的初始概率,然后将超像素对属于标签对的初始概率作为超像素对的初始概率;其中F表示前景标签,B表示背景标签。
5.根据权利要求1所述的基于超像素对关系传递的交互式图像分割方法,其特征在于,步骤4中所述的将超像素对的初始概率传递到全局,具体如下:
P(t)=αQP(t-1)+(1-α)P
其中Q为步骤2获得的超像素对关系矩阵的行归一化矩阵,P为步骤3获得的超像素对的初始概率矩阵,t为迭代次数,P(t)为P第t次迭代的结果;α是平衡系数,用于平衡初始概率矩阵和迭代后矩阵对结果的影响,0<α<1。
6.根据权利要求1所述的基于超像素对关系传递的交互式图像分割方法,其特征在于,步骤5所述的根据传递到全局的超像素对初始概率,确定超像素的类别,具体如下:
确定超像素类别时,根据该超像素与自身及其他M-1个超像素的元素对概率之和,完成分类,过程为:判断超像素i的标签时,首先计算所有M个与超像素i相关的超像素对(i,1),(i,2),…,(i,M),分别属于标签对(FF,FB,BF,BB)的超像素对概率(PFF,PFB,PBF,PBB),然后,PFF+PFB作为超像素i属于前景标签F的概率PF,PBF+PBB作为超像素i属于背景标签B的概率PB,如果PF>PB,则超像素i属于前景标签F,否则属于背景标签B。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911025857.8A CN110942468B (zh) | 2019-10-25 | 2019-10-25 | 一种基于超像素对概率传递的交互式图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911025857.8A CN110942468B (zh) | 2019-10-25 | 2019-10-25 | 一种基于超像素对概率传递的交互式图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110942468A true CN110942468A (zh) | 2020-03-31 |
CN110942468B CN110942468B (zh) | 2022-08-12 |
Family
ID=69906227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911025857.8A Active CN110942468B (zh) | 2019-10-25 | 2019-10-25 | 一种基于超像素对概率传递的交互式图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110942468B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113409338A (zh) * | 2021-06-24 | 2021-09-17 | 西安交通大学 | 一种基于概率分配的超像素方法 |
CN114495236A (zh) * | 2022-02-11 | 2022-05-13 | 北京百度网讯科技有限公司 | 图像分割方法、装置、设备、介质及程序产品 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180247126A1 (en) * | 2017-02-24 | 2018-08-30 | Beihang University | Method and system for detecting and segmenting primary video objects with neighborhood reversibility |
CN109389601A (zh) * | 2018-10-19 | 2019-02-26 | 山东大学 | 基于像素间相似性的彩色图像超像素分割方法 |
-
2019
- 2019-10-25 CN CN201911025857.8A patent/CN110942468B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180247126A1 (en) * | 2017-02-24 | 2018-08-30 | Beihang University | Method and system for detecting and segmenting primary video objects with neighborhood reversibility |
CN109389601A (zh) * | 2018-10-19 | 2019-02-26 | 山东大学 | 基于像素间相似性的彩色图像超像素分割方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113409338A (zh) * | 2021-06-24 | 2021-09-17 | 西安交通大学 | 一种基于概率分配的超像素方法 |
CN113409338B (zh) * | 2021-06-24 | 2023-04-25 | 西安交通大学 | 一种基于概率分配的超像素方法 |
CN114495236A (zh) * | 2022-02-11 | 2022-05-13 | 北京百度网讯科技有限公司 | 图像分割方法、装置、设备、介质及程序产品 |
Also Published As
Publication number | Publication date |
---|---|
CN110942468B (zh) | 2022-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110414387B (zh) | 一种基于道路分割的车道线多任务学习检测方法 | |
CN108537239B (zh) | 一种图像显著性目标检测的方法 | |
CN111639564B (zh) | 一种基于多注意力异构网络的视频行人重识别方法 | |
CN113468227B (zh) | 基于图神经网络的信息推荐方法、***、设备和存储介质 | |
CN110188763B (zh) | 一种基于改进图模型的图像显著性检测方法 | |
CN109446894B (zh) | 基于概率分割及高斯混合聚类的多光谱图像变化检测方法 | |
CN111583279A (zh) | 一种基于pcba的超像素图像分割方法 | |
CN111339924B (zh) | 一种基于超像素和全卷积网络的极化sar图像分类方法 | |
CN110942468B (zh) | 一种基于超像素对概率传递的交互式图像分割方法 | |
CN109241816B (zh) | 一种基于标签优化的图像再识别***及损失函数确定方法 | |
CN110689060B (zh) | 一种基于聚合特征差异学习网络的异源图像匹配方法 | |
CN101710418A (zh) | 基于测地距离的交互方式图象分割方法 | |
CN111325750A (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
CN111047603A (zh) | 一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法 | |
CN108846845B (zh) | 基于缩略图与分层模糊聚类的sar图像分割方法 | |
CN110634142B (zh) | 一种复杂车路图像边界优化方法 | |
CN111339862A (zh) | 一种基于通道注意力机制的遥感场景分类方法及装置 | |
CN114581451A (zh) | 一种基于散射图神经网络的大脑磁共振图像分割方法 | |
CN109741358A (zh) | 基于自适应超图学习的超像素分割方法 | |
CN116798070A (zh) | 一种基于光谱感知和注意力机制的跨模态行人重识别方法 | |
CN112163636A (zh) | 基于孪生神经网络的电磁信号辐射源的未知模式识别方法 | |
CN115456113A (zh) | 一种基于星座图多特征提取算法的调制格式识别方法 | |
CN117152459A (zh) | 图像检测方法、装置、计算机可读介质及电子设备 | |
CN115100406B (zh) | 一种基于超像素处理的权重信息熵模糊c均值聚类方法 | |
CN111369595A (zh) | 基于自适应相关卷积神经网络的光流计算方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |