CN113469270A - 基于分解多目标差分进化超像素的半监督直觉聚类方法 - Google Patents
基于分解多目标差分进化超像素的半监督直觉聚类方法 Download PDFInfo
- Publication number
- CN113469270A CN113469270A CN202110806823.3A CN202110806823A CN113469270A CN 113469270 A CN113469270 A CN 113469270A CN 202110806823 A CN202110806823 A CN 202110806823A CN 113469270 A CN113469270 A CN 113469270A
- Authority
- CN
- China
- Prior art keywords
- super
- pixel
- image
- superpixel
- pixel region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 44
- 238000003709 image segmentation Methods 0.000 claims abstract description 22
- 238000012937 correction Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 84
- 239000013598 vector Substances 0.000 claims description 41
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000003708 edge detection Methods 0.000 claims description 6
- 230000035772 mutation Effects 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 4
- 210000000349 chromosome Anatomy 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 239000004576 sand Substances 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 9
- 238000004088 simulation Methods 0.000 description 8
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于分解多目标差分进化超像素的半监督直觉聚类方法,主要解决现有图像分割效果不佳、算法时效性较差的问题。方案包括:输入待分割图像并设置初始参数;对图像进行基于分解多目标差分进化的超像素分割,并将该超像素区域的边缘定义为图像的弱边缘;利用canny算子提取图像的强边缘,并对图像进行基于强弱边缘的超像素区域合并;提取合并后每个超像素区域的代表特征,对图像进行分解多目标进化模糊聚类;对聚类结果进行类标签修正,得到最终图像分割结果。本发明通过融合图像的区域信息和部分监督信息、采用分解进化策略优化适应度函数,从而有效改善了图像分割性能、解决了多目标进化模糊聚类算法时效性较差的问题。
Description
技术领域
本发明属于图像处理技术领域,进一步涉及半监督直觉聚类方法,具体为一种基于分解多目标差分进化超像素的半监督直觉聚类方法,可用于自然图像的识别。
背景技术
图像分割就是对图像中的相似像素赋予相同标签的过程,其结果的好坏对后续的图像分析十分重要。图像分割主要分为基于阈值的方法、基于聚类的方法、基于边缘检测的方法、基于区域的方法和结合特定理论的方法这五大类。其中,基于聚类的图像分割方法因其原理简单且分割效果好等特点成为图像分割中一种常用的方法。常见的聚类方法有K-均值聚类算法、模糊聚类算法、谱聚类算法和层次聚类算法等。现实世界中的事物往往具有模糊性和不确定性,因此,模糊聚类算法更能客观的分析现实世界中的事物,吸引到国内外众多学者的目光。然而,传统的模糊聚类算法应用于图像分割时存在一些缺陷:1.对聚类中心初始值比较敏感,易陷入局部最优;2.对噪声敏感,如果图像中含有大量噪声,则不能得到理想的图像分割结果;3.聚类时只考虑单个目标函数,无法满足用户的不同需求。因此,近些年来诸多学者对此进行了更为深入的研究。
2016年,刘汉强等人在“局部搜索自适应核模糊聚类方法[J],计算机工程与科学,38(8):1735-1740”中,提出了一种局部搜索自适应核模糊聚类方法,首先通过引入核函数,尽可能提高数据的可分性;然后设计了基于核的局部搜索方法,通过对部分样本数据进行局部搜索以寻找初始聚类中心;该方法虽然在一定程度上可以解决传统聚类算法对聚类中心初始值敏感的问题,但却由于增加了基于核的局部搜索方法,导致算法的时间复杂度较高。
2019年,兰蓉等人在“抑制式非局部空间直觉模糊C-均值图像分割算法[J],电子与信息学报,41(6):1472-1479”中提出一种抑制式非局部空间直觉模糊C-均值图像分割算法。该算法通过计算像素的非局部空间信息提高对噪声的鲁棒性,克服了传统的模糊聚类算法只考虑图像单个像素的灰度特征信息的缺陷,提高了图像分割的精度,但是该算法在进行图像聚类时没有考虑到图像的区域信息,忽略了邻域像素之间的相似性,最终得到的图像分割效果并不好。
2011年,Mukhopadhyay等人在“A multiobjective approach to MR brain imagesegmentation[J],Applied Soft Computing,11(1):872-880”中提出一种多目标可变长遗传模糊聚类算法,其采用非支配排序遗传算法,同时优化模糊紧致性函数和模糊分离函数两个适应度函数并成功应用于脑部医学图像分割,从而实现了在多个聚类准则下的图像分割;但是该算法应用于图像分割时,忽略了图像的区域信息,图像分割效果不好,此外,在多目标进化过程中需要花费很多时间,算法时效性较差。
发明内容
本发明的目的在于针对上述现有技术的不足,提供一种基于分解多目标差分进化超像素的半监督直觉聚类方法。通过融合图像的区域信息和部分监督信息以提高图像分割性能,采用Kriging辅助参考向量引导的分解进化策略优化两个适应度函数以提高多目标进化模糊聚类算法的速度。从而有效改善图像分割性能、解决多目标进化模糊聚类算法时效性较差的问题。
本发明实现上述目的具体步骤如下:
(1)输入待分割彩色图像;
(2)设置参数:设超像素个数为500,超像素模糊指数为25,正整数为5,超像素最大迭代次数tmax=10,邻域个数为10,差分进化变异因子为0.5,差分进化交叉因子为0.9;聚类种群规模为50,聚类最大迭代次数wmax=100,用于更新Kriging模型的个体数目为5,更新Kriging模型之前的固定迭代次数为20,二进制交叉概率为0.9和多项式变异概率为0.1;
(3)对彩色图像进行基于分解多目标差分进化的超像素分割,并将分割后超像素区域的边缘定义为图像的弱边缘;其中对彩色图像进行基于分解多目标差分进化的超像素分割,具体步骤如下:
(3.1)采用分解多目标差分进化法对核心点偏移分量进行编码,获得初始种群P:
pi,j=-S/2+rand×S,
其中,pi,j表示初始种群中的个体;rand函数产生[0,1]间的随机数,i=1,2,…,pop,j=1,2,…,D,D=2K;种群规模pop采用计算确定,M=3为超像素准则函数的个数,H是一个自定义正整数;
(3.2)在图像上随机选取位于每个均匀超像素区域内的点为核心点,然后利用核心点和个体解码的偏移量获得图像超像素的种子点si,k:
其中,q=0.1,ci,k表示第i个个体对应图像的第k个超像素的核心点,k=1,2,…,K;∧表示K×K对角矩阵的集合;
(3.3)取种子点si,k的3S×3S邻域,通过判断邻域内像素与种子点的距离得到超像素标签矩阵Li;
(3.4)基于超像素标签矩阵Li,设计三个超像素准则函数:超像素内均方误差f1(si,Li)、超像素边缘梯度准则函数f2(Li)和区域正则项超像素准则函数f3(Li);
超像素内均方误差f1(si,Li),计算公式如下:
其中,In为第n个像素点的5维特征向量,n=1,2,...,N;Li(n)为第n个像素点在超像素标签矩阵Li中的标签;d表示像素距离;
超像素边缘梯度准则函数f2(Li),具体计算公式如下:
其中,ΔI(n)为图像第n个像素对应的梯度特征;Li(n)为第n个像素点在Li中的标签;δ(·)为条件判断函数,当括号内条件为真,则返回1,反之为0;如果第n个像素与邻域Wn内的像素的标签有一个不同,则表示该像素在两个超像素区域的交界处。
区域正则项超像素准则函数f3(Li),计算公式如下:
(3.5)采用切比雪夫法MOEA/D将三个超像素准则函数进行分解,具体如下:
(3.5.1)初始化权重向量矩阵λ=[λ1,λ2,…,λi,…,λpop],通过计算λi与其它权重向量之间的欧氏距离,得到λi的T个邻域权重向量λi1,λi2,…,λiT;
(3.5.2)采用切比雪夫法分解三个超像素准则函数的计算公式为:
(3.6)对个体进行交叉、变异和选择,经过迭代更新得到最终的种群和最优解,最终获得图像的超像素区域分割结果;
(4)利用图像边缘检测canny算子提取图像的强边缘,并对图像进行基于强弱边缘的超像素区域合并;
(5)提取合并后第k个超像素区域的代表特征rk:
其中,Yα表示该超像素区域中像素点α的红绿蓝RGB特征值,Yβ表示该超像素区域中中值像素点β的RGB特征值,w(Yα,Yβ)表示像素点α与β之间的权重:
w(Yα,Yβ)=Qαβ×Uαβ,
其中,Qαβ表示位置权重,像素点α距离β越近,其权重越高;Uαβ表示颜色权重,像素点α与β颜色信息越接近,其权重越高;Qαβ和Uαβ的计算公式分别为:
其中,(x,y)表示该超像素区域中像素点的坐标,num表示该超像素中像素点的个数;σ表示该超像素区域的颜色特征方差;
取k=1,2,...,G,通过计算得到每个超像素区域的代表特征集合r={r1,r2,…,rk,…,rG};
(7)初始化参考向量,随机初始化种群并对种群中的染色体进行编码;
(8)构造融合超像素区域信息的半监督直觉模糊紧致性函数J:
(9)构造融合超像素区域信息的直觉模糊分离函数CS:
其中,μγρ表示vρ相对于vγ的隶属度。
(10)根据步骤(8)和(9)中构造的函数表达式,分别计算初始种群中每个个体的适应度函数值,即J和1/CS,并使用初始种群中的个体及其适应度函数值训练Kriging模型,设置t=0、w=0,其中t表示超像素当前迭代次数、w表示聚类当前迭代次数;
(11)利用二进制交叉和多项式变异生成子代种群,利用Kriging模型预测子代个体的目标函数值,并将父代个体与子代个体合并;
(12)采用基于角度惩罚距离的选择策略APD选择新种群,更新参考向量,并设置w=w+1;
(13)判断是否需要更新Kriging模型,如果w>wmax,则更新Kriging模型,令w=0,并执行步骤(14);否则,返回步骤(11);
(14)判断是否达到超像素最大迭代次数,若t>tmax,则迭代终止,得到最后一代非支配解集,执行步骤(15);否则,令t=t+1,返回步骤步骤(11);
(15)构造融合超像素区域信息的半监督直觉模糊聚类最优解选取指标SI:
其中,EC表示类内紧致性度量指标,E1表示所有的样本聚为一类的紧致性,FC表示类间最大可分性度量指标;
(16)利用最优解选取指标SI从最后一代非支配解集中选出最优个体,得到最优的聚类中心;
(17)根据最优聚类中心,对每个超像素区域进行标签分配进而获得图像中所有像素点的标签,得到图像聚类结果;
(18)对图像聚类结果进行类标签修正,得到最终图像分割结果。
与现有技术相比,本发明具有以下有益的技术效果:
第一,由于本发明首先在多个准则下对图像进行超像素分割,然后提取超像素区域的代表特征进行多目标进化模糊聚类,从而可在图像聚类时充分考虑到图像的区域信息,使得最终得到的图像分割效果得到明显提升;
第二,由于本发明在进行图像聚类前,首先利用超像素技术对图像进行了预处理,因此提高了多目标进化模糊聚类算法的速度;
第三,由于本发明分别构造融合超像素区域信息的半监督直觉模糊紧致性函数和融合超像素区域信息的直觉模糊分离函数作为待优化的适应度函数,并构造融合超像素区域信息的半监督直觉模糊聚类最优解选取指标以选择最优的聚类中心,从而使得图像分割性能有所提高。
附图说明
图1为本发明方法的实现流程图;
图2为使用本发明和现有方法对Berkeley图像数据库中的编号为253036的图像进行仿真分割的结果对比图;
图3为使用本发明与现有方法对Weizmann图像数据库中的编号为113334665744的图像进行仿真分割的结果对比图;
图4为本发明中基于图像强弱边缘的超像素区域合并示意图,其中(a)为图像强弱边缘示意图、(b)为区域合并结果示意图。
具体实施方式
下面结合附图对本发明做进一步的描述。
实施例一、参照图1,本发明的实现步骤如下:
步骤A:输入待分割彩色图像并设置初始参数值。
输入待分割彩色图像;
设置参数:设超像素个数为500,超像素模糊指数为25,正整数为5,超像素最大迭代次数10,邻域个数为10,差分进化变异因子为0.5,差分进化交叉因子为0.9;聚类种群规模为50,聚类最大迭代次数100,用于更新Kriging模型的个体数目为5,更新Kriging模型之前的固定迭代次数为20,二进制交叉概率为0.9和多项式变异概率为0.1;
步骤B:对彩色图像进行基于分解多目标差分进化的超像素分割,并将该超像素区域的边缘定义为图像的弱边缘。
2.1)初始化;
2.1.1)假设将一幅具有N个像素点图像分为K个均匀大小的超像素区域,则每个区域的边长约为选取每个超像素区域中心点的5维特征得到初始化核心点c={ci,k},其中,ci,k为第i个个体对应的图像第k个超像素的核心点,ci,k=[li,k,ai,k,bi,k,xi,k,yi,k],li,k,ai,k,bi,k表示其Lab颜色特征,xi,k,yi,k表示其空间特征;
2.1.2)根据公式计算超像素种群规模pop,初始化权重向量矩阵λ=[λ1,λ2,…,λpop],通过计算λi与其它权重向量之间的欧氏距离,得到λi的T个邻域权重向量λi1,λi2,L,λiT,令B(i)=[i1,i2,…,iT],i=1,2,…,pop;
2.1.3)初始化种群P=[pi,1,pi,2,…,pi,D]:
pi,j=-S/2+rand×S,
其中,rand函数产生[0,1]间的随机数,i=1,2,…,pop,j=1,2,…,D,D=2K;
2.1.4)利用个体pi优化核心点c生成一组超像素点si和一个超像素标签矩阵Li:
其中,q=0.1,k=1,2,…,K,si,k表示由第i个个体pi优化核心点c生成的第k个超像素种子点的5维特征。基于获得的超像素种子点,取该种子点的3S×3S邻域,通过判断邻域内像素与种子点的距离得到超像素标签矩阵。给定任意两个像素点α和β,它们之间的距离公式为:
其中,dc(α,β)表示颜色距离,ds(α,β)表示空间距离,m′表示超像素模糊指数。
2.1.5)分别计算目标函数值超像素内误差fi,1、超像素边缘梯度准则函数fi,2和区域正则项fi,3。f1表示图像的每个像素分配到最近超像素种子点的均方误差,其值越小表示像素分的越准确,具体计算公式如下:
其中,In为第n个像素点的5维特征向量,l=Li(n)为第n个像素点在超像素标签矩阵Li中的标签,si,l表示第i个个体对应的种子点si中第l个超像素点处的5维特征向量。f2表示超像素边缘梯度准则,是判断边界强度的依据,其值越大越好,具体计算公式如下:
其中,ΔI(n)为图像第n个像素对应的梯度特征;Li(n)为第n个像素点在Li中的标签;δ(·)为条件判断函数,当括号内条件为真,则返回1,否则,则为0。根据公式定义可以分析出,如果第n个像素与邻域Wn内的像素的标签有一个不同,则表示该像素在两个超像素区域的交界处。f3表示每个超像素区域大小偏离期望大小的程度,其值越小越好,具体来说:
2.2)更新邻域解,具体方法为:对于每个个体pi,h∈B(i),分别计算聚合函数值g(si,Li|λh,z*),g(sh,Lh|λh,z*),若g(si,Li|λh,z*)≤g(sh,Lh|λh,z*),则令ph=pi,fh,1=fi,1,fh,2=fi,2,fh,3=fi,3,O(h)=g(si,Li|λh,z*),否则,令O(h)=g(sh,Lh|λh,z*),其中O(h)表示第h组超像素点对应的聚合函数值;
2.3)选择最小聚合函数值对应的个体结合核心点生成初始最优标签矩阵;
2.4)迭代更新
2.4.1)设置gen=1;
2.4.2)更新核心点c;
2.4.3)更新个体pi及对应目标函数值fi,1,fi,2,fi,3,同时更新参考点z*,然后执行步骤2.2)以更新邻域解,i=1,2,…,pop;
2.4.4)选择最小聚合函数值对应的个体结合核心点c生成最优标签矩阵L,并设置gen=gen+1;
2.4.5)判断是否达到最大迭代次数,若gen>genmax,输出L,得到图像的超像素分割结果;否则,执行步骤2.4.2);
步骤C:利用canny算子提取图像的强边缘,并对图像进行基于强弱边缘的超像素区域合并。
步骤D:提取合并后每个超像素区域的代表特征,对图像进行分解多目标进化模糊聚类。
步骤E:对聚类结果进行类标签修正,得到最终图像分割结果。
实施例二、在本实施例中进一步详细描述本发明的实现步骤:
步骤1:输入待分割彩色图像;
步骤2:设置参数:设超像素个数为500,超像素模糊指数为25,正整数为5,超像素最大迭代次数tmax=10,邻域个数为10,差分进化变异因子为0.5,差分进化交叉因子为0.9;聚类种群规模为50,聚类最大迭代次数wmax=100,用于更新Kriging模型的个体数目为5,更新Kriging模型之前的固定迭代次数为20,二进制交叉概率为0.9和多项式变异概率为0.1;
步骤3:对彩色图像进行基于分解多目标差分进化的超像素分割,并将分割后超像素区域的边缘定义为图像的弱边缘;图像的超像素区域分割一般是将位置相邻且特征相似的像素点聚成小区域的过程。本发明从超像素内均方误差、超像素边缘梯度准则和区域正则项三个方面考虑图像的超像素分割。为了同时优化这三个目标,采用分解多目标差分进化方法,首先对核心点偏移分量进行编码获得初始化种群,并利用种群中的个体和核心点获得不同的种子点,进而利用切比雪夫法分解法计算基于超像素内均方误差、超像素边缘梯度准则和区域正则项的超像素准则函数,然后利用交叉、变异和选择策略对个体进行更新,通过不断迭代得到最终的种群和最优解,最终获得图像的超像素区域分割结果。
对彩色图像进行基于分解多目标差分进化的超像素分割,具体步骤如下:
(3.1)为了获得图像的超像素区域,需要从空间位置和特征角度衡量图像像素与区域种子点的差异;为了获得合适的超像素种子点,此处需要对每个超像素的核心点偏移分量进行编码,故采用分解多目标差分进化法对核心点偏移分量进行编码,获得初始种群P:
pi,j=-S/2+rand×S,
其中,pi,j表示初始种群中的个体;rand函数产生[0,1]间的随机数,i=1,2,…,pop,j=1,2,…,D,D=2K;种群规模pop采用计算确定,M=3为超像素准则函数的个数,H是一个自定义正整数;
(3.2)由于个体是对核心点偏移分量进行编码,因此在使用基于分解多目标差分进化方法初期,首先需要在图像上随机均匀初始化核心点,即核心点的选取位于每个均匀的超像素区域内;然后利用核心点和个体解码的偏移量获得图像超像素的种子点。
在图像上随机选取位于每个均匀超像素区域内的点为核心点,然后利用核心点和个体解码的偏移量获得图像超像素的种子点si,k:
其中,q=0.1,ci,k表示第i个个体对应图像的第k个超像素的核心点,k=1,2,…,K;∧表示K×K对角矩阵的集合;
(3.3)取种子点si,k的3S×3S邻域,通过判断邻域内像素与种子点的距离得到超像素标签矩阵Li;所述像素与种子点的距离按照如下计算得到:
给定任意两个像素点α和β,其两者之间距离d(α,β)为:
其中,m′表示超像素模糊指数;dc(α,β)表示颜色距离,ds(α,β)表示空间距离;
(3.4)基于超像素标签矩阵Li,设计三个超像素准则函数:超像素内均方误差f1(si,Li)、超像素边缘梯度准则函数f2(Li)和区域正则项超像素准则函数f3(Li);
超像素内均方误差f1(si,Li),计算公式如下:
其中,In为第n个像素点的5维特征向量,n=1,2,...,N;Li(n)为第n个像素点在超像素标签矩阵Li中的标签;d表示像素距离;
超像素边缘梯度准则函数f2(Li),具体计算公式如下:
其中,ΔI(n)为图像第n个像素对应的梯度特征;Li(n)为第n个像素点在Li中的标签;δ(·)为条件判断函数,当括号内条件为真,则返回1,反之为0;如果第n个像素与邻域Wn内的像素的标签有一个不同,则表示该像素在两个超像素区域的交界处。
区域正则项超像素准则函数f3(Li),计算公式如下:
(3.5)为了同时优化上述三个超像素准则函数,本发明采用MOEA/D的切比雪夫法将三个超像素准则函数分解为若干个标量子问题,以评价种群中个体的优劣。采用切比雪夫法MOEA/D将三个超像素准则函数进行分解,具体如下:
(3.5.1)初始化权重向量矩阵λ=[λ1,λ2,…,λi,…,λpop],通过计算λi与其它权重向量之间的欧氏距离,得到λi的T个邻域权重向量λi1,λi2,…,λiT;
(3.5.2)采用切比雪夫法分解三个超像素准则函数的计算公式为:
(3.6)对个体进行交叉、变异和选择,经过迭代更新得到最终的种群和最优解,最终获得图像的超像素区域分割结果;其中,对个体进行交叉、变异和选择,具体如下:
(3.6.1)利用切比雪夫法获得所有个体在三个准则函数下的分解结果,选取最优的个体pi,并将图像超像素的种子点si,k作为核心点;
(3.6.2)通过交叉和变异操作生成新个体:
其中,χ,τ∈B(i),B(i)=[i1,i2,…,iT];χ≠τ≠i,FR′是变异因子,CR′是交叉因子,rand是[0,1]之间的一个随机数;
(3.6.3)将个体中出现的大于最大值或者小于最小值的元素定义为不合法值,并将其修复为邻近的边界值;
(3.6.4)利用高斯变异算子生成新个体:
步骤4:利用图像边缘检测canny算子提取图像的强边缘,并对图像进行基于强弱边缘的超像素区域合并;其中对图像进行基于强弱边缘的超像素区域合并,具体是:利用图像边缘检测canny算子获得图像的强边缘信息Eedge,然后选取超像素区域中心点的空间位置特征,构造集合cen=[cen1,cen2,…,cenK],并计算任意两个中心点的空间距离,最后对于每个超像素区域,判断与其相邻的8邻域超像素中心点的连线上是否存在强边缘,若存在,不进行合并;若不存在,则合并两个超像素区域;最终实现基于图像强弱边缘的超像素区域合并,获得G个合并后的超像素区域R=[R1,R2,…,RG]。参照图4,其中(a)图中的u、v、w分别是图像中的3个超像素区域R1、R2、R3的3个中心点,图中的虚线表示超像素区域之间的边界,即为该图像的弱边缘,线L表示图像的强边缘。u和v之间的连线上不存在图像的强边缘,所以将R1和R2两个超像素区域合并得到(b)图的区域R4,u和w以及v和w之间的连线上均存在图像的强边缘,所以超像素区域R1和R3以及R2和R3均不合并。
步骤5:提取合并后第k个超像素区域的代表特征rk:
其中,Yα表示该超像素区域中像素点α的红绿蓝RGB特征值,Yβ表示该超像素区域中中值像素点β的RGB特征值,w(Yα,Yβ)表示像素点α与β之间的权重:
w(Yα,Yβ)=Qαβ×Uαβ,
其中,Qαβ表示位置权重,像素点α距离β越近,其权重越高;Uαβ表示颜色权重,像素点α与β颜色信息越接近,其权重越高;Qαβ和Uαβ的计算公式分别为:
其中,(x,y)表示该超像素区域中像素点的坐标,num表示该超像素中像素点的个数;σ表示该超像素区域的颜色特征方差;
取k=1,2,...,G,通过计算得到每个超像素区域的代表特征集合r={r1,r2,…,rk,…,rG};
步骤7:初始化参考向量,该向量是Kriging模型中涉及到的一个专业术语;随机初始化种群并对种群中的染色体进行编码,即对聚类中心的RGB特征值进行编码;若一幅图像分为C类,则每个个体为C乘以3的向量。
步骤8:构造融合超像素区域信息的半监督直觉模糊紧致性函数J:
步骤9:构造融合超像素区域信息的直觉模糊分离函数CS:
其中,μγρ表示vρ相对于vγ的隶属度。
步骤10:根据步骤8和9中构造的函数表达式,分别计算初始种群中每个个体的适应度函数值,即J和1/CS,此处的适应度函数是在多目标进化聚类算法中的一个统称,由多个目标函数构成。本发明的适应度函数是指步骤8中构造的函数J和步骤9中构造的函数CS。并使用初始种群中的个体及其适应度函数值训练Kriging模型,设置t=0、w=0,其中t表示超像素当前迭代次数、w表示聚类当前迭代次数;
步骤11:利用二进制交叉和多项式变异生成子代种群,利用Kriging模型预测子代个体的目标函数值,并将父代个体与子代个体合并;
步骤12:在将原始种群划分为多个子种群之后,需从每个子种群中选择一个精英个体到下一代,本发明采用基于角度惩罚距离(Angle Penalized Distance,APD)的选择策略,通过选择具有最小APD的个体可以更好的平衡多样性和收敛性。
采用基于角度惩罚距离的选择策略APD选择新种群,更新参考向量,并设置w=w+1;其中基于角度惩罚距离的选择策略,具体是:首先计算种群个体的APD值,然后选择具有最小APD值的个体用于平衡多样性和收敛性;所述APD值按照下式计算得到:
步骤13:判断是否需要更新Kriging模型,如果w>wmax,则更新Kriging模型,令w=0,并执行步骤14;否则,返回步骤44;
步骤14:判断是否达到超像素最大迭代次数,若t>tmax,则迭代终止,得到最后一代非支配解集,执行步骤15;否则,令t=t+1,返回步骤步骤11;
步骤15:构造融合超像素区域信息的半监督直觉模糊聚类最优解选取指标SI:
其中,EC表示类内紧致性度量指标,E1表示所有的样本聚为一类的紧致性,FC表示类间最大可分性度量指标;
步骤16:利用最优解选取指标SI从最后一代非支配解集中选出最优个体,得到最优的聚类中心;
步骤17:根据最优聚类中心,对每个超像素区域进行标签分配进而获得图像中所有像素点的标签,得到图像聚类结果;
步骤18:对图像聚类结果进行类标签修正,得到最终图像分割结果。
以下结合仿真实验,对本发明的技术效果作进一步说明:
1.仿真条件:
仿真实验在计算机Inter(R)Core(TM)i5-6500M 3.20GHz CPU,8G内存,MATLABR2018a软件环境下进行。
2.仿真内容:
仿真1,选取Berkeley图像数据库中的编号为253036的图像,用本发明与现有FCM方法、KFCM方法、IFCM方法、MOVGA方法、K-MOVGA方法和RE-MSSFC方法分别对其进行分割,结果如图2所示,其中:
(a)是253036图像的原图;
(b)是253036图像的标准分割图;
(c)是253036图像的基于分解的多目标差分进化超像素分割结果图;
(d)是253036图像的区域合并图;
(e)是253036图像的监督信息标记图;
(f)是用现有FCM方法对253036图像的分割结果;
(g)是用现有KFCM方法对253036图像的分割结果;
(h)是用现有IFCM方法对253036图像的分割结果;
(i)是用现有MOVGA方法对253036图像的分割结果;
(j)是用现有K-MOVGA方法对253036图像的分割结果;
(k)是用现有RE-MSSFC方法对253036图像的分割结果;
(l)是用本发明对253036图像的分割结果;
从图2可以看出,本发明可以将目标与背景清晰的分割开来,所以本发明在Berkeley图库上的分割效果优于现有FCM方法、KFCM方法、IFCM方法、MOVGA方法、K-MOVGA方法和RE-MSSFC方法。
仿真2,选取Weizmann图像数据库中的编号为113334665744的图像,用本发明与现有FCM方法、KFCM方法、IFCM方法、MOVGA方法、K-MOVGA方法和RE-MSSFC方法分别对其进行分割,结果如图3所示,其中:
(a)是113334665744图像的原图;
(b)是113334665744图像的标准分割图;
(c)是113334665744图像的基于分解的多目标差分进化超像素分割结果图;
(d)是113334665744图像的区域合并图;
(e)是113334665744图像的监督信息标记图;
(f)是用现有FCM方法对113334665744图像的分割结果;
(g)是用现有KFCM方法对113334665744图像的分割结果;
(h)是用现有IFCM方法对113334665744图像的分割结果;
(i)是用现有MOVGA方法对113334665744图像的分割结果;
(j)是用现有K-MOVGA方法对113334665744图像的分割结果;
(k)是用现有RE-MSSFC方法对113334665744图像的分割结果;
(l)是用本发明对113334665744图像的分割结果;
从图3可以看出,本发明可以将目标完整的分割出来,且与背景分割清晰,所以本发明在Weizmann图库上的分割效果优于现有FCM方法、KFCM方法、IFCM方法、MOVGA方法、K-MOVGA方法和RE-MSSFC方法。
上述仿真分析证明了本发明所提方法的正确性与有效性。
本发明未详细说明部分属于本领域技术人员公知常识。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修正和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (5)
1.一种基于分解多目标差分进化超像素的半监督直觉聚类方法,其特征在于,包括如下步骤:
(1)输入待分割彩色图像;
(2)设置参数:设超像素个数为500,超像素模糊指数为25,正整数为5,超像素最大迭代次数tmax=10,邻域个数为10,差分进化变异因子为0.5,差分进化交叉因子为0.9;聚类种群规模为50,聚类最大迭代次数wmax=100,用于更新Kriging模型的个体数目为5,更新Kriging模型之前的固定迭代次数为20,二进制交叉概率为0.9和多项式变异概率为0.1;
(3)对彩色图像进行基于分解多目标差分进化的超像素分割,并将分割后超像素区域的边缘定义为图像的弱边缘;其中对彩色图像进行基于分解多目标差分进化的超像素分割,具体步骤如下:
(3.1)采用分解多目标差分进化法对核心点偏移分量进行编码,获得初始种群P:
pi,j=-S/2+rand×S,
其中,pi,j表示初始种群中的个体;rand函数产生[0,1]间的随机数,i=1,2,…,pop,j=1,2,…,D,D=2K;种群规模pop采用计算确定,M=3为超像素准则函数的个数,H是一个自定义正整数;
(3.2)在图像上随机选取位于每个均匀超像素区域内的点为核心点,然后利用核心点和个体解码的偏移量获得图像超像素的种子点si,k:
其中,q=0.1,ci,k表示第i个个体对应图像的第k个超像素的核心点,k=1,2,…,K;∧表示K×K对角矩阵的集合;
(3.3)取种子点si,k的3S×3S邻域,通过判断邻域内像素与种子点的距离得到超像素标签矩阵Li;
(3.4)基于超像素标签矩阵Li,设计三个超像素准则函数:超像素内均方误差f1(si,Li)、超像素边缘梯度准则函数f2(Li)和区域正则项超像素准则函数f3(Li);
超像素内均方误差f1(si,Li),计算公式如下:
其中,In为第n个像素点的5维特征向量,n=1,2,...,N;Li(n)为第n个像素点在超像素标签矩阵Li中的标签;d表示像素距离;
超像素边缘梯度准则函数f2(Li),具体计算公式如下:
其中,ΔI(n)为图像第n个像素对应的梯度特征;Li(n)为第n个像素点在Li中的标签;δ(·)为条件判断函数,当括号内条件为真,则返回1,反之为0;如果第n个像素与邻域Wn内的像素的标签有一个不同,则表示该像素在两个超像素区域的交界处。
区域正则项超像素准则函数f3(Li),计算公式如下:
(3.5)采用切比雪夫法MOEA/D将三个超像素准则函数进行分解,具体如下:
(3.5.1)初始化权重向量矩阵λ=[λ1,λ2,…,λi,…,λpop],通过计算λi与其它权重向量之间的欧氏距离,得到λi的T个邻域权重向量λi1,λi2,…,λiT;
(3.5.2)采用切比雪夫法分解三个超像素准则函数的计算公式为:
(3.6)对个体进行交叉、变异和选择,经过迭代更新得到最终的种群和最优解,最终获得图像的超像素区域分割结果;
(4)利用图像边缘检测canny算子提取图像的强边缘,并对图像进行基于强弱边缘的超像素区域合并;
(5)提取合并后第k个超像素区域的代表特征rk:
其中,Yα表示该超像素区域中像素点α的红绿蓝RGB特征值,Yβ表示该超像素区域中中值像素点β的RGB特征值,w(Yα,Yβ)表示像素点α与β之间的权重:
w(Yα,Yβ)=Qαβ×Uαβ,
其中,Qαβ表示位置权重,像素点α距离β越近,其权重越高;Uαβ表示颜色权重,像素点α与β颜色信息越接近,其权重越高;Qαβ和Uαβ的计算公式分别为:
其中,(x,y)表示该超像素区域中像素点的坐标,num表示该超像素中像素点的个数;σ表示该超像素区域的颜色特征方差;
取k=1,2,...,G,通过计算得到每个超像素区域的代表特征集合r={r1,r2,…,rk,…,rG};
(7)初始化参考向量,随机初始化种群并对种群中的染色体进行编码;
(8)构造融合超像素区域信息的半监督直觉模糊紧致性函数J:
(9)构造融合超像素区域信息的直觉模糊分离函数CS:
其中,μγρ表示vρ相对于vγ的隶属度。
(10)根据步骤(8)和(9)中构造的函数表达式,分别计算初始种群中每个个体的适应度函数值,即J和1/CS,并使用初始种群中的个体及其适应度函数值训练Kriging模型,设置t=0、w=0,其中t表示超像素当前迭代次数、w表示聚类当前迭代次数;
(11)利用二进制交叉和多项式变异生成子代种群,利用Kriging模型预测子代个体的目标函数值,并将父代个体与子代个体合并;
(12)采用基于角度惩罚距离的选择策略APD选择新种群,更新参考向量,并设置w=w+1;
(13)判断是否需要更新Kriging模型,如果w>wmax,则更新Kriging模型,令w=0,并执行步骤(14);否则,返回步骤(11);
(14)判断是否达到超像素最大迭代次数,若t>tmax,则迭代终止,得到最后一代非支配解集,执行步骤(15);否则,令t=t+1,返回步骤步骤(11);
(15)构造融合超像素区域信息的半监督直觉模糊聚类最优解选取指标SI:
其中,EC表示类内紧致性度量指标,E1表示所有的样本聚为一类的紧致性,FC表示类间最大可分性度量指标;
(16)利用最优解选取指标SI从最后一代非支配解集中选出最优个体,得到最优的聚类中心;
(17)根据最优聚类中心,对每个超像素区域进行标签分配进而获得图像中所有像素点的标签,得到图像聚类结果;
(18)对图像聚类结果进行类标签修正,得到最终图像分割结果。
3.根据权利要求1所述的方法,其特征在于:步骤(3.6)中对个体进行交叉、变异和选择,具体如下:
(3.6.1)利用切比雪夫法获得所有个体在三个准则函数下的分解结果,选取最优的个体pi,并将图像超像素的种子点si,k作为核心点;
(3.6.2)通过交叉和变异操作生成新个体:
其中,χ,τ∈B(i),B(i)=[i1,i2,…,iT];χ≠τ≠i,FR′是变异因子,CR′是交叉因子,rand是[0,1]之间的一个随机数;
(3.6.3)将个体中出现的大于最大值或者小于最小值的元素定义为不合法值,并将其修复为邻近的边界值;
(3.6.4)利用高斯变异算子生成新个体:
4.根据权利要求1所述的方法,其特征在于:步骤(4)中对图像进行基于强弱边缘的超像素区域合并,具体是:利用图像边缘检测canny算子获得图像的强边缘信息Eedge,然后选取超像素区域中心点的空间位置特征,构造集合cen=[cen1,cen2,…,cenK],并计算任意两个中心点的空间距离,最后对于每个超像素区域,判断与其相邻的8邻域超像素中心点的连线上是否存在强边缘,若存在,不进行合并;若不存在,则合并两个超像素区域;最终实现基于图像强弱边缘的超像素区域合并,获得G个合并后的超像素区域R=[R1,R2,…,RG]。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110806823.3A CN113469270B (zh) | 2021-07-16 | 2021-07-16 | 基于分解多目标差分进化超像素的半监督直觉聚类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110806823.3A CN113469270B (zh) | 2021-07-16 | 2021-07-16 | 基于分解多目标差分进化超像素的半监督直觉聚类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113469270A true CN113469270A (zh) | 2021-10-01 |
CN113469270B CN113469270B (zh) | 2023-08-11 |
Family
ID=77880811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110806823.3A Active CN113469270B (zh) | 2021-07-16 | 2021-07-16 | 基于分解多目标差分进化超像素的半监督直觉聚类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113469270B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114862216A (zh) * | 2022-05-16 | 2022-08-05 | 中国银行股份有限公司 | 一种敏捷项目调度方案的确定方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103839261A (zh) * | 2014-02-18 | 2014-06-04 | 西安电子科技大学 | 一种基于分解进化多目标优化和fcm的sar图像分割方法 |
US20160223506A1 (en) * | 2015-01-30 | 2016-08-04 | AgriSight, Inc. | System and method for crop health monitoring |
CN108596244A (zh) * | 2018-04-20 | 2018-09-28 | 湖南理工学院 | 一种基于光谱角度密度峰值的高光谱图像标签噪声检测方法 |
-
2021
- 2021-07-16 CN CN202110806823.3A patent/CN113469270B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103839261A (zh) * | 2014-02-18 | 2014-06-04 | 西安电子科技大学 | 一种基于分解进化多目标优化和fcm的sar图像分割方法 |
US20160223506A1 (en) * | 2015-01-30 | 2016-08-04 | AgriSight, Inc. | System and method for crop health monitoring |
CN108596244A (zh) * | 2018-04-20 | 2018-09-28 | 湖南理工学院 | 一种基于光谱角度密度峰值的高光谱图像标签噪声检测方法 |
Non-Patent Citations (2)
Title |
---|
赵凤;吝晓娟;刘汉强;: "融合对称特性的混合标签传递半监督直觉模糊聚类图像分割", 信号处理, no. 09 * |
赵凤;张咪咪;刘汉强;: "区域信息驱动的多目标进化半监督模糊聚类图像分割算法", 电子与信息学报, no. 05 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114862216A (zh) * | 2022-05-16 | 2022-08-05 | 中国银行股份有限公司 | 一种敏捷项目调度方案的确定方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113469270B (zh) | 2023-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lai et al. | A hierarchical evolutionary algorithm for automatic medical image segmentation | |
CN111126488B (zh) | 一种基于双重注意力的图像识别方法 | |
Deng et al. | Saliency detection via a multiple self-weighted graph-based manifold ranking | |
CN107392919B (zh) | 基于自适应遗传算法的灰度阈值获取方法、图像分割方法 | |
Zhang et al. | Multi-objective evolutionary fuzzy clustering for image segmentation with MOEA/D | |
Nakane et al. | Application of evolutionary and swarm optimization in computer vision: a literature survey | |
CN110443257B (zh) | 一种基于主动学习的显著性检测方法 | |
Yu et al. | A re-balancing strategy for class-imbalanced classification based on instance difficulty | |
CN110263804B (zh) | 一种基于安全半监督聚类的医学影像分割方法 | |
CN108921853B (zh) | 基于超像素和免疫稀疏谱聚类的图像分割方法 | |
CN112308115A (zh) | 一种多标签图像深度学习分类方法及设备 | |
CN111815582B (zh) | 改进背景先验和前景先验的二维码区域检测方法 | |
Qiu et al. | Inferring skin lesion segmentation with fully connected CRFs based on multiple deep convolutional neural networks | |
Yang et al. | Color texture segmentation based on image pixel classification | |
Liu et al. | Multiobjective fuzzy clustering with multiple spatial information for Noisy color image segmentation | |
CN111259938B (zh) | 基于流形学习和梯度提升模型的图片偏多标签分类方法 | |
CN107657276B (zh) | 一种基于寻找语义类簇的弱监督语义分割方法 | |
CN113469270B (zh) | 基于分解多目标差分进化超像素的半监督直觉聚类方法 | |
CN113723449A (zh) | 基于偏好信息的代理驱动多目标进化模糊聚类方法 | |
Peng et al. | Multi-threshold image segmentation of 2D OTSU inland ships based on improved genetic algorithm | |
CN105678798A (zh) | 一种结合局部空间信息的多目标模糊聚类图像分割方法 | |
Azarbad et al. | Brain tissue segmentation using an unsupervised clustering technique based on PSO algorithm | |
CN111539966A (zh) | 一种基于模糊c均值聚类的比色传感器阵列图像分割方法 | |
Bai et al. | A unified deep learning model for protein structure prediction | |
Mohammed et al. | Intelligent Bio-Inspired Whale Optimization Algorithm for Color Image Based Segmentation. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |