CN111047603A - 一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法 - Google Patents
一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法 Download PDFInfo
- Publication number
- CN111047603A CN111047603A CN201911179187.5A CN201911179187A CN111047603A CN 111047603 A CN111047603 A CN 111047603A CN 201911179187 A CN201911179187 A CN 201911179187A CN 111047603 A CN111047603 A CN 111047603A
- Authority
- CN
- China
- Prior art keywords
- region
- connected domain
- area
- image
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 58
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 28
- 238000009499 grossing Methods 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 17
- 239000006185 dispersion Substances 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 10
- 238000003709 image segmentation Methods 0.000 description 9
- 238000004088 simulation Methods 0.000 description 8
- 230000007423 decrease Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 238000011524 similarity measure Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 101800000164 FMRF-amide Proteins 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法,步骤如下:S1:读取待分割的彩色图像,并将待分割的彩色图像转换为灰度图像;S2:将灰度图像进行粗分割;S3:进行多值连通域信息统计;S4:根据多值连通域信息,对粗分割后的灰度图像进行区域平滑;S5:根据区域平滑后的图像,进行区域合并。本发明采用了一种变量单位为区域级、势函数中融入区域边缘信息、自带迭代停止准则的新型马尔可夫模型来平滑粗分割的图像,可有效提高区域标号的更新速率,自适应控制区域标号的更新,在对多斑点噪声、域内异质性较高、梯度信息不易被提取的图像进行分割时,有效降低了“过分割率”和“误分割率”。
Description
技术领域
本发明涉及图像分割技术领域,尤其涉及一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法。
背景技术
航拍图像因其高清晰度、高现势性被广泛用于交通安全、环境监测等诸多领域。理解、分析航拍图像须以图像分割所产生的具有结构化信息的目标物为基础。与在地面拍摄的图像相比,航拍图像多斑点噪声且不易被提取完整的边缘信息,这使其分割难度更大。对此,一种初始分割和区域合并的混合方法受到了遥感及航拍图像领域学者们的关注。该混合方法可简单描述为:首先通过一种特定的分割算法生成初始分割区域;然后迭代的选取最相似的相邻区域对进行合并,直到合并停止时刻为止。
这种混合方法包含两个关键点:初始分割区域和区域合并。由于最终分割区域的边界像素集是由部分过分割区域边界上的像素集合组成,因此生成初始分割区域的分割算法允许一定程度的过分割,但必须保证低“误分割”率。区域合并包括合并成本和合并准则,合并成本决定两个区域是否合并。合并准则包括合并顺序和合并停止时刻,合并顺序产生区域合并过程中的合并候选区域对序列;合并停止时刻描述了区域的最佳合并状态。
初始分割区域一般通过分水岭算法形成,该算法通过对图像的边缘强度图作分水岭变换实现图像分割。梯度信息、由平行矩形窗分隔的两组像素值所计算出的两个均值的比率是获得边缘强度图的两种方法,但通过上述两种方法从边缘不连续、多噪声的图像中获取的边缘强度图质量较差;因此在航拍图像中使用分水岭算法所形成的初始分割区域“误分割”率较高。
在基于边缘、区域的图像分割效果不佳的情况下,可利用基于空间信息的图像分割来提高分割效果。马尔可夫随机场具有局部性,基于马尔可夫随机场的图像分割通过充分挖掘图像的空间邻域信息,实现平滑粗糙的分割区域的效果。当前基于马尔可夫随机场的图像分割的相关研究主要体现在势函数上,从势函数角度可将基于该模型的图像分割工作分为:硬分割和软分割。当图像中存在噪声影响、交界处相邻区域的高度相似性,像素无法明确其标号时,软分割可克服硬分割易造成信息丢失的弊端。FMRF和EMRF是两种典型的软分割方法,其中,FMRF在势函数中融入了隶属度函数;EMRF则从像素标号的不确定性实质上更多是一种含混性而非模糊性出发,以两个变量间对应的证据标号距离代替模糊隶属度函数,但证据标号距离过依赖于基团中元素的相似度限制了图像分割精度的提高。
两个相邻的区域是否合并由区域合并成本决定,区域合并成本是将区域相似性度量结果量化,并通过特定的距离度量方式形成。区域相似性度量一般分为三种:基于区域灰度的相似性度量、基于区域边缘的相似性度量、基于区域面积的相似性度量。基于区域灰度的相似性度量仅适用于低分辨率图像,在多纹理、高分辨率的图像中会导致欠合并;基于区域面积的相似性度量常以区域对面积比的形式展现,小面积为分子,大面积为分母,比值越小的区域对越可能合并,该相似性度量方式仅适用于合并初期:同一目标物被过分割成多个区域、属于同一目标物的过分割区域面积差异度较大时,因此一般不单一的作为相似性度量中的因素;基于区域边缘的相似性度量一般以相邻区域的共同边缘长度和区域对中较小的边缘长度之比的形式展现,比值越大越可能合并,该相似性度量方式体现了空间相关性越大的两个过分割区域越可能属于同一目标物的特点,但在缺乏语义辅助的前提下会产生误合并。除了如何选取待合并的区域对外,区域合并在什么时刻停止也比较重要,当前主要有两种合并停止方式,第一种是基于阈值的,使用该方式时,合并一直进行到所有区域间的相似性均小于合并一开始设定的阈值为止,由于阈值不能根据合并状态自适应更新,因此设置一个合适的阈值较困难。第二种方式通过色散度、区域剩余率等指标描述图像的合并状态,并在两者之和最小时停止合并,该方式不适合在域内异质性较高的图像中使用。
发明内容
发明目的:针对当前混合分割方法中初始分割算法误分割率高、形成的初始分割区域较粗糙及后期区域合并技术目标物提取率低的问题,本发明提出一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法。
技术方案:为实现本发明的目的,本发明所采用的技术方案是:
一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法,所述航拍图像混合分割算法具体包括如下步骤:
S1:读取待分割的彩色图像,并将所述待分割的彩色图像转换为灰度图像;
S2:将所述灰度图像进行粗分割;
S3:根据所述粗分割后的灰度图像,进行多值连通域信息统计;
S4:根据所述多值连通域信息,对所述粗分割后的灰度图像进行区域平滑;
S5:根据所述区域平滑后的图像,进行区域合并。
进一步地讲,在所述步骤S2中,将所述灰度图像进行粗分割,具体如下:
S2.1:根据所述灰度图像中聚类个数集合的数目,依次确定出各所述聚类个数集合中的聚类个数q;
S2.2:利用层次聚类依据像素的灰度值确定出q个簇心;
S2.3:将所有所述簇心均作为初始簇心,并根据k-means依据灰度值进行像素聚类;
S2.4:计算所述聚类个数对应的BWP指标,判断所述聚类个数对应的聚类个数集合中的元素是否被取完,若未被取完,则返回步骤S2.1,反之则执行下一步骤,所述BWP指标的计算公式,具体为:
其中:BWP(i,j)为BWP指标,Odist(i,j)为域间距离,Idist(i,j)为域内距离;
S2.5:将各所述聚类个数所对应的BWP指标进行比较,确定出最大的BWP指标,并将所述最大BWP指标对应的聚类个数和聚类个数下形成的连通域作为最佳聚类个数和最佳聚类结果。
进一步地讲,所述域间距离和域内距离的计算公式,具体为:
其中:Odist(i,j)为域间距离,Idist(i,j)为域内距离,q为聚类个数的数目,Lc为第c个聚类的坐标集合,|Lc|为第c个簇的像素个数,为位置的像素值,为第c类中的第z个元素的坐标,为位置的像素值,为第i类中的第j个元素的坐标,Li为第i个聚类的坐标集合,|Li|为第i个簇的像素个数,为位置的像素值,为第i类中的第z个元素的坐标。
进一步地讲,在所述步骤S3中,进行多值连通域信息统计,具体如下:
S3.1:根据最佳聚类结果,对所述粗分割后的灰度图像中每一行的行连通域所属的行号、列起始地址、列终止地址、标号、编号、所属的连通域编号进行标记,并对每个行连通域进行标记;
S3.2:根据所述行连通域的标记,判断每一行的下一行中是否有满足与当前行连通域位置相邻、标号相同的行连通域,若满足,则将满足条件的行连通域与当前行连通域连接,并获取连通域元素、连通域面积、连通域内边缘元素、连通域外边缘元素、连通域内边缘长度和连通域外边缘长度,然后执行下一步骤,若不满足,则直接执行下一步骤。
进一步地讲,所述行连通域的下一行中与行连通域相邻的行连通域列起始地址和列终止地址满足如下关系,具体为:
R-1≤r≤E+1或R-1≤e≤E+1
其中:R为当前行连通域的列起始地址,r为下一行中与行连通域相邻的行连通域列起始地址,E为当前行连通域的列终止地址,e为下一行中与行连通域相邻的行连通域列终止地址。
进一步地讲,所述连通域元素、连通域面积、连通域内边缘元素、连通域外边缘元素、连通域内边缘长度和连通域外边缘长度的计算公式,具体为:
CDIvb为连通域元素,|CDIvb|为连通域面积,CDIBIvb为连通域内边缘元素,|CDIBIvb|为连通域外边缘元素,CDOBIvb为连通域内边缘长度,|CDOBIvb|为连通域外边缘长度,CDI-1vb为编号为b、标号为v的行连通域合并至I-1行的连通域,nh(x)为x的8邻域***,x为像素,cdIsevcc'为行连通域的标号。
进一步地讲,在所述步骤S4中,对所述粗分割后的灰度图像进行区域平滑,具体如下:
S4.1:对所述标记的行连通域进行Maxiter次迭代更新;
S4.2:获取每次迭代中区域平衡度和邻域平衡度之和,并从中选出最小的区域平衡度和邻域平衡度之和,将所述最小区域平衡度和邻域平衡度之和对应的区域状态作为区域平滑结果。
进一步地讲,在所述步骤S4.1中,对所述标记的行连通域进行Maxiter次迭代更新,具体如下:
S4.1.1:通过能量函数最小化,依次对所述粗分割后的灰度图像中所有区域的标号进行更新,所述能量函数计算公式,具体为:
S4.1.2:计算每次迭代的区域平衡度和邻域平衡度之和,并根据当前的区域标号更新区域状态,所述区域平衡度和邻域平衡度的计算公式,具体为:
Nb为区域平衡度,Rb为邻域平衡度,为第i个区域的邻域里各类标号区域个数的方差,Max为归一化常数,κ'为当前区域个数,|CD|为当前区域个数,m为二维图像的宽,n为二维图像的长,|CDi|为第i个区域内的像素个数,|CDIBi|为第i个区域的边缘像素个数,CDIB为区域边缘集合,CD为区域集合。
进一步地讲,在所述步骤S5中,进行区域合并,具体如下:
S5.1:计算每个连通域与邻域间的颜色差异度、边缘相邻度、边缘跳跃度和邻接关系,获取区域相似度,所述区域相似度的计算公式,具体为:
S5.2:根据所述区域相似度,选择待合并的区域对;
S5.3:根据区域合并标号选择机制,为区域合并后的标号选择提供决策,所述选择机制公式具体为:
S5.4:计算每次迭代后的区域剩余率、色散度和边缘跳跃度,获取得到合并状态值,所述合并状态值的计算公式,具体为:
S5.5:根据所述合并状态值,从Maxiter次迭代后的所有合并状态值中选出最小值,并将所述最小合并状态作为最佳合并状态,同时输出所述最佳合并状态下的连通域集合和区域标号集合。
有益效果:与现有技术相比,本发明的技术方案具有以下有益技术效果:
(1)本发明的航拍图像混合分割算法,采用了一种变量单位为区域级、势函数中融入区域边缘信息、自带迭代停止准则的新型马尔可夫模型来平滑粗分割的图像,可有效提高区域标号的更新速率,自适应控制区域标号的更新,在对多斑点噪声、域内异质性较高、梯度信息不易被提取的图像进行分割时,有效降低了“过分割率”和“误分割率”;
(2)本发明的航拍图像混合分割算法,采用了区域合并标号选择机制,有效避免了传统区域合并技术在正确选取了待合并区域对后,因默认选择待合并区域对中较大区域的标号为合并后区域的标号,进而降低目标物的提取率的弊端。
附图说明
图1是航拍图像混合分割算法的流程示意图;
图2是区域邻域***图和区域基团图;
图3是迭代收敛场景图;
图4是缺少区域合并标号选择机制的典型场景图、无区域合并标号选择机制所形成的合并图和有区域合并标号选择机制所形成的合并图;
图5是经过像素聚类前后的对比图;
图6是利用EMRF和航拍图像混合分割算法对像素标号进行迭代更新时,区域平衡度随着邻域平衡度变小而发生变化的折线图;
图7是两种合并停止时刻下色散度随着区域剩余率减小而变化的折线图,以及折现图中d、e时刻所形成的分割图;
图8是经过像素聚类和航拍图像混合分割算法平滑后形成的过分割图,使用不包含区域合并标号选择机制的区域合并技术的过分割图进行区域合并的合并图,以及使用包含区域合并标号选择机制的区域合并技术的过分割图进行区域合并的合并图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。其中,所描述的实施例是本发明一部分实施例,而不是全部的实施例。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。
实施例1
参考图1,本实施例提供了一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法,具体包括如下步骤:
步骤S1:通过MATLAB对待分割的彩色图像进行读取,同时将读取的待分割彩色图像转换为灰度图像。
步骤S2:将步骤S1中获取得到的灰度图像进行粗分割,具体如下:
步骤S2.1:根据灰度图像中目标物的数目,确定出灰度图像中聚类个数集合的数目,其中聚类个数集合的数目和目标物的数目相同。再确定了灰度图像中聚类个数集合的数目后,再依次确定出各个聚类个数集合中的聚类个数q。
步骤S2.2:根据步骤S2.1中得到的聚类个数q,利用层次聚类依据像素的灰度值确定出q个簇心。
步骤S2.3:将确定出的q个簇心均作为初始簇心,并根据k-means依据灰度值进行像素聚类。
步骤S2.4:计算出当前聚类个数对应的BWP指标,该BWP指标的计算公式,具体为:
其中:BWP(i,j)为BWP指标,Odist(i,j)为域间距离,Idist(i,j)为域内距离。
具体地讲,类内部越紧密,类之间分离性越强,聚类结果也就越理想。
在本实施例中,域间距离和域内距离的计算公式,具体为:
其中:Odist(i,j)为域间距离,Idist(i,j)为域内距离,q为聚类个数的数目,Lc为第c个聚类的坐标集合,|Lc|为第c个簇的像素个数,为位置的像素值,为第c类中的第z个元素的坐标,为位置的像素值,为第i类中的第j个元素的坐标,Li为第i个聚类的坐标集合,|Li|为第i个簇的像素个数,为位置的像素值,为第i类中的第z个元素的坐标。
值得注意的是,还需要判断当前聚类个数对应的聚类个数集合中的元素是否被取完,若未被取完,则需要返回步骤S2.1,若被取完了,则可直接执行下一步骤。
步骤S2.5:将各个聚类个数所对应的BWP指标进行比较,从中确定出最大的BWP指标,并将最大BWP指标对应的聚类个数和聚类个数下形成的连通域作为最佳聚类个数qbest和最佳聚类结果Wbest。
步骤S3:根据粗分割后的灰度图像,进行多值连通域信息统计,具体如下:
步骤S3.1:根据步骤S2.5中的最佳聚类结果Wbest,对粗分割后的灰度图像中每一行的行连通域所属的行号、列起始地址、列终止地址、标号、编号、所属的连通域编号进行标记,同时根据标记的行连通域所属的行号、列起始地址、列终止地址、标号、编号、所属的连通域编号,对每个行连通域进行标记。
具体地讲,行连通域的标记由行连通域所属的行号、列起始地址、列终止地址、标号、编号、所属的连通域编号共同组成。譬如:行连通域的标记具体为:cdIsevcc'。其中:下标I表示行连通域所属的行号,下标s表示列起始地址,下标e表示列终止地址,下标v表示行连通域标号,下标c表示行连通域编号,下标c'表示所属的连通域编号。
步骤S3.2:根据标记的行连通域cdIsevcc',判断每一行的下一行中是否有满足与当前行连通域位置相邻、标号相同的行连通域,若满足,则将满足条件的行连通域与当前行连通域连接,并获取连通域元素、连通域面积、连通域内边缘元素、连通域外边缘元素、连通域内边缘长度和连通域外边缘长度,然后执行下一步骤,若不满足,则直接执行下一步骤。
具体地讲,在当前行的下一行中与行连通域相邻的行连通域列起始地址和列终止地址满足如下关系,具体为:
R-1≤r≤E+1或R-1≤e≤E+1
其中:R为当前行连通域的列起始地址,r为下一行中与行连通域相邻的行连通域列起始地址,E为当前行连通域的列终止地址,e为下一行中与行连通域相邻的行连通域列终止地址。
在本实施例中,连通域元素、连通域面积、连通域内边缘元素、连通域外边缘元素、连通域内边缘长度和连通域外边缘长度的计算公式,具体为:
CDIvb为连通域元素,|CDIvb|为连通域面积,CDIBIvb为连通域内边缘元素,|CDIBIvb|为连通域外边缘元素,CDOBIvb为连通域内边缘长度,|CDOBIvb|为连通域外边缘长度,CDI-1vb为编号为b、标号为v的行连通域合并至I-1行的连通域,nh(x)为x的8邻域***,x为像素,cdIsevcc'为行连通域的标号。
步骤S4:根据多值连通域信息,对粗分割后的灰度图像进行区域平滑处理,具体如下:
步骤S4.1:对标记的行连通域进行Maxiter次步骤S4.1.1-步骤S4.1.2的迭代更新,具体如下:
步骤S4.1.1:从第一块区域起,依次对图像中所有区域,通过能量函数最小化更新当前区域的最佳标号。也就是说,对当前区域所有邻域的标号均进行统计,哪种标号出现的最多,即将当前区域的标号更改为该标号。
在本实施例中,能量函数计算公式,具体为:
参考图2,其中图2(a)为区域邻域***图,由图2(a)可知:在区域①、②、③、④、⑤、⑥、⑦、⑧、⑨的边缘上均存在属于区域①边界像素的8邻域***内的像素。因此,区域②、③、④、⑤、⑥、⑦、⑧、⑨组成了区域①的邻域***。
参考图2,其中图2(b)为区域基团图,由图2(b)可知:属于区域①邻域***中的一个元素区域②与区域①组成了基团。
步骤S4.1.2:计算每次迭代的区域平衡度和邻域平衡度之和,并根据当前的区域标号更新区域状态。在本实施例中,区域平衡度和邻域平衡度的计算公式,具体为:
N_b为区域平衡度,R_b为邻域平衡度,为第i个区域的邻域里各类标号区域个数的方差,Max为归一化常数,κ'为当前区域个数,|CD|为当前区域个数,m为二维图像的宽,n为二维图像的长,|CDi|为第i个区域内的像素个数,|CDIBi|为第i个区域的边缘像素个数,CDIB为区域边缘集合,CD为区域集合。
参考图3,区域①的邻域***内5种类型的邻域数量相等,此时的邻域信息已不再对区域①的标号更新形成支持条件。
其中:为第i个区域的邻域里各类标号区域个数的方差,|n_hCD(CDi)v|为第i个区域的邻域中标签为v的邻域数,DiffCount[n_hCD(CDi)]为第i个区域的邻域中的标签类别数,为第i个区域的DiffCount[n_hCD(CDi)]种邻域个数的均值,|V|为标号的类别数。
具体地讲,η1用来控制区域的面积,当η1一定时,η2控制区域的形状。
步骤S4.2:根据每次迭代中区域平衡度和邻域平衡度之和,并从中选出最小的区域平衡度和邻域平衡度之和,将其中最小区域平衡度和邻域平衡度之和对应的区域状态作为区域平滑结果。
步骤S5:根据区域平滑后的图像,进行区域合并,具体如下:
步骤S5.1:从第一个连通域起,依次计算图像中每一个连通域与其邻域间的颜色差异度、边缘相邻度、边缘跳跃度和邻接关系,并根据颜色差异度、边缘相邻度、边缘跳跃度和邻接关系获取区域相似度。
在本实施例中,区域相似度的计算公式,具体为:
邻接关系δij,具体为:
其中:δij为邻接关系,CDj为第j个区域集合,NHi为CDi的邻域,CDi为第i个区域集合。
在本实施例中,颜色相似度系数ρ1的大小选择为0.3,面积差异度系数ρ2的大小选择为0.2,边缘邻接度系数ρ3的大小选择为0.3,边缘相似度系数ρ4的大小选择为0.2。
步骤S5.2:根据区域相似度,选择待合并的区域对。其中相似度越大则合并性也就越大。具体地讲,待合并的区域对必须为双方的相似度均为最大。譬如:在区域2的所有邻域区域中,区域3和区域2的相似度最大,同样地,在区域3的所有邻域区域中,区域2和区域3的相似度最大,则区域2和区域3为待合并的区域对。但是若在区域2的所有邻域区域中,区域3和区域2的相似度最大,然而在区域3的所有邻域区域中,区域2和区域3的相似度不是最大的,则区域2和区域3不是待合并的区域对。
步骤S5.3:根据区域合并标号选择机制,为区域合并后的标号选择提供决策。该选择机制公式具体为:
在本实施例中,目标物集合OBJ为河流区域集合River,此处依据CDi是否能与组成河流区域的多种类型子区域中的一种区域特征相匹配,来判定CDi是否属于目标物集合OBJ,若CDi中的像素满足表1中某一项条件,则表明其属于该中类型的区域。表1具体为:
表1
其中:重度污染区域和绿色漂浮物区域的RGB值表示范围,油污区域的RGB值则表示具体值。
在本实施例中,在CDi邻域中比CDi面积大、区域标号和j相同的区域集合BCDi j,具体为:
参考图4,其中图4(a)为验证现有区域合并技术缺少区域合并标号选择机制的典型场景图,即描述的是在像素聚类、基于马尔可夫随机场后所形成的初始分割区域,中间的图描述的是经过区域相似性度量,应将区域②与④合并,区域③与⑤合并。
图4(b)为无区域合并标号选择机制所形成的合并图,由于没有区域合并标号选择机制,且区域②的面积大于区域④,区域③的面积大于区域⑤,所以区域②与④合并时选择区域②的标号作为合并后的区域标号,区域③与⑤合并时选择区域③的标号作为合并后的区域标号。
图4(c)为有区域合并标号选择机制所形成的合并图,即描述的是经过区域相似性度量,应将区域②与④合并,区域③与⑤合并,选定需要合并的区域对后,再通过区域合并标号选择机制,分别对两个区域对合并后的区域标号进行选择,区域②与④合并时选择区域④的标号作为合并后的区域标号,区域③与⑤合并时选择区域⑤的标号作为合并后的区域标号。
步骤S5.4:计算每次迭代后的区域剩余率、色散度和边缘跳跃度,获取得到合并状态值,该合并状态值的计算公式,具体为:
在本实施例中,区域剩余率κr,具体为:
其中:κr为区域剩余率,Kr为剩余的区域个数,K为合并前区域的个数。
值得注意的是,CDi和CDj的邻接边缘差异度eij的值越大,则区域间的边缘越明显。
步骤S5.5:根据合并状态值,从Maxiter次迭代后的所有合并状态值中选出最小值,并将最小合并状态作为最佳合并状态,同时输出最佳合并状态下的连通域集合和区域标号集合。
本实施例还提供了仿真实验对基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法进行验证。具体如下:
1、仿真条件:
仿真实验硬件平台为图像工作站:i7-8700/64G/256G固态+2T,GTX1080ti-11G显卡。
仿真实验软件平台为MATLAB R2016a。
待分割图片为原图1、原图2、原图3,均为分辨率为766×431的无人机航拍图像。
2、仿真内容:
仿真1、该部分实验采用本实施例中的改进K-means进行像素聚类,与传统K-means算法不同:首先该处通过层次聚类确定初始簇心;然后通过比较不同聚类数下的BWP聚类指标确定最佳聚类数、最佳聚类数下的聚类结果。其中最佳聚类数即为图像中的目标物个数,最佳聚类数下的聚类结果将作为下一部分实验中各类马尔可夫随机场模型的输入。
参考图5,图5(a)为原图1,图5(b)为原图1经过像素聚类后的分割结果图,图5(c)为原图2,图5(d)为原图2经过像素聚类后的分割结果图。
其中表2为原图1和原图2两幅图像在不同聚类数下的BWP指标,表格中*/*表示图5(a)聚类后的BWP指标,表格中/表示图5(b)聚类后的BWP指标。
表2
由表2中两幅图像在不同聚类数下的BWP指标可知,图5(a)的最佳聚类个数为4,图5(b)的最佳聚类个数为5。它们在最佳聚类个数下的像素聚类结果分别如图5(c)、5(d)所示,由于图5(a)、5(b)中同一目标物的灰度变化较剧烈,所以这两幅像素聚类结果图所形成的区域分割较粗糙。
仿真2、首先将图5(c)、5(d)作为本实施例的新型马尔可夫随机场模型和EMRF的输入;然后比较两种模型在迭代过程中,使图像的超像素块密集处得到平滑的效率;接着对比两种模型最终所形成的分割图质量;最后保证变量单位、势函数一定,分别在迭代收敛时刻、新型马尔可夫随机场中迭代停止准则定义的min(R_b+N_b)时刻所形成的区域分割图,并对比它们的分割质量。
针对上述实验设计,该部分实验采用两种方式进行图像分割,方式①为采用EMRF,方式②为采用新型马尔可夫随机场。参考图6,图6(a)为原图1利用EMRF对像素标号进行迭代更新时,区域平衡度随着邻域平衡度变小而发生变化的折线图,图6(b)为新型马尔可夫随机场对像素标号进行迭代更新时,区域平衡度随着邻域平衡度变小而发生变化的折线图,图6(c)为原图1在折线图6(a)上的a时刻形成的分割图,图6(d)为原图2在折线图6(b)上的a'时刻形成的分割图,图6(e)为原图1在折线图6(a)上的c时刻形成的分割图,图6(f)为原图2在折线图6(b)上的c'时刻形成的分割图,图6(g)为原图1在折线图6(a)的b时刻所形成的分割图,图6(h)为原图2在折线图6(b)上的b'时刻形成的分割图。
其中图6(a)中的点a、b表示方式①的迭代收敛时刻、方式②的迭代停止时刻,图6(b)中的点a'、b'表示方式①的迭代收敛时刻、方式②的迭代停止时刻,方式①、②分别在图6(a)中的点a、b时刻所形成了如图6(c)、6(d)所示的最终分割结果图像,图6(b)中的点a'、b'时刻所形成了如图6(e)、6(f)所示的最终分割结果图像,图6(a)中的点b、c分别表示方式②的迭代收敛、迭代停止时刻,图6(b)中的b'、c'分别表示方式②的迭代收敛、迭代停止时刻。
迭代次数增多,Nb减少,邻域信息逐渐对区域标号更新不构成支持条件;从图6(a)、6(b)可观察出:方式①呈现随着Nb的减少,Rb缓慢下降;而方式②中,随着N_b的减少,R_b先下降后上升且变化率明显大于方式①,因此,方式②的像素标号更新效率较快。
图6(c)相对图5(c)超像素块密集的情形并未得到改善,反之图6(e)则变化明显。同样地,图6(d)相对图5(d)超像素块密集的情形并未得到改善,反之图6(f)则变化明显。
方式①是一种软分割法,且所处理的图像区域间相似性不高,因此,在此处实验中方式①相对于传统的马尔可夫随机场不具有优势,而方式②的势函数通过融入边缘相关性因素来充分挖掘了像素块间的相对空间信息、以本实施例提出的迭代停止准则标志迭代停止时刻,使得像素块标号更新不但效率高,且避免了因标号更新产生的像素块误合并现象的发生。
通过比较图6(c)与图6(e)的分割质量可发现方式②下所形成的最终分割结果的质量高于方式①。同样地,通过比较图6(d)与图6(f)的分割质量也可发现方式②下所形成的最终分割结果的质量高于方式①。
图6(g)、图6(h)分别为图5(c)、5(d)在保证变量单位、势函数一定时,在迭代停止准则定义的min(R_b+N_b)时刻所形成的初始过分割图像。
对比图6(g)与图6(e)、图6(h)与图6(f)可知,图6(g)和图6(h)所形成的区域轮廓过平滑、边缘信息丢失相对严重、区域种类相对单一,因此本实施例所提出的迭代停止准则相对传统的迭代收敛时刻有利于避免区域标号的过度迭代,为区域合并提供优质的输入。
仿真3、由于图6(f)的初始分割结果过分割现象较严重,该部分将对过分割区域进行合并;在使用的区域相似性度量一定时,该部分实验将合并停止准则与本实施例所提出的最佳合并状态所形成的合并结果图作对比。
参考图7,其中图7(a)为两种合并停止时刻下色散度随着区域剩余率减小而变化的折线图,图7(b)为原图2在折线图7(a)上的d时刻所形成的分割图,图7(c)为原图2在折线图7(a)上的e时刻所形成的分割图。
从中可以看出:图7(a)中的点d、e分别对应合并停止时刻、最佳合并状态,图7(c)的最佳合并状态较图7(b)的区域合并停止准则,一定程度上既降低域内过高一致性的要求以达到进一步解决“过分割”问题的目的,又加入域间差异性因素有效避免了过合并的发生,较适合航拍图像场景且更符合人眼视觉特点:同一区域相对一致、不同区域边界分明的特点,因此河道区域的提取率更高。
仿真4、该部分实验的目的是证明当前区域合并研究中存在一种区域合并标号选择机制的必要性。
参考图8,其中:图8(a)为原图3,图8(b)为原图3经过像素聚类和新型马尔可夫随机场平滑后形成的过分割图,图8(c)为使用不包含区域合并标号选择机制的区域合并技术对原图3的过分割图进行区域合并的合并图,图8(d)为使用包含区域合并标号选择机制的区域合并技术对原图3的过分割图进行区域合并的合并图。
实验所选取的图8(a)经马尔可夫随机场处理及多次区域合并后,所形成的区域状态图8(b)与场景①一致。在均使用本实施例的区域相似性度量与最佳合并状态的情形下,该部分实验将有无区域合并标号选择机制所形成的合并结果图8(c)、8(d)作对比。
从中可以发现:图8(b)的区域②与区域③、区域④与区域⑤互为邻域,且这两处较大区域对较小区域的包围度均为1;当区域合并过程中没有区域合并选择机制时,形成了如图8(c)的合并结果,图中河道区域的提取率较合并之前更低;而图8(d)在外形、面积方面较图8(c)与实际河道区域的相似度有了实质性的提高。
以上示意性的对本发明及其实施方式进行了描述,该描述没有限制性,附图中所示的也只是本发明的实施方式之一,实际的结构和方法并不局限于此。所以,如果本领域的普通技术人员受其启示,在不脱离本发明创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均属于本发明的保护范围。
Claims (9)
1.一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法,其特征在于,所述航拍图像混合分割算法具体包括如下步骤:
S1:读取待分割的彩色图像,并将所述待分割的彩色图像转换为灰度图像;
S2:将所述灰度图像进行粗分割;
S3:根据所述粗分割后的灰度图像,进行多值连通域信息统计;
S4:根据所述多值连通域信息,对所述粗分割后的灰度图像进行区域平滑;
S5:根据所述区域平滑后的图像,进行区域合并。
2.根据权利要求1所述的一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法,其特征在于,在所述步骤S2中,将所述灰度图像进行粗分割,具体如下:
S2.1:根据所述灰度图像中聚类个数集合的数目,依次确定出各所述聚类个数集合中的聚类个数q;
S2.2:利用层次聚类依据像素的灰度值确定出q个簇心;
S2.3:将所有所述簇心均作为初始簇心,并根据k-means依据灰度值进行像素聚类;
S2.4:计算所述聚类个数对应的BWP指标,判断所述聚类个数对应的聚类个数集合中的元素是否被取完,若未被取完,则返回步骤S2.1,反之则执行下一步骤,所述BWP指标的计算公式,具体为:
其中:BWP(i,j)为BWP指标,Odist(i,j)为域间距离,Idist(i,j)为域内距离;
S2.5:将各所述聚类个数所对应的BWP指标进行比较,确定出最大的BWP指标,并将所述最大BWP指标对应的聚类个数和聚类个数下形成的连通域作为最佳聚类个数和最佳聚类结果。
4.根据权利要求1或2所述的一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法,其特征在于,在所述步骤S3中,进行多值连通域信息统计,具体如下:
S3.1:根据最佳聚类结果,对所述粗分割后的灰度图像中每一行的行连通域所属的行号、列起始地址、列终止地址、标号、编号、所属的连通域编号进行标记,并对每个行连通域进行标记;
S3.2:根据所述行连通域的标记,判断每一行的下一行中是否有满足与当前行连通域位置相邻、标号相同的行连通域,若满足,则将满足条件的行连通域与当前行连通域连接,并获取连通域元素、连通域面积、连通域内边缘元素、连通域外边缘元素、连通域内边缘长度和连通域外边缘长度,然后执行下一步骤,若不满足,则直接执行下一步骤。
5.根据权利要求4所述一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法,其特征在于,所述行连通域的下一行中与行连通域相邻的行连通域列起始地址和列终止地址满足如下关系,具体为:
R-1≤r≤E+1或R-1≤e≤E+1
其中:R为当前行连通域的列起始地址,r为下一行中与行连通域相邻的行连通域列起始地址,E为当前行连通域的列终止地址,e为下一行中与行连通域相邻的行连通域列终止地址。
7.根据权利要求4所述一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法,其特征在于,在所述步骤S4中,对所述粗分割后的灰度图像进行区域平滑,具体如下:
S4.1:对所述标记的行连通域进行Maxiter次迭代更新;
S4.2:获取每次迭代中区域平衡度和邻域平衡度之和,并从中选出最小的区域平衡度和邻域平衡度之和,将所述最小区域平衡度和邻域平衡度之和对应的区域状态作为区域平滑结果。
8.根据权利要求7所述的一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法,其特征在于,在所述步骤S4.1中,对所述标记的行连通域进行Maxiter次迭代更新,具体如下:
S4.1.1:通过能量函数最小化,依次对所述粗分割后的灰度图像中所有区域的标号进行更新,所述能量函数计算公式,具体为:
S4.1.2:计算每次迭代的区域平衡度和邻域平衡度之和,并根据当前的区域标号更新区域状态,所述区域平衡度和邻域平衡度的计算公式,具体为:
9.根据权利要求7所述的一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法,其特征在于,在所述步骤S5中,进行区域合并,具体如下:
S5.1:计算每个连通域与邻域间的颜色差异度、边缘相邻度、边缘跳跃度和邻接关系,获取区域相似度,所述区域相似度的计算公式,具体为:
S5.2:根据所述区域相似度,选择待合并的区域对;
S5.3:根据区域合并标号选择机制,为区域合并后的标号选择提供决策,所述选择机制公式具体为:
S5.4:计算每次迭代后的区域剩余率、色散度和边缘跳跃度,获取得到合并状态值,所述合并状态值的计算公式,具体为:
S5.5:根据所述合并状态值,从Maxiter次迭代后的所有合并状态值中选出最小值,并将所述最小合并状态作为最佳合并状态,同时输出所述最佳合并状态下的连通域集合和区域标号集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911179187.5A CN111047603B (zh) | 2019-11-27 | 2019-11-27 | 一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911179187.5A CN111047603B (zh) | 2019-11-27 | 2019-11-27 | 一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111047603A true CN111047603A (zh) | 2020-04-21 |
CN111047603B CN111047603B (zh) | 2021-09-03 |
Family
ID=70233651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911179187.5A Active CN111047603B (zh) | 2019-11-27 | 2019-11-27 | 一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111047603B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070090A (zh) * | 2020-07-31 | 2020-12-11 | 南京卫泽科技信息有限公司 | 自然场景下基于bpt结点分析的混合目标物提取方法 |
CN112381945A (zh) * | 2020-11-27 | 2021-02-19 | 中国科学院自动化研究所 | 三维模型过渡面的重建方法及*** |
CN112927257A (zh) * | 2021-03-22 | 2021-06-08 | 哈尔滨理工大学 | 一种基于改进mrf的冲压件缺陷图像分割方法 |
CN113535996A (zh) * | 2021-05-27 | 2021-10-22 | 中国人民解放***箭军工程大学 | 一种基于航拍图像的道路图像数据集制备方法及装置 |
CN116645536A (zh) * | 2023-05-15 | 2023-08-25 | 广州汽车集团股份有限公司 | 数据分类方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101515367A (zh) * | 2009-04-01 | 2009-08-26 | 西北工业大学 | 三维大脑磁共振图像的大脑皮层表面上脑沟区域分割方法 |
CN102013017A (zh) * | 2010-11-26 | 2011-04-13 | 华中科技大学 | 一种高分辨率遥感图像场景粗分类方法 |
CN102034237A (zh) * | 2010-12-10 | 2011-04-27 | 中国人民解放军国防科学技术大学 | 二维图像对应性寻找方法 |
CN105513085A (zh) * | 2016-01-13 | 2016-04-20 | 合肥工业大学 | 采用srgb-rmrf的sar海冰图像分割方法 |
CN108182436A (zh) * | 2017-12-29 | 2018-06-19 | 辽宁工程技术大学 | 一种高分辨率遥感图像分割方法 |
US10037610B1 (en) * | 2017-10-03 | 2018-07-31 | StradVision, Inc. | Method for tracking and segmenting a target object in an image using Markov Chain, and device using the same |
-
2019
- 2019-11-27 CN CN201911179187.5A patent/CN111047603B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101515367A (zh) * | 2009-04-01 | 2009-08-26 | 西北工业大学 | 三维大脑磁共振图像的大脑皮层表面上脑沟区域分割方法 |
CN102013017A (zh) * | 2010-11-26 | 2011-04-13 | 华中科技大学 | 一种高分辨率遥感图像场景粗分类方法 |
CN102034237A (zh) * | 2010-12-10 | 2011-04-27 | 中国人民解放军国防科学技术大学 | 二维图像对应性寻找方法 |
CN105513085A (zh) * | 2016-01-13 | 2016-04-20 | 合肥工业大学 | 采用srgb-rmrf的sar海冰图像分割方法 |
US10037610B1 (en) * | 2017-10-03 | 2018-07-31 | StradVision, Inc. | Method for tracking and segmenting a target object in an image using Markov Chain, and device using the same |
CN108182436A (zh) * | 2017-12-29 | 2018-06-19 | 辽宁工程技术大学 | 一种高分辨率遥感图像分割方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070090A (zh) * | 2020-07-31 | 2020-12-11 | 南京卫泽科技信息有限公司 | 自然场景下基于bpt结点分析的混合目标物提取方法 |
CN112381945A (zh) * | 2020-11-27 | 2021-02-19 | 中国科学院自动化研究所 | 三维模型过渡面的重建方法及*** |
CN112381945B (zh) * | 2020-11-27 | 2021-05-25 | 中国科学院自动化研究所 | 三维模型过渡面的重建方法及*** |
CN112927257A (zh) * | 2021-03-22 | 2021-06-08 | 哈尔滨理工大学 | 一种基于改进mrf的冲压件缺陷图像分割方法 |
CN113535996A (zh) * | 2021-05-27 | 2021-10-22 | 中国人民解放***箭军工程大学 | 一种基于航拍图像的道路图像数据集制备方法及装置 |
CN113535996B (zh) * | 2021-05-27 | 2023-08-04 | 中国人民解放***箭军工程大学 | 一种基于航拍图像的道路图像数据集制备方法及装置 |
CN116645536A (zh) * | 2023-05-15 | 2023-08-25 | 广州汽车集团股份有限公司 | 数据分类方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111047603B (zh) | 2021-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111047603B (zh) | 一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法 | |
CN109583425B (zh) | 一种基于深度学习的遥感图像船只集成识别方法 | |
CN110321813B (zh) | 基于行人分割的跨域行人重识别方法 | |
CN112424828B (zh) | 一种集成空间约束的核模糊c均值快速聚类算法 | |
CN111259906B (zh) | 含多级通道注意力的条件生成对抗遥感图像目标分割方法 | |
Dornaika et al. | Building detection from orthophotos using a machine learning approach: An empirical study on image segmentation and descriptors | |
US9042648B2 (en) | Salient object segmentation | |
CN107066916B (zh) | 基于反卷积神经网络的场景语义分割方法 | |
CN111242027B (zh) | 一种融合语义信息的无监督学习场景特征快速提取方法 | |
CN106991686B (zh) | 一种基于超像素光流场的水平集轮廓跟踪方法 | |
CN105654501A (zh) | 基于模糊阈值的自适应图像分割方法 | |
CN113569724B (zh) | 基于注意力机制和扩张卷积的道路提取方法及*** | |
CN111583279A (zh) | 一种基于pcba的超像素图像分割方法 | |
CN104657980A (zh) | 一种改进的基于Meanshift的多通道图像分割算法 | |
CN114359323B (zh) | 一种基于视觉注意机制的图像目标区域检测方法 | |
CN103049340A (zh) | 基于纹理上下文约束的视觉词汇的图像超分辨率重建方法 | |
CN103761736B (zh) | 一种基于贝叶斯和谐度的图像分割方法 | |
CN107610148B (zh) | 一种基于双目立体视觉***的前景分割方法 | |
CN108388901B (zh) | 基于空间-语义通道的协同显著目标检测方法 | |
CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
CN113989299A (zh) | 一种基于k均值聚类的露天矿岩层图像分割方法 | |
CN113239733A (zh) | 一种多车道车道线检测方法 | |
CN110503049B (zh) | 基于生成对抗网络的卫星视频车辆数目估计方法 | |
CN105631405A (zh) | 基于多级分块的交通视频智能识别背景建模方法 | |
CN107832732A (zh) | 基于三叉树遍历的车道线检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |