CN108090913B

CN108090913B - 一种基于对象级Gauss-Markov随机场的图像语义分割方法

Info

Publication number: CN108090913B
Application number: CN201711316006.XA
Authority: CN
Inventors: 郑晨; 姚鸿泰
Original assignee: Henan University
Current assignee: Suzhou Qingchen Technology Co ltd
Priority date: 2017-12-12
Filing date: 2017-12-12
Publication date: 2020-06-19
Anticipated expiration: 2037-12-12
Also published as: CN108090913A

Abstract

本发明提出了一种基于对象级Gauss‑Markov随机场的图像语义分割方法，步骤为：对像素级图像进行初始化过分割，得到对象级图像和区域邻接图，并在区域邻接图上分别定义邻域***、观测特征场和分割标记场；根据对象级分割标标记场和邻域***对观测特征场的每个区域的特征及其邻域的特征进行Gauss‑Markov建模，构造针对每一个区域的对象级线性回归方程；分别对特征场和标记场进行概率建模，根据Bayes准则得到分割标记场的后验分布，并依据最大后验概率准则得到最终分割结果。本发明可用于在复杂语义及高空间分辨率背景下批量地对图像进行语义分割***中，相比于人工检测，极大地提高了工作效率。

Description

一种基于对象级Gauss-Markov随机场的图像语义分割方法

技术领域

本发明涉及图像语义分割的技术领域，尤其涉及一种基于对象级Gauss-Markov随机场的图像语义分割方法。

背景技术

图像语义分割是指将图像中的像素按照图像中所表达的语义不同进行分组，该过程由机器自主进行。

随着现代传感器制造工艺和成像技术的不断发展，所处理的图像空间分辨率越来越高，而且获得的图像数量以指数形式增长，如果使用手工分割，效率低下。以前的像素级分割方法无法考虑更大范围的空间信息，造成大量信息的浪费。而近几年基于对象级的地理分析技术成为了一种提取图像信息的热点技术，将之运用到图像语义分割中，能够考虑更大范围的空间信息。但是区域特征之间的相互作用关系被忽略，分割精度有待提高。因此，需要一种图像语义分割方法，既保证空间信息的充分利用，又能够考虑区域特征之间的互相作用。

发明内容

针对现有图像语义分割方法不能兼顾充分利用保证空间信息和考虑区域特征之间相互作用的技术问题，本发明提出一种基于对象级Gauss-Markov随机场的图像语义分割方法，既保证空间信息的充分利用，又能够考虑区域特征之间的互相作用。

为了达到上述目的，本发明的技术方案是这样实现的：一种基于对象级Gauss-Markov随机场的图像语义分割方法，其特征在于，其步骤如下：

步骤一：对读取的像素级图像进行初始化过分割，得到由过分割区域组成的对象级图像和对应的对象级区域邻接图RAG，根据区域邻接图RAG定义该图像的邻域***N^O、对象级观测特征场Y^O和对象级分割标记场X^O；

步骤二：根据对象级分割标记场X^O和邻域***N^O对观测特征场Y^O的每个区域r_i的特征及其邻域的特征进行Gauss-Markov建模，构造针对每一个区域r_i的对象级线性回归方程，i＝1,…,l；

步骤三：分别对观测特征场Y^O和分割标记场X^O进行概率建模，并根据Bayes准则得到分割标记场X^O的后验分布，运用最大后验概率准则更新迭代分割并由此解得最终分割。

所述步骤一的具体实施步骤如下：

1)对输入的高空间分辨率三通道图像I(R,G,B)进行位置索引集合定义和像素级观测特征集合定义，假设图像I(R,G,B)分辨率为m×n，得到：位置索引集合S＝{s_xy＝(x,y)|1≤x≤m；1≤y≤n}，像素级观测特征集

其中，

表示位置s处像素点的观测特征值，

分别为图像的R、G、B分量的值，m为图像的长度，n为图像的宽度，(x,y)为图像中像素点的位置坐标；

2)根据设置的最小面积运用mean-shift方法对像素级图像进行过分割处理：将图像I(R,G,B)过分割为l个最小面积为s_min的区域，每个区域赋予标号，得到标号矩阵L_s＝{l_s|s∈S}，其中，元素l_s∈{1,…,l},s∈S；由此得到对象级图像的位置索引集合R＝{r₁,r₂,…,r_l}，其中，区域r_i＝{s|l_s＝i}；

3)根据过分割处理得到对象级区域邻接图G＝(R,E)，其中，位置索引集合R是对象级元素，每个元素代表一个过分割区域，E＝{e_ij|1≤i,j≤l}表示邻接关系，元素e_ij表示区域r_i中与区域r_j相邻的像素个数，e_ij≠0当且仅当元素R_i和R_j是相邻的；

4)在区域邻接图G上定义对象级观测特征场

和对象级分割标记场

其中，

表示区域r_i的观测特征，|r_i|表示区域r_i内的像素点个数；X^O是一个随机场，

是一个随机变量，

其中，K为分割类别集合，k为预先给定的分割类别数；

5)依据对象级区域邻接图G＝(R,E)给出对象级邻域***：

其中，

所述步骤二的具体步骤如下：

1)在区域邻接图G＝(R,E)中由位置索引集合R可以得到各个过分割区域所包含的像素个数为对象级元素的面积参数，得到面积矩阵RS＝{RS_i|1≤i≤l}，其中RS_i＝|r_i|；

2)设x^O是对象级分割标记场X^O的一个实现，根据x^O得到各类别的特征均值和特征协方差矩阵，实现流程为：

(a)已知对象级分割标记场的实现为x^O，计算原始图像中每个像素点对应的分割所属类别，即像素级分割标记矩阵

其中

(b)分别计算特征均值m＝{m_i|1≤i≤k}和特征协方差矩阵∑＝{∑_i|1≤i≤k}：

3)对于每一个对象级元素r_i，给定它的分割标记实现为

后，构造线性回归方程如下：

其中，e_i～N(0,∑_h)是一个高斯白噪声。

所述步骤三的具体方法如下：

2)对于对象级观测特征场Y^O，不是对观测特征直接进行联合概率建模，而是对每一个对象级元素r_i所构造的对象级线性回归方程中的残差项进行联合建模，得到特征场的似然函数，即：

2)对象级分割标记场X^O进行概率建模，由Markov-Gibbs等价性可知，对象级分割标记场符合Gibbs分布，得到标记场的先验分布如下：

其中，Z为归一化常量、U(x^O)表示分割场实现为x^O时的能量，K为分割类别集合，V₂(·)为基团势能函数，由Potts模型给出，即：

3)由Bayes公式可以得到标记场的后验分布为：

所以，求分割标记的最佳结果就转化为求分割标记场X^O后验分布最大化的问题，即：

通过循环迭代，更新分割标记，最终得到分割结果。

所述循环迭代的具体实现过程为：

5)首先由经典的ICM算法实现像素级MRF方法，得到每个像素点的分割所属类别，即像素级分割场结果：x^P＝{x_s|s∈S}，进而得到初始迭代的对象分割标记场实现

其中

mode为众数函数；

6)由对象级分割标记场在第t步的实现

根据下式得到对应各个类别的特征均值

和特征协方差

7)分别计算每个对象级元素r_i的对象级线性回归方程：

8)分别计算对象及特征场概率和标记场概率，并逐对象的更新分割标记，具体为：

本发明的有益效果：提供了成型的对高空间分辨率RGB图像的语义分割方法；可用于批量处理高空间分辨率RGB图像的语义分割，分割效率远远高于传统手工分割水平，也比现有大部分面向对象级分割方式效率高；对于线性回归方程中的待估参数直接赋予固定值简算简便快捷，精度高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图。

图2为本发明初始化的流程图。

图3为本发明初始化处理的示例图。

图4为本发明线性回归方程构造的流程图。

图5为本发明联合建模的流程图。

图6为本发明实验仿真图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于对象级Gauss-Markov随机场的图像语义分割方法，其步骤如下：

步骤一：对读取的像素级图像进行初始化过分割，得到由过分割区域组成的对象级图像和对应的对象级区域邻接图RAG，根据区域邻接图RAG定义该图像的邻域***N^O、对象级观测特征场Y^O和对象级分割标记场X^O。

为了进行对象级图像分析，提高算法效率，需要进行初始化过分割，以便得到区域邻接图RAG。区域邻接图RAG是根据对象级图像的各个过分割区域之间的空间关系得到的。图像进行初始化过分割的方法是最小面积因素的mean-shift方法。根据像素级图像特征，使用涉及最小面积参数(即过分割区域内所含像素点个数)的mean-shift方法得到对象级图像表示，最终求得对象级图像特征。如图2所示，其具体实施步骤如下：

1)对输入的高空间分辨率三通道图像I(R,G,B)进行位置索引集合定义和像素级观测特征集合定义，假设图像I(R,G,B)分辨率为m×n，那么可以分别得到：位置索引集合S＝{s_xy＝(x,y)|1≤x≤m；1≤y≤n}，像素级观测特征集

其中，

表示位置s处像素点的观测特征值，

分别为图像的R、G、B分量的值，m为图像的长度，n为图像的宽度，(x,y)为图像中像素点的位置坐标。

2)根据设置的最小面积运用mean-shift方法对像素级图像进行过分割处理：将图像I(R,G,B)过分割为l个最小面积为s_min的区域，每个区域赋予标号，得到标号矩阵L_s＝{l_s|s∈S}，其中，元素l_s∈{1,…,l},s∈S。由此得到对象级图像的位置索引集合R＝{r₁,r₂,…,r_l}，其中，区域r_i＝{s|l_s＝i}。处理结果灰度化后如图3(a)所示，图中的线条是其分割的结果。

3)根据过分割处理得到对象级区域邻接图G＝(R,E)。其中，位置索引集合R是对象级元素，每个元素代表一个过分割区域。E＝{e_ij|1≤i,j≤l}表示邻接关系，元素e_ij表示区域r_i中与区域r_j相邻的像素个数，e_ij≠0当且仅当元素R_i和R_j是相邻的。

4)在区域邻接图G上定义对象级观测特征场

对象级分割标记场

其中，

表示区域r_i的观测特征，|r_i|表示区域r_i内的像素点个数。X^O是一个随机场，

是一个随机变量，代表过分割区域r_i的分割类别，

其中K为分割类别集合，k为预先给定的分割类别数。

5)依据对象级区域邻接图G＝(R,E)给出对象级邻域***：

其中，

对图3(a)中的矩形框内的一部分进行放大得到图3(b)，对图3(b)中的各个区域进行邻域标记如图3(c)。

步骤二：根据对象级分割标标记场XO和邻域***NO对观测特征场YO的每个区域r_i的特征及其邻域的特征进行Gauss-Markov建模，构造针对每一个区域r_i的对象级线性回归方程，i＝1,…,l。

对象级线性回归方程使用对象级元素的面积大小和边界长度作为线性回归方程的参数，对每一个对象级元素构建线性回归方程，如图4所示，具体步骤如下：

1)在区域邻接图G＝(R,E)中由位置索引集合R可以得到各个过分割区域所包含的像素个数，将之视为对象级元素的面积参数，得到面积矩阵RS＝{RS_i|1≤i≤l}，其中RS_i＝|r_i|。

2)假设x^O是对象级分割标记场X^O的一个实现，根据x^O得到各类别的特征均值和特征协方差矩阵，实现流程为：

其中

(b)分别计算特征均值m＝{mi|1≤i≤k}和特征协方差矩阵∑＝{∑_i|1≤i≤k}：

3)对于每一个对象级元素r_i，给定它的分割标记实现为x_iO后，构造线性回归方程如下：

其中，为了便于计算，假设e_i～N(0,∑_h)是一个高斯白噪声。

概率建模包括由对象级线性回归方程中的误差项构造观测特征场Y^O的多元正态分布和采用Potts模型构造分割标标记场X^O的Gibbs分布。最终分割结果为：使用Gibbs分布抽样更新迭代分割，最终输出收敛解。如图5所示，具体操作如下：

1)对于对象级观测特征场Y^O，不是对观测特征直接进行联合概率建模，而是对每一个对象级元素r_i所构造的对象级线性回归方程中的残差项进行联合建模，得到特征场的似然函数，即：

2)对象级分割标记场X^O进行概率建模，由于标记场具有马氏性，由Markov-Gibbs等价性可知，标记场符合Gibbs分布，得到标记场的先验分布如下：

其中，Z为归一化常量、U(x^O)表示分割场实现为x^O时的能量，V₂(·)为基团势能函数，由Potts模型给出，即：

3)由Bayes公式可以得到标记场的后验分布为：

通过循环迭代，更新分割标记，最终得到结果。具体循环迭代过程如下所示：

1)首先由经典的ICM(iteration condition model)算法实现像素级MRF(Markovrandom field)方法，得到每个像素点的分割所属类别，即像素级分割场结果：x^P＝{x_s|s∈S}，进而得到初始迭代的对象分割标记场实现

其中

即对于过分割区域r_i，分割标记为其内部像素点分割标记的众数。

2)由对象级分割标记场在第t步的实现

根据下式得到对应各个类别的特征均值

和特征协方差

3)分别计算每个对象级元素r_i的对象级线性回归方程：

4)分别计算对象及特征场概率和标记场概率，并逐对象的更新分割标记，具体为：

本发明的运行平台是：core [email protected]，RAM：4G，64位win10***，2015a版matlab。航拍图像1024_1的彩色图像如图6(a1)所示(彩色图像已经灰度化)，真实手工分割如图6(a2)所示。对图像1024_1用ICM方法，使β＝0.5，得到的分割结果的彩色图像如图6(a3)所示。对图像1024_1用GMRF方法，使β＝0.5，得到的分割结果的彩色图像如图6(a4)所示。对图像1024_1用MRMRF方法，用“Haar”小波分解为三层、β＝0.5，得到的分割结果的彩色图像如图6(a5)所示。对图像1024_1用OMRF方法，并且使s＝256，β＝0.5，得到的分割结果的彩色图像如图6(a6)所示。对图像1024_1用本发明(OGMRF-RC)方法，并且使s＝256，β＝0.5，得到的分割结果的彩色图像如图6(a7)所示。航拍图像1024_2的彩色图像如图6(b1)所示，真实手工分割如图6(b2)所示。对图像1024_2用ICM方法，使β＝0.3，得到的分割结果的彩色图像如图6(b3)所示。对图像1024_2用GMRF方法，使β＝0.3，得到的分割结果的彩色图像如图6(b4)所示。对图像1024_2用MRMRF方法，用“Haar”小波分解为三层、β＝0.3，得到的分割结果的彩色图像如图6(b5)所示。对图像1024_2用OMRF方法，并且使s＝144，β＝0.3，得到的分割结果的彩色图像如图6(b6)所示。对图像1024_2用本发明(OGMRF-RC)方法，并且使s＝144，β＝0.3，得到的分割结果的彩色图像如图6(b7)所示。航拍图像1024_1和图像1024_2的分割结果的Kappa系数如表1所示，分割结果的总精确度OA如表2所示。

表1分割结果的Kappa系数

表2分割结果的总精确度(Overall Accuracy，OA)

由图6和表1-2中数据可以看出，本发明的分割精度是最好的。航拍图像包含更多的纹理信息，同一类中的子对象的频谱值差异较大，而不同类别的子对象可能具有相似的频谱值。例如，在城市部分，屋顶和庭院有不同的光谱值，但是城市部分和森林部分的树木的光谱值是相似的。由于这些原因，三种基于像素的方法有很多细碎的错误分类。与基于像素的方法相比，基于对象的方法将过分割区域视为基本单元，因此显著地优化了分割精度。OMRF方法利用对象的特征的概率分布对特征域进行建模，而OGMRF-RC方法则是利用对象级线性回归方程中残差项的概率分布对特征域进行建模。OGMRF-RC方法这样做的好处是，可以减少迭代过程中同类别之间的光谱变化对于分割的影响。例如，在图6(a7)的上半部分，大型裸地和森林被精确地划分为闲置部分，而不像图6(a6)中的分割成房屋部分的OMRF那样。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。