CN110634142A - 一种复杂车路图像边界优化方法 - Google Patents

Abstract

本发明提出了一种复杂车路图像边界优化方法，实现了复杂车路环境下图像目标的分类。首先通过SegNet算法模型进行大量数据的训练仿真得到粗糙的车路目标分类特征，然后利用简单线性迭代聚类算法获得图像的过分割区域，结合SegNet算法得到的神经网络确定每个超像素区域中每个像素的类别，最后通过利用条件随机场精确的边界恢复能力来优化语义分割的结果，实现对车路图像进行边界和小区域目标误分割优化。结果表明，本发明的方法可以提高对象边界的分割精度。

Description

一种复杂车路图像边界优化方法

技术领域

本发明属于图像处理技术领域，涉及图像边界优化，具体涉及一种针对复杂车路图像的边界优化方法。

背景技术

目前的车路图像边界优化方法，需要先对图像进行分割，对分割后的块图像进行局部处理。传统的图像分割算法有基于图像阈值的方法、基于边缘检测的方法、基于区域的图像分割方法等。但是由于道路场景的复杂性和类别的丰富性，传统的图像分割方法效果仍有待提高。自从2012年以来，深度学习算法，例如全连接卷积神经网络(FullyConvolutional Networks,FCN)，被快速运用到目标识别、目标检测等任务中，并取得了显著地成果。但FCN的缺点是得到的结果还不够精细，缺乏空间一致性，因此需要其他手段结合得到更为精细的图像分割结果。同时，目前的图像块局部处理主要为局部降噪，是针对局部的所有像素点进行，存在小区域目标误分割问题，对于块图像的边界去燥，并没有重点关注。

发明内容

本发明的目的在于提供一种针对复杂车路图像的边界优化算法,实现对复杂车路图像的边界和小区域目标误分割优化。

为达到上述目的，本发明采用了以下技术方案：

一种针对复杂车路图像的边界优化方法，本方法对待优化的复杂车路图像进行图像边界优化得到复杂车路边界优化图像，包括以下步骤：

步骤1：将待优化的复杂车路图像转化为初始的车路RGB图像，采用SegNet算法模型对初始车路RGB图像进行特征训练，得到初始车路RGB图像的粗糙特征图；

步骤2：采用简单线性迭代聚类算法对粗糙特征图进行区域分割，得到多个过分割区域，每个过分割区域包含多个相似像素，通过步骤1得到的粗糙特征图确定每个过分割区域的所有相似像素所属的像素类别；

步骤3：利用条件随机场的边界恢复能力，结合每个过分割区域的像素类别和步骤1得到的粗糙特征图对待优化的复杂车路图像进行图像边界优化，得到复杂车路边界优化图像。

具体的，步骤2中，所述的粗糙特征图中的每个像素对应一个(L，a，b)颜色值，同时建立所述的粗糙特征图的二维xy图像坐标，则每个像素均可以用一个5维的向量[L,a,b,x,y]表示，任意两个像素的相似性通过这两个像素对应的向量距离来度量，若向量距离小于给定阈值δ，则这两个像素为相似像素；其中，L表示该像素点的颜色明度，a表示该像素点的颜色绿红值，b表示该像素点的颜色蓝黄值。

具体的，步骤2中，第i个过分割区域为S_i，S_i＝{C₁,C₂,...,C_N}，C_N为该过分割区域内包含的第N个相似像素，计算S_i中每个相似像素的像素类别，n_Ii表示第i个过分割区域中像素类别为I的相似像素的数量，计算n_Ii占所有相似像素数量的比例，找出该比例的最大值和次最大值，若最大值和次最大值的差值大于给定阈值ζ，则用该像素类别I作为第i个过分割区域的所有相似像素所属的像素类别。

优选的，ζ取值为0.1-0.2。

本发明的有益效果体现在：

本发明的方法可以优化复杂车路图像的边界，也可以优化车路图像中出现的小区域误分割的现场，在图像中体现为有较多小“斑点”。通过SLIC算法处理，能够通过其与周围超像素的块标签相似性一定程度上消除这些“斑点”，即降斑处理，从而提高对象边界的分割精度。

附图说明

图1为针对复杂车路图像的边界优化算法原理框图。

图2为SegNet网络结构模型图。

图3为SegNet和FCN上采样区别图；其中：(a)SegNet采样图；(b)FCN采样图。

图4为图像语义分割图；其中：(a)原始图像；(b)SegNet语义分割图像。

图5为本发明图像边界优化方法流程图。

图6为不同参数的超像素分割结果图。

具体实施方式

下面结合附图和实施例对本发明做详细说明。

本发明的简单线性迭代聚类(SLIC)，是一种图像超像素(superpixels)分割算法，整个算法的输入只有一个，即超像素的个数K，图片原有N个像素，要分割成K个像素，那么每个像素的大小是N/K。超像素之间的距离(即规则情况下超像素的边长)就是S＝√N/K。算法的目标是使代价函数(costfunction)最小。具体到本方法中，就是每个像素到所属的中心点的距离之和最小，以此进行收敛。SLIC算法的的详细流程如下：

步骤1：CIELAB色彩空间中的彩色图像，设定超像素数目K。初始聚类中心为初始化C_i＝(l_i,a_i,b_i,x_i,b_i)^T，超像素的聚类中心间的步长

步骤2：为了避免超像素落到边缘位置且减少噪声像素接近超像素，所以在每个聚类中心的3*3邻域内，计算该种子点的8个邻域内像素点的Lab颜色梯度，分别与初始种子点梯度进行比较，取梯度值最小(最“平坦”)的点，并记录其LABXY信息作为新的种子点。

步骤3：

1)在每个种子点周围的邻域内为每个像素点分配类标签。和标准的k-means算法相似但也有所不同，即在整张图中k-means的搜索范围为S*S，而SLIC的搜索范围限制为2S*2S，可以加速算法收敛。

2)距离度量，包括颜色距离和空间距离。初始化distlab、distxy为无穷大。

dc代表某点与种子点的lab颜色空间距离，计算如下：

ds代表某点与种子点的空间坐标距离，计算如下：

D代表某点与种子点的综合距离(归一化的颜色距离+空间距离)。

Ns是类内最大空间距离，定义为Ns＝S，适用于每个聚类。最大的颜色距离Nc既随图片不同而不同，也随聚类不同而不同，所以我们取一个固定常数m(取值范围[1,40],一般取10)代替。最终的距离度量D'如下：

由于每个像素点都会被多个种子点搜索到，所以每个像素点都会有一个与周围种子点的距离，取最小值对应的种子点作为该像素点的聚类中心。计算每个新超像素内所有像素的labxy均值和坐标重心。将坐标重心作为该超像素的新种子点位置。

步骤4：去掉孤立点，增强连通性。该函数主要有几个作用：保证同一个超像素都是单连通区域；去掉尺寸过小的超像素；避免单个超像素被切割的情况。

当输入的超像素个数K最大的颜色距离m不同时，将会产生不同的分割效果。利用几百个或几千个超像素代替海量图像数据，不仅可以获取图像清晰地边缘轮廓区域，而且很大程度上减少了像素样本的计算量，提高了计算效率。

对于每个区域中的边界和误分割像素重新分类，具体步骤为：

每个超像素Sp中的所有像素C＝{C₁,C₂,...,C_s},统计这个超像素中每个类别所拥有的像素标签数目n^k：

n^p＝{n₁,n₂,n₃,...,n_K} (9)

其中n_i表示区域p中类别i所拥有的像素的标签个数,然后找出n^p中的最大值n_j，就将区域p中像素归为第j类别。但也有一种情况，就是n^p中的最大数量标签的个数n_i和次最大数量标签的个数n_j很相近时，无法非常确定区域p应属于类别i还是类别j，但在神经网络中则定义为只分类为概率最高的，因此就会存在误分割现象。所以，我们需要定义一个阈值T，

本文取T为0.2，若T大于0.2，则将区域p中的像素归为第i类，否则仍然按照卷积神经网络语义分割的结果归类。

本发明的条件随机场(CRF)，机器学习领域的一个算法模型，具有边界优化功能。本发明指的边界优化，是在前述步骤图像超分割的基础上，剔除图像中出现的小区域误分割，在图像中体现为有较多小“斑点”，能够通过其与周围超像素的块标签相似性消除这些“斑点”。所述边界优化算法对于每个区域中的边界和误分割像素重新分类，结合超像素和利用卷积神经网络实现图像边界优化。所述的块标签相似性，是基于相似性概率计算，利用相似性概率对每一个待去噪点都搜索出一个相似的局部同质区域，然后在该局部同质区域内对该点进行处理。设X与Y是随机变量，P(Y|X)是在给定X的条件下Y的条件概率分布。若随机变量Y构成一个由无向图G＝(V,E)表示的马尔可夫随机场，对任意结点v成立，则称条件概率分布P(Y|X)为条件随机场。现在关于CRF的工具有很多，例如CRF++，CRF++包含Windows、Linux版本，tar_gz是Linux版本，zip是Windows版本，在此不做赘述。

本发明的针对复杂车路图像的边界优化方法，先通过SegNet算法模型进行大量数据的训练仿真，得到初始车路RGB图像的粗糙特征图，含有粗糙的车路目标分类特征；再利用简单线性迭代聚类(Simple Linear Iterative Clustering，SLIC)算法获得图像的过分割区域，结合SegNet算法得到的神经网络粗糙特征图确定每个过分割区域中的像素类别；之后利用条件随机场(Conditional Random Field,CRF)精确的边界恢复能力来优化过分割区域语义分割的结果，实现对车路图像进行边界和小区域目标误分割优化。

其中，SegNet算法模型主要由编码器和解码器两部分组成，其编码过程主要是基于VGG-16网络模型提取目标特征，而解码过程主要在经过卷积池化得到输入图像的feature maps之后，使用记录下来的最大池化的索引来对其做上采样处理。同时，采用基于VGG-16网络模型的SegNet图像语义分割算法实现图像的粗糙分割，提取粗糙特征，并对每个像素进行分类识别，将复杂车路图像中具有相似特征的像素“结合”起来，形成多个具有代表性的区域，获取图像的过分割区域，并结合神经网络确定每个区域内像素的类别，最后将整个图像中的像素依照每个区域内像素分类算法重新分类。结合超像素和利用卷积神经网络实现图像边界优化，所述确定每个区域内像素的类别包括以下步骤：通过卷积层、池化层、反卷积层等得到每个目标的类别，在通过softmax函数对每个像素进行分类，然后根据预测值和真实值之间的误差构建交叉熵损失函数。所述边界优化算法中的相似像素确认，包括以下步骤：将图像从RGB颜色空间转换到CIE-Lab颜色空间，对应每个像素的(L，a，b)颜色值和(x，y)坐标组成一个5维向量V[l,a,b,x,y],两个像素的相似性即可由它们的向量距离来度量，距离越大，相似性越小。

实施例1：

本实施例提供一种针对复杂车路图像的边界优化方法，包括如下步骤：

步骤1：将待优化的复杂车路图像转化为初始的车路RGB图像，采用SegNet算法模型对初始车路RGB图像进行特征训练，得到初始车路RGB图像的粗糙特征图；

具体的，输入原始图像I和经过SegNet算法提取的粗糙特征图L。

步骤2：采用简单线性迭代聚类算法对粗糙特征图进行区域分割，得到多个过分割区域，每个过分割区域包含多个相似像素，通过步骤1得到的粗糙特征图确定每个过分割区域的所有相似像素所属的像素类别；

具体的，应用SLIC算法分割原始图像得到K个超像素Sp＝{S₁,S₂,S₃,...,S_K}，且每个超像素的区域或像素类别用标签i标记；

更具体的，超像素S_i中的所有像素是S_i＝{C₁,C₂,...,C_N}是，其中C_j对应特征图中类别j中的一个像素,计算每个超像素S_i中每个像素的像素类别，有相同标签的像素个数n_i＝{n₁,n₂,...,n_m},其中n_i表示在S_i中属于类别i的像素个数,并计算有相同标签L_Cj的像素n所占的比例W_Cj＝{W₁,W₂,...,W_m}。若W_Cj中最大与次最大的的差别大于0.2，则用W_Cj对应的标签L_Cmax标记这个超像素，否则保持SegNet分割结果的类别来标记这个超像素。最终遍历整副图像。

步骤3：利用条件随机场的边界恢复能力，结合每个过分割区域的像素类别和步骤1得到的粗糙特征图对待优化的复杂车路图像进行图像边界优化，得到复杂车路边界优化图像。

本发明的边界优化是将利用超像素提取的原始车路图像中的边界和轮廓信息反馈到像素级别的分割图像中，对初步的模型进行增强改进，实现复杂车路目标的分割精确度。其中利用SegNet算法来提取像素级别特征，利用SLIC算法实现超像素级别的图像特征提取，然后结合这两部分像素特征提出边界优化的语义分割算法。即用L_Cmax重新分配当前超像素的分类，输出图像I′。

参见图1，通过SegNet算法模型进行大量数据的训练仿真得到粗糙的车路目标分类特征，然后利用简单线性迭代聚类(Simple Linear Iterative Clustering，SLIC)算法获得图像的过分割区域，结合SegNet算法得到的神经网络确定每个超像素区域中每个像素的类别，最后通过利用条件随机场(Conditional Random Field,CRF)精确的边界恢复能力来优化语义分割的结果，实现对车路图像进行边界和小区域目标误分割优化。

参见图2，SegNet网络主要由两部分编码器和解码器两部分组成，其编码过程主要是基于VGG-16网络模型提取目标特征，仅仅是丢弃最后的三个全连接层，这样大大减少了可学习参数数量，即每个conv层包含convolution+Batchnormalization+ReLU操作，pool层采用2x2的窗口，以及stride 2的步长。每次pool层相当于对图像做一个分辨率减少一半的降采样。并在每次maxpool的过程中，将feature maps中的每个池化窗口中的最大值的位置记录下来。而解码过程主要在经过卷积池化得到输入图像的feature maps之后，使用记录下来的最大池化的索引来对其做上采样处理。

参见图3(a)，SegNet上采样过程即特征图值1、2、3、4，通过之前保存的最大池化的坐标映射到新的特征图中，其它部分填充零。

参见图3(b)，FCN上采样过程即将特征图值1、2、3、4，进行一个反卷积得到新的特征图与之前的对应的卷积特征图相加。

参见图4(b)，用卷积神经网络进行图像语义分割已经可以得到很好地效果，多次池化降低了过拟合、扩大感受野，实现不变性，但由于神经元的减少会导致目标结构信息损失，使得目标物体边缘的语义特征模糊，分割精度下降。从语义分割结果可知，“左边车道”的边缘分割较为粗糙，边界定位不够精确，且局部区域出现小部分的误分割现象。

参见图5，本发明的内容主要是研究针对复杂车路图像的边界优化算法，边界优化是将利用超像素提取的原始车路图像中的边界和轮廓信息反馈到像素级别的分割图像中，对初步的模型进行增强改进，实现复杂车路目标的分割精确度。其中利用SegNet算法来提取像素级别特征，利用SLIC算法实现超像素级别的图像特征提取，然后结合这两部分像素特征提出边界优化的语义分割算法。

参见图6，SLIC算法的原理就是将图像从RGB颜色空间转换到CIE-Lab颜色空间，对应每个像素的(L，a，b)颜色值和(x，y)坐标组成一个5维向量V[l,a,b,x,y],两个像素的相似性即可由它们的向量距离来度量，距离越大，相似性越小。

Claims (4)

1.一种针对复杂车路图像的边界优化方法，本方法对待优化的复杂车路图像进行图像边界优化得到复杂车路边界优化图像，其特征在于，包括以下步骤：

步骤1：将待优化的复杂车路图像转化为初始的车路RGB图像，采用SegNet算法模型对初始车路RGB图像进行特征训练，得到初始车路RGB图像的粗糙特征图；

步骤2：采用简单线性迭代聚类算法对粗糙特征图基于进行区域分割，找到与粗糙特征图中的任意像素点相似的所有像素点组成一个过分割区域，共得到多个过分割区域，每个过分割区域内均含有多个相似的像素，通过步骤1得到的粗糙特征图确定每个过分割区域的所有相似的像素所属的像素类别；

步骤3：采用条件随机场方法，结合每个过分割区域的像素类别和步骤1得到的粗糙特征图对待优化的复杂车路图像进行图像边界降斑，得到复杂车路边界优化图像。

2.如权利要求1所述的针对复杂车路图像的边界优化方法，其特征在于，步骤2中，找到与粗糙特征图中的任意像素点相似的所有像素点，具体步骤包括：所述的粗糙特征图中的任意像素点对应一个(L，a，b)颜色值，同时建立所述的粗糙特征图的xy二维图像坐标，则该任意像素点用一个5维的向量[L,a,b,x,y]表示，该任意像素点与其他像素点的相似性通过该任意像素点与其他像素点的向量距离来度量，若向量距离小于给定阈值δ，则为相似像素；其中，L、a、b分别表示该任意像素点的颜色明度、颜色绿红值、颜色蓝黄值。

3.如权利要求1所述的针对复杂车路图像的边界优化方法，其特征在于，步骤2中，通过步骤1得到的粗糙特征图确定每个过分割区域的所有相似的像素所属的像素类别，具体包括：S_i的所有相似的像素所属的像素类别为I，S_i表示第i个过分割区域，S_i＝{C₁,C₂,...,C_N}，C_N为该过分割区域内包含的第N个相似像素，计算n_Ii占所有相似像素数量的比例，n_Ii表示第i个过分割区域中像素类别为I的相似像素的数量，找出该比例的最大值和次最大值，若最大值和次最大值的差值大于给定阈值ζ，则用该像素类别I作为第i个过分割区域的所有相似像素所属的像素类别。

4.如权利要求3所述的针对复杂车路图像的边界优化方法，其特征在于，ζ取值为0.1-0.2。

Images