CN113487502B - 一种坑洼图像的阴影去除方法 - Google Patents

Abstract

本发明公开了一种坑洼图像的阴影去除方法，包括：S1、通过视觉采集***采集路面图片，获取含有坑洼的图像，构建坑洼数据集的原始数据；S2、对坑洼数据集的原始数据进行灰度化处理；S3、对灰度化处理的图像进行阴影检测，分割成阴影区域和非阴影区域；S4、对分割后的图像采用改进的阴影去除模型去除所述阴影区域；解决灰度图处理中容易将阴影和坑洼误检，阴影去除效果有待改善，从而影响智能车辆的安全平稳驾驶的问题。

Description

一种坑洼图像的阴影去除方法

技术领域

本发明涉及智能车辆的图像信息处理技术领域，尤其涉及一种坑洼图像的阴影去除方法。

背景技术

随着经济的快速增长，智能车辆也越来越广泛，为保证智能车辆自动驾驶的安全平稳行驶，一般运用机器视觉和图像处理技术确定智能车辆前方的障碍物和测距等；在图像处理过程中，经常将图像转换为灰度图后进行预处理，但是阴影的灰度特征与坑洼的灰度特征很相似，极有可能将阴影误检测为坑洼，或将坑洼误检测为阴影，影响阴影去除效果，从而造成智能车辆进行不必要的动作，或影响智能车辆的安全平稳驾驶；而且光照强度变化剧烈、裂纹、路面复杂纹理等都能影响图像中阴影的去除效果。

发明内容

(一)要解决的技术问题

基于上述问题，本发明提供一种坑洼图像的阴影去除方法，解决灰度图处理中容易将阴影和坑洼误检，阴影去除效果有待改善，从而影响智能车辆的安全平稳驾驶的问题。

(二)技术方案

基于上述的技术问题，本发明提供一种坑洼图像的阴影去除方法，包括以下步骤：

S1、通过视觉采集***采集路面图片，获取含有坑洼的图像，构建坑洼数据集的原始数据；

S2、对坑洼数据集的原始数据进行灰度化处理；

S3、对灰度化处理的图像进行阴影检测，分割成阴影区域和非阴影区域；

S4、对分割后的图像采用改进的阴影去除模型去除所述阴影区域，改进的阴影去除模型为：

P＝W×H，

式中，P为图像总像素数，W、H表示图像的宽、高，NP为非阴影区域像素数，M为阴影区域，N为非阴影区域，S为阴影去除后的图像，I(i,j)为图像中位置(i,j)处的像素的灰度值，i、j为图像像素坐标，I(i_N,j_N)为非阴影区域(i_N,j_N)处的像素的灰度值，i′_N，j′_N为阴影区域像素点的最近四邻域中非阴影区域的像素点坐标，A_N表示阴影区域像素点(i,j)最近四邻域中非阴影区域像素点(i′_N，j′_N)的像素均值；

S5、得到去除阴影的坑洼图像，即处理后的坑洼数据集。

进一步的，步骤S3包括：

S3.3、采用Otsu最大类间方差的方法进行阴影区域和非阴影区域分割，确定最佳阈值K：

令[0,1,2,…,L-1]表示一幅大小为W×H的图像的灰度级，N_i为灰度级为i的像素数，图像的像素总数P＝N₀+N₁+…+N_L-1，灰度级为i的像素数占总数比例为P_i＝N_i/P；假设划分的阈值为k，0<k<L-1，该阈值将图像划分为阴影区域C1和非阴影区域C2两类，C1由灰度值在[0,k]内的像素组成，C2由灰度值在[k+1,L-1]内的像素组成；

当存在k，使得max(σ²(k))存在时，则k即为分割阴影区域和非阴影区域的最佳阈值K；

S3.4、阴影区域由灰度值在[0,K]内的像素组成，非阴影区域由灰度值在[K+1,L-1]内的像素组成。

进一步的，所述步骤S3.3之前还包括：

S3.1、对灰度化后的图像进行形态学膨胀操作。

进一步的，所述步骤S3.3之前，所述步骤S3.1之后，还包括：

S3.2、对形态学膨胀操作后的图像进行高斯平滑处理。

进一步的，所述形态学膨胀操作使用的窗口大小为(5,5)。

进一步的，步骤S2的所述灰度化处理方法包括：

对坑洼数据集的原始数据的RGB三分量进行加权平均：

F(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)，

其中，F(i,j)为灰度化转换后的灰度图像在(i,j)处的灰度值，R(i,j)、G(i,j)、B(i,j)分别表示灰度化转换前图像在(i,j)处的红、绿、蓝分量。

进一步的，步骤S1中，所述视觉采集***包括单目摄像头或双目摄像头，所述单目摄像头或双目摄像头固定在汽车引擎盖上。

进一步的，步骤S1中，将拍摄好的视频利用Open CV工具箱函数获取含有坑洼的视频帧，即含有坑洼的图像。

本发明也公开了一种坑洼图像的阴影去除处理***，包括：

至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行所述的坑洼图像的阴影去除方法。

本发明也公开了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行所述的坑洼图像的阴影去除方法。

(三)有益效果

本发明的上述技术方案具有如下优点：

(1)本发明将分割后的图像采用改进的阴影去除模型去除图像中的阴影，将传统灰度补偿模型中的非阴影区域与阴影区域灰度均值之差更改为重新定义的A_N，不仅使得光照强度变化剧烈时，阴影去除效果往往不够理想的问题，也使得阴影去除后的图像在原阴影区域和非阴影区域之间过渡更加自然，有效的解决了现有算法中阴影去除后存在的边界明显问题，使得阴影去除后的图像尽可能的接近于在相同照明条件下该区域无遮挡时的无阴影图像，有利于智能车辆的安全平稳驾驶；

(2)本发明通过将灰度化的图像经形态学膨胀操作，有效去除裂缝，防止将裂缝误检为阴影边界；通过将形态学膨胀操作后的图像进行高斯平滑，消除路面复杂纹理，防止将路面复杂纹理误检为阴影边界；再通过Otsu最大类间方差的方法精确分割阴影区域和非阴影区域，防止将较小的坑洼划分为阴影区；通过以上方式的共同作用，阴影检测更精确，误检更少，有利于后续处理中阴影区域的有效去除。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1为本发明实施例的一种坑洼图像的阴影去除方法的流程图；

图2为本发明实施例的视觉采集***的示意图；

图3为本发明实施例的灰度化处理后的坑洼图像；

图4为本发明实施例的形态学膨胀操作后的坑洼图像；

图5为本发明实施例的高斯平滑处理后的坑洼图像；

图6为本发明实施例的Otsu分割处理后的坑洼图像；

图7为本发明实施例的去除阴影的坑洼图像。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明为一种坑洼图像的阴影去除方法，如图1所示，包括以下步骤：

S1、通过视觉采集***采集路面图片，获取含有坑洼的图像，构建坑洼数据集的原始数据：视觉采集***固定在汽车引擎盖上，如图2所示，将拍摄好的视频利用Open CV工具箱函数获取含有坑洼的视频帧；

视觉采集***包括单目摄像头或双目摄像头，单目摄像头采用图像匹配的方式进行图像识别，再通过目标在图像中的大小对距离进行估算，双目摄像头对两幅图像视差进行计算，直接对前方障碍物进行距离测量，而无需判断障碍物所属的类型，根据实际情况选择单目摄像头或双目摄像头，均能适用本申请的阴影去除方法。

在本实施例的采集任务中，所获取的坑洼数据集总计1800张，其中正常路面坑洼1000张，覆盖阴影的坑洼400张，充满积水的坑洼400张。由此可知，覆盖阴影的坑洼数量在数据集中占据相当大的比例。阴影的灰度特征与坑洼相似，极有可能被误检测为坑洼，因此必须要对覆盖阴影的图片做去除阴影处理，以获得高质量的坑洼数据集。

S2、对坑洼数据集的原始数据进行灰度化处理：

原始的图像为RGB三通道图像，直接对其进行操作会大大提高处理的复杂度，因此需要先对原始图像进行灰度化，将三通道图像更改为单通道图像；对于坑洼数据集，使用加权平均法对其进行灰度化。加权平均法根据重要性及其他指标，将RGB三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感度最高，对蓝色的敏感度最低，因此，按式(1)对RGB三分量进行加权平均能得到较为合理的灰度图像：

F(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j) (1)

其中，F(i,j)为灰度化转换后的灰度图像在(i,j)处的灰度值，R(i,j)、G(i,j)、B(i,j)分别表示灰度化转换前图像在(i,j)处的红、绿、蓝分量，得到的灰度图如图3所示；

S3、对灰度化处理的图像进行阴影检测，分割成阴影区域和非阴影区域；

S3.1、对灰度化后的图像进行形态学膨胀操作；

路面裂缝等狭长形路面缺陷在灰度图像上容易被误检测为阴影的边界，通过形态学膨胀操作，可以有效的去除裂缝等带来的影响。形态学膨胀操作使用的窗口大小为(5,5)，处理后的图像如图4所示；

S3.2、对形态学膨胀操作后的图像进行高斯平滑处理；

经过形态学膨胀操作后的图像路面纹理较为复杂，因此，对图像进行高斯平滑以消除路面复杂纹理对后续阴影区域分割的影响，处理后的图像如图5所示；

S3.3、对高斯平滑后的图像采用Otsu最大类间方差的方法进行阴影区域和非阴影区域分割；

传统的分割方法采用的分割阈值是全局阈值，需要手工设置，不够灵活，划分后的阴影区域和非阴影区域比较粗糙，不够精确，在坑洼检测中，更是有可能误将较小的坑洼划分为阴影区；因此，本实施例采用Otsu最大类间方差的方法对图像进行划分，自适应确定阈值，进而有效的分割出阴影区域与非阴影区域，具体方法如下：

令[0,1,2,…,L-1]表示一幅大小为W×H的图像的灰度级，N_i为灰度级为i的像素数，图像的像素总数P＝N₀+N₁+…+N_L-1，灰度级为i的像素数占总数比例为P_i＝N_i/P；假设划分的阈值为k，0<k<L-1，该阈值将图像划分为阴影区域C1和非阴影区域C2两类，C1由灰度值在[0,k]内的像素组成，C2由灰度值在[k+1,L-1]内的像素组成，则像素被分类到C1的概率如式(2)所示。图像前k级灰度的灰度均值如式(3)所示，整幅图像的灰度均值如式(4)所示，类间方差计算表达式如式(5)所示：

当存在k，使得max(σ²(k))存在时，则k即为分割阴影区域和非阴影区域的最佳阈值K。

S3.4、根据所述分割阴影区域和非阴影区域的最佳阈值K，将图像进行分割成阴影区域和非阴影区域:阴影区域由灰度值在[0,K]内的像素组成，非阴影区域由灰度值在[K+1,L-1]内的像素组成，Otsu分割处理后的图像如图6所示；

S4、对分割后的图像采用改进的阴影去除模型去除所述阴影区域；

传统的阴影去除算法，主要考虑通过灰度补偿的方式进行阴影去除，但是当遇到光照强度变化剧烈的场景时，阴影去除效果往往不够理想，存在未能去除的区域，同时，阴影去除后的图像中原来的阴影区域和非阴影区域之间存在明显的边界；为此，对传统的阴影去除模型加以改进，改进后的模型如下所示：

P＝W×H (6)

式中，P为图像总像素数，W、H表示图像的宽、高，NP为非阴影区域像素数，M为阴影区域，N为非阴影区域，S为阴影去除后的图像，I(i,j)为图像中位置(i,j)处的像素的灰度值，i、j为图像像素坐标，I(i_N,j_N)为非阴影区域(i_N,j_N)处的像素的灰度值，i′_N，j′_N为阴影区域像素点的最近四邻域中非阴影区域的像素点坐标，A_N表示阴影区域像素点(i,j)最近四邻域中非阴影区域像素点(i′_N，j′_N)的像素均值；其中，

表示阴影区域像素点(i,j)和其最近四邻域中非阴影区域像素点(i′_N，j′_N)的欧式距离，作为消除阴影边界的权值。由相邻像素灰度值具有连续性和相似性的性质可知，在阴影去除后，原来阴影区域边界像素邻域的灰度值与其邻近非阴影区域像素的灰度值应该具有一致性。因此，非阴影区域中越靠近阴影区域的像素，理应具有越小的权值。和传统模型相比，通过在式(7)中将非阴影区域与阴影区域灰度均值之差更改为式(8)定义的A_N，可以使得阴影去除后的图像在原来阴影区域和非阴影区域之间过渡更加自然，有效的解决了现有算法中阴影去除后存在的边界明显问题，处理后的图像如图7所示。

S5、得到去除阴影的坑洼图像，即处理后的坑洼数据集。

本实施例将采集到的1800张坑洼图片进行阴影去除后，获得全新的坑洼数据集PotholeB。在后续的改进网络中，将使用原始数据集PotholeA和去除阴影数据集PotholeB验证阴影去除的有效性，最终的坑洼数据集划分情况如表1所示。

表1坑洼数据集划分

最后需要说明的是，上述的方法可以转换为软件程序指令，既可以使用包括处理器和存储器的处理***来运行实现，也可以通过非暂态计算机可读存储介质中存储的计算机指令来实现。上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

综上可知，通过上述的一种坑洼图像的阴影去除方法，具有以下优点：

(1)本发明将分割后的图像采用改进的阴影去除模型去除图像中的阴影，将传统灰度补偿模型中的非阴影区域与阴影区域灰度均值之差更改为重新定义的A_N，不仅使得光照强度变化剧烈时，阴影去除效果往往不够理想的问题，也使得阴影去除后的图像在原阴影区域和非阴影区域之间过渡更加自然，有效的解决了现有算法中阴影去除后存在的边界明显问题，使得阴影去除后的图像尽可能的接近于在相同照明条件下该区域无遮挡时的无阴影图像，有利于智能车辆的安全平稳驾驶；

(2)本发明通过将灰度化的图像经形态学膨胀操作，有效去除裂缝，防止将裂缝误检为阴影边界；通过将形态学膨胀操作后的图像进行高斯平滑，消除路面复杂纹理，防止将路面复杂纹理误检为阴影边界；再通过Otsu最大类间方差的方法精确分割阴影区域和非阴影区域，防止将较小的坑洼划分为阴影区；通过以上方式的共同作用，阴影检测更精确，误检更少，有利于后续处理中阴影区域的有效去除。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种坑洼图像的阴影去除方法，其特征在于，包括以下步骤：

S1、通过视觉采集***采集路面图片，获取含有坑洼的图像，构建坑洼数据集的原始数据；

S2、对坑洼数据集的原始数据进行灰度化处理；

S3、对灰度化处理的图像进行阴影检测，分割成阴影区域和非阴影区域；

S4、对分割后的图像采用改进的阴影去除模型去除所述阴影区域，改进的阴影去除模型为：

P＝W×H，

式中，P为图像总像素数，W、H表示图像的宽、高，NP为非阴影区域像素数，M为阴影区域，N为非阴影区域，S为阴影去除后的图像，I(i,j)为图像中位置(i,j)处的像素的灰度值，i、j为图像像素坐标，I(i_N,j_N)为非阴影区域(i_N,j_N)处的像素的灰度值，i′_N，j′_N为阴影区域像素点的最近四邻域中非阴影区域的像素点坐标，A_N表示阴影区域像素点(i,j)最近四邻域中非阴影区域像素点(i′_N，j′_N)的像素均值；

S5、得到去除阴影的坑洼图像，即处理后的坑洼数据集。

2.根据权利要求1所述的坑洼图像的阴影去除方法，其特征在于，步骤S3包括：

S3.3、采用Otsu最大类间方差的方法进行阴影区域和非阴影区域分割，确定最佳阈值K：

令[0,1,2,…,L-1]表示一幅大小为W×H的图像的灰度级，N_i为灰度级为i的像素数，图像的像素总数P＝N₀+N₁+…+N_L-1，灰度级为i的像素数占总数比例为P_i＝N_i/P；假设划分的阈值为k，0<k<L-1，该阈值将图像划分为阴影区域C1和非阴影区域C2两类，C1由灰度值在[0,k]内的像素组成，C2由灰度值在[k+1,L-1]内的像素组成；

当存在k，使得max(σ²(k))存在时，则k即为分割阴影区域和非阴影区域的最佳阈值K；

S3.4、阴影区域由灰度值在[0,K]内的像素组成，非阴影区域由灰度值在[K+1,L-1]内的像素组成。

3.根据权利要求2所述的坑洼图像的阴影去除方法，其特征在于，所述步骤S3.3之前还包括：

S3.1、对灰度化后的图像进行形态学膨胀操作。

4.根据权利要求3所述的坑洼图像的阴影去除方法，其特征在于，所述步骤S3.3之前，所述步骤S3.1之后，还包括：

S3.2、对形态学膨胀操作后的图像进行高斯平滑处理。

5.根据权利要求3所述的坑洼图像的阴影去除方法，其特征在于，所述形态学膨胀操作使用的窗口大小为(5,5)。

6.根据权利要求1所述的坑洼图像的阴影去除方法，其特征在于，步骤S2的所述灰度化处理方法包括：

对坑洼数据集的原始数据的RGB三分量进行加权平均：

F(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)，

其中，F(i,j)为灰度化转换后的灰度图像在(i,j)处的灰度值，R(i,j)、G(i,j)、B(i,j)分别表示灰度化转换前图像在(i,j)处的红、绿、蓝分量。

7.根据权利要求1所述的坑洼图像的阴影去除方法，其特征在于，步骤S1中，所述视觉采集***包括单目摄像头或双目摄像头，所述单目摄像头或双目摄像头固定在汽车引擎盖上。

8.根据权利要求1所述的坑洼图像的阴影去除方法，其特征在于，步骤S1中，将拍摄好的视频利用OpenCV工具箱函数获取含有坑洼的视频帧，即含有坑洼的图像。

9.一种坑洼图像的阴影去除处理***，其特征在于，包括：

至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至8任一项所述的坑洼图像的阴影去除方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至8任一项所述的坑洼图像的阴影去除方法。

Images