CN109410171B - 一种用于雨天图像的目标显著性检测方法 - Google Patents

Abstract

本发明提出的一种用于雨天图像的目标显著性检测方法，包括以下步骤：S1、提取基于亮度与颜色特征的视觉显著性，计算亮度显著度图S_lc；S2、提取基于颜色差异特征的视觉显著性，计算色差显著度图S_cv；S3、提取基于暗通道的视觉显著性，计算暗通道显著度图S_d；S4、将亮度显著度图S_lc、色差显著度图S_cv和暗通道显著度图S_d混合运算获得最终显著度图S_final，S_final＝S_lc.*S_cv‑S_d。本发明中，利用了雨天图像中目标的亮度与颜色特征、颜色差异特征和暗通道特征，对雨天图像中目标显著性特征进行提取，构建目标显著性检测模型，为图像的清晰化以及雨中目标的检测提供了有效的预处理手段。

Description

一种用于雨天图像的目标显著性检测方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种用于雨天图像的目标显著性检测方法。

背景技术

视觉显著性模型应用领域广泛，较为成熟的有目标检测和分割、视频分析等等，显著性检测结果的好坏对这些应用起到了至关重要的作用。具体来说，一般可以分为三种类型：(1)在生物学基础上研究的方法(2)通过纯数学建模计算的方法(3)将前两种方法结合的方法。并且这些方法都是自底向上研究的。绝大部分方法研究仍然是把重点放在显著性目标的检测和分割的领域，并且还是在经典模型框架的基础上，只是这些方法的创新都是放在建模的改进或者特征选择有不同。现有的模型主要有以下几方面不足：(1)不能够深入分析研究显著性目标的特征(2)不能够深入了解生物视觉认知的机理(3)很多模型不能够直接被应用或应用具有条件的局限性。

纵观国内外研究的现状，虽然取得了一定的成果，也提出了许多切实可行的方法，但研究发现还少有学者对以下问题进行专题研究：雨天条件下人眼对目标的视觉感知特性分析问题。目前人们对目标的显著性检测提出了很多成熟实用的方法，对视觉注意力模型也深入研究，但由于雨的随机性和特殊性，针对雨天条件下目标显著性变化引起的人眼视觉感知特性研究还需进一步深入。另外目前还没有对雨的等级划分存在定量有效标准，如何形成含有不同等级雨用于显著性检测的图像数据库是个难题。

发明内容

基于背景技术存在的技术问题，本发明提出了一种用于雨天图像的目标显著性检测方法。

本发明提出的一种用于雨天图像的目标显著性检测方法，包括以下步骤：

S1、提取基于亮度与颜色特征的视觉显著性，计算亮度显著度图S_lc；

S2、提取基于颜色差异特征的视觉显著性，计算色差显著度图S_cv；

S3、提取基于暗通道的视觉显著性，计算暗通道显著度图S_d；

S4、将亮度显著度图S_lc、色差显著度图S_cv和暗通道显著度图S_d混合运算获得最终显著度图S_final，S_final＝S_lc.*S_cv-S_d。

优选的，步骤S1中，亮度显著度图S_lc通过如下步骤获得：

S11、将图像由RGB色彩模型转换为LAB色彩模型；

S12、根据LAB色彩模型的图像建立亮度显著度图S_lc，S_lc＝(L*，A*，B*)，其中，L*，A*,B*为LAB色彩模型的图像中三个通道的值。

优选的，步骤S11中将图像由RGB色彩模型转换为LAB色彩模型的具体方式为：

首先，设置函数gamma，将RGB色彩模型的图像具象化：

其中，r,g,b为像素三个通道，取值范围均为[0,255]；

然后，设置中间变量XYZ，将图像的RGB值转换为XYZ值，

其中，M为系数矩阵；

最后再根据预设模型将XYZ转换为LAB；

预设模型为：

其中，Xn、Yn,、Zn为默认常数。

优选的，Xn＝95.047，Yn,＝100，Zn＝108.883。

优选的，步骤S2中在颜色域上采用吸收马尔科夫链的吸收时间计算图像的色差显显著性。

优选的，步骤S2中提取基于颜色差异特征的视觉显著性，计算色差显著度图S_cv具体包括如下步骤：

S21、根据图像构建基于马尔科夫链的图，将图像的背景区域定义为吸收态，每个节点从非吸收态转移到吸收所需次数的均值定义为非吸收态的显著性；

S22、用图像分割软件将图像分割成不同的超像素点，基于超像素点构建出一个单层图；

S23、将背景吸收态节点定义为背景边缘区域的像素点，将图像边缘的非吸收态节点定义为相互联系的节点；

S24、在节点关联矩阵中将边作为权重信息存储，互相接连的节点之间的边权重大于不邻接的节点之间的边权重；

相邻节点i,j之间的边e_ij上的权重值w_ij表示为：

其中x_i,x_j分别表示节点i,j在颜色空间中的平均值，系数σ是作为权重的强度的预设常数；

S25、通过权重值w_ij设置关联矩阵A，并根据关联矩阵A推断次数矩阵D，然后结合关联矩阵A和次数矩阵D计算转移矩阵P；

节点之间相关性的关联矩阵A如下:

其中N(i)表示和节点i相连接的所有节点的结合；

次数矩阵D如下：

D＝diag(∑_ja_ij)

转移矩阵P如下：

P＝D^-1×A

其中A是未归一化的矩阵，P为稀疏矩阵；

S26、根据图的吸收状态数量r和转移状态的吸收链数量t以及转移矩阵P推断基本矩阵N，推断公式如下：

其中，Q∈[0,1]^t×t，包含任何对转移状态之间的转移概率；R∈[0,1]^t×r，包含从任何状态转移到任何吸收状态的概率；0为r×t零矩阵，I为r×r单位矩阵；

S27、根据每个转移状态的被吸收时间y＝∑_jn_ij×c，其中，n_ij为矩阵N的元素，c为t维的单位列向量；

S28、通过归一化吸收时间y得到得到显著图

i＝1，２，３，...t，其中，i表示非吸收态节点的序列，

表示归一化的吸收时间向量；

S29、将超像素点上的显著值转换到每个像素点上，对显著图S(i)进行优化，获得色差显著度图S_cv如下：

S_cv(p_x)＝S(i) p_x∈R_i。

优选的，步骤S3中，计算暗通道显著度图S_d具体方法为：将图像中每个像素点利用以其为中心的3×3的图像块表示，计算出图像块的暗通道值的相反值以此作为该像素点的先验值作为s_d(p)暗通道显著图，计算公式如下：

其中I^ch(q)表示点q在对应得通道ch内的颜色值。

本发明，得到的三个特征的显著度图中亮度颜色信息和颜色差异信息为互补关系，因此计算时利用点乘运算的掩模作用增强目标的显著性，而暗通道的显著性与雨量大小有关，因此最后的计算采用减法运算消除雨对显著性的影响。

如此，本发明中，利用了雨天图像中目标的亮度与颜色特征、颜色差异特征和暗通道特征，对雨天图像中目标显著性特征进行提取，构建目标显著性检测模型，为图像的清晰化以及雨中目标的检测提供了有效的预处理手段。本发明在雨天军事目标定位识别跟踪、车辆驾驶、灾后救援、室外的场景监控等领域有很大的实用价值。

附图说明

图1为本发明提出的一种用于雨天图像的目标显著性检测方法流程图；

图2为本发明一个实施例中亮度显著度图的获取流程图；

图3为本发明一个实施例中基于颜色差异特征的视觉显著性获取流程图。

具体实施方式

参照图1，本发明提出的一种用于雨天图像的目标显著性检测方法，包括以下步骤：

S1、提取基于亮度与颜色特征的视觉显著性，计算亮度显著度图S_lc。

S2、提取基于颜色差异特征的视觉显著性，计算色差显著度图S_cv。

现有技术中，常用的是通过检测轮廓上的差异来得到图像的轮廓显著性，然而这对于彩色图像来说还是有一定的差距。雨天图像图像中的一部分颜色信息会被雨滴湮没掉，但余下的颜色信息也能够决定图像的显著性检测。例如，针对雨天图像，可在颜色域上采用吸收马尔科夫链的吸收时间计算图像的差显显著性。

S3、提取基于暗通道的视觉显著性，计算暗通道显著度图S_d；

S4、将亮度显著度图S_lc、色差显著度图S_cv和暗通道显著度图S_d混合运算获得最终显著度图S_final，S_final＝S_lc.*S_cv-S_d。

本实施方式中，得到的三个特征的显著度图中亮度颜色信息和颜色差异信息为互补关系，因此计算时利用点乘运算的掩模作用增强目标的显著性，而暗通道的显著性与雨量大小有关，因此最后的计算采用减法运算消除雨对显著性的影响。

如此，本实施方式中，利用了雨天图像中目标的亮度与颜色特征、颜色差异特征和暗通道特征，对雨天图像中目标显著性特征进行提取，构建目标显著性检测模型，为图像的清晰化以及雨中目标的检测提供了有效的预处理手段。这将在雨天军事目标定位识别跟踪、车辆驾驶、灾后救援、室外的场景监控等领域有很大的实用价值。

人眼对图像识别的很大一部分来自视觉对亮度和色彩的识别，因此需要同时提取图像的亮度和颜色信息。LAB模式是由三个通道组成，L通道是亮度，A通道是从红色到深绿，B通道则是从蓝色到黄色。故而，本实施方式中，可通过将图像由RGB色彩模型转换为LAB色彩模型来提取基于亮度与颜色特征的视觉显著性。

具体的，本发明进一步实施方式中，步骤S1中，亮度显著度图S_lc通过如下步骤获得：

S11、将图像由RGB色彩模型转换为LAB色彩模型；

S12、根据LAB色彩模型的图像建立亮度显著度图S_lc，S_lc＝(L*，A*，B*)，其中，L*，A*,B*为LAB色彩模型的图像中三个通道的值。

具体实施时，由于RGB无法直接转换成LAB，故而，需要设置了一个中间变量XYZ进行过度，即实现RGB—XYZ—LAB。

本发明进一步实施方式中，提高了一种将图像由RGB色彩模型转换为LAB色彩模型的具体方式，具体如下：

首先，设置函数gamma，将RGB色彩模型的图像具象化：

其中，r,g,b为像素三个通道，取值范围均为[0,255]。

如此本实施方式中，通过RGB数值的具象化，为后续的基于数值转换模型，奠定了基础。

然后，设置中间变量XYZ，将图像的RGB值转换为XYZ值，

其中，M为系数矩阵，即为预设常数。

最后再根据预设模型将XYZ转换为LAB。

预设模型为：

其中，Xn、Yn,、Zn为默认常数，具体实施时，可选择Xn＝95.047，Yn,＝100，Zn＝108.883。

如此，本实施方式中，通过XYZ转换，基于RGB计算出了L*，A*,B*，从而获得了亮度显著度图S_lc，S_lc＝(L*，A*，B*)。

本发明进一步实施方式中，步骤S2中提取基于颜色差异特征的视觉显著性，计算色差显著度图S_cv具体包括如下步骤：

S21、根据图像构建基于马尔科夫链的图，将图像的背景区域定义为吸收态，每个节点从非吸收态转移到吸收所需次数的均值定义为非吸收态的显著性。构建关联矩阵一般依赖稀疏关联图，故而，构建的马尔科夫链的图中，每个节点都对应着马式链中的一个状态。

S22、用图像分割软件将图像分割成不同的超像素点，基于超像素点构建出一个单层图。

S23、将背景吸收态节点定义为背景边缘区域的像素点，将图像边缘的非吸收态节点定义为相互联系的节点；。因为单层图的四个边缘不可能被显著目标同时占据，因此背景吸收态节点可以定义为背景边缘区域的像素点。单层图中每个节点都与临近非吸收态节点相连，或者与周边节点共享相同的边缘。所以任何一对吸收态节点都不是直接相连的。此外，这里还将图像边缘的非吸收态节点定义为相互联系的节点。如此，相似节点之间的距离就可以降低。

S24、在节点关联矩阵中将边作为权重信息存储，互相接连的节点之间的边权重大于不邻接的节点之间的边权重。相邻节点i,j之间的边e_ij上的权重值w_ij表示为：

其中x_i,x_j分别表示节点i,j在颜色空间中的平均值，系数σ是作为权重的强度的预设常数。具体实施时，权重强度σ是一个常数，但不唯一，可根据算法情况自由调整。

S25、通过权重值w_ij设置关联矩阵A，并根据关联矩阵A推断次数矩阵D，然后结合关联矩阵A和次数矩阵D计算转移矩阵P；

节点之间相关性的关联矩阵A如下:

其中N(i)表示和节点i相连接的所有节点的结合；

次数矩阵D如下：

D＝diag(∑_ja_ij)

转移矩阵P如下：

P＝D^-1×A

其中A是未归一化的矩阵，P为稀疏矩阵。

本步骤中，由于每次只能转移一步节点，因此从非吸收态节点v_t转移到吸收态节点v_a所需要的平均时间主要来源于两个方面：第一，两个节点之间的空间距离。距离越大平均时间越长；第二，从节点v_t到v_a转移过程中所经历路径上的转移概率。概率越高转移时间越短。

S26、根据图的吸收状态数量r和转移状态的吸收链数量t以及转移矩阵P推断基本矩阵N，推断公式如下：

其中，Q∈[0,1]^t×t，包含任何对转移状态之间的转移概率；R∈[0,1]^t×r，包含从任何状态转移到任何吸收状态的概率；0为r×t零矩阵，I为r×r单位矩阵；

由于步骤S25中，稀疏矩阵P为已知矩阵，故而，在矩阵P和矩阵I已知的情况下，可提取出矩阵Q，并由此导出基础矩阵I。

S27、根据每个转移状态的被吸收时间y＝∑_jn_ij×c，其中，n_ij为矩阵N的元素，c为t维的单位列向量。

具体的，本步骤中，n_ij可视为为链从转移状态i出发，停留在转移状态j的期望时间，故而，根据公式y＝∑_jn_ij×c可计算出计算每个转移状态的被吸收时间。

S28、通过归一化吸收时间y得到得到显著图

其中，i表示非吸收态节点的序列，

表示归一化的吸收时间向量；

S29、将超像素点上的显著值转换到每个像素点上，对显著图S(i)进行优化，获得色差显著度图S_cv如下：

S_cv＝S(i) p_x∈R_i。

如此，经过步骤S29将图有超像素点转移到像素点的优化，有利于下一步多特征线性融合。

本发明进一步实施方式的步骤S3中，计算暗通道显著度图S_d具体方法为：将图像中每个像素点利用以其为中心的3×3的图像块表示，计算出图像块的暗通道值的相反值以此作为该像素点的先验值作为s_d暗通道显著图，计算公式如下：

其中I^ch(q)表示点q在对应得通道ch内的颜色值。

所谓的暗通道指对一些不含有天空的图像块(如广场、河流、建筑等)，在RGB颜色空间的任一通道中，总是存在一个或几个亮度值非常小的像素点(为0或接近0)。主要由一些颜色较深或彩色目标以及阴影产生的，同时这些特征也是我们研究显著性目标所具备的。但是当天空在图像中出现时，常常以背景的形式显示，亮度值较大，那么就不能说包含了暗通道。所以，本实施方式中，在显著性目标检测领域可以利用图像的暗通道性质，将其先验信息作为本文算法中的一个特征，以提高显著性分析的精确。

本实施方式中，虽然通过归一化计算可以将算法的精度提升为像素级别，获得更加精确得检验结果。然而，并不是所有图片都适用暗通道先验值，对于一些背景较暗或者较亮前景的图片，可能会对显著性检测结果起到相反的作用。因此，我们可以通过计算暗通道先验图轮廓边缘的像素灰度平均值来尽量的消除或减弱产生的反效果。

本发明一个具体实施例中，根据经典图像数据库的构建思想，采集了146张原始雨天图像，从样本库和标准库两个子库构建了雨天图像数据库，最后通过7个标准评价指标进行实验评估。结果表明，本发明的方法与经典方法相比具备更优越的性能。本发明为图像的清晰化以及雨中目标的检测提供了有效的预处理手段。这将在雨天军事目标定位识别跟踪、车辆驾驶、灾后救援、室外的场景监控等领域有很大的实用价值。

以上所述，仅为本发明涉及的较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种用于雨天图像的目标显著性检测方法，其特征在于，包括以下步骤：

S1、提取基于亮度与颜色特征的视觉显著性，计算亮度显著度图S_lc；

S2、提取基于颜色差异特征的视觉显著性，计算色差显著度图S_cv；

S3、提取基于暗通道的视觉显著性，计算暗通道显著度图S_d；

S4、将亮度显著度图S_lc、色差显著度图S_cv和暗通道显著度图S_d混合运算获得最终显著度图S_final，S_final＝S_lc.*S_cv-S_d；

所述的用于雨天图像的目标显著性检测方法，步骤S1中，亮度显著度图S_lc通过如下步骤获得：

S11、将图像由RGB色彩模型转换为LAB色彩模型；

S12、根据LAB色彩模型的图像建立亮度显著度图S_lc，S_lc＝(L*，A*，B*)，其中，L*，A*,B*为LAB色彩模型的图像中三个通道的值；

所述的用于雨天图像的目标显著性检测方法，步骤S11中将图像由RGB色彩模型转换为LAB色彩模型的具体方式为：

首先，设置函数gamma，将RGB色彩模型的图像具象化：

其中，r,g,b为像素三个通道，取值范围均为[0,255]；

然后，设置中间变量XYZ，将图像的RGB值转换为XYZ值，

其中，M为系数矩阵；

最后再根据预设模型将XYZ转换为LAB；

预设模型为：

其中，Xn、Yn,、Zn为默认常数；

所述的用于雨天图像的目标显著性检测方法，步骤S2中在颜色域上采用吸收马尔科夫链的吸收时间计算图像的色差显显著性；

所述的用于雨天图像的目标显著性检测方法，步骤S2中提取基于颜色差异特征的视觉显著性，计算色差显著度图S_cv具体包括如下步骤：

S21、根据图像构建基于马尔科夫链的图，将图像的背景区域定义为吸收态，每个节点从非吸收态转移到吸收所需次数的均值定义为非吸收态的显著性；

S22、用图像分割软件将图像分割成不同的超像素点，基于超像素点构建出一个单层图；

S23、将背景吸收态节点定义为背景边缘区域的像素点，将图像边缘的非吸收态节点定义为相互联系的节点；

S24、在节点关联矩阵中将边作为权重信息存储，互相接连的节点之间的边权重大于不邻接的节点之间的边权重；

相邻节点i,j之间的边e_ij上的权重值w_ij表示为：

其中x_i,x_j分别表示节点i,j在颜色空间中的平均值，系数σ是作为权重的强度的预设常数；

S25、通过权重值w_ij设置关联矩阵A，并根据关联矩阵A推断次数矩阵D，然后结合关联矩阵A和次数矩阵D计算转移矩阵P；

节点之间相关性的关联矩阵A如下:

其中N(i)表示和节点i相连接的所有节点的结合；

次数矩阵D如下：

D＝diag(∑_ja_ij)

转移矩阵P如下：

P＝D^-1×A

其中A是未归一化的矩阵，P为稀疏矩阵；

S26、根据图的吸收状态数量r和转移状态的吸收链数量t以及转移矩阵P推断基本矩阵N，推断公式如下：

其中，Q∈[0,1]^t×t，包含任何对转移状态之间的转移概率；R∈[0,1]^t×r，包含从任何状态转移到任何吸收状态的概率；0为r×t零矩阵，I为r×r单位矩阵；

S27、根据每个转移状态的被吸收时间y＝∑_jn_ij×c，其中，n_ij为矩阵N的元素，c为t维的单位列向量；

S28、通过归一化吸收时间y得到得到显著图

其中，i表示非吸收态节点的序列，

表示归一化的吸收时间向量；

S29、将超像素点上的显著值转换到每个像素点上，对显著图S(i)进行优化，获得色差显著度图S_cv如下：

S_cv(p_x)＝S(i) p_x∈R_i；

所述的用于雨天图像的目标显著性检测方法，步骤S3中，计算暗通道显著度图S_d具体方法为：将图像中每个像素点利用以其为中心的3×3的图像块表示，计算出图像块的暗通道值的相反值以此作为该像素点的先验值作为s_d(p)暗通道显著图，计算公式如下：

其中I^ch(q)表示点q在对应得通道ch内的颜色值。

2.如权利要求1所述的用于雨天图像的目标显著性检测方法，其特征在于，Xn＝95.047，Yn,＝100，Zn＝108.883。

Images