CN102800059A - 一种基于近红外图像辅助的图像可见性增强方法 - Google Patents

Abstract

本发明提出了一种基于近红外图像辅助的图像可见性增强方法，其包括如下步骤：首先，获取场景的可见光图像和近红外图像对；然后，将可见光图像转换到亮度-色度空间，对可见光图像亮度信息和近红外图像进行多尺度边缘保持分解；再后，对大尺度信息层进行增强；随后，根据近红外图像细节层信息增强可见光细节层的对比度；最后，将增强后的大尺度信息、细节信息及色度信息重新组合得到可见性增强结果。本发明的图像可见性增强方法利用近红外图像受大气介质影响小，比可见光图像采集到更多的场景细节信息的优点，结合近红外图像中丰富的高频细节信息和强对比度，对可见光图像进行快速、有效的可见性增强。

Description

一种基于近红外图像辅助的图像可见性增强方法

技术领域

本发明涉及图像视觉增强技术领域，特别涉及一种基于近红外图像辅助的图像可见性增强方法。

背景技术

目前，计算机视觉领域的***和算法通常假设输入图像的采集环境为真空，即不考虑空气中介质的影响，假设场景在光照作用下辐射出的光强度被拍摄***完全记录。但是，在实际情况中，上述假设通常并不成立，成像***通常会受到一定程度的雾气、雨、雪等的影响。当出现雾气、雨、雪等天气时，在成像中起主导作用的是复杂的水分子聚合体，介质对成像光纤的投射衰减及散射，使得上述恶劣天气条件下的户外采集图像色彩降质、对比度降低。

针对上述问题，现有的对恶劣天气条件下的图像可见性增强的方法主要有两种：一种是利用多幅特殊拍摄的图像，其又主要分为两类，一类是获取同一场景在不同天气条件下的采集图像，该方法仅适用于固定场景、固定相机，并且需要较长的图像采集时间以出现天气的变化，因此实际应用性弱，第二类是在采集设备前加上极化滤光片以获取同一场景在不同极化条件下的两幅图像，该方法实现的前提假设是图像中由于介质散射的部分具有极化性质、空气光为部分偏振光且偏振度不随距离而变化，但是该假设在实际成像中不一定成立，从而导致图像增强效果并不理想。第二种图像可见性增强的方法是基于单幅图像进行可见性恢复与增强，这种方法具有较强的实用性，但是，由于单幅图像包含的信息量很少，因此需要基于较强的假设或者先验知识，例如，假设在晴朗天气条件下的实际采集图像具有很高的对比度，或者假设场景具有丰富的颜色信息等，但是，在一些实际应用中，如机场监视等，采集的图像只具有较少的纹理信息且色彩和空气光颜色接近，不满足上述假设，使得基于单幅图像的增强效果不理想。

此外，还有一种针对恶劣天气条件的物理成像模型：

I=J·t+A·(1-t)，t=e^-β·z

其中，I表示当前场景实际采集到的受恶劣天气条件影响的图像；J表示当前场景在晴朗天气条件下对应的图像，即不受雾等介质影响的成像结果；z是当前场景的深度信息；β是天气情况的表征因子，β越大，对应天气条件的雾越浓；t表示场景实际的辐射光线在空气中受介质影响而衰减的情况，一般认为其随深度呈指数变化，即t=e^-β·z，0<t＜1，深度越小，t越接近于1，表明当前采集图像受介质的影响越小，场景表面直接辐射的光线就越多的直接传递到成像***中；A表示空气光的颜色，场景直接辐射出的光线由于受到空气中介质的作用而发生散射，这一部分光线偏离原来的传播路径向各个方向分散，经雾滴的多次散射后，最终在成像模型中可以抽象为空气光的作用，场景中的点距离成像平面越远，该部分的作用就越强烈。要根据这个物理成像模型恢复原始的清晰图像，就需要估计深度和空气光。但是在实际的处理过程中，由于该问题的高欠定性，使得这两个参数很难得到准确的估计。

近年来，近红外图像在计算机视觉及计算摄像学领域得到了广泛的重视和发展，并取得了一定的研究成果。可见光的波长为400nm-700nm，而近红外的波长为700nm-1100nm。由于波长的不同，二者的散射特性也明显不同，特别是当光线传输介质为雾及其他污染物时，对近红外的传播影响很小，得到的近红外图像更为清晰，且对远处的物体可以保留更多的细节。同时，云与天空的颜色在可见光图像中是非常相似的，而在近红外图像中二者的对比度明显增大。

综上所述，现有的图像可见性增强研究结果并不十分理想。而在恶劣天气条件下，近红外图像能够不受大气介质的影响，比可见光图像采集到更多的场景细节信息，从而有利于辅助可见光图像进行快速、有效的可见性增强。因此，如何利用近红外图像辅助进行图像可见性增强是目前亟需解决的一个技术问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于近红外图像辅助的图像可见性增强方法。

为了实现本发明的上述目的，本发明提供了一种基于近红外图像辅助的图像可见性增强方法，其包括如下步骤：

S1：获取场景的可见光图像和近红外图像对；

S2：将可见光图像转换到亮度-色度空间，对可见光图像亮度信息和近红外图像进行多尺度边缘保持分解；

S3：对可见光图像亮度信息的大尺度信息层进行增强；

S4：根据近红外图像细节层信息增强可见光细节层的对比度；

S5：将可见光图像增强后的大尺度信息、细节信息及色度信息重新组合得到可见性增强结果。

本发明的基于近红外图像辅助的图像可见性增强方法利用近红外图像受大气介质影响小，比可见光图像采集到更多的场景细节信息的优点，结合近红外图像中丰富的高频细节信息和强对比度，对可见光图像进行快速、有效的可见性增强。该方法无论图像中是否存在空气介质的影响，都可以在无人为误差的情况下实现图像增强，而不需要对场景深度和空气光进行估计，从而使得采集的图像能够更好地服务于各种应用。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明基于近红外图像辅助的图像可见性增强方法的一种优选实施方式的流程图；

图2是本发明一种优选实施方式中采用的混合相机采集***；

图3是本发明一种优选实施方式中获取的场景在雾天条件下的可见光图像和近红外图像对；

图4是使用现有增强图像可见性的方法对图3中的可见光图像进行增强后的结果图；

图5是使用本发明图1所示图像可见性增强方法对图3中的可见光图像进行增强后的结果图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

本发明提出了一种基于近红外图像辅助的图像可见性增强方法，该方法包括如下步骤：

S1：获取场景的可见光图像和近红外图像对；

S2：将可见光图像转换到亮度-色度空间，对可见光图像亮度信息和近红外图像进行多尺度边缘保持分解；

S3：对可见光图像亮度信息的大尺度信息层进行增强；

S4：根据近红外图像细节层信息增强可见光细节层的对比度；

S5：将可见光图像增强后的大尺度信息、细节信息及色度信息重新组合得到可见性增强结果。

图1是本发明基于近红外图像辅助的图像可见性增强方法的一种优选实施方式的流程图，图2是本发明一种优选实施方式中采用的混合相机采集***，混合相机采集***包括可见光相机、近红外相机和分光镜。结合图1和图2所示，本发明图像可见性增强方法具体包括如下步骤：

第一步：获取场景的可见光图像和近红外图像对。具体方法是利用分光镜将光线中的可见光和近红外光分为两路，分别由已校准的可见光相机和近红外相机获取，得到对齐的场景可见光图像和近红外图像对。

第二步：将可见光图像转换到亮度-色度空间，对可见光图像亮度信息V和近红外图像N进行多尺度边缘保持分解。具体包括如下步骤：

S21：将可见光图像转换到亮度-色度空间，只对图像的亮度信息V进行处理；；

S22：对可见光图像亮度信息和近红外图像分别应用多尺度边缘保持分解，得到大尺度信息层和对应的细节层，可见光图像亮度信息V和近红外图像N的大尺度信息层分别为{V^b _k}_k＝1...n、{N^b _k}_k＝1...n，可见光图像亮度信息V和近红外图像N的细节层分别为{V^d _k}_k＝1...n、{N^d _k}_k＝1...n，计算公式为：

${I^b}_k=\underset{{I^b}_k}{\arg \min }{\mathrm{\&Sigma;}}_i({\left({{I_i^b}_k-I}_i\right)}^2+{\mathrm{\&lambda;}}_{k-1}(a_{x,i}{\left(\frac{{{\&PartialD;I}^b}_k}{\&PartialD;x}\right)}_i^2+a_{y,i}{\left(\frac{{{\&PartialD;I}^b}_k}{\&PartialD;y}\right)}_i^2)),$

${I^d}_k=\frac{{I^b}_{k-1}-{I^b}_k}{{I^b}_k+\mathrm{\&epsiv;}},$

其中，在计算{V^b _k}_k＝1...n、{N^b _k}_k＝1...n时，I^b _k分别是{V^b _k}_k＝1...n、{N^b _k}_k＝1...n。在计算{V^d _k}_k＝1...n、{N^d _k}_k＝1...n时，I^d _k分别为{V^d _k}_k＝1...n、{N^d _k}_k＝1...n。

n为级数，

ε为避免分母为零的小值常数，

λ为平衡系数，

a_x,i，a_y,i为平滑系数，

$a_{x,i}={({\left|\frac{\&PartialD;\log \left(I\right)}{\&PartialD;x}\right|}_i^{\mathrm{\&alpha;}}+\mathrm{\&epsiv;})}^{-1},$

$a_{y,i}={({\left|\frac{\&PartialD;\log \left(I\right)}{\&PartialD;y}\right|}_i^{\mathrm{\&alpha;}}+\mathrm{\&epsiv;})}^{-1},$

α为控制平滑系数对图像梯度敏感程度的参数。

在本实施方式中，取级数n＝6，ε=0.0001，α控制对图像梯度信息的敏感程度，取值范围为1.2-2.0。对于每一级K，参数λ的取值为λ_k=λ₀×2^k，其中，λ₀=0.1。

第三步：对大尺度信息层V^b _n进行增强。在本实施方式中，利用近红外图像的梯度约束和小波系数约束对大尺度信息层V^b _n进行增强，具体包括如下步骤：

S31：对可见光图像亮度信息V和近红外图像N的大尺度信息层V^b _n和N^b _n进行小波分解，得到V₀、VH、VV、VD四个分量和对应的N₀、NH、NV、ND四个分量。

S32：对小波分解得到的低频分量V₀、N₀求取梯度V_G、N_G，

$V_G=\sqrt{V_{\mathrm{Gx}}^2+V_{\mathrm{Gy}}^2}=\sqrt{{\left(\frac{{\&PartialD;V}_0}{\&PartialD;x}\right)}^2+{\left(\frac{{\&PartialD;V}_0}{\&PartialD;y}\right)}^2}$

$N_G=\sqrt{N_{\mathrm{Gx}}^2+N_{\mathrm{Gy}}^2}=\sqrt{{\left(\frac{{\&PartialD;N}_0}{\&PartialD;x}\right)}^2+{\left(\frac{{\&PartialD;N}_0}{\&PartialD;y}\right)}^2}$

根据近红外图像低频分量梯度N_G的分布情况，对可见光图像亮度的梯度V_G进行直方图匹配，得到更新的梯度信息V_G'。

S33：利用修正过的可见光亮度的梯度信息，

${V_{\mathrm{Gx}}}^{\&prime;}=\frac{{V_G}^{\&prime;}}{V_G}\&times;V_{\mathrm{Gx}}$

${V_{\mathrm{Gy}}}^{\&prime;}=\frac{{V_G}^{\&prime;}}{V_G}\&times;V_{\mathrm{Gy}}$

由泊松重建得到对应的图像V₀'。

S34：对小波分解得到的高频分量VH、VV、VD，由近红外图像的小波系数高频分量NH、NV、ND取代。

S35：将两部分分量重新组合{V₀′,NH,NV,ND}，由小波逆变换得到增强后的可见光图像亮度信息的大尺度信息层V^b _n'。

第四步：根据近红外图像细节层信息增强可见光细节层的对比度。在本发明的一个实施例中，具体方法是由可见光细节层和近红外细节层对应点的较大值作为可见光细节层像素点的更新值，公式为：

V^d _k'=max(V^d _k,N^d _k)。

其中，k=1,...,n。

第五步：将增强后的大尺度信息V^b _n′、细节信息{V^d _k′}_k＝1...n及色度信息C重新组合得到可见性增强结果，

$V^{\&prime;}={{V^b}_n}^{\&prime;}{\mathrm{\&Pi;}}_{k=1}^n({{V^d}_k}^{\&prime;}+1).$

下面分别使用现有技术的图像增强方法和本发明的图像增强方法对同一采集图像进行处理，通过比较增强后的图像，本发明的优点将变得更加明显。如图3是本发明一种优选实施方式中使用混合相机采集***获取的场景在雾天条件下的可见光图像和近红外图像对，其中，图3（a）为可见光图像，图3（b）为近红外图像。图4是使用现有增强图像可见性的方法对图3（a）的可见光图像进行增强后的结果图，从图中可见，颜色失真比较严重。图5是使用本发明图像可见性增强方法对图3（a）的可见光图像进行增强后的结果图。由图4和图5对比可见，使用本发明的增强图像可见性的方法获取的增强图像效果更好。

本发明利用近红外图像受大气介质影响小，比可见光图像采集到更多的场景细节信息，从而有利于辅助可见光图像进行快速、有效的可见性增强。而且，该方法无论图像中是否存在空气介质的影响，都可以在无人为误差的情况下实现图像增强，而不需要对场景深度和空气光进行估计，从而使得采集的图像能够更好地服务于各种应用。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于近红外图像辅助的图像可见性增强方法，其特征在于，包括如下步骤：

S1：获取场景的可见光图像和近红外图像对；

S2：将可见光图像转换到亮度-色度空间，对可见光图像亮度信息和近红外图像进行多尺度边缘保持分解；

S3：对可见光图像亮度信息的大尺度信息层进行增强；

S4：根据近红外图像细节层信息增强可见光细节层的对比度；

S5：将可见光图像增强后的大尺度信息、细节信息及色度信息重新组合得到可见性增强结果。

2.如权利要求1所述的基于近红外图像辅助的图像可见性增强方法，其特征在于，在所述步骤S1中获取场景的可见光图像和近红外图像对的方法为：利用分光镜将可见光和近红外分为两路，分别由已校准的可见光相机和近红外相机，获取对齐的场景可见光图像和近红外图像对。

3.如权利要求1所述的基于近红外图像辅助的图像可见性增强方法，其特征在于，所述步骤S2包括如下步骤：

S21：将可见光图像转换到亮度-色度空间；

S22：对可见光图像亮度信息和近红外图像分别应用多尺度边缘保持分解，得到大尺度信息层和对应的细节层。

4.如权利要求3所述的基于近红外图像辅助的图像可见性增强方法，其特征在于，对所述可见光图像亮度信息V和近红外图像N分别应用多尺度边缘保持分解，得到大尺度信息层{V^b _k}_k＝1...n、{N^b _k}_k＝1...n和对应的细节层{V^d _k}_k＝1...n、{N^d _k}_k＝1...n的公式为：

${I^d}_k=\frac{{I^b}_{k-1}-{I^b}_k}{{I^b}_k+\mathrm{\&epsiv;}}$

其中，n为级数，

ε为避免分母为零的小值常数，

λ为平衡系数，

a_x,i，a_y,i为平滑系数，

$a_{x,i}={({\left|\frac{\&PartialD;\log \left(I\right)}{\&PartialD;x}\right|}_i^{\mathrm{\&alpha;}}+\mathrm{\&epsiv;})}^{-1},$

$a_{y,i}={({\left|\frac{\&PartialD;\log \left(I\right)}{\&PartialD;y}\right|}_i^{\mathrm{\&alpha;}}+\mathrm{\&epsiv;})}^{-1},$

α为控制平滑系数对图像梯度敏感程度的参数。

5.如权利要求4所述的基于近红外图像辅助的图像可见性增强方法，其特征在于，取级数n＝6，ε=0.0001。

6.如权利要求4所述的基于近红外图像辅助的图像可见性增强方法，其特征在于，α的取值范围为1.2-2.0。

7.如权利要求4所述的基于近红外图像辅助的图像可见性增强方法，其特征在于，参数λ的取值为λ_k=λ₀×2^k，其中，λ₀=0.1。

8.如权利要求1所述的基于近红外图像辅助的图像可见性增强方法，其特征在于，在所述步骤S3中利用近红外图像的梯度约束和小波系数约束对大尺度信息进行增强。

9.如权利要求8所述的基于近红外图像辅助的图像可见性增强方法，其特征在于，包括如下步骤：

S31：对可见光图像亮度信息和近红外图像的大尺度信息层进行小波分解；

S32：对小波分解得到的低频分量求取梯度，根据近红外图像低频分量梯度的分布情况，对可见光亮度的梯度进行直方图匹配；

S33：利用修正过的可见光亮度的梯度信息，由泊松重建得到对应的图像；

S34：对小波分解得到的高频分量，由近红外图像的小波系数高频分量取代；

S35：将两部分分量重新组合，由小波逆变换得到增强后的大尺度信息层。

10.如权利要求1所述的基于近红外图像辅助的图像可见性增强方法，其特征在于，在所述步骤S4中在细节层由近红外图像细节增大图像对比度的方法为：由可见光细节层和近红外细节层对应点的较大值作为可见光细节层像素点的更新值。

Images