CN102609927A

CN102609927A - 基于场景景深的雾天可见光/红外图像彩色融合方法

Info

Publication number: CN102609927A
Application number: CN2012100093825A
Authority: CN
Inventors: 王岭雪; 张贝; 陈榕齐
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2012-01-12
Filing date: 2012-01-12
Publication date: 2012-07-25

Abstract

本发明涉及一种基于场景景深的雾天可见光/红外图像彩色融合方法，属于多波段图像融合领域。本发明的目的是为解决现有可见光/红外图像融合技术中融合系数选取没有特定标准，融合图像色彩不自然，以及不能有效处理受雾天或人工烟雾影响的图像的问题。首先根据雾天可见光图像计算场景的景深图像，并归一化，得到景深信息；然后，将归一化景深信息作为可见光和红外图像融合的权重因子，进行可见光和红外图像的非线性加权彩色融合；最后，建立映射关系，用非线性色彩传递技术修正非线性加权的彩色融合结果，得到热目标突出、颜色真实自然的彩色融合图像。

Description

基于场景景深的雾天可见光/红外图像彩色融合方法

技术领域

本发明涉及一种基于场景景深的雾天可见光/红外图像彩色融合方法，属于多波段图像融合领域。

背景技术

红外和可见光图像传感器在军事、安全监控领域具有广泛用途。可见光图像是反射图像，高频成分多，在一定照度下能反映场景的细节信息；红外图像是辐射图像，灰度由目标与背景的温差决定，不能反映真实的场景，但是红外图像可以突出场景中的热目标或冷目标，尤其是场景中存在烟雾的情况下，红外线可以穿透烟雾探测到被遮挡的目标。

可见光和红外图像融合技术能够有效地综合和发掘二者的特征信息，突出目标，增强场景细节，有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。1996年，荷兰国家应用科学研究院人力因素实验室(TNO)提出了TNO融合结构(简称TNO法)。TNO结构可将红外与微光图像差别较大的部分通过色彩突出出来。这种方法操作较为简单，便于实时实现，但彩色融合后图像动态范围降低，色彩对比过于强烈，不利于长时间观察。美国麻省理工学院(MIT)林肯实验室于20世纪90年代中期提出了基于生物视觉特性的彩色融合方法(简称MIT法)。MIT融合结构来源于生物的彩色视觉模型，即基于灵长类动物视觉模型和响尾蛇对可见光和热的感应模型，构造出前馈中心-周边分离网络(CSSN)，也称为拮抗处理。基于TNO方法和拮抗方法的线性组合法是目前最常用的融合方法，即融合图像是可见光图像与红外图像的线性组合，组合系数的选择没有特定的标准，一般根据经验获得。

色彩传递技术最早由Reinhard等人在2001年提出，色彩传递技术使用一幅颜色饱和度好、对比度高的白天自然图像作为参考图像，在参考图像和色彩不佳的源图像之间建立一种映射关系，调整源彩色图像各个颜色分量的均值和方差，使处理后的源图像具有与参考图像类似的色彩。2003年Toet将色彩传递技术引入到多波段的图像融合中，用以调整融合图像的色彩，但这种基于全局均值和方差的色彩传递方法的效果依赖于参考图像与源图像场景颜色的相似度，且目前没有成熟的参考图像选取准则。

随着单幅雾天图像增强技术的发展，根据雾天成像物理模型，图像的场景景深信息可以通过多种途径计算得到。2008年，Raanan Fattal假设场景点反射率与大气中悬浮颗粒的散射率是相互独立的两个量，根据独立成分分析方法计算出了场景的景深信息。2009年，KaimingHe基于暗通道先验知识也得到了与场景景深相关的传递参数。2009年，Peter Carr假设户外雾天图像中位于图像上方的场景点景深往往大于图像下方场景点的景深，用图像分割和α膨胀的方法计算出了场景景深。在国内，2007年，孙玉宝构建了一个包含场景景深与图像梯度的能量泛函，推导了相应的包含图像梯度和场景景深的偏微分方程，再通过用户简单的交互操作，估计出了场景点的景深。2008年，陈功利用晴天参考图像、雾天参考图像和场景的先验知识计算出雾天物理模型的部分参数，并借助于这些参数估算出场景中每个点与某一固定点的深度比。因此，场景景深信息的计算已经有了比较成熟的发展，根据单幅雾天图像计算场景景深是可行的。

发明内容

本发明的目的是为解决现有可见光/红外图像融合技术中融合系数选取没有特定标准，融合图像色彩不自然，以及不能有效处理雾天降质图像融合的问题，提出一种基于场景景深的雾天可见光/红外图像彩色融合方法。

该基于场景景深的雾天可见光/红外图像彩色融合方法，包括如下步骤：

步骤一、根据可见光图像，计算场景的景深信息；

步骤二、计算步骤一得到的场景景深的最大值，然后用景深图像除以该最大值，得到场景的归一化景深信息；

步骤三、根据步骤二得到的归一化景深信息，在YUV颜色空间进行可见光和红外图像的非线性加权彩色融合；

步骤四、选取参考图像，将参考图像变换至YUV颜色空间，并分别计算参考图像在Y、U、V通道的均值和方差；

步骤五、计算均值矩阵和方差矩阵，并进行色彩传递；

步骤六、将色彩传递后的YUV空间融合图像变换至RGB颜色空间。

步骤一中场景的景深信息为一幅与可见光图像大小相同的灰度图像，其中景深图像中灰度值大的像素点对应于可见光图像中景深大的像素点，且可见光图像中雾较厚区域的灰度值大于雾较薄区域的灰度值。

步骤二中归一化景深信息的取值范围在0和1之间。

步骤三中非线性加权彩色融合采用以下方法：首先新建一幅Y、U、V三个通道值全为0的YUV图像；然后，将可见光图像像素值赋给新建YUV图像的U通道，将红外图像像素值赋给新建YUV图像的V通道，得到融合图像的色差通道；最后将可见光图像和红外图像进行非线性组合得到新建YUV图像的Y通道，其中红外图像的非线性组合系数为步骤二中的归一化景深，可见光图像的非线性组合系数是用步骤一中场景的景深减去归一化景深。

步骤五中计算均值矩阵和方差矩阵采用以下方法：首先用步骤二得到的归一化景深乘以方差，分别得到Y、U、V通道的方差矩阵，用步骤一的景深减去步骤二得到的归一化景深，乘以均值，分别得到Y、U、V通道的均值矩阵；然后建立映射关系，将Y、U、V通道的方差矩阵和均值矩阵作为参考图像的均值和方差信息传递给融合图像，得到YUV空间色彩传递后的融合图像。

用于彩色融合的可见光图像和红外图像是灰度图像。

用于彩色融合的可见光图像和红外图像是雾天拍摄的图像。

本发明的有益效果：

本发明所提供的基于场景景深的雾天可见光/红外图像彩色融合方法，与现有技术相比，主要改进之处在于：

①基于场景景深的彩色融合方法对可见光图像质量没有严格要求，本发明所提供的方法更适用于雾天降质图像的融合。

②将场景细节信息与景深大小关联起来。根据人眼视觉特性及受雾天影响的可见光图像特点，场景细节丰富程度与景深存在反比关系，结合景深信息的融合既能包含可见光细节信息，又能突出红外图像中的热目标或冷目标。

③将参考图像的均值和方差与场景景深联系起来，将与景深相关的方差矩阵和均值矩阵作为参考图像的颜色特征信息传递给融合图像。

附图说明

图1为本发明基于场景景深的雾天可见光/红外图像自然感彩色融合方法的流程图；

图2为具体实施例中受人工烟雾影响的实际场景图像；其中，(a)为彩色可见光图像、(b)为中波红外图像；

图3为具体实施例中由图2(a)计算出的场景景深信息；其中，(a)为归一化场景景深、(b)为用1减去(a)得到的信息；

图4为具体实施例中与图1具有相似场景的彩色参考图像；

图5为具体实施例中基于图3的场景景深信息的RGB空间自然感彩色融合图像。

具体实施方式

为了进一步说明本发明的目的和优点，下面结合附图和具体实施例对本发明作进一步的说明。

本发明所述方法的工作原理为：雾天情况下，可见光图像中的场景细节信息被淹没，而红外线可以穿透烟雾，红外图像可以突出被遮挡的目标。根据雾天成像物理模型，可见光图像的退化程度与场景景深存在指数关系，随着景深的增大，图像退化速度指数增加，因此图像融合过程中考虑场景的景深信息是合理可行的。本实施例中采用同一场景受人工烟雾影响而降质的中波红外图像与可见光图像(如附图2)来进行基于场景景深的雾天可见光/红外图像自然感彩色融合。其具体实现过程包括如图1所示的步骤。

a.根据可见光图像计算场景景深；

可见光图像如附图2(a)，根据成像物理模型和暗通道先验知识，计算出场景的景深图像，如附图3(a)，场景的景深图像是一幅与可见光图像大小相同的灰度图像，其中景深图像中灰度值大的像素点对应于可见光图像中景深大的像素点，且可见光图像中雾较厚区域的灰度值大于雾较薄区域的灰度值。

b.景深图像归一化；

首先计算景深图像灰度值的最大值，然后用景深图像的每个灰度值除以该最大值，得到归一化的景深信息，记作normd，归一化景深信息的取值范围在0和1之间；

c.YUV空间彩色融合；

首先新建一幅Y、U、V三个通道值全为0的YUV图像F；然后，将可见光图像像素值赋给新建YUV图像的U通道，将红外图像像素值赋给新建YUV图像的V通道，得到融合图像的色差通道；最后，将可见光图像和红外图像进行非线性组合得到新建YUV图像的Y通道，其中红外图像的非线性组合系数是步骤b中得到的归一化景深normd，可见光图像的非线性组合系数是用1减去步骤b中得到的归一化景深normd，用公式表示为：

\{\begin{matrix} F_{Y} = normd \cdot IR + (1 - normd) \cdot {Vis}_{Y} \\ F_{U} = {Vis}_{U} \\ F_{V} = {Vis}_{V} \end{matrix}

其中F表示YUV空间融合图像，IR表示红外图像，Vis表示可见光图像，normd表示归一化景深，下标Y、U、V分别表示YUV颜色空间的三个通道。

d.YUV空间非线性色彩传递；

首先，选择一幅与可见光图像具有相似场景的彩色图像作为参考图像，如附图4所示；其次，将参考图像变换至YUV颜色空间，并分别计算参考图像在Y、U、V通道的均值和方差，记作μ^Y _ref、μ^U _ref、μ^V _ref、σ^Y _ref、σ^U _ref、σ^V _ref；再次，用步骤b得到的归一化景深乘以方差，分别得到Y、U、V通道的方差矩阵σ^Y _d、σ^U _d、σ^V _d，用1减去步骤b得到的归一化景深乘以均值，分别得到Y、U、V通道的均值矩阵μ^Y _d、μ^U _d、μ^V _d，用公式表示为：

\{\begin{matrix} σ_{d}^{Y} = normd \cdot σ_{ref}^{Y} \\ σ_{d}^{U} = normd \cdot σ_{ref}^{U} \\ σ_{d}^{V} = normd \cdot σ_{ref}^{V} \end{matrix}

\{\begin{matrix} μ_{d}^{Y} = (1 - normd) \cdot μ_{ref}^{Y} \\ μ_{d}^{U} = (1 - normd) \cdot μ_{ref}^{U} \\ μ_{d}^{V} = (1 - normd) \cdot μ_{ref}^{V} \end{matrix}

最后，建立映射关系，将参考图像Y、U、V通道的方差矩阵和均值矩阵作为参考图像的均值和方差信息传递给融合图像，得到YUV空间色彩传递后的融合图像，用公式表示为：

\{\begin{matrix} R_{Y} = \frac{σ_{d}^{Y}}{σ_{F}^{Y}} (F^{Y} - μ_{F}^{Y}) + μ_{d}^{Y} \\ R_{U} = \frac{σ_{d}^{U}}{σ_{F}^{U}} (F^{U} - μ_{F}^{U}) + μ_{d}^{U} \\ R_{V} = \frac{σ_{d}^{V}}{σ_{F}^{V}} (F^{V} - μ_{F}^{V}) + μ_{d}^{V} \end{matrix}

其中R表示色彩传递后的图像，上标Y、U、V表示YUV颜色空间的三个通道，下标F表示步骤c得到的融合图像，μ^Y _F、μ^U _F、μ^V _F、σ^Y _F、σ^U _F、σ^V _F参考分别为图像F在Y、U、V通道的均值和方差。

e.YUV空间色彩传递图像变换至RGB颜色空间；

利用RGB和YUV颜色空间的转换公式，将步骤d得到的色彩传递图像变换至RGB颜色空间。

附图5给出了最终得到的RGB颜色空间的彩色融合图像，可以看出：本发明基于场景景深的雾天可见光/红外图像自然感彩色融合方法得到的融合图像色彩自然，对比度好，热目标突出，符合人眼视觉特性。

其中，本具体实施例中步骤a的可见光图像，不仅可以是人工烟雾场景的图像，也可以是自然雾霭下的图像。步骤c融合时采用的红外图像可以是短波，中波或长波红外图像。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.基于场景景深的雾天可见光/红外图像彩色融合方法，其特征在于，包括如下步骤：

步骤一、根据可见光图像，计算场景的景深信息；

步骤五、计算均值矩阵和方差矩阵，并进行色彩传递；

2.如权利要求1所述的基于场景景深的雾天可见光/红外图像彩色融合方法，其特征在于，步骤一中场景的景深信息为一幅与可见光图像大小相同的灰度图像，其中景深图像中灰度值大的像素点对应于可见光图像中景深大的像素点，且可见光图像中雾较厚区域的灰度值大于雾较薄区域的灰度值。

3.如权利要求1所述的基于场景景深的雾天可见光/红外图像彩色融合方法，其特征在于，步骤二中归一化景深信息的取值范围在0和1之间。

4.如权利要求1或2或3所述的基于场景景深的雾天可见光/红外图像彩色融合方法，其特征在于，步骤三中非线性加权彩色融合采用以下方法：首先新建一幅Y、U、V三个通道值全为0的YUV图像；然后，将可见光图像像素值赋给新建YUV图像的U通道，将红外图像像素值赋给新建YUV图像的V通道，得到融合图像的色差通道；最后将可见光图像和红外图像进行非线性组合得到新建YUV图像的Y通道，其中红外图像的非线性组合系数为步骤二中的归一化景深，可见光图像的非线性组合系数是用步骤一中场景的景深减去归一化景深。

5.如权利要求1或2或3所述的基于场景景深的雾天可见光/红外图像彩色融合方法，其特征在于，步骤五中计算均值矩阵和方差矩阵采用以下方法：首先用步骤二得到的归一化景深乘以方差，分别得到Y、U、V通道的方差矩阵，用步骤一的景深减去步骤二得到的归一化景深，乘以均值，分别得到Y、U、V通道的均值矩阵；然后建立映射关系，将Y、U、V通道的方差矩阵和均值矩阵作为参考图像的均值和方差信息传递给融合图像，得到YUV空间色彩传递后的融合图像。

6.如权利要求1或2或3所述的基于场景景深的雾天可见光/红外图像彩色融合方法，其特征在于：用于彩色融合的可见光图像和红外图像为灰度图像。

7.如权利要求1或2或3所述的基于场景景深的雾天可见光/红外图像彩色融合方法，其特征在于：用于彩色融合的可见光图像和红外图像为雾天拍摄的图像。