CN110189281A - 一种多曝光红外图像融合方法 - Google Patents

Abstract

本发明公开了一种多曝光红外图像融合方法，包括：获得待融合的多张红外图像的对比度阵列图、噪点不可见度阵列图和曝光合适度阵列图；根据所述对比度阵列图、所述噪点不可见度阵列图和所述曝光合适度阵列图获得每张所述红外图像的归一化权重图；对所述归一化权重图进行高斯金字塔分解，获得每张所述红外图像的权重图高斯金字塔；对每张所述红外图像进行拉普拉斯金字塔变换，获得每张所述红外图像的拉普拉斯金字塔；对所述多张红外图像的所述拉普拉斯金字塔利用所述权重图高斯金字塔进行融合，形成融合后的红外图像。本发明的融合方法增强了红外图像的细节表达信息，且能够抑制红外图像噪点对图像质量的影响。

Description

一种多曝光红外图像融合方法

技术领域

本发明属于图像处理技术领域，具体涉及一种多曝光红外图像融合方法。

背景技术

红外图像是场景温差的一种表征形式，通常情况下场景温差越大，图像层次感越强，所包含的信息越容易分辨。热像仪采集到的红外源数据大多为14位，若场景温差动态范围超过热像仪所能表征的动态范围时，通过热像仪成像的红外图像会有过曝和欠曝区域的产生，这样的过曝和欠曝区域影响人们对超高温以及超低温目标细节热度信息的分辨，同时降低红外图像的可视化效果，因此对红外图像采用多曝光的融合技术，使得红外图像可以表示更大温差场景范围的信息。

经典的图像多曝光融合方法都是针对可见光图像的融合算法，例如包括基于金字塔的多曝光图像融合方法和基于最大熵的多曝光图像融合方法。基于金字塔的多曝光图像融合方法在可见光红外图像领域具有良好的融合效果，该技术融合的可见光图像其融合效果自然，同时图像的色彩饱和度信息较为丰富，但该方法针对多曝光红外图像的融合来说，其考虑的色彩信息针对灰度图像降低了方法的运行效率；同时针对图像的噪点信息没有相应的消除措施，导致融合图像的噪点信息较大，影响图像的视觉观感；且红外图像具有分辨率较低的特点，会导致图像低频信息过多参与融合过程，产生融合图像细节信息不明显等问题。

基于分块信息熵的图像融合方法将序列多曝光图像分为了若干图像块，通过对每一块图像的信息熵进行计算来选择序列图像中包含最大信息量的图像块，最后利用信息熵最大(包含信息量最大)的图像块作为融合图像权重最大的图像块。该方法为了使衔接效果看起来自然加入高斯权重函数对权重图像进行平滑操作，使得其图像块边缘没有明显的亮度突变区域，但在亮度变化比较强烈的区域，不同图像块之间仍有亮度衔接不自然的问题，若针对红外图像利用该方法进行融合，其融合效果边缘衔接不自然，且仍然会引入红外图像噪点较大区域为融合对象，降低红外图像的融合质量。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种多曝光红外图像融合方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种多曝光红外图像融合方法，包括：

获得待融合的多张红外图像的对比度阵列图、噪点不可见度阵列图和曝光合适度阵列图；

根据所述对比度阵列图、所述噪点不可见度阵列图和所述曝光合适度阵列图获得每张所述红外图像的归一化权重图；

对所述归一化权重图进行高斯金字塔分解，获得每张所述红外图像的权重图高斯金字塔；

对每张所述红外图像进行拉普拉斯金字塔变换，获得每张所述红外图像的拉普拉斯金字塔；

对所述多张红外图像的所述拉普拉斯金字塔利用所述权重图高斯金字塔进行融合，形成融合后的红外图像。

在本发明的一个实施例中，获得待融合的多张红外图像的对比度阵列图、噪点不可见度阵列图和曝光合适度阵列图，包括：

分别对待融合的多张红外图像进行分层映射处理，得到对应的多张8位红外映射图像；

获得所述多张8位红外映射图像的对比度阵列图、噪点不可见度阵列图和曝光合适度阵列图。

在本发明的一个实施例中，分别对待融合的多张红外图像进行分层映射处理，得到对应的多张8位红外映射图像，包括：

对待融合的多张红外图像的源数据进行双边滤波，得到基础层图像和纹理细节层图像；

对所述基础层图像和所述纹理细节层图像进行映射，得到映射后基础层图像和映射后纹理细节层图像；

将所述映射后基础层图像和所述映射后纹理细节层图像相加，获得所述8位红外映射图像。

在本发明的一个实施例中，所述噪点不可见度阵列图的计算公式为：

其中，I_k(x,y)为第k张红外图像的(x,y)像素点的像素值，σ_v,k为第k张图像在预设区域内的像素值方差，b为第k张图像在预设区域内的长度或宽度方向上的像素总数，μ_k为第k张图像在预设区域内的像素值中值，ω为可调参数，0＜ω＜1。

在本发明的一个实施例中，根据所述对比度阵列图、所述噪点不可见度阵列图和所述曝光合适度阵列图获得每张所述红外图像的归一化权重图，包括：

根据每张所述红外图像的所述对比度阵列图、所述噪点不可见度阵列图和所述曝光合适度阵列图进行权重计算，获得每张所述红外图像的初始权重图；

对所述初始权重图进行归一化处理，获得每张所述红外图像的归一化权重图。

在本发明的一个实施例中，对所述归一化权重图进行高斯金字塔分解，获得每张所述红外图像的权重图高斯金字塔，包括：

对于每张所述红外图像，设定所述权重图高斯金字塔的底层为所述红外图像的归一化权重图，所述权重图高斯金字塔的第d层在(x,y)像素位置处的构造过程为：

其中，D表示高斯金字塔的层数，g(m,n)为5×5的窗口函数，R_d为第d层图像的行数，C_d为第d层图像的列数，为所述高斯金字塔第d层(x,y)处的权重值。

在本发明的一个实施例中，所述权重高斯金字塔和所述拉普拉斯金字塔的层数D的表达式均为：

其中，h为所述红外图像长度方向的像素总数，w为所述红外图像宽度方向的像素总数。

在本发明的一个实施例中，对每张所述红外图像进行拉普拉斯金字塔变换，获得每张所述红外图像的拉普拉斯金字塔，包括：

构建每张所述红外图像的高斯金字塔，设定所述红外图像高斯金字塔的底层为所述红外图像，所述红外图像高斯金字塔的第d层在(x,y)像素位置处的构造过程为：

其中，为所述像素高斯金字塔第d层(x,y)处的像素值；

对所述红外图像高斯金字塔进行变换，获得所述拉普拉斯金字塔，所述拉普拉斯金字塔的第d层在(x,y)像素位置处系数的构造过程为：

其中，为所述拉普拉斯金字塔第d层(x,y)处的像素值，EXPAND表示利用双线性插值方法对的图像进行二倍尺寸放大。

在本发明的一个实施例中，对所述多张红外图像的所述拉普拉斯金字塔利用所述权重图高斯金字塔进行融合，形成融合后的红外图像，包括：

对多张所述红外图像的所述权重图高斯金字塔与所述图像拉普拉斯金字塔进行加权平均处理，得到融合后的拉普拉斯金字塔：

其中，表示融合后拉普拉斯金字塔在第d层(x,y)处的像素值，表示第k幅图像的拉普拉斯金字塔在第d层(x,y)处的像素值，表示第k幅图像的权重图高斯金字塔在第d层(x,y)处的权重值。

对所述融合后的拉普拉斯金字塔进行反变换，得到所述融合后的红外图像。

与现有技术相比，本发明的有益效果在于：

1、本发明的多曝光红外图像融合方法在权重计算中引入了噪点不可见度，可以对该类型噪声进行识别并在一定程度上进行抑制，减少原有红外图像中多余的噪点信息，同时能够使融合后的红外图像表示更大动态范围温差，提升红外图像过曝、欠曝光甚至良好曝光区域的细节信息，使得对于较大动态范围温差的红外图像具有良好的显示效果。

2、本发明的多曝光红外图像融合方法能够解决现有技术中没有考虑图像的分辨率信息、噪点信息以及不同图像衔接不自然等问题，同时可以减少红外图像的融合过程中不必要的运算过程。

3、本发明的多曝光红外图像融合方法在图像融合之前首先对将14位红外图像映射至8位图像，再对8位图像进行融合，从而可以更好地保留红外图像的细节信息，达到更好的融合效果。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种多曝光红外图像融合方法的流程图；

图2a是本发明实施例提供的四邻域像素的示意图；

图2b是本发明实施例提供的八邻域像素的示意图；

图3是本发明实施例提供的图像高斯金字塔的结构示意图；

图4是本发明实施例提供的一种映射高曝光红外图像；

图5是本发明实施例提供的一种映射中度曝光红外图像；

图6是本发明实施例提供的一种映射低曝光红外图像；

图7是图3的映射高曝光红外图像的噪点不可见度阵列图；

图8是图4的映射高曝光红外图像的噪点不可见度阵列图；

图9是图5的映射高曝光红外图像的噪点不可见度阵列图。

图10是利用本发明实施例提供的一种多曝光红外图像融合方法获得的红外融合图像；

图11是利用现有的金字塔图像融合方法获得的红外融合图像。

具体实施方式

为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种多曝光红外图像融合方法进行详细说明。

有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。

应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

实施例一

请参见图1，图1是本发明实施例提供的一种多曝光红外图像融合方法的流程图。本实施例的多曝光红外图像融合方法包括：

S1：分别获得待融合的多张红外图像的对比度阵列图、噪点不可见度阵列图和曝光合适度阵列图；

具体地，步骤S1包括：

S11：分别对待融合的多张红外图像进行分层映射处理，得到映射图像。

进行分层映射处理的主要原因为：红外图像位深较大，其不同曝光图片动态范围差异也会相当大，也就是说曝光的轻微改变就能引起图像灰度分布的急剧变化，那么对14位红外图像进行直接进行融合，对融合系数的要求极为严苛且难以判断，同时也会存在相邻像素数据较大或数据差异较大的情况导致融合结果会忽略红外图像的一些细节(灰度变化较平缓区域)信息，导致融合图像无法达到人眼的可视化效果，因此采用先将14位红外图像映射至8位图像，再对8位图像进行融合的策略。

在本实施例中，对待融合的多张红外图像进行分层映射处理，得到映射图像的步骤包括：利用DDE(Digital Detail Enhancement，数字图像细节增强)算法将待融合的多张红外图像由14位映射到8位。

具体地，对待融合的多张红外图像的源数据先进行双边滤波，得到基础层图像和纹理细节层图像；对所述基础层图像和所述纹理细节层图像进行映射；将映射后的所述基础层图像和所述纹理细节层图像相加，得到所述映射图像。DDE算法是一种改进非线性图像处理算法，可以保留高动态范围图像中的细节，其具体计算过程为现有技术，这里不再赘述。

请参见图4至图6，图4是本发明实施例提供的一种映射高曝光红外图像；图5是本发明实施例提供的一种映射中度曝光红外图像；图6是本发明实施例提供的一种映射低曝光红外图像。图4至图6是具有不同曝光条件的三张红外图像经过分层映射处理后分别得到的映射高曝光红外图像、映射中度曝光红外图像和映射低曝光红外图像。可以看出，在这三张图像中均存在一些条带噪声和一些点状噪声。

本实施例的多曝光红外图像融合方法在图像融合之前首先对将14位红外图像映射至8位图像，再对8位图像进行融合，从而可以更好地保留红外图像的细节信息，达到更好地融合效果。

S12：获得所述映射图像的对比度阵列图、噪点不可见度阵列图和曝光合适度阵列图。

具体地，步骤S12包括：

S121：分别计算每张红外图像中每个像素点的对比度，以组成每张红外图像的对比度阵列图，像素点对比度的计算公式为：

其中，C_k(x,y)为第k张图像的(x,y)像素点的对比度，δ_k(x,y)表示第k张图像(x,y)像素点与相邻像素点间的灰度差异值，P_δ,k(x,y)为第k张图像相邻像素点间的灰度差为δ(x,y)时的像素分布概率。

图像对比度是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量，即指一幅图像灰度反差的大小。差异范围越大代表对比越大，差异范围越小代表对比越小。

所述相邻像素有四邻域像素和八邻域像素，如图2a和图2b所示，图2a是本发明实施例提供的四邻域像素的示意图；图2b是本发明实施例提供的八邻域像素的示意图。如图2a所示，在四邻域像素情况中，像素(x,y)的邻域像素包括a、b、c、d。如图2b所示，在八邻域像素情况中，像素(x,y)的邻域像素包括e、f、g、h、i、j、k、l。

本实施例中应用四邻域像素对图像对比度进行计算。具体地，图像灰度差异值δ(x,y)的计算过程如下：将图2a中的中间像素点的像素值分别减去其上下左右四个像素点，对其取绝对值获得差异值；再对四个像素点的差异值概率进行统计。对于四邻域像素，可以计算出四个灰度差异值：|I(x,y)-I(x-1,y)|，|I(x,y)-I(x,y-1)|，|I(x,y)-I(x+1,y)|，|I(x,y)-I(x,y+1)|，其分布概率计算方式为P_δ(x,y)＝灰度差异值出现次数4。若为八邻域，则应计算八个灰度差异值，其P_δ(x,y)＝灰度差异值出现次数/8，其所有概率加和为1。

如上所述，对于四邻域像素的某一像素点(x,y)，其对比度的计算公式为：

进一步地，按照上述公式计算每张红外图像中每个像素点的对比度，以组成每张红外图像的对比度阵列图。

S122：分别计算每张红外图像中每个像素点的噪点不可见度，以组成每张红外图像的噪点不可见度阵列图，噪点不可见度的计算公式为：

其中，I_k(x,y)为第k张图像的(x,y)像素点的像素值，σ_v,k为第k张图像在预设区域内的像素值方差，b为第k张图像在预设区域内的长度或宽度方向上的像素总数，μ_k为第k张图像在预设区域内的像素值中值，ω为可调参数，0＜ω＜1。

噪点不可见度用于估算图像像素点是否为噪点的概率，若该像素点为噪点的可能性较大，则噪点不可见度则较低；若该像素点为噪点的可能性较小，则噪点不可见度则较高。

在本实施例中，其所述预设区域设为b*b大小的图像块，则该预设区域像素值中值和像素值方差的计算公式如下：

μ_k＝med({B_i/1≤i≤b*b,i∈N+})；

其中，B_i为预设区域内的第i个像素值(预设区域内共有b*b个像素值)，σ_v,k用于表征图像小范围区域内细节分布情况，med(·)表示取该序列的中值作为μ_k的取值。当所述预设区域为平坦区域时，该区域方差较小，而噪点所在像素点与该区域像素中值差异较大，所以ω系数项较大，计算的V值减小，噪点的权重减小，即噪声可见度大；当所述预设区域为灰度变化较大区域时，该区域方差较大，而噪点与中值的差异项仅仅是方差中的一项，所以ω系数项较小，计算的V值增大，噪点权重增大，即噪点可见度减小。为避免其他状况出现，设置一可调参数ω对该项进行调整，使得计算结果可以获得良好的去除图像噪声点的效果。

通常可取b*b为5*5大小图像块，若所计算出的噪点不可见度V值较大，说明该区域细节信息较多，人眼对噪声不敏感，可认为噪声不易被看出，噪声可见度较小；若噪点不可见度V值较小，说明该区域为平坦区域，人眼对噪声很敏感，噪声点完全暴露，噪声可见度较大，则权重减小。

进一步地，按照上述公式计算每张红外图像中每个像素点的噪点不可见度，以组成每张红外图像的噪点不可见度阵列图。

请参见图7至图9，图7是图4的映射高曝光红外图像的噪点不可见度阵列图；图8是图5的映射高曝光红外图像的噪点不可见度阵列图；图9是图6的映射高曝光红外图像的噪点不可见度阵列图。从图7至图9可以看出，噪点不可见度可以对条带噪声和点状噪声进行识别并在一定程度上进行抑制，在图中，白色点表示权重大的点，说明该点出噪点可见度小，噪声较小；灰色或黑色点表示权重较小的点，说明该点处噪声较大，同时噪点不可见度处理结果符合该方法中所要求的平坦区域孤立噪点的去除要求，且图像的清晰度并未受到影响。

S123：分别计算每张红外图像中每个像素点的曝光合适度，以组成每张红外图像的曝光合适度阵列图，曝光合适度的计算公式为：

其中，L为灰度级数，取L＝2⁸，δ₁＝0.35×L，δ₂＝0.65×L，E_k(x,y)为第k张图像(x,y)像素点处的曝光合适度。

曝光合适度用于表征红外图像像素点接近理想曝光灰度值的可能性，若灰度值越靠近灰度级两端的值，表明其像素点是欠曝或过曝区域的可能性越大，将图像在靠近中间位置处的曝光权重设置为1，其他范围灰度值由归一化的高斯函数决定。上述公式中σ_e,k的取值决定高斯函数的宽度，其取值需与灰度级数的宽度一致(即其取值在0处于在L处取值相等)，这里可以取σ_e,k＝0.02。其中L为灰度级数(即L＝2⁸)，将δ₁设为像素在35％处的像素灰度级数，将δ₂设为在65％处的灰度级数，即分别将阈值设为：δ₁＝0.35×L，δ₂＝0.65×L。

通常认为越靠近中间灰度值越接近于理想曝光，但若直接用高斯函数则会减小过亮区域和过暗区域的细节信息，使得过亮与过暗区域细节信息丢失。为了避免此类情况出现，对高斯函数进行改进，使得其在非极端灰度区域的权重为1，而在靠近过曝与欠曝区域的权重逐渐减小，这样有效避免了上述情况的出现，使得过亮与过暗区域不至于丢失细节信息，增加了细节信息显示的可能。

S2：根据所述对比度阵列图、所述噪点不可见度阵列图和所述曝光合适度阵列图获得每张所述红外图像的归一化权重图；

具体地，对每张红外图像的每一像素点的对比度阵列图、噪点不可见度阵列图和曝光合适度阵列图分别进行权重计算，获得每张红外图像的初始权重图；对所述初始权重图进行归一化处理，获得每张红外图像的归一化权重图。

所述初始权重图的计算公式为：

其中，W_k(x,y)为第k张图像(x,y)像素点的初始权重值，w_C,k为第k张图像(x,y)像素点对比度的权重，w_V,k为第k张图像(x,y)像素点噪点不可见度的权重，w_E,k为第k张图像(x,y)像素点曝光合适度的权重。

在本实施例中，可以设置w_C,k＝2，w_V,k＝1，w_E,k＝5。实际应用中可以根据实际需求调节三个权重值。

接着，所述归一化权重图的计算公式为：

其中，W_k(x,y)为第k张图像(x,y)像素点的初始权重值，表示求所有n张图像(x,y)像素点的初始权重值的和，为归一化后第k张图像(x,y)像素点的归一化权重。

S3：对所述归一化权重图进行高斯金字塔分解，获得每张所述红外图像的权重图高斯金字塔；

对于每张红外图像，设定所述权重图高斯金字塔的底层为当前红外图像的归一化权重图，所述权重图高斯金字塔的第d层在(x,y)像素位置处的构造过程为：

其中，D表示高斯金字塔的层数，g(m,n)为5×5的窗口函数，R_d为第d层图像的行数，C_d为第d层图像的列数，为所述高斯金字塔第d层的权重分布。

进一步地，本实施例的5×5窗口函数的滤波器系数设置如下：

其分解的主要思想为：将低层图像进行高斯滤波，然后对滤波后的图像进行隔行隔列降采样之后形成上一层的金字塔，直到无法降采样分解为止。

需要注意的是，对图像进行金字塔分层处理主要是为了使得图像的低频信息更好的参与融合，但红外图像的高频信息较可见光图像要少很多，因此在本实施例中令高斯金字塔和所述拉普拉斯金字塔的层数D为：

其中，h为所述红外图像长度方向的像素总数，w为所述红外图像宽度方向的像素总数。这样的层数设定减少图像低频信息的融合量，由此减小了图像的计算量，使得融合效率更高，且细节信息更加明显。请参见图3，图3是本发明实施例提供的图像金字塔的结构示意图。

S4：对每张所述红外图像进行拉普拉斯金字塔变换，获得每张所述红外图像的拉普拉斯金字塔；

具体地，构建每张所述红外图像的高斯金字塔，设定所述红外图像高斯金字塔的底层为所述红外图像，所述红外图像高斯金字塔的第d层在(x,y)像素位置处的构造过程为：

其中，为所述红外图像高斯金字塔第d层(x,y)处的像素值；g(m,n)为5×5的窗口函数，R_d为第d层图像的行数，C_d为第d层图像的列数；

对所述红外图像高斯金字塔进行变换形成拉普拉斯金字塔，获得所述红外图像拉普拉斯金字塔的第d层在(x,y)像素位置处系数的构造过程为：

其中，为所述拉普拉斯金字塔第d层(x,y)处的像素值，EXPAND表示利用双线性插值方法对图像进行二倍尺寸放大。D为金字塔最高层的层号，d为金字塔当前层数。

其主要分解思想为：拉普拉斯金字塔的形成过程需要依赖图像的高斯金子塔，其过程主要是在图像高斯金字塔形成之后，对高一层金字塔进行升采样，利用本层图像减去升采样之后的图像形成拉普拉斯金字塔，最高一层的金字塔保持高斯金字塔原状。

S5：对所述多张红外图像的所述拉普拉斯金字塔利用所述权重图高斯金字塔进行融合，形成融合后的红外图像。

具体地，根据金字塔原理对所有红外图像的所述权重图高斯金字塔和所述红外图像拉普拉斯金字塔进行加权平均处理，得到融合后拉普拉斯金字塔：

其中，表示融合后拉普拉斯金字塔第d层(x,y)处的像素值，表示第k幅图像的拉普拉斯金字塔第d层(x,y)处的像素值，表示第k幅图像的高斯权重金字塔第d层(x,y)处的权重值。

S52：对所述融合后拉普拉斯金字塔进行反变换，得到融合后的红外图像。

反变换的公式为：

通过上述公式进行反变换，直到叠加到底层金字塔，即当d-1＝0时，获得的NF⁰即为一张融合后的图像。请参见图10，图10是利用本发明实施例提供的一种多曝光红外图像融合方法获得的融合图像。

进一步地，可以通过以下仿真实验进一步说明本发明实施例的多曝光红外图像融合方法的图像融合效果。

请一并参见图10和图11，图11是利用现有的金字塔图像融合方法获得的融合图像。可以看出，现有的金字塔图像融合方法获得的融合图像点状噪声去除效果较差，噪点被当做有效信息保留了下来，使得其处理效果保留了噪声的信息，影响人们的视觉观感，而本发明实施例的多曝光红外图像融合方法显著地去除了噪声，保留了更多的有效信息。

为了更好地对融合后图像噪点的去除效果进行客观量化评价，利用以下图像噪点评价指标计算方法对噪点的去除效果进行评估，请参见表1，表1为现有技术与本实施例的图像噪点对比表。可以看出，本实施例的方法对于图像的孤立噪点具有良好的去除效果，同时，对于其他类型噪声也有一定的抑制作用。同时，由于融合图像包含了红外图像的细节信息，因此，相比于现有技术的图像融合方法，本实施例的多曝光红外图像融合方法一定程度上扩大了红外图像的显示范围，使得人眼能看出热度显示范围之外的热度信息，为进一步扩大红外图像的显示范围奠定基础。

表1现有技术与本实施例的图像噪点对比表

评价指标	图像噪点均值	图像噪点比率
			本实施例的融合图像	2.6510	0.3925
现有技术的融合图像	2.7632	0.4073

本实施例的多曝光红外图像融合方法能够使融合后的红外图像表示更大动态范围温差，同时减少原有红外图像中多余的噪点信息，提升红外图像过曝、欠曝光甚至良好曝光区域的细节信息，使得对于较大动态范围温差的红外图像具有良好的显示效果。此外，本实施例的多曝光红外图像融合方法能够解决现有技术中没有考虑图像的分辨率信息以及噪点信息、以及不同图像衔接不自然等问题，同时可以减少红外图像的融合过程中不必要的运算过程。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种多曝光红外图像融合方法，其特征在于，包括：

获得待融合的多张红外图像的对比度阵列图、噪点不可见度阵列图和曝光合适度阵列图；

根据所述对比度阵列图、所述噪点不可见度阵列图和所述曝光合适度阵列图获得每张所述红外图像的归一化权重图；

对所述归一化权重图进行高斯金字塔分解，获得每张所述红外图像的权重图高斯金字塔；

对每张所述红外图像进行拉普拉斯金字塔分解，获得每张所述红外图像的拉普拉斯金字塔；

对所述多张红外图像的所述拉普拉斯金字塔利用所述权重图高斯金字塔进行融合，形成融合后的红外图像。

2.根据权利要求1所述的多曝光红外图像融合方法，其特征在于，获得待融合的多张红外图像的对比度阵列图、噪点不可见度阵列图和曝光合适度阵列图，包括：

分别对待融合的多张红外图像进行分层映射处理，得到对应的多张8位红外映射图像；

获得所述多张8位红外映射图像的对比度阵列图、噪点不可见度阵列图和曝光合适度阵列图。

3.根据权利要求2所述的多曝光红外图像融合方法，其特征在于，分别对待融合的多张红外图像进行分层映射处理，得到对应的多张8位红外映射图像，包括：

对待融合的多张红外图像的源数据进行双边滤波，得到基础层图像和纹理细节层图像；

对所述基础层图像和所述纹理细节层图像进行映射，得到映射后基础层图像和映射后纹理细节层图像；

将所述映射后基础层图像和所述映射后纹理细节层图像相加，获得所述8位红外映射图像。

4.根据权利要求1所述的多曝光红外图像融合方法，其特征在于，所述噪点不可见度阵列图的计算公式为：

其中，I_k(x,y)为第k张红外图像的(x,y)像素点的像素值，σ_v,k为第k张图像在预设区域内的像素值方差，b为第k张图像在预设区域内的长度或宽度方向上的像素总数，μ_k为第k张图像在预设区域内的像素值中值，ω为可调参数，0＜ω＜1。

5.根据权利要求1所述的多曝光红外图像融合方法，其特征在于，根据所述对比度阵列图、所述噪点不可见度阵列图和所述曝光合适度阵列图获得每张所述红外图像的归一化权重图，包括：

根据每张所述红外图像的所述对比度阵列图、所述噪点不可见度阵列图和所述曝光合适度阵列图进行权重计算，获得每张所述红外图像的初始权重图；

对所述初始权重图进行归一化处理，获得每张所述红外图像的归一化权重图。

6.根据权利要求5所述的多曝光红外图像融合方法，其特征在于，对所述归一化权重图进行高斯金字塔分解，获得每张所述红外图像的权重图高斯金字塔，包括：

对于每张所述红外图像，设定所述权重图高斯金字塔的底层为所述红外图像的归一化权重图，所述权重图高斯金字塔的第d层在(x,y)像素位置处的构造过程为：

其中，D表示高斯金字塔的层数，g(m,n)为5×5的窗口函数，R_d为第d层图像的行数，C_d为第d层图像的列数，为所述高斯金字塔第d层的权重分布。

7.根据权利要求6所述的多曝光红外图像融合方法，其特征在于，所述高斯金字塔和所述拉普拉斯金字塔的层数D的表达式均为：

其中，h为所述红外图像长度方向的像素总数，w为所述红外图像宽度方向的像素总数。

8.根据权利要求5所述的多曝光红外图像融合方法，其特征在于，对每张所述红外图像进行拉普拉斯金字塔变换，获得每张所述红外图像的拉普拉斯金字塔，包括：

构建每张所述红外图像的高斯金字塔，设定所述红外图像高斯金字塔的底层为所述红外图像，所述红外图像高斯金字塔的第d层在(x,y)像素位置处的构造过程为：

其中，为所述像素高斯金字塔第d层的像素分布；

对所述红外图像高斯金字塔进行变换，获得所述拉普拉斯金字塔，所述拉普拉斯金字塔的第d层在(x,y)像素位置处系数的构造过程为：

其中，为所述拉普拉斯金字塔第d层的像素分布，EXPAND表示利用双线性插值方法对的图像进行二倍尺寸放大。

9.根据权利要求7所述的多曝光红外图像融合方法，其特征在于，对所述多张红外图像的所述拉普拉斯金字塔利用所述权重图高斯金字塔进行融合，形成融合后的红外图像，包括：

对多张所述红外图像的所述权重图高斯金字塔与所述图像拉普拉斯金字塔进行加权平均处理，得到融合后的拉普拉斯金字塔：

其中，表示融合后的拉普拉斯金字塔在第d层(x,y)处的像素值，表示第k幅图像的拉普拉斯金字塔在第d层(x,y)处的像素值，表示第k幅图像的权重图高斯金字塔在第d层(x,y)处的权重值。

对所述融合后的拉普拉斯金字塔进行反变换，得到所述融合后的红外图像。