CN110458787A - 一种图像融合方法、装置及计算机存储介质 - Google Patents

Abstract

本发明提供了一种图像融合方法，应用于图像融合技术领域，包括：获取待处理红外图像与待处理可见光图像；获取待处理可见光图像中的反射图像；根据反射图像和待处理红外图像，获得对数域红外图像；将对数域红外图像进行指数变换，得到变换后的红外图像；根据待处理红外图像，获得伪彩色红外图像；根据HSV模型，获得伪彩色红外图像对应的颜色信息；根据变换后的红外图像，更新颜色信息中的亮度分量；将更新后的颜色信息所对应的图像作为融合结果。以及提供了一种图像融合装置及计算机存储介质。应用本发明实施例，能够很好的保留待处理红外图像和待处理可见光图像中的信息减少图像的损失，提高图像融合后的效果。

Description

一种图像融合方法、装置及计算机存储介质

技术领域

本发明涉及红外图像和可见光图像的融合处理技术领域，尤其涉及一种图像融合方法、装置及计算机存储介质。

背景技术

一切大于绝对零度的物体都可以辐射红外线，利用探测仪测量目标本身与背景间的红外线差可以得到不同的热红外线形成的红外图像，对温度信息敏感，但是对背景的亮度变化不敏感。可见光图像只包含目标场景的反射，而与目标场景的温度对比无关，能够提供目标所在场景的细节信息。因此，对可见光图像和红外图像进行融合，可以在融合后的图像上反映温度信息和目标场景的反射信息，能够在融合后的图像上获得更多的图像信息。

通常红外图像与可见光图像的融合所采用的技术方案为：对于红外图像分辨率较小，可见光图像分辨率较大的双光源图像，先进行尺度归一化、然后进行亮度信息加权求和得到融合图像，受可见光图像明暗分布与红外图像明暗分布不一致影响，造成温度分布信息受到干扰，造成图像细节缺失。

发明内容

本发明的目的在于克服现有技术之缺陷，提供了一种图像融合方法、装置及计算机存储介质，旨在利用可见光图像的反分量像作为增益，以此来修饰红外图像，在红外图像中保留可见光图像的所对应的图像细节，提高图像融合的效果。

本发明是这样实现的：

本发明提供一种图像融合方法，包括：

获取待处理红外图像与待处理可见光图像；

获取所述待处理可见光图像中的反射图像；

根据所述反射图像和所述待处理红外图像，获得对数域红外图像；

将所述对数域红外图像进行指数变换，得到变换后的红外图像；

根据所述待处理红外图像，获得伪彩色红外图像；

根据HSV模型，获得所述伪彩色红外图像对应的颜色信息；

根据所述变换后的红外图像，更新所述颜色信息中的亮度分量；

将更新后的颜色信息所对应的图像作为融合结果。

进一步地，所述获取所述待处理可见光图像中的反射图像的步骤，包括：

将所述待处理可见光图像转换为灰度图像；

对所述灰度图像进行对数变换，获取反射图像。

进一步地，所述根据所述反射图像和所述待处理红外图像，获得对数域红外图像的步骤，包括：

将所述待处理红外图像进行动态范围压缩，获得压缩后的图像；

将所述压缩后的图像进行对数变换，获得变换后图像；

将所述反射图像与所述变换后图像进行叠加，得到合并后的对数域红外图像。

进一步地，所述根据所述待处理红外图像，获得伪彩色红外图像的步骤，包括：

对所述压缩后的图像进行伪彩色编码，获得伪彩色红外图像。

进一步地，所述根据所述变换后的红外图像，更新所述颜色信息中的亮度分量的步骤，包括：

将所述变换后的红外图像作为所述颜色信息中更新后的亮度分量。

进一步地，所述将更新后的颜色信息所对应的图像作为融合结果的步骤，包括：

根据更新后的亮度分量，获取更新后的颜色信息；

将所述更新后的颜色信息通过RGB模型进行色彩转换；

将转换结果作为融合结果。

进一步地，所述对所述灰度图像进行对数变换，获取反射图像的步骤，包括：

将所述灰度图像进行划分，获得多个图像块；

针对任意一个图像块，获取图像块中像素点的像素值；

获取每一个图像块中像素值的最小值，并作为该图像块背景照度；

根据每一个图像块的背景照度，获得背景照度矩阵；

根据所述背景照度矩阵，获得照度图像；

将所述照度图像转换到对数域，获得照度图像与反射图像；

去除所述照度图像，获取所述反射图像。

进一步地，所述获取待处理红外图像与待处理可见光图像的步骤，包括：

根据视场的重叠区域对可见光图像与红外图像进行剪切，直至剪切后的可见光图像与红外图像尺寸相同；

将剪切后可见光图像作为待处理可见光图像；

将剪切后红外图像作为待处理红外图像。

此外，本发明还公开了一种图像融合装置，所述装置包括处理器、以及通过通信总线与所述处理器连接的存储器；其中，

所述存储器，用于存储图像融合程序；

所述处理器，用于执行所述图像融合程序，以实现任一项所述的图像融合步骤。

以及，公开了一种计算机存储介质，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以使所述一个或者多个处理器执行任一项所述的图像融合步骤。

应用本发明的图像融合方法、装置及计算机存储介质，具有以下有益效果：

(1)将待处理可见光图像中的反射图像与红外图像进行对数域叠加后再进行指数变换能够获得更多的人眼可以直接看到的图像信息，再通过HSV模型将待处理红外图像转换为符合视觉观感的图像，并获得颜色信息，再采用变换后的红外图像替换颜色信息中的亮度分量，实现采用人眼可以直接看到的图像信息替换HSV中的亮度分量，而原红外图像中仍然保留可以反映图像的温度分布状态，因此，能够很好的保留待处理红外图像和待处理可见光图像中的信息减少图像的损失，提高图像融合后的效果。

(2)由于待处理红外图像的温度分布通过伪彩色编码表示，在拍摄细节或者处理细节改变待处理红外图像亮度时，采用颜色仍然可以反映图像的温度分布状态，所以本方案也同样对缺少细节的低分辨率红外图像，具有较好的融合效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的图像融合方法的一种流程示意图；

图2为本发明实施例提供的图像融合方法的另一种流程示意图；

图3为本发明实施例提供的图像融合装置的一种应用场景示意图

图4为本发明实施例提供的图像融合装置的另一种应用场景示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

需要说明的是，图像融合(Image Fusion)是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。

本发明实施例中的图像融合是采用红外图像与可见光图像进行融合，以实现在融合后的图像中包含温度信息和可见光下的图像信息。

需要说明的是，红外图像是采用红外遥感器接收地物反射或自身发射的红外线而形成的图像。红外是比0.78微米长的电磁波位于可见光光谱红色以外，称为红外线，又称红外辐射。是指波长为0.78—1000微米的电磁波，其中波长为0.78—2.0微米的部分称为近红外，波长为2.0—1000微米的部分称为热红外线。自然界中，一切物体都可以辐射红外线，因此利用探测仪测量目标本身与背景间的红外线差可以得到不同的热红外线形成的红外图像。

可见光是电磁波谱中人眼可以感知的部分，可见光谱没有精确的范围；一般人的眼睛可以感知的电磁波的波长在400～760nm之间，但还有一些人能够感知到波长大约在380～780nm之间的电磁波。因此，可见光图像是采用了可见光CCD图像传感器进行感光而获得的图像。

参见图1，本发明实施例提供一种图像融合方法，包括步骤如下：

S101，获取待处理红外图像与待处理可见光图像。

可以理解的是，本发明实施例中待处理红外图像与待处理可见光图像必须是具有重叠区域，也就是视场是相同或者部分相同的。因此，本发明实施例中主要是针对包括视场的重叠区域的红外图像与可见光图像。

本发明的一种具体实现方式中，根据视场的重叠区域对可见光图像与红外图像进行剪切，直至剪切后的可见光图像与红外图像尺寸相同；将剪切后可见光图像作为待处理可见光图像；将剪切后红外图像作为待处理红外图像。

本发明实施例中，仪器中可以包含红外图像传感器和可见光图像传感器，分别获取红外图像和可见光图像，可以对仪器获取的红外图像和可见光图像进行预处理，也就是获得具有重叠区域的两种图像，为了便于后期进行处理，设置两种图像的尺寸大小相同。

S102，获取所述待处理可见光图像中的反射图像。

需要说明的是，一幅灰度图像S(x,y))可以看成由两个分量组合而成，表示如下：

S(x,y)＝R(x,y)*L(x,y)

R(x,y)是照度图像、L(x,y)是反射图像，其中，x和y组合表示该像素点的坐标。反射图像L(x,y)表示受到景物反射的光强；照度图像R(x,y)表示入射到景物上的光强度。

因此，本发明的实施例中，为了获得可见光图像的反射图像的步骤，首先将所述待处理可见光图像转换为灰度图像；对所述灰度图像进行对数变换，获取反射图像。

从灰度图像的表达式可以看到，其表示为照度图像和反射图像的乘积，由于像素点的乘积比较难操作，所以为了简化数据处理的过程，本发明实施例中采用对图像进行取对数，取对数之后将相乘转换为对数的相加，从而减少相乘带来的数据计算量，进一步简化图像的处理过程。

在图像处理时，将灰度图像转至对数域，即log(S)＝log(R*L)，得到结果：

log(S)＝log(R)+log(L)

可以理解的是，根据log(S)，只要得到照度图像，就可以得到反射图像。因此，本发明的具体实现方式中，具体实现包括如下步骤：

S201，将灰度图像进行划分，获得多个图像块。

可以理解的是，灰度图像的划分，当每一个块越小，得到的结果会越精准，但是图像块越小计算量越大，计算时间也越多，所以需要结合进行考虑。本发明具体实现中，可以采用3*3的窗口在灰度图像上进行移动，遍历整个灰度图像，分别切分为3*3的图像块，假设获得了N个图像块。

本发明实施例中，对待处理红外图像进行划分，将一个图像拆分为多个图像块，为了避免图像块之间的影响，所以将任意两个图像块之间不包含重叠区域，但是又不能遗漏像素点。

S202，针对任意一个图像块，获取图像块中像素点的像素值。

假设图像块对应的大小为3*3的窗口，所以该图像块里面包含9个像素点，获取每一个像素点的像素值，所以每一个图像块中均获得9个像素点的像素值。

S203，获取每一个图像块中像素值的最小值，并作为该图像块背景照度。

根据像素值进行排列，例如进行降序排列，将排列在第一个的像素值作为该图像块的背景照度，也就是说将像素值中的最小值确定为图像背景照度，那么也就获得了N个背景照度值。

S204，根据每一个图像块的背景照度，获得背景照度矩阵。

具体实现方式中，图像块是按照一定的顺序进行排列的，例如从上至下、从左至右的顺序，所以获得的背景照度也是按照原图像块所在的位置就进行排列，然后将N个背景照度值组成背景照度矩阵。

例如，如图3所示，为4*6的图像块，每一个框对应一个图像块，其中的数值为背景照度，因此，组成的背景照度矩阵A，表示如下：

S205，根据背景照度矩阵，获得照度图像。

然后将N个背景照度值组成背景照度矩阵，再由背景照度矩阵粗略扩展成和原始图像大小相同的矩阵，即可从灰度图像Iv中估测照度图像R(x,y)。

可以理解的是，如果是以3*3的图像块取像素值的最小值作为当前块的照度值，那么在进行扩展的时候9个像素点的照度值都是最小值，所以放大后会造成图像块之间的马赛克效应。为解决这一问题，需要在相邻块之间平滑过度，用3*3均值滤波器进行滤波，即可达到平滑目的，得到全图的照度图像。

需要说明的是，均值滤波是线性滤波算法，它是指在图像上对目标像素给一个模板，该模板包括了其周围的临近像素(3*3均值滤波器为例，以目标像素为中心的周围8个像素，构成一个滤波模板，即去掉目标像素本身)，再用模板中的全体像素的平均值来代替原来像素值。该部分为现有技术，本发明实施例在此不做赘述。

S206，将照度图像转换到对数域，获得照度图像与反射图像。

对所估测出的照度图像R(x,y)取对数logR(x,y)，将所有像素点所对应的照度表示为log(R)，获得对数域的照度图像。根据log(S)＝Log(IvRef)+log(R)，所以已知Log(IvRef)、log(S)，则可以获得反射图像Log(IvRef)。即通过去除R(x,y)得到反射分量Log(IvRef)，由每一个像素点的反射分量组成反射图像L。

Log(IvRef)＝log(S)-log(R)

S207，去除照度图像，获取反射图像。

因此，能够从整个照度图像中去除步骤S206获得的照度图像，得到不包含照度图像的反射图像。

S103，根据所述反射图像和所述待处理红外图像，获得对数域红外图像。

可以理解的是，对数域的图像是表示两个图像之和，由于反射图像L(x,y)表示受到景物反射的光强，且可以理解的是，人眼接收的是物体发射的光线，才能在人眼中形成视图，所以，反射图像L(x,y)容易被人的眼睛所接纳。因此，本发明实施例中，将反射图像叠加到待处理红外图像上，也就是将反射图像与待处理红外图像进行叠加，从而能够提高待处理红外图像中人眼所能查到的图像内容，也就是本发明实施例中进行两种图像融合的目的。

此外，本领域技术人员可以理解的是，红外图像原始数据一般为14bit以上，而人眼能分辨的灰度动态范围为8bit，因此红外图像在显示前，需要先进行动态范围压缩，将14bit原始数据转化为8bit人眼可分辨的灰度图像。

因此，需要首先将所待处理红外图像进行动态范围压缩，获得压缩后的图像IR。具体的，如何进行动态范围处理进行红外图像的压缩为现有技术，本领域技术人员可以根据已经公开的压缩技术任选其一就可以实现对红外图像的压缩，获得压缩后的8bit红外图像。

具体实现中将所述压缩后的图像进行对数变换，获得变换后图像；将所述反射图像与所述变换后图像进行叠加，得到合并后的对数域红外图像。

本发明实施例中，由于获得了反射图像Log(IvRef)，那么叠加待处理红外图像最简单的方式就是对待处理红外图像进行求对数，从而获得对数域之和，如下公式所示：

Log(IRFs)＝Log(IR)+Log(IvRef)

Log(IRFs)为对数域之和，也就是对数域红外图像，IR为进行动态范围压缩后的待处理红外图像，Log(IR)为压缩后的IR所对应的对数。

需要说明的是，由于反射图像包含人眼习惯看到的纹理、明暗边缘信息较多，所以采用反射图像与待处理红外图像的结合，能够提高红外图像包含的信息量。

S104，将所述对数域红外图像进行指数变换，得到变换后的红外图像。

可以理解的是，对数域为数据的相加，转换为指数域，也就是变换到实数域内，具体表达为：IRFs＝exp(Log(IRFs))。

S105，根据所述待处理红外图像，获得伪彩色红外图像。

可以理解的是，人眼对彩色的敏感力大大高于对黑白色调的敏感能力，将热分布的黑白图像通过彩色增强技术，有利于保持融合后图像的热分布判别准确程度，将动态范围压缩后的8bit红外图像通过伪彩色编码(pseudo-color encoding，简称PCE)表进行处理，得到伪彩色图像。

可以理解的是，人类视觉分辨灰度的能力较弱，最多不超过20个灰度阶，但是分辨颜色的能力特别强，可以超过一千个层次，因此，把一幅灰度图像的不同灰度阶映射为相应的彩色(也就是伪彩色)，可以把人眼无法识别的灰度变换变成能够识别的彩色变换，能够识别不同的层次，提高人眼对图像信息的获取量。具体实现过程可以采用已有的方案实现，本发明实施例在此不做赘述。

S106，根据HSV模型，获得所述伪彩色红外图像对应的颜色信息。

可以理解的是，HSV颜色模型按色调H、饱和度S、亮度V来描述，可以理解的是，HSV模型所对应的图像相对于RGB模型所对应的图像更符合人类的视觉观感。

由于伪彩色图像为包含RGB三原色的图像，所以可以采用RGB到HSV转换公式；针对任意一个像素点的三原色值为R、G、B，分别为包括如下：

设置中间量R’、G’、B’，并设置R’＝R/255、G’＝G/255、B’＝B/255；

设置转换量Cmax＝max(R’，G’，B’)、Cmin＝min(R’，G’，B’)，Δ＝Cmax-Cmin；

其中，Cmax是(R’，G’，B’)中的最大值，Cmin是(R’，G’，B’)中的最小值。则：

V＝Cmax

S107，根据所述变换后的红外图像，更新所述颜色信息中的亮度分量。

可以理解的是，更新HSV中的亮度V，也就是用变换后的红外图像IRFs来替换原来的V分量，也就是步骤S106中的Cmax，使得V＝IRFs＝exp(Log(IRFs))。

还原图像本身来讲，由于变换后的红外图像中包含反射图像，而反射图像中包含较多的纹理信息和边缘明暗信息，所以，更新了采用变换后的红外图像更新亮度分量并且不会在边缘位置产生光晕现象。

所以，变换后的颜色信息包含的HSV分量分别如下：

V＝exp(Log(IRFs))

S108，将更新后的颜色信息所对应的图像作为融合结果。

可以理解的是，由于HSV图像比较符合人眼所观察的图像，所以融合后的图像可以直接用于用户查看。

另一方面，计算机能够处理的图像为RGB图像，为了满足图像的自动化处理，还可以根据更新后的亮度分量，获取更新后的颜色信息；将所述更新后的颜色信息通过RGB模型进行色彩转换；将转换结果作为融合结果。转换过程中设置中间转换量C、X、m；其中，

C＝V×S

X＝C×(1-|(H/60)mod2-1|)

m＝V-C

其中，mod表示求余函数。

设置中间量为R”，G”，B”；则与HSV模型中的H、S、V分量的对应关系：为：根据中间量R”，G”，B”，得到RGB图像中的三原色值为：

(R,G,B)＝((R”+m)×255,(G”+m)×255,(B”+m)×255)

因此，本发明实施例中，首先将更新了亮度分量V颜色信息转换到RGB色彩模型空间，即可得到有反射图像信息修饰的RGB颜色模型的伪彩色红外图像。即为融合结果，便于计算机进行自动处理。

因此，本发明实施例利用可见光图像中的反射图像以增益(在对数域求和相当与成绩，反射图像作为成绩因子)的方式修饰压缩后待处理红外图像，保留了充分的细节信息；

由于待处理红外图像的温度分布通过伪彩色编码表示，在拍摄细节或者处理细节改变待处理红外图像亮度时，采用颜色仍然可以反映图像的温度分布状态，所以本方案也同样对缺少细节的低分辨率红外图像，具有较好的融合效果。

本发明提出一种将可见光图像细节作为增益因子修饰红外图像的亮度分量，红外图像伪彩色表示温度信息的图像融合方法。

此外，如图4所示，本发明还公开了一种图像融合装置400，所述装置400包括处理器410、以及通过通信总线430与所述处理器410连接的存储器420；其中，

所述存储器420，用于存储图像融合程序；

所述处理器410，用于执行所述图像融合程序，以实现任一项所述的图像融合步骤。

以及公开了一种计算机存储介质，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个如图4所示的处理器410执行，以使所述一个或者多个处理器410执行任一项所述的图像融合步骤。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像融合方法，其特征在于，所述方法包括：

获取待处理红外图像与待处理可见光图像；

获取所述待处理可见光图像中的反射图像；

根据所述反射图像和所述待处理红外图像，获得对数域红外图像；

将所述对数域红外图像进行指数变换，得到变换后的红外图像；

根据所述待处理红外图像，获得伪彩色红外图像；

根据HSV模型，获得所述伪彩色红外图像对应的颜色信息；

根据所述变换后的红外图像，更新所述颜色信息中的亮度分量；

将更新后的颜色信息所对应的图像作为融合结果。

2.如权利要求1所述的图像融合方法，其特征在于，所述获取所述待处理可见光图像中的反射图像的步骤，包括：

将所述待处理可见光图像转换为灰度图像；

对所述灰度图像进行对数变换，获取反射图像。

3.如权利要求1或2所述的图像融合方法，其特征在于，所述根据所述反射图像和所述待处理红外图像，获得对数域红外图像的步骤，包括：

将所述待处理红外图像进行动态范围压缩，获得压缩后的图像；

将所述压缩后的图像进行对数变换，获得变换后图像；

将所述反射图像与所述变换后图像进行叠加，得到合并后的对数域红外图像。

4.如权利要求3所述的图像融合方法，其特征在于，所述根据所述待处理红外图像，获得伪彩色红外图像的步骤，包括：

对所述压缩后的图像进行伪彩色编码，获得伪彩色红外图像。

5.如权利要求4所述的图像融合方法，其特征在于，所述根据所述变换后的红外图像，更新所述颜色信息中的亮度分量的步骤，包括：

将所述变换后的红外图像作为所述颜色信息中更新后的亮度分量。

6.如权利要求5所述的图像融合方法，其特征在于，所述将更新后的颜色信息所对应的图像作为融合结果的步骤，包括：

根据更新后的亮度分量，获取更新后的颜色信息；

将所述更新后的颜色信息通过RGB模型进行色彩转换；

将转换结果作为融合结果。

7.如权利要求2所述的图像融合方法，其特征在于，所述对所述灰度图像进行对数变换，获取反射图像的步骤，包括：

将所述灰度图像进行划分，获得多个图像块；

针对任意一个图像块，获取图像块中像素点的像素值；

获取每一个图像块中像素值的最小值，并作为该图像块背景照度；

根据每一个图像块的背景照度，获得背景照度矩阵；

根据所述背景照度矩阵，获得照度图像；

将所述照度图像转换到对数域，获得照度图像与反射图像；

去除所述照度图像，获取所述反射图像。

8.如权利要求1所述的图像融合方法，其特征在于，所述获取待处理红外图像与待处理可见光图像的步骤，包括：

根据视场的重叠区域对可见光图像与红外图像进行剪切，直至剪切后的可见光图像与红外图像尺寸相同；

将剪切后可见光图像作为待处理可见光图像；

将剪切后红外图像作为待处理红外图像。

9.一种图像融合装置，其特征在于，所述装置包括处理器、以及通过通信总线与所述处理器连接的存储器；其中，

所述存储器，用于存储图像融合程序；

所述处理器，用于执行所述图像融合程序，以实现如权利要求1至8中任一项所述的图像融合步骤。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以使所述一个或者多个处理器执行如权利要求1至8中任一项所述的图像融合步骤。