CN108364272A - 一种高性能红外-可见光融合探测方法 - Google Patents

Abstract

本发明公开了一种高性能红外‑可见光融合探测方法，包括如下步骤：图像的预处理，对红外图像进行直方图的均衡化，并且对图像中像素个数多的灰度级进行展宽，对像素个数少的灰度级进行缩减，获得清晰图像；图像配准，通过Canny算子检测红外图像和可见光图像的边缘，之后构建图像尺度金字塔提取Fast特征点，并进行图像的配准；图像融合，通过融合算法在图像上进行红外和可见光的图像融合，得到灰度融合图像；彩色映射，将可见光彩色图像的分量与灰度融合图像相加得到彩色融合图像；能够在去除噪音的同时保证图像融合的精度，同时保留红外图像和可见光图像的优点，保证图像的清晰度。

Description

一种高性能红外-可见光融合探测方法

技术领域

本发明涉及探测技术领域，具体为一种高性能红外-可见光融合探测方法。

背景技术

红外与可见光图像融合技术是将红外与可见光提供的信息加以综合,消除红外与可见光图像信息之间可能存在的冗余和矛盾,加以互补,降低其不确定性,减少模糊度,以增强图像中信息透明度,改善信息的精度、可靠性以及使用率,以形成对目标的完整一致的信息描述，图像融合的目标是综合来自相同景物的多个图像信息。这是由于单一红外图像分辨率低，但无论白昼均可使用，单一可见光图像虽然图像分辨率高，然而夜间成像效果较差，图像信息模糊不清，而图像融合结合了二者的优点，使用户获得更好质量的图像和用户体验。

但是，在现有技术条件下，由于噪音和其它因素的存在，使得红外图像和可见光图像的融合精度得不到保证。

发明内容

为了克服现有技术方案的不足,本发明提供一种高性能红外-可见光融合探测方法，能够在去除噪音的同时保证图像融合的精度，同时保留红外图像和可见光图像的优点，保证图像的清晰度，能有效的解决背景技术提出的问题。

本发明解决其技术问题所采用的技术方案是：

一种高性能红外-可见光融合探测方法，包括如下步骤：

S100、图像的预处理，对红外图像进行直方图的均衡化，并且对图像中像素个数多的灰度级进行展宽，对像素个数少的灰度级进行缩减，获得清晰图像；

S200、图像配准，通过Canny算子检测红外图像和可见光图像的边缘，之后构建图像尺度金字塔提取Fast特征点，并进行图像的配准；

S300、图像融合，通过融合算法在图像上进行红外和可见光的图像融合，得到灰度融合图像；

S400、彩色映射，将可见光彩色图像的分量与灰度融合图像相加得到彩色融合图像。

作为本发明一种优选的技术方案，在步骤S200中，图像配准的具体算法为：

S201、提取图像边缘信息，利用Canny算子检测红外图像和可见光图像的边缘；

S202、提取尺度不变特性特征点，通过图像尺度金字塔构建三个octave层和三个intra-octrave层，对六张图均进行FAST特征点检测；

S203、特征点的匹配，对特征点提取描述符，通过各个特征点描述符的汉明距离进行特征点匹配；

S204、计算仿射变换矩阵，根据匹配得到的特征点，通过LMEDS算法确定六参数的仿射变换模型，在匹配点中随机挑选3对点对，计算仿射变换矩阵参数，并通过偏差值比较获得偏差值最小的仿射变换矩阵参数，并根据该参数对红外图像进行几何变换得到配准后的红外图像；

S205、灰度融合，对配准后的红外图像和可见光图像对应的像素做加权平均处理，并通过主成分分析法根据带融合图像的主成分来确定各待融合图像的权重。

作为本发明一种优选的技术方案，FAST特征点检测基于特征点周围的图像灰度值，检测候选特征点周围的像素值，设周围像素与该候选点的灰度值差别够大的个数为N，则该候选点为一个角点特征点，其中，

I(x)为以候选特征点p为圆心，16为半径的圆上任意一点的灰度，I(p)为候选点特征点灰度，ε_d为阈值。

作为本发明一种优选的技术方案，特征点描述符的提取算法具体为：在特征点周围选择一个区域，在该区域内挑选出n_d个点对，然后对于每一个点对(p，d)均进行亮度值的比较，若I(p)>I(q)，则该点对生成了二值串中相应的位置为1，若I(p)<I(q)，二值串中相应的位置为-1，否则为0，所有的点对，都进行比较之间，生成了属于该特征点的一个n_d长的二进制串，称为该特征点的描述符。

作为本发明一种优选的技术方案，在步骤S300中，灰度融合的具体算法为：

S301、计算可见光彩色图像的亮度分量I_visible，

其中，

S302、将亮度分量I_visible和红外图像IR直接相加获得灰度融合图像F，

其中F＝Γ(I_visible，IR)，Γ为HIS融合算法；

S303、将灰度参数图像Ref的对比度和亮度传递给灰度融合图像F，获得调整后的灰度融合图像F^*，

其中(u_F，σ_F)为灰度融合图像F的均值和方差，(u_Ref，σ_Ref)为灰度参考图像Ref的均值和方差。

作为本发明一种优选的技术方案，还包括对极几何约束算法的校正，其具体算法如下：

首先对给定的图像进行归一化处理，选取匹配点对并计算基本矩阵，在剩余的匹配点对集合中寻找所有满足条件的点对，将它们视为内点，并记录内点的数量，重复上述步骤若干次，记录每一次的内点数量，确定采样次数，再次在初始匹配点集中寻找满足相同条件的点对，将它们视为最终的内点，即正确的匹配点对，否则，视为误匹配点对，予以剔除。

与现有技术相比，本发明的有益效果是：本发明通过优化算法，能够在去除噪音的同时保证图像融合的精度，同时保留红外图像和可见光图像的优点，保证图像的清晰度。

附图说明

图1为本发明的流程示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种高性能红外-可见光融合探测方法，包括如下步骤：

步骤S100、图像的预处理，对红外图像进行直方图的均衡化，并且对图像中像素个数多的灰度级进行展宽，对像素个数少的灰度级进行缩减，获得清晰图像。

在图像融合中发现，红外图像往往存在着对比度不高，视觉效果较为模糊，不利于后期特征点的提取及匹配，而且还会由于图像融合的图像来自不同的传感器或者不同条件下拍摄得到的，可能存在分辨率、灰度范围等等差别，需要做归一化等初步的预处理工作，故在进行配准融合前需要进行预处理，以消除这些影响。

步骤S200、图像配准，通过Canny算子检测红外图像和可见光图像的边缘，之后构建图像尺度金字塔提取Fast特征点，并进行图像的配准。

图像配准是解决不同场景下获得的图像之间差异的技术手段，在许多高层次的图像处理过程中是必不可少的一步，直接影响着后续算法的效果。由于待配准图像的多样性以及各种干扰退化的影响，每种配准算法不仅需要考虑配准图像之间的几何变换模型，还要顾及噪声影响、配准精度以及应用数据特点等因素。

根据上述，图像配准包括四个步骤：首先，特征检测，显著独特的目标物体，如闭区域、边界、轮廓、交叉线、角点等，常被选为图像特征。为了进一步的图像处理，以上特征常常用控制点表征，例如直线端点、重心等等；其次，特征匹配，在这一步中，参考图像和待配准图像中提取的特征之间的相似度量建立起来了，根据需求，选取不同的特征描述算子以及相似度往往会产生相应的特征匹配算法；再者，变换模型估计，确定参考图像和待配准图像的几何变换的种类之后，变换的参数个数也就确定了，相应的参数空间也建立起来了，在第二步相似度量的基础上，在参数空间中寻优获得相似性最小的参数即为几何变换模型的参数；最后，图像变换与插值，待配准图像经过几何变换之后通常会产生非整数的空间坐标，而这些坐标的像素点的灰度值等无法确定，所以需要合适的插值方法来计算得到。

作为本发明的优选实施方式，在步骤S200中，图像配准的具体算法为：

步骤S201、提取图像边缘信息，利用Canny算子检测红外图像和可见光图像的边缘。

红外图像和可见光图像无论是灰度特性还是景象细节特征方面都具有明显的差异，直接提取特征点时，特征点分布有差异，而且在生成特征点的描述符时，即使是真实相对应的特征点其描述符也可能不一样，导致匹配失败。针对两者灰度和纹理信息都存在着较大的差异的情况下，发现可见光与红外图像中的边缘图像有着较好的相关性，通过Canny算子检测边缘，以获取更好的效果。

步骤S202、提取尺度不变特性特征点，通过图像尺度金字塔构建三个octave层和三个intra-octrave层，对六张图均进行FAST特征点检测。

在上述构建中，最顶层的图像相当于是底层图像下采样了6倍，其中，FAST特征点检测基于特征点周围的图像灰度值，检测候选特征点周围的像素值，设周围像素与该候选点的灰度值差别够大的个数为N，则该候选点为一个角点特征点，其中，I(x)为以候选特征点p为圆心，16为半径的圆上任意一点的灰度，I(p)为候选点特征点灰度，ε_d为阈值。

该算法具有速度快，效果好的优点，然后进行非极大值的抑制以及亚像素的差值，得到具有尺度不变性的特征点集。

步骤S203、特征点的匹配，对特征点提取描述符，通过各个特征点描述符的汉明距离进行特征点匹配。

其中，汉明距离指的是在数据传输差错控制编码里面，汉明距离是一个概念，它表示两个(相同长度)字对应位不同的数量，如果以d(x,y)表示两个字x,y之间的汉明距离，对两个字符串进行异或运算，并统计结果为1的个数，那么这个数就是汉明距离。

另外，特征点描述符的提取算法具体为：在特征点周围选择一个区域，在该区域内挑选出n_d个点对，然后对于每一个点对(p，d)均进行亮度值的比较，若I(p)>I(q)，则该点对生成了二值串中相应的位置为1，若I(p)<I(q)，二值串中相应的位置为-1，否则为0，所有的点对，都进行比较之间，生成了属于该特征点的一个n_d长的二进制串，称为该特征点的描述符。

需要补充说明的是，如装配过程中相机还存在在一定的旋转，可以考虑采用具有旋转不变性的描述符。在本实施方式中，由于装配过程是在同轴和视场中，故两幅图像中像素点的位置能对应的上，所以在匹配搜索阶段，为了较少运算时间，直接将在红外图像中得到的特征点映射到可见光图像中然后定义一个搜索半径，在可见光图像中以特征点为中心点，在搜索半径进行搜索匹配。

步骤S204、计算仿射变换矩阵，根据匹配得到的特征点，通过LMEDS算法确定六参数的仿射变换模型，在匹配点中随机挑选3对点对，计算仿射变换矩阵参数，并通过偏差值比较获得偏差值最小的仿射变换矩阵参数，并根据该参数对红外图像进行几何变换得到配准后的红外图像。

在上述中，设定在匹配的点对中随机挑选3对点对，计算仿射变换矩阵参数{a，b，c，d，e，f}，该变换参数下的偏差值定义为： 重复挑选M对，得到M组偏差值然后得到偏差值中最小值所对应的{a，b，c，d，e，f}就是所得的仿射变换参数，该参数描述了两图像间的旋转，平移，尺度变化，根据该参数对红外图像进行几何变换，在几何映射得到新图像中进行双线性差值，得到没有被映射到的像素点，得到配准后的红外图像。

步骤S205、灰度融合，对配准后的红外图像和可见光图像对应的像素做加权平均处理，并通过主成分分析法根据带融合图像的主成分来确定各待融合图像的权重。

在本实施方式中，设A(x，y)和B(x，y)分别为两幅图像A和B的像素点，则加平均法可以表示为：

F(x，y)＝w_AA(x，y)+w_BB(x，y)，其中w_A+w_B＝1，另外，w_A和w_B分别为两幅图像的加权系数，而且通过主成分分析法，根据主成分来确定各待融台图像的权重，从而能够保存两幅图像中各自较为明显的部分。

其具体的算法流程如下所示，可见光与红外图像矩阵的协方差为C，

其中，

计算协方差矩阵特征值λ₁和λ₂，令det(C-λI)＝0，则有

得到特征值后，计算得到第一主成分对应的特征向量(x，y)^T，则红外图像的权重分配为可见光图像权重

结合上述，目前的高斯滤波器一方面会造成图像的过度平滑，另一方面会使缓变边缘容易丢失，产生了噪声抑制和边缘细节提取之间的矛盾，在含噪声的图像中，这种算法的效果不好，所以单一尺度的边缘检测算子具有一定的局限性，小波变换可对图像进行多尺度分析，利用大的尺度过滤噪声，识别边缘，小的尺度实现边缘的准确定位，而且小波变换具有检测局域突变的能力，图像边缘正是灰度变换率最大的地方，因此本实施方式采用上述算法对图像进行边缘提取，并对边缘进行优化处理。

步骤S300、图像融合，通过融合算法在图像上进行红外和可见光的图像融合，得到灰度融合图像。

采用基于亮度对比度传递的快速彩色融合算法，标准的彩色融合算法，需要将图像由RGB空间转化为YUV空间，增加了运算时间，这里采用HIS融合算法，直接在RGB空间上进行简单的加法就可以实现红外与可见光的图像融合，具体算法为：

步骤S301、计算可见光彩色图像的亮度分量I_visible，

其中，

步骤S302、将亮度分量I_visible和红外图像IR直接相加获得灰度融合图像F，

其中F＝Γ(I_visible，IR)，Γ为HIS融合算法；

步骤S303、将灰度参数图像Ref的对比度和亮度传递给灰度融合图像F，获得调整后的灰度融合图像F^*，

其中(u_F，σ_F)为灰度融合图像F的均值和方差，(u_Ref，σ_Ref)为灰度参考图像Ref的均值和方差。

步骤S400、彩色映射，将可见光彩色图像的分量与灰度融合图像相加得到彩色融合图像。

将可见光彩色图像的R、G、B分量分别与(F^*-I_visible)相加得到最终的彩色融合图像[R_C，G_C，B_C]^T。

在本发明中，需要补充说明的是，依据融合发生的层次，多传感器的数据融合可以在四个不同的水平上完成，分别是：信号层、像素层、特征层、决策层。

(1)信号层融合，在基于信号的融合中，目的是结合不同传感器的信号生成一个比原信号信噪比更高的新信号；

(2)像素层融合，基于像素点的融合是逐点完成的，它产生一幅融合图像，图像中的每个像素点是根据多幅源图像的像素点信息生成的，效果是使生成的融合图像在图像处理中(例如图像分割)表现更优越；

(3)特征层融合，基于特征的融合需要从多样的数据源中提取出信息，它要求提取出图像中显著的特征集合，特征依据应用领域不同而各不相同，常用的有像素灰度值、边界或者纹理等等。最后将提取出的特征融合在一起；

(4)决策层融合，该层次的融合包含融合更高层次的信息、结合多种算法的结果来产生最终的融合决策。输入的图像分开处理，获得的信息用于最后的决策以加强决策的可靠性。图像的融合层次适用于不同的领域及场合，根据需求而定。

各层次的融合的比较如上所示，每种层次的融合有着其自身的特点及优势以及不可避免的缺陷。

进一步说明的是，像素级多分辨率图像融合方法主要有基于金字塔分解、小波变换、多尺度几何分析如Curvelet、Contourlet、非下采样Contourlet等方法。多分辨率分解融合方法能够很好地将图像中特征信息分解到不同尺度空间，是图像融合最重要发展方向。由于高斯金字塔是构造各种复杂金字塔的基础，高斯金字塔是反复使用低通滤波器和下采样后分解图像构成，即它是多分辨率、多尺度、低通滤波的结果，本实施方式采用高斯金字塔进行多分辨率图像融合。

设待分解源图像为G₀，第l层分解图像为G_l，分解层次N，那么可以得到：

其中，w(m,n)为生成核函数，该函数必须满足如下条件：

可分离性：w(m,n)＝w(m)xw(n),-2≤m≤2,-2≤n≤2；

对称性：w(m)＝w(-m)；

归一化：

奇偶项等贡献：w(2)+w(-2)+w(0)＝w(1)+w(-1)。

另外，粗匹配后得到的初始匹配点对一般存在两类误差，一是特征点自身定位的误差；二是误匹配点对。对于第一类误差是无法避免的，但是特征提取算法所检测到的特征点均具有亚像素级的精度，只要正确匹配点对数足够多，可以消除对后来图像配准精度的影响；第二类误差是客观存在的，它严重影响图像配准的精度，必须采取措施予以剔除，即使只有一对错误匹配点也不行。

因此，本发明还包括对极几何约束算法的校正，其具体算法如下：

首先对给定的图像进行归一化处理，选取匹配点对并计算基本矩阵，在剩余的匹配点对集合中寻找所有满足条件的点对，将它们视为内点，并记录内点的数量，重复上述步骤若干次，记录每一次的内点数量，确定采样次数，再次在初始匹配点集中寻找满足相同条件的点对，将它们视为最终的内点，即正确的匹配点对，否则，视为误匹配点对，予以剔除。

其中归一化方法具体为：对于给定的两幅图像，通过粗匹配得到初始的匹配点对集m_i与m′_i(i＝1,2，…，n)，分别对这些点坐标进行平移，使得两幅图像坐标系原点分别位于这些点的重心；对上述点集中的点坐标进行缩放变换，使得图像各自点集中的点到坐标原点的平均距离为2^1/2。

上述基本矩阵的匹配点为f对，且判断依据为Sampson距离d，判断条件为d<t，其中t为距离阈值，在本实施方式中为0.001，采样次数位K，当保证采样匹配点对都是内点的概率P足够高时，任何一对匹配点是外点的概率表示为ε，且是未知的，会随着程序的运行不断更新。

其中，

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (6)

1.一种高性能红外-可见光融合探测方法，其特征在于，包括如下步骤：

S100、图像的预处理，对红外图像进行直方图的均衡化，并且对图像中像素个数多的灰度级进行展宽，对像素个数少的灰度级进行缩减，获得清晰图像；

S200、图像配准，通过Canny算子检测红外图像和可见光图像的边缘，之后构建图像尺度金字塔提取Fast特征点，并进行图像的配准；

S300、图像融合，通过融合算法在图像上进行红外和可见光的图像融合，得到灰度融合图像；

S400、彩色映射，将可见光彩色图像的分量与灰度融合图像相加得到彩色融合图像。

2.根据权利要求1所述的一种高性能红外-可见光融合探测方法，其特征在于，在步骤S200中，图像配准的具体算法为：

S201、提取图像边缘信息，利用Canny算子检测红外图像和可见光图像的边缘；

S202、提取尺度不变特性特征点，通过图像尺度金字塔构建三个octave层和三个intra-octrave层，对六张图均进行FAST特征点检测；

S203、特征点的匹配，对特征点提取描述符，通过各个特征点描述符的汉明距离进行特征点匹配；

S204、计算仿射变换矩阵，根据匹配得到的特征点，通过LMEDS算法确定六参数的仿射变换模型，在匹配点中随机挑选3对点对，计算仿射变换矩阵参数，并通过偏差值比较获得偏差值最小的仿射变换矩阵参数，并根据该参数对红外图像进行几何变换得到配准后的红外图像；

S205、灰度融合，对配准后的红外图像和可见光图像对应的像素做加权平均处理，并通过主成分分析法根据带融合图像的主成分来确定各待融合图像的权重。

3.根据权利要求2所述的一种高性能红外-可见光融合探测方法，其特征在于，FAST特征点检测基于特征点周围的图像灰度值，检测候选特征点周围的像素值，设周围像素与该候选点的灰度值差别够大的个数为N，则该候选点为一个角点特征点，其中，

I(x)为以候选特征点p为圆心，16为半径的圆上任意一点的灰度，I(p)为候选点特征点灰度，ε_d为阈值。

4.根据权利要求2所述的一种高性能红外-可见光融合探测方法，其特征在于，特征点描述符的提取算法具体为：在特征点周围选择一个区域，在该区域内挑选出n_d个点对，然后对于每一个点对(p，d)均进行亮度值的比较，若I(p)>I(q)，则该点对生成了二值串中相应的位置为1，若I(p)<I(q)，二值串中相应的位置为-1，否则为0，所有的点对，都进行比较之间，生成了属于该特征点的一个n_d长的二进制串，称为该特征点的描述符。

5.根据权利要求1所述的一种高性能红外-可见光融合探测方法，其特征在于，在步骤S300中，灰度融合的具体算法为：

S301、计算可见光彩色图像的亮度分量I_visible，

其中，

S302、将亮度分量I_visible和红外图像IR直接相加获得灰度融合图像F，

其中F＝Γ(I_visible，IR)，Γ为HIS融合算法；

S303、将灰度参数图像Ref的对比度和亮度传递给灰度融合图像F，获得调整后的灰度融合图像F^*，

其中(u_F，σ_F)为灰度融合图像F的均值和方差，(u_Ref，σ_Ref)为灰度参考图像Ref的均值和方差。

6.根据权利要求1所述的一种高性能红外-可见光融合探测方法，其特征在于，还包括对极几何约束算法的校正，其具体算法如下：

首先对给定的图像进行归一化处理，选取匹配点对并计算基本矩阵，在剩余的匹配点对集合中寻找所有满足条件的点对，将它们视为内点，并记录内点的数量，重复上述步骤若干次，记录每一次的内点数量，确定采样次数，再次在初始匹配点集中寻找满足相同条件的点对，将它们视为最终的内点，即正确的匹配点对，否则，视为误匹配点对，予以剔除。