CN104504673A - 基于nsst的可见光与红外图像融合方法及*** - Google Patents

Abstract

本发明提供一种基于NSST的可见光与红外图像融合方法及***，包括输入可见光和红外图像并进行NSST变换，分别得到可见光图像和红外图像的子带系数，所述的子带系数包括低频子带系数和高频子带系数；求低频子带系数的邻域平均能量，计算各子区域的区域能量特征值，采用基于区域能量特征值的加权策略计算融合图像的低频子带系数；采用基于四阶相关系数的匹配策略计算融合图像的高频子带系数；进行NSST反变换，得到融合图像。本发明能够更好地保留图像边缘和纹理等细节信息，有效地综合红外图像的目标信息与可见光图像的细节信息。

Description

基于NSST的可见光与红外图像融合方法及***

技术领域

本发明属于图像处理数据融合技术领域，设计一种基于非下采样Shearlet变换(NSST)的可见光与红外图像融合方法及***。

背景技术

图像融合技术将源自不同传感器的同一目标或场景的图像进行综合处理，剔除冗余信息且尽可能保留互补信息，可以获得信息更丰富、更可靠的融合图像。红外与可见光图像融合是图像融合领域的一个重要应用，红外图像表征特定场景向外辐射能量的差异，具有良好目标指示性，但对亮度变化不敏感、对比度较低。可见光图像噪声低、清晰度高，含较丰富的细节信息。因此将这两种图像进行融合，有利于综合红外图像良好的目标特性和可见光图像丰富的细节信息。

近年来，多尺度分析方法在图像融合领域取得许多研究成果。多尺度分析方法发展经历了小波变换，Contourlet变换、非下采样Contourlet变换等。小波变换对点奇异目标函数可实现最优表示，但其方向有限性未能较好地表示线奇异函数，使之不能简单推广到二维。Contourlet变换有效弥补了小波变换的缺陷，可以更好地表示二维甚至更高维奇异性问题，但其不具备平移不变性易导致混频现象。为较好实现平移不变性，A L Cunha等学者提出了非下采样Contourlet变换(NSCT)，其兼具Contourlet的变换的优势，且具有平移不变性。相比NSCT，近几年兴起的剪切波变换(shearlet transform，ST)融合法虽然具有更灵活的结构、更高的计算效率和更理想的图像融合效果，然而其并不具备平移不变性。非下采样剪切波变换(non-subsampled shearlet transform，NSST)作为ST的改进型模型，具有优越的图像处理性能。

图像融合过程中，NSST虽能较好地完成分解与重构任务，但高频与低频子带系数融合规则的设计也同样起到重要作用。传统的融合规则即低频平均加权与高频绝对值取大将会导致融合图像对比度下降。邓承志等在低频部分采用基于粒子群优化算法的加权系数融合规则，考虑到不同传感器低频成分的差异，但在高频部分直接用加权局部能量取大值法，没有考虑邻域内像素间的相互影响，而且迭代运算速度较快，精度很难把握。叶传奇等在处理高频部分时考虑到邻域内像素间的相关性，采用基于区域方差的选择策略，低频分量采用基于区域相似度的融合策略，融合效果有所改进，但其存在一定的模糊度。

发明内容

本发明的目的在于针对现有技术的缺点和不足，提出一种基于NSST的可见光与红外图像融合技术方案。

本发明所采用的技术方案是一种基于NSST的可见光与红外图像融合方法，包括以下步骤：

步骤1，输入可见光和红外图像并进行NSST变换，分别得到可见光图像和红外图像的子带系数，所述的子带系数包括低频子带系数和高频子带系数；

步骤2，根据可见光图像和红外图像的低频子带系数，采用基于区域能量特征值的加权策略计算融合图像的低频子带系数，实现如下，

对可见光图像和红外图像每个像素，分别按照以下原则求低频子带系数的邻域平均能量，

$E_{\mathrm{vis}}(m,n)=\frac{1}{X\×Y}\underset{x=(X-1)/2}{\overset{(X+1)/2}{\mathrm{\Σ}}}\underset{y=-(Y-1)/2}{\overset{(Y+1)/2}{\mathrm{\Σ}}}{\left[C_{\mathrm{vis}}^l(m+x,n+y)\right]}^2$

$E_{\inf }(m,n)=\frac{1}{X\×Y}\underset{x=(X-1)/2}{\overset{(X+1)/2}{\mathrm{\Σ}}}\underset{y=-(Y-1)/2}{\overset{(Y+1)/2}{\mathrm{\Σ}}}{\left[C_{\inf }^l(m+x,n+y)\right]}^2$

其中， 分别表示红外图像、可见光图像中像素(m+x,n+y)的低频子带系数；E_vis(m,n)、E_inf(m,n)分别表示可见光图像、红外图像在像素点(m,n)处的邻域平均能量，X×Y为预设的邻域大小，(m+x,n+y)为像素点(m,n)的邻域内任一点；

对可见光图像和红外图像，分别按照同样的方式将图像中所有像素的低频子带系数的邻域平均能量构成邻域能量矩阵，将得到的相应邻域能量矩阵划分成若干个互不重叠的独立子区域，并计算各子区域的区域能量特征值；然后，根据见光图像和红外图像中各子区域的区域能量特征值，按区域能量特征值的加权策略计算融合图像中相应子区域的低频子带系数，实现如下，

设图像中某像素点(m,n)属于第i个子区域，根据第i个子区域的融合权值求取融合图像中该像素点的低频子带系数如下，

$C_{\mathrm{fus},i}^l(m,n)=w_{\mathrm{vis},i}\×C_{\mathrm{vis}}^l(m,n)+w_{\inf ,i}\×C_{\inf }^l(m,n)$

其中， 分别表示红外图像、可见光图像中像素(m,n)的低频子带系数；w_inf,i、w_vis,i分别表示红外图像、可见光图像第i个子区域的融合权值，定义如下，

w_vis,i＝E′_vis,i/(E′_vis,i+E′_inf,i)

w_inf,i＝E′_inf,i/(E′_vis,i+E′_inf,i)

其中，E′_vis,i、E′_inf,i分别表示可见光图像和红外图像第i个子区域的区域能量特征值；

步骤3，根据可见光图像和红外图像的高频子带系数，采用基于四阶相关系数的匹配策略计算融合图像的高频子带系数，实现如下，

设置一个滑动窗口，在滑动窗口遍历到任一位置时计算可见光图像和红外图像的高频子带系数在滑动窗口内的四阶相关系数F，设滑动窗口遍历到任一位置时的窗口中心为图像某像素点(m,n)，

当F＞th时，融合图像的高频子带系数求取如下，

$C_{\mathrm{fus}}^h(m,n)=\left\{\begin{array}{c}(1-R)\·C_{\inf }^h(m,n)+R\·C_{\mathrm{vis}}^h(m,n),\left|C_{\inf }^h(m,n)\right|>\left|C_{\mathrm{vis}}^h(m,n)\right|\\ (1-R)\·C_{\mathrm{vis}}^h(m,n)+R\·C_{\inf }^h(m,n),\left|C_{\inf }^h(m,n)\right|\≤\left|C_{\mathrm{vis}}^h(m,n)\right|\end{array}\right.$

其中，加权系数R的计算方式为

反之，则

$C_{\mathrm{fus}}^h(m,n)=\left\{\begin{array}{c}{C}_{\inf }^h(m,n),\left|C_{\inf }^h(m,n)\right|>\left|C_{\mathrm{vis}}^h(m,n)\right|\\ C_{\mathrm{vis}}^h(m,n),\left|C_{\inf }^h(m,n)\right|\≤\left|C_{\mathrm{vis}}^h(m,n)\right|\end{array}\right.$

其中， 和分别表示红外图像、可见光图像和融合图像在像素点(m,n)的高频子带系数，th为预设阈值；

步骤4，根据步骤2、3所得融合图像的低频子带系数和高频子带系数，进行NSST反变换，得到融合图像。

而且，步骤2中，可见光图像和红外图像第i个子区域的区域能量特征值E′_vis,i、E′_inf,i求取如下，

设第i个子区域的中心为图像中某像素点(m,n)，定义如下，

$E_{\mathrm{vis},i}^{\′}=\frac{1}{M\×N}\underset{a=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\Σ}}}\underset{b=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\Σ}}}{E}_{\mathrm{vis}}(m+a,n+b)$

$E_{\inf ,i}^{\′}=\frac{1}{M\×N}\underset{a=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\Σ}}}\underset{b=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\Σ}}}{E}_{\inf }(m+a,n+b)$

其中，邻域平均能量E_vis(m+a,n+b)、E_inf(m+a,n+b)分别表示可见光图像、红外图像在像素点(m+a,n+b)处的邻域平均能量，M×N为预设的子区域大小，(m+a,n+b)为第i个子区域内任一点。

而且，步骤3中，四阶相关系数F的计算方式如下，

$F=\frac{1}{M^{\′}\×N^{\′}}\×\frac{\underset{m^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}\underset{n^{\′}=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{(C_{\inf }^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\inf })}^2{(C_{\mathrm{vis}}^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\mathrm{vis}})}^2}{\sqrt{\left(\underset{m^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}\underset{n^{\′}=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{(C_{\inf }^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\inf })}^4\right)\left(\underset{m^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}\underset{n^{\′}=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{(C_{\mathrm{vis}}^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\mathrm{vis}})}^4\right)}}$

其中， 分别表示红外图像和可见光图像中像素(m+m′,n+n′)的高频子带系数，μ_inf、μ_vis分别表示红外图像和可见光图像的高频子带系数在滑动窗口的均值，M′×N′为预设的滑动窗口大小，(m+m′,n+n′)为以像素点(m,n)为中心的滑动窗口内任一点。

本发明还相应提供一种基于NSST的可见光与红外图像融合***，包括以下模块：

NSST变换模块，用于输入可见光和红外图像并进行NSST变换，分别得到可见光图像和红外图像的子带系数，所述的子带系数包括低频子带系数和高频子带系数；

低频子带系数融合模块，用于根据可见光图像和红外图像的低频子带系数，采用基于区域能量特征值的加权策略计算融合图像的低频子带系数，实现如下，

对可见光图像和红外图像每个像素，分别按照以下原则求低频子带系数的邻域平均能量，

$E_{\mathrm{vis}}(m,n)=\frac{1}{X\×Y}\underset{x=(X-1)/2}{\overset{(X+1)/2}{\mathrm{\Σ}}}\underset{y=-(Y-1)/2}{\overset{(Y+1)/2}{\mathrm{\Σ}}}{\left[C_{\mathrm{vis}}^l(m+x,n+y)\right]}^2$

$E_{\inf }(m,n)=\frac{1}{X\×Y}\underset{x=(X-1)/2}{\overset{(X+1)/2}{\mathrm{\Σ}}}\underset{y=-(Y-1)/2}{\overset{(Y+1)/2}{\mathrm{\Σ}}}{\left[C_{\inf }^l(m+x,n+y)\right]}^2$

其中， 分别表示红外图像、可见光图像中像素(m+x,n+y)的低频子带系数；E_vis(m,n)、E_inf(m,n)分别表示可见光图像、红外图像在像素点(m,n)处的邻域平均能量，X×Y为预设的邻域大小，(m+x,n+y)为像素点(m,n)的邻域内任一点；

对可见光图像和红外图像，分别按照同样的方式将图像中所有像素的低频子带系数的邻域平均能量构成邻域能量矩阵，将得到的相应邻域能量矩阵划分成若干个互不重叠的独立子区域，并计算各子区域的区域能量特征值；然后，根据见光图像和红外图像中各子区域的区域能量特征值，按区域能量特征值的加权策略计算融合图像中相应子区域的低频子带系数，实现如下，

设图像中某像素点(m,n)属于第i个子区域，根据第i个子区域的融合权值求取融合图像中该像素点的低频子带系数如下，

$C_{\mathrm{fus},i}^l(m,n)=w_{\mathrm{vis},i}\×C_{\mathrm{vis}}^l(m,n)+w_{\inf ,i}\×C_{\inf }^l(m,n)$

其中， 分别表示红外图像、可见光图像中像素(m,n)的低频子带系数；w_inf,i、w_vis,i分别表示红外图像、可见光图像第i个子区域的融合权值，定义如下，

w_vis,i＝E′_vis,i/(E′_vis,i+E′_inf,i)

w_inf,i＝E′_inf,i/(E′_vis,i+E′_inf,i)

其中，E′_vis,i、E′_inf,i分别表示可见光图像和红外图像第i个子区域的区域能量特征值；

高频子带系数融合模块，用于根据可见光图像和红外图像的高频子带系数，采用基于四阶相关系数的匹配策略计算融合图像的高频子带系数，实现如下，

设置一个滑动窗口，在滑动窗口遍历到任一位置时计算可见光图像和红外图像的高频子带系数在滑动窗口内的四阶相关系数F，设滑动窗口遍历到任一位置时的窗口中心为图像某像素点(m,n)，

当F＞th时，融合图像的高频子带系数求取如下，

$C_{\mathrm{fus}}^h(m,n)=\left\{\begin{array}{c}(1-R)\·C_{\inf }^h(m,n)+R\·C_{\mathrm{vis}}^h(m,n),\left|C_{\inf }^h(m,n)\right|>\left|C_{\mathrm{vis}}^h(m,n)\right|\\ (1-R)\·C_{\mathrm{vis}}^h(m,n)+R\·C_{\inf }^h(m,n),\left|C_{\inf }^h(m,n)\right|\≤\left|C_{\mathrm{vis}}^h(m,n)\right|\end{array}\right.$

其中，加权系数R的计算方式为

反之，则

$C_{\mathrm{fus}}^h(m,n)=\left\{\begin{array}{c}{C}_{\inf }^h(m,n),\left|C_{\inf }^h(m,n)\right|>\left|C_{\mathrm{vis}}^h(m,n)\right|\\ C_{\mathrm{vis}}^h(m,n),\left|C_{\inf }^h(m,n)\right|\≤\left|C_{\mathrm{vis}}^h(m,n)\right|\end{array}\right.$

其中， 和分别表示红外图像、可见光图像和融合图像在像素点(m,n)的高频子带系数，th为预设阈值；

NSST反变换模块，用于根据低频子带系数融合模块和高频子带系数融合模块所得融合图像的低频子带系数和高频子带系数，进行NSST反变换，得到融合图像。

而且，低频子带系数融合模块中，可见光图像和红外图像第i个子区域的区域能量特征值E′_vis,i、E′_inf,i求取如下，

设第i个子区域的中心为图像中某像素点(m,n)，定义如下，

$E_{\mathrm{vis},i}^{\′}=\frac{1}{M\×N}\underset{a=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\Σ}}}\underset{b=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\Σ}}}{E}_{\mathrm{vis}}(m+a,n+b)$

$E_{\inf ,i}^{\′}=\frac{1}{M\×N}\underset{a=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\Σ}}}\underset{b=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\Σ}}}{E}_{\inf }(m+a,n+b)$

其中，邻域平均能量E_vis(m+a,n+b)、E_inf(m+a,n+b)分别表示可见光图像、红外图像在像素点(m+a,n+b)处的邻域平均能量，M×N为预设的子区域大小，(m+a,n+b)为第i个子区域内任一点。

而且，高频子带系数融合模块中，四阶相关系数F的计算方式如下，

$F=\frac{1}{M^{\′}\×N^{\′}}\×\frac{\underset{m^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}\underset{n^{\′}=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{(C_{\inf }^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\inf })}^2{(C_{\mathrm{vis}}^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\mathrm{vis}})}^2}{\sqrt{\left(\underset{m^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}\underset{n^{\′}=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{(C_{\inf }^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\inf })}^4\right)\left(\underset{m^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}\underset{n^{\′}=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{(C_{\mathrm{vis}}^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\mathrm{vis}})}^4\right)}}$

其中， 分别表示红外图像和可见光图像中像素(m+m′,n+n′)的高频子带系数，μ_inf、μ_vis分别表示红外图像和可见光图像的高频子带系数在滑动窗口的均值，M′×N′为预设的滑动窗口大小，(m+m′,n+n′)为以像素点(m,n)为中心的滑动窗口内任一点。

本发明提供的技术方案的有益效果为：针对红外图像和可见光图像的成像特点，本文在低频部分子带系数采用基于融合图像自身物理特性的区域能量特征值加权系数的选择方案，高频子带系数考虑到高频分量的变化，引入区域四阶相关系数匹配度，降低融合图像的模糊度的同时，更好地保留了图像边缘和纹理等细节信息，有效地综合了红外图像的目标信息与可见光图像的细节信息。应用本发明能够有效地综合原始图像的有用信息，在主观视觉效果和客观评价指标上都具有较好的融合效果。

附图说明

图1为本发明实施例流程图。

具体实施方式

在图像融合方法中，融合策略的选择至关重要。基于像素的融合策略，认为像素与像素之间是相互独立的，没有考虑像素与其领域像素的相互影响，融合图像易丢失一些有用信息，特别是当待融合图像“匹配度”不高时，同时这类方法没有考虑到高频分量的变化；基于区域的融合策略忽略图像分量的变化，得到的融合图像会有一定程度的模糊度；由于红外和可见光图像的物理特性的差异，其灰度分布特性相差很大，甚至极性完全相反，融合策略必须考虑到这些物理特性。本发明提出一种基于非下采样Shearlet变换(NSST)的融合方法，在低频子带系数考虑到红外和可见光图像不同的物理特性，采用基于区域能量特征值加权的融合策略；在高频子带系数，考虑到红外和可见光图像灰度分布特性的差异，区域系数匹配度易出现“负值”现象，引入四阶相关系数F计算区域内红外和可见光图像高频系数的匹配度，并据此来决定融合图像的高频系数。

为了更好的理解本发明的技术方案，下面结合附图和实施例对本发明做进一步的详细说明。

本发明的技术方案可采用计算机软件技术实现自动运行。本发明的实施例是对一副可见光图像和一副红外图像进行融合。参照图1，可见光图像表示为VI，红外图像表示为IR，融合图像标示为FU；本发明实施例的步骤如下：

步骤1，输入可见光图像和红外图像并进行NSST变换，分别得到可见光图像与红外图像的子带系数，所述子带系数包括低频子带系数和高频子带系数。

所输入待融合的可见光图像和红外图像是已经配准的结果，可见光图像和红外图像的像素一一对应。实施例首先提取高频子带系数(VI)、高频子带系数(IR)、低频子带系数(VI)、低频子带系数(IR)。通过对原始图像进行NSST变换，可得到一系列不同尺度不同方向的高低频子带系数。具体的NSST变换为现有技术，本发明不予赘述。

步骤2，根据可见光图像和红外图像的低频子带系数提取区域能量特征值，计算融合图像的低频子带系数：实施例在步骤2中采用基于区域能量特征值的加权策略计算融合图像的低频子带系数，如图1中的低频子带系数FU。低频子带系数反映了图像的能量分布，即源图像的近似特征，其占据了源图像大部分能量信息。传统的平均加权忽略了局部邻域内像素间的相关性，会降低融合图像对比度，损失部分有用的信息，基于区域能量特征值的加权融合策略有效地减少了可见光图像细节信息丢失和红外图像的信息冗余。

实施例的步骤2具体实现方式如下：

对可见光图像和红外图像每个像素，分别按照以下原则求低频子带系数的邻域平均能量：

$E_{\mathrm{vis}}(m,n)=\frac{1}{X\×Y}\underset{x=(X-1)/2}{\overset{(X+1)/2}{\mathrm{\Σ}}}\underset{y=-(Y-1)/2}{\overset{(Y+1)/2}{\mathrm{\Σ}}}{\left[C_{\mathrm{vis}}^l(m+x,n+y)\right]}^2---\left(1\right)$

$E_{\inf }(m,n)=\frac{1}{X\×Y}\underset{x=(X-1)/2}{\overset{(X+1)/2}{\mathrm{\Σ}}}\underset{y=-(Y-1)/2}{\overset{(Y+1)/2}{\mathrm{\Σ}}}{\left[C_{\inf }^l(m+x,n+y)\right]}^2---\left(2\right)$

其中， 分别表示红外图像、可见光图像中像素(m+x,n+y)的低频子带系数；E_vis(m,n)、E_inf(m,n)分别表示可见光图像、红外图像在像素点(m,n)处的邻域平均能量，X×Y为预设的邻域大小，具体实施时本领域技术人员可自行设定取值，本实施例中取3×3，(m+x,n+y)为像素点(m,n)的邻域内任一点；

对可见光图像和红外图像，分别按照同样的方式计算各子区域的区域能量特征值：一幅图像中所有像素的低频子带系数的邻域平均能量构成邻域能量矩阵，然后将得到的相应邻域能量矩阵划分成若干个互不重叠的独立子区域，并计算各子区域的区域能量特征值。对可见光图像和红外图像的子区域划分方式相同，因此融合图像中也有相应子区域，可进行一致的编号，使可见光图像和红外图像的第i个子区域与融合图像的第i个子区域相应。根据见光图像和红外图像中各子区域的区域能量特征值，按区域能量特征值的加权策略计算融合图像中相应子区域的低频子带系数如下：

设图像中某像素点(m,n)属于第i个子区域，根据第i个子区域的融合权值求取融合图像中该像素点的低频子带系数如下，

$C_{\mathrm{fus},i}^l(m,n)=w_{\mathrm{vis},i}\×C_{\mathrm{vis}}^l(m,n)+w_{\inf ,i}\×C_{\inf }^l(m,n)---\left(3\right)$

其中， 分别表示红外图像、可见光图像中像素(m,n)的低频子带系数；w_inf,i、w_vis,i分别表示红外图像、可见光图像第i个子区域的融合权值，其定义如下：

w_vis,i＝E′_vis,i/(E′_vis,i+E′_inf,i)   (4)

w_inf,i＝E′_inf,i/(E′_vis,i+E′_inf,i)   (5)

其中，E′_vis,i、E′_inf,i分别表示可见光图像和红外图像第i个子区域进行邻域能量区域化后的区域能量特征值，本发明实施例进一步提供了求取方式：

设第i个子区域的中心为图像中某像素点(m,n)，其定义如下，

$E_{\mathrm{vis},i}^{\′}=\frac{1}{M\×N}\underset{a=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\Σ}}}\underset{b=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\Σ}}}{E}_{\mathrm{vis}}(m+a,n+b)---\left(6\right)$

$E_{\inf ,i}^{\′}=\frac{1}{M\×N}\underset{a=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\Σ}}}\underset{b=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\Σ}}}{E}_{\inf }(m+a,n+b)---\left(7\right)$

其中，邻域平均能量E_vis(m+a,n+b)、E_inf(m+a,n+b)分别表示可见光图像、红外图像在像素点(m+a,n+b)处的邻域平均能量，M×N为预设的子区域大小，具体实施时本领域技术人员可自行设定取值，在本实施例中取3×3，(m+a,n+b)为第i个子区域内任一点。

步骤3，根据可见光图像和红外图像的高频子带系数，采用基于四阶相关系数的匹配策略计算融合图像的高频子带系数。

实施例在步骤3中采用基于四阶相关系数的匹配策略计算融合图像的高频子带系数，如图1中高频子带系数(FU)。高频系数反映了图像的细节特征分布，包含丰富的纹理、轮廓信息。由于红外和可见光图像灰度分布特性的差异，区域系数匹配度易出现“负值”现象，因此本发明引入四阶相关系数F计算区域内红外和可见光图像高频系数的匹配度，并据此来选择融合图像的高频系数。具体方式如下：

设置一个滑动窗口，在滑动窗口遍历到任一位置时计算可见光图像和红外图像的高频子带系数在滑动窗口内的四阶相关系数F，设滑动窗口遍历到任一位置时的窗口中心为图像某像素点(m,n)，

当F＞th时，融合图像的高频子带系数求取如下：

$C_{\mathrm{fus}}^h(m,n)=\left\{\begin{array}{c}(1-R)\·C_{\inf }^h(m,n)+R\·C_{\mathrm{vis}}^h(m,n),\left|C_{\inf }^h(m,n)\right|>\left|C_{\mathrm{vis}}^h(m,n)\right|\\ (1-R)\·C_{\mathrm{vis}}^h(m,n)+R\·C_{\inf }^h(m,n),\left|C_{\inf }^h(m,n)\right|\≤\left|C_{\mathrm{vis}}^h(m,n)\right|\end{array}\right.---\left(8\right)$

其中，加权系数R的计算方式为：

反之，则：

$C_{\mathrm{fus}}^h(m,n)=\left\{\begin{array}{c}{C}_{\inf }^h(m,n),\left|C_{\inf }^h(m,n)\right|>\left|C_{\mathrm{vis}}^h(m,n)\right|\\ C_{\mathrm{vis}}^h(m,n),\left|C_{\inf }^h(m,n)\right|\≤\left|C_{\mathrm{vis}}^h(m,n)\right|\end{array}\right.---\left(9\right)$

其中， 和分别表示红外图像、可见光图像和融合图像在像素点(m,n)的高频子带系数，像素点(m,n)为滑动窗口的中心；th为预设阈值，具体实施时本领域技术人员可自行设定取值。

本发明实施例进一步提供了四阶相关系数F的计算方法为：

$F=\frac{1}{M^{\′}\×N^{\′}}\×\frac{\underset{m^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}\underset{n^{\′}=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{(C_{\inf }^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\inf })}^2{(C_{\mathrm{vis}}^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\mathrm{vis}})}^2}{\sqrt{\left(\underset{m^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}\underset{n^{\′}=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{(C_{\inf }^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\inf })}^4\right)\left(\underset{m^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}\underset{n^{\′}=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{(C_{\mathrm{vis}}^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\mathrm{vis}})}^4\right)}}---\left(10\right)$

其中， 分别表示红外图像和可见光图像中像素(m+m′,n+n′)的高频子带系数，μ_inf、μ_vis分别表示红外图像和可见光图像的高频子带系数在滑动窗口的均值，此处M′×N′为预设的滑动窗口大小，具体实施时本领域技术人员可自行设定取值，实施例所选择的窗口M′×N′为3×3；(m+m′,n+n′)为以像素点(m,n)为中心的滑动窗口内任一点。

步骤4，根据步骤2、3得到的融合图像的低频子带系数和高频子带系数进行NSST反变换，得到融合图像。具体NSST反变换为现有技术，本发明不予赘述。

本发明还相应提供一种基于NSST的可见光与红外图像融合***，包括以下模块：

NSST变换模块，用于输入可见光和红外图像并进行NSST变换，分别得到可见光图像和红外图像的子带系数，所述的子带系数包括低频子带系数和高频子带系数；

低频子带系数融合模块，用于根据可见光图像和红外图像的低频子带系数，采用基于区域能量特征值的加权策略计算融合图像的低频子带系数，实现如下，

对可见光图像和红外图像每个像素，分别按照以下原则求低频子带系数的邻域平均能量，

$E_{\mathrm{vis}}(m,n)=\frac{1}{X\×Y}\underset{x=(X-1)/2}{\overset{(X+1)/2}{\mathrm{\Σ}}}\underset{y=-(Y-1)/2}{\overset{(Y+1)/2}{\mathrm{\Σ}}}{\left[C_{\mathrm{vis}}^l(m+x,n+y)\right]}^2$

$E_{\inf }(m,n)=\frac{1}{X\×Y}\underset{x=(X-1)/2}{\overset{(X+1)/2}{\mathrm{\Σ}}}\underset{y=-(Y-1)/2}{\overset{(Y+1)/2}{\mathrm{\Σ}}}{\left[C_{\inf }^l(m+x,n+y)\right]}^2$

其中， 分别表示红外图像、可见光图像中像素(m+x,n+y)的低频子带系数；E_vis(m,n)、E_inf(m,n)分别表示可见光图像、红外图像在像素点(m,n)处的邻域平均能量，X×Y为预设的邻域大小，(m+x,n+y)为像素点(m,n)的邻域内任一点；

对可见光图像和红外图像，分别按照同样的方式将图像中所有像素的低频子带系数的邻域平均能量构成邻域能量矩阵，将得到的相应邻域能量矩阵划分成若干个互不重叠的独立子区域，并计算各子区域的区域能量特征值；然后，根据见光图像和红外图像中各子区域的区域能量特征值，按区域能量特征值的加权策略计算融合图像中相应子区域的低频子带系数，实现如下，

设图像中某像素点(m,n)属于第i个子区域，根据第i个子区域的融合权值求取融合图像中该像素点的低频子带系数如下，

$C_{\mathrm{fus},i}^l(m,n)=w_{\mathrm{vis},i}\×C_{\mathrm{vis}}^l(m,n)+w_{\inf ,i}\×C_{\inf }^l(m,n)$

其中， 分别表示红外图像、可见光图像中像素(m,n)的低频子带系数；w_inf,i、w_vis,i分别表示红外图像、可见光图像第i个子区域的融合权值，定义如下，

w_vis,i＝E′_vis,i/(E′_vis,i+E′_inf,i)

w_inf,i＝E′_inf,i/(E′_vis,i+E′_inf,i)

其中，E′_vis,i、E′_inf,i分别表示可见光图像和红外图像第i个子区域的区域能量特征值；

高频子带系数融合模块，用于根据可见光图像和红外图像的高频子带系数，采用基于四阶相关系数的匹配策略计算融合图像的高频子带系数，实现如下，

设置一个滑动窗口，在滑动窗口遍历到任一位置时计算可见光图像和红外图像的高频子带系数在滑动窗口内的四阶相关系数F，设滑动窗口遍历到任一位置时的窗口中心为图像某像素点(m,n)，

当F＞th时，融合图像的高频子带系数求取如下，

$C_{\mathrm{fus}}^h(m,n)=\left\{\begin{array}{c}(1-R)\·C_{\inf }^h(m,n)+R\·C_{\mathrm{vis}}^h(m,n),\left|C_{\inf }^h(m,n)\right|>\left|C_{\mathrm{vis}}^h(m,n)\right|\\ (1-R)\·C_{\mathrm{vis}}^h(m,n)+R\·C_{\inf }^h(m,n),\left|C_{\inf }^h(m,n)\right|\≤\left|C_{\mathrm{vis}}^h(m,n)\right|\end{array}\right.$

其中，加权系数R的计算方式为

反之，则

$C_{\mathrm{fus}}^h(m,n)=\left\{\begin{array}{c}{C}_{\inf }^h(m,n),\left|C_{\inf }^h(m,n)\right|>\left|C_{\mathrm{vis}}^h(m,n)\right|\\ C_{\mathrm{vis}}^h(m,n),\left|C_{\inf }^h(m,n)\right|\≤\left|C_{\mathrm{vis}}^h(m,n)\right|\end{array}\right.$

其中， 和分别表示红外图像、可见光图像和融合图像在像素点(m,n)的高频子带系数，th为预设阈值；

NSST反变换模块，用于根据低频子带系数融合模块和高频子带系数融合模块所得融合图像的低频子带系数和高频子带系数，进行NSST反变换，得到融合图像。

各模块具体实现和各步骤相应，本发明不予赘述。

本发明与传统图像融合方法比较可知，不管是从客观评价指标上，还是主观视觉上，本发明的方法都具有明显的优势，能更好地保留了目标信息，同时也显著地提高了图像的信息量，是一种有效的图像融合方法。

Claims (6)

1.一种基于NSST的可见光与红外图像融合方法，其特征在于，包括以下步骤：

步骤1，输入可见光和红外图像并进行NSST变换，分别得到可见光图像和红外图像的子带系数，所述的子带系数包括低频子带系数和高频子带系数；

步骤2，根据可见光图像和红外图像的低频子带系数，采用基于区域能量特征值的加权策略计算融合图像的低频子带系数，实现如下，

对可见光图像和红外图像每个像素，分别按照以下原则求低频子带系数的邻域平均能量，

$E_{\mathrm{vis}}(m,n)=\frac{1}{X\×Y}\underset{x=(X-1)/2}{\overset{(X+1)/2}{\mathrm{\Σ}}}\underset{y=-(Y-1)/2}{\overset{(Y+1)/2}{\mathrm{\Σ}}}{\left[C_{\mathrm{vis}}^l(m+x,n+y)\right]}^2$

$E_{\inf }(m,n)=\frac{1}{X\×Y}\underset{x=(X-1)/2}{\overset{(X+1)/2}{\mathrm{\Σ}}}\underset{y=-(Y-1)/2}{\overset{(Y+1)/2}{\mathrm{\Σ}}}{\left[C_{\inf }^l(m+x,n+y)\right]}^2$

其中，分别表示红外图像、可见光图像中像素(m+x,n+y)的低频子带系数；E_vis(m,n)、E_inf(m,n)分别表示可见光图像、红外图像在像素点(m,n)处的邻域平均能量，X×Y为预设的邻域大小，(m+x,n+y)为像素点(m,n)的邻域内任一点；

对可见光图像和红外图像，分别按照同样的方式将图像中所有像素的低频子带系数的邻域平均能量构成邻域能量矩阵，将得到的相应邻域能量矩阵划分成若干个互不重叠的独立子区域，并计算各子区域的区域能量特征值；然后，根据见光图像和红外图像中各子区域的区域能量特征值，按区域能量特征值的加权策略计算融合图像中相应子区域的低频子带系数，实现如下，

设图像中某像素点(m,n)属于第i个子区域，根据第i个子区域的融合权值求取融合图像中该像素点的低频子带系数如下，

$C_{\mathrm{fus},i}^l(m,n)=w_{\mathrm{vis},i}\×C_{\mathrm{vis}}^l(m,n)+w_{\inf ,i}\×C_{\inf }^l(m,n)$

其中，分别表示红外图像、可见光图像中像素(m,n)的低频子带系数；w_inf,i、w_vis,i分别表示红外图像、可见光图像第i个子区域的融合权值，定义如下，

w_vis,i＝E′_vis,i/(E′_vis,i+E′_inf,i)

w_inf,i＝E′_inf,i/(E′_vis,i+E′_inf,i)

其中，E′_vis,i、E′_inf,i分别表示可见光图像和红外图像第i个子区域的区域能量特征值；

步骤3，根据可见光图像和红外图像的高频子带系数，采用基于四阶相关系数的匹配策略计算融合图像的高频子带系数，实现如下，

设置一个滑动窗口，在滑动窗口遍历到任一位置时计算可见光图像和红外图像的高频子带系数在滑动窗口内的四阶相关系数F，设滑动窗口遍历到任一位置时的窗口中心为图像某像素点(m,n)，

当F＞th时，融合图像的高频子带系数求取如下，

$C_{\mathrm{fus}}^h(m,n)=\left\{\begin{array}{cc}(1-R)\·C_{\inf }^h(m,n)+R\·C_{\mathrm{vis}}^h(m,n),& \left|C_{\inf }^h(m,n)\right|>\left|C_{\mathrm{vis}}^h(m,n)\right|\\ (1-R)\·C_{\mathrm{vis}}^h(m,n)+R\·C_{\inf }^h(m,n),& \left|C_{\inf }^h(m,n)\right|\≤\left|C_{\mathrm{vis}}^h(m,n)\right|\end{array}\right.$

其中，加权系数R的计算方式为

反之，则

$C_{\mathrm{fus}}^h(m,n)=\left\{\begin{array}{cc}{C}_{\inf }^h(m,n),& \left|C_{\inf }^h(m,n)\right|>\left|C_{\mathrm{vis}}^h(m,n)\right|\\ C_{\mathrm{vis}}^h(m,n),& \left|C_{\inf }^h(m,n)\right|\≤\left|C_{\mathrm{vis}}^h(m,n)\right|\end{array}\right.$

其中，和分别表示红外图像、可见光图像和融合图像在像素点(m,n)的高频子带系数，th为预设阈值；

步骤4，根据步骤2、3所得融合图像的低频子带系数和高频子带系数，进行NSST反变换，得到融合图像。

2.根据权利要求1所述的基于NSST的可见光与红外图像融合方法，其特征在于：步骤2中，可见光图像和红外图像第i个子区域的区域能量特征值E′_vis,i、E′_inf,i求取如下，

设第i个子区域的中心为图像中某像素点(m,n)，定义如下，

$E_{\mathrm{vis},i}^{\′}=\frac{1}{M\×N}\underset{a=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\Σ}}}\underset{b=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\Σ}}}{E}_{\mathrm{vis}}(m+a,n+b)$

$E_{\inf ,i}^{\′}=\frac{1}{M\×N}\underset{a=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\Σ}}}\underset{b=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\Σ}}}{E}_{\inf }(m+a,n+b)$

其中，邻域平均能量E_vis(m+a,n+b)、E_inf(m+a,n+b)分别表示可见光图像、红外图像在像素点(m+a,n+b)处的邻域平均能量，M×N为预设的子区域大小，(m+a,n+b)为第i个子区域内任一点。

3.根据权利要求1或2所述的基于NSST的可见光与红外图像融合方法，其特征在于：步骤3中，四阶相关系数F的计算方式如下，

$F=\frac{1}{M^{\′}\×N^{\′}}\×\frac{\underset{m^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}\underset{n^{\′}=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{(C_{\inf }^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\inf })}^2{(C_{\mathrm{vis}}^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\mathrm{vis}})}^2}{\sqrt{\left(\underset{m^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}\underset{n^{\′}=1}{\overset{N^{\′}}{\mathrm{\Σ}}}(C_{\inf }^h{(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\inf })}^4\right)\left(\underset{m^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}\underset{n^{\′}=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{(C_{\mathrm{vis}}^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\mathrm{vis}})}^4\right)}}$

其中，分别表示红外图像和可见光图像中像素(m+m′,n+n′)的高频子带系数，μ_inf、μ_vis分别表示红外图像和可见光图像的高频子带系数在滑动窗口的均值，M′×N′为预设的滑动窗口大小，(m+m′,n+n′)为以像素点(m,n)为中心的滑动窗口内任一点。

4.一种基于NSST的可见光与红外图像融合***，其特征在于，包括以下模块：

NSST变换模块，用于输入可见光和红外图像并进行NSST变换，分别得到可见光图像和红外图像的子带系数，所述的子带系数包括低频子带系数和高频子带系数；

低频子带系数融合模块，用于根据可见光图像和红外图像的低频子带系数，采用基于区域能量特征值的加权策略计算融合图像的低频子带系数，实现如下，

对可见光图像和红外图像每个像素，分别按照以下原则求低频子带系数的邻域平均能量，

$E_{\mathrm{vis}}(m,n)=\frac{1}{X\×Y}\underset{x=(X-1)/2}{\overset{(X+1)/2}{\mathrm{\Σ}}}\underset{y=-(Y-1)/2}{\overset{(Y+1)/2}{\mathrm{\Σ}}}{\left[C_{\mathrm{vis}}^l(m+x,n+y)\right]}^2$

$E_{\inf }(m,n)=\frac{1}{X\×Y}\underset{x=(X-1)/2}{\overset{(X+1)/2}{\mathrm{\Σ}}}\underset{y=-(Y-1)/2}{\overset{(Y+1)/2}{\mathrm{\Σ}}}{\left[C_{\inf }^l(m+x,n+y)\right]}^2$

其中，分别表示红外图像、可见光图像中像素(m+x,n+y)的低频子带系数；E_vis(m,n)、E_inf(m,n)分别表示可见光图像、红外图像在像素点(m,n)处的邻域平均能量，X×Y为预设的邻域大小，(m+x,n+y)为像素点(m,n)的邻域内任一点；

对可见光图像和红外图像，分别按照同样的方式将图像中所有像素的低频子带系数的邻域平均能量构成邻域能量矩阵，将得到的相应邻域能量矩阵划分成若干个互不重叠的独立子区域，并计算各子区域的区域能量特征值；然后，根据见光图像和红外图像中各子区域的区域能量特征值，按区域能量特征值的加权策略计算融合图像中相应子区域的低频子带系数，实现如下，

设图像中某像素点(m,n)属于第i个子区域，根据第i个子区域的融合权值求取融合图像中该像素点的低频子带系数如下，

$C_{\mathrm{fus},i}^l(m,n)=w_{\mathrm{vis},i}\×C_{\mathrm{vis}}^l(m,n)+w_{\inf ,i}\×C_{\inf }^l(m,n)$

其中，分别表示红外图像、可见光图像中像素(m,n)的低频子带系数；w_inf,i、w_vis,i分别表示红外图像、可见光图像第i个子区域的融合权值，定义如下，

w_vis,i＝E′_vis,i/(E′_vis,i+E′_inf,i)

w_inf,i＝E′_inf,i/(E′_vis,i+E′_inf,i)

其中，E′_vis,i、E′_inf,i分别表示可见光图像和红外图像第i个子区域的区域能量特征值；

高频子带系数融合模块，用于根据可见光图像和红外图像的高频子带系数，采用基于四阶相关系数的匹配策略计算融合图像的高频子带系数，实现如下，

设置一个滑动窗口，在滑动窗口遍历到任一位置时计算可见光图像和红外图像的高频子带系数在滑动窗口内的四阶相关系数F，设滑动窗口遍历到任一位置时的窗口中心为图像某像素点(m,n)，

当F＞th时，融合图像的高频子带系数求取如下，

$C_{\mathrm{fus}}^h(m,n)=\left\{\begin{array}{cc}(1-R)\·C_{\inf }^h(m,n)+R\·C_{\mathrm{vis}}^h(m,n),& \left|C_{\inf }^h(m,n)\right|>\left|C_{\mathrm{vis}}^h(m,n)\right|\\ (1-R)\·C_{\mathrm{vis}}^h(m,n)+R\·C_{\inf }^h(m,n),& \left|C_{\inf }^h(m,n)\right|\≤\left|C_{\mathrm{vis}}^h(m,n)\right|\end{array}\right.$

其中，加权系数R的计算方式为

反之，则

$C_{\mathrm{fus}}^h(m,n)=\left\{\begin{array}{cc}{C}_{\inf }^h(m,n),& \left|C_{\inf }^h(m,n)\right|>\left|C_{\mathrm{vis}}^h(m,n)\right|\\ C_{\mathrm{vis}}^h(m,n),& \left|C_{\inf }^h(m,n)\right|\≤\left|C_{\mathrm{vis}}^h(m,n)\right|\end{array}\right.$

其中，和分别表示红外图像、可见光图像和融合图像在像素点(m,n)的高频子带系数，th为预设阈值；

NSST反变换模块，用于根据低频子带系数融合模块和高频子带系数融合模块所得融合图像的低频子带系数和高频子带系数，进行NSST反变换，得到融合图像。

5.根据权利要求1所述的基于NSST的可见光与红外图像融合方法，其特征在于：低频子带系数融合模块中，可见光图像和红外图像第i个子区域的区域能量特征值E′_vis,i、E′_inf,i求取如下，

设第i个子区域的中心为图像中某像素点(m,n)，定义如下，

$E_{\mathrm{vis},i}^{\′}=\frac{1}{M\×N}\underset{a=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\Σ}}}\underset{b=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\Σ}}}{E}_{\mathrm{vis}}(m+a,n+b)$

$E_{\inf ,i}^{\′}=\frac{1}{M\×N}\underset{a=-(M-1)/2}{\overset{(M+1)/2}{\mathrm{\Σ}}}\underset{b=-(N-1)/2}{\overset{(N+1)/2}{\mathrm{\Σ}}}{E}_{\inf }(m+a,n+b)$

其中，邻域平均能量E_vis(m+a,n+b)、E_inf(m+a,n+b)分别表示可见光图像、红外图像在像素点(m+a,n+b)处的邻域平均能量，M×N为预设的子区域大小，(m+a,n+b)为第i个子区域内任一点。

6.根据权利要求1或2所述的基于NSST的可见光与红外图像融合方法，其特征在于：高频子带系数融合模块中，四阶相关系数F的计算方式如下，

$F=\frac{1}{M^{\′}\×N^{\′}}\×\frac{\underset{m^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}\underset{n^{\′}=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{(C_{\inf }^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\inf })}^2{(C_{\mathrm{vis}}^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\mathrm{vis}})}^2}{\sqrt{\left(\underset{m^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}\underset{n^{\′}=1}{\overset{N^{\′}}{\mathrm{\Σ}}}(C_{\inf }^h{(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\inf })}^4\right)\left(\underset{m^{\′}=1}{\overset{M^{\′}}{\mathrm{\Σ}}}\underset{n^{\′}=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{(C_{\mathrm{vis}}^h(m+m^{\′},n+n^{\′})-{\mathrm{\μ}}_{\mathrm{vis}})}^4\right)}}$

其中，分别表示红外图像和可见光图像中像素(m+m′,n+n′)的高频子带系数，μ_inf、μ_vis分别表示红外图像和可见光图像的高频子带系数在滑动窗口的均值，M′×N′为预设的滑动窗口大小，(m+m′,n+n′)为以像素点(m,n)为中心的滑动窗口内任一点。