CN103295201A - 一种基于nsst域iicm的多传感器图像融合方法 - Google Patents

Abstract

本发明公开了一种基于NSST域IICM的多传感器图像融合方法，步骤1：构建IICM模型；步骤2，输入所有待融合的多传感器源图像进行NSST变换，每幅待融合多传感器源图像分别得到一幅低频子带图像和多幅高频子带图像；步骤3，将所有高频子带图像和低频子带图像导入IICM模型，完成低频子带图像的融合和高频子带图像的融合；步骤4，将最终融合图像的高频子带图像和低频子带图像进行NSST逆变换，得到最终融合图像。该方法针对经典ICM模型提出其改进模型—IICM，利用NSST完成多传感器源图像的多分辨率分析和最终融合图像的重构工作，采用IICM进行高、低频子带图像融合，使多传感器图像融合问题得到合理解决。

Description

一种基于NSST域IICM的多传感器图像融合方法

技术领域

本发明属于图像信息融合技术领域，具体涉及一种基于NSST域IICM的多传感器图像融合方法。

背景技术

图像融合是指针对不同传感器或同一传感器在不同工作模式下获取的关于同一场景的图像目标信息进行整合，充分利用各幅源图像中所包含的互补信息，以获取一幅内容更全面、信息更可靠的融合图像。图像传感器技术的飞速发展为人们提供了日益丰富的多传感器图像数据。然而，作为对立面，这些大量多角度、多层次的图像数据既存在互补性，又充斥着极大的冗余性和复杂性。因此，如何从这些兼有互补性和冗余性的多源海量数据中高效率地提取更可靠、更精炼、更准确的信息，已经成为图像融合领域迫切需要解决的热点问题。

近年来，国内外专家学者针对图像融合问题提出了诸多解决办法和研究途径，其中较为主流的方法主要有以下两类：一类是以非下采样轮廓波变换（NSCT）为代表的多尺度多分辨率分析方法；另一类是以第三代神经网络—脉冲耦合神经网络（PCNN）为代表的神经网络方法。针对前一类方法，虽然NSCT具有良好的图像处理性能，但其计算复杂度较高，难以适用于实时性要求较高的场合。为解决这一问题，Easley等人在研究图像特征最优逼近和图像稀疏表示的基础上提出了非下采样剪切波变换（NSST），与NSCT相比，NSST更能有效地捕捉图像的细节和特征信息，同时计算复杂度指标大幅降低，能够很好地应用于军事、医疗等实时性要求较高的实际场合。此外，交叉视觉皮层模型（ICM）作为经典PCNN的改进模型，具有良好的生物学背景和图像处理能力，然而，经典ICM模型中仍然存在待定系数较多，脉冲发放机制不明确的缺陷。

发明内容

针对上述现有技术中存在的缺陷或不足，本发明的目的在于，提供一种基于NSST域IICM的多传感器图像融合方法，该方法针对经典ICM模型提出其改进模型—IICM，一方面利用NSST完成多传感器源图像的多分辨率分析和最终融合图像的重构工作，另一方面采用IICM进行高、低频子带图像融合，从而使多传感器图像融合问题的合理解决。

为了达到上述目的，本发明采用如下的技术方案予以解决：

一种基于NSST域IICM的多传感器图像融合方法，该方法具体包括以下步骤：

步骤1，构建IICM模型，IICM模型的离散数学表达式如式1～式4所示：

F_ij[n]＝S_ij(1)

θ_ij[n]＝θ_ij[n-1]-Δ+hY_ij[n](3)

其中，下标ij为交叉视觉皮层神经元的定位标号；n为迭代次数，n的取值为非负整数；F_ij,S_ij,Y_ij,θ_ij分别是定位标号为ij的神经元的树突输入、神经元的外部输入、神经元的二值输出和动态阈值；S_ij采用图像中像素点对应的像素值；Δ为调整步长，取15；h为阈值幅度常数，取500；T为时间矩阵，其与神经元输出矩阵Y大小相等，其元素T_ij与Y_ij相联系，T_ij等于Y_ij为1时即神经元ij点火时所对应的迭代次数n的值；

步骤2，输入所有待融合的多传感器源图像，并对它们分别进行NSST变换，尺度分解级数为K，l_k为k尺度下的方向分解级数，其中1≤k≤K，每幅待融合多传感器源图像分别得到一幅低频子带图像和多幅高频子带图像；

步骤3，将所有高频子带图像和低频子带图像导入步骤1构建的IICM模型，根据预先设定的调整步长Δ，执行步骤3.1完成低频子带图像的融合，执行步骤3.2完成高频子带图像的融合；

步骤4，将步骤3获得的最终融合图像的高频子带图像和最终融合图像的低频子带图像进行NSST逆变换，得到最终融合图像。

进一步的，所述步骤3中步骤3.1的具体步骤如下：

根据待融合多传感器源图像的低频子带图像，利用式5确定调整步长Δ_{n_low}，并利用式1～式4将各幅待融合多传感器源图像对应的低频子带图像分别导入IICM模型，从最左上角的神经元开始运行，遍历所有低频子带图像，记录每幅低频子带图像的时间矩阵T中的对应元素值T_ij，并利用式6确定最终融合图像的低频子带图像fuse_low：

$\mathrm{fuse}\_{\mathrm{low}}_{\mathrm{ij}}=\arg \left\{\min (T_{\mathrm{ij}}^1,T_{\mathrm{ij}}^2,...,T_{\mathrm{ij}}^N)\right\}---\left(6\right)$

其中，N代表待融合多传感器源图像的数目，为大于1的整数；Δ_{n_low}为第n幅待融合多传感器源图像所对应的低频子带图像的调整步长；下标ij为交叉视觉皮层神经元的定位标号；

为第n幅低频子带图像中像素点的最大灰度值；“

”为“向上取整”操作；fuse_low_ij为最终融合图像的低频子带图像中的像素点，为在相同像素点空间坐标ij处，每幅低频子带图像中对应时间矩阵T中的最小元素值；arg为“求逆”操作，即将N幅低频子带图像中相同像素点位置对应时间矩阵T中最小元素值的灰度值赋予最终融合图像的低频子带图像中的像素点。

进一步的，所述步骤3中步骤3.2的具体步骤如下：

根据待融合多传感器源图像的高频子带图像，利用式7确定调整步长Δ_{n_high}，并利用式1～式4将各幅待融合多传感器源图像对应的高频子带图像分别导入IICM模型，从最左上角的神经元开始运行，遍历所有高频子带图像，记录每幅高频子带图像的时间矩阵T中的对应元素值T_ij，并利用式8确定最终融合图像的高频子带图像fuse_high：

$\mathrm{fuse}\_{\mathrm{high}}_{\mathrm{ij}}^{l_k}=\arg \{\min ({T_{\mathrm{ij}}}^{l_k,1},{T_{\mathrm{ij}}}^{l_k,2},...,{T_{\mathrm{ij}}}^{l_k,N})---\left(8\right)$

其中，N代表待融合多传感器源图像的数目，为大于1的整数；Δ_{n_high}为第n幅待融合多传感器源图像所对应的高频子带图像的调整步长；下标ij为像素点的空间坐标；l_k为k尺度分解下的方向分解级数，

为第n幅源图像中l_k方向分解级数下的高频子带图像中像素点的最大灰度值；为最终l_k方向分解级数下的最终融合图像的高频子带图像中的像素点，

为在相同像素点空间坐标ij处，各幅源图像中l_k方向分解级数下的高频子带图像中对应时间矩阵T中的最小元素值；arg为“求逆”操作，即将N幅l_k方向分解级数下的高频子带图像中，相同像素点位置对应时间矩阵T中最小元素值的灰度值赋予最终l_k方向分解级数下高频融合图像中的像素点。

以下结合附图和具体实施方式对发明进一步解释说明。

附图说明

图1为本发明方法的流程图。

图2为仿真实验的源图像图；其中，图2(a)为8-band SAR图像；图2(b)为3-band SAR图像。

图3为仿真实验的效果仿真图；其中，图3(a)为A1仿真结果；图3(b)为A2仿真结果；图3(c)为A3仿真结果；图3(d)为A4仿真结果；图3(e)为本发明的方法仿真结果。

具体实施方式

将多分辨率分析方法应用于图像融合领域时，融合方法和融合规则的选取对于最终融合图像的视觉效果和客观评价结果有着至关重要的作用和影响。人工神经网络模型模拟了人脑神经元的运行机制，在图像处理领域有着较为广泛的应用。PCNN是一种不同于传统人工神经网络的新型神经网络，有着重要的生物学背景，是由Eckhorn等人为解释在猫的大脑视觉皮层中实验所观察到的与特征有关的神经元同步行为现象而提出的第三代神经网络模型。ICM在其基础上进行了一定程度的简化与改进，并在图像处理领域中表现出良好的性能。本发明对经典ICM模型进一步改进，提出了IICM模型，并在NSST域内得到的一系列高、低频子带图像对应为IICM神经元结构图，利用IICM模型中的神经元脉冲发放机制、调整步长Δ和时间矩阵T对高、低频子带图像进行融合，考虑到所有子带图像的像素点均可以对应为相应的神经元，因此采用神经网络模型进行子带图像系数的选择工作是合理和可行的。

本发明的基于NSST域IICM的多传感器图像融合方法，具体包括以下步骤：

步骤1，构建IICM模型，确定IICM中各待定参数的确定方法；

IICM模型的离散数学表达式如式1～式4所示：

F_ij[n]＝S_ij(1)

θ_ij[n]＝θ_ij[n-1]-Δ+hY_ij[n](3)

其中，下标ij为交叉视觉皮层神经元的定位标号；n为迭代次数，n的取值为非负整数；F_ij,S_ij,Y_ij,θ_ij分别是定位标号为ij的神经元的树突输入、神经元的外部输入、神经元的二值输出和动态阈值；S_ij在本发明中采用图像中像素点对应的像素值，因此无需对其进行人工设定；Δ为调整步长，其用来确保各神经元阈值呈线性衰减趋势运行，本发明中取15；h为阈值幅度常数，用来限制每个神经元至多只点火1次，因而只需将其赋予一个较大的数值即可满足要求，本发明中将其设为500；T为时间矩阵，其与神经元输出矩阵Y大小相等，其元素T_ij与Y_ij相联系，T_ij等于Y_ij为1时即神经元ij点火时所对应的迭代次数n的值；Y_ij[n]决定了该神经元第n次迭代时的二值输出，若树突输入F_ij大于动态阈值θ_ij，则Y_ij为1，为自然点火，同时由于阈值幅度常数h的作用，其动态阈值θ_ij将急剧增大。当动态阈值θ_ij衰减到再次小于相应的树突输入值F_ij时，对应的神经元将再次点火，同时其动态阈值θ_ij也随之再次增大。随着这一过程的延续，神经元的二值输出Y_ij将生成一组脉冲序列信号。

步骤2，输入所有待融合的多传感器源图像，并对它们分别进行NSST变换（即非下采样剪切波变换，由于NSST变换为现有技术，因此在此不予赘述），尺度分解级数为K，l_k为k尺度下的方向分解级数，其中1≤k≤K，每幅待融合多传感器源图像分别得到一幅低频子带图像和多幅高频子带图像；

需要说明的是，NSST的离散化过程分为多尺度分解过程和多方向分解过程两部分，多尺度分解采用非下采样金字塔(Non-Subsampled Pyramid,NSP)分解方式，源图像每经一级NSP分解可产生1个低频子带图像和1个高频子带图像，以后每一级NSP分解都在低频分量上迭代进行以获取源图像中的奇异点。因而，源图像经k级NSP分解后，可得到k+1幅与源图像具有相同尺寸大小的子带图像，其中包括1幅低频子带图像和k幅大小相同但尺度不同的高频子带图像。NSST的多方向分解是针对多尺度分解过程得到的高频子带图像而进行的，整个过程可直接通过二维卷积完成，摒弃了下采样环节从而实现了NSST的平移不变性。当NSST对某尺度高频子带图像进行l级非下采样剪切波方向分解时，可得到2^l+2个与源图像具有相同尺寸大小的方向子带图像，从而实现频域中更为精确的方向分解。不同于二维离散小波的正方形支撑区间，NSST的支撑基是一对尺寸近似为2^2j×2^j的梯形支撑区间。

步骤3，将所有高频子带图像和低频子带图像导入步骤1构建的IICM模型，根据预先设定的调整步长Δ，执行步骤3.1完成低频子带图像的融合，执行步骤3.2完成高频子带图像的融合，具体操作如下：

步骤3.1，根据待融合多传感器源图像的低频子带图像，利用式5确定调整步长Δ_{n_low}，并利用式1～式4将各幅待融合多传感器源图像对应的低频子带图像分别导入IICM模型，从最左上角的神经元开始运行，遍历所有低频子带图像，记录每幅低频子带图像的时间矩阵T中的对应元素值T_ij（即每个神经元的点火序列），并利用式6确定最终融合图像的低频子带图像fuse_low：

$\mathrm{fuse}\_{\mathrm{low}}_{\mathrm{ij}}=\arg \left\{\min (T_{\mathrm{ij}}^1,T_{\mathrm{ij}}^2,...,T_{\mathrm{ij}}^N)\right\}---\left(6\right)$

其中，N代表待融合多传感器源图像的数目，为大于1的整数；Δ_{n_low}为第n幅待融合多传感器源图像所对应的低频子带图像的调整步长；下标ij为交叉视觉皮层神经元的定位标号；

为第n幅低频子带图像中像素点的最大灰度值；“

”为“向上取整”操作；fuse_low_ij为最终融合图像的低频子带图像中的像素点，

为在相同像素点空间坐标ij处，每幅低频子带图像中对应时间矩阵T中的最小元素值；arg为“求逆”操作，即将N幅低频子带图像中相同像素点位置对应时间矩阵T中最小元素值的灰度值赋予最终融合图像的低频子带图像中的像素点。

步骤3.2，根据待融合多传感器源图像的高频子带图像，利用式7确定调整步长Δ_{n_high}，并利用式1～式4将各幅待融合多传感器源图像对应的高频子带图像分别导入IICM模型，从最左上角的神经元开始运行，遍历所有高频子带图像，记录每幅高频子带图像的时间矩阵T中的对应元素值T_ij（即每个神经元的点火序列），并利用式8确定最终融合图像的高频子带图像fuse_high：

$\mathrm{fuse}\_{\mathrm{high}}_{\mathrm{ij}}^{l_k}=\arg \left\{\min ({T_{\mathrm{ij}}}^{l_k,1},{T_{\mathrm{ij}}}^{l_k,2},...,{T_{\mathrm{ij}}}^{l_k,N})\right\}---\left(8\right)$

其中，N代表待融合多传感器源图像的数目，为大于1的整数；Δ_{n_high}为第n幅待融合多传感器源图像所对应的高频子带图像的调整步长；下标ij为像素点的空间坐标；l_k为k尺度分解下的方向分解级数，

为第n幅源图像中l_k方向分解级数下的高频子带图像中像素点的最大灰度值；为最终l_k方向分解级数下的高频融合图像（即由待融合多传感器源图像所对应的多幅高频子带图像融合后的图像，也即最终融合图像的高频子带图像）中的像素点，

为在相同像素点空间坐标ij处，各幅源图像中l_k方向分解级数下的高频子带图像中对应时间矩阵T中的最小元素值；arg为“求逆”操作，即将N幅l_k方向分解级数下的高频子带图像中，相同像素点位置对应时间矩阵T中最小元素值的灰度值赋予最终l_k方向分解级数下高频融合图像中的像素点。

步骤4，将步骤3获得的最终融合图像的高频子带图像和最终融合图像的低频子带图像进行NSST逆变换（NSST逆变换为现有技术，在此不予赘述），得到最终融合图像。

实施例：

本发明的方法在实际应用时，采用计算机MATLAB软件技术实现自动运行。为了更好地对本发明的技术方案加以理解，本实施例选用两幅SAR图像进行融合。参见图1，图中将8-band SAR图像记为“8-band”，3-band SAR图像记为“3-band”，最终融合图像记为“F”；遵循本发明的技术方案，本实施例的基于NSST域IICM的多传感器融合方法，具体包括如下步骤：

步骤1，输入8-band SAR图像和3-band SAR图像，运用NSST变换（由于NSST变换为现有技术，在此不予赘述）对8-band SAR图像和3-band SAR图像进行多尺度多方向分解，其中多尺度分解级数定为3级，按照由“粗”至“细”的分辨率层，多方向分解级数依次为2,3,4，对应的剪切波窗口尺寸分别为3,5,9。分别得到该两幅源图像的子带图像，包括2幅低频子带图像：low_8-band和low_3-band，68幅高频子带图像：其中多尺度分解I级下各6幅高频子带图像、多尺度分解II级下各10幅高频子带图像、多尺度分解III级下各18幅高频子带图像。方便起见，这里将两幅源图像的高频子带图像记为high_8-band和high_3-band；

步骤2，根据所述的IICM模型，运用其中的神经元脉冲发放机制、调整步长Δ和时间矩阵T对高、低频子带图像进行融合，其中，执行步骤2.1得到最终融合图像的低频子带图像，执行步骤2.2得到最终融合图像的高频子带图像。

经历了NSST变换后的低频子带图像侧重于反映图像的主体特征和背景信息，是对整幅图像强度的综合度量。以图1中的两幅SAR源图像为例，经NSST变换后，该两幅SAR源图像分别得到一幅对应的低频子带图像，低频子带图像将反映出其对应的SAR源图像的主体特征和背景信息。另一方面，经过NSST变换后的高频子带图像主要侧重于反映图像目标的细节信息，是对整幅图像边缘和轮廓的细致度量。

此外，由于两幅源图像分别为8-band图像和3-band图像，因此，其对应的低频子带图像也分别具有8-band、3-band的SAR图像特征，对应的高频子带图像也由于源图像的固有差异、不同尺度不同方向分解下所描述的信息差异分别具有8-band、3-band的SAR图像特征，因此，某些可能在其中一幅图像中可以观测到的地面特征在另一幅图像中可能无法得到充分显示或不可见，因此，对高、低频系数采取常用的平均加权或是取最值法的融合规则进行融合无法充分考虑图像传感器的物理特性，势必在融合过程中造成信息特征的畸变。本发明的方法采用具备生物学背景的新型神经网络模型IICM进行融合规则的设计，运用其中的神经元脉冲发放机制、调整步长Δ和时间矩阵T对高、低频子带图像进行融合。

步骤2.1：采用IICM模型得出最终融合图像的低频子带图像，如图1中的F_low，具体操作如下：

根据待融合多传感器源图像的低频子带图像，利用式9确定调整步长Δ_{n_low}，并利用式1～式4将两幅SAR源图像对应的低频子带图像low_8-band和low_3-band分别导入IICM模型，从最左上角的神经元开始运行，遍历所有低频子带图像，记录每幅低频子带图像的时间矩阵T中的对应元素值（即每个神经元的点火序列），并利用式10确定最终融合图像的低频子带图像fuse_low：

$\mathrm{fuse}\_{\mathrm{low}}_{\mathrm{ij}}=\arg \left\{\min (T_{\mathrm{ij}}^1,T_{\mathrm{ij}}^2)\right\}---\left(10\right)$

其中，Δ_{n_low}为第n幅待融合多传感器源图像所对应的低频子带图像的相应调整步长，1≤n≤2；下标ij为像素点的空间坐标；为第n幅低频子带图像中像素点的最大灰度值；“

”为“向上取整”操作；fuse_low_ij为最终融合图像的低频子带图像中的像素点，

为在相同像素点空间坐标ij处，每幅低频子带图像中对应时间矩阵T中的最小元素值；arg为“求逆”操作，即将2幅低频子带图像中相同像素点位置对应时间矩阵T中最小元素值的灰度值赋予最终融合图像的低频子带图像中的像素点。

执行步骤2.2采用IICM模型得出最终融合图像的高频子带图像，如图1中的F_high，具体方式如下：

根据待融合多传感器源图像的高频子带图像，利用式11确定调整步长Δ_{n_high}，并利用式1～式4将各幅待融合多传感器源图像对应的高频子带图像分别导入IICM模型，从最左上角的神经元开始运行，遍历所有高频子带图像，记录每幅高频子带图像的时间矩阵T中的对应元素值（即每个神经元的点火序列），并利用式12确定最终融合图像的高频子带图像fuse_high：

$\mathrm{fuse}\_{\mathrm{high}}_{\mathrm{ij}}^{l_k}=\arg \left\{\min ({T_{\mathrm{ij}}}^{l_k,1},{T_{\mathrm{ij}}}^{l_k,2})\right\}---\left(12\right)$

其中，Δ_{n_high}为第n幅待融合多传感器源图像所对应的高频子带图像的相应调整步长；下标ij为像素点的空间坐标；l_k为k尺度分解下的方向分解级数，

为第n幅源图像中l_k方向分解级数下的高频子带图像中像素点的最大灰度值；

为最终l_k方向分解级数下的高频融合图像（即由原先待融合多传感器源图像所对应的多幅高频子带图像融合后的图像，为最终融合图像的高频子带图像）中的像素点，

为在相同像素点空间坐标ij处，各幅源图像中l_k方向分解级数下的高频子带图像中对应时间矩阵T中的最小元素值；arg为“求逆”操作，即将2幅l_k方向分解级数下对应的高频子带图像中、相同像素点位置对应时间矩阵T中最小元素值的灰度值赋予最终l_k方向分解级数下高频融合图像中的像素点。

步骤3，将步骤2得到的最终融合图像的低频子带图像F_low和高频子带图像F_high进行NSST逆变换（即图中的INSST，NSST逆变换为现有技术，在此不予赘述），得到最终融合图像F。

仿真对比试验：

为了验证本发明的方法的有效性，以下通过一组仿真实验来验证同现行的多种常规图像融合方法相比，采用本发明方法具有更好的合理有效性：

遵循本发明的技术方案，融合一组SAR源图像，该组源图像包括一幅8-band SAR图像（见图2(a)）和一幅3-band SAR图像（见图2(b)），并将融合效果与现行的几种常规算法进行比较。首先，对两幅待融合源图像进行NSST变换；然后，采用本发明提出的IICM模型对NSST变换后产生的一系列高、低频子带图像进行融合处理；最后，对一系列融合子带图像进行NSST逆变换。同时，选取现行的几种常规算法包括shearlet变换（A1）、静态小波-NSCT-PCNN算法（A2）、NSST-PCNN算法（A3）以及NSCT-ICM算法（A4）与本发明对应算法进行比较。

图3给出了五种算法的仿真实验结果。不难看出，在融合图像中，各种算法均能较好地提取和保留源图像中的主体信息，然而，经过仔细观察可以发现，A1对应的融合图像由于shearlet变换不具备“平移不变性”而存在一定的“Gibbs”振铃效应，即虚假轮廓信息；A2和A3对应的融合图像由于PCNN迭代规则的局限性导致图像整体亮度较差，与其它几种算法的仿真结果存在明显差异；A4和本发明算法的仿真结果较为接近，这是由于A4采用了经典ICM模型，而在仔细比较后不难发现，本发明算法对应的融合图像相比A4具有更高的清晰度和更为理想的整体效果。

除了直观视觉效果比较以外，还选取了包括信息熵（IE）、标准差（SD）、平均梯度（AG）、互信息量（MI）以及结构相似度指标（SSIM）等作为五种算法的客观质量评价指标。其中，IE数值的大小表示图像所包含平均信息量的多少，IE越大表明图像的信息量越大；SD的数值反映了图像中细节反差的变化特征，SD越大，图像内容的反差就越大；AG数值的大小反映了图像的清晰程度，AG越大，图像越清晰；MI的数值反映了最终融合图像与待融合源图像的相似程度，MI越大，表明最终融合图像从待融合源图像中提取的信息越多；SSIM是一种用来衡量两幅图像相似度的新指标，其数值越大，代表最终融合图像与待融合源图像拥有更多的相似特征。表1给出了仿真实验中五种图像融合算法对应的最终融合图像的客观评价结果。

表1五种图像融合算法的客观评价结果

从表1的客观评价结果可以看出，本发明在IE、AG、MI、SSIM指标上均优于其它4种算法，即使在表现次优的SD评价指标上与A4对应的指标值也基本相当，这与直观视觉效果评价结果是吻合的，表明本发明算法能够从两幅待融合源图像中提取出更多、更细致的主体信息和边缘细节信息并注入到最终的融合图像中，从而得到直观视觉效果和客观评价结果均优的高质量融合图像。

此外，除了针对最终图像融合效果进行评价，表2还给出了五种图像融合算法平均计算复杂度对比结果。

表2五种图像融合算法的平均计算复杂度对比结果(单位：s)

由表2可知，A2与A4的平均计算复杂度远高于其它三种算法，这是因为A2、A4中都采用了NSCT作为源图像多尺度、多方向分解的分析工具，而NSCT模型本身具有较高的计算复杂度，因而致使两种算法的运行时间远超过其它算法。在A1、A3和本发明算法三种算法中，A3运行时间最长，本发明算法次之，A1算法运行时间最短，这是由于A1的运行机制最为简单，仅采用了shearlet变换模型；而A3采用了将NSST与PCNN相结合的机制用于解决图像融合问题，算法自身的复杂性要高于A1，而本发明算法采用了NSST与IICM相结合的机制，IICM是PCNN的改进型和简化型模型，因此运行时间少于A3，但高于A1。然而，即便如此，本发明算法在五种算法中仍然处于次优的地位，尤其考虑到其优越的图像融合性能，可以认为其在平均计算复杂度方面的瑕疵仍然是可以接受的。

综上所述，由本发明的方法与现行的几种常规算法比较可知，本发明无论在直观视觉效果还是客观评价指标均具有十分明显的优势，能够很好的对源图像进行融合处理，是一种可行的多传感器图像融合方法。

以上内容是结合最佳实施方案对本发明所做的进一步详细说明，不能认定本发明的具体实施只限于这些说明。本领域的技术人员应该理解，在不脱离由所附权利要求书限定的情况下，可以在细节上进行各种修改，都应当视为属于本发明的保护范围。

Claims (3)

1.一种基于NSST域IICM的多传感器图像融合方法，其特征在于，该方法具体包括以下步骤：

步骤1，构建IICM模型，IICM模型的离散数学表达式如式1～式4所示：

F_ij[n]＝S_ij(1)

θ_ij[n]＝θ_ij[n-1]-Δ+hY_ij[n](3)

其中，下标ij为交叉视觉皮层神经元的定位标号；n为迭代次数，n的取值为非负整数；F_ij,S_ij,Y_ij,θ_ij分别是定位标号为ij的神经元的树突输入、神经元的外部输入、神经元的二值输出和动态阈值；S_ij采用图像中像素点对应的像素值；Δ为调整步长，取15；h为阈值幅度常数，取500；T为时间矩阵，其与神经元输出矩阵Y大小相等，其元素T_ij与Y_ij相联系，T_ij等于Y_ij为1时即神经元ij点火时所对应的迭代次数n的值；

步骤2，输入所有待融合的多传感器源图像，并对它们分别进行NSST变换，尺度分解级数为K，l_k为k尺度下的方向分解级数，其中1≤k≤K，每幅待融合多传感器源图像分别得到一幅低频子带图像和多幅高频子带图像；

步骤3，将所有高频子带图像和低频子带图像导入步骤1构建的IICM模型，根据预先设定的调整步长Δ，执行步骤3.1完成低频子带图像的融合，执行步骤3.2完成高频子带图像的融合；

步骤4，将步骤3获得的最终融合图像的高频子带图像和最终融合图像的低频子带图像进行NSST逆变换，得到最终融合图像。

2.如权利要求1所述的基于NSST域IICM的多传感器图像融合方法，其特征在于，所述步骤3中步骤3.1的具体步骤如下：

根据待融合多传感器源图像的低频子带图像，利用式5确定调整步长Δ_{n_low}，并利用式1～式4将各幅待融合多传感器源图像对应的低频子带图像分别导入IICM模型，从最左上角的神经元开始运行，遍历所有低频子带图像，记录每幅低频子带图像的时间矩阵T中的对应元素值T_ij，并利用式6确定最终融合图像的低频子带图像fuse_low：

$\mathrm{fuse}\_{\mathrm{low}}_{\mathrm{ij}}=\arg \left\{\min (T_{\mathrm{ij}}^1,T_{\mathrm{ij}}^2,...,T_{\mathrm{ij}}^N)\right\}---\left(6\right)$

其中，N代表待融合多传感器源图像的数目，为大于1的整数；Δ_{n_low}为第n幅待融合多传感器源图像所对应的低频子带图像的调整步长；下标ij为交叉视觉皮层神经元的定位标号；

为第n幅低频子带图像中像素点的最大灰度值；“

”为“向上取整”操作；fuse_low_ij为最终融合图像的低频子带图像中的像素点，

为在相同像素点空间坐标ij处，每幅低频子带图像中对应时间矩阵T中的最小元素值；arg为“求逆”操作，即将N幅低频子带图像中相同像素点位置对应时间矩阵T中最小元素值的灰度值赋予最终融合图像的低频子带图像中的像素点。

3.如权利要求1所述的基于NSST域IICM的多传感器图像融合方法，其特征在于，所述步骤3中步骤3.2的具体步骤如下：

根据待融合多传感器源图像的高频子带图像，利用式7确定调整步长Δ_{n_high}，并利用式1～式4将各幅待融合多传感器源图像对应的高频子带图像分别导入IICM模型，从最左上角的神经元开始运行，遍历所有高频子带图像，记录每幅高频子带图像的时间矩阵T中的对应元素值T_ij，并利用式8确定最终融合图像的高频子带图像fuse_high：

$\mathrm{fuse}\_{\mathrm{high}}_{\mathrm{ij}}^{l_k}=\arg \left\{\min ({T_{\mathrm{ij}}}^{l_k,1},{T_{\mathrm{ij}}}^{l_k,2},...,{T_{\mathrm{ij}}}^{l_k,N})\right\}---\left(8\right)$

其中，N代表待融合多传感器源图像的数目，为大于1的整数；Δ_{n_high}为第n幅待融合多传感器源图像所对应的高频子带图像的调整步长；下标ij为像素点的空间坐标；l_k为k尺度分解下的方向分解级数，为第n幅源图像中l_k方向分解级数下的高频子带图像中像素点的最大灰度值；

为最终l_k方向分解级数下的最终融合图像的高频子带图像中的像素点，

为在相同像素点空间坐标ij处，各幅源图像中l_k方向分解级数下的高频子带图像中对应时间矩阵T中的最小元素值；arg为“求逆”操作，即将N幅l_k方向分解级数下的高频子带图像中，相同像素点位置对应时间矩阵T中最小元素值的灰度值赋予最终l_k方向分解级数下高频融合图像中的像素点。

Images