CN104008533A - 基于分块自适应特征跟踪的多传感器图像融合方法 - Google Patents

Abstract

本发明提供一种基于分块自适应特征跟踪的多传感器图像融合方法，该方法由如下步骤构成：1将待融合的两幅源图像都划分成图像块，并将每块图像块的像素表示成列向量，得到源图像的块像素矩阵表示；2将像素矩阵去直流分量后进行稀疏分解，得到每块图像块的稀疏分解系数；3对图像块的稀疏分解系数进行融合，得到融合图像块系数矩阵；4对图像块的融合图像块系数矩阵进行重构，再加上直流分量，得到融合图像块像素矩阵；5还原所有位置的图像块的融合图像块像素矩阵，得到最终的融合图像；其中，稀疏分解中采用一种复合迭代终止策略，对***残差、***残差迭代收敛速率和***稀疏度进行综合控制，从而更为快捷地得到质量更好的融合图像。

Description

基于分块自适应特征跟踪的多传感器图像融合方法

技术领域

本发明涉及图像处理技术领域，包括图像融合、匹配追踪和信号稀疏分解等，具体涉及一种基于分块自适应特征跟踪的多传感器图像融合方法。

背景技术

通常来讲，图像融合的目的是将来源于多通道设备或多传感器所获得的关于同一物体的图像数据信息经过图像处理的相关技术，尽可能的从中提取有用的信息进行融合，最终得到一幅高质量的合成图像。从而提高图像信息的利用率，改善原始图像的空间分辨率和光谱分辨率，为后续的分析和处理提供方便。图像融合技术在不同领域都有着广泛应用，大致可分为三种：多聚焦图像融合、遥感多谱段图像融合和多模态医疗影像图像融合。

对于多聚焦图像，为了获得一个三维场景的清晰的图像，通常希望通过一次拍摄保留在焦平面上的信息越详细越好。然而，由于摄像装置景深的物理限制，这样的一次拍摄是很难实现的。但是关于同一场景的一组不同焦点的图像是容易获得的，通过特定的融合规则将不同焦点位置上的聚焦图像融合，就可以产生“全聚焦”的图像。这类图像融合通常应用在于监视***、军事分析、机器视觉和视觉***增强等方面。

另外，在航空航天、气象和地形测绘、水利建设、城市规划和实时监控等领域，通常需要将从红外摄像机获得的红外光谱图像和从数字摄像机上获得的可见光图像进行融合。实际上，红外图像包含目标检测和定位信息，可见光图像往往提供被调查区域的背景信息。通过多光谱图像融合，可以获得进一步的数据完整性分析和场景的准确表示。

针对图像融合，研究者提出了各种各样的融合规则。最简单的方法是直接对输入图像在空间域进行加权平均，但是这样无法避免地造成细节特征损失和对比度下降等问题。在众多的信号处理方法中，人们希望找到一种稀疏的信号表示方式，采用稀疏逼近取代原始数据表示可从实质上降低信号处理的成本，提高压缩效率。近年，超完备的信号稀疏表示理论得到了长足的发展和应用，1993年Mallat和Zhang首次提出了应用超完备冗余字典对信号进行稀疏分解的思想，并引入了匹配追踪(marching pursuit，MP)算法。和传统的多尺度变换的信号分解方法相比，基于冗余字典的信号分解是将信号映射到一个经过训练的过完备(冗余)的字典上，通过一定的迭代从字典中挑选出最佳原子，然后选择这些原子的线性组合来描述信号。字典的构成没有任何限制，原则是尽可能好的符合被逼近信号的结构。过完备表示字典中的基准原子数目超过信号的维数，这样的字典包含丰富的变换基，保证信号更稳定，更有意义的表示。正交匹配追踪算法(OMP)在MP算法的基础上，在分解的每一步对所选择的全部原子进行正交化处理，提高迭代算法的收敛速度。但是，无论是MP算法，还是OMP算法，在处理复杂图像过程中，不可避免的存在误差和计算量过大，操作时间过长，效率不高等问题，影响算法的实时性和可操作性。

对于源图像的各个图像块而言，其包含的纹理信息是不相同的，有的可能比较平滑，低频分量多，高频分量少，有的可能细节比较丰富；如果仅仅采用一种控制机制进行图像块的稀疏分解是不合适的。举例而言，对于误差控制机制，即在给定逼近误差下进行稀疏分解，对于图像细节丰富的图像块，为了到达给定误差，需要分配越来越多的原子函数，特别是在图像块的纹理信息和所采用的字典不是太符合的情况下，问题尤其突出，无法获得稀疏表示，因为即使再增加新的原子函数，对逼近误差的下降带来的贡献也很低。另外，对于稀疏度的控制机制，是指在给定稀疏度要求下的稀疏分解，对于上述图像细节丰富的图像块，它能够很好的控制其稀疏度，避免使用过多的原子函数进行表示。但是对于平滑的图像块就不太合适的，因为对于这类图像块稀疏度很低，本来只需要很少量的原子函数就可以完成稀疏表示，但是现在却浪费了过多的原子函数，影响了算法的执行效率。综上所述，采用单一的稀疏分解控制机制无法提供高效的图像稀疏表示的方案。

由于上述原因，本发明人对现有的图像融合技术，尤其是OMP算法进行了深入研究，以期待研制出能够克服上述问题的图像融合方法。

发明内容

为了克服上述问题，本发明人进行了锐意研究，结果发现通过改变OMP算法的迭代终止条件，采用一种复合迭代终止策略，对***残差、***残差迭代收敛速率和***稀疏度进行综合控制的方式来改进OMP算法，同时运用该改进的OMP算法对两幅待融合的源图像分割成的图像块进行稀疏度分解，再依次进行系数融合、系数矩阵的重构和像素矩阵的还原，得到最终的融合图像，从而完成本发明。

具体来说，本发明的目的在于提供以下方面：

(1)一种基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，在对图像块像素矩阵进行稀疏分解的过程中，在下述情况下，迭代过程终止：

迭代次数大于或等于预定的***稀疏度值；

或者，***残差的迭代收敛速率小于或等于预定的迭代收敛速率阈值，并且***残差范数小于或等于预定***残差阈值的平方。

(2)根据上述(1)所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，

预定***残差阈值为：误差噪声的方差、常数C和列向量维数的算术平方根三者的乘积；

预定的***稀疏度值为：图像块按行扫描生成的列向量的维数与数值3的比值；

预定的迭代收敛速率阈值为给定的0～1范围的常数。

(3)根据上述(1)所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，

预定***残差阈值为

预定的***稀疏度值为：

预定的迭代收敛速率阈值为cr₀；

其中，ε表示预定***残差阈值，C表示取值为1.15的常数，σ表示误差噪声的方差，σ取值为1，N为图像块按行扫描生成的列向量的维数，所述；K表示预定的***稀疏度值，cr₀取值为0.15。

(4)根据上述(1)所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，对图像块像素矩阵进行稀疏分解通过利用遵循自适应终止策略的OMP算法进行，包括如下子步骤：

子步骤1，初始化***残差阈值、预定的迭代收敛速率阈值和***稀疏度值，即***残差等于列向量的初值，设未迭代时索引集为空集；其中，表示第m块图像块在第0次迭代后的***残差，v_m表示第m块图像块的列向量；

子步骤2，计算出第i次迭代的***残差和字典矩阵的列之间的内积中最大值所对应的脚标λ_i；其中，i是自然数，用于表示迭代的次数；

子步骤3，利用脚标λ_i更新索引集，Λ_i＝Λ_i-1∪{λ_i}，并记录选择的字典矩阵中重建原子的集合D_i，其中，Λ_i表示新的索引集即第i次迭代后的索引集，Λ_i-1为第i-1次迭代后的索引集，{λ_i}是字典索引的集合，D_i-1是第i-1次迭代后的原子的集合，是由字典索引对应的原子函数；

子步骤4，由最小二乘法得到第i次迭代后，稀疏矩阵系数的估计变量所述稀疏矩阵系数的估计变量即为利用已选择的原子集合D_i对v_m进行最优表示得到的系数值；

子步骤5，更新第i次迭代的残差并更新迭代次数i＝i+1；其中，r_i是指第i次迭代后的***残差，r_i-1是指第i-1次迭代后的***残差；

子步骤6，判断***残差、***残差的迭代收敛速率和迭代次数是否满足迭代过程的终止迭代条件，如果满足，迭代终止，得到稀疏分解系数；如果不满足，返回子步骤2，继续进行后续子步骤。

(5)根据上述(1)所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，该方法包括如下步骤

步骤1，将待融合的两幅源图像都划分成图像块，每块图像块大小一致，任何相邻的两块图像块都具有重叠部分；并将每块图像块的像素表示成列向量，得到每块图像块的像素矩阵，即得到源图像的块像素矩阵表示；

步骤2，将每块图像块的像素矩阵去直流分量后进行稀疏分解，得到每块图像块的稀疏分解系数；

步骤3，根据能量最大原则对对应位置的每块图像块的稀疏分解系数进行融合，得到该位置的图像块的融合图像块系数矩阵；

步骤4，对该位置的图像块的融合图像块系数矩阵进行重构，再加上直流分量的重构值，得到该位置的图像块的融合图像块像素矩阵；

步骤5，还原所有位置的图像块的融合图像块像素矩阵，得到最终的融合图像；

其中，待融合的两幅源图像是针对同一场景在不同焦距位置处获得的两幅图像，或者针对同一场景在不同照射光波长的光谱条件下的两幅光谱图像；

所述去直流分量包括计算各个图像块的平均像素值，然后从各个图像块的像素值中减去该平均值，即直流分量是各个图像块的平均像素值；

能量最大原则是将两幅源图像的对应位置图像块的稀疏分解系数绝对值最大者作为融合后图像块对应位置的稀疏分解系数；

重构是重新构成各个图像块的空间像素表示，即将图像块的一维表示还原为二维表示。

(6)根据上述(5)所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，具有重叠部分的相邻两块图像块通过滑动窗口技术获得，每次平移两个像素点，即滑动步长为2。

(7)根据上述(5)所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，重构的方法为：由融合后的稀疏系数值恢复出图像块的空间像素表示，对于相邻图像块间的重叠部分，计算其同一位置的像素值平均值作为最终像素矩阵的计算结果。

(8)根据上述(5)所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，还原融合图像块像素矩阵包括还原融合图像块重叠部分的像素矩阵和直流分量部分的像素矩阵；其中，对于重叠部分的像素矩阵，通过取其像素矩阵平均值的方式获得融合图像的重叠分量像素矩阵，对于直流分量部分的像素矩阵，通过对源图像块的直流分量进行加权操作的方式获得融合图像的直流分量像素矩阵。

(9)根据上述(5)所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，该方法中所用到的字典为过完备字典，该字典是固定的训练字典，

或者是混合字典，所述混合字典是由小波域字典和DCT冗余字典混合得到的。

本发明中结合了***残差、***残差收敛速率和***稀疏度进行综合控制，各个图像块的像素矩阵都自适应的选择稀疏表示方案，即根据适应的迭代终止条件判断迭代是否停止，图像块像素矩阵在稀疏分解过程中，如果***残差没有达到指定的误差阈值或者收敛速率高于指定阈值，并且稀疏度在可控范围内，迭代过程继续执行。对于平滑图像块，即使其***残差已经达到预设要求，但是其收敛速率仍然很快，则允许迭代过程继续，这是因为人类视觉***往往对平滑区域出现的误差比较敏感；另一方面，对于纹理丰富的图像块，如果其***残差高于预设值，而且收敛速率也低于预定阈值，那这个时候迭代过程应该停止了，因为当收敛速率比较低的时候，已经说明字典与残余信号不具备相似的地方，继续迭代下去没有任何意义，这个时候允许纹理图像块的最终逼近误差相对较高，这也符合人类视觉***，即对纹理丰富区域的误差不敏感。

具体来说，本发明所具有的有益效果包括：

(1)具有两套终止迭代策略可以根据不同图像块的特点自动选择适应的迭代终止策略，使得图像融合时间短，融合效率高；

(2)迭代终止策略为复合迭代终止策略，充分考虑到***残差和稀疏度要求，使得图像融合效果更好，生产的融合图像视觉质量更高，不引入明显的人工效应。

附图说明

图1示出根据本发明一种优选实施方式的图像融合方法流程图；

图2示出训练字典的原子函数示意图；

图3示出混合字典的原子函数示意图；

图4示出右聚焦的待融合的源图像；

图5示出左聚焦的待融合的源图像；

图6示出根据本发明提供的方法进行图像融合最终得到的图像；

图7示出采用误差控制策略控制迭代终止来进行图像融合最终得到的图像；

图8示出采用稀疏度控制策略控制迭代终止来进行图像融合最终得到的图像。

具体实施方式

下面通过附图和实施例对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在根据本发明提供的一种基于分块自适应特征跟踪的多传感器图像融合方法中，如图1中所示，该方法包括如下步骤：

步骤1，将待融合的两幅源图像都划分成图像块，每块图像块大小一致，任何相邻的两块图像块都具有重叠部分；并将每块图像块的像素表示成列向量，得每块到图像块的像素矩阵，即得到源图像的块像素矩阵表示；

步骤2，将每块图像块的像素矩阵去直流分量后进行稀疏分解，得到每块图像块的稀疏分解系数；

步骤3，根据能量最大原则对对应位置的每块图像块的稀疏分解系数进行融合，得到该位置的图像块的融合图像块系数矩阵；

步骤4，对该位置的图像块的融合图像块系数矩阵进行重构，再加上直流分量的重构值，得到该位置的图像块的融合图像块像素矩阵；

步骤5，还原所有位置的图像块的融合图像块像素矩阵，得到最终的融合图像；

在一个优选的实施方式中，步骤1中的待融合的两幅源图像是针对同一场景在不同焦距位置处获得的两幅图像，或者针对同一场景在不同照射光波长的光谱条件下的两幅光谱图像，如红外图像和可见光图像；或者是来自不同设备的医疗图像，例如骨骼和组织的图像等。

在进一步优选的实施方式中，步骤1为：先输入两幅相同大小的待融合的源图像I_A和I_B，将该两幅源图像划分成固定大小、相互重叠的图像块并将每块图像块的像素表示成列向量，得到源图像的块像素矩阵表示；本发明中的N是指图像块按行扫描生成的列向量的维数，作为一个优选的实施例，可以设定N等于64，即每个源图像都划分成一组8x8大小的图像块；采用滑动窗口技术从源图像像素左上角遍历到右下角，将每一个图像块对应像素按照字典顺序重新排列成矩阵的一列矢量，得到图像的块像素矩阵V_A和V_B，V_A和V_B的大小都可以通过如下公式表示：

$V_A=V_B=N\×\frac{(W-\sqrt{N}+1)(H-\sqrt{N}+1)}{S^2}$

其中，S表示滑动步长，本发明中优选设定滑动步长为2；W表示待融合的源图像的长，H表示待融合的源图像的宽。本发明中滑动窗口技术是指：在长为W、宽为H的图像中，按一定规律移动一个长为宽为的晶格窗口，将该窗口对应的像素块转换成块像素矩阵表示中的一列，然后窗口向右或向下移动一步，直到完成对整幅图像的处理；本发明中所述的滑动步长是指：上述移动一步所滑过的像素点个数。

在一个优选的实施方式中，步骤2为将每块图像块的像素矩阵去直流分量后进行稀疏分解，得到每块图像块的稀疏分解系数；其中，所述去直流分量包括计算各个图像块的平均像素值，然后从各个图像块的像素值中减去该平均值，即直流分量是指各个图像块的平均像素值；稀疏分解是指，对于每个图像块像素矩阵对应的列向量都采用遵循自适应终止策略的OMP算法进行稀疏表示，该稀疏表示的过程包括如下子步骤：

子步骤1，初始化***残差阈值、预定的迭代收敛速率阈值和***稀疏度值，令即***残差等于列向量的初值，设未迭代时索引集为空集；在本发明中，表示第m块图像块在第0次迭代后的***残差，v_m表示第m块图像块的列向量；***残差与逼近误差含义一致，都是指每次迭代的误差残余。

子步骤2，计算出第i次迭代的***残差和字典矩阵的列之间的内积中最大值所对应的脚标λ_i；在本发明中，i是自然数，用于表示迭代的次数，λ是指***残差和字典矩阵的列之间的内积中最大值所对应的脚标；

子步骤3，利用脚标λ_i更新索引集，Λ_i＝Λ_i-1∪{λ_i}，并记录选择的字典矩阵中重建原子的集合D_i，在本发明中，Λ_i表示新的索引集即第i次迭代后的索引集，Λ_i-1为第i-1次迭代后的索引集，{λ_i}是字典索引的集合，D_i-1是第i-1次迭代后的原子的集合，是由字典索引对应的原子函数；

子步骤4，由最小二乘法得到第i次迭代后，稀疏矩阵系数的估计变量所述稀疏矩阵系数的估计变量即为利用已选择的原子集合D_i对v_m进行最优表示得到的系数值；

子步骤5，更新第i次迭代后的残差并更新迭代次数i＝i+1；在本发明中，r_i是指第i次迭代后的***残差，r_i-1是指第i-1次迭代后的***残差；

子步骤6，判断***残差、***残差的迭代收敛速率和迭代次数是否满足迭代过程的终止迭代条件，如果满足，迭代终止，得到稀疏分解系数；如果不满足，返回子步骤2，继续进行后续子步骤。

在进一步优选的实施方式中，在子步骤6中，判断迭代是否终止的条件为：迭代次数大于或等于预定的***稀疏度值；

或者，***残差的迭代收敛速率小于或等于预定的迭代收敛速率阈值，并且***残差范数小于或等于预定***残差阈值的平方。

如果至少满足了上述两种情况中的一种，则判断为可以跌带终止，否则继续迭代，返回子步骤2，直到满足上述迭代终止的条件为止。

在进一步优选的实施方式中，预定***残差阈值ε为误差噪声的方差、常数C和列向量维数的算术平方根三者的乘积。

预定的***稀疏度值K为选择原子数目占原子数目总数的百分比，用于衡量信号稀疏分解的稀疏程度。

预定的迭代收敛速率阈值为给定的0～1范围的常数。

在更进一步优选的实施方式中，预定***残差阈值为 $\mathrm{\ϵ}=C\·\mathrm{\σ}\·\sqrt{N};$

预定的***稀疏度值为：

预定的迭代收敛速率阈值为cr₀；

其中，ε表示预定***残差阈值，C表示取值为1.15的常数，σ表示误差噪声的方差，σ取值为1，N为图像块按行扫描生成的列向量的维数，本发明中取值为64，K表示预定的***稀疏度值，cr₀取值为0.15。

所述迭代收敛速率用cr表示，cr∈(0,1)，迭代收敛速率的定义如下：

$\mathrm{cr}=\frac{r_i-r_{i-1}}{r_i}$

在进一步优选的实施方式中，一个完整的迭代过程如下：用表示待稀疏分解的图像块，用表示稀疏分解后得到的稀疏矩阵，其中，M表示一个源图像分解得到的图像块总数，且

$M=\frac{(W-\sqrt{N}+1)(H-\sqrt{N}+1)}{S^2}$

(1)初始化***残差令设索引集Λ＝Φ，设迭代次数i＝0；

(2)λ_i＝argmax_j＝1...M|<r_i-1,d_j>|，其中d_j表示字典矩阵的第j列；

(3)更新索引集Λ_i＝Λ_i-1∪{λ_i}，记录选择的字典矩阵中重建原子的集合 $D_i=[D_{i-1},d_{{\mathrm{\&lambda;}}_i}];$

(4)计算系数 ${\hat{x}}_i=\arg \min {\left|\right|v_m-D_i{x}_i\left|\right|}_2;$

(5)更新本次迭代即第i次迭代的残差并更新迭代次数i＝i+1；

(6)判断：如果i≥k，

或者并且cr≤cr₀，则停止迭代，得到稀疏表示矩阵；否则，返回上述(2)继续执行迭代运算。

本发明提供的遵循自适应终止策略的OMP算法与本领域中常用的OMP算法的主要区别集中在迭代收敛条件的不同，进而导致根据该算法得到的稀疏分解系数是不同的。

在一个优选的实施方式中，步骤3为根据能量最大原则对对应位置的每块图像块的稀疏分解系数进行融合，得到该位置的图像块的融合图像块系数矩阵；所述能量最大原则是将两幅源图像的对应位置图像块的稀疏分解系数绝对值最大者作为融合后图像块对应位置的稀疏分解系数，说明在此处绝对值最大的系数所对应的像素对融合图像的贡献最大。本发明中所述的对应位置是指两幅待融合源图像上相对位置相同的区域，进一步地理解为在上述两幅源图像上相同区域处划分出的两个图像块。在两幅源图像上互称为对应位置的两个位置处描所显示的图像内容是相同的。

在进一步优选的实施方式中，将上述稀疏分解系数用X_A和X_B，表示

$X_F=\left\{\begin{array}{cc}{X}_A,& \left|X_A\right|\&GreaterEqual;\left|X_B\right|\\ X_B,& \mathrm{else}\end{array}\right.$

其中，X_F表示融合后图像块对应位置的稀疏分解系数。

在一个优选的实施方式中，步骤4为对该位置的图像块的融合图像块系数矩阵进行重构，再加上直流分量的重构值，得到融合图像块像素矩阵；其中，重构是指重新构成各个图像块的空间像素表示，即将图像块的一维表示还原为二维表示，重构的方法为：由融合后的稀疏系数值恢复出图像块的空间像素表示，对于相邻图像块间的重叠部分，计算其同一位置的像素值平均值作为最终像素矩阵的计算结果。在本发明中图像块在像素矩阵中表现为某列向量，融合图像块系数矩阵的每一列就是分解后的稀疏系数值。

在进一步优选的实施方式中，将融合系数矩阵经过稀疏分解的逆运算，获得融合图像块像素矩阵，其运算公式如下：

V_F＝DX_F

其中，V_F表示融合图像块像素矩阵，D表示稀疏分解所采用的字典。

在一个优选的实施方式中，步骤5为还原所有位置的图像块的融合图像块像素矩阵，得到最终的融合图像；所述还原融合图像块像素矩阵包括：还原融合图像块重叠部分的像素矩阵和直流分量部分的像素矩阵；其中，对于重叠部分的像素矩阵，通过取其像素矩阵平均值的方式获得融合图像的重叠分量像素矩阵，对于直流分量部分的像素矩阵，通过对源图像块的直流分量进行加权操作的方式获得融合图像的直流分量像素矩阵。

在进一步优选的实施方式中，在加权操作过程中，设两个源图像为A和B，该两个源图像的图像块像素矩阵用V_A和V_B表示，A和B的第j块图像块的直流分量分别用和表示，则图像A的直流分量加权系数ω_A为：

${\mathrm{\&omega;}}_A^j=\frac{{\mathrm{\&Sigma;}}_{i=1}^N{\left(V_A^{i,j}\right)}^2}{{\mathrm{\&Sigma;}}_{i=1}^N{\left(V_A^{i,j}\right)}^2+{\mathrm{\&Sigma;}}_{i=1}^N{\left(V_B^{i,j}\right)}^2}$

同理，图像B的直流分量加权系数ω_B为：

${\mathrm{\&omega;}}_B^j=\frac{{\mathrm{\&Sigma;}}_{i=1}^N{\left(V_B^{i,j}\right)}^2}{{\mathrm{\&Sigma;}}_{i=1}^N{\left(V_A^{i,j}\right)}^2+{\mathrm{\&Sigma;}}_{i=1}^N{\left(V_B^{i,j}\right)}^2}$

则融合图像的直流分量为：

$W_F^j={\mathrm{\&omega;}}_A^j{W}_A^j+{\mathrm{\&omega;}}_B{W}_B^j$

其中，N是指图像块按行扫描生成的列向量的维数；i、j都是自然数，i指的是像素块矩阵的行，j指的是像素块矩阵的列。

在一个优选的实施方式中，如图2、3中所示，本发明中所用到的字典为过完备字典，该字典是固定的训练字典，或者是混合字典，所述混合字典是由小波域字典和DCT冗余字典混合得到的；其中，字典可以用D∈R^N×K表示，在本发明中，固定的训练字典如图2中所示，是由K-SVD算法经过训练获得的；混合字典如图3中所示，是由小波域字典(Bior6.8)和DCT冗余字典的混合得到的。

本发明提供的图像融合方法打破了传统算法的单一迭代终止判断条件的局限性，具有两种判断迭代终止的条件，使得根据不同图像块的特点，自动选取适宜的判断条件，使得本发明提供的方法适用范围更广，既能处理细节丰富的图像又能处理平滑的图像，而且本发明提供的方法还使得图像融合时间减少，提高融合效率，图像融合质量更高，获得更好的融合效果。

具体实例：

将图4和图5中的两幅源图像融合，得到清晰的融合图像，其中，图4给出的图像为右聚焦图像，图5给出的图像为左聚焦图像；利用相同的计算机对上述两幅图像进行图像融合；

实验例：利用本发明提供的融合方法进行图像融合，尤其利用本发明提供的迭代终止策略对***残差、***残差收敛速率和***稀疏度进行综合控制，用时114秒得到如图6所示的图片，该图片的质量指标如下表(一)所示：

表(一)

对比例一：利用本发明提供的融合方法进行融合图像融合，与实验例的区别在于在OMP算法的迭代过程中，只采用***残差来控制迭代终止，即在该对比例中，迭代终止的条件是***残差范数小于或等于***残差阈值的平方，且所述***残差阈值与实验例中的***残差阈值一致；用时132秒得到如图7所示的图片，该图片的质量指标如下表(二)所示：

表(二)

对比例二：利用本发明提供的融合方法进行融合图像融合，与实验例的区别在于在OMP算法的迭代过程中，只采用稀疏度值来控制迭代终止，即在该对比例中，迭代终止的条件是迭代次数大于或等于预先设定的***稀疏度值，且所述稀疏度值与实验例中的稀疏度值一致；用时199秒得到如图8所示的图片，该图片的质量指标如下表(三)所示：

表(三)

其中，QABF是度量从两幅源图像中转移到融合图像中信息量的大小，LABF是度量融合过程中丢失的信息，其值大小反应丢失信息的多少，NABF是度量融合过程产生的人工失真效应，其值越小表示失真效应越小。

通过上述实验对比可知，根据本发明提供的方法进行图像融合用时最短，说明根据本发明提供的方法融合图像的效率最高，再通过融合后得到的各个图像的质量指标对比可知，通过本发明提供的融合方法得到的图像平均梯度值高于对比例中得到的图像平均梯度值，说明根据本发明提供的方法得到的融合图像的清晰程度更高；并且从表中图像质量对比可知，通过本发明提供的融合方法得到的图像空间频率值低于对比例中得到的图像空间频率值，通过本发明提供的融合方法得到的图像NABF值低于对比例中得到的图像NABF值。

以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。

Claims (9)

1.一种基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，在对图像块像素矩阵进行稀疏分解的过程中，在下述情况下，迭代过程终止：

迭代次数大于或等于预定的***稀疏度值；

或者，***残差的迭代收敛速率小于或等于预定的迭代收敛速率阈值，并且***残差范数小于或等于预定***残差阈值的平方。

2.根据权利要求1所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，预定***残差阈值为：误差噪声的方差、常数C和列向量维数的算术平方根三者的乘积；

预定的***稀疏度值为：图像块按行扫描生成的列向量的维数与数值3的比值；

预定的迭代收敛速率阈值为给定的0～1范围的常数。

3.根据权利要求2所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，

预定***残差阈值为

预定的***稀疏度值为：

预定的迭代收敛速率阈值为cr₀；

其中，ε表示预定***残差阈值，C表示取值为1.15的常数，σ表示误差噪声的方差，σ取值为1，N为图像块按行扫描生成的列向量的维数，所述；K表示预定的***稀疏度值，cr₀取值为0.15。

4.根据权利要求1所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，对图像块像素矩阵进行稀疏分解通过利用遵循自适应终止策略的OMP算法进行，包括如下子步骤：

子步骤1，初始化***残差阈值、预定的迭代收敛速率阈值和***稀疏度值，令即***残差等于列向量的初值，设未迭代时索引集为空集；其中，表示第m块图像块在第0次迭代后的***残差，v_m表示第m块图像块的列向量；

子步骤2，计算出第i次迭代的***残差和字典矩阵的列之间的内积中最大值所对应的脚标λ_i；其中，i是自然数，用于表示迭代的次数；

子步骤3，利用脚标λ_i更新索引集，Λ_i＝Λ_i-1∪{λ_i}，并记录选择的字典矩阵中重建原子的集合D_i，其中，Λ_i表示新的索引集即第i次迭代后的索引集，Λ_i-1为第i-1次迭代后的索引集，{λ_i}是字典索引的集合，D_i-1是第i-1次迭代后的原子的集合，是由字典索引对应的原子函数；

子步骤4，由最小二乘法得到第i次迭代后，稀疏矩阵系数的估计变量所述稀疏矩阵系数的估计变量即为利用已选择的原子集合D_i对v_m进行最优表示得到的系数值；

子步骤5，更新第i次迭代的残差并更新迭代次数i＝i+1；其中，r_i是指第i次迭代后的***残差，r_i-1是指第i-1次迭代后的***残差；

子步骤6，判断***残差、***残差的迭代收敛速率和迭代次数是否满足迭代过程的终止迭代条件，如果满足，迭代终止，得到稀疏分解系数；如果不满足，返回子步骤2，继续进行后续子步骤。

5.根据权利要求1所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，该方法包括如下步骤

步骤1，将待融合的两幅源图像都划分成图像块，每块图像块大小一致，任何相邻的两块图像块都具有重叠部分；并将每块图像块的像素表示成列向量，得到每块图像块的像素矩阵，即得到源图像的块像素矩阵表示；

步骤2，将每块图像块的像素矩阵去直流分量后进行稀疏分解，得到每块图像块的稀疏分解系数；

步骤3，根据能量最大原则对对应位置的每块图像块的稀疏分解系数进行融合，得到该位置的图像块的融合图像块系数矩阵；

步骤4，对该位置的图像块的融合图像块系数矩阵进行重构，再加上直流分量的重构值，得到该位置的图像块的融合图像块像素矩阵；

步骤5，还原所有位置的图像块的融合图像块像素矩阵，得到最终的融合图像；

其中，待融合的两幅源图像是针对同一场景在不同焦距位置处获得的两幅图像，或者针对同一场景在不同照射光波长的光谱条件下的两幅光谱图像；

所述去直流分量包括计算各个图像块的平均像素值，然后从各个图像块的像素值中减去该平均值，即直流分量是各个图像块的平均像素值；

能量最大原则是将两幅源图像的对应位置图像块的稀疏分解系数绝对值最大者作为融合后图像块对应位置的稀疏分解系数；

重构是重新构成各个图像块的空间像素表示，即将图像块的一维表示还原为二维表示。

6.根据权利要求5所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，具有重叠部分的相邻两块图像块通过滑动窗口技术获得，每次平移两个像素点，即滑动步长为2。

7.根据权利要求5所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，重构的方法为：由融合后的稀疏系数值恢复出图像块的空间像素表示，对于相邻图像块间的重叠部分，计算其同一位置的像素值平均值作为最终像素矩阵的计算结果。

8.根据权利要求5所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，还原融合图像块像素矩阵包括还原融合图像块重叠部分的像素矩阵和直流分量部分的像素矩阵；其中，对于重叠部分的像素矩阵，通过取其像素矩阵平均值的方式获得融合图像的重叠分量像素矩阵，对于直流分量部分的像素矩阵，通过对源图像块的直流分量进行加权操作的方式获得融合图像的直流分量像素矩阵。

9.根据权利要求5所述的基于分块自适应特征跟踪的多传感器图像融合方法，其特征在于，该方法中所用到的字典为过完备字典，该字典是固定的训练字典，

或者是混合字典，所述混合字典是由小波域字典和DCT冗余字典混合得到的。