CN105913407A - 一种基于差值图对多聚焦度图像融合优化的方法 - Google Patents

Abstract

本发明涉及一种基于差值图对多聚焦图像融合优化的方法，首先基于多尺度多方向对多聚焦图像初步融合，然后通过差值图测量出的剩余信息以及聚焦区域的信息对初始的融合图像进行更新。多尺度与多方向两个方法融合起来，得到的图像区域定位准确，精度高、适于人类的视觉***，通过差值图的残留信息初始融合图像进行更新操作使融合图像更加精确，图像融合质量更高，在军事以及民用领域中有广泛的应用前景。

Description

一种基于差值图对多聚焦度图像融合优化的方法

技术领域

本发明属于图像处理领域以及信息融合领域，特别涉及一种基于差值图对多聚焦度图像融合优化的方法，在军事以及民用领域中有广泛的应用前景。

背景技术

多聚焦度图像融合技术是将不同聚焦的图像融合到一张图像中，结合集成信息的互补性，形成一张多时性、多视图性信息融合的图像，得到更加全面的场景信息。

目前，多聚焦图像融合主要分为空间域和变换域两类。基于空间域的多聚焦图像融合技术又分为像素点的融合算法(如加权平均算法)和分块区域融合算法，分块区域融合算法考虑的是像素点的灰度值和该点与相邻像素之间的联系，其方法得到的图像清晰度和对比度方面都要比像素点融合方法效果好。与基于空间域的融合技术相比，基于变换域的融合技术对图像的区域定位准确性更强，精度更高。多尺度变换在变换域的图像融合技术中扮演者不可替代的重要角色，其中最为著名的方法是：拉普拉斯金字塔方法和离散小波变换(DWT)。但是以上两种方法中，如果对于源图像的定位失准，或者在图像采集过程中出现运动区域，图像的融合效果会显著的下降。所以为了解决这个问题，又有学者提出了平移不变定向选择双树复小波变换。近年来，又有人提出了一些新的方法例如离散小波变换(DCT)，非下采样轮廓波变换(NSST)四元数小波变换(QWT)。但是，在融合过程中融合变换系数会代替原像素值，多尺度变化可能会成为融合方法中的主要的缺点。

另外一个影响到融合品质的因素是子频带的融合规则。近年来，有很多学者针对这项工作做了大量的研究。并且取得了一定的研究成果。大部分的研究都是基于MST域的稀疏表示总框架(SR)。此方法是对于高频子带遵循绝对最大原则进行融合，对于低频子带采取基于SR的方法进行融合。此方法避免了平滑细节的偏移，但是它依旧存在着一些缺陷，例如独立图像特征的固有缺陷。然后，为了解决此问题，又提出了空间频率与PCNN在非下采样轮廓波变换域中相结合的方法，此方法克服了变换中的复杂结构以及过多迭代次数的限制，但是依旧 无法解决过多的人工设定参数的问题。因此，又有人提出了基于邻域特征NSCT变换，在此方法中低频子带信息遵循基于邻域能量的加权融合方法，高频子带遵循邻域特征进行融合，但是此方法集中考虑低频区域能量信息，但是对于有效区域信息的提取并没有进一步的处理。

发明内容

本发明提出了一种基于差值图对多聚焦图像融合优化的方法，基于多尺度多方向对多聚焦图像初步融合，然后通过差值图测量出的剩余信息以及聚焦区域的信息对初始的融合图像进行更新，得到的多聚焦图像融合的品质更好，精度更高。本发明采用的技术方案包括如下具体步骤：

步骤1：图像的预处理；

对源图像I_A和I_B进行高斯滤波，计算出源图像的平均值：

I_A表示源图像A，I_B表示源图像B，I_AVG表示源图像A和B的均值；

步骤2：对图像多尺度多方向分解得到初始融合图像；

首先采用邻域距离滤波器对源图像I_A和I_B进行多尺度分解，层数为四层，每一层包含高频信息与低频信息；

然后采用NSCT多方向分解法对高频信息进行多方向分解，其中第一层分解方向为16个，第二层为8个，第三层为4个，最后一层为1个，得到I_A的高频信息I_A,h和低频信息I_A,l，I_B的高频信息I_B,h和低频信息I_B,l；

最后计算高频信息中像素点基于邻域的空间频率值，构造出高频信息融合的决策矩阵，通过决策矩阵对高频信息进行初步融合，低频信息采取求均值，初步融合后的高频信息和求均值后的低频信息经过多方向多尺度变换的逆变换，形成初始融合图像I_IN；

步骤3：构建差值图像并计算能量值；

表示源图像I_A与均值图像I_AVG在像素点(i,j)的差值， 表示初始融合图像I_IN与均值图像I_AVG在像素点(i,j)的差值；

计算能量值：

表示I_IN(i,j)和I_AVG(i,j)的差值对应的能量值，表示I_AVG(i,j)和I_A(i,j)的差值对应的能量值，M×N表示预设的领域大小，(i+m,j+n)表示以(i,j)为中心的领域M×N内任意一点；

利用双边滤波器对能量矩阵与进行保边去噪处理，分别得到矩阵char1和char2；

步骤4：构造初始的二值图像；

(1)通过char1和char2构造初始的二值图MAP1，MAP2：

MAP1(i,j)表示像素点(i,j)在二值图MAP1中对应的取值，MAP2(i,j)表示像素点(i,j)在二值图MAP2中对应的取值，char1(i,j)表示像素点(i,j)在char1中对应的取值，char2(i,j)表示像素点(i,j)在char2中对应的取值，δ为设定的阈值；

(2)对二值图像进行修正：

X×Y表示预设的领域大小，(i+a,j+b)表示以(i,j)为中心的领域M×N内任意一点；

通过上式对MAP1和MAP2分别进行修正，得到修正后的二值图MAP1'和 MAP2'，对于源图像中聚焦和非聚焦均不明显区{(i,j)|MAP1'(i,j)＝MAP2'(i,j)}进行处理，取MAP1'(i,j)＝MAP2'(i,j)＝0.5；

步骤5：通过修正的二值图MAP1'，MAP2'对源图像I_A和I_B进行融合。

(1)基于空间域的融合：

比较修正的二值图MAP1'，MAP2'，若满足MAP1'(i,j)＝0,MAP2'(i,j)＝1，则选择源图像I_B(i,j)进行填充，若满足MAP1'(i,j)＝1,MAP2'(i,j)＝0，则选择源图像I_A(i,j)进行填充，其他的情况则选择初始融合图像I_IN(i,j)进行填充。I_F(i,j)为最后优化生成的融合结果；

(2)基于变换域的融合：

比较修正的二值图MAP1'，MAP2'，若满足MAP1'(i,j)＝1,MAP2'(i,j)＝0，则选择源图像I_A的高频信息I_A,h(i,j)和低频信息I_A,l(i,j)为融合图像的高频信息和低频信息，若满足MAP1'(i,j)＝0,MAP2'(i,j)＝1，则选择源图像I_B的高频信息I_B,h(i,j)代和低频信息I_B,l(i,j)为融合图像的高频信息和低频信息，若满足MAP1'(i,j)＝MAP2'(i,j)＝0.5，则选择初始融合图像I_IN的高频信息I_{IN ， h}(i，j)和低频信息I_IN,l(i,j)为融合图像的高频信息和低频信息然后对得到的融合图像的高低频信息进行逆变换，得到最终的融合结果I_F。

本发明的有益效果

该方法采用差值图来对融合图像进行更新，让残留的多聚焦图像信息能更加 准确的对融合图像更新，使融合图像更加精确、品质更高。多尺度与多方向两个方法融合起来，得到的图像区域定位准确，精度高、适于人类的视觉***，多方向的方法弥补了多尺度方法的一些弊端，多方向弥补了多尺度图像中会丢一些边缘有效信息的情况，通过多方向融合技术对其边缘与线条这些重要信息得到了有效的保存。

附图说明：

图1是本发明方法的流程图；

图2是形成初始融合图像的流程图；

图3是本发明中基于空间域的图像融合流程图；

图4是本发明中基于变换域的图像融合流程图；

图5是待融合的两组多聚焦度源图像，(a)和(b)为flower图，(c)和(d)为lab图；

图6是flower图在本发明方法与其他四种方法下的融合结果，其中(a)和(b)分别为本发明提出的基于空间域和变换域的融合效果图，(c)-(f)分别为四种对比方法非下采样轮廓波变化(NSCT)、NSCT对比度增强方法(NSCT-Co)、邻域距离(ND)和邻域距离多方向方法(MMND)的融合效果图；

图7是图6中对应的融合图形与源图像(b)的差值图；

图8是lab图在本发明方法与其他四种方法下的融合结果，其中(a)和(b)分别为本发明提出的基于空间域和变换域的融合效果图，(c)-(f)分别为四种对比方法非下采样轮廓波变化(NSCT)、NSCT对比度增强方法(NSCT-Co)、邻域距离(ND)和邻域距离多方向方法(MMND)的融合效果图；

图9是图8中对应的融合图像与源图像(d)的差值图。

具体实施方式

下面结合附图和具体实施例对对本发明作进一步的说明。

实施例1：如图1所示，本发明基于多尺度多方向对多聚焦图像初步融合，然后通过差值图对初始的融合图像进行空间域和变换域更新，得到最终融合图像。如图2-4所示，具体步骤包括:

步骤1：图像的预处理：

对源图像I_A和I_B进行高斯滤波，计算出源图像的平均值：

I_A表示源图像A，I_B表示源图像B，I_AVG表示源图像A和B的均值；

步骤2：对图像多尺度多方向分解得到初始融合图像；

首先采用邻域距离滤波器对源图像I_A和I_B进行多尺度分解，层数为四层，每一层包含高频信息与低频信息；

然后采用NSCT多方向分解法对高频信息进行多方向分解，其中第一层分解方向为16个，第二层为8个，第三层为4个，最后一层为1个，得到I_A的高频信息I_A,h和低频信息I_A,l，I_B的高频信息I_B,h和低频信息I_B,l；

最后计算高频信息中像素点基于邻域的空间频率值，构造出高频信息融合的决策矩阵，通过决策矩阵对高频信息进行初步融合，低频信息采取求均值，初步融合后的高频信息和求均值后的低频信息经过多方向多尺度变换的逆变换，形成初始融合图像I_IN；

步骤3：构建差值图像并计算能量值；

表示源图像I_A与均值图像I_AVG在像素点(i,j)的差值， 表示初始融合图像I_IN与均值图像I_AVG在像素点(i,j)的差值；

计算能量值：

表示I_IN(i,j)和I_AVG(i,j)的差值对应的能量值，表示I_AVG(i,j)和I_A(i,j)的差值对应的能量值，M×N表示预设的领域大小，(i+m,j+n)表示以(i,j)为中心的领域M×N 内任意一点；本实施例中M×N＝11×11

利用双边滤波器对能量矩阵与进行进一步的处理，分别得到矩阵char1和char2。此处双边滤波器的作用是对能量值的邻近度和像素值相似度的折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。其中双边滤波器的参数设置为，窗口大小为window＝11×11，高斯方差为sigma＝21。

步骤4：构造初始的二值图像；

(1)通过char1和char2构造初始的二值图MAP1，MAP2：

MAP1(i,j)表示像素点(i,j)在二值图MAP1中对应的取值，MAP2(i,j)表示像素点(i,j)在二值图MAP2中对应的取值，char1(i,j)表示像素点(i,j)在char1中对应的取值，char2(i,j)表示像素点(i,j)在char2中对应的取值，δ为设定的阈值，本实施例中δ＝0.0025。

(2)然后再对二值图像进行修正：

X×Y表示预设的领域大小，(i+a,j+b)表示以(i,j)为中心的领域M×N内任意一点。

通过上式对MAP1和MAP2分别进行修正，得到修正后的二值图MAP1'和MAP2'，在此处进行像素一致性验证的目的是，在有些错选、漏选的孤点对融合过程会有坏的影响，因此要通过像素一致性来忽略这些错选像素。对于区域{(i,j)|MAP1'(i,j)＝MAP2'(i,j)}，即两张源图像中聚焦和非聚焦均不明显区域，对这些区域进行处理：MAP1'(i,j)＝MAP2'(i,j)＝0.5。

步骤5：通过修正的二值图MAP1'，MAP2'对源图像I_A和I_B进行融合。

(1)基于空间域的融合：

比较修正的二值图MAP1'，MAP2'，若满足MAP1'(i,j)＝0,MAP2'(i,j)＝1，则选择源图像I_B(i,j)进行填充，若满足MAP1'(i,j)＝1,MAP2'(i,j)＝0，则选择源图像I_A(i,j)进行填充，其他的情况则选择初始融合图像I_IN(i,j)进行填充。I_F(i,j)为最后优化生成的融合结果；

(2)基于变换域的融合：

比较修正的二值图MAP1'，MAP2'，若满足MAP1'(i,j)＝1,MAP2'(i,j)＝0，则选择源图像I_A的高频信息I_A,h(i,j)和低频信息I_A,l(i,j)为融合图像的高频信息和低频信息，若满足MAP1'(i,j)＝0,MAP2'(i,j)＝1，则选择源图像I_B的高频信息I_B,h(i,j)代和低频信息I_B,l(i,j)为融合图像的高频信息和低频信息，若满足MAP1'(i,j)＝MAP2'(i,j)＝0.5，则选择初始融合图像I_IN的高频信息I_{IN ， h}(i，j)和低频信息I_IN,l(i,j)为融合图像的高频信息和低频信息然后对得到的融合图像的高低频信息进行逆变换，得到最终的融合结果I_F。

实验结果

为了比较说明本方法与传统方法相比的优越性，这里选用四种对比方法：非下采样轮廓波变化(NSCT)、NSCT对比度增强方法(NSCT-Co)、邻域距离(ND)和邻域距离多方向方法(MMND)。

本实施例中选取的一组源图像如图5中所示(a)和(b)，为静止的flower图。融合结果如图6所示，(a)和(b)分别代表本发明中基于空间域的优化方法(MMND-SD)和基于变换域的优化方法(MMND-TD)的融合结果。图6在视觉上不能明显看出多聚焦区域融合的效果，为了与其他方法比较更加明显，将融 合图像与源图像作差，这里选取差值图视觉效果较明显的源图像(b)来作差。图7中红框区域中可以观察到(a)和(b)即本发明的方法融合效果好，红框中基本观察不到剩下的源图像的信息。剩下的差值图中，可以明显观察到都剩余了源图像信息，(e)和(f)中明显还包含墙壁的纹理信息，在(c)和(d)中能明显观察到图像右下角叶片的信息没有无完全融合。

除了从主观视觉上来评价融合结果外，这里还采用了客观评价指标来进行客观评价。在客观评价指标中采用交互信息MI、非线性相关信息熵NCIE、基于多尺度的度量方法Q_M、陈氏度量Q_CB。指标数值越大，说明融合效果越好，如表1所示，本发明方法的四个指标的数值均比其他四种方法的大，说明采取本发明方法的图像融合效果好。

表1：Flower图不同融合方法的客观评价

实施例2；本实施例选取的源图像为图5中的(c)和(d)，为有轻微晃动的一组图，在多聚焦图像融合中具有一定的代表性，其余步骤与实施1相同。

融合结果如图8所示，选取源图像(d)作差值图如图9所示，可以看出本发明方法的融合图像没有明显的剩余信息，而其他四张图中，在人的头部会有明显的区域选择失准导致的融合信息的剩余。客观评价指标如表2所示，本发明方法的四个指标的数值均比其他四种方法的大，说明采取本发明方法的图像融合效果好。

表2：Lab图不同融合方法的客观评价

上面结合附图对本发明的具体实施例作了详细说明，但是本发明并不限于上述实 施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (2)

1.一种基于差值图对多聚焦度图像融合优化的方法，其特征在于：包括如下具体步骤：

步骤1：图像的预处理；

对源图像I_A和I_B进行高斯滤波，计算出源图像的平均值：

$I_{AVG}=\frac{I_A+I_B}{2}$

I_A表示源图像A，I_B表示源图像B，I_AVG表示源图像A和B的均值；

步骤2：对图像多尺度多方向分解得到初始融合图像；

首先采用邻域距离滤波器对源图像I_A和I_B进行多尺度分解，层数为四层，每一层包含高频信息与低频信息；

然后采用NSCT多方向分解法对高频信息进行多方向分解，其中第一层分解方向为16个，第二层为8个，第三层为4个，最后一层为1个，得到I_A的高频信息I_A,h和低频信息I_A,l，I_B的高频信息I_B,h和低频信息I_B,l；

最后计算高频信息中像素点基于邻域的空间频率值，构造出高频信息融合的决策矩阵，通过决策矩阵对高频信息进行初步融合，低频信息采取求均值，初步融合后的高频信息和求均值后的低频信息经过多方向多尺度变换的逆变换，形成初始融合图像I_IN；

步骤3：构建差值图像并计算能量值；

${\mathrm{DIF}}_{(I_{\mathrm{AVG}},I_A)}(i,j)=I_{\mathrm{AVG}}(i,j)-I_A(i,j)$

${\mathrm{DIF}}_{(I_{\mathrm{IN}},I_{\mathrm{AVG}})}(i,j)=I_{\mathrm{IN}}(i,j)-I_{\mathrm{AVG}}(i,j)$

表示源图像I_A与均值图像I_AVG在像素点(i,j)的差值，表示初始融合图像I_IN与均值图像I_AVG在像素点(i,j)的差值；

计算能量值：

${\mathrm{Energy}}_{I_{AVG},I_A}(i,j)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\Σ}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\Σ}}\left|{\mathrm{DIF}}_{\left(I_{AVG,}{I}_A\right)}(i+m,j+n)\right|$

${\mathrm{Energy}}_{I_{IN},I_{AVG}}(i,j)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\Σ}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\Σ}}\left|{\mathrm{DIF}}_{(I_{IN},I_{AVG})}(i+m,j+n)\right|$

表示I_IN(i,j)和I_AVG(i,j)的差值对应的能量值，表示I_AVG(i,j)和I_A(i,j)的差值对应的能量值，M×N表示预设的领域大小，(i+m,j+n)表示以(i,j)为中心的领域M×N内任意一点；

利用双边滤波器对能量矩阵与进行保边去噪处理，分别得到矩阵char1和char2；

步骤4：构造初始的二值图像；

(1)通过char1和char2构造初始的二值图MAP1，MAP2：

MAP1(i,j)表示像素点(i,j)在二值图MAP1中对应的取值，MAP2(i,j)表示像素点(i,j)在二值图MAP2中对应的取值，char1(i,j)表示像素点(i,j)在char1中对应的取值，char2(i,j)表示像素点(i,j)在char2中对应的取值，δ为设定的阈值；

(2)对二值图像进行修正：

X×Y表示预设的领域大小，(i+a,j+b)表示以(i,j)为中心的领域M×N内任意一点；

通过上式对MAP1和MAP2分别进行修正，得到修正后的二值图MAP1'和MAP2'，对于源图像中聚焦和非聚焦均不明显区{(i,j)|MAP1'(i,j)＝MAP2'(i,j)}进行处理，取MAP1'(i,j)＝MAP2'(i,j)＝0.5；

步骤5：通过修正的二值图MAP1'，MAP2'对源图像I_A和I_B进行融合。

2.根据权利要求1所述的基于差值图对多聚焦度图像融合优化的方法，其特征在于：步骤5中的融合规则如下：

(1)基于空间域的融合：

比较修正的二值图MAP1'，MAP2'，若满足MAP1'(i,j)＝0,MAP2'(i,j)＝1，则选择源图像I_B(i,j)进行填充，若满足MAP1'(i,j)＝1,MAP2'(i,j)＝0，则选择源图像I_A(i,j)进行填充，其他的情况则选择初始融合图像I_IN(i,j)进行填充。I_F(i,j)为最后优化生成的融合结果；

(2)基于变换域的融合：

$\left\{\begin{array}{cc}{I}_{F,h}(i,j)=I_{A,h}(i,j),I_{F,l}(i,j)=I_{A,l}(i,j)& MAP{1}^{\′}(i,j)=1,MAP{2}^{\′}(i,j)=0\\ I_{F,h}(i,j)=I_{B,h}(i,j),I_{F,l}(i,j)=I_{B,l}(i,j)& MAP{1}^{\′}(i,j)=0,MAP{2}^{\′}(i,j)=1\\ I_{F,h}(i,j)=I_{IN,h}(i,j),I_{F,l}(i,j)=I_{IN,l}(i,j)& MAP{1}^{\′}(i,j)=MAP{2}^{\′}(i,j)=0.5\end{array}\right.$

比较修正的二值图MAP1'和MAP2'，若满足MAP1'(i,j)＝1,MAP2'(i,j)＝0，则选择源图像I_A的高频信息I_A,h(i,j)和低频信息I_A,l(i,j)为融合图像的高频信息和低频信息，若满足MAP1'(i,j)＝0,MAP2'(i,j)＝1，则选择源图像I_B的高频信息I_B,h(i,j)代和低频信息I_B,l(i,j)为融合图像的高频信息和低频信息，若满足MAP1'(i,j)＝MAP2'(i,j)＝0.5，则选择初始融合图像I_IN的高频信I_IN，h(i，j)和低频信息I_IN,l(i,j)为融合图像的高频信息和低频信息然后对得到的融合图像的高低频信息进行逆变换，得到最终的融合结果I_F。