CN113837976B - 基于联合多域的多聚焦图像融合方法 - Google Patents

Abstract

本发明公开了一种基于联合多域的多聚焦图像融合方法，涉及数字图像处理、模式识别、深度学***滑，得到最终决策图。4)根据最终决策图融合源图像对，生成多聚焦融合图像。本发明生成具有更高边缘对比度的图像，并在融合图像的运动区域引入较少的伪影。

Description

基于联合多域的多聚焦图像融合方法

技术领域

本发明涉及数字图像处理、模式识别、深度学习和多成像应用领域，具体是一种基于结合空间域、变换域和深度学习域的多聚焦图像融合方法。

背景技术

随着图像处理技术的发展，人们对图像质量的不断追求，推动了多聚焦图像融合的研究。多聚焦融合技术是将一系列部分聚焦的图像组合成一幅图像，使得所有物体都能清晰地成像。多聚焦融合图像对目标描述更丰富，其中包含比任何单一源图像更准确的信息描述，因此更能满足人类和机器的感知。良好的多聚焦图像融合方法，可以提高图像信息资源的利用率。目前，多聚焦图像融合技术在医学成像、显微成像、图像增强、目标识别、图像重建、计算摄影等领域得到了广泛的应用，也使其在各个领域有着良好的应用前景。随着国务院印发的《新一代人工智能发展规划》，对人工智能在公共安全领域深度应用的高度重视。2019年部署全国公安机关开展以“打诈骗、抓逃犯、保大庆”为主题的“云剑”行动，通过互联网云服务、云平台为利剑去抓捕疑犯，以创造良好的社会治安环境。人工智能推动着平安城市的建设，搭建城市级视频监控***，收集与分析来自城市不同位置不同类型监控摄像头的视频图像数据，实现人脸身份(犯罪嫌疑人、走失人口等)识别与追踪。多聚焦图像融合技术可将多张目标图像融合成一张全清晰的图像，这将有助于图像分析，进一步分析出人物头像，便于案件侦破。

一个新的多聚焦图像融合分类法大致包括四个主要分支：基于空间域的多聚焦图像融合方法，基于变换域的多聚焦图像融合方法，结合变换域和空间域的多聚焦图像融合方法(组合多聚焦图像融合方法)，以及深度学***均，在像素级、块级或区域级完成融合任务。与空间域方法不同，基于变换域的多聚焦图像融合方法是通过变换和反变换在另一个融合空间完成完全融合任务。通常采用图像分解的方法将源图像转换为另一个特征域，然后根据预先设计的融合准则，对融合系数进行逆变换。基于变换域的多聚焦图像融合方法可以有效地避免不连续或阻塞效应。早期采用的基于空间域和变换域的多聚焦融合方法简单、高效，然而这些手工设计的多聚焦图像融合方法，侧重于使用手工制作的特征，往往限制了对源图像的有力表现，从某种角度来看，几乎不可能提出一个将所有必要因素都考虑在内的理想设计。近年来，深度学习的研究突飞猛进，基于深度学习的方法由于其强大的图像表示能力，通常可以获得更好的图像质量，推动了图像融合的实质性进展。然而，现有的基于深度学习的方法存在一个共同的缺点，即模型参数过大，导致模型耗时长，融合效率低。基于以上讨论，每类多聚焦图像融合方法都有各自的优缺点。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种轻量级的网络模型，具有更高融合质量的基于联合多域的多聚焦图像融合方法。

为了实现上述目的本发明采用的技术方案如下：一种基于联合多域的多聚焦图像融合方法，包括以下步骤：

1)特征提取。读取若干多聚焦源图像对，并将其转换为灰度图像，再利用DCTConv和LBPConv两个卷积层提取特征，得到高维非线性特征映射。

2)生成初始决策图。将高维非线性特征映射输入以1×1为卷积核的全连接层(Fully Connected,FC)，生成每幅图像的焦点测量映射图，并利用softmax激活函数比较焦点值，生成初始二值决策映射图。

3)生成最终决策图。采用条件随机场和形态学方法对二值决策映射图进行后处理，以降低噪声，使处理更加平滑，得到最终决策图。

4)图像融合。根据最终决策图融合源图像对，生成多聚焦融合图像。本发明的优点及有益效果如下：

本发明针对多聚焦图像融合现有方法的缺点，提出了一种基于联合多域的多聚焦图像融合方法，该方法通过单一的前向传播直接产生输出。在变换域，利用DCTConv(Discrete Cosine Transform-based Convolution)提取图像的高频和低频信息，有效地避免了图像的不连续或块效应。在空间域，利用LBPConv(Local Binary Patterns-basedConverluton)提取边缘和纹理信息，最后利用FC层自动选取聚焦点。本发明首次提出结合变换域、空间域和深度学习的联合多域多聚焦图像融合方法，起到相互抑制各域的缺点，突出其优点的作用。结果表明，本发明生成具有更高边缘对比度的图像，并在融合图像的运动区域引入较少的伪影。

在实际应用中，本发明在步骤1)中，DCTConv在DCT核函数系数的基础上，引入锚卷积权值来减少网络参数的学习，可大大降低模型的时间复杂度。DCTConv特征提取模块可有效提取图像的高低频信息，使网络具有可解释性，提高了网络模型的表征能力。LBPConv嵌入到轻量级网络模型中，具有边缘保持和结构相似的特点，可以提取空间信息，扩大接受域，使网络具有可解释性，进一步提高融合图像的质量。在LBPConv模块中的BiReLU采用了简单的阈值，具有较高的计算效率，使得网络收敛速度更快，并且不会饱和，也就是说它可以抵抗梯度消失的问题。在步骤2)中，本发明的网络模型在全连接层的基础上引入了1×1卷积层，可以实现任意大小的图像作为输入。利用1×1卷积核及其信道数量的控制，可将网络中的参数数量限制在一定范围内，通过此过程，能够进一步减少参数数量，提高网络性能。在步骤3)中，对初始决策图进行条件随机场和形态学，能够进一步提高融合效果。相较于传统的聚焦评价函数，本发明提出的基于联合多域的多聚焦融合方法可选取更加精准的聚焦像素，具有较好的区分聚焦区域的特点，将本发明方法应用于多聚焦图像融合中可以达到较好的融合效果。

附图说明

图1是本发明提供优选实施例融合方案的流程图；

图2是第一组源图像；

图3是第一组源图像的融合图像；

图4是第二组源图像；

图5是第二组源图像的融合图像；

图6是LBPConv滤波器。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

图1：本发明的技术方案进行详细说明，一种基于联合多域的多聚焦图像融合方法，包括如下步骤：

第一步：特征提取。将多聚焦源图像对转换为灰度图像，通过DCTConv和LBPConv特征提取模块得到高维非线性特征映射；

第二步：生成初始决策图。将高维非线性特征映射输入以1×1为卷积核的FC层，生成每幅图像的焦点测量映射图，并利用softmax激活函数比较焦点值，生成初始二值决策映射图；

第三步：生成最终决策图。采用条件随机场和形态学方法对二值决策映射图进行后处理，以降低噪声，使处理更加平滑，得到最终决策图；

第四步：图像融合。根据最终决策图融合源图像对，生成多聚焦融合图像。

第一步中，利用DCTConv特征提取模块得到高维非线性特征映射的步骤为：DCTConv模块通过卷积实现DCT变换，提取到变换域的图像特征。在DCT核函数系数的基础上，引入固定卷积权值来减少网络参数的学习。对于给定的N×N个DCT核，其DCTConv滤波器的权重参数可定义为：

其中(K_i)^T和K_j分别表示DCT核函数第i行和j列系数，p表示DCT系数的阶数，n表示DCTConv的第n个卷积核，可计算为n＝(1+i+j)(i+j)/2+i+1。因此，表示由p阶DCT核函数的系数得到的第n个DCTConv核的权值。

然后对DCTConv提取的特征进行归一化处理，提出的一种自适应DCTConv特征提取过程的归一化方法为：

其中I(x,y)表示填充后的源灰度图像，m与DCT核函数的大小一致，I^p(x,y)表示在变换域上提取DCTConv的特征。表示对DCTConv特征归一化后的特征图。

利用LBPConv特征提取模块得到高维非线性特征映射的步骤为：LBPConv模块通过卷积实现LBP，提取到空间域的图像特征。LBPConv层由一组8个方向的卷积核组成，其本质是将8个方向上相邻像素的强度与块内中心像素的强度依次进行比较。卷积强度高的值被赋为正值，反之则赋为负值。然后通过Birelu激活函数进行非线性运算，图像强度生成8个通道的二值特征映射，作为下一层的输入。BiReLU主要用于将各个方向的重要信息转换成8位二进制图。因此，根据传统的ReLU激活函数，BiReLU可以重新表述为：

其中X为特征图的值。

最后，引入注意力机制LBPCA(LBP Channel Attention)来区别对待不同的通道，从而可以提高网络的表征能力。LBPCA设计了一个基底为2的预先定义的8通道锚权，对输入的响应可以表示为A^c＝[2⁰,2¹,...,2⁷]。获得激活BiRelu后的8位二进制特征映射为

其中σ_BiReLU表示BiRelu激活函数。i表示邻域的8个方向，c表示通道数。表示在i方向上第c通道的特征值，W_i ^c表示i方向上第c通道的权重值。H和W分别表示特征图的高和宽。Y为所生成的二值特征映射图。

在这种情况下，c在中心像素u(x,y)的8个邻居上运行，并且LBPConv中的偏差都是0，通过LBPConv生成的融合图像具有丰富的边界信息。

最后，生成初始策图的方法为：

其中M_A(x,y)和M_B(x,y)分别表示为一个多聚焦源图像对I_A和I_B生成的初始二值映射图在像素(x,y)上的值，其值越大，表示I_A同一位置的像素比I_B更聚焦，反之亦然。T(x,y)表示生成的初始决策图。

第三步中，为进一步优化决策图，利用条件随机场和形态学方法进行后处理，得到最终决策图。

第四步中，根据最终决策图，生成多聚焦融合图像。融合方案为：

F(x,y)＝～D(x,y)⊙I_B(x,y)+D(x,y)⊙I_A(x,y)

其中⊙表示决策图与源图像之间的点积，D(x,y)表示最终决策图，I_A(x,y)和I_B(x,y)表示一个源多聚焦图像对，F(x,y)表示融合图像。～表示对二值决策图取反。

为了验证本发明的效果，进行了如下实验：

本次实验室，在pytorch平台中实现，并在一台Intel(R)Core(TM)i9-10900K CPU，32.0GB RAM的计算机上运行。

实验方法：

在本实验过程中，将柯达图像数据库中的图像作为实验数据，待融合的两幅源图像分别为同一场景下前景或背景聚焦的图像。通过本发明提出基于联合多域的多聚焦图像融合方法，对两幅多聚焦源图像进行融合，得到目标对象全清晰的融合图像。

图2是第一组源图像(左图：左侧前景时钟聚焦，右侧背景时钟散焦；右图：左侧前景时钟散焦，右侧背景时钟聚焦)；

图3是第一组源图像的融合图像；

图4是第二组源图像(左图：下侧前景酒瓶聚焦，上侧背景轴散焦；右图：下侧前景酒瓶散焦，上侧背景轴聚焦)；

图5是第二组源图像的融合图像；

图6LBPConv滤波器；LBPConv滤波器是将八个方向设置为1，其本质是将8个方向上相邻像素的强度与块内中心像素的强度依次进行比较。卷积强度更大，则为正值，反之为负值。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (5)

1.基于联合多域的多聚焦图像融合方法，其特征在于，包括以下步骤：

1)读取若干多聚焦源图像对，并将其转换为灰度图像，再利用DCTConv和LBPConv两个卷积层提取特征，得到高维非线性特征映射，包括DCTConv模块通过卷积实现DCT变换，提取到变换域的图像特征；LBPConv模块通过卷积实现LBP变换，提取到空间域的图像特征；

所述DCTConv模块通过卷积实现DCT变换，在DCT核函数系数的基础上，引入固定卷积权值：对于给定的N×N个DCT核，其DCTConv的权重参数定义为：

其中(K_i)^T和K_j分别表示DCT核函数第i行和j列系数，p表示DCT系数的阶数，n表示DCTConv的第n个卷积核，计算为n＝(1+i+j)(i+j)/2+i+1，表示由p阶DCT核函数的系数得到的第n个DCTConv核的权值；

采用自适应DCTConv特征提取过程对提取的DCTConv特征进行归一化处理，归一化的步骤为：

其中I(x,y)表示填充后的源灰度图像，m与DCT核函数系数的大小一致，I^p(x,y)表示在变换域上提取DCTConv的特征，表示对DCTConv特征归一化后的特征图；

所述LBPConv模块通过卷积实现LBP变换包括，LBPConv模块由一组8个方向的卷积核组成，将8个方向上相邻像素的强度与块内中心像素的强度依次进行比较，卷积强度高的值被赋为正值，反之则赋为负值；然后通过Birelu激活函数进行非线性运算，图像强度生成8个通道的二值特征映射，作为下一层的输入；

2)连接高维非线性特征映射，输入到以1×1为卷积核的全连接层，生成每幅图像的焦点测量映射图，并利用softmax激活函数比较焦点值，生成初始二值决策映射图；

3)采用条件随机场和形态学方法对初始二值决策映射图进行后处理，得到最终决策图；

4)根据最终决策图融合源图像对，生成多聚焦融合图像。

2.根据权利要求1所述基于联合多域的多聚焦图像融合方法，其特征在于：所述Birelu激活函数表示为：

其中X为特征图的值。

3.根据权利要求2所述基于联合多域的多聚焦图像融合方法，其特征在于：还包括引入注意力机制LBPCA来区别对待不同的通道，LBPCA设计了一个基底为2的预先定义的8通道锚权重，对输入的响应表示为A^c＝[2⁰,2¹,...,2⁷]，获得激活BiRelu后的8位二进制特征映射为：

其中σ_BiReLU表示BiRelu激活函数，i表示邻域的8个方向，c表示通道数，表示在i方向上第c通道的特征值，W_i ^c表示i方向上第c通道的权重值，H和W分别表示特征图的高和宽，Y为所生成的二值特征映射图。

4.根据权利要求1所述基于联合多域的多聚焦图像融合方法，其特征在于：所述步骤2)包括初始决策图的生成方法：

其中M_A(x,y)和M_B(x,y)分别表示为一个多聚焦源图像对I_A和I_B生成的初始二值映射图在像素(x,y)上的值，其值越大，表示I_A同一位置的像素比I_B更聚焦，反之亦然，T(x,y)表示生成的初始决策图。

5.根据权利要求1所述基于联合多域的多聚焦图像融合方法，其特征在于：步骤4)所述根据最终决策图，生成多聚焦融合图像的融合方案为：

F(x,y)＝～D(x,y)e I_B(x,y)+D(x,y)e I_A(x,y)

其中e表示决策图与源图像之间的点积，D(x,y)表示最终决策图，I_A(x,y)和I_B(x,y)表示一个源多聚焦图像对，F(x,y)表示融合图像，～表示对二值决策图取反。