CN113705675A - 一种基于多尺度特征交互网络的多聚焦图像融合方法 - Google Patents
一种基于多尺度特征交互网络的多聚焦图像融合方法 Download PDFInfo
- Publication number
- CN113705675A CN113705675A CN202110997261.5A CN202110997261A CN113705675A CN 113705675 A CN113705675 A CN 113705675A CN 202110997261 A CN202110997261 A CN 202110997261A CN 113705675 A CN113705675 A CN 113705675A
- Authority
- CN
- China
- Prior art keywords
- scale
- nth
- feature
- layer
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 17
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 84
- 238000010586 diagram Methods 0.000 claims abstract description 75
- 230000002452 interceptive effect Effects 0.000 claims abstract description 5
- 238000007670 refining Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims description 71
- 230000007246 mechanism Effects 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 32
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 28
- 230000004913 activation Effects 0.000 claims description 23
- 230000000295 complement effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 239000011541 reaction mixture Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多尺度特征交互网络的多聚焦图像融合方法,其步骤包括:1,将一对彩色多聚焦源图像进行通道连接并输入到设计的多尺度特征交互网络(MSFIN)以生成表示像素聚焦属性的聚焦图;2,对聚焦图进行二值化(即高于阈值的像素值设为1,反之记为0)得到初始决策图,并采用全连接条件随机场(FC‑CRF)细化初始决策图,以去除一些误分类的小区域,得到最终决策图;3,基于细化后的最终决策图,采用像素加权平均策略获得融合图像。本发明能有效地融合具有不同聚焦区域的图像,为多聚焦图像的融合提高一种新的解决方案,使融合图像包含增强的空间信息,有助于信息传输和图像处理。
Description
技术领域
本发明属于多聚焦图像融合的技术领域,具体涉及一种基于多尺度特征交互网络的多聚焦图像融合方法。
背景技术
随着传感器和计算机技术的快速发展,数字图像作为这些新型科技的产物,逐渐渗透到人们的生活之中,并且成为人类获取信息的主要来源之一。因此,丰富图像的信息量,提升图像的视觉效果,能为后续图像处理奠定良好基础。由于光学镜头的景深有限,使得相机难以在同一场景中清晰地捕捉到所有的物体。具体来说,在景深(DOF)范围内的物体被快速捕获,而其他物体在景深(DOF)之外被模糊。多聚焦图像融合技术能将同一场景不同焦距设置的多幅图像融合为全聚焦图像,融合后的图像能尽可能保留源图像中的内容和细节。目前,多聚焦图像融合算法主要分为三类:基于变换域的方法和基于空间域的方法。
基于变换域的方法通常是通过图像分解或表示方法将源图像从空间域变换到变换域,然后根据特定的融合策略对不同源图像的变换系数进行融合。最后对融合后的全聚焦图像进行逆变换重建。例如,近几十年来提出了许多基于多尺度分解(MSD)的方法,基于稀疏表示(SR)的方法,基于梯度域(GD)的方法等。该方法得到的融合图像更接近人类视觉***,更自然的视觉效果。然而,在变换过程中容易引入像素强度误差,降低融合结果的清晰度。
基于空间域的方法通常是在空间域提取源图像的特征,直接测量源图像的活动水平。然后,根据计算得到的活动级测度,选择合适的融合规则生成聚焦图,确定每个像素点的聚焦属性(即聚焦或模糊)。基于决策图从源图像中选择相应的像素,最终得到融合图像。根据融合算法的基本处理单元,该方法又可分为基于块的方法、基于区域的方法、基于像素的方法。与前一类方法相比,此类方法可以最大限度地保留原始的焦点信息,获得清晰的融合图像。然而,对目标边界的不准确检测可能会在其周围引入不良伪影。
发明内容
本发明为克服上述现有技术所存在的不足,提出一种基于多尺度特征交互网络的多聚焦图像融合方法,以期对同一场景下不同聚焦设置所拍摄的多聚焦图像进行融合,使融合图像包含增强的空间信息,从而有助于后续的信息传输和图像处理。
本发明为解决技术问题,采用如下技术方案:
本发明一种基于多尺度特征交互网络的多聚焦图像融合方法的特点包括如下步骤:
步骤1、数据准备;
获取任意一对分辨率为H×W×3且聚焦区域为互补的多聚焦图像IA和IB;
获取与多聚焦图像IA中聚焦区域对应的一幅分辨率为H×W的二值图G1,并进行N-1次区域插值下采样,得到一组二值图像集记为{G1,G2,…,Gn,…,GN},并作为网络训练的参考图像,其中,Gn表示第n个尺度的参考图像,N表示尺度数;
步骤2、构建由主干网络、特征融合部分、上采样部分以及多层监督部分组成的多尺度特征交互网络模型,以预测多聚焦图像中各像素的聚焦属性,得到聚焦图;
步骤2.1、所述主干网络由N个尺度的卷积层级联而成,N个卷积层分别记为{Stagen|n=1,...N};当n=1时,第1级卷积层Stage1由1个卷积核大小为p的二维卷积层Conv和k-1个基本残差块级联而成,当n=2,...,N时,第n级卷积层Stagen由k个基本残差块级联而成,n=2,...,N;
将N×k-1个基本残差块分别记为BasicBlock1,…,BasicBlockm,…BasicBlockNk-1;其中BasicBlockm表示第m个基本残差块,m=1,2,...,Nk-1;第m个基本残差块BasicBlockm包括:两个二维卷积层、两个ReLU激活函数层;
将一对多聚焦图像IA和IB的通道进行连接后,得到尺寸为H×W×6的源图像,并输入到所述主干网络中,并经过所述二维卷积层Conv,输出特征图Fconv;
当m=1时,将所述特征图Fconv作为第m个基本残差块BasicBlockm的输入特征并输入到所述第m个基本残差块BasicBlockm中,经过两个二维卷积层和两个ReLU激活函数层后,获得第m个中间特征图F′m,将第m个中间特征图F′m与第m个基本残差块BasicBlockm的输入特征相加,从而获得第m个输出特征图BasicBlockresultm;
当m=2,...,Nk-1时,以第m-1个输出特征图BasicBlockresultm-1作为所述第m个基本残差块BasicBlockm的输入特征;从而经过第m个基本残差块BasicBlockm的两个二维卷积层和两个ReLU激活函数层后,获得第m个中间特征F′m,并将所述第m个中间特征图F′m与第m个基本残差块BasicBlockm的输入特征相加后,得到第m个输出特征图BasicBlockresultm,并作为第n个尺度的卷积层Stagen输出的特征图Featuren,m=nk-1,n=1,…,N;
步骤2.2、所述特征融合部分由N个多尺度特征融合模块组成,记为{MSFFn|n=1,…,N},其中,N表示尺度数,MSFFn表示第n个尺度的多尺度特征融合模块;
当n=1时,所述第n级尺度的多尺度特征融合模块MSFFn由第n个特征提取层FEn、第n个上采样层UPn和第n个跨通道的软注意力机制单元SABlockn构成;
当n=2,…N-1时,所述第n级尺度的多尺度特征融合模块MSFFn由第n个特征提取层FEn、第n个上采样层UPn、第n-1个下采样层DOWNn-1和第n个跨通道的软注意力机制单元SABlockn构成;
当n=N时,所述第n级尺度的多尺度特征融合模块MSFFn由第n个特征提取层FEn、第n-1个下采样层DOWNn-1和第n个跨通道的软注意力机制单元SABlockn构成;
其中,所述第n个特征提取层FEn由1个步长为1、卷积核大小为1的二维卷积层和1个步长为1、卷积核大小为3的二维卷积层级联而成;
第n个上采样层UPn由一个步长为1、卷积核大小为1的二维卷积层和双线性插值上采样层级联而成;
第n个下采样层DOWNn由一个步长为1、卷积核大小为1的二维卷积层和一个步长为2、卷积核大小为3的二维卷积层级联而成;
所述第n个跨通道的软注意力机制单元SABlockn包括:全局平均池化层,卷积核大小为1的二维卷积层,PReLU激活函数层,X个并行的卷积核大小为1的二维卷积以及softmax函数层;其中,X表示多尺度特征融合模块的支路数;
当n=1时,将第n级尺度的特征图Featuren和第n+1级尺度的特征图Featuren+1共同作为所述第n级尺度的多尺度特征融合模块MSFFn的输入特征,并经过所述第n个特征提取层FEn后,得到特征图Fn;第n+1级尺度的特征图Featuren+1经过第n个上采样层UPn,得到上采样后的特征图Fn+1;将所述第n个特征提取层FEn输出的特征图Fn和第n个上采样层UPn输出的特征图Fn+1相加后,得到第n级尺度粗略融合的特征图RFn,并输入到第n个尺度的跨通道的软注意力机制单元SABlockn中,得到所述特征图Fn的权重向量Wn和特征图Fn+1的权重向量Wn+1,再利用式(1)获得第n个尺度的跨通道的软注意力机制单元SABlockn的输出并作为第n级尺度的多尺度特征融合模块MSFFn的输出特征图MSFFresultn;
MSFFresultn=Wn×Fn+Wn+1×Fn+1 (1)
当n=2,…,N-1时,以第n-1级尺度的特征图Featuren-1、第n级尺度的特征图Featuren和第n+1级尺度的特征图Featuren+1共同作为所述第n级尺度的多尺度特征融合模块MSFFn的输入特征;所述第n-1级尺度的特征图Featuren-1经过所述第n-1个下采样层DOWNn-1,得到下采样后的特征图Fn-1;所述第n级尺度的特征图Featuren经过所述第n个特征提取层FEn,得到特征图Fn;所述第n+1级尺度的特征图Featuren+1经过第n个上采样层UPn,得到上采样后的特征图Fn+1;将所述第n-1个下采样层DOWNn-1输出的特征图Fn-1、第n个特征提取层FEn输出的特征图Fn和第n个上采样层UPn输出的特征图Fn+1相加后,得到第n级尺度粗略融合的特征图RFn,并输入到第n个尺度的跨通道的软注意力机制单元SABlockn中,得到所述特征图Fn-1的权重向量Wn-1、特征图Fn的权重向量Wn和特征图Fn+1的权重向量Wn+1,再利用式(2)获得第n个尺度的跨通道的软注意力机制单元SABlockn的输出并作为第n级尺度的多尺度特征融合模块MSFFn的输出特征图MSFFresultn;
MSFFresultn=Wn-1×Fn-1+Wn×Fn+Wn+1×Fn+1 (2)
当n=N时,以第n-1级尺度的特征图Featuren-1和第n级尺度的特征图Featuren共同作为所述第n级尺度的多尺度特征融合模块MSFFn的输入特征;所述第n-1级尺度的特征图Featuren-1经过所述第n-1个下采样层DOWNn-1后,得到下采样后的特征图Fn-1;所述第n级尺度的特征图Featuren经过所述第n个特征提取层FEn后,得到特征图Fn;将所述第n-1个下采样层DOWNn-1输出的特征图Fn-1和第n个特征提取层FEn输出的特征图Fn相加后,得到第n级尺度粗略融合的特征图RFn,并输入到第n个尺度的跨通道的软注意力机制单元SABlockn,得到所述特征图Fn-1的权重向量Wn-1和所述特征图Fn的权重向量Wn,再利用式(3)获得第n个尺度的跨通道的软注意力机制单元SABlockn的输出并作为第n级尺度的多尺度特征融合模块MSFFn的输出特征图MSFFresultn;
MSFFresultn=Wn-1×Fn-1+Wn×Fn (3)
步骤2.3、所述上采样部分由N-1个坐标注意力上采样模块组成,记为{CAUn|n=1,…,N-1},其中,N表示尺度数,CAUn表示第n级尺度的坐标注意力上采样模块;第n级尺度的坐标注意力上采样模块CAUn由第n个上采样层Upsamplen和第n个坐标注意力机制单元CABlockn组成;
所述第n个上采样层Upsamplen由一个步长为1、卷积核大小为1的二维卷积层和双线性插值上采样层级联而成;
所述坐标注意力机制CABlocki由水平方向和垂直方向的2个平均池化层、一个卷积核大小为1的二维卷积层、一个批归一化层、一个非线性激活函数、两个并行的步长为1、卷积核大小为1的二维卷积层以及两个并行的Sigmoid激活函数层构成;
当n=N-1时,以第n+1级尺度的多尺度特征融合模块的输出特征图MSFFresultn+1和第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn共同作为所述第n级尺度的坐标注意力上采样模块CAUn的输入特征;所述第n+1级尺度的多尺度特征融合模块的输出特征图MSFFresultn+1经过所述第n个上采样层Upsamplen后,得到上采样的特征图UFn;将所述上采样的特征图UFn和所述第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn进行通道连接后,得到连接后的特征图Concatn,并输入到所述第n个坐标注意力机制单元CABlockn中,得到所述第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn在水平方向的权重图hn和垂直方向的权重图wn;再利用式(4)获得第n个坐标注意力机制单元CABlockn的输出并作为第n级尺度的坐标注意力上采样模块CAUn的输出特征图CAUresultn;
CAUresultn=UFn+MSFFresultn×hn×wn (4)
当n=1,…,N-2时,以第n+1级尺度的坐标注意力上采样模块CAUn+1的输出特征图CAUresultn+1和第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn共同作为所述第n级尺度的坐标注意力上采样模块CAUn的输入特征,所述第n+1个尺度的坐标注意力上采样模块的输出特征图CAUresultn+1经过所述第n个上采样层Upsamplen后,得到上采样的特征图UFn;将所述上采样的特征图UFn和所述第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn进行通道连接后,得到连接后的特征图Concatn,并输入到所述第n个坐标注意力机制单元CABlockn中,得到所述第n级尺度的多尺度特征融合模块的输出MSFFresultn在水平方向的权重图hn和垂直方向的权重图wn;再利用式(4)获得第n个坐标注意力机制单元CABlockn的输出并作为第n级尺度的坐标注意力上采样模块CAUn的输出特征图CAUresultn;
步骤2.4、所述多层监督部分为N个并行的预测层,记为{Pren|n=1,…,N},其中,N表示尺度数,Pren表示第n级尺度的预测层;其中,所述第n级尺度的预测层Pren由一个步长为1,、卷积核大小为3的二维卷积层以及一个Sigmoid激活函数层构成;
当n=1,…,N-1时,以第n级尺度的坐标注意力上采样模块CAUn的输出特征图CAUresultn作为所述第n级尺度的预测层Pren的输入特征,并经过所述第n个预测层Pren后,得到预测的第n个尺度的聚焦图MLSresultn;
当n=N时,以第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn作为所述第n级尺度的预测层Pren的输入特征,并经过所述第n个预测层Pren后,得到预测的第n个尺度的聚焦图MLSresultn;
将预测的N个尺度的聚焦图MLSresult1,MLSresult2,…,MLSresultN作为所述多层监督部分的输出,并将第1个尺度的聚焦图MLSresult1作为所述多尺度特征交互网络的输出;
步骤2.5、利用式(5)建立损失函数L并作为多尺度特征交互网络模型的优化目标:
式(6)中,H×W为聚焦图的尺寸;γ是一个常数;是第n个尺度下分配给像素(h,w)的权重,并由式(7)得到;BCE(·,·)是二值交叉熵函数;是多层监督部分预测的聚焦图MLSresultn在位置(h,w)的像素值;是第n个尺度的参考图像Gn在位置(h,w)的像素值;
式(7)中,Ah,w为像素(h,w)周围的邻域;(m,n)为Ah,w中的像素;
步骤3、训练网络,得到预测表示像素聚焦属性的聚焦图的最优模型;
步骤3.1、按照步骤1的过程得到R对多聚焦图像及其对应的R组参考图像集;
步骤3.3、网络训练;
从R对参考图像中第t次对应取出Z个图像,并进行缩放后得到N个尺度的参考图像并作为优化目标来计算损失函数L,使得损失函数L在训练过程中逐渐下降,当t>T时,训练停止,并得到最优模型;其中,表示第t次取出的第x组聚焦图中的第n个尺度的参考图像;
步骤3.4、聚焦图后处理;
式(8)中,(x,y)表示像素位置;θ表示所设定的阈值;
步骤3.4.2、采用全连接条件随机场算法对初始决策图T进行细化,得到最终决策图D;
步骤4、对最终决策图D取反,得到互补掩膜D′;从而利用式(9)将最终决策图D及其互补掩膜D′分别与多聚焦图像IA和IB进行像素加权求和,并得到融合图像IF;
IF(x,y)=D(x,y)×IA(x,y)+(D′(x,y))×IB(x,y) (9)
式(9)中,IF(x,y)表示融合图像IF在(x,y)位置的像素值。
与已有技术相比,本发明的有益效果体现在:
1、本发明通过卷积神经网络直接将源图像映射到聚焦图,规避了手动特征提取的过程,避免了因手动提取特征而造成的信息丢失。
2、本发明针对卷积神经网络提取特征的特点,对多个尺度的特征进行交互学习,为聚焦图的生成提供更丰富的信息,提升了聚焦区域检测的准确性。
3、本发明引入了加权的二值交叉熵损失函数和多层监督策略,优化网络参数,得到最佳的网络模型,使其对聚焦图中目标边界的检测更准确。
4、本发明对聚焦图二值化后,采用全连接条件随机场(FC-CRF)方法去除误分类的小区域。与常用的形态学滤波操作相比,FC-CRF能够防止正确分类的聚焦小区域被去除。
附图说明
图1为本发明方法流程图;
图2为本发明多尺度特征交互网络的整体框架图;
图3为本发明基本残差块结构图;
图4a为本发明中当n=1时第n级尺度的多尺度特征融合模块结构图;
图4b为本发明中当n=2,…N-1时第n级尺度的多尺度特征融合模块结构图;
图4c为本发明中当n=N时第n级尺度的多尺度特征融合模块结构图;
图5a为本发明中当n=N-1时第n级尺度的坐标注意力上采样模块结构图;
图5b为本发明中当n=1,…,N-2时第n级尺度的坐标注意力上采样模块结构图。
具体实施方式
本实施例中,一种基于多尺度特征交互网络的多聚焦图像融合方法,具体流程如图1所示,包括以下步骤:
步骤1、数据准备;
获取任意一对分辨率为H×W×3且聚焦区域为互补的多聚焦图像IA和IB;
获取与多聚焦图像IA中聚焦区域对应的一幅分辨率为H×W的二值图G1,并进行N-1次区域插值下采样,得到一组二值图像集记为{G1,G2,…,Gn,…,GN},并作为网络训练的参考图像,其中,Gn表示第n个尺度的参考图像,N表示尺度数;
在本实施例中,使用PASCAL VOC 2012数据集中带有分割标签的原始清晰图像合成多聚焦图像;将原始清晰图像的大小调整为240×240×3,其对应分割图的大小调整为240×240;通过将分割图的所有非零像素置1,得到二值化的参考图像G1;然后对原始清晰图像连续地使用高斯滤波器生成5个模糊版本的模糊图像。对参考图像G1取反得到其互补图像最后将参考图像G1及其互补图像作为掩膜,合成出一对多聚焦图像IA和IB,每个原始清晰图像及其5个模糊版本的模糊图像可生成25对多聚焦图像;同时连续地对参考图像G1进行3次区域插值下采样,得到{G1,G2,G3,G4},其中各个尺度的参考图像的大小分别为240×240、240×240、120×120、60×60、30×30;共获得20000对多聚焦图像和对应的20000组参考图像;
步骤2、构建由主干网络、特征融合部分、上采样部分以及多层监督部分组成的多尺度特征交互网络模型,以预测多聚焦图像中各像素的聚焦属性,得到聚焦图;网络的整体结构如图2所示;
步骤2.1、主干网络由N个尺度的卷积层级联而成,N个卷积层分别记为{Stagen|n=1,…N};当n=1时,第1级卷积层Stage1由1个卷积核大小为p的二维卷积层Conv和k-1个基本残差块级联而成,当n=2,...,N时,第n级卷积层Stagen由k个基本残差块级联而成,n=2,...,N;本实施例中,N=4,k=2,p=3;
将N×k-1个基本残差块分别记为BasicBlock1,…,BasicBlockm,…BasicBlockNk-1;其中BasicBlockm表示第m个基本残差块,m=1,2,...,Nk-1;第m个基本残差块BasicBlockm包括:两个二维卷积层、两个ReLU激活函数层;本实施例中,第m个基本残差块BasicBlockm结构如图3所示;
将一对多聚焦图像IA和IB的通道进行连接后,得到尺寸为H×W×6的源图像,并输入到主干网络中,并经过二维卷积层Conv,输出特征图Fconv;本实施例中,二维卷积层Conv的输入通道数为6,输出通道数为32;
当m=1时,将特征图Fconv作为第m个基本残差块BasicBlockm的输入特征并输入到第m个基本残差块BasicBlockm中,经过两个二维卷积层和两个ReLU激活函数层后,获得第m个中间特征图F′m,将第m个中间特征图F′m与第m个基本残差块BasicBlockm的输入特征相加,从而获得第m个输出特征图BasicBlockresultm;
当m=2,...,Nk-1时,以第m-1个输出特征图BasicBlockresultm-1作为第m个基本残差块BasicBlockm的输入特征;从而经过第m个基本残差块BasicBlockm的两个二维卷积层和两个ReLU激活函数层后,获得第m个中间特征F′m,并将第m个中间特征图F′m与第m个基本残差块BasicBlockm的输入特征相加后,得到第m个输出特征图BasicBlockresultm,并作为第n个尺度的卷积层Stagen输出的特征图Featuren,m=nk-1,n=1,…,N;本实施例中,N=4,k=2;
当m=2n-1时,第m个基本残差块BasicBlockm的输入通道数和输出通道数为32×2n-1,中间特征F′m的通道数为32×2n-1,其中,n=1,…,4;当m=2n-2时,第m个基本残差块BasicBlockm的输入通道数为32×2n-2,输出通道数为32×2n-1,中间特征F′m的通道数为32×2n-1,其中,n=2,3,4;
步骤2.2、特征融合部分由N个多尺度特征融合模块组成,记为{MSFFn|n=1,…,N},其中,N表示尺度数,MSFFn表示第n个尺度的多尺度特征融合模块;
当n=1时,第n级尺度的多尺度特征融合模块MSFFn由第n个特征提取层FEn、第n个上采样层UPn和第n个跨通道的软注意力机制单元SABlockn构成;第n级尺度的多尺度特征融合模块的具体结构如图4a所示;
当n=2,…N-1时,第n级尺度的多尺度特征融合模块MSFFn由第n个特征提取层FEn、第n个上采样层UPn、第n-1个下采样层DOWNn-1和第n个跨通道的软注意力机制单元SABlockn构成;第n级尺度的多尺度特征融合模块的具体结构如图4b所示;
当n=N时,第n级尺度的多尺度特征融合模块MSFFn由第n个特征提取层FEn、第n-1个下采样层DOWNn-1和第n个跨通道的软注意力机制单元SABlockn构成;第n级尺度的多尺度特征融合模块的具体结构如图4c所示;
其中,第n个特征提取层FEn由1个步长为1、卷积核大小为1的二维卷积层和1个步长为1、卷积核大小为3的二维卷积层级联而成;
第n个上采样层UPn由一个步长为1、卷积核大小为1的二维卷积层和双线性插值上采样层级联而成;
第n个下采样层DOWNn由一个步长为1、卷积核大小为1的二维卷积层和一个步长为2、卷积核大小为3的二维卷积层级联而成;
第n个跨通道的软注意力机制单元SABlockn包括:全局平均池化层,卷积核大小为1的二维卷积层,PReLU激活函数层,X个并行的卷积核大小为1的二维卷积以及softmax函数层;其中,X表示多尺度特征融合模块的支路数;本实施例中,当n=1,N时,X=2;当n=2,…,N-1时,X=3;
当n=1时,将第n级尺度的特征图Featuren和第n+1级尺度的特征图Featuren+1共同作为第n级尺度的多尺度特征融合模块MSFFn的输入特征,并经过第n个特征提取层FEn后,得到特征图Fn;第n+1级尺度的特征图Featuren+1经过第n个上采样层UPn,得到上采样后的特征图Fn+1;将第n个特征提取层FEn输出的特征图Fn和第n个上采样层UPn输出的特征图Fn+1相加后,得到第n级尺度粗略融合的特征图RFn,并输入到第n个尺度的跨通道的软注意力机制单元SABlockn中,得到特征图Fn的权重向量Wn和特征图Fn+1的权重向量Wn+1,再利用式(1)获得第n个尺度的跨通道的软注意力机制单元SABlockn的输出并作为第n级尺度的多尺度特征融合模块MSFFn的输出特征图MSFFresultn;
MSFFresultn=Wn×Fn+Wn+1×Fn+1 (1)
当n=2,…,N-1时,以第n-1级尺度的特征图Featuren-1、第n级尺度的特征图Featuren和第n+1级尺度的特征图Featuren+1共同作为第n级尺度的多尺度特征融合模块MSFFn的输入特征;第n-1级尺度的特征图Featuren-1经过第n-1个下采样层DOWNn-1,得到下采样后的特征图Fn-1;第n级尺度的特征图Featuren经过第n个特征提取层FEn,得到特征图Fn;第n+1级尺度的特征图Featuren+1经过第n个上采样层UPn,得到上采样后的特征图Fn+1;将第n-1个下采样层DOWNn-1输出的特征图Fn-1、第n个特征提取层FEn输出的特征图Fn和第n个上采样层UPn输出的特征图Fn+1相加后,得到第n级尺度粗略融合的特征图RFn,并输入到第n个尺度的跨通道的软注意力机制单元SABlockn中,得到特征图Fn-1的权重向量Wn-1、特征图Fn的权重向量Wn和特征图Fn+1的权重向量Wn+1,再利用式(2)获得第n个尺度的跨通道的软注意力机制单元SABlockn的输出并作为第n级尺度的多尺度特征融合模块MSFFn的输出特征图MSFFresultn;
MSFFresultn=Wn-1×Fn-1+Wn×Fn+Wn+1×Fn+1 (2)
当n=N时,以第n-1级尺度的特征图Featuren-1和第n级尺度的特征图Featuren共同作为第n级尺度的多尺度特征融合模块MSFFn的输入特征;第n-1级尺度的特征图Featuren-1经过第n-1个下采样层DOWNn-1后,得到下采样后的特征图Fn-1;第n级尺度的特征图Featuren经过第n个特征提取层FEn后,得到特征图Fn;将第n-1个下采样层DOWNn-1输出的特征图Fn-1和第n个特征提取层FEn输出的特征图Fn相加后,得到第n级尺度粗略融合的特征图RFn,并输入到第n个尺度的跨通道的软注意力机制单元SABlockn,得到特征图Fn-1的权重向量Wn-1和特征图Fn的权重向量Wn,再利用式(3)获得第n个尺度的跨通道的软注意力机制单元SABlockn的输出并作为第n级尺度的多尺度特征融合模块MSFFn的输出特征图MSFFresultn;
MSFFresultn=Wn-1×Fn-1+Wn×Fn (3)
步骤2.3、上采样部分由N-1个坐标注意力上采样模块组成,记为{CAUn|n=1,…,N-1},其中,N表示尺度数,CAUn表示第n级尺度的坐标注意力上采样模块;第n级尺度的坐标注意力上采样模块CAUn由第n个上采样层Upsamplen和第n个坐标注意力机制单元CABlockn组成;第n级尺度的坐标注意力上采样模块CAUn的输入通道数和输出通道数均为32×2n-1;
第n个上采样层Upsamplen由一个步长为1、卷积核大小为1的二维卷积层和双线性插值上采样层级联而成;
坐标注意力机制CABlocki由水平方向和垂直方向的2个平均池化层、一个卷积核大小为1的二维卷积层、一个批归一化层、一个非线性激活函数、两个并行的步长为1、卷积核大小为1的二维卷积层以及两个并行的Sigmoid激活函数层构成;本实施例中,非线性激活函数由ReLU6激活函数和Sigmoid激活函数组合而成;
本实施例中,当n=N-1时,第n级尺度的坐标注意力上采样模块CAUn的具体结构如图5a所示;当n=1,…,N-2时,第n级尺度的坐标注意力上采样模块CAUn的具体结构如图5b所示;
当n=N-1时,以第n+1级尺度的多尺度特征融合模块的输出特征图MSFFresultn+1和第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn共同作为第n级尺度的坐标注意力上采样模块CAUn的输入特征;第n+1级尺度的多尺度特征融合模块的输出特征图MSFFresultn+1经过第n个上采样层Upsamplen后,得到上采样的特征图UFn;将上采样的特征图UFn和第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn进行通道连接后,得到连接后的特征图Concatn,并输入到第n个坐标注意力机制单元CABlockn中,得到第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn在水平方向的权重图hn和垂直方向的权重图wn;再利用式(4)获得第n个坐标注意力机制单元CABlockn的输出并作为第n级尺度的坐标注意力上采样模块CAUn的输出特征图CAUresultn;
CAUresultn=UFn+MSFFresultn×hn×wn (4)
当n=1,…,N-2时,以第n+1级尺度的坐标注意力上采样模块CAUn+1的输出特征图CAUresultn+1和第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn共同作为第n级尺度的坐标注意力上采样模块CAUn的输入特征,第n+1个尺度的坐标注意力上采样模块的输出特征图CAUresultn+1经过第n个上采样层Upsamplen后,得到上采样的特征图UFn;将上采样的特征图UFn和第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn进行通道连接后,得到连接后的特征图Concatn,并输入到第n个坐标注意力机制单元CABlockn中,得到第n级尺度的多尺度特征融合模块的输出MSFFresultn在水平方向的权重图hn和垂直方向的权重图wn;再利用式(4)获得第n个坐标注意力机制单元CABlockn的输出并作为第n级尺度的坐标注意力上采样模块CAUn的输出特征图CAUresultn;
步骤2.4、多层监督部分为N个并行的预测层,记为{Pren|n=1,…,N},其中,N表示尺度数,Pren表示第n级尺度的预测层;其中,第n级尺度的预测层Pren由一个步长为1,、卷积核大小为3的二维卷积层以及一个Sigmoid激活函数层构成;在本实施例中,第n级尺度的预测层Pren的输入通道数为32×2n-1,输出通道数为1;
当n=1,…,N-1时,以第n级尺度的坐标注意力上采样模块CAUn的输出特征图CAUresultn作为第n级尺度的预测层Pren的输入特征,并经过第n个预测层Pren后,得到预测的第n个尺度的聚焦图MLSresultn;
当n=N时,以第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn作为第n级尺度的预测层Pren的输入特征,并经过第n个预测层Pren后,得到预测的第n个尺度的聚焦图MLSresultn;
将预测的N个尺度的聚焦图MLSresult1,MLSresult2,…,MLSresultN作为多层监督部分的输出,并将第1个尺度的聚焦图MLSresult1作为多尺度特征交互网络的输出;多层监督部分通过对多个尺度的聚焦图进行监督,增强了对网络的训练,提升了输出聚焦图的准确性;
步骤2.5、利用式(5)建立损失函数L并作为多尺度特征交互网络模型的优化目标:
式(5)中,为第n个尺度的加权二值交叉熵损失,并由式(6)得到;相比于传统的二值交叉熵损失平等对待所有像素,能给边界周围的像素更多的注意,以提高边界检测的准确性;本实施例中,采用Adam优化器对损失L进行优化求解;
式(6)中,H×W为聚焦图的尺寸;γ是一个常数;是第n个尺度下分配给像素(h,w)的权重,并由式(7)得到;BCE(·,·)是二值交叉熵函数;是多层监督部分预测的聚焦图MLSresultn在位置(h,w)的像素值;是第n个尺度的参考图像Gn在位置(h,w)的像素值;在本实施例中,γ=3;
式(7)中,Ah,w为像素(h,w)周围的邻域;(m,n)为Ah,w中的像素;本实施例中,Ah,w邻域大小设置为31×31;
步骤3、训练网络,得到预测表示像素聚焦属性的聚焦图的最优模型;
步骤3.1、按照步骤1的过程得到R对多聚焦图像及其对应的R组参考图像集;
步骤3.3、网络训练;
从R对参考图像中第t次对应取出Z个图像,并进行缩放后得到N个尺度的参考图像并作为优化目标来计算损失函数L,使得损失函数L在训练过程中逐渐下降,当t>T时,训练停止,并得到最优模型;其中,表示第t次取出的第x组聚焦图中的第n个尺度的参考图像;使用最优模型进行测试时,只需要将一对彩色图像进行通道上的连接,得到6通道源图像作为最优模型的输入,即可获得对应的聚焦图;
步骤3.4、聚焦图后处理;
式(8)中,(x,y)表示像素位置;θ表示所设定的阈值;本实施例中,θ=0.5;
步骤3.4.2、采用全连接条件随机场算法对初始决策图T进行细化,得到最终决策图D;
步骤4、对最终决策图D取反,得到互补掩膜D′;从而利用式(9)将最终决策图D及其互补掩膜D′分别与多聚焦图像IA和IB进行像素加权求和,并得到融合图像IF;
IF(x,y)=D(x,y)×IA(x,y)+(D′(x,y))×IB(x,y) (9)
式(9)中,IF(x,y)表示融合图像IF在(x,y)位置的像素值。
Claims (1)
1.一种基于多尺度特征交互网络的多聚焦图像融合方法,其特征包括如下步骤:
步骤1、数据准备;
获取任意一对分辨率为H×W×3且聚焦区域为互补的多聚焦图像IA和IB;
获取与多聚焦图像IA中聚焦区域对应的一幅分辨率为H×W的二值图G1,并进行N-1次区域插值下采样,得到一组二值图像集记为{G1,G2,…,Gn,…,GN},并作为网络训练的参考图像,其中,Gn表示第n个尺度的参考图像,N表示尺度数;
步骤2、构建由主干网络、特征融合部分、上采样部分以及多层监督部分组成的多尺度特征交互网络模型,以预测多聚焦图像中各像素的聚焦属性,得到聚焦图;
步骤2.1、所述主干网络由N个尺度的卷积层级联而成,N个卷积层分别记为{Stagen|n=1,…N};当n=1时,第1级卷积层Stage1由1个卷积核大小为p的二维卷积层Conv和k-1个基本残差块级联而成,当n=2,...,N时,第n级卷积层Stagen由k个基本残差块级联而成,n=2,...,N;
将N×k-1个基本残差块分别记为BasicBlock1,…,BasicBlockm,…BasicBlockNk-1;其中BasicBlockm表示第m个基本残差块,m=1,2,...,Nk-1;第m个基本残差块BasicBlockm包括:两个二维卷积层、两个ReLU激活函数层;
将一对多聚焦图像IA和IB的通道进行连接后,得到尺寸为H×W×6的源图像,并输入到所述主干网络中,并经过所述二维卷积层Conv,输出特征图Fconv;
当m=1时,将所述特征图Fconv作为第m个基本残差块BasicBlockm的输入特征并输入到所述第m个基本残差块BasicBlockm中,经过两个二维卷积层和两个ReLU激活函数层后,获得第m个中间特征图F′m,将第m个中间特征图F′m与第m个基本残差块BasicBlockm的输入特征相加,从而获得第m个输出特征图BasicBlockresultm;
当m=2,...,Nk-1时,以第m-1个输出特征图BasicBlockresultm-1作为所述第m个基本残差块BasicBlockm的输入特征;从而经过第m个基本残差块BasicBlockm的两个二维卷积层和两个ReLU激活函数层后,获得第m个中间特征F′m,并将所述第m个中间特征图F′m与第m个基本残差块BasicBlockm的输入特征相加后,得到第m个输出特征图BasicBlockresultm,并作为第n个尺度的卷积层Stagen输出的特征图Featuren,m=nk-1,n=1,…,N;
步骤2.2、所述特征融合部分由N个多尺度特征融合模块组成,记为{MSFFn|n=1,…,N},其中,N表示尺度数,MSFFn表示第n个尺度的多尺度特征融合模块;
当n=1时,所述第n级尺度的多尺度特征融合模块MSFFn由第n个特征提取层FEn、第n个上采样层UPn和第n个跨通道的软注意力机制单元SABlockn构成;
当n=2,…N-1时,所述第n级尺度的多尺度特征融合模块MSFFn由第n个特征提取层FEn、第n个上采样层UPn、第n-1个下采样层DOWNn-1和第n个跨通道的软注意力机制单元SABlockn构成;
当n=N时,所述第n级尺度的多尺度特征融合模块MSFFn由第n个特征提取层FEn、第n-1个下采样层DOWNn-1和第n个跨通道的软注意力机制单元SABlockn构成;
其中,所述第n个特征提取层FEn由1个步长为1、卷积核大小为1的二维卷积层和1个步长为1、卷积核大小为3的二维卷积层级联而成;
第n个上采样层UPn由一个步长为1、卷积核大小为1的二维卷积层和双线性插值上采样层级联而成;
第n个下采样层DOWNn由一个步长为1、卷积核大小为1的二维卷积层和一个步长为2、卷积核大小为3的二维卷积层级联而成;
所述第n个跨通道的软注意力机制单元SABlockn包括:全局平均池化层,卷积核大小为1的二维卷积层,PReLU激活函数层,X个并行的卷积核大小为1的二维卷积以及softmax函数层;其中,X表示多尺度特征融合模块的支路数;
当n=1时,将第n级尺度的特征图Featuren和第n+1级尺度的特征图Featuren+1共同作为所述第n级尺度的多尺度特征融合模块MSFFn的输入特征,并经过所述第n个特征提取层FEn后,得到特征图Fn;第n+1级尺度的特征图Featuren+1经过第n个上采样层UPn,得到上采样后的特征图Fn+1;将所述第n个特征提取层FEn输出的特征图Fn和第n个上采样层UPn输出的特征图Fn+1相加后,得到第n级尺度粗略融合的特征图RFn,并输入到第n个尺度的跨通道的软注意力机制单元SABlockn中,得到所述特征图Fn的权重向量Wn和特征图Fn+1的权重向量Wn+1,再利用式(1)获得第n个尺度的跨通道的软注意力机制单元SABlockn的输出并作为第n级尺度的多尺度特征融合模块MSFFn的输出特征图MSFFresultn;
MSFFresultn=Wn×Fn+Wn+1×Fn+1 (1)
当n=2,…,N-1时,以第n-1级尺度的特征图Featuren-1、第n级尺度的特征图Featuren和第n+1级尺度的特征图Featuren+1共同作为所述第n级尺度的多尺度特征融合模块MSFFn的输入特征;所述第n-1级尺度的特征图Featuren-1经过所述第n-1个下采样层DOWNn-1,得到下采样后的特征图Fn-1;所述第n级尺度的特征图Featuren经过所述第n个特征提取层FEn,得到特征图Fn;所述第n+1级尺度的特征图Featuren+1经过第n个上采样层UPn,得到上采样后的特征图Fn+1;将所述第n-1个下采样层DOWNn-1输出的特征图Fn-1、第n个特征提取层FEn输出的特征图Fn和第n个上采样层UPn输出的特征图Fn+1相加后,得到第n级尺度粗略融合的特征图RFn,并输入到第n个尺度的跨通道的软注意力机制单元SABlockn中,得到所述特征图Fn-1的权重向量Wn-1、特征图Fn的权重向量Wn和特征图Fn+1的权重向量Wn+1,再利用式(2)获得第n个尺度的跨通道的软注意力机制单元SABlockn的输出并作为第n级尺度的多尺度特征融合模块MSFFn的输出特征图MSFFresultn;
MSFFresultn=Wn-1×Fn-1+Wn×Fn+Wn+1×Fn+1 (2)
当n=N时,以第n-1级尺度的特征图Featuren-1和第n级尺度的特征图Featuren共同作为所述第n级尺度的多尺度特征融合模块MSFFn的输入特征;所述第n-1级尺度的特征图Featuren-1经过所述第n-1个下采样层DOWNn-1后,得到下采样后的特征图Fn-1;所述第n级尺度的特征图Featuren经过所述第n个特征提取层FEn后,得到特征图Fn;将所述第n-1个下采样层DOWNn-1输出的特征图Fn-1和第n个特征提取层FEn输出的特征图Fn相加后,得到第n级尺度粗略融合的特征图RFn,并输入到第n个尺度的跨通道的软注意力机制单元SABlockn,得到所述特征图Fn-1的权重向量Wn-1和所述特征图Fn的权重向量Wn,再利用式(3)获得第n个尺度的跨通道的软注意力机制单元SABlockn的输出并作为第n级尺度的多尺度特征融合模块MSFFn的输出特征图MSFFresultn;
MSFFresultn=Wn-1×Fn-1+Wn×Fn (3)
步骤2.3、所述上采样部分由N-1个坐标注意力上采样模块组成,记为{CAUn|n=1,…,N-1},其中,N表示尺度数,CAUn表示第n级尺度的坐标注意力上采样模块;第n级尺度的坐标注意力上采样模块CAUn由第n个上采样层Upsamplen和第n个坐标注意力机制单元CABlockn组成;
所述第n个上采样层Upsamplen由一个步长为1、卷积核大小为1的二维卷积层和双线性插值上采样层级联而成;
所述坐标注意力机制CABlocki由水平方向和垂直方向的2个平均池化层、一个卷积核大小为1的二维卷积层、一个批归一化层、一个非线性激活函数、两个并行的步长为1、卷积核大小为1的二维卷积层以及两个并行的Sigmoid激活函数层构成;
当n=N-1时,以第n+1级尺度的多尺度特征融合模块的输出特征图MSFFresultn+1和第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn共同作为所述第n级尺度的坐标注意力上采样模块CAUn的输入特征;所述第n+1级尺度的多尺度特征融合模块的输出特征图MSFFresultn+1经过所述第n个上采样层Upsamplen后,得到上采样的特征图UFn;将所述上采样的特征图UFn和所述第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn进行通道连接后,得到连接后的特征图Concatn,并输入到所述第n个坐标注意力机制单元CABlockn中,得到所述第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn在水平方向的权重图hn和垂直方向的权重图wn;再利用式(4)获得第n个坐标注意力机制单元CABlockn的输出并作为第n级尺度的坐标注意力上采样模块CAUn的输出特征图CAUresultn;
CAUresultn=UFn+MSFFresultn×hn×wn (4)
当n=1,…,N-2时,以第n+1级尺度的坐标注意力上采样模块CAUn+1的输出特征图CAUresultn+1和第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn共同作为所述第n级尺度的坐标注意力上采样模块CAUn的输入特征,所述第n+1个尺度的坐标注意力上采样模块的输出特征图CAUresultn+1经过所述第n个上采样层Upsamplen后,得到上采样的特征图UFn;将所述上采样的特征图UFn和所述第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn进行通道连接后,得到连接后的特征图Concatn,并输入到所述第n个坐标注意力机制单元CABlockn中,得到所述第n级尺度的多尺度特征融合模块的输出MSFFresultn在水平方向的权重图hn和垂直方向的权重图wn;再利用式(4)获得第n个坐标注意力机制单元CABlockn的输出并作为第n级尺度的坐标注意力上采样模块CAUn的输出特征图CAUresultn;
步骤2.4、所述多层监督部分为N个并行的预测层,记为{Pren|n=1,…,N},其中,N表示尺度数,Pren表示第n级尺度的预测层;其中,所述第n级尺度的预测层Pren由一个步长为1,、卷积核大小为3的二维卷积层以及一个Sigmoid激活函数层构成;
当n=1,…,N-1时,以第n级尺度的坐标注意力上采样模块CAUn的输出特征图CAUresultn作为所述第n级尺度的预测层Pren的输入特征,并经过所述第n个预测层Pren后,得到预测的第n个尺度的聚焦图MLSresultn;
当n=N时,以第n级尺度的多尺度特征融合模块的输出特征图MSFFresultn作为所述第n级尺度的预测层Pren的输入特征,并经过所述第n个预测层Pren后,得到预测的第n个尺度的聚焦图MLSresultn;
将预测的N个尺度的聚焦图MLSresult1,MLSresult2,…,MLSresultN作为所述多层监督部分的输出,并将第1个尺度的聚焦图MLSresult1作为所述多尺度特征交互网络的输出;
步骤2.5、利用式(5)建立损失函数L并作为多尺度特征交互网络模型的优化目标:
式(6)中,H×W为聚焦图的尺寸;γ是一个常数;是第n个尺度下分配给像素(h,w)的权重,并由式(7)得到;BCE(·,·)是二值交叉熵函数;是多层监督部分预测的聚焦图MLSresultn在位置(h,w)的像素值;是第n个尺度的参考图像Gn在位置(h,w)的像素值;
式(7)中,Ah,w为像素(h,w)周围的邻域;(m,n)为Ah,w中的像素;
步骤3、训练网络,得到预测表示像素聚焦属性的聚焦图的最优模型;
步骤3.1、按照步骤1的过程得到R对多聚焦图像及其对应的R组参考图像集;
步骤3.3、网络训练;
从R对参考图像中第t次对应取出Z个图像,并进行缩放后得到N个尺度的参考图像并作为优化目标来计算损失函数L,使得损失函数L在训练过程中逐渐下降,当t>T时,训练停止,并得到最优模型;其中,表示第t次取出的第x组聚焦图中的第n个尺度的参考图像;
步骤3.4、聚焦图后处理;
式(8)中,(x,y)表示像素位置;θ表示所设定的阈值;
步骤3.4.2、采用全连接条件随机场算法对初始决策图T进行细化,得到最终决策图D;
步骤4、对最终决策图D取反,得到互补掩膜D′;从而利用式(9)将最终决策图D及其互补掩膜D′分别与多聚焦图像IA和IB进行像素加权求和,并得到融合图像IF;
IF(x,y)=D(x,y)×IA(x,y)+(D′(x,y))×IB(x,y) (9)
式(9)中,IF(x,y)表示融合图像IF在(x,y)位置的像素值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110997261.5A CN113705675B (zh) | 2021-08-27 | 2021-08-27 | 一种基于多尺度特征交互网络的多聚焦图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110997261.5A CN113705675B (zh) | 2021-08-27 | 2021-08-27 | 一种基于多尺度特征交互网络的多聚焦图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113705675A true CN113705675A (zh) | 2021-11-26 |
CN113705675B CN113705675B (zh) | 2022-10-04 |
Family
ID=78656167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110997261.5A Active CN113705675B (zh) | 2021-08-27 | 2021-08-27 | 一种基于多尺度特征交互网络的多聚焦图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113705675B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114419449A (zh) * | 2022-03-28 | 2022-04-29 | 成都信息工程大学 | 一种自注意力多尺度特征融合的遥感图像语义分割方法 |
CN115861745A (zh) * | 2022-10-25 | 2023-03-28 | 中国交通信息科技集团有限公司 | 一种用于生成三维模型的二维图像特征提取方法与*** |
CN117593619A (zh) * | 2024-01-18 | 2024-02-23 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100020208A1 (en) * | 2008-07-24 | 2010-01-28 | Florida State University Research Foundation | Systems and methods for training an active random field for real-time image denoising |
WO2018035805A1 (en) * | 2016-08-25 | 2018-03-01 | Intel Corporation | Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation |
CN110334779A (zh) * | 2019-07-16 | 2019-10-15 | 大连海事大学 | 一种基于PSPNet细节提取的多聚焦图像融合方法 |
CN111861880A (zh) * | 2020-06-05 | 2020-10-30 | 昆明理工大学 | 基于区域信息增强与块自注意力的图像超分与融合方法 |
CN113159236A (zh) * | 2021-05-26 | 2021-07-23 | 中国工商银行股份有限公司 | 基于多尺度变换的多聚焦图像融合方法及装置 |
-
2021
- 2021-08-27 CN CN202110997261.5A patent/CN113705675B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100020208A1 (en) * | 2008-07-24 | 2010-01-28 | Florida State University Research Foundation | Systems and methods for training an active random field for real-time image denoising |
WO2018035805A1 (en) * | 2016-08-25 | 2018-03-01 | Intel Corporation | Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation |
CN110334779A (zh) * | 2019-07-16 | 2019-10-15 | 大连海事大学 | 一种基于PSPNet细节提取的多聚焦图像融合方法 |
CN111861880A (zh) * | 2020-06-05 | 2020-10-30 | 昆明理工大学 | 基于区域信息增强与块自注意力的图像超分与融合方法 |
CN113159236A (zh) * | 2021-05-26 | 2021-07-23 | 中国工商银行股份有限公司 | 基于多尺度变换的多聚焦图像融合方法及装置 |
Non-Patent Citations (3)
Title |
---|
RUI LAI ET AL: "Multi-Scale Visual Attention Deep Convolutional Neural Network for Multi-Focus Image Fusion", 《IEEE》 * |
刘勇飞: "基于多尺度和深度学习的多聚焦图像融合方法与应用", 《中国优秀硕士学位论文全文数据库》 * |
刘羽: "像素级多源图像融合方法研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114419449A (zh) * | 2022-03-28 | 2022-04-29 | 成都信息工程大学 | 一种自注意力多尺度特征融合的遥感图像语义分割方法 |
CN114419449B (zh) * | 2022-03-28 | 2022-06-24 | 成都信息工程大学 | 一种自注意力多尺度特征融合的遥感图像语义分割方法 |
CN115861745A (zh) * | 2022-10-25 | 2023-03-28 | 中国交通信息科技集团有限公司 | 一种用于生成三维模型的二维图像特征提取方法与*** |
CN115861745B (zh) * | 2022-10-25 | 2023-06-06 | 中国交通信息科技集团有限公司 | 一种用于生成三维模型的二维图像特征提取方法与*** |
CN117593619A (zh) * | 2024-01-18 | 2024-02-23 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN117593619B (zh) * | 2024-01-18 | 2024-05-14 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113705675B (zh) | 2022-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zamir et al. | Learning enriched features for fast image restoration and enhancement | |
CN113705675B (zh) | 一种基于多尺度特征交互网络的多聚焦图像融合方法 | |
Engin et al. | Cycle-dehaze: Enhanced cyclegan for single image dehazing | |
Meng et al. | Single-image dehazing based on two-stream convolutional neural network | |
CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
CN111784671A (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
JP4392584B2 (ja) | 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体 | |
CN111091503A (zh) | 基于深度学习的图像去失焦模糊方法 | |
CN111583285A (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
CN111931857B (zh) | 一种基于mscff的低照度目标检测方法 | |
CN111861880A (zh) | 基于区域信息增强与块自注意力的图像超分与融合方法 | |
CN117078930A (zh) | 基于边界感知和注意力机制的医学图像分割方法 | |
CN116935044B (zh) | 一种多尺度引导和多层次监督的内镜息肉分割方法 | |
CN108182694A (zh) | 一种基于插值的运动估计与自适应视频重建方法 | |
CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
CN115661459A (zh) | 一种使用差异信息的2D mean teacher模型 | |
CN114677349A (zh) | 编解码端边缘信息增强和注意引导的图像分割方法及*** | |
Shi et al. | LCA-Net: A Context-Aware Light-Weight Network For Low-Illumination Image Enhancement | |
Niu et al. | Underwater Waste Recognition and Localization Based on Improved YOLOv5. | |
CN116630763A (zh) | 一种基于多尺度上下文感知的多聚焦图像融合方法 | |
Liu et al. | Dual UNet low-light image enhancement network based on attention mechanism | |
CN116469099A (zh) | 基于自监督光谱回归的显微高光谱图像判断方法及框架 | |
CN115018726A (zh) | 一种基于U-Net的图像非均匀模糊核的估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |