CN113139585A - 一种基于统一多尺度密集连接网络的红外与可见光图像融合方法 - Google Patents
一种基于统一多尺度密集连接网络的红外与可见光图像融合方法 Download PDFInfo
- Publication number
- CN113139585A CN113139585A CN202110337783.2A CN202110337783A CN113139585A CN 113139585 A CN113139585 A CN 113139585A CN 202110337783 A CN202110337783 A CN 202110337783A CN 113139585 A CN113139585 A CN 113139585A
- Authority
- CN
- China
- Prior art keywords
- scale
- input
- fusion
- feature
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于统一多尺度密集连接网络的红外与可见光图像融合方法。该方法具体包括以下步骤:(1)构建多尺度密集连接特征编码子网络。特征编码子网络提取两类图像的多尺度深度特征;(2)设计正则化双注意力融合层。采用空间和通道正则化注意力模块,对多尺度深度特征进行增强和合并得到最终的融合特征;(3)构建多尺度密集连接特征解码子网络。特征解码子网络重构最终的融合特征得到融合图像。本发明克服了现有深度学习融合方法不能有效提取源图像的多尺度深度特征,不能有效对多尺度深度特征进行增强,从而导致融合图像中目标亮度降低和纹理细节信息丢失的问题,可应用于在遥感探测、医疗诊断、智能驾驶、安全监控等领域。
Description
技术领域
本发明涉及图像处理、人工智能领域的图像融合方法,具体为一种基于统一多尺度密集连接网络的红外与可见光图像融合方法。
背景技术
红外与可见光图像融合技术是将两类图像合成一幅有利于人眼观察和进一步信息处理的融合图像。红外成像传感器可以获取突出的目标区域信息,可以全天时全天候工作,但获得的图像往往缺乏结构特征和纹理细节。相反,可见光图像传感器可以获取丰富的场景信息和纹理细节,但无法捕捉热目标信息,容易受到光照条件改变和天气变化的影响。由于红外和可见光成像机制的不同,这两类图像具有较强的互补信息,得到的融合图像应具有优越的场景再现和更好的视觉感知能力。因此,图像融合技术可以提高红外与可见光成像传感器的协同探测能力,广泛应用于遥感探测、医疗诊断、智能驾驶、安全监控等领域。
目前,红外和可见光图像融合技术大致可以分为传统融合方法和深度学习融合方法。传统融合方法通常采用统一的特征变换或特征表示来解决融合问题,例如多尺度变换融合方法和稀疏表示融合方法。传统融合方法通常忽略源图像的特征差异性,不加区分地提取相似的显著特征,这样不可避免地影响图像融合性能。此外,人为设计的变换参数、特征表示和计算复杂一直是限制其应用的难点。近年来,由于卷积运算在特征提取方面的强大能力以及大数据驱动的模式下,基于深度学习的融合方法已经成为图像融合任务中最有前途和最有吸引力的方向。基于深度学习的融合方法虽然取得了令人满意的效果,但还存在一些不足。首先,这些方法依赖于最后一层的特征,而忽略了中间层的特征相关性,深度特征不能够充分利用,阻碍了图像融合任务的表征能力。其次,这些方法不能有效提取多尺度深度特征,而粗细尺度特征可以更好地表示不同目标的空间信息,缺乏多尺度深度特征易导致融合图像的细节缺失。最后,这些方法只注重局部特征的提取,而没有考虑到它们的全局相关性,缺乏对是深度特征进行增强,易导致融合图像的目标区域亮度降低和纹理细节模糊。
综上所述,急需一种能够有效提取图像多尺度深度特征,强化深度特征的表征能力,增强有用信息时抑制无关信息,进而提高可见光与红外图像的融合效果。
发明内容
本发明为了解决现有深度学习融合方法不能有效提取源图像的多尺度深度特征,不能有效对多尺度深度特征进行增强,从而导致融合图像中目标亮度降低和纹理细节信息丢失的问题,提出一种基于统一多尺度密集连接网络的红外与可见光图像融合方法。
本发明是一种基于统一多尺度密集连接网络的红外与可见光图像融合方法,包括以下步骤:
1、构建多尺度密集连接特征编码子网络。特征编码子网络提取两类图像的多尺度深度特征。编码子网络采用横向密集跳转连接和纵向密集下采样连接,所有的不同层、不同尺度的深度特征都被用于特征表示,提高了编码子网络的特征提取和特征表征能力。
上述的编码子网络由四个普通卷积模块和六个组合卷积模块组成。普通卷积模块使用3×3卷积核,普通卷积模块EConv1,EConv2,EConv3,EConv4的输入通道数分别为1,16,32,48,输出通道数分别为16,32,48,64。组合卷积模块由1×1和3×3两个卷积层构成,ECB20,ECB30,ECB31,ECB40,ECB41和ECB42的输入通道数分别是48,80,208,112,288,752,输出通道数分别为64,96,256,128,304,1024,其中对于组合卷积模块,1×1卷积层的输出通道数是输入通道数的一半。所有卷积层的步长为1,填充为0,紧跟修正线性单元(ReLU)。
上述的横向密集跳转连接。在编码子网络中,在第三、第四尺度中建立横向密集跳转连接,采用通道连接(concatenation)方式,将EConv3的输出跳转到ECB31的输入,EConv4的输出跳转到ECB41和ECB42的输入,ECB40的输出跳转到ECB42的输入。通过横向密集跳转连接,所有中间层的深度特征都被用于特征表示,提高了多尺度深度特征的表征能力。
上述的纵向密集下采样连接。在编码子网络中,在所有尺度中建立纵向密集连接,采用下采样操作的方式,将EConv1的输出连接到EConv2和ECB20的输入,EConv2的输出连接到EConv3和ECB30的输入,ECB20的输出连接到ECB31的输入,EConv3的输出连接到EConv4和ECB40的输入,ECB30的输出连接到ECB41的输入,ECB31的输出连接到ECB42的输入。通过纵向密集下采样连接,所有尺度特征被利用,进一步提高深度特征的表征能力。
上述的下采样操作,分别采用了2×2平均池化、2×2最大池化和步长为2的步长卷积。经过实验验证,步长卷积取得最优融合性能,因此最终步长为2的步长卷积作为下采样操作。
2、设计正则化双注意力融合层。对于红外和可见光图像的多尺度深度特征,经过空间Lp正则化注意力模块后,得到两类图像的空间注意力融合特征;经过通道Lp注意力模块后,得到两类图像的通道注意力融合特征,最后将空间和通道注意力融合特征进行加权得到最终的融合特征。
上述的空间注意力特征融合过程,对于红外和可见光图像的多尺度深度特征ΦI、ΦV,分别沿着通道方向计算对应位置像素的Lp范数,得到各自的空间注意力映射矩阵和分别表示为:和然后用Softmax操作计算红外和可见光图像的空间加权系数和分别表示为和最后,将红外和可见光图像的空间加权系数与对应的深度特征相乘得到空间注意力融合特征其中,(i,j)表示像素位置,C表示深度特征通道数。
上述的通道注意力特征融合过程,对于红外和可见光图像的多尺度深度特征ΦI、ΦV,分别计算对应通道特征图的Lp范数,得到各自的通道注意力映射向量和分别表示为:和然后用Softmax操作计算红外和可见光图像的通道加权系数和分别表示为和最后,将红外和可见光图像的通道加权系数与对应的深度特征相乘得到通道注意力融合特征其中,c表示深度特征通道索引,且c=1,2,…C。
上述的空间和通道注意力特征融合过程中,在计算Lp范数时,选择p=1、p=2和p=∞,分别表示L1、L2和L∞范数,采用三种范数计算方式得到三种融合结果。
3、构建多尺度密集连接特征解码子网络。特征解码子网络重构最终的融合特征得到融合图像。解码子网络采用横向密集跳转连接和纵向密集上采样连接,所有的不同层、不同尺度的深度特征都被用于特征重构,提高了解码子网络的特征重构能力。
上述的解码子网络构成由一个普通卷积模块和六个组合卷积模块组成。普通卷积模块DConv1使用3×3卷积核,输入输出通道数分别为16,1。组合卷积模块由两个3×3卷积层构成,组合卷积模块DCB30,DCB20,DCB21,DCB10,DCB11和DCB12的输入通道数分别是1280,320,384,80,96,112,输出通道数分别为256,64,64,16,16,16,其中,对于组合卷积模块,第一个3×3卷积层的输出通道数是输入通道数的一半。所有卷积层的步长为1,填充为0,紧跟修正线性单元(ReLU)。
上述的横向密集跳转连接。在解码子网络中,在第一、第二尺度中采用横向密集跳转连接,采用通道连接(concatenation)方式,将第二尺度的最终融合特征跳转连接到DBC21的输入,将第一尺度的最终融合特征跳转连接到DCB11和DCB12的输入,将DCB10的输出跳转连接到DCB12的输入。通过横向密集跳转连接,所有中间层的深度特征都被用于特征重构,提高多尺度深度特征的重构能力。
上述的纵向密集上采样连接。在解码子网络中,在所有尺度中建立纵向密集连接,采用上采样操作方式,将第四尺度的最终融合特征连接到DCB30的输入,第三尺度的最终融合特征连接到DCB20的输入,第二尺度的最终融合特征连接到DCB10的输入,将DCB30的输出连接到DCB21的输入,DCB20的输出连接到DCB11的输入,DCB21的输出连接到DCB12的输入。通过纵向密集上采样连接,所有尺度特征被用于特征重构,进一步提高了多尺度深度特征的重构能力。在这里,上采样操作采用双线性插值算法。
本发明与现有深度学习融合技术相比,具有以下优点:
1、本发明将密集连接嵌入编码和解码子网络中,编码网络可以有效提取图像的多尺度深度特征,解码子网络可以有效重构多尺度深度特征,所有的不同层、不同尺度的深度特征都被利用,能够有效增强多尺度深度特征表征能力和重构能力,进而提高图像融合性能;
2、本发明采用空间和通道正则化注意力模型,从空间和通道维度对多尺度深度特征进行增强和合并,增强有用信息同时抑制无关信息,使融合图像在突出红外图像目标信息同时保留可见光图像丰富的细节信息;
3、本发明建立了面向红外与可见光的统一多尺度密集连接网络融合方法,融合效果明显提升,该方法也可以应用于多模态图像、多聚焦图像和医学图像融合,对图像融合领域具有很高的应用价值。
附图说明
图1为本发明所述方法的融合示意图;
图2为本发明所述方法的训练示意图;
图3为本发明所述方法的双正则化注意力特征融合示意图;
图4为红外图像;
图5为可见光图像;
图6为L1正则化融合图像;
图7为L2正则化融合图像;
图8为L∞正则化融合图像。
具体实施方式
一种基于统一多尺度密集连接网络的红外与可见光图像融合方法,包括以下步骤:
S1:构建多尺度密集连接特征编码子网络。特征编码子网络包括四个普通卷积模块和六个组合卷积模块,提取两类图像的多尺度深度特征。
S11:编码子网络构成。编码网络由四个普通卷积模块和六个组合卷积模块组成。普通卷积模块使用3×3卷积核,普通卷积模块EConv1,EConv2,EConv3,EConv4的输入通道数分别为1,16,32,48,输出通道数分别为16,32,48,64。组合卷积模块由1×1和3×3两个卷积层构成,ECB20,ECB30,ECB31,ECB40,ECB41和ECB42的输入通道数分别是48,80,208,112,288,752,输出通道数分别为64,96,256,128,304,1024,其中对于组合卷积模块,1×1卷积层的输出通道数是输入通道数的一半。所有卷积层的步长为1,填充为0,紧跟修正线性单元(ReLU)。
S12:横向密集跳转连接。在编码子网络中,在第三、第四尺度中建立横向密集跳转连接,采用通道连接(concatenation)方式,将EConv3的输出跳转到ECB31的输入,EConv4的输出跳转到ECB41和ECB42的输入,ECB40的输出跳转到ECB42的输入。通过横向密集跳转连接,所有中间层的深度特征都被用于特征表示,提高了多尺度深度特征的表征能力。
S13:纵向密集下采样连接。在编码子网络中,在所有尺度中建立纵向密集连接,采用下采样操作的方式,将EConv1的输出连接到EConv2和ECB20的输入,EConv2的输出连接到EConv3和ECB30的输入,ECB20的输出连接到ECB31的输入,EConv3的输出连接到EConv4和ECB40的输入,ECB30的输出连接到ECB41的输入,ECB31的输出连接到ECB42的输入。通过纵向密集下采样连接,所有尺度特征被利用,进一步提高深度特征的表征能力。对于下采样操作,分别采用了2×2平均池化、2×2最大池化和步长为2的步长卷积。经过实验验证,步长卷积取得最优融合性能,因此最终步长为2的步长卷积作为下采样操作。
S2:设计正则化双注意力融合层。采用空间和通道Lp正则化注意力模块,对多尺度深度特征进行增强和合并得到最终的融合特征。
S21:空间注意力特征融合。对于红外和可见光图像的多尺度深度特征ΦI、ΦV,分别沿着通道方向计算对应位置像素的Lp范数,得到各自的空间注意力映射矩阵和分别表示为:和然后用Softmax操作计算红外和可见光图像的空间加权系数和分别表示为和最后,将红外和可见光图像的空间加权系数与对应的深度特征相乘得到空间注意力融合特征其中,(i,j)表示像素位置,C表示深度特征通道数。
S22:通道注意力特征融合。对于红外和可见光图像的多尺度深度特征ΦI、ΦV,分别计算对应通道特征图的Lp范数,得到各自的通道注意力映射向量和分别表示为:和然后用Softmax操作计算红外和可见光图像的通道加权系数和分别表示为和最后,将红外和可见光图像的通道加权系数与对应的深度特征相乘得到通道注意力融合特征其中,c表示深度特征通道索引,且c=1,2,…C。
S23:对于空间和通道注意力模块,在计算Lp范数时,选择p=1、p=2和p=∞,分别表示L1、L2和L∞范数,采用三种范数计算方式得到三种融合结果。
S3:构建多尺度密集连接特征解码子网络。特征解码子网络包括一个普通卷积模块和六个组合卷积模块,重构最终的融合特征得到融合图像。
S31:解码子网络构成。解码子网络由一个普通卷积模块和六个组合卷积模块组成。普通卷积模块DConv1使用3×3卷积核,输入输出通道数分别为16,1。组合卷积模块由两个3×3卷积层构成,组合卷积模块DCB30,DCB20,DCB21,DCB10,DCB11和DCB12的输入通道数分别是1280,320,384,80,96,112,输出通道数分别为256,64,64,16,16,16,其中,对于组合卷积模块,第一个3×3卷积层的输出通道数是输入通道数的一半。所有卷积层的步长为1,填充为0,紧跟修正线性单元(ReLU)。
S32:横向密集跳转连接。在解码子网络中,在第一、第二尺度中采用横向密集跳转连接,采用通道连接(concatenation)方式,将第二尺度的最终融合特征跳转连接到DBC21的输入,将第一尺度的最终融合特征跳转连接到DCB11和DCB12的输入,将DCB10的输出跳转连接到DCB12的输入。通过横向密集跳转连接,所有中间层的深度特征都被用于特征重构,提高多尺度深度特征的重构能力。
S33:纵向密集上采样连接。在解码子网络中,在所有尺度中建立纵向密集连接,采用上采样方式,将第四尺度的最终融合特征连接到DCB30的输入,第三尺度的最终融合特征连接到DCB20的输入,第二尺度的最终融合特征连接到DCB10的输入,将DCB30的输出连接到DCB21的输入,DCB20的输出连接到DCB11的输入,DCB21的输出连接到DCB12的输入。通过纵向密集上采样连接,所有尺度特征被用于特征重构,进一步提高了多尺度深度特征的重构能力。在这里,上采样方法采用双线性插值算法。
S4:网络模型训练。采用MS-COCO图像数据集,对输入可见光图像进行灰度化和尺寸调整,采用多尺度结构相似度和L1为损失函数对网络模型进行训练,得到网络模型的超参数;
S41:训练数据集选定。从MS-COCO图像数据集选择80000张可见光图像作为训练集,将图像灰度范围转到[0,255],尺寸转换为256×256。
Claims (9)
1.一种基于统一多尺度密集连接网络的红外与可见光图像融合方法,其特征在于:包括以下步骤:
构建多尺度密集连接特征编码子网络:特征编码子网络提取两类图像的多尺度深度特征;编码子网络采用横向密集跳转连接和纵向密集下采样连接,所有的不同层、不同尺度的深度特征都被用于特征表示,提高了编码子网络的特征提取和表征能力;
设计正则化双注意力融合层:对于红外和可见光图像的多尺度深度特征,经过空间Lp正则化注意力模块后,得到两类图像的空间注意力融合特征,经过通道Lp注意力模块后,得到两类图像的通道注意力融合特征,最后将空间和通道注意力融合特征进行加权得到最终的融合特征;
构建多尺度密集连接特征解码子网络:特征解码子网络重构最终的融合特征得到融合图像,解码子网络采用横向密集跳转连接和纵向密集上采样连接,所有的不同层、不同尺度的深度特征都被用于特征重构,提高了解码子网络的特征重构能力。
2.根据权利要求1所述一种基于统一多尺度密集连接网络的红外与可见光图像融合方法,其特征在于:提取多尺度深度特征的编码子网络包括四个普通卷积模块和六个组合卷积模块,普通卷积模块使用3×3卷积核,普通卷积模块EConv1,EConv2,EConv3,EConv4的输入通道数分别为1,16,32,48,输出通道数分别为16,32,48,64;组合卷积模块由1×1和3×3两个卷积层构成,ECB20,ECB30,ECB31,ECB40,ECB41和ECB42的输入通道数分别是48,80,208,112,288,752,输出通道数分别为64,96,256,128,304,1024,其中对于组合卷积模块,1×1卷积层的输出通道数是输入通道数的一半,所有卷积层的步长为1,填充为0,紧跟修正线性单元。
3.根据权利要求2所述一种基于统一多尺度密集连接网络的红外与可见光图像融合方法,其特征在于:重构多尺度深度特征的解码子网络包括一个普通卷积模块和六个组合卷积模块,普通卷积模块DConv1使用3×3卷积核,输入输出通道数分别为16,1,组合卷积模块由两个3×3卷积层构成,组合卷积模块DCB30,DCB20,DCB21,DCB10,DCB11和DCB12的输入通道数分别是1280,320,384,80,96,112,输出通道数分别为256,64,64,16,16,16,其中,对于组合卷积模块,第一个3×3卷积层的输出通道数是输入通道数的一半,所有卷积层的步长为1,填充为0,紧跟修正线性单元。
4.根据权利要求3所述一种基于统一多尺度密集连接网络的红外与可见光图像融合方法,其特征在于:在编码子网络中,在第三、第四尺度中建立横向密集跳转连接,采用通道连接方式,将EConv3的输出跳转到ECB31的输入,EConv4的输出跳转到ECB41和ECB42的输入,ECB40的输出跳转到ECB42的输入,通过横向密集跳转连接,所有中间层的深度特征都被用于特征表示,提高了多尺度深度特征的表征能力;在编码子网络中,在所有尺度中建立纵向密集连接,采用下采样的方式,将EConv1的输出连接到EConv2和ECB20的输入,EConv2的输出连接到EConv3和ECB30的输入,ECB20的输入连接到ECB31的输入,EConv3的输出连接到EConv4和ECB40的输入,ECB30的输出连接到ECB41的输入,ECB31的输出连接到ECB42的输入,通过纵向密集下采样连接,所有尺度特征被利用,进一步提高深度特征的表征能力。
5.根据权利要求4所述一种基于统一多尺度密集连接网络的红外与可见光图像融合方法,其特征在于:在解码子网络中,在第一、第二尺度中采用横向密集跳转连接,采用通道连接方式,将第二尺度的最终融合特征跳转连接到DBC21的输入,将第一尺度的最终融合特征跳转连接到DCB11和DCB12的输入,将DCB10的输出跳转连接到DCB12的输入。通过横向密集跳转连接,所有中间层的深度特征都被用于特征重构,提高多尺度深度特征的重构能力;在解码子网络中,在所有尺度中建立纵向密集连接,采用上采样方式,将第四尺度的最终融合特征连接到DCB30的输入,第三尺度的最终融合特征连接到DCB20的输入,第二尺度的最终融合特征连接到DCB10的输入,将DCB30的输出连接到DCB21的输入,DCB20的输出连接到DCB11的输入,DCB21的输出连接到DCB12的输入,通过纵向密集上采样连接,所有尺度特征被用于特征重构,进一步提高了多尺度深度特征的重构能力。
6.根据权利要求4所述一种基于统一多尺度密集连接网络的红外与可见光图像融合方法,其特征在于:对于2×2平均池化、2×2最大池化和步长为2的步长卷积的下采样操作,步长卷积取得最优融合性能,因此最终步长为2的步长卷积作为下采样操作。
9.根据权利要求1所述一种基于统一多尺度密集连接网络的红外与可见光图像融合方法,其特征在于:计算Lp范数时,对于空间和通道正则化注意力模块,选择p=1、p=2和p=∞,分别表示L1、L2和L∞范数,采用了这种三种范数计算方式,得到三种融合结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110337783.2A CN113139585B (zh) | 2021-03-30 | 2021-03-30 | 一种基于统一多尺度密集连接网络的红外与可见光图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110337783.2A CN113139585B (zh) | 2021-03-30 | 2021-03-30 | 一种基于统一多尺度密集连接网络的红外与可见光图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113139585A true CN113139585A (zh) | 2021-07-20 |
CN113139585B CN113139585B (zh) | 2022-03-29 |
Family
ID=76810095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110337783.2A Active CN113139585B (zh) | 2021-03-30 | 2021-03-30 | 一种基于统一多尺度密集连接网络的红外与可见光图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113139585B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114529794A (zh) * | 2022-04-20 | 2022-05-24 | 湖南大学 | 一种红外与可见光图像融合方法、***及介质 |
CN115311186A (zh) * | 2022-10-09 | 2022-11-08 | 济南和普威视光电技术有限公司 | 一种红外与可见光图像跨尺度注意力对抗融合方法及终端 |
WO2023091468A1 (en) * | 2021-11-17 | 2023-05-25 | Oracle International Corporation | Path dropout for natural language processing |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110188685A (zh) * | 2019-05-30 | 2019-08-30 | 燕山大学 | 一种基于双注意力多尺度级联网络的目标计数方法及*** |
CN111080629A (zh) * | 2019-12-20 | 2020-04-28 | 河北工业大学 | 一种图像拼接篡改的检测方法 |
CN111292259A (zh) * | 2020-01-14 | 2020-06-16 | 西安交通大学 | 一种综合多尺度与注意力机制的深度学习图像去噪方法 |
CN111598778A (zh) * | 2020-05-13 | 2020-08-28 | 云南电网有限责任公司电力科学研究院 | 一种绝缘子图像超分辨率重建方法 |
CN111709902A (zh) * | 2020-05-21 | 2020-09-25 | 江南大学 | 基于自注意力机制的红外和可见光图像融合方法 |
CN111784619A (zh) * | 2020-07-03 | 2020-10-16 | 电子科技大学 | 一种红外和可见光图像的融合方法 |
-
2021
- 2021-03-30 CN CN202110337783.2A patent/CN113139585B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110188685A (zh) * | 2019-05-30 | 2019-08-30 | 燕山大学 | 一种基于双注意力多尺度级联网络的目标计数方法及*** |
CN111080629A (zh) * | 2019-12-20 | 2020-04-28 | 河北工业大学 | 一种图像拼接篡改的检测方法 |
CN111292259A (zh) * | 2020-01-14 | 2020-06-16 | 西安交通大学 | 一种综合多尺度与注意力机制的深度学习图像去噪方法 |
CN111598778A (zh) * | 2020-05-13 | 2020-08-28 | 云南电网有限责任公司电力科学研究院 | 一种绝缘子图像超分辨率重建方法 |
CN111709902A (zh) * | 2020-05-21 | 2020-09-25 | 江南大学 | 基于自注意力机制的红外和可见光图像融合方法 |
CN111784619A (zh) * | 2020-07-03 | 2020-10-16 | 电子科技大学 | 一种红外和可见光图像的融合方法 |
Non-Patent Citations (1)
Title |
---|
GAO HUANG等: "Multi-Scale Dense Networks for Resource Efficient Image Classification", 《ICLR 2018》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023091468A1 (en) * | 2021-11-17 | 2023-05-25 | Oracle International Corporation | Path dropout for natural language processing |
GB2625476A (en) * | 2021-11-17 | 2024-06-19 | Oracle Int Corp | Path dropout for natural language processing |
CN114529794A (zh) * | 2022-04-20 | 2022-05-24 | 湖南大学 | 一种红外与可见光图像融合方法、***及介质 |
CN115311186A (zh) * | 2022-10-09 | 2022-11-08 | 济南和普威视光电技术有限公司 | 一种红外与可见光图像跨尺度注意力对抗融合方法及终端 |
CN115311186B (zh) * | 2022-10-09 | 2023-02-03 | 济南和普威视光电技术有限公司 | 一种红外与可见光图像跨尺度注意力对抗融合方法及终端 |
Also Published As
Publication number | Publication date |
---|---|
CN113139585B (zh) | 2022-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113139585B (zh) | 一种基于统一多尺度密集连接网络的红外与可见光图像融合方法 | |
CN109509152B (zh) | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 | |
CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及*** | |
CN110969577A (zh) | 一种基于深度双重注意力网络的视频超分辨率重建方法 | |
CN113033630A (zh) | 一种基于双非局部注意力模型的红外与可见光图像深度学习融合方法 | |
CN110189286B (zh) | 一种基于ResNet的红外与可见光图像融合方法 | |
CN111738948B (zh) | 一种基于双U-net的水下图像增强方法 | |
Zhu et al. | Stacked U-shape networks with channel-wise attention for image super-resolution | |
CN115511767B (zh) | 一种自监督学习的多模态图像融合方法及其应用 | |
CN116309070A (zh) | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 | |
CN114881871A (zh) | 一种融合注意力单幅图像去雨方法 | |
CN115187638B (zh) | 一种基于光流遮罩的无监督单目深度估计方法 | |
CN104408697B (zh) | 基于遗传算法和正则先验模型的图像超分辨重建方法 | |
CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
CN115100090A (zh) | 一种基于时空注意的单目图像深度估计*** | |
Yang et al. | A survey of super-resolution based on deep learning | |
CN114187214A (zh) | 一种红外与可见光图像融合***及方法 | |
CN115457359A (zh) | 基于自适应对抗生成网络的pet-mri图像融合方法 | |
CN116258936A (zh) | 一种基于多尺度特征的红外与可见光图像融合方法 | |
CN116091314A (zh) | 一种基于多尺度深度单应性的红外图像拼接方法 | |
CN109559278B (zh) | 基于多特征学习的超分辨图像重建方法及*** | |
CN117078516B (zh) | 基于残差混合注意力的矿井图像超分辨率重建方法 | |
CN116452431A (zh) | 基于多分支渐进式深度网络的弱光图像增强方法 | |
CN116091793A (zh) | 一种基于光流融合的光场显著性检测方法 | |
CN116029908A (zh) | 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |