CN110084773A - 一种基于深度卷积自编码网络的图像融合方法 - Google Patents
一种基于深度卷积自编码网络的图像融合方法 Download PDFInfo
- Publication number
- CN110084773A CN110084773A CN201910225446.7A CN201910225446A CN110084773A CN 110084773 A CN110084773 A CN 110084773A CN 201910225446 A CN201910225446 A CN 201910225446A CN 110084773 A CN110084773 A CN 110084773A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- convolution
- frequency
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 16
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 13
- 230000015556 catabolic process Effects 0.000 claims abstract description 11
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 238000013507 mapping Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 5
- 241001269238 Data Species 0.000 claims description 3
- 238000002156 mixing Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000005267 amalgamation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度卷积自编码网络的图像融合算法。首先,参考多尺度分解的思想与原理构建了深度卷积自编码网络框架;然后通过构建训练数据集、设置网络参数等操作对网络模型进行训练,该网络模型能够实现图像分解重构,最终得到一种图像的有效表示方式;最后,利用该网络模型将待融合图像分解为高频图像和低频图像,对于高频图像利用绝对值取大的原则进行融合,对于低频图像利用图像显著度作为权重进行融合,再利用网络的重构部分对融合后高、低频图像进行重构得到最终的融合图像。
Description
技术领域
本发明属于图像处理技术领域,涉及一种基于深度学习的图像融合新方法,即基于深度卷积自编码网络的图像融合方法。将深度学习中的理论应用于图像融合领域,发明成果可用于各类军事或民用的异源图像融合***中。
背景技术
随着传感器技术、计算机技术以及信息技术的飞速发展,人们获得的信息量不断增加并呈现多样化趋势。由于单一的传感器信息处理技术不再适用于复杂的多传感器信息处理***,基于多传感器的信息融合技术应运而生。图像融合作为信息融合领域中的一个重要分支,其核心在于,通过某种算法,实现同一场景中多类图像互补信息的融合,提高图像对场景描述的准确性和全面性,便于人眼视觉观察以及计算机的进一步处理与应用。图像融合通过多信源图像的优势互补,消除了信息的冗余与矛盾,降低了信息的不确定性与模糊度,增强了图像的可靠性,提高了图像信息的可解译性,在后期进行目标检测、识别、跟踪以及人工决策等方面均具有重要的应用需求。
目前应用较广且较流行的方式是采用多尺度变换的框架进行图像融合。传统的图像融合方式常表现为手工设计图像变换框架,不同的变换框架均有不同方面的优缺点,说明了这种基于人为先验的固定框架难以表征图像的复杂特性。另外,基于计算成本和实现难度,人工设计一个基于图像融合的理想框架是十分困难的。因此,找到一个有效的图像分解与表示框架是当前图像融合领域中的一个重要挑战。
随着近年来深度学习在目标检测识别、目标跟踪、图像分割、图像去噪、图像复原、图像生成等诸多领域的成功应用,许多学者在基于深度学习的图像融合方面开展了不少的研究:刘羽等人通过构建了一个孪生卷积神经网络将像素进行分类从而学习得到融合权重图来指导图像融合,但其基于多聚焦类型图像容易构造标准融合图像来指导网络训练的前提,不适用于红外与可见光等异源图像融合;也有学者将待融合图像通过非抽样小波变换(UWT)进行多尺度分解,然后对图像高频成分利用SRCNN网络增强图像细节再进行融合。这种方式本质上未对融合方式进行改变,仍未突破传统的多尺度分解框架;有学者在SRCNN网络框架基础上,网络输入为低分辨率多光谱图像与全色图像的叠加结果,输出为高分辨率多光谱图像,网络最终建模成一种端对端的映射来学习图像的复杂特征映射。但此类方法均是基于全色与多光谱图像融合可以建模为提高全色图像分辨率的问题,是一种特殊情况,不具有普适性的应用。分析可知以上方式成功地实现的图像融合在深度学习领域的探索,但仍未避免人为先验的固定框架或不具有普适性。
基于此,本发明提出一种基于卷积自编码思想的图像融合框架。由于自动编码器能够对输入信号进行特征表示与输出重构,卷积神经网络能够针对二维图像提取到更有效的特征,因此本发明结合自动编码器思想与卷积神经网络模型,构建一个深度卷积自编码网络(Deep Convolutional Auto-encoding Network,DCAN)学习得到图像分解重构框架。该框架突破了传统的手工设计滤波器的缺陷,通过设计合适的图像融合策略能够获得比传统多尺度图像融合方法更优的融合效果。
发明内容
要解决的技术问题
传统的基于多尺度变换的图像融合方法通过人为先验手工设计变换框架,这种基于固定滤波器组的框架难以表征图像的复杂特性。为了避免现有技术的不足之处,学习得到一个更有效的图像表示方式来进行图像融合,本发明提出基于深度卷积自编码网络的图像融合框架。
技术方案
一种基于深度卷积自编码网络的图像融合方法,其特征在于步骤如下:
步骤1:构建深度卷积自编码网络
步骤1a:对输入图像利用conv1层的“卷积+Tanh激活函数”操作和conv9层的“卷积”操作进行图像的高、低频分解;其中,conv1卷积核为人工预设的高斯拉普拉斯卷积核,大小为5×5;conv9卷积核为人工预设的高斯卷积核,大小为11×11;经过操作后,conv1得到图像中初始高频信息,conv9得到图像中低频信息;
步骤1b:对conv1得到的初始高频信息利用conv2-conv4层的“卷积+Tanh激活函数”操作进行高频信息的多层次提取,其中conv2-conv4卷积核大小为3×3;conv1以及conv2-conv4得到的结果为图像高频信息在不同层次的表示,称为特征提取层结果;
步骤1c:将特征提取层conv1-conv4中每一层得到的图像特征图利用conv5-conv8的“卷积”操作来实现特征融合与映射,得到图像高频信息,并与conv9得到的图像低频信息共同称为网络的特征映射层结果;其中conv5-conv8卷积核大小为3×3;
步骤1d:将特征映射层的结果利用conv10层的“卷积+Sigmiod激活函数”操作实现图像信息的重构,得到原输入图像的重构图像,其中,卷积核大小为11×11;
步骤2:对深度卷积自编码网络进行训练
步骤2a:训练数据:选择多种类型的图像数据,包括自然图像、成对的红外与可见光图像,将所有的图像均调整至256×256大小的灰度图像;按照3:1的比例将图像数据分为网络训练集与测试集;
步骤2b:参数初始化:对于Conv9,加入非负性约束,其学习得到的权重参数均为正值;对于Conv1,限制其卷积核参数之和为0,即
其中,λ的取值范围为[0.05,0.10];
对于其余卷积层,采用he_normal初始化方法进行初始化,具体表示为,对于具有nin个输入的层,其初始化权重W满足其中N为正态分布;
步骤2c:损失函数:利用平均绝对误差函数作为损失函数对网络进行训练,所述的平均绝对值误差表示为网络模型的预测值与真实值之间距离的平均值,其对应的公式如下所示:
其中,yi与yi′分别表示真实图像结果与网络输出图像结果;
经过步骤2,我们最终得到了一个训练好的基于深度卷积自编码网络的图像分解与重构框架;
步骤3:利用深度卷积自编码网络进行图像融合
步骤3a:利用深度卷积自编码网络将输入的待融合图像A、B分解至特征映射层,得到图像的高频图像与低频图像其中,L表示分解得到的低频信息,H1~H4表示分解得到的高频信息;
步骤3b:对分解得到的高、低频图像进行融合:
低频图像融合策略具体表示为:
LF(x,y)=S(x,y)·LA(x,y)+(1-S(x,y))·LB(x,y)
S(x,y)=||Lμ-Lwhc(x,y)||
其中,Lμ是图像特征的平均向量,Lwhc(x,y)为图像进行5×5的高斯模糊得到的图像,通过在Lab空间内计算图像的平均向量与高斯模糊向量之间的欧氏距离生成显著性图;
针对图像高频信息,选择绝对值取大的融合规则进行融合,具体表示为:
最后,通过将这些融合子图像馈送至深度卷积自编码网络后半部分来得到最终的融合图像。
所述网络框架通过人工初始化卷积核方式以及训练中进行卷积核约束,实现了网络对图像高低频信息的分解。
通过训练一个能够实现图像分解重构的图像表示框架,突破传统固定图像分解重构框架的约束,使融合效果得到改善。
通过低频图像利用红外低频显著性作为融合权重,高频图像利用绝对值取大原则进行融合。
有益效果
本发明提出的一种基于深度卷积自编码网络的图像融合算法。首先,参考多尺度分解的思想与原理构建了深度卷积自编码网络框架;然后通过构建训练数据集、设置网络参数等操作对网络模型进行训练,该网络模型能够实现图像分解重构,最终得到一种图像的有效表示方式;最后,利用该网络模型将待融合图像分解为高频图像和低频图像,对于高频图像利用绝对值取大的原则进行融合,对于低频图像利用图像显著度作为权重进行融合,再利用网络的重构部分对融合后高、低频图像进行重构得到最终的融合图像。由于所提出的算法基于卷积网络对图像进行分解,突破固定模型的约束与限制,能够学习得到图像的更优表示,并且所制定的融合策略充分地考虑了红外图像中的目标显著性,因此得到的最终融合图像能够在保留目标特性的基础上,更多地保留图像的背景细节信息,解决了传统算法中信息丢失,目标不完整,背景模糊等多方面的缺陷,融合图像具有较好的视觉效果。
附图说明
图1:本发明方法深度卷积自编码网络结构图
图2:本发明方法融合图像的流程图
图3:采用不同融合算法对红外与可见光图像进行融合结果
(a)红外源图像;(b)可见光源图像;(c)NSCT算法融合结果M1;(d)NSCT_SR算法融合结果M2;(e)HMSD_GF算法融合结果M3;(f)本文所提算法复原结果Ours;
具体实施方式
现结合实施例、附图对本发明作进一步描述:
本发明通过利用自动编码器的思想以及卷积网络的模型构建得到一个深度卷积自编码网络框架,通过学习并重构网络的输入,该网络框架最终能够学习得到一种有效的图像表示方式。针对待融合图像,利用该网络框架进行图像的特征分解,并针对分解子图像进行融合策略的选择与设计,最后利用网络对融合后子图像进行重构进而得到最终融合图像。
本发明中进行网络训练时的硬件环境为GTX TITAN X,软件环境为Ubuntu 14.04,Tensorflow 1.2.0,Keras 2.1.6,Python 2.7.6。融合实验实施的硬件环境为CPU Inter(R)Core(TM)[email protected],RAM 8.00GB,软件环境为Windows7旗舰版64位,MATLABR2014b。我们采用TNO公开数据集进行了本发明方法的实验验证。
本发明具体实施步骤如下:
步骤1构建深度卷积自编码网络:利用该网络进行图像的分解与重构,代替传统多尺度分解重构框架来指导图像融合。
首先,对输入图像利用conv1层的“卷积+Tanh激活函数”操作和conv9层的“卷积”操作进行图像的高、低频分解。其中,conv1卷积核为人工预设的高斯拉普拉斯卷积核,大小为5×5;conv9卷积核为人工预设的高斯卷积核,大小为11×11。经过操作后,conv1得到图像中初始高频信息,conv9得到图像中低频信息。
然后,对conv1得到的初始高频信息利用conv2-conv4层的“卷积+Tanh激活函数”操作进行高频信息的多层次提取。conv2-conv4卷积核大小为3×3。conv1以及conv2-conv4得到的结果为图像高频信息在不同层次的表示,称为特征提取层结果。
第三步,将特征提取层conv1-conv4中每一层得到的图像特征图利用conv5-conv8的“卷积”操作来实现特征融合与映射,得到图像高频信息,并与conv9得到的图像低频信息共同称为网络的特征映射层结果。conv5-conv8卷积核大小为3×3;
最后,将特征映射层的结果利用conv10层的“卷积+Sigmiod激活函数”操作实现图像信息的重构,得到原输入图像的重构图像,其中,卷积核大小为11×11。
经过步骤1,我们得到本发明的一个基本的网络模型:深度卷积自编码网络。
步骤2针对深度卷积自编码网络进行训练:主要针对训练数据、模型参数与损失函数进行选择。
(a)训练数据:为了使训练得到的网络更具有鲁棒性,对于不同特性的图像具有较强的泛化能力,一般实验中选择多种类型的图像数据:主要包括自然图像、成对的红外与可见光图像,每种类型图像至少1000幅。在本次试验中,选择了不同类型的图像组成训练数据集:自然图像共200幅、小场景的红外图像800幅以及可见光图像800幅共计1600幅、大场景的红外图像200幅与可见光图像200幅共计400幅。所有图像均被调整至256×256大小的灰度图像以便于网络训练。其中网络训练集与测试集的比例为3:1,所有类型的图像(自然图像、红外图像、可见光图像)均按照这个比例被分为训练样本和测试样本。
(b)参数初始化:在训练过程中,为保证网络对于图像分解的稳定性,不至于学习到相反或错误的特征,我们分别对这两个卷积层进行了一些约束:对于Conv9,加入非负性约束,其学习得到的权重参数均为正值;对于Conv1,我们限制其卷积核参数之和为0,即
其中,λ实验取值为0.06。
对于其余卷积层,我们采用he_normal初始化方法进行初始化以提高网络稳定性,具体表示为,对于具有个nin输入的层,其初始化权重W满足
(c)损失函数:本发明中利用平均绝对误差(Mean Absolute Error,MAE)函数作为损失函数对网络进行训练。平均绝对值误差表示的是网络模型的预测值与真实值之间距离的平均值,其对应的公式如下所示:
其中,yi与yi′分别表示真实图像结果与网络输出图像结果。
经过步骤2,最终得到了一个训练好的基于深度卷积自编码网络的图像分解与重构框架。
步骤3利用深度卷积自编码网络进行图像融合:首先利用深度卷积自编码网络将输入的待融合图像A、B分解至特征映射层,得到图像的高频图像与低频图像其中,L表示分解得到的低频信息,H1~H4表示分解得到的高频信息;
然后,针对分解得到的图像进行融合。对于低频图像,利用红外图像显著度作为权重进行融合。对于输入红外低频图像L,其显著性计算公式为:
S(x,y)=||Lμ-Lwhc(x,y)|| (3)
其中,Lμ是图像特征的平均向量,Lwhc(x,y)为图像进行5×5的高斯模糊得到的图像,通过在Lab空间内计算图像的平均向量与高斯模糊向量之间的欧氏距离生成显著性图。
低频图像融合策略具体表示为:
LF(x,y)=S(x,y)·LA(x,y)+(1-S(x,y))·LB(x,y) (4)
针对图像高频信息,选择绝对值取大的融合规则进行融合,具体表示为:
最后,通过将这些融合子图像馈送至深度卷积自编码网络后半部分来得到最终的融合图像。
选用图像的信息熵(IE)、互信息(MI)和平均梯度(AG)作为图像融合的客观评价指标,定量地评价不同图像采用不同算法的融合效果。客观评价结果如表1所示。其中信息熵的计算公式如下:
hi表示图像Y中灰度值为i的像素点总数,N表示图像Y的灰度级数,pi表示灰度i出现的概率。当图像中信息量越多,图像的信息熵值越大。
图像X和Y的联合信息熵表示为:
则两幅图像的互信息可以表示为:
MI(R,F)=H(R)+H(F)-H(R,F) (8)
当两幅图像相似程度越大,其互信息值就越大。
图像F的标准差计算公式如下:
其中,M×N表示图像大小,μ为图像灰度均值。图像的标准差越大,表明图像对比度越高,一定程度上说明了图像细节信息越丰富。
表1各类融合算法客观评价结果比较
Claims (1)
1.一种基于深度卷积自编码网络的图像融合方法,其特征在于步骤如下:
步骤1:构建深度卷积自编码网络
步骤1a:对输入图像利用conv1层的“卷积+Tanh激活函数”操作和conv9层的“卷积”操作进行图像的高、低频分解;其中,conv1卷积核为人工预设的高斯拉普拉斯卷积核,大小为5×5;conv9卷积核为人工预设的高斯卷积核,大小为11×11;经过操作后,conv1得到图像中初始高频信息,conv9得到图像中低频信息;
步骤1b:对conv1得到的初始高频信息利用conv2-conv4层的“卷积+Tanh激活函数”操作进行高频信息的多层次提取,其中conv2-conv4卷积核大小为3×3;conv1以及conv2-conv4得到的结果为图像高频信息在不同层次的表示,称为特征提取层结果;
步骤1c:将特征提取层conv1-conv4中每一层得到的图像特征图利用conv5-conv8的“卷积”操作来实现特征融合与映射,得到图像高频信息,并与conv9得到的图像低频信息共同称为网络的特征映射层结果;其中conv5-conv8卷积核大小为3×3;
步骤1d:将特征映射层的结果利用conv10层的“卷积+Sigmiod激活函数”操作实现图像信息的重构,得到原输入图像的重构图像,其中,卷积核大小为11×11;
步骤2:对深度卷积自编码网络进行训练
步骤2a:训练数据:选择多种类型的图像数据,包括自然图像、成对的红外与可见光图像,将所有的图像均调整至256×256大小的灰度图像;按照3:1的比例将图像数据分为网络训练集与测试集;
步骤2b:参数初始化:对于Conv9,加入非负性约束,其学习得到的权重参数均为正值;对于Conv1,限制其卷积核参数之和为0,即
其中,λ的取值范围为[0.05,0.10];
对于其余卷积层,采用he_normal初始化方法进行初始化,具体表示为,对于具有nin个输入的层,其初始化权重W满足其中N为正态分布;
步骤2c:损失函数:利用平均绝对误差函数作为损失函数对网络进行训练,所述的平均绝对值误差表示为网络模型的预测值与真实值之间距离的平均值,其对应的公式如下所示:
其中,yi与yi′分别表示真实图像结果与网络输出图像结果;
经过步骤2,我们最终得到了一个训练好的基于深度卷积自编码网络的图像分解与重构框架;
步骤3:利用深度卷积自编码网络进行图像融合
步骤3a:利用深度卷积自编码网络将输入的待融合图像A、B分解至特征映射层,得到图像的高频图像与低频图像其中,L表示分解得到的低频信息,H1~H4表示分解得到的高频信息;
步骤3b:对分解得到的高、低频图像进行融合:
低频图像融合策略具体表示为:
LF(x,y)=S(x,y)·LA(x,y)+(1-S(x,y))·LB(x,y)
S(x,y)=||Lμ-Lwhc(x,y)||
其中,Lμ是图像特征的平均向量,Lwhc(x,y)为图像进行5×5的高斯模糊得到的图像,通过在Lab空间内计算图像的平均向量与高斯模糊向量之间的欧氏距离生成显著性图;
针对图像高频信息,选择绝对值取大的融合规则进行融合,具体表示为:
最后,通过将这些融合子图像馈送至深度卷积自编码网络后半部分来得到最终的融合图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910225446.7A CN110084773A (zh) | 2019-03-25 | 2019-03-25 | 一种基于深度卷积自编码网络的图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910225446.7A CN110084773A (zh) | 2019-03-25 | 2019-03-25 | 一种基于深度卷积自编码网络的图像融合方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110084773A true CN110084773A (zh) | 2019-08-02 |
Family
ID=67413482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910225446.7A Pending CN110084773A (zh) | 2019-03-25 | 2019-03-25 | 一种基于深度卷积自编码网络的图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110084773A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110567558A (zh) * | 2019-08-28 | 2019-12-13 | 华南理工大学 | 一种基于深度卷积特征的超声导波检测方法 |
CN111060813A (zh) * | 2019-12-09 | 2020-04-24 | 国网北京市电力公司 | 高压断路器操作机构的故障诊断方法及装置、电子设备 |
CN111191555A (zh) * | 2019-12-24 | 2020-05-22 | 重庆邮电大学 | 一种结合高低空间频率特征的目标跟踪方法、介质及*** |
CN111353966A (zh) * | 2020-03-03 | 2020-06-30 | 西华大学 | 基于全变分深度学习的图像融合方法及其应用与*** |
CN111667440A (zh) * | 2020-05-14 | 2020-09-15 | 涡阳县幸福门业有限公司 | 一种金属门烤漆温度分布图像的融合方法 |
CN111709902A (zh) * | 2020-05-21 | 2020-09-25 | 江南大学 | 基于自注意力机制的红外和可见光图像融合方法 |
CN111784619A (zh) * | 2020-07-03 | 2020-10-16 | 电子科技大学 | 一种红外和可见光图像的融合方法 |
CN112183561A (zh) * | 2020-11-09 | 2021-01-05 | 山东中医药大学 | 一种用于图像特征提取的联合融减自动编码器算法 |
CN113313663A (zh) * | 2021-06-09 | 2021-08-27 | 哈尔滨工业大学 | 基于零样本学习的多聚焦图像融合方法 |
CN115908518A (zh) * | 2023-01-09 | 2023-04-04 | 四川赛狄信息技术股份公司 | 一种多传感图像融合方法及*** |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102324021A (zh) * | 2011-09-05 | 2012-01-18 | 电子科技大学 | 一种基于剪切波变换的红外弱小目标检测方法 |
CN104102627A (zh) * | 2014-07-11 | 2014-10-15 | 合肥工业大学 | 一种多模态的非接触情感分析记录*** |
CN104835130A (zh) * | 2015-04-17 | 2015-08-12 | 北京联合大学 | 一种多曝光图像融合方法 |
CN106897987A (zh) * | 2017-01-18 | 2017-06-27 | 江南大学 | 基于平移不变剪切波和栈式自编码的图像融合方法 |
CN107103331A (zh) * | 2017-04-01 | 2017-08-29 | 中北大学 | 一种基于深度学习的图像融合方法 |
CN108053027A (zh) * | 2017-12-18 | 2018-05-18 | 中山大学 | 一种加速深度神经网络的方法及装置 |
CN108052988A (zh) * | 2018-01-04 | 2018-05-18 | 常州工学院 | 基于小波变换的导向显著性图像融合方法 |
US20180157918A1 (en) * | 2016-12-02 | 2018-06-07 | Bayerische Motoren Werke Aktiengesellschaft | System and Method for Estimating Vehicular Motion Based on Monocular Video Data |
CN108376387A (zh) * | 2018-01-04 | 2018-08-07 | 复旦大学 | 基于聚合膨胀卷积网络的图像去模糊方法 |
KR20180108288A (ko) * | 2017-03-24 | 2018-10-04 | 주식회사 엔씨소프트 | 영상 압축 장치 및 방법 |
CN108805814A (zh) * | 2018-06-07 | 2018-11-13 | 西安电子科技大学 | 基于多频段深度卷积神经网络的图像超分辨重建方法 |
CN109003228A (zh) * | 2018-07-16 | 2018-12-14 | 杭州电子科技大学 | 一种暗场显微大视场自动拼接成像方法 |
CN109242813A (zh) * | 2018-09-11 | 2019-01-18 | 中国科学院长春光学精密机械与物理研究所 | 基于潜在低秩表示与nsst的图像融合方法及装置 |
CN109274621A (zh) * | 2018-09-30 | 2019-01-25 | 中国人民解放军战略支援部队信息工程大学 | 基于深度残差网络的通信协议信号识别方法 |
CN109272499A (zh) * | 2018-09-25 | 2019-01-25 | 西安电子科技大学 | 基于卷积自编码网络的无参考图像质量评价方法 |
CN109342456A (zh) * | 2018-09-14 | 2019-02-15 | 广东工业大学 | 一种焊点缺陷检测方法、装置、设备及可读存储介质 |
CN109360152A (zh) * | 2018-10-15 | 2019-02-19 | 天津大学 | 基于稠密卷积神经网络的三维医学图像超分辨率重建方法 |
-
2019
- 2019-03-25 CN CN201910225446.7A patent/CN110084773A/zh active Pending
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102324021A (zh) * | 2011-09-05 | 2012-01-18 | 电子科技大学 | 一种基于剪切波变换的红外弱小目标检测方法 |
CN104102627A (zh) * | 2014-07-11 | 2014-10-15 | 合肥工业大学 | 一种多模态的非接触情感分析记录*** |
CN104835130A (zh) * | 2015-04-17 | 2015-08-12 | 北京联合大学 | 一种多曝光图像融合方法 |
US20180157918A1 (en) * | 2016-12-02 | 2018-06-07 | Bayerische Motoren Werke Aktiengesellschaft | System and Method for Estimating Vehicular Motion Based on Monocular Video Data |
CN106897987A (zh) * | 2017-01-18 | 2017-06-27 | 江南大学 | 基于平移不变剪切波和栈式自编码的图像融合方法 |
KR20180108288A (ko) * | 2017-03-24 | 2018-10-04 | 주식회사 엔씨소프트 | 영상 압축 장치 및 방법 |
CN107103331A (zh) * | 2017-04-01 | 2017-08-29 | 中北大学 | 一种基于深度学习的图像融合方法 |
CN108053027A (zh) * | 2017-12-18 | 2018-05-18 | 中山大学 | 一种加速深度神经网络的方法及装置 |
CN108376387A (zh) * | 2018-01-04 | 2018-08-07 | 复旦大学 | 基于聚合膨胀卷积网络的图像去模糊方法 |
CN108052988A (zh) * | 2018-01-04 | 2018-05-18 | 常州工学院 | 基于小波变换的导向显著性图像融合方法 |
CN108805814A (zh) * | 2018-06-07 | 2018-11-13 | 西安电子科技大学 | 基于多频段深度卷积神经网络的图像超分辨重建方法 |
CN109003228A (zh) * | 2018-07-16 | 2018-12-14 | 杭州电子科技大学 | 一种暗场显微大视场自动拼接成像方法 |
CN109242813A (zh) * | 2018-09-11 | 2019-01-18 | 中国科学院长春光学精密机械与物理研究所 | 基于潜在低秩表示与nsst的图像融合方法及装置 |
CN109342456A (zh) * | 2018-09-14 | 2019-02-15 | 广东工业大学 | 一种焊点缺陷检测方法、装置、设备及可读存储介质 |
CN109272499A (zh) * | 2018-09-25 | 2019-01-25 | 西安电子科技大学 | 基于卷积自编码网络的无参考图像质量评价方法 |
CN109274621A (zh) * | 2018-09-30 | 2019-01-25 | 中国人民解放军战略支援部队信息工程大学 | 基于深度残差网络的通信协议信号识别方法 |
CN109360152A (zh) * | 2018-10-15 | 2019-02-19 | 天津大学 | 基于稠密卷积神经网络的三维医学图像超分辨率重建方法 |
Non-Patent Citations (6)
Title |
---|
BO DU ET AL: "Stacked Convolutional Denoising Auto-Encoders for Feature Representation", 《IEEE TRANSACTIONS ON CYBERNETICS》 * |
EMAD M. GRAIS ET AL: "Raw Multi-Channel Audio Source Separation using Multi- Resolution Convolutional Auto-Encoders", 《2018 26TH EUROPEAN SIGNAL PROCESSING CONFERENCE (EUSIPCO)》 * |
RADHAKRISHNA ACHANTA ET AL: "Frequency-tuned Salient Region Detection", 《2009 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
刘兴旺等: "一种融合AutoEncoder与CNN的混合算法用于图像特征提取", 《计算机应用研究》 * |
江泽涛等: "基于改进引导滤波和双通道脉冲发放皮层模型的红外与可见光图像融合算法", 《光学学报》 * |
赵宗贵等著: "《信息融合工程实践 技术与方法》", 31 August 2015 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110567558B (zh) * | 2019-08-28 | 2021-08-10 | 华南理工大学 | 一种基于深度卷积特征的超声导波检测方法 |
CN110567558A (zh) * | 2019-08-28 | 2019-12-13 | 华南理工大学 | 一种基于深度卷积特征的超声导波检测方法 |
CN111060813A (zh) * | 2019-12-09 | 2020-04-24 | 国网北京市电力公司 | 高压断路器操作机构的故障诊断方法及装置、电子设备 |
CN111060813B (zh) * | 2019-12-09 | 2022-05-10 | 国网北京市电力公司 | 高压断路器操作机构的故障诊断方法及装置、电子设备 |
CN111191555A (zh) * | 2019-12-24 | 2020-05-22 | 重庆邮电大学 | 一种结合高低空间频率特征的目标跟踪方法、介质及*** |
CN111191555B (zh) * | 2019-12-24 | 2022-05-03 | 重庆邮电大学 | 一种结合高低空间频率特征的目标跟踪方法、介质及*** |
CN111353966A (zh) * | 2020-03-03 | 2020-06-30 | 西华大学 | 基于全变分深度学习的图像融合方法及其应用与*** |
CN111353966B (zh) * | 2020-03-03 | 2024-02-09 | 南京一粹信息科技有限公司 | 基于全变分深度学习的图像融合方法及其应用与*** |
CN111667440A (zh) * | 2020-05-14 | 2020-09-15 | 涡阳县幸福门业有限公司 | 一种金属门烤漆温度分布图像的融合方法 |
CN111667440B (zh) * | 2020-05-14 | 2024-02-13 | 涡阳县幸福门业有限公司 | 一种金属门烤漆温度分布图像的融合方法 |
CN111709902A (zh) * | 2020-05-21 | 2020-09-25 | 江南大学 | 基于自注意力机制的红外和可见光图像融合方法 |
CN111784619A (zh) * | 2020-07-03 | 2020-10-16 | 电子科技大学 | 一种红外和可见光图像的融合方法 |
CN111784619B (zh) * | 2020-07-03 | 2023-04-28 | 电子科技大学 | 一种红外和可见光图像的融合方法 |
CN112183561A (zh) * | 2020-11-09 | 2021-01-05 | 山东中医药大学 | 一种用于图像特征提取的联合融减自动编码器算法 |
CN112183561B (zh) * | 2020-11-09 | 2024-04-30 | 山东中医药大学 | 一种用于图像特征提取的联合融减自动编码器算法 |
CN113313663A (zh) * | 2021-06-09 | 2021-08-27 | 哈尔滨工业大学 | 基于零样本学习的多聚焦图像融合方法 |
CN113313663B (zh) * | 2021-06-09 | 2022-09-09 | 哈尔滨工业大学 | 基于零样本学习的多聚焦图像融合方法 |
CN115908518A (zh) * | 2023-01-09 | 2023-04-04 | 四川赛狄信息技术股份公司 | 一种多传感图像融合方法及*** |
CN115908518B (zh) * | 2023-01-09 | 2023-05-09 | 四川赛狄信息技术股份公司 | 一种多传感图像融合方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110084773A (zh) | 一种基于深度卷积自编码网络的图像融合方法 | |
Yoo et al. | Photorealistic style transfer via wavelet transforms | |
Zhou et al. | Semantic-supervised infrared and visible image fusion via a dual-discriminator generative adversarial network | |
Li et al. | Infrared and visible image fusion using a deep learning framework | |
CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
CN110232653A (zh) | 快速轻型超分辨率重建密集残差网络 | |
CN109903292A (zh) | 一种基于全卷积神经网络的三维图像分割方法及*** | |
CN109754403A (zh) | 一种ct图像内的肿瘤自动分割方法及*** | |
CN109509160A (zh) | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 | |
CN103020933B (zh) | 一种基于仿生视觉机理的多源图像融合方法 | |
CN102915527A (zh) | 基于形态学成分分析的人脸图像超分辨率重建方法 | |
Hong et al. | DNN-VolVis: Interactive volume visualization supported by deep neural network | |
CN108932536A (zh) | 基于深度神经网络的人脸姿态重建方法 | |
CN106157244A (zh) | 一种基于稀疏表示的QR Code图像超分辨重建方法 | |
CN109325915A (zh) | 一种用于低分辨率监控视频的超分辨率重建方法 | |
CN110533683A (zh) | 一种融合传统特征与深度特征的影像组学分析方法 | |
He et al. | Hqg-net: Unpaired medical image enhancement with high-quality guidance | |
CN110136075A (zh) | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 | |
CN110490807A (zh) | 图像重建方法、装置及存储介质 | |
CN108171654A (zh) | 带干扰抑制的汉字图像超分辨率重建方法 | |
Hongmeng et al. | A detection method for deepfake hard compressed videos based on super-resolution reconstruction using CNN | |
CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
CN112488971A (zh) | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 | |
CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其*** | |
Guo et al. | Multifeature extracting CNN with concatenation for image denoising |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190802 |
|
WD01 | Invention patent application deemed withdrawn after publication |