CN110555458A - 基于注意力机制生成对抗网络的多波段图像特征级融合方法 - Google Patents
基于注意力机制生成对抗网络的多波段图像特征级融合方法 Download PDFInfo
- Publication number
- CN110555458A CN110555458A CN201910672081.2A CN201910672081A CN110555458A CN 110555458 A CN110555458 A CN 110555458A CN 201910672081 A CN201910672081 A CN 201910672081A CN 110555458 A CN110555458 A CN 110555458A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- multiband
- network
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像融合方法,尤其涉及多波段图像融合方法,具体为基于注意力机制生成对抗网络的多波段图像特征级融合方法。本方法按如下步骤进行:设计并构建生成对抗网络,生成器中包含混合注意力机制的特征增强模块,通过生成器和判别器的动态平衡训练得到一个生成模型;本方法实现了多波段图像端到端的神经网络融合,显著提高了融合图像的细节质量。
Description
技术领域
本发明涉及图像融合方法,尤其涉及多波段图像融合方法,具体为基于注意力机制生成对抗网络的多波段图像特征级融合方法。
背景技术
对同一场景进行多波段同步探测成像是新一代高精度探测***的主要技术特征之一,其目的在于通过图像融合来综合利用不同波段探测信息的互补性,获得对场景更准确全面的认识。研究者普遍认为图像融合可分为像素级、特征级和决策级三个层次,但由于像素级融合便于保留较多的原始信息,所以,近十余年一直是图像融合研究的热点。实际上,一个不容忽视的事实是该层次的融合不仅计算量较大,而且对图像配准精度要求极高,十分不利于模型算法在高精度探测***中的运用。相比之下,特征级图像融合不仅能保留较多的原始信息,而且还能消除部分冗余信息,实现数据压缩,所以,在目标识别、图像分类、目标检测与跟踪等影像数据处理中获得了广泛应用。因此,在大数据背景下探索多波段图像特征级融合尤为必要。
特征级图像融合包括图像特征提取和特征合并两个关键技术。其中,特征提取是数字图像处理的经典难题之一。与传统方法需基于目标特性和成像机制等先验知识进行数学建模不同,深度学习是从大量数据中自主学习特征表示,可以同时获得低层特征以及高层语义特征。随着深度学习的发展,已有研究探索利用神经网络模型提取图像特征用于融合。如文献“基于深度堆叠卷积神经网络的图像融合”(计算机学报Vol.40No.11)通过预先设定高低频滤波器,利用堆叠自动编码器(Stack auto-encoder,SAE)网络成功获得了红外和可见光图像的高频、低频特征图,不过融合图像的清晰度和边缘强度不够理想。随后文献“DenseFuse:A fusion approach to infrared and visible image”(IEEE Transactionon image processing 28(5)2019 2614-2623)基于卷积层和密集块(dense block)的编码结构来提取多源图像特征,通过将dense block中每层卷积都与其后每个卷积序列连接,较好地解决了卷积操作带来的信息损失问题,但融合图像的细节依然不够丰富、清晰。实际上该类问题在传统的多尺度变换图像融合研究中已处理的较好。因此,如何引导神经网络像多尺度变换那样凸显局部区域(如红外热目标和可见光边缘等)是值得深入研究的。
为此,需要一种基于神经网络的特征级融合方法,能够解决多波段融合图像细节不丰富的问题,实现end-to-end的融合方法。
发明内容
本发明为了解决融合图像细节特征不丰富的问题,提出了一种基于注意力机制生成对抗网络的多波段图像特征级融合方法。
本发明是采用如下的技术方案实现的:基于注意力机制生成对抗网络的多波段图像特征级融合方法,包括以下步骤:
设计并构建生成对抗网络:对抗网络结构分为生成器和判别器两个模型,生成器由特征提取与增强模块和特征融合模块构成。
其中特征提取与增强模块以VGG-16网络的前7层卷积、两层池化为主干网络,主干网络作为特征提取器,训练集多波段图像经过主干网络后接着进行全局平均池化和reshape来获得多波段特征图的平均信息量并重置为张量,之后将主干网络提取的多波段特征图和reshape后的特征图进行作差,作差后经过激活函数激活得到多波段图像权重值,多波段特征图和多波段图像权重值点乘后得到注意力图,多波段特征图和注意力图相加构建得到特征增强图像;本发明提出的新颖混合注意力机制将多波段特征图与其对应均值的差值激活作为注意力权重。
特征融合模块将多通道特征增强图利用concate在通道维度上融合;为消除融合后不同波段特征图的分布差异,连接两层卷积和BN将其归一化到同一分布;最后接上采样和三层卷积,恢复原图大小并重构融合图像。
用判别器逼近生成器,不断的将融合图像和真实图像输入到判别器,通过优化生成器和判别器的损失函数,使判别器的损失函数的输出接近0.5,即生成器逐渐生成似真数据,训练得到生成器模型,利用该训练好的生成器模型进行图像融合。
上述的一种基于深度学习的多波段图像特征级融合方法,生成对抗网络的训练集多波段图像包含可见光(400-700nm)、红外短波(700-1000nm)和红外长波(8-14μm)三波段图像。
上述的基于注意力机制生成对抗网络的多波段图像特征级融合方法,生成对抗网络的生成器损失函数为多任务损失。
上述的基于注意力机制生成对抗网络的多波段图像特征级融合方法,判别器采用已训练好的VGG-16网络,并修改其全连接通道数为1024,512,1。
上述的基于注意力机制生成对抗网络的多波段图像特征级融合方法,对抗网络batch大小取值在16-36之间;学习率选用0.0002。
注意力机制能模拟人类视觉,在选择性关注感兴趣区域同时忽略其它可见信息。新近,该机制已被广泛用于自然语言处理、图像处理和语音识别等领域。空间注意力利用具有旋转、缩放功能的图像变换方法将图像信息从原始空间转换到不同图像空间,极大改善了特征提取结果;通道注意力对不同通道赋予不同权重以描述其与关键信息的相关度,达到了抑制背景、凸显目标的目的;结合了空域和通道域注意力机制的混合注意力,通过借鉴残差网络思想,有效扩展网络深度的同时改善了图像分类效果。鉴于注意力机制在以上领域取得的突破性成就,本发明尝试将注意力运用到图像融合领域中,用于改善图像细节特征,并针对具体场景,提出了一种新的混合注意力模型。利用图像与其均值的差值作为权重引导神经网络学习并关注感兴趣区域,从而提高图像中显著特征。
附图说明
图1为网络总体结构图。
图2为特征增强模块结构图。
图3为特征融合模块结构图。
图4为不同波段不同通道注意力图
图5为红外长波图像。
图6为红外短波图像。
图7为可见光图像。
图8为本发明的融合图像。
具体实施方法
一种基于注意力机制生成对抗网络的多波段图像融合方法,包括以下步骤:1、设计并构建特征提取与增强模块
主干网络采用VGG-16网络的前7层卷积、两层池化作为特征提取器。之后连接全局池化层来获得各通道特征图的平均信息量,以反映图像特征的平均水平。全局平均池化后,连接reshape层,将其重置为1×1×C张量,最后通过本发明设计的新颖混合注意力机制得到最终特征增强图。具体如下:
(1)定义网络输入多波段图像为X1,X2,…,Xk,其中k≥2,这里假设k=3。Xk∈RH ′,W′,C′,H′,W′,C′分别为输入特征图的高、宽、通道数。主干网络提取特征后得到多波段特征图其中c∈{1,2,…,C},U∈RH,W,C,H=1/4H′,W=1/4W′,C=256,用如下公式表达:式中,Vc k={Vc k,1,Vc k,2,…,Vc k,C′},代表卷积核集合,*表示卷积操作,为二维空间卷积。
(2)利用全局平均池化获得平均特征值之后每个通道特征图与其对应通道均值(reshape后)相减,能很好反映图像中各通道显著信息如边缘以及目标。作差后,利用sigmoid激活,归一化到[0,1]之间,得到权重值。过程描述如下:其中,(i,j)为特征图某位置,为第k个波段图像第c个通道激活后特征图(权重值);σ为sigmoid激活函数,Reshape(·)表示reshape重置。
(3)将每个通道特征图与其对应权重值相乘得到注意力图,使网络自动选择有效特征,实现特定区域自适应。同时,为增强特征图全局信息量,将获得的注意力图与卷积转换后的通道特征图相加,保留背景信息的同时增强了细节特征,具体如下所示:式中,为第k个波段图像第c个通道的注意力图;Fz(·)为增强函数,·表示点乘。为第k个波段图像第c个通道的特征增强图,
2、设计并构建特征融合模块
(1)多通道特征增强图首先利用concate在通道c维度上融合,为消除融合后不同波段特征图的分布差异,利用卷积和BN将其归一化到同一分布,过程描述如下:
N=f1×1(f3×3(M))=LReLU(W1*(LReLU(W0*M))),式中,M为合并后特征图;Fc(·)表示concate函数。N为归一化特征图;f3×3,f1×1分别表示标准3×3、1×1卷积操作,W0,W1为对应卷积核大小,W0∈R3×3×1024,W1∈R1×1×1024,之后均使用非线性激活函数LReLU激活。
(2)N特征图之后连接上采样和卷积,恢复原图大小并重构融合图像,如公式所示:其中,F表示融合图像,表示N上采样后特征图,W2∈R3×3×512,W3∈R3×3×256,W4∈R3×3×1。
3、构建生成对抗网络
生成对抗网络由生成器和判别器两部分组成,具体如下:
(1)级联特征提取与增强模块和特征融合模块构成生成器,输出融合图像。
(2)判别器加载预训练的VGG-16网络,并修改全连接层通道数为1024、512、1以降低网络参数。
4、对抗网络训练
利用反向传播训练神经网络,具体如下:
(1)生成器和判别器间隔训练,即先训练一次生成器,再训练一次判别器,然后依次循环,直到两者达到动态平衡;
(2)设计多任务损失函数。通过最大化判别器损失、最小化生成器损失来训练判别器和生成器,判别器损失函数如公式所示:式中,Itrue,Ipred分别表示真实图像和生成的融合图像,指真实数据期望,代表生成数据。生成器损失LG除对抗损失外,还包括像素级均方误差损失Lmse=||Iture-Ipred||2和结构相似性损失Lssim=1-SSIM(Ipred,Itrue)。式中:|| ||2表示L2范数;SSIM(·)表示结构相似性操作。
5、基于注意力机制生成对抗网络的图像融合
(1)将多波段图像数据集分别输入生成器,进行网络特征提取、自适应融合,用判别器逼近生成器,通过优化生成器和判别器的损失函数,使其逐渐生成似真数据,训练得到生成器模型;
(2)将待融合的多波段测试图像输入已训练好的生成模型,得到最终融合图像。
上述的一种基于深度学习的多波段图像特征级融合方法,生成对抗网络的训练集和测试集包含可见光(400-700nm)、红外短波(700-1000nm)和红外长波(8-14μm)三波段等比例混合图像。
上述的一种基于深度学习的多波段图像特征级融合方法,生成器结构由特征提取与增强模块和特征融合模块构成,判别器采用已训练好的VGG-16网络,并修改其全连接通道数为1024,512,1。
上述的一种基于深度学习的多波段图像特征级融合方法,batch大小取值在16-36之间,过小占用较多内存,过大不易收敛;学习率选用0.0002,学习率大小决定网络收敛速度,过大导致网络震荡,收敛不稳定,过小耗费更多时间,影响网络效率,因此选取0.02-0.00002之间。
Claims (5)
1.基于注意力机制生成对抗网络的多波段图像特征级融合方法,其特征在于包括以下步骤:
设计并构建生成对抗网络: 对抗网络结构分为生成器和判别器两个模型,生成器由特征提取与增强模块和特征融合模块构成;
其中特征提取与增强模块以VGG-16网络的前7层卷积、两层池化为主干网络,训练集多波段图像经过主干网络后接着进行全局平均池化和reshape,之后将主干网络提取的多波段特征图和reshape后的特征图进行作差,作差后经过激活函数激活得到多波段图像权重值,多波段特征图和多波段图像权重值点乘后得到注意力图,多波段特征图和注意力图相加构建得到特征增强图像;
特征融合模块将多通道特征增强图利用concate在通道维度上融合;为消除融合后不同波段特征图的分布差异,连接两层卷积和BN将其归一化到同一分布;最后接上采样和三层卷积,恢复原图大小并重构融合图像;
用判别器逼近生成器,不断的将融合图像和真实图像输入到判别器,通过优化生成器和判别器的损失函数,使判别器的损失函数的输出接近0.5,即生成器逐渐生成似真数据,训练得到生成器模型,利用该训练好的生成器模型进行图像融合。
2.根据权利要求1所述的基于注意力机制生成对抗网络的多波段图像特征级融合方法,其特征在于生成器的训练集多波段图像包含可见光、红外短波和红外长波三波段图像。
3.根据权利要求1或2所述的基于注意力机制生成对抗网络的多波段图像特征级融合方法,其特征在于生成对抗网络的生成器损失函数为多任务损失。
4.根据权利要求1或2所述的基于注意力机制生成对抗网络的多波段图像特征级融合方法,其特征在于判别器采用已训练好的VGG-16网络,并修改其全连接通道数为1024,512,1。
5.根据权利要求1或2所述的基于注意力机制生成对抗网络的多波段图像特征级融合方法,其特征在于对抗网络batch大小取值在16-36之间;学习率选用0.0002。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910672081.2A CN110555458B (zh) | 2019-07-24 | 2019-07-24 | 基于注意力机制生成对抗网络的多波段图像特征级融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910672081.2A CN110555458B (zh) | 2019-07-24 | 2019-07-24 | 基于注意力机制生成对抗网络的多波段图像特征级融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110555458A true CN110555458A (zh) | 2019-12-10 |
CN110555458B CN110555458B (zh) | 2022-04-19 |
Family
ID=68735884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910672081.2A Active CN110555458B (zh) | 2019-07-24 | 2019-07-24 | 基于注意力机制生成对抗网络的多波段图像特征级融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110555458B (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111080729A (zh) * | 2019-12-24 | 2020-04-28 | 山东浪潮人工智能研究院有限公司 | 基于Attention机制的训练图片压缩网络的构建方法及*** |
CN111127468A (zh) * | 2020-04-01 | 2020-05-08 | 北京邮电大学 | 一种道路裂缝检测方法和装置 |
CN111311518A (zh) * | 2020-03-04 | 2020-06-19 | 清华大学深圳国际研究生院 | 基于多尺度混合注意力残差网络的图像去噪方法及装置 |
CN111429433A (zh) * | 2020-03-25 | 2020-07-17 | 北京工业大学 | 一种基于注意力生成对抗网络的多曝光图像融合方法 |
CN111444980A (zh) * | 2020-04-09 | 2020-07-24 | 中国人民解放军国防科技大学 | 红外点目标分类方法和装置 |
CN111614974A (zh) * | 2020-04-07 | 2020-09-01 | 上海推乐信息技术服务有限公司 | 一种视频图像修复方法和*** |
CN111696066A (zh) * | 2020-06-13 | 2020-09-22 | 中北大学 | 基于改进wgan-gp的多波段图像同步融合与增强方法 |
CN111696168A (zh) * | 2020-06-13 | 2020-09-22 | 中北大学 | 基于残差自注意力图像增强的高倍速采mri重建方法 |
CN111861910A (zh) * | 2020-06-29 | 2020-10-30 | 深圳高性能医疗器械国家研究院有限公司 | 一种ct图像降噪***及方法 |
CN111915545A (zh) * | 2020-08-06 | 2020-11-10 | 中北大学 | 一种多波段图像的自监督学习融合方法 |
CN112241765A (zh) * | 2020-10-26 | 2021-01-19 | 三亚中科遥感研究所 | 一种基于多尺度卷积和注意力机制的图像分类模型及方法 |
CN112488971A (zh) * | 2020-11-23 | 2021-03-12 | 石家庄铁路职业技术学院 | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 |
CN112668655A (zh) * | 2020-12-30 | 2021-04-16 | 中山大学 | 基于生成对抗网络不确定性注意力增强分布外图像检测法 |
CN112750097A (zh) * | 2021-01-14 | 2021-05-04 | 中北大学 | 基于多cnn组合和模糊神经网络的多模态医学图像融合 |
CN113112441A (zh) * | 2021-04-30 | 2021-07-13 | 中北大学 | 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法 |
CN113205468A (zh) * | 2021-06-01 | 2021-08-03 | 桂林电子科技大学 | 一种基于自注意力机制和gan的水下图像实时复原模型 |
CN113222846A (zh) * | 2021-05-18 | 2021-08-06 | 北京达佳互联信息技术有限公司 | 图像处理方法和图像处理装置 |
CN113343705A (zh) * | 2021-04-26 | 2021-09-03 | 山东师范大学 | 一种基于文本语义的细节保持图像生成方法及*** |
CN113435474A (zh) * | 2021-05-25 | 2021-09-24 | 中国地质大学(武汉) | 一种基于双生成对抗网络的遥感图像融合方法 |
CN113762277A (zh) * | 2021-09-09 | 2021-12-07 | 东北大学 | 一种基于Cascade-GAN的多波段红外图像融合方法 |
CN116258658A (zh) * | 2023-05-11 | 2023-06-13 | 齐鲁工业大学(山东省科学院) | 基于Swin Transformer的图像融合方法 |
CN117726979A (zh) * | 2024-02-18 | 2024-03-19 | 合肥中盛水务发展有限公司 | 一种基于神经网络的管廊管线管理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018015080A1 (en) * | 2016-07-19 | 2018-01-25 | Siemens Healthcare Gmbh | Medical image segmentation with a multi-task neural network system |
US20190130221A1 (en) * | 2017-11-02 | 2019-05-02 | Royal Bank Of Canada | Method and device for generative adversarial network training |
CN109978165A (zh) * | 2019-04-04 | 2019-07-05 | 重庆大学 | 一种融合自注意力机制的生成对抗网络方法 |
CN110022422A (zh) * | 2019-04-19 | 2019-07-16 | 吉林大学 | 一种基于密集连接网络的视频帧序列生成方法 |
CN110021051A (zh) * | 2019-04-01 | 2019-07-16 | 浙江大学 | 一种基于生成对抗网络通过文本指导的人物图像生成方法 |
-
2019
- 2019-07-24 CN CN201910672081.2A patent/CN110555458B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018015080A1 (en) * | 2016-07-19 | 2018-01-25 | Siemens Healthcare Gmbh | Medical image segmentation with a multi-task neural network system |
US20190130221A1 (en) * | 2017-11-02 | 2019-05-02 | Royal Bank Of Canada | Method and device for generative adversarial network training |
CN110021051A (zh) * | 2019-04-01 | 2019-07-16 | 浙江大学 | 一种基于生成对抗网络通过文本指导的人物图像生成方法 |
CN109978165A (zh) * | 2019-04-04 | 2019-07-05 | 重庆大学 | 一种融合自注意力机制的生成对抗网络方法 |
CN110022422A (zh) * | 2019-04-19 | 2019-07-16 | 吉林大学 | 一种基于密集连接网络的视频帧序列生成方法 |
Non-Patent Citations (1)
Title |
---|
赵竞超等: "《多波段图像融合的直觉模糊化处理方法比较》", 《红外技术》 * |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111080729A (zh) * | 2019-12-24 | 2020-04-28 | 山东浪潮人工智能研究院有限公司 | 基于Attention机制的训练图片压缩网络的构建方法及*** |
CN111080729B (zh) * | 2019-12-24 | 2023-06-13 | 山东浪潮科学研究院有限公司 | 基于Attention机制的训练图片压缩网络的构建方法及*** |
CN111311518A (zh) * | 2020-03-04 | 2020-06-19 | 清华大学深圳国际研究生院 | 基于多尺度混合注意力残差网络的图像去噪方法及装置 |
CN111311518B (zh) * | 2020-03-04 | 2023-05-26 | 清华大学深圳国际研究生院 | 基于多尺度混合注意力残差网络的图像去噪方法及装置 |
CN111429433A (zh) * | 2020-03-25 | 2020-07-17 | 北京工业大学 | 一种基于注意力生成对抗网络的多曝光图像融合方法 |
CN111127468A (zh) * | 2020-04-01 | 2020-05-08 | 北京邮电大学 | 一种道路裂缝检测方法和装置 |
CN111614974A (zh) * | 2020-04-07 | 2020-09-01 | 上海推乐信息技术服务有限公司 | 一种视频图像修复方法和*** |
CN111614974B (zh) * | 2020-04-07 | 2021-11-30 | 上海推乐信息技术服务有限公司 | 一种视频图像修复方法和*** |
CN111444980B (zh) * | 2020-04-09 | 2024-02-20 | 中国人民解放军国防科技大学 | 红外点目标分类方法和装置 |
CN111444980A (zh) * | 2020-04-09 | 2020-07-24 | 中国人民解放军国防科技大学 | 红外点目标分类方法和装置 |
CN111696168A (zh) * | 2020-06-13 | 2020-09-22 | 中北大学 | 基于残差自注意力图像增强的高倍速采mri重建方法 |
CN111696066A (zh) * | 2020-06-13 | 2020-09-22 | 中北大学 | 基于改进wgan-gp的多波段图像同步融合与增强方法 |
CN111696168B (zh) * | 2020-06-13 | 2022-08-23 | 中北大学 | 基于残差自注意力图像增强的高倍速采mri重建方法 |
CN111696066B (zh) * | 2020-06-13 | 2022-04-19 | 中北大学 | 基于改进wgan-gp的多波段图像同步融合与增强方法 |
CN111861910A (zh) * | 2020-06-29 | 2020-10-30 | 深圳高性能医疗器械国家研究院有限公司 | 一种ct图像降噪***及方法 |
CN111915545B (zh) * | 2020-08-06 | 2022-07-05 | 中北大学 | 一种多波段图像的自监督学习融合方法 |
CN111915545A (zh) * | 2020-08-06 | 2020-11-10 | 中北大学 | 一种多波段图像的自监督学习融合方法 |
CN112241765A (zh) * | 2020-10-26 | 2021-01-19 | 三亚中科遥感研究所 | 一种基于多尺度卷积和注意力机制的图像分类模型及方法 |
CN112241765B (zh) * | 2020-10-26 | 2024-04-26 | 三亚中科遥感研究所 | 一种基于多尺度卷积和注意力机制的图像分类模型及方法 |
CN112488971A (zh) * | 2020-11-23 | 2021-03-12 | 石家庄铁路职业技术学院 | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 |
CN112668655A (zh) * | 2020-12-30 | 2021-04-16 | 中山大学 | 基于生成对抗网络不确定性注意力增强分布外图像检测法 |
CN112668655B (zh) * | 2020-12-30 | 2023-08-29 | 中山大学 | 基于生成对抗网络不确定性注意力增强分布外图像检测法 |
CN112750097A (zh) * | 2021-01-14 | 2021-05-04 | 中北大学 | 基于多cnn组合和模糊神经网络的多模态医学图像融合 |
CN113343705A (zh) * | 2021-04-26 | 2021-09-03 | 山东师范大学 | 一种基于文本语义的细节保持图像生成方法及*** |
CN113112441B (zh) * | 2021-04-30 | 2022-04-26 | 中北大学 | 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法 |
CN113112441A (zh) * | 2021-04-30 | 2021-07-13 | 中北大学 | 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法 |
CN113222846B (zh) * | 2021-05-18 | 2024-05-10 | 北京达佳互联信息技术有限公司 | 图像处理方法和图像处理装置 |
CN113222846A (zh) * | 2021-05-18 | 2021-08-06 | 北京达佳互联信息技术有限公司 | 图像处理方法和图像处理装置 |
CN113435474A (zh) * | 2021-05-25 | 2021-09-24 | 中国地质大学(武汉) | 一种基于双生成对抗网络的遥感图像融合方法 |
CN113205468A (zh) * | 2021-06-01 | 2021-08-03 | 桂林电子科技大学 | 一种基于自注意力机制和gan的水下图像实时复原模型 |
CN113762277A (zh) * | 2021-09-09 | 2021-12-07 | 东北大学 | 一种基于Cascade-GAN的多波段红外图像融合方法 |
CN113762277B (zh) * | 2021-09-09 | 2024-05-24 | 东北大学 | 一种基于Cascade-GAN的多波段红外图像融合方法 |
CN116258658A (zh) * | 2023-05-11 | 2023-06-13 | 齐鲁工业大学(山东省科学院) | 基于Swin Transformer的图像融合方法 |
CN117726979A (zh) * | 2024-02-18 | 2024-03-19 | 合肥中盛水务发展有限公司 | 一种基于神经网络的管廊管线管理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110555458B (zh) | 2022-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110555458B (zh) | 基于注意力机制生成对抗网络的多波段图像特征级融合方法 | |
Gao et al. | CyCU-Net: Cycle-consistency unmixing network by learning cascaded autoencoders | |
CN110706302B (zh) | 一种文本合成图像的***及方法 | |
CN108537742B (zh) | 一种基于生成对抗网络的遥感图像全色锐化方法 | |
Alam et al. | Conditional random field and deep feature learning for hyperspectral image classification | |
Lin et al. | Hyperspectral image denoising via matrix factorization and deep prior regularization | |
Dong et al. | Generative dual-adversarial network with spectral fidelity and spatial enhancement for hyperspectral pansharpening | |
Wang et al. | Hyperspectral image super-resolution via deep prior regularization with parameter estimation | |
CN112347888B (zh) | 基于双向特征迭代融合的遥感图像场景分类方法 | |
CN112446476A (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
Jiang et al. | Hyperspectral image classification with spatial consistence using fully convolutional spatial propagation network | |
CN105550712B (zh) | 基于优化卷积自动编码网络的极光图像分类方法 | |
CN112149720A (zh) | 一种细粒度车辆类型识别方法 | |
Sannidhan et al. | Evaluating the performance of face sketch generation using generative adversarial networks | |
CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
CN113240040A (zh) | 一种基于通道注意力深度网络的极化sar图像分类方法 | |
CN110097033A (zh) | 一种基于特征扩充的单样本人脸识别方法 | |
CN114863173B (zh) | 一种面向土地资源审计的自互注意力高光谱图像分类方法 | |
Osahor et al. | Quality guided sketch-to-photo image synthesis | |
Ahmad et al. | Hybrid dense network with attention mechanism for hyperspectral image classification | |
Zhao et al. | High-resolution remote sensing bitemporal image change detection based on feature interaction and multitask learning | |
CN115861076A (zh) | 基于矩阵分解网络的无监督高光谱图像超分辨率方法 | |
CN113762277B (zh) | 一种基于Cascade-GAN的多波段红外图像融合方法 | |
Cherian et al. | A Novel AlphaSRGAN for Underwater Image Super Resolution. | |
CN114550305A (zh) | 一种基于Transformer的人体姿态估计方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |