CN111754404A - 基于多尺度机制和注意力机制的遥感图像时空融合方法 - Google Patents
基于多尺度机制和注意力机制的遥感图像时空融合方法 Download PDFInfo
- Publication number
- CN111754404A CN111754404A CN202010560118.5A CN202010560118A CN111754404A CN 111754404 A CN111754404 A CN 111754404A CN 202010560118 A CN202010560118 A CN 202010560118A CN 111754404 A CN111754404 A CN 111754404A
- Authority
- CN
- China
- Prior art keywords
- feature
- attention mechanism
- image
- fusion
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 56
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 19
- 238000005070 sampling Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012952 Resampling Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明请求保护一种基于多尺度机制和注意力机制的遥感图像时空融合方法，包括步骤：S1将高时间、低空间分辨率的图像和低时间、高空间分辨的图像分别输入两个不同的并行卷积神经网络，分别提取它们的在不同尺度上的特征图；S2选择三个尺度上的特征图，分别对它们进行融合，再将三个尺度上的融合特征图上采样到统一尺度，接着把它们融合为一个特征图；S3将融合后的特征图输入注意力机制，对特征图的特征和通道赋予不同的权值；S4结合特征图的权值，使用全连接层对图像进行重建，得到一张高空间、高时间分辨率的图像。本发明提高了遥感图像时空算法的准确率，并且在时间效率上具有优势。
Description
技术领域
本发明属于图像处理技术领域，特别涉及基于多尺度机制和注意力机制的遥感图像时空融合方法。
背景技术
受限于当前硬件技术和预算限制，我们获得的卫星图像在时间和空间分辨率上存在矛盾，比如中分辨率成像光谱仪(Moderate-resolution Imaging Spectroradiometer，MODIS)可以每天或每半天获取同一区域的图像，但是其空间分辨率的范围为250米到1000米；而美国的陆地卫星(Landsat)则能够获取空间分辨率为10米到30米的图像，但是它的重返周期为16天。在实际应用中，我们需要高时间和高空间分辨率的卫星图像，因此可以通过时空融合解决这一问题。遥感图像的时空融合算法在农田监测、灾害预测等方向有着广泛应用。现存的遥感图像时空融合算法可以分为五大类，分别为基于加权函数的算法(Weightfunction-based)、基于贝叶斯的算法(Bayesian-based)、基于解混的算法(Unmixing-based)、混合算法(Hybrid)和基于学习的算法(Learning-based)。
时空自适应反射融合模型(Spatial and Temporal Adaptive ReflectanceFusion model,STARFM)是最具代表性的基于加权函数的算法，后续许多的时空融合算法都是基于STARFM提出。随后基于贝叶斯和解混的算法也逐渐多样化，除了使用单一种类的算法，有一些方法使用了混合算法，例如柔性时空数据融合(Flexible Spatiotemporal DataFusion,FSDAF)。近年来，基于学习的算法蓬勃发展，其进一步可分为基于字典对学习的时空融合算法和基于机器学习的时空融合算法。其中，卷积神经网络在遥感图像的时空融合中应用得尤其广泛，许多的方法都证明了卷积神经网络的优越性。
虽然现存时空融合方法多种多样，但是依然存在很多问题，例如：在异质性较高的区域，算法的融合精度并不高；大多数算法都使用两对图像进行时空融合，这对数据集的要求较高；基于卷积神经网络的算法得到的融合图像通常过于平滑。
发明内容
本发明旨在建立一个只使用一对遥感图像进行时空融合并且融合精度更高的网络框架，该网络框架基于卷积神经网络，同时，致力于解决基于卷积神经网络的结果图像过平滑这一问题。从而提出了一种基于多尺度机制和注意力机制的遥感图像时空融合方法。本发明的技术方案如下：
一种基于多尺度机制和注意力机制的遥感图像时空融合方法，其包括以下步骤：
S1、分别将t0和t1时刻的高时间、低空间分辨率图像和t0时刻的低时间、高空间分辨率图像输入第一、第二卷积神经网络，
S2、融合步骤S1中两类图像在三个不同尺度上的特征图；
S3、将融合结果输入注意力机制，包括以下子步骤，
S3.1、对输入的特征图在通道维度进行赋值，对特征图的每一个特征图赋予不同的权值；
S3.2、在通道维度对特征图进行赋值后，对特征图的特征信息进行赋值；
S4、将包含权值的特征图输入全连接层，进行重建图像，最后得到t1时刻的高空间分辨率图像。
进一步的，所述步骤S1具体包括以下子步骤：
S1.1、对t0和t1两个时刻的高时间、低空间分辨率图像(其大小为a×a)作差，得到它们的残差图像，然后将得到的残差图像输入第一卷积神经网络；
S1.2、将t0时刻的低时间、高空间分辨率图像(其大小为16a×16a)输入第二卷积神经网络；
S1.3、第一卷积神经网络和第二卷积神经网络是并行的结构，分别使用卷积层提取两类图像在三个(4a×4a，8a×8a和16a×16a)不同尺度上的特征图。
进一步的，所述步骤S1的t0时刻的低空间分辨率图像(M1)和t1时刻的低空间分辨率图像(M2)的残差图像(M12)计算公式为：
M12＝M2-M1。
进一步的，所述步骤S1的第一卷积神经网络由卷积层和反卷积层构成，而第一卷积神经网络由卷积层和池化层构成，第一卷积神经网络用于对输入图像进行上采样，第一卷积神经网络用于将输入图像下采样；因为两类输入图像的尺度差异，这样的网络结构可以将两类遥感图像投影到同一尺度，也便于提取图像更丰富的特征信息。
进一步的，所述步骤S2具体包括以下步骤：
S2.1、选择输出两个并行网络中的三个特征图，这三个特征图分别包含图像在不同尺度上的特征信息；
S2.2、分别对相同尺度上的两类特征图进行融合，得到三个融合后的特征图；
S2.3、将三个融合后的特征图重新采样到统一尺度，再对它们进行融合，最后得到一个融合结果；。
进一步的，所述步骤S2的低空间分辨率图像的三个特征图分别表示为fi(M12)，i＝1，2，3，高空间分辨率图像(L1)的三个特征图分别表示为fi(L1)，i＝1，2，3，当i值相同时，表示两类图像的特征图在同一尺度，分别对同一尺度的特征图进行融合得到Fi，再对Fi重新处理到同一尺度，对Fi进行融合得到最终的融合结果F，它们的融合过程为：
Fi＝fi(M12)+fi(L1)
F＝F1+F2+F3。
进一步的，所述S3将融合结果输入注意力机制，包括以下子步骤，
S3.1、使用通道注意力机制对输入的特征图在通道维度进行赋值，其主要通过卷积层对特征图的通道进行缩放，然后使用Sigmoid函数对特征图的通道赋予不同的权值；
S3.2、在通道维度对特征图进行赋值后，使用空间注意力机制对特征图的上的房屋、河流和农田等特征信息进行赋值，在这一步同样使用Sigmoid函数对特征图进行赋值，特征图的权重值在网络迭代过程中会不断调整，直至网络收敛。
进一步的，所述步骤S3的注意力机制由通道注意力机制和空间注意力机制构成，目的是让包括河流、房屋和农田在内的一些关键区域得到重点学习；其中，通道注意力机制是通过缩放特征图的通道，使用Sigmoid函数每一个通道赋予不同的权重，从而增强对关键通道的注意力，而空间注意力机制是对特征图上的特征信息进行赋值，聚焦于特征图上的重要信息。特征图上的权重值都是在网络迭代中逐步更新，在网络收敛后，Sigmoid函数对特征图赋予的权重值才能最终确定。
进一步的，所述步骤S4是通过两个全连接层进行图像重建，控制输出特征图通道数，最终得到的结果图像的通道数与输入图像相同，即预测的t1时刻的高空间分辨率图像。
本发明的优点及有益效果如下：
本发明基于卷积神经网络，首先，使用了双支网络来提取两类遥感图像的特征信息。因为在遥感图像中，地物信息通常具有乘性大小，在不同的尺度上，特征信息可能会有所不同，因此在双支网络中加入了多尺度机制，双支网络分别提取图像在三个不同尺度上的特征图，然后分别对它们进行融合，得到的融合图像会具有更丰富的空间细节信息和时间变化信息。除了增强网络对图像在不同尺度上的特征的提取，本发明的网络结构在多尺度机制后添加了注意力机制；因为遥感图像包含非常多的特征信息，但是不是每个特征都在科学研究中起着同样重要的作用，所以加入注意力机制来聚焦特征图上的重要特征，进一步提升融合精度和视觉效果。
在本发明中的两种特殊的网络结构，在很大程度上减轻了融合结果过于平滑的问题，得到的融合图像具有更好的视觉效果和更高的精确度。同时，我们直接使网络学习残差图像，这不仅减少了网络的计算量，也有利于网络学习遥感图像的时间变化信息，从而得到精度更高的结果。并且在本发明中，只使用一对遥感图像进行时空融合，大大减轻了算法对数据集的限制。
附图说明
图1是本发明提供优选实施例的流程图；
图2是与其他主流算法的结果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
具体步骤：
步骤S1、将t0和t1时刻的高时间、低空间分辨率图像作差，得到残差图像M12，将其输入第一个卷积神经网络，通过反卷积层对M12进行上采样，得到M12在三个尺度上的特征图。将t0时刻的低时间、高空间分辨率图像(L1)输入另一个卷积神经网络，通过池化层对L1进行下采样，得到L1在三个尺度上的特征图；
步骤S2、分别对M12和L1的三个特征图进行融合，得到三个融合后的特征图，再将三个特征图投影到相同的尺度，对处理后的三个特征图进行融合得到一个融合后的特征图，该特征图包含了两类图像在三个尺度上的特征信息；
步骤S3、将融合后的特征图输入注意力机制，首先，通道注意力机制会通过缩放特征图的通道，给特征图的每个通道赋值，接着，空间注意力机制会给特征图上的特征信息赋予不同的权重，我们将会得到一个在通道维度和空间维度均有不同权重的特征图；
步骤S4、将具有权重的特征图输入全连接层，进行图像重建，使用两个全连接层控制特征图的通道，最后得到一个融合结果。
为了评估本发明的性能，选择了一个经典数据集进行实验，并将实验结果与其他三个经典的时空融合算法进行了对比。其中STARFM是基于加权函数的算法，FSDAF是混合算法，深卷积时空融合网络(Deep Convolutional Spatio-Temporal Fusion Network,DCSTFN)和本发明是基于卷积神经网络的算法，这些算法和本发明都是使用一对图像进行时空融合。
图2显示了各个方法的实验结果，可以清楚的看到相比DCSTFN，本发明的结果图像在很大程度上减轻了图像过于平滑的问题。并且FSDAF的结果出现了严重的细节丢失，同时STARFM的结果出现了光谱失真，相比之下，本算法的融合结果与参考图像更为接近。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (9)
1.一种基于多尺度机制和注意力机制的遥感图像时空融合方法，其特征在于，包括以下步骤：
S1、分别将t0和t1时刻的高时间、低空间分辨率图像和t0时刻的低时间、高空间分辨率图像输入第一、第二卷积神经网络，
S2、融合步骤S1中两类图像在三个不同尺度上的特征图；
S3、将融合结果输入注意力机制，包括以下子步骤，
S3.1、对输入的特征图在通道维度进行赋值，对特征图的每一个特征图赋予不同的权值；
S3.2、在通道维度对特征图进行赋值后，对特征图的特征信息进行赋值；
S4、将包含权值的特征图输入全连接层，进行重建图像，最后得到t1时刻的高空间分辨率图像。
2.根据权利要求1所述的一种基于多尺度机制和注意力机制的遥感图像时空融合方法，其特征在于，所述步骤S1具体包括以下子步骤：
S1.1、对t0和t1两个时刻的高时间、低空间分辨率图像(其大小为a×a)作差，得到它们的残差图像，然后将得到的残差图像输入第一卷积神经网络；
S1.2、将t0时刻的低时间、高空间分辨率图像(其大小为16a×16a)输入第二卷积神经网络；
S1.3、第一卷积神经网络和第二卷积神经网络是并行的结构，分别使用卷积层提取两类图像在三个(4a×4a，8a×8a和16a×16a)不同尺度上的特征图。
3.根据权利要求2所述的一种基于多尺度机制和注意力机制的遥感图像时空融合方法，其特征在于，所述步骤S1的t0时刻的低空间分辨率图像(M1)和t1时刻的低空间分辨率图像(M2)的残差图像(M12)计算公式为：
M12＝M2-M1。
4.根据权利要求2或3所述的一种基于多尺度机制和注意力机制的遥感图像时空融合方法，其特征在于，所述步骤S1的第一卷积神经网络由卷积层和反卷积层构成，而第一卷积神经网络由卷积层和池化层构成，第一卷积神经网络用于对输入图像进行上采样，第一卷积神经网络用于将输入图像下采样；因为两类输入图像的尺度差异，这样的网络结构可以将两类遥感图像投影到同一尺度，也便于提取图像更丰富的特征信息。
5.根据权利要求4所述的一种基于多尺度机制和注意力机制的遥感图像时空融合方法，其特征在于，所述步骤S2具体包括以下步骤：
S2.1、选择输出两个并行网络中的三个特征图，这三个特征图分别包含图像在不同尺度上的特征信息；
S2.2、分别对相同尺度上的两类特征图进行融合，得到三个融合后的特征图；
S2.3、将三个融合后的特征图重新采样到统一尺度，再对它们进行融合，最后得到一个融合结果；。
6.根据权利要求5所述的一种基于多尺度机制和注意力机制的遥感图像时空融合方法，其特征在于，所述步骤S2的低空间分辨率图像的三个特征图分别表示为fi(M12)，i＝1，2，3，高空间分辨率图像(L1)的三个特征图分别表示为fi(L1)，i＝1，2，3，当i值相同时，表示两类图像的特征图在同一尺度，分别对同一尺度的特征图进行融合得到Fi，再对Fi重新处理到同一尺度，对Fi进行融合得到最终的融合结果F，它们的融合过程为：
Fi＝fi(M12)+fi(L1)
F＝F1+F2+F3。
7.根据权利要求6所述的一种基于多尺度机制和注意力机制的遥感图像时空融合方法，其特征在于，所述S3将融合结果输入注意力机制，包括以下子步骤，
S3.1、使用通道注意力机制对输入的特征图在通道维度进行赋值，其主要通过卷积层对特征图的通道进行缩放，然后使用Sigmoid函数对特征图的通道赋予不同的权值；
S3.2、在通道维度对特征图进行赋值后，使用空间注意力机制对特征图的上的房屋、河流和农田等特征信息进行赋值，在这一步同样使用Sigmoid函数对特征图进行赋值，特征图的权重值在网络迭代过程中会不断调整，直至网络收敛。
8.根据权利要求7所述的一种基于多尺度机制和注意力机制的遥感图像时空融合方法，其特征在于，所述步骤S3的注意力机制由通道注意力机制和空间注意力机制构成，目的是让包括河流、房屋和农田在内的一些关键区域得到重点学习；其中，通道注意力机制是通过缩放特征图的通道，使用Sigmoid函数每一个通道赋予不同的权重，从而增强对关键通道的注意力，而空间注意力机制是对特征图上的特征信息进行赋值，聚焦于特征图上的重要信息。特征图上的权重值都是在网络迭代中逐步更新，在网络收敛后，Sigmoid函数对特征图赋予的权重值才能最终确定。
9.根据权利要求8所述的一种基于多尺度机制和注意力机制的遥感图像时空融合方法，其特征在于，所述步骤S4是通过两个全连接层进行图像重建，控制输出特征图通道数，最终得到的结果图像的通道数与输入图像相同，即预测的t1时刻的高空间分辨率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010560118.5A CN111754404B (zh) | 2020-06-18 | 2020-06-18 | 基于多尺度机制和注意力机制的遥感图像时空融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010560118.5A CN111754404B (zh) | 2020-06-18 | 2020-06-18 | 基于多尺度机制和注意力机制的遥感图像时空融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111754404A true CN111754404A (zh) | 2020-10-09 |
| CN111754404B CN111754404B (zh) | 2022-07-01 |
Family
ID=72675491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010560118.5A Active CN111754404B (zh) | 2020-06-18 | 2020-06-18 | 基于多尺度机制和注意力机制的遥感图像时空融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111754404B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818843A (zh) * | 2021-01-29 | 2021-05-18 | 山东大学 | 基于通道注意力导向时间建模的视频行为识别方法及*** |
| CN112862688A (zh) * | 2021-03-08 | 2021-05-28 | 西华大学 | 基于跨尺度注意力网络的图像超分辨率重建模型及方法 |
| CN113012044A (zh) * | 2021-02-19 | 2021-06-22 | 北京师范大学 | 一种基于深度学习的遥感影像时空融合方法及*** |
| CN113128586A (zh) * | 2021-04-16 | 2021-07-16 | 重庆邮电大学 | 基于多尺度机制和串联膨胀卷积遥感图像时空融合方法 |
| CN114708511A (zh) * | 2022-06-01 | 2022-07-05 | 成都信息工程大学 | 基于多尺度特征融合和特征增强的遥感图像目标检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108983599A (zh) * | 2018-08-07 | 2018-12-11 | 重庆邮电大学 | 一种车联网下多参数融合的自适应监控方法 |
| CN109584161A (zh) * | 2018-11-29 | 2019-04-05 | 四川大学 | 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法 |
| WO2019136110A1 (en) * | 2018-01-05 | 2019-07-11 | Careband Incorporated | Wearable electronic device and system for tracking location and identifying changes in salient indicators of patient health |
| CN110728224A (zh) * | 2019-10-08 | 2020-01-24 | 西安电子科技大学 | 一种基于注意力机制深度Contourlet网络的遥感图像分类方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
-
2020
- 2020-06-18 CN CN202010560118.5A patent/CN111754404B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019136110A1 (en) * | 2018-01-05 | 2019-07-11 | Careband Incorporated | Wearable electronic device and system for tracking location and identifying changes in salient indicators of patient health |
| CN108983599A (zh) * | 2018-08-07 | 2018-12-11 | 重庆邮电大学 | 一种车联网下多参数融合的自适应监控方法 |
| CN109584161A (zh) * | 2018-11-29 | 2019-04-05 | 四川大学 | 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法 |
| CN110728224A (zh) * | 2019-10-08 | 2020-01-24 | 西安电子科技大学 | 一种基于注意力机制深度Contourlet网络的遥感图像分类方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
Non-Patent Citations (3)
| Title |
|---|
| WEISHENG LI等: ""DMNet: A Network Architecture Using Dilated Convolution and Multiscale Mechanisms for Spatiotemporal Fusion of Remote Sensing Images"", 《IEEE SENSORS JOURNAL》 * |
| 何冰倩等: ""基于改进的深度神经网络的人体动作识别模型"", 《计算机应用研究》 * |
| 詹紫微: ""基于卷积神经网络的目标跟踪方法研究"", 《中国优秀博硕士学位论文全文数据库(硕士)》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818843A (zh) * | 2021-01-29 | 2021-05-18 | 山东大学 | 基于通道注意力导向时间建模的视频行为识别方法及*** |
| CN113012044A (zh) * | 2021-02-19 | 2021-06-22 | 北京师范大学 | 一种基于深度学习的遥感影像时空融合方法及*** |
| CN112862688A (zh) * | 2021-03-08 | 2021-05-28 | 西华大学 | 基于跨尺度注意力网络的图像超分辨率重建模型及方法 |
| CN112862688B (zh) * | 2021-03-08 | 2021-11-23 | 西华大学 | 基于跨尺度注意力网络的图像超分辨率重建***及方法 |
| CN113128586A (zh) * | 2021-04-16 | 2021-07-16 | 重庆邮电大学 | 基于多尺度机制和串联膨胀卷积遥感图像时空融合方法 |
| CN113128586B (zh) * | 2021-04-16 | 2022-08-23 | 重庆邮电大学 | 基于多尺度机制和串联膨胀卷积遥感图像时空融合方法 |
| CN114708511A (zh) * | 2022-06-01 | 2022-07-05 | 成都信息工程大学 | 基于多尺度特征融合和特征增强的遥感图像目标检测方法 |
| CN114708511B (zh) * | 2022-06-01 | 2022-08-16 | 成都信息工程大学 | 基于多尺度特征融合和特征增强的遥感图像目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111754404B (zh) | 2022-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111754404B (zh) | 基于多尺度机制和注意力机制的遥感图像时空融合方法 | |
| CN112507898B (zh) | 一种基于轻量3d残差网络和tcn的多模态动态手势识别方法 | |
| CN114529825B (zh) | 用于消防通道占用目标检测的目标检测模型、方法及应用 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN110782395B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| Wang et al. | TRC‐YOLO: A real‐time detection method for lightweight targets based on mobile devices | |
| CN114549913B (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
| CN115409855B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| Chen et al. | U-net like deep autoencoders for deblurring atmospheric turbulence | |
| CN111932480A (zh) | 去模糊视频恢复方法、装置、终端设备以及存储介质 | |
| CN108921801B (zh) | 用于生成图像的方法和装置 | |
| CN114519667A (zh) | 一种图像超分辨率重建方法及*** | |
| CN116645598A (zh) | 一种基于通道注意力特征融合的遥感图像语义分割方法 | |
| CN116071279A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN113393435B (zh) | 一种基于动态上下文感知滤波网络的视频显著性检测方法 | |
| CN112116700B (zh) | 基于单目视图的三维重建方法与装置 | |
| CN113962861A (zh) | 图像重建方法、装置、电子设备和计算机可读介质 | |
| CN113628115A (zh) | 图像重建的处理方法、装置、电子设备和存储介质 | |
| US20240029420A1 (en) | System, devices and/or processes for application of kernel coefficients | |
| CN111505738A (zh) | 数值天气预报中气象因素的预测方法及设备 | |
| CN116757934A (zh) | 一种图像超分辨率重建方法、***、存储介质及智能终端 | |
| CN111223046A (zh) | 一种图像超分辨率重建方法及装置 | |
| CN116630152A (zh) | 图像分辨率重建方法、装置、存储介质及电子设备 | |
| Pan et al. | New image super-resolution scheme based on residual error restoration by neural networks | |
| CN115661609A (zh) | 一种图像处理方法、装置和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240626 Address after: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui. Patentee after: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd. Country or region after: China Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS Country or region before: China |