CN108537742B - 一种基于生成对抗网络的遥感图像全色锐化方法 - Google Patents
一种基于生成对抗网络的遥感图像全色锐化方法 Download PDFInfo
- Publication number
- CN108537742B CN108537742B CN201810193748.6A CN201810193748A CN108537742B CN 108537742 B CN108537742 B CN 108537742B CN 201810193748 A CN201810193748 A CN 201810193748A CN 108537742 B CN108537742 B CN 108537742B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- network model
- generated
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000003595 spectral effect Effects 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 230000004927 fusion Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 14
- 238000013135 deep learning Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 101000933252 Homo sapiens Protein BEX3 Proteins 0.000 description 1
- 102100025955 Protein BEX3 Human genes 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10041—Panchromatic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于生成对抗网络的遥感图像全色锐化方法，包括：1)构建数据集：对遥感图像数据进行目标分类和标注，构建包含全色图像和光谱图像的原图像数据集；2)设计生成网络和判别网络模型：GAN的生成网络模型G从随机噪声向量和所述数据集中的图像学习，训练出到生成的样本图像y的映射，G经过训练，生成的样本图像不能被判别网络模型判别为假，而判别网络模型D使用卷积神经网络，经过训练后，可对生成数据的真假进行判别，能尽可能好地完成判别生成样本图像真假性的分类问题；3)训练生成对抗网络模型。
Description
技术领域
本发明涉及遥感图像处理、图像融合、深度学习等领域，尤其是涉及一种在遥感领域中全色图像和多光谱图像的融合方法，属于遥感图像融合技术领域。
背景技术
具有较高空间分辨率和光谱分辨率的遥感图像，对于物体检测、地理制图和环境监测等方面具有明显的实际应用意义。然而，由于信号传输波段和成像传感器存储的限制，大多数遥感卫星仅提供低空间/高光谱分辨率的多光谱(MSI)图像和高空间/低光谱分辨率的全色(PAN)图像，这两种图像具有很强的互补性。利用两种图像的差异性优势和互补性，融合成空间细节清晰并且光谱信息丰富的融合图像，这种融合技术也被称为全色锐化，是许多遥感应用中的关键预处理步骤。
在本发明中，多光谱(MSI)图像和高光谱(HIS)图像可被统称成光谱图像。通常，光谱成像包含传感器获得的多个窄光谱波段，即其含有多个分量。
在全色锐化过程中，全色与光谱图像融合方法的关键和要求在于：光谱分辨率保真，即融合图像应与光谱图像的光谱信息保持一致；空间分辨率保真，即融合图像应与全色图像的空间信息保持一致；时间和计算冗余度低，即大规模多尺寸的遥感图像融合过程能够快速完成。
目前，主流的全色锐化方法可被分为几类，即分量替换法、多分辨率分析法和相对光谱贡献法。分量替换法主要通过主成分分析(PCA)，施密特正交化(SchmidtOrthogonalization)，和强度、色调、饱和度(IHS)变换等，对多光谱图像进行颜色空间域上的变换，用全色图像替换多光谱图像的空间信息通道，由逆变换得到融合图像。而多分辨率分析法，多基于小波变换、拉普拉斯金字塔(Laplacian Pyramid)等工具，将图像从空间域转换到变换域，针对变换系数的特点制定响应的融合规则，最后逆变换得到融合图像。相对光谱贡献法，包括Brovey变换融合方法、全色加多光谱方法，代替影像分量，应用光谱波段的线性组合进行处理。
近年来，基于大规模数据的出现和深度神经网络的发展，深度学习方法成为了机器学习领域的重要研究方向。卷积神经网络(Convolutional Neural Network，CNN)有很强的特征学习能力，深层网络模型学习得到的特征数据对原数据有更本质的代表性，通过大规模数据训练好的深度学习架构模型更能提取其丰富的内在信息，有利于可视化和分类问题处理。
生成对抗网络(Generative Adversarial Networks，GAN)是深度学习算法中的一种新型的网络，通过由卷积神经网络构建的生成网络和判别网络进行对抗式的训练，利用二元零和博弈的原理完成生成模型的建模，最终达到纳什均衡。针对数据缺失的场景，生成模型可以帮助生成相关数据，提高数据数量，从而利用半监督学习提升学习效率。而判别模型可以判断样本的真实度，生成模型则不断加强，通过不断迭代，使生成样本越来越接近真实样本。
发明内容
本发明的目的是提供一种在简化计算冗余度的同时可以提高空间分辨率和光谱分辨率遥感图像全色锐化方法。本发明基于深度学习方法和生成对抗网络模型，通过现有遥感图像数据，训练对全色图和光谱图的端到端融合模型。本发明采用的技术方案如下所述：
一种基于生成对抗网络的遥感图像全色锐化方法，包括下列步骤：
1)构建数据集：对遥感图像数据进行目标分类和标注，构建包含全色图像和光谱图像的原图像数据集，并划分训练集和测试集。
2)设计生成网络和判别网络模型：GAN的生成网络模型G从随机噪声向量和所述数据集中的图像学习，训练出到生成的样本图像y的映射，即G：{x,z}→y，G经过训练，生成的样本图像不能被判别网络模型判别为假，而判别网络模型D使用卷积神经网络，经过训练后，可对生成数据的真假进行判别，能尽可能好地完成判别生成样本图像真假性的分类问题，在最终输出样本图像的生成过程，输入的全色图像和光谱图像具有相同的底层结构，共享突出边缘的位置；生成网络模型增加跳转连接，并采用U-Net的整体结构，分为编码层和解码层两部分，每编码一层，特征图长和宽减半，特征层数增加一半，每解码一层，特征图长和宽加倍，特征层数增加加倍，和对应的编码层通过通道串接，然后进行反卷积处理；基于用于分类的卷积神经网络设计判别网络模型，该网络被设计为含有一个串接层，和四层卷积层，只对生成的融合图像中的每个区块的真假性做分类，在图像上卷积运行该网络，对所有响应做均值，来提供D的最终输出；
3)训练生成对抗网络模型：基于设计好成网络和判别网络模型，对网络生成网络G，从随机噪声或者潜在变量中生成样本，判别网络D，提供应用于全色图和融合图像的损失函数，两者同时训练，直到达到纳什均衡，此时判别网络也无法正确的区分生成数据和真实数据，利用数据集对网络结构进行训练，得到充分优化的网络，此时网络中的权重参数收敛到全局最优。
与现有的技术相比，本发明的提升和优势在于：
一、与所有现有的全色锐化方法的思路不同，本发明创新性地提出基于深度学习方法的图像融合技术。
相比于传统方法，GAN能够利用深度卷积神经网络，提取大规模数据中隐含的高维深层特征，其结构也能够最大程度地减少卷积过程的信息损失。GAN不需对原图进行颜色空间或其他变换域的正逆变换，能够保持数据信息的稳定性和连贯性；同时通过训练好的模型直接对图像进行融合处理，其速度更快，更为高效。
二、和传统生成模型相比，生成对抗网络过程更高效，输出更真实。GAN不需要在采样序列生成不同的数据，和完全明显信念网络相比，如NADE、Pixel RNN、WaveNet等，产生样本的时间冗余度要低。相比于变分自编码器(VAE)引入决定性偏置来优化对数似然的下界，GAN优化似然度本身，所以生成实例更为真实。相比NICE、Real NVE等非线性独立分量方法，GAN不要求生成模型输入的潜在变量有任何特定的维度或可逆。相比玻尔兹曼机和生成随机网络，GAN生成实例的过程只需要模型运行一次，而不是以马尔科夫链的形式多次迭代。
附图说明
图1为本发明所需实验的流程图。
图2为本发明所用生成对抗网络结构示意图。
图3(a)全色遥感图像数据(b)光谱遥感图像数据(c)传统方法融合遥感图像数据(d)本发明融合遥感图像数据。
图4为本发明的检测应用效果图。
具体实施方式
为使本发明的技术方案更加清楚，下面对本发明具体实施方式做进一步地描述。如图1所示，本发明按以下步骤具体实现：
1.大规模遥感图像数据集构建
本发明主要选用网络公开的SpaceNet on AWS等遥感图像集进行数据集构建，以SpaceNet中的RIO数据集为例，其包含50cm图像数据及坐标，图像来源为DigitalGlobe的WorldView-2卫星，可用于图像分割和检测等多种应用场合。
SpaceNet是托管于Amazon公司AWS云服务平台的大规模遥感图像数据集，为DigitalGlobe、CosmiQ Works以及NVIDIA共同完成，其包含卫星图像的在线存储库和已经标注好的训练数据，是公开发布的高分辨率、专用于训练机器学***台。除此之外，本发明也结合NWPU VHR-10、中科院地理空间数据云平台、美国地质勘探局(USGS)和谷歌公司的相关遥感数据来搭建训练和测试所需的数据集。
以SpaceNet数据集中的3band_AOI_1_RIO数据为例，其光谱图像包括红、绿、蓝三个通道。全色图像和光谱图像的空间分辨率比例为4：1，输入的全色图像分辨率为256*256，网络可以以光谱图像为基准来对全色图像进行锐化。每张全色图像具有唯一与其对应的目标光谱图像，我们对其进行目标分类和标注后，构建了包含全色图像和光谱图像的原图像数据集，将上述数据集按照4：1的比例分为了训练集和测试集。
2.基于生成对抗网络的全色锐化模型设计
如图2结构所示，生成网络模型的目标，就是尽可能最小化判别网络模型判别生成数据为假的概率。生成网络在训练过程中尽可能地去“欺骗”判别网络的判断，而判别网络尽可能对图像做出正确判别的分类任务。
GAN的生成网络G是可以学习从随机噪声向量z和1中所述数据集中的图像x，到生成的样本图像y的映射，即G：{x,z}→y，G经过训练，生成的样本图像不能被判别网络模型判别为假。而判别网络模型D使用卷积神经网络，D经过训练后，可对生成数据的真假进行判别，能尽可能好地完成判别生成样本图像真假性的分类问题。
GAN的训练目标可用如下公式表示：
LcGAN(G,D)＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,G(x,z)))]
上述公式即为生成模型和判别模型的博弈问题中，所需要优化的目标函数。其中，Ex,y[logD(x,y)]表示求判别损失函数logD(x,y)的期望，x,z表示服从先验分布，z为[-1,1]内的均匀分布采集的向量，E(x,z)表示根据该随机向量求得的期望。G函数和D函数分别表示生成网络的输出图像和判别网络的输出结果。
生成模型和判别模型都是采用卷积(Convolution)—批规范化(BatchNormalization)—非线性运算单元(Rectified Linear Units，ReLu)的结构，在训练的过程中，生成模型来使该目标最小化，而判别模型使其最大化，即：
G*＝argminGmaxDLcGAN(G,D)
在最终输出样本图像的生成过程，输入的全色图像和光谱图像具有相同的底层结构，共享突出边缘的位置。为了使生成模型获取该信息，生成模型增加了跳转连接，并采用U-Net的整体结构。网络分为编码层(共八层)，解码层(共八层)两部分，每编码一层，特征图(feature map)长和宽减半，特征层数增加一半，每解码一层，特征图长和宽加倍，特征层数增加加倍，和对应的编码层，通过通道串接，然后进行反卷积处理。
对输入图像的四周做了镜像操作，卷积层的数量设计在20个，4次下采样，4次上采样。具体地，对于n层网络，我们在每一个第i层和第n-i层之间添加跳转连接，把第i层和第n-i层中的所有通道相连接。整个网络中除最后一层外的卷积层后接ReLu激活层，来为网络增加非线性单元，降低网络过拟合的风险；最后一层卷积层后进行归一化处理。
通过下采样过程，能够减轻运算的冗余度；最后用两层反卷积层实现图像的上采样，将前阶段卷积层输出的特征与后阶段卷积层输出的特征进行叠加处理，能够实现特征的重复利用。
基于用于分类的卷积神经网络(CNN)，设计判别网络模型。该网络被设计为含有一个串接层，和四层卷积层。减少参数设计的CNN，只是对生成的融合图像中的每个区块的真假性做分类，在图像上卷积运行该网络，对所有响应做均值，来提供D的最终输出。
3.基于生成对抗网络的全色锐化模型构建
对于数据集中成对的图像，可以在训练中定义其方向为全色图像至光谱图像。图像的输入输出对已经被预设大小，亦可通过设置相关参数来使用不同长宽比的图像数据。生成网络G，从随机噪声或者潜在变量中生成逼真的样本，判别网络D，提供应用于全色图和融合图像的损失函数，两者同时训练，直到达到纳什均衡，此时判别网络也无法正确的区分生成数据和真实数据。利用大规模图像数据集对网络结构进行训练，得到充分优化的网络，此时网络中的权重参数收敛到全局最优。接下来分别对生成网络和判别网络训练过程的具体实施步骤进行详解。
(1)生成网络模型
基于可编程深度学习框架Tensorflow，首先，定义一个存储U-Net各层网络的存储器layers，构建第一层编码层encoder_1。将一批全色的遥感图像数据输入该编码层，经过卷积函数处理，输出的output是分辨率降低，通道数增加的特征图(feature map)，把output存入layers。conv函数的参数是一批特征图，输出通道数，和卷积核步伐。
第二步，定义接下来的第二至第八层编码层各输出通道数，循环产生第二至第八编码层。
第三步，定义接下来的七层解码层输出通道数与dropout的比例。然后进入跳转连接循环处理。第一层循环是先把第八层编码层layers[-1]的输出，反卷积输出。第二层循环把上述反卷积输出和相对应的编码器的第七层输出，通过通道串接输出，然后再反卷积输出。
第四步，按第三步骤类推，接下来把目前第七层解码层的输出和编码器的第一层输出通过通道串接输出，然后反卷积输出。经过上述步骤，完成生成模型U-Net。
(2)判别网络模型
判别模型D的训练目的就是要尽量最大化自己的判别准确率。判别网络模型被设计为含有一个串接层，和四层卷积层。同样定义一个存储器，layers＝[]，串接层把成对的全色图像和光谱图像通过通道串接再输出。每一层卷积层都是把上一层的结果，经过卷积操作后再输出。
还需要构建真判别模型，假判别模型，和判别目标函数和生成目标函数。判别目标函数(discriminator_loss)需要让判真率(predict_real)趋近于1，判假率(predict_fake)趋近于0。生成目标函数(generator_loss)需要让判假率(predict_fake)趋近于0，并且targets-outputs的值也应趋近于0。
构建好判别训练函数(discrim_train)和生成训练函数(gen_train)，即可根据1中所构建数据库进行模型的多次迭代和训练任务，网络的训练策略选取批梯度下降法。
4.全色锐化模型的应用效果验证
本发明首先基于1所述的数据集，对比了本方法和PCI锐化法和ENVI-GS变换法等典型方法。如图3所示，为使主观展示更为明显，我们这里以三通道图像为例进行融合实验，我们进行了对比算法的结果分析，在主观视觉效果上，本发明的方法对测试所用实验数据均能保持较好的光谱信息和空间细节。
为了验证上述网络模型的应用效果，在发明内容1构建的测试数据集上，使用基于深度学习的Faster R-CNN和YOLO9000等现有的目标检测算法，分别根据融合前后的光谱图像构建基于PASCAL VOC竞赛格式的数据集，对图中的飞机、轮船、储油罐、桥梁、港口五类军民目标进行标注，训练目标检测模型并测试模型。
在训练前调用内置脚本转换图片格式，将标签文本中的类别和其他信息写入进LMDB格式文件。还需计算训练集中图像的均值文件，去除图像中大量无用的背景像素，隐去与目标无关的冗余信息。将分类器与检测器级联，将分类器的输出作为检测器的输入，组合为最终的识别模型。最终对测试数据进行分析，统计准确性、快速性等相关指标，并评价本***的识别度。
Claims (1)
1.一种基于生成对抗网络的遥感图像全色锐化方法，包括下列步骤：
1） 构建数据集：对遥感图像数据进行目标分类和标注 ，构建包含全色图像和光谱图像的原图像数据集，并划分训练集和测试集；
2） 设计生成网络和判别网络模型： GAN的生成网络模型G为从随机噪声向量和所述数据集中的图像学习，训练出到生成的样本图像的映射，G经过训练，生成的样本图像不能被判别网络模型判别为假，而判别网络模型D使用卷积神经网络，经过训练后，可对生成数据的真假进行判别，在最终输出样本图像的生成过程，输入的全色图像和光谱图像具有相同的底层结构，共享突出边缘的位置；生成网络模型增加跳转连接，并采用U-Net的整体结构，分为编码层和解码层两部分，每编码一层，特征图长和宽减半，特征层数增加一半，每解码一层，特征图长和宽加倍，特征层数增加加倍，和对应的编码层通过通道串接，然后进行反卷积处理；基于用于分类的卷积神经网络设计判别网络模型，该网络被设计为含有一个串接层，和四层卷积层，只对生成的融合图像中的每个区块的真假性做分类，在图像上卷积运行该网络，对所有响应做均值，来提供D的最终输出；
3） 训练生成对抗网络模型：基于设计好的生成网络和判别网络模型，对生成网络模型G，从随机噪声或者潜在变量中生成样本，判别网络D，提供应用于全色图和融合图像的损失函数，两者同时训练，直到达到纳什均衡，此时判别网络也无法正确的区分生成数据和真实数据，利用数据集对网络结构进行训练，得到充分优化的网络，此时网络中的权重参数收敛到全局最优。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810193748.6A CN108537742B (zh) | 2018-03-09 | 2018-03-09 | 一种基于生成对抗网络的遥感图像全色锐化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810193748.6A CN108537742B (zh) | 2018-03-09 | 2018-03-09 | 一种基于生成对抗网络的遥感图像全色锐化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108537742A CN108537742A (zh) | 2018-09-14 |
| CN108537742B true CN108537742B (zh) | 2021-07-09 |
Family
ID=63486694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810193748.6A Active CN108537742B (zh) | 2018-03-09 | 2018-03-09 | 一种基于生成对抗网络的遥感图像全色锐化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108537742B (zh) |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460391B (zh) * | 2018-03-09 | 2022-03-22 | 西安电子科技大学 | 基于生成对抗网络的高光谱图像无监督特征提取方法 |
| CN109102029B (zh) * | 2018-08-23 | 2023-04-07 | 重庆科技学院 | 信息最大化生成对抗网络模型合成人脸样本质量评估方法 |
| CN109389080B (zh) * | 2018-09-30 | 2022-04-19 | 西安电子科技大学 | 基于半监督wgan-gp的高光谱图像分类方法 |
| CN109344778A (zh) * | 2018-10-10 | 2019-02-15 | 成都信息工程大学 | 基于生成对抗网络的无人机影像道路信息提取方法 |
| CN109508647A (zh) * | 2018-10-22 | 2019-03-22 | 北京理工大学 | 一种基于生成对抗网络的光谱数据库扩展方法 |
| CN109495744B (zh) * | 2018-10-29 | 2019-12-24 | 西安电子科技大学 | 基于联合生成对抗网络的大倍率遥感影像压缩方法 |
| CN109409508B (zh) * | 2018-11-06 | 2022-03-15 | 成都信息工程大学 | 一种基于生成对抗网络使用感知损失解决模型崩塌的方法 |
| US11520077B2 (en) | 2018-12-11 | 2022-12-06 | Exxonmobil Upstream Research Company | Automated reservoir modeling using deep generative networks |
| CN109671125B (zh) * | 2018-12-17 | 2023-04-07 | 电子科技大学 | 一种高度融合的gan网络装置及实现文本生成图像的方法 |
| US11017499B2 (en) | 2018-12-21 | 2021-05-25 | Here Global B.V. | Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image |
| CN109785253B (zh) * | 2018-12-25 | 2021-01-19 | 西安交通大学 | 一种基于增强反投影的全色锐化后处理方法 |
| CN109765462A (zh) * | 2019-03-05 | 2019-05-17 | 国家电网有限公司 | 输电线路的故障检测方法、装置和终端设备 |
| CN109948117B (zh) * | 2019-03-13 | 2023-04-07 | 南京航空航天大学 | 一种对抗网络自编码器的卫星异常检测方法 |
| CN109948796B (zh) * | 2019-03-13 | 2023-07-04 | 腾讯科技（深圳）有限公司 | 自编码器学习方法、装置、计算机设备及存储介质 |
| CN110009013B (zh) * | 2019-03-21 | 2021-04-27 | 腾讯科技（深圳）有限公司 | 编码器训练及表征信息提取方法和装置 |
| CN109885091B (zh) * | 2019-03-21 | 2021-08-24 | 华北电力大学（保定） | 一种无人机自主飞行控制方法及*** |
| CN110163815B (zh) * | 2019-04-22 | 2022-06-24 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
| CN110322423B (zh) * | 2019-04-29 | 2023-03-31 | 天津大学 | 一种基于图像融合的多模态图像目标检测方法 |
| CN110189336B (zh) * | 2019-05-30 | 2020-05-01 | 上海极链网络科技有限公司 | 图像生成方法、***、服务器及存储介质 |
| CN110211046B (zh) * | 2019-06-03 | 2023-07-14 | 重庆邮电大学 | 一种基于生成对抗网络的遥感图像融合方法、***和终端 |
| CN110533578A (zh) * | 2019-06-05 | 2019-12-03 | 广东世纪晟科技有限公司 | 一种基于条件对抗神经网络的图像翻译方法 |
| CN110751699B (zh) * | 2019-10-15 | 2023-03-10 | 西安电子科技大学 | 基于卷积神经网络的光学遥感图像的色彩重建方法 |
| CN111027603B (zh) * | 2019-11-27 | 2022-07-05 | 湖北工业大学 | 一种改进gan模型的图像生成方法 |
| CN111260594B (zh) * | 2019-12-22 | 2023-10-31 | 天津大学 | 一种无监督的多模态图像融合方法 |
| CN111274602B (zh) * | 2020-01-15 | 2022-11-18 | 腾讯科技（深圳）有限公司 | 一种图像特征信息替换方法、装置、设备及介质 |
| CN111340743B (zh) * | 2020-02-18 | 2023-06-06 | 云南大学 | 一种半监督多光谱和全色遥感图像融合方法和*** |
| CN111325660B (zh) * | 2020-02-20 | 2021-01-29 | 中国地质大学（武汉） | 一种基于文本数据的遥感图像风格转换方法 |
| CN111476269B (zh) * | 2020-03-04 | 2024-04-16 | 中国平安人寿保险股份有限公司 | 均衡样本集构建、翻拍图像识别方法、装置、设备及介质 |
| CN111428761B (zh) * | 2020-03-11 | 2023-03-28 | 深圳先进技术研究院 | 图像特征可视化方法、图像特征可视化装置及电子设备 |
| CN111105417B (zh) * | 2020-03-17 | 2023-07-07 | 珠海欧比特宇航科技股份有限公司 | 影像噪声定位方法及*** |
| CN111368935B (zh) * | 2020-03-17 | 2023-06-09 | 北京航天自动控制研究所 | 一种基于生成对抗网络的sar时敏目标样本增广方法 |
| CN111914935B (zh) * | 2020-08-03 | 2022-07-15 | 哈尔滨工程大学 | 一种基于深度学习的船舶图像目标检测方法 |
| CN112116022B (zh) * | 2020-09-27 | 2024-05-31 | 中国空间技术研究院 | 基于连续混合潜在分布模型的数据生成方法及装置 |
| CN112287998B (zh) * | 2020-10-27 | 2024-06-21 | 佛山市南海区广工大数控装备协同创新研究院 | 一种低光照条件下进行目标检测的方法 |
| CN112437451B (zh) * | 2020-11-10 | 2022-08-02 | 南京大学 | 一种基于生成对抗网络的无线网络流量预测方法和设备 |
| CN112561782B (zh) * | 2020-12-15 | 2023-01-03 | 哈尔滨工程大学 | 一种提高海上场景仿真图片真实度的方法 |
| CN113012069B (zh) * | 2021-03-17 | 2023-09-05 | 中国科学院西安光学精密机械研究所 | 小波变换域下结合深度学习的光学遥感图像质量提升方法 |
| CN113344846B (zh) * | 2021-04-20 | 2023-02-21 | 山东师范大学 | 基于生成对抗网络和压缩感知的遥感图像融合方法及*** |
| CN114036829B (zh) * | 2021-11-02 | 2023-04-25 | 中国地质大学（武汉） | 地质剖面图生成方法、***、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104112263A (zh) * | 2014-06-28 | 2014-10-22 | 南京理工大学 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
| CN106295714A (zh) * | 2016-08-22 | 2017-01-04 | 中国科学院电子学研究所 | 一种基于深度学习的多源遥感图像融合方法 |
| CN107103590A (zh) * | 2017-03-22 | 2017-08-29 | 华南理工大学 | 一种基于深度卷积对抗生成网络的图像反射去除方法 |
| CN107180248A (zh) * | 2017-06-12 | 2017-09-19 | 桂林电子科技大学 | 基于联合损失增强网络的高光谱图像分类方法 |
| CN107239766A (zh) * | 2017-06-08 | 2017-10-10 | 深圳市唯特视科技有限公司 | 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 |
-
2018
- 2018-03-09 CN CN201810193748.6A patent/CN108537742B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104112263A (zh) * | 2014-06-28 | 2014-10-22 | 南京理工大学 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
| CN106295714A (zh) * | 2016-08-22 | 2017-01-04 | 中国科学院电子学研究所 | 一种基于深度学习的多源遥感图像融合方法 |
| CN107103590A (zh) * | 2017-03-22 | 2017-08-29 | 华南理工大学 | 一种基于深度卷积对抗生成网络的图像反射去除方法 |
| CN107239766A (zh) * | 2017-06-08 | 2017-10-10 | 深圳市唯特视科技有限公司 | 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 |
| CN107180248A (zh) * | 2017-06-12 | 2017-09-19 | 桂林电子科技大学 | 基于联合损失增强网络的高光谱图像分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| DAGAN: Deep De-Aliasing Generative Adversarial Networks for Fast Compressed Sensing MRI Reconstruction;Guang Yang等;《IEEE》;20171221;全文 * |
| IMG2DSM: Height Simulation From Single Imagery Using Conditional Generative Adversarial Net;Pedram Ghamisi等;《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》;20180305;全文 * |
| PanNet: A deep network architecture for pan-sharpening;Junfeng Yang等;《2017 IEEE International Conference on Computer Vision》;20171231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108537742A (zh) | 2018-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537742B (zh) | 一种基于生成对抗网络的遥感图像全色锐化方法 | |
| Zheng et al. | FPGA: Fast patch-free global learning framework for fully end-to-end hyperspectral image classification | |
| CN108564109B (zh) | 一种基于深度学习的遥感图像目标检测方法 | |
| Chen et al. | Symmetrical dense-shortcut deep fully convolutional networks for semantic segmentation of very-high-resolution remote sensing images | |
| CN110363215B (zh) | 基于生成式对抗网络的sar图像转化为光学图像的方法 | |
| CN105740894B (zh) | 一种高光谱遥感图像的语义标注方法 | |
| CN111274869B (zh) | 基于并行注意力机制残差网进行高光谱图像分类的方法 | |
| CN109993072B (zh) | 基于超分辨图像生成的低分辨率行人重识别***和方法 | |
| CN108648197B (zh) | 一种基于图像背景掩膜的目标候选区域提取方法 | |
| CN115690479A (zh) | 一种基于卷积Transformer的遥感图像分类方法及*** | |
| CN110929736A (zh) | 多特征级联rgb-d显著性目标检测方法 | |
| CN106295613A (zh) | 一种无人机目标定位方法及*** | |
| CN114187450A (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
| CN112347888A (zh) | 基于双向特征迭代融合的遥感图像场景分类方法 | |
| CN107423747A (zh) | 一种基于深度卷积网络的显著性目标检测方法 | |
| CN112257741B (zh) | 一种基于复数神经网络的生成性对抗虚假图片的检测方法 | |
| CN113807356B (zh) | 一种端到端的低能见度图像语义分割方法 | |
| CN113610905B (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| CN115205590A (zh) | 一种基于互补集成Transformer网络的高光谱图像分类方法 | |
| Ma et al. | Multi-task interaction learning for spatiospectral image super-resolution | |
| CN117671509B (zh) | 遥感目标检测方法、装置、电子设备及存储介质 | |
| CN116740516A (zh) | 基于多尺度融合特征提取的目标检测方法及*** | |
| Shang et al. | Spatiotemporal reflectance fusion using a generative adversarial network | |
| CN113256733B (zh) | 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法 | |
| CN112529828B (zh) | 参考数据非敏感的遥感影像时空融合模型构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |