CN107194872A - 基于内容感知深度学习网络的遥感图像超分辨率重建方法 - Google Patents
基于内容感知深度学习网络的遥感图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN107194872A CN107194872A CN201710301990.6A CN201710301990A CN107194872A CN 107194872 A CN107194872 A CN 107194872A CN 201710301990 A CN201710301990 A CN 201710301990A CN 107194872 A CN107194872 A CN 107194872A
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- complexity
- perception
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013135 deep learning Methods 0.000 title claims abstract description 27
- 230000008447 perception Effects 0.000 title claims abstract description 20
- 230000006870 function Effects 0.000 claims abstract description 13
- 238000000205 computational method Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 abstract description 2
- 230000007786 learning performance Effects 0.000 abstract 1
- 238000005259 measurement Methods 0.000 abstract 1
- 238000005457 optimization Methods 0.000 abstract 1
- 230000002123 temporal effect Effects 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 2
- 235000012364 Peperomia pellucida Nutrition 0.000 description 1
- 240000007711 Peperomia pellucida Species 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于内容感知深度学习网络的遥感图像超分辨率重建方法，本发明提出了图像内容复杂性的综合度量指标及计算方法，以此为基础，将样本图像按内容复杂性分类，构建和训练高、中、低三种复杂性不等的深层GAN网络模型，然后根据待超分的输入图像的内容复杂性，选取对应的网络进行重建。为了提高GAN网络的学习性能，本发明同时给出了一种优化的损失函数定义。本发明方法克服了基于机器学习的超分辨率重建中普遍存在的过拟合和欠拟合的矛盾，有效提升了遥感影像的超分辨率重建精度。
Description
技术领域
本发明属于图像处理技术领域，涉及一种图像超分辨率重建方法，具体涉及一种基于内容感知深度学习网络的遥感图像超分辨率重建方法。
技术背景
高空间分辨率的遥感影像可以对地物进行更加精细的描述，提供丰富的细节信息，因此，人们往往希望能够获取高空间分辨率的影像。随着空间探测理论和技术的迅速发展，米级甚至亚米级空间分辨率的遥感影像(如IKNOS和QuickBird)已逐步走向应用，然而其时间分辨率普遍比较低。与此相反，一些具有较低空间分辨率的传感器(如MODIS)却具有很高的时间分辨率，它们可以在短时内获取大范围的遥感影像。如果能从这些较低空间分辨率的影像中重建出高空间分辨率的影像，那么就能够获取到同时具有高空间分辨率和高时间分辨率的遥感影像。因此，对较低分辨率的遥感影像进行重建得到较高分辨率的影像是非常必要的。
近年来，深度学习被广泛用于解决计算机视觉和图像处理中的各种问题。2014年，香港中文大学的C.Dong等人率先将深度CNN学习引入图像的超分辨率重建，取得了较过去的主流的稀疏表达的方法更好的效果；2015年，韩国首尔国立大学的J.Kim等人进一步提出了基于RNN的改进方法，性能有进一步的提升；2016年，Google公司的Y.Romano等人发展了一种快速而精确的学习方法；随后不久，Twitter公司的C.Ledig等人将GAN网络(产生式对抗网络)用于图像超分辨率，取得了迄今为止最好的重建效果。而且，GAN的底层是深度信念网络，不再严格依赖于有监督的学习，即使在没有一对一的高低分辨率图像样本对的情况下也能训练。
在深度学习模型和网络架构确定后，基于深度学习的超分辨率方法的性能很大程度上由网络模型训练的好坏决定。深度学习网络模型的训练并非越彻底越有效，而是应该进行充分而适宜的样本学习(正如深层网络模型的层数并非越多越好一样)。对于复杂的图像，需要更多的样本训练，这样才能学到更多的图像特征，但这样的网络对内容简单的图像容易出现过拟合，致使超分辨率结果模糊；反之，减少训练强度，能避免内容简单图像的过拟合现象，但会造成内容复杂图像的欠拟合问题，降低了重构图像的自然度和保真度。如何做到训练的网络能同时兼顾内容复杂和简单的图像高质量重建的需求，是实际超分辨率应用中基于深度学习的方法不能回避的问题。
发明内容
为了解决上述技术问题，本发明提出了一种基于内容感知深度学习网络的遥感图像超分辨率重建方法。
本发明所采用的技术方案是：一种基于内容感知深度学习网络的遥感图像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1：收集高低分辨率遥感图像样本，并进行分块处理；
步骤2：计算每个图像块的复杂度，按复杂度分成高、中、低三类，分别构成高、中、低复杂度的训练样本集；
步骤3：利用获得的样本集分别训练高、中、低复杂度的三种GAN网络；
步骤4：计算输入图像的复杂度，根据复杂度选取对应的GAN网络重建。
与现有的图像超分辨率方法相比，本发明具有以下优点和积极效果：
(1)本发明通过运用图像分类这一简单思想，成功克服了基于机器学习的超分辨率重建中普遍存在的过拟合和欠拟合的矛盾，有效提升了遥感影像的超分辨率重建精度；
(2)本发明方法基于的深度学习网络模型是GAN网络，该网络在训练时不依赖严格一一对齐的高低分辨率样本块，因而提高了应用普适性，尤其适合于遥感领域高低分辨率图像的多源非同步成像环境。
附图说明
图1为本发明实施例的流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于内容感知深度学习网络的遥感图像超分辨率重建方法，包括以下步骤：
步骤1：收集高低分辨率遥感图像样本，将高分辨率图像均匀地切分成128x128的图像块、低分辨率图像均匀地切分成64x64的图像块；
步骤2：计算每个图像块的复杂度，按复杂度分成高、中、低三类，分别构成高、中、低复杂度的训练样本集；
图像复杂度的计算原理和方法如下：
图像内容的复杂性包含纹理复杂性和结构复杂性，信息熵和灰度一致性能较好地刻画纹理复杂性，而结构复杂性适合用图像中目标的边缘比率描述。图像的内容复杂性度量指标C由信息熵H，灰度一致性U和边缘比率R，按下式加权构成：
C＝wh×H+wu×U+we×E；
这里wh，wu，we分别是各自的权重，权重由实验确定。
下面给出信息熵、纹理一致性和边缘比率各自的计算方法。
(1)信息熵
信息熵反映图像灰度级的个数以及每个灰度级像素的出现情况，熵值越高表明图像纹理越复杂。图像信息熵H的计算公式为：
N为灰度级的个数,ni为每个灰度级出现的个数，K为灰度级数目。
(2)灰度一致性
灰度一致性可以反映图像的均一程度,如果其值较小,则对应简单的图像,反之对应复杂的图像。灰度一致性公式为：
其中,M,N分别为图像的行数和列数,f(i,j)是像素(i,j)处的灰度值,是以(i,j)为中心的3×3邻域像素的灰度均值。
(3)边缘比率
图幅中目标个数多少直接反映了图像的复杂程度,如果目标个数较多,则该图像一般比较复杂,反之亦然。由于目标的计数涉及到复杂的图分割，不便于计算，目标边缘的多少间接反映了图像中目标物的多少及其复杂程度,因此可以用来描述图像的复杂度。图像中目标边缘所占的比例可以用边缘比率描述，计算公式为：
其中,M和N分别为图像的行数和列数,E为图像中边缘像素的个数。图像中目标的边缘表现为灰度显著变化的地方,可以由差分算法来求取,一般通过边缘检测算子(如Canny算子、Sobel算子等)检测图像的边缘像素。
其中高分辨率样本集图像块数量不少于500000，中分辨率图像块数量不少于300000，低分辨率图像块数量不少于200000。
步骤3：利用获得的样本集分别训练高、中、低复杂度的三种GAN网络；
GAN网络训练的损失函数定义如下：
GAN网络训练的损失函数包含内容损失，生成-对抗损失和全变差损失。内容损失刻画了图像内容的失真，生成-对抗损失描述的是生成结果的统计特性与自然图像这类数据的区分度，全变差损失则刻画了图像内容的连贯性。总体损失函数由三种损失函数加权组成：
这里wv，wg，wt分别是各自的权重，权重由实验确定。
下面给出每种损失函数的计算方法。
(1)内容损失
传统的内容损失函数用MSE(像素均方误差)表示，逐像素考察图像内容的损失，基于MSE的网络训练淡化了图像结构上的高频成分，导致图像过模糊。为克服这一缺陷，这里引入图像的特征损失函数。由于人工定义和提取有价值的图像特征本身就是一项复杂的工作，同时考虑到深度学习具有自动提取特征的能力，本方法借用VGG网络训练得到的隐含层特征进行度量。用φi,j表示VGG网络中第i个池化层前面的第j个卷积层得到的特征图，将特征损失定义为重构图像与参考图像的VGG特征的欧式距离，即：
这里Wi,j，Hi,j表示VGG特征图的维度。
(2)生成-对抗损失
生成-对抗损失将GAN网络的产生式功能予以考虑，鼓励网络产生与自然图像流形空间一致的解，使得判别器无法将生成结果与自然图像区别开来。生成-对抗损失基于判别器对所有训练样本的判别概率来衡量，公式如下：
这里，表示判别器D将重构结果判别为自然图像的概率；N表示训练样本总数。
(3)全变差损失
增加全变差损失是为了加强学习结果在图像内容上的局部连贯性，其计算公式为：
这里W,H表示重构图像的宽度和高度。
步骤4：计算输入图像的复杂度，根据复杂度选取对应的GAN网络重建。
具体由下面子步骤组成：
步骤4.1：将输入图像均匀划分成16等份子图，计算每个子图的复杂度，并判断属于高、中、低复杂度的类型；
步骤4.2：根据复杂度类型选取相应的GAN网络进行超分辨率重建。
本发明将样本图像按图像内容复杂性分类，构建和训练复杂性不等的深层网络模型，然后根据待超分的输入图像的内容复杂性，选取对应的网络进行重建。遥感影像记录的是大尺度范围场景，因不受地面目标的精细信息的影响，内容复杂性一致的空间同质区较多且面积大，如城区、旱田、水田、湖泊、山地等大型地物，因而比较适合做预分类训练和重建。
这里采用GAN深度学习网络模型，不仅是因为GAN网络给出了目前最好的超分辨率性能，而且，作为训练样本的高低空间分辨率遥感影像来源不同，属于非同步拍摄的多时相图像，不可能存在像素意义上的一一对齐，这极大地限制了CNN网络的训练，而GAN网络是非监督学习网络，故不存在这个问题。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (13)
1.一种基于内容感知深度学习网络的遥感图像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1：收集高低分辨率遥感图像样本，并进行分块处理；
步骤2：计算每个图像块的复杂度，按复杂度分成高、中、低三类，分别构成高、中、低复杂度的训练样本集；
步骤3：利用获得的样本集分别训练高、中、低复杂度的三种GAN网络；
步骤4：计算输入图像的复杂度，根据复杂度选取对应的GAN网络重建。
2.根据权利要求1所述的基于内容感知深度学习网络的遥感图像超分辨率重建方法，其特征在于：步骤1中，将高分辨率图像均匀地切分成128x128的图像块、低分辨率图像均匀地切分成64x64的图像块。
3.根据权利要求1所述的基于内容感知深度学习网络的遥感图像超分辨率重建方法，其特征在于，步骤2中所述图像块的复杂度，其计算方法为：
C＝wh×H+wu×U+we×E；
其中，C表图像块的复杂度，H表示图像信息熵，U表示图像灰度一致性，R表示图像边缘比率，wh，wu，we分别是各自的权重，权重由实验确定。
4.根据权利要求3所述的基于内容感知深度学习网络的遥感图像超分辨率重建方法，其特征在于，所述图像信息熵H的计算公式为：
<mrow>
<mi>H</mi>
<mo>=</mo>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>K</mi>
</munderover>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
<mo>/</mo>
<mi>N</mi>
<mo>.</mo>
<mi>log</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
<mo>/</mo>
<mi>N</mi>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中，N为灰度级的个数,ni为每个灰度级出现的个数，K为灰度级数目。
5.根据权利要求3所述的基于内容感知深度学习网络的遥感图像超分辨率重建方法，其特征在于，所述图像灰度一致性U公式为：
<mrow>
<mi>U</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<mi>f</mi>
<mo>&OverBar;</mo>
</mover>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>;</mo>
</mrow>
其中,M、N分别为图像的行数和列数,f(i,j)是像素(i,j)处的灰度值,是以(i,j)为中心的3×3邻域像素的灰度均值。
6.根据权利要求3所述的基于内容感知深度学习网络的遥感图像超分辨率重建方法，其特征在于，所述图像边缘比率R计算公式为：
<mrow>
<mi>R</mi>
<mo>=</mo>
<mfrac>
<mi>E</mi>
<mrow>
<mi>M</mi>
<mo>&times;</mo>
<mi>N</mi>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
其中，M和N分别为图像的行数和列数；E为图像中边缘像素的个数，由差分算法来求取。
7.根据权利要求1-6任意一项所述的基于内容感知深度学习网络的遥感图像超分辨率重建方法，其特征在于：步骤2所述高、中、低复杂度的训练样本集，其中高复杂度的训练样本集图像块数量不少于500000，中复杂度的训练样本集图像块数量不少于300000，低复杂度的训练样本集图像块数量不少于200000。
8.根据权利要求1所述的基于内容感知深度学习网络的遥感图像超分辨率重建方法，其特征在于，步骤3中GAN网络训练的损失函数定义为：
<mrow>
<mi>C</mi>
<mo>=</mo>
<msub>
<mi>w</mi>
<mi>v</mi>
</msub>
<mo>&times;</mo>
<msubsup>
<mi>l</mi>
<mrow>
<mi>V</mi>
<mi>G</mi>
<mi>G</mi>
</mrow>
<mrow>
<mi>S</mi>
<mi>R</mi>
</mrow>
</msubsup>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>g</mi>
</msub>
<mo>&times;</mo>
<msubsup>
<mi>l</mi>
<mrow>
<mi>G</mi>
<mi>A</mi>
<mi>N</mi>
</mrow>
<mrow>
<mi>S</mi>
<mi>R</mi>
</mrow>
</msubsup>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>t</mi>
</msub>
<mo>&times;</mo>
<msubsup>
<mi>l</mi>
<mrow>
<mi>T</mi>
<mi>V</mi>
</mrow>
<mrow>
<mi>S</mi>
<mi>R</mi>
</mrow>
</msubsup>
<mo>;</mo>
</mrow>
1
其中，C表示网络训练的损失函数，表示内容损失函数，表示生成-对抗损失函数，表示全变差损失函数；wv，wg，wt分别是各自的权重，权重由实验确定。
9.根据权利要求8所述的基于内容感知深度学习网络的遥感图像超分辨率重建方法，其特征在于，所述内容损失函数为：
其中，φi,j表示VGG网络中第i个池化层前面的第j个卷积层得到的特征图，Wi,j，Hi,j表示VGG特征图的维度；表示参考图像，表示重构图像。
10.根据权利要求8所述的基于内容感知深度学习网络的遥感图像超分辨率重建方法，其特征在于，所述生成-对抗损失函数为：
<mrow>
<msubsup>
<mi>l</mi>
<mrow>
<mi>G</mi>
<mi>A</mi>
<mi>N</mi>
</mrow>
<mrow>
<mi>S</mi>
<mi>R</mi>
</mrow>
</msubsup>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>-</mo>
<mi>log</mi>
<mi> </mi>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>G</mi>
<mo>(</mo>
<msubsup>
<mi>I</mi>
<mi>n</mi>
<mrow>
<mi>L</mi>
<mi>R</mi>
</mrow>
</msubsup>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
其中，表示重构图像，D(G(ILR))表示判别器D将重构结果判别为自然图像的概率；N表示训练样本的总数。
11.根据权利要求8所述的基于内容感知深度学习网络的遥感图像超分辨率重建方法，其特征在于，所述全变差损失函数为：
<mrow>
<msubsup>
<mi>l</mi>
<mrow>
<mi>T</mi>
<mi>V</mi>
</mrow>
<mrow>
<mi>S</mi>
<mi>R</mi>
</mrow>
</msubsup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>W</mi>
<mi>H</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>W</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>H</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<mo>&dtri;</mo>
<mi>G</mi>
<msub>
<mrow>
<mo>(</mo>
<msup>
<mi>I</mi>
<mrow>
<mi>L</mi>
<mi>R</mi>
</mrow>
</msup>
<mo>)</mo>
</mrow>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>|</mo>
<mo>;</mo>
</mrow>
其中，G(ILR)表示重构图像，W、H表示重构图像的宽度和高度。
12.根据权利要求1所述的基于内容感知深度学习网络的遥感图像超分辨率重建方法，其特征在于，步骤4的具体实现包括以下子子步骤：
步骤4.1：将输入图像均匀划分，计算每个子图的复杂度，并判断属于高、中、低复杂度的类型；
步骤4.2：根据复杂度类型选取相应的GAN网络进行超分辨率重建。
13.根据权利要求12所述的基于内容感知深度学习网络的遥感图像超分辨率重建方法，其特征在于：步骤4.1中，将输入图像均匀划分成16等份子图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710301990.6A CN107194872B (zh) | 2017-05-02 | 2017-05-02 | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710301990.6A CN107194872B (zh) | 2017-05-02 | 2017-05-02 | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107194872A true CN107194872A (zh) | 2017-09-22 |
| CN107194872B CN107194872B (zh) | 2019-08-20 |
Family
ID=59872637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710301990.6A Active CN107194872B (zh) | 2017-05-02 | 2017-05-02 | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107194872B (zh) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107767384A (zh) * | 2017-11-03 | 2018-03-06 | 电子科技大学 | 一种基于对抗训练的图像语义分割方法 |
| CN108346133A (zh) * | 2018-03-15 | 2018-07-31 | 武汉大学 | 一种面向视频卫星超分辨率重建的深度学习网络训练方法 |
| CN108665509A (zh) * | 2018-05-10 | 2018-10-16 | 广东工业大学 | 一种超分辨率重构方法、装置、设备及可读存储介质 |
| CN108711141A (zh) * | 2018-05-17 | 2018-10-26 | 重庆大学 | 利用改进的生成式对抗网络的运动模糊图像盲复原方法 |
| CN108830209A (zh) * | 2018-06-08 | 2018-11-16 | 西安电子科技大学 | 基于生成对抗网络的遥感图像道路提取方法 |
| CN108876870A (zh) * | 2018-05-30 | 2018-11-23 | 福州大学 | 一种考虑纹理复杂性的域映射GANs图像着色方法 |
| CN108921791A (zh) * | 2018-07-03 | 2018-11-30 | 苏州中科启慧软件技术有限公司 | 基于自适应重要性学习的轻量级图像超分辨率改进方法 |
| CN108961217A (zh) * | 2018-06-08 | 2018-12-07 | 南京大学 | 一种基于正例训练的表面缺陷检测方法 |
| CN109117944A (zh) * | 2018-08-03 | 2019-01-01 | 北京悦图遥感科技发展有限公司 | 一种轮船目标遥感影像的超分辨率重建方法及*** |
| CN109785270A (zh) * | 2019-01-18 | 2019-05-21 | 四川长虹电器股份有限公司 | 一种基于gan的图像超分辨率方法 |
| CN109903223A (zh) * | 2019-01-14 | 2019-06-18 | 北京工商大学 | 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法 |
| CN109949219A (zh) * | 2019-01-12 | 2019-06-28 | 深圳先进技术研究院 | 一种超分辨率图像的重构方法、装置及设备 |
| CN110033033A (zh) * | 2019-04-01 | 2019-07-19 | 南京谱数光电科技有限公司 | 一种基于CGANs的生成器模型训练方法 |
| CN110163852A (zh) * | 2019-05-13 | 2019-08-23 | 北京科技大学 | 基于轻量化卷积神经网络的输送带实时跑偏检测方法 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
| CN110689086A (zh) * | 2019-10-08 | 2020-01-14 | 郑州轻工业学院 | 基于生成式对抗网络的半监督高分遥感图像场景分类方法 |
| CN110738597A (zh) * | 2018-07-19 | 2020-01-31 | 北京连心医疗科技有限公司 | 多分辨率医学影像在神经网络中的尺寸自适应预处理方法 |
| CN110807740A (zh) * | 2019-09-17 | 2020-02-18 | 北京大学 | 一种面向监控场景车窗图像的图像增强方法与*** |
| CN111144466A (zh) * | 2019-12-17 | 2020-05-12 | 武汉大学 | 一种图像样本自适应的深度度量学习方法 |
| CN111260705A (zh) * | 2020-01-13 | 2020-06-09 | 武汉大学 | 一种基于深度卷积神经网络的***mr图像多任务配准方法 |
| CN111275713A (zh) * | 2020-02-03 | 2020-06-12 | 武汉大学 | 一种基于对抗自集成网络的跨域语义分割方法 |
| WO2020177582A1 (zh) * | 2019-03-06 | 2020-09-10 | 腾讯科技（深圳）有限公司 | 视频合成的方法、模型训练的方法、设备及存储介质 |
| CN111712830A (zh) * | 2018-02-21 | 2020-09-25 | 罗伯特·博世有限公司 | 使用深度传感器的实时对象检测 |
| CN111915545A (zh) * | 2020-08-06 | 2020-11-10 | 中北大学 | 一种多波段图像的自监督学习融合方法 |
| CN113139576A (zh) * | 2021-03-22 | 2021-07-20 | 广东省科学院智能制造研究所 | 一种结合图像复杂度的深度学习图像分类方法及*** |
| CN113421189A (zh) * | 2021-06-21 | 2021-09-21 | Oppo广东移动通信有限公司 | 图像超分辨率处理方法和装置、电子设备 |
| CN113538246A (zh) * | 2021-08-10 | 2021-10-22 | 西安电子科技大学 | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 |
| US11263726B2 (en) | 2019-05-16 | 2022-03-01 | Here Global B.V. | Method, apparatus, and system for task driven approaches to super resolution |
| CN116402691A (zh) * | 2023-06-05 | 2023-07-07 | 四川轻化工大学 | 基于图像特征快速拼接的图像超分辨率方法和*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825477A (zh) * | 2015-01-06 | 2016-08-03 | 南京理工大学 | 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法 |
| CN105931179A (zh) * | 2016-04-08 | 2016-09-07 | 武汉大学 | 一种联合稀疏表示与深度学习的图像超分辨率方法及*** |
| CN106203269A (zh) * | 2016-06-29 | 2016-12-07 | 武汉大学 | 一种基于可形变局部块的人脸超分辨率处理方法及*** |
| US20170046816A1 (en) * | 2015-08-14 | 2017-02-16 | Sharp Laboratories Of America, Inc. | Super resolution image enhancement technique |
-
2017
- 2017-05-02 CN CN201710301990.6A patent/CN107194872B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825477A (zh) * | 2015-01-06 | 2016-08-03 | 南京理工大学 | 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法 |
| US20170046816A1 (en) * | 2015-08-14 | 2017-02-16 | Sharp Laboratories Of America, Inc. | Super resolution image enhancement technique |
| CN105931179A (zh) * | 2016-04-08 | 2016-09-07 | 武汉大学 | 一种联合稀疏表示与深度学习的图像超分辨率方法及*** |
| CN106203269A (zh) * | 2016-06-29 | 2016-12-07 | 武汉大学 | 一种基于可形变局部块的人脸超分辨率处理方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 胡传平，等: "基于深度学习的图像超分辨率算法研究", 《铁道警察学院学报》 * |
Cited By (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107767384A (zh) * | 2017-11-03 | 2018-03-06 | 电子科技大学 | 一种基于对抗训练的图像语义分割方法 |
| CN111712830A (zh) * | 2018-02-21 | 2020-09-25 | 罗伯特·博世有限公司 | 使用深度传感器的实时对象检测 |
| CN111712830B (zh) * | 2018-02-21 | 2024-02-09 | 罗伯特·博世有限公司 | 使用深度传感器的实时对象检测 |
| CN108346133A (zh) * | 2018-03-15 | 2018-07-31 | 武汉大学 | 一种面向视频卫星超分辨率重建的深度学习网络训练方法 |
| CN108346133B (zh) * | 2018-03-15 | 2021-06-04 | 武汉大学 | 一种面向视频卫星超分辨率重建的深度学习网络训练方法 |
| CN108665509A (zh) * | 2018-05-10 | 2018-10-16 | 广东工业大学 | 一种超分辨率重构方法、装置、设备及可读存储介质 |
| CN108711141A (zh) * | 2018-05-17 | 2018-10-26 | 重庆大学 | 利用改进的生成式对抗网络的运动模糊图像盲复原方法 |
| CN108711141B (zh) * | 2018-05-17 | 2022-02-15 | 重庆大学 | 利用改进的生成式对抗网络的运动模糊图像盲复原方法 |
| CN108876870B (zh) * | 2018-05-30 | 2022-12-13 | 福州大学 | 一种考虑纹理复杂性的域映射GANs图像着色方法 |
| CN108876870A (zh) * | 2018-05-30 | 2018-11-23 | 福州大学 | 一种考虑纹理复杂性的域映射GANs图像着色方法 |
| CN108961217B (zh) * | 2018-06-08 | 2022-09-16 | 南京大学 | 一种基于正例训练的表面缺陷检测方法 |
| CN108961217A (zh) * | 2018-06-08 | 2018-12-07 | 南京大学 | 一种基于正例训练的表面缺陷检测方法 |
| CN108830209B (zh) * | 2018-06-08 | 2021-12-17 | 西安电子科技大学 | 基于生成对抗网络的遥感图像道路提取方法 |
| CN108830209A (zh) * | 2018-06-08 | 2018-11-16 | 西安电子科技大学 | 基于生成对抗网络的遥感图像道路提取方法 |
| CN108921791A (zh) * | 2018-07-03 | 2018-11-30 | 苏州中科启慧软件技术有限公司 | 基于自适应重要性学习的轻量级图像超分辨率改进方法 |
| CN110738597A (zh) * | 2018-07-19 | 2020-01-31 | 北京连心医疗科技有限公司 | 多分辨率医学影像在神经网络中的尺寸自适应预处理方法 |
| CN109117944A (zh) * | 2018-08-03 | 2019-01-01 | 北京悦图遥感科技发展有限公司 | 一种轮船目标遥感影像的超分辨率重建方法及*** |
| CN109117944B (zh) * | 2018-08-03 | 2021-01-15 | 北京悦图数据科技发展有限公司 | 一种轮船目标遥感影像的超分辨率重建方法及*** |
| CN109949219A (zh) * | 2019-01-12 | 2019-06-28 | 深圳先进技术研究院 | 一种超分辨率图像的重构方法、装置及设备 |
| CN109949219B (zh) * | 2019-01-12 | 2021-03-26 | 深圳先进技术研究院 | 一种超分辨率图像的重构方法、装置及设备 |
| CN109903223B (zh) * | 2019-01-14 | 2023-08-25 | 北京工商大学 | 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法 |
| CN109903223A (zh) * | 2019-01-14 | 2019-06-18 | 北京工商大学 | 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法 |
| CN109785270A (zh) * | 2019-01-18 | 2019-05-21 | 四川长虹电器股份有限公司 | 一种基于gan的图像超分辨率方法 |
| US11356619B2 (en) | 2019-03-06 | 2022-06-07 | Tencent Technology (Shenzhen) Company Limited | Video synthesis method, model training method, device, and storage medium |
| WO2020177582A1 (zh) * | 2019-03-06 | 2020-09-10 | 腾讯科技（深圳）有限公司 | 视频合成的方法、模型训练的方法、设备及存储介质 |
| CN110033033A (zh) * | 2019-04-01 | 2019-07-19 | 南京谱数光电科技有限公司 | 一种基于CGANs的生成器模型训练方法 |
| CN110163852B (zh) * | 2019-05-13 | 2021-10-15 | 北京科技大学 | 基于轻量化卷积神经网络的输送带实时跑偏检测方法 |
| CN110163852A (zh) * | 2019-05-13 | 2019-08-23 | 北京科技大学 | 基于轻量化卷积神经网络的输送带实时跑偏检测方法 |
| US11263726B2 (en) | 2019-05-16 | 2022-03-01 | Here Global B.V. | Method, apparatus, and system for task driven approaches to super resolution |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
| CN110807740A (zh) * | 2019-09-17 | 2020-02-18 | 北京大学 | 一种面向监控场景车窗图像的图像增强方法与*** |
| CN110689086A (zh) * | 2019-10-08 | 2020-01-14 | 郑州轻工业学院 | 基于生成式对抗网络的半监督高分遥感图像场景分类方法 |
| CN111144466A (zh) * | 2019-12-17 | 2020-05-12 | 武汉大学 | 一种图像样本自适应的深度度量学习方法 |
| CN111144466B (zh) * | 2019-12-17 | 2022-05-13 | 武汉大学 | 一种图像样本自适应的深度度量学习方法 |
| CN111260705B (zh) * | 2020-01-13 | 2022-03-15 | 武汉大学 | 一种基于深度卷积神经网络的***mr图像多任务配准方法 |
| CN111260705A (zh) * | 2020-01-13 | 2020-06-09 | 武汉大学 | 一种基于深度卷积神经网络的***mr图像多任务配准方法 |
| CN111275713A (zh) * | 2020-02-03 | 2020-06-12 | 武汉大学 | 一种基于对抗自集成网络的跨域语义分割方法 |
| CN111275713B (zh) * | 2020-02-03 | 2022-04-12 | 武汉大学 | 一种基于对抗自集成网络的跨域语义分割方法 |
| CN111915545B (zh) * | 2020-08-06 | 2022-07-05 | 中北大学 | 一种多波段图像的自监督学习融合方法 |
| CN111915545A (zh) * | 2020-08-06 | 2020-11-10 | 中北大学 | 一种多波段图像的自监督学习融合方法 |
| CN113139576A (zh) * | 2021-03-22 | 2021-07-20 | 广东省科学院智能制造研究所 | 一种结合图像复杂度的深度学习图像分类方法及*** |
| CN113139576B (zh) * | 2021-03-22 | 2024-03-12 | 广东省科学院智能制造研究所 | 一种结合图像复杂度的深度学习图像分类方法及*** |
| CN113421189A (zh) * | 2021-06-21 | 2021-09-21 | Oppo广东移动通信有限公司 | 图像超分辨率处理方法和装置、电子设备 |
| CN113538246A (zh) * | 2021-08-10 | 2021-10-22 | 西安电子科技大学 | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 |
| CN116402691A (zh) * | 2023-06-05 | 2023-07-07 | 四川轻化工大学 | 基于图像特征快速拼接的图像超分辨率方法和*** |
| CN116402691B (zh) * | 2023-06-05 | 2023-08-04 | 四川轻化工大学 | 基于图像特征快速拼接的图像超分辨率方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107194872B (zh) | 2019-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107194872B (zh) | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 | |
| CN107437092B (zh) | 基于三维卷积神经网络的视网膜oct图像的分类方法 | |
| CN111524135B (zh) | 基于图像增强的输电线路细小金具缺陷检测方法及*** | |
| CN105744256B (zh) | 基于图谱视觉显著的立体图像质量客观评价方法 | |
| CN103440654B (zh) | 一种lcd异物缺陷检测方法 | |
| CN110211045A (zh) | 基于srgan网络的超分辨率人脸图像重建方法 | |
| CN109191476A (zh) | 基于U-net网络结构的生物医学图像自动分割新方法 | |
| CN104951799B (zh) | 一种sar遥感影像溢油检测识别方法 | |
| CN106709958A (zh) | 一种基于灰度梯度和颜色直方图的图像质量评价方法 | |
| CN107909015A (zh) | 基于卷积神经网络及空谱信息融合的高光谱图像分类方法 | |
| CN107105223B (zh) | 一种基于全局特征的色调映射图像质量客观评价方法 | |
| CN104282008B (zh) | 对图像进行纹理分割的方法和装置 | |
| CN106780546B (zh) | 基于卷积神经网络的运动模糊编码点的身份识别方法 | |
| CN110110646A (zh) | 一种基于深度学习的手势图像关键帧提取方法 | |
| CN104036493B (zh) | 一种基于多重分形谱的无参考图像质量评价方法 | |
| CN104574381B (zh) | 一种基于局部二值模式的全参考图像质量评价方法 | |
| CN108549912A (zh) | 一种基于机器学习的医学图像肺结节检测方法 | |
| CN110516716A (zh) | 基于多分支相似度网络的无参考图像质量评价方法 | |
| Guo et al. | Liver steatosis segmentation with deep learning methods | |
| CN101976444A (zh) | 一种基于像素类型的结构类似性图像质量客观评价方法 | |
| CN104021567B (zh) | 基于首数字定律的图像高斯模糊篡改检测方法 | |
| CN116863274A (zh) | 一种基于半监督学习的钢板表面缺陷检测方法及*** | |
| CN110322403A (zh) | 一种基于生成对抗网络的多监督图像超分辨重建方法 | |
| CN109635726A (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
| CN106127234A (zh) | 基于特征字典的无参考图像质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |