CN113837944A - 基于残差网络的dem超分辨率方法和装置 - Google Patents
基于残差网络的dem超分辨率方法和装置 Download PDFInfo
- Publication number
- CN113837944A CN113837944A CN202111152642.XA CN202111152642A CN113837944A CN 113837944 A CN113837944 A CN 113837944A CN 202111152642 A CN202111152642 A CN 202111152642A CN 113837944 A CN113837944 A CN 113837944A
- Authority
- CN
- China
- Prior art keywords
- resolution
- dem data
- super
- dem
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims description 51
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 230000008521 reorganization Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000011439 discrete element method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本说明书实施例提供了一种基于残差网络的DEM超分辨率方法和装置。该方法的一具体实施方式包括：首先，获取待处理DEM数据；然后，将上述待处理DEM数据输入预先训练的超分辨率模型，得到分辨率提高预设倍数的DEM数据，其中，上述超分辨率模型用于将输入的DEM数据的分辨率提升上述预设倍数，其中，上述超分辨率模型包括残差网络。
Description
技术领域
本说明书实施例涉及地形测绘技术领域，尤其涉及一种基于残差网络的DEM超分辨率方法和装置。
背景技术
数字高程模型(Digital Elevation Model，DEM)是数字地形模型(DigitalTerrain Model，DTM)的一个分支，它是用一组有序数值阵列形式表示地面高程的一种实体地面模型。高分辨率的DEM可以提供更加准确的基础地理数据，在相关科学研究和实际应用中发挥着至关重要的作用。举例来说，大量的洪水研究表明，使用高分辨率陆地地形数据作为输入，能极大程度提高洪水模型整体的可靠性和准确性。又例如，高分辨率全球海洋地形是海洋地质和海洋测绘的前沿分支，可以为了解海底构造运动、海底演化提供直接依据。随着数字化的高度发展，DEM在社会生活中的应用也越来越广泛，人们对高精度DEM的要求也越来越高。因此，针对DEM建立高精度的超分辨率方法具有十分重要的意义。
发明内容
本说明书的实施例描述了一种基于残差网络的DEM超分辨率方法和装置，本方法在针对DEM所训练的超分辨率模型中引入残差网络，从而消除了网络中的梯度弥散现象，提高了超分辨率模型的网络深度，由此提升了超分辨率模型的性能，使基于该超分辨率模型处理得到的DEM数据更加准确。
根据第一方面，提供了一种基于残差网络的DEM超分辨率方法，包括：获取待处理DEM数据；将上述待处理DEM数据输入预先训练的超分辨率模型，得到分辨率提高预设倍数的DEM数据，其中，上述超分辨率模型用于将输入的DEM数据的分辨率提升上述预设倍数，其中，上述超分辨率模型包括残差网络。
在一个实施例中，上述超分辨率模型是通过以下步骤训练得到的：根据第一分辨率的第一DEM数据，生成第二分辨率的第二DEM数据，其中，上述第二分辨率比上述第一分辨率低上述预设倍数；基于上述第一DEM数据和上述第二DEM数据，生成训练样本集；基于上述训练样本集，训练得到上述超分辨率模型。
在一个实施例中，上述根据第一分辨率的第一DEM数据，生成第二分辨率的第二DEM数据，包括：利用最临近像元法将上述第一DEM数据下采样到第二分辨率的第二DEM数据。
在一个实施例中，上述第一DEM数据和第二DEM数据为数据矩阵；以及上述基于上述第一DEM数据和上述第二DEM数据，生成训练样本集，包括：将上述第一DEM数据对应的数据矩阵按预设方式切分为第一尺寸的第一子矩阵图区；将上述第二DEM数据对应的数据矩阵按上述预设方式切分为第二尺寸的第二子矩阵图区，其中，上述第一尺寸的长和宽分别是上述第二尺寸的长和宽的上述预设倍数；使用相应位置切分得到的第一子矩阵图区和第二子矩阵图区组成训练样本，存入训练样本集。
在一个实施例中，上述待处理DEM数据为全球DEM数据。
在一个实施例中，上述超分辨率模型包括目标卷积层、至少一个残差网络、目标求和层和上采样网络，其中，按处理数据的顺序，各残差网络依次包括卷积层、激活函数层、卷积层和求和层；以及上述将上述待处理DEM数据输入预先训练的超分辨率模型，得到分辨率提高预设倍数的DEM数据，包括：将上述待处理DEM数据输入上述目标卷积层，进行卷积操作；将上述卷积操作的输出结果输入到上述至少一个残差网络，其中，各残差网络将上述目标卷积层的输出或者上一个残差网络的输出作为该残差网络的输入，将该残差网络的输入与该残差网络的后一个卷积层的输出在该残差网络的求和层进行求和，形成第一残差结构；将上述目标卷积层的输出和上述至少一个残差网络中最后一个残差网络的输出在上述目标求和层进行求和，形成第二残差结构；将上述目标求和层的求和结果作为上述上采样网络的输入，以及将上述上采样网络的输出作为分辨率提高预设倍数的DEM数据。
在一个实施例中，上述上采样网络包括上采样层，上述上采样层采用像素重组的上采样方法。
根据第二方面，提供了一种基于残差网络的DEM超分辨率装置，包括：获取单元，配置为获取待处理DEM数据；生成单元，配置为将上述待处理DEM数据输入预先训练的超分辨率模型，得到分辨率提高预设倍数的DEM数据，其中，上述超分辨率模型用于将输入的DEM数据的分辨率提升上述预设倍数，其中，上述超分辨率模型包括残差网络。
根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当上述计算机程序在计算机中执行时，令计算机执行如第一方面中任一实现方式描述的方法。
根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，上述存储器中存储有可执行代码，上述处理器执行上述可执行代码时，实现如第一方面中任一实现方式描述的方法。
根据本说明书实施例提供的基于残差网络的DEM超分辨率方法和装置，首先获取待处理DEM数据，然后将获取的DEM数据输入预先训练的超分辨率模型，从而得到分辨率提高预设倍数的DEM数据，其中，超分辨率模型中包括残差网络，残差网络的引入可以消除网络中的梯度弥散现象，提高超分辨率模型的网络深度，由此可以提升超分辨率模型的性能，从而使基于该超分辨率模型处理得到的DEM数据更加准确。
附图说明
图1示出了根据一个实施例的基于残差网络的DEM超分辨率方法的流程图；
图2示出了使用本实施例的方法对全球DEM数据的部分区域进行4倍超分辨率的结果示意图；
图3示出了一种实现方式中的超分辨率模型的结构示意图；
图4示出了一种用于训练超分辨率模型的方法的流程示意图；
图5示出了根据一个实施例的基于残差网络的DEM超分辨率装置的示意性框图。
具体实施方式
下面结合附图和实施例，对本说明书提供的技术方案做进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。需要说明的是，在不冲突的情况下，本说明书的实施例及实施例中的特征可以相互组合。
如前所述，高分辨率的DEM在相关科学研究和实际应用中发挥着至关重要的作用。为了得到高分辨率的DEM，在一种方式中，可以通过各种测量仪器直接收集DEM数据，例如，通过载有激光雷达或干涉测量合成孔径雷达的卫星、飞机以及利用全站仪对地形进行测量和测绘。这种方式生产成本高，特别是对于海底地形的测绘，成本增加尤为显著。在另一种方式中，可以采用超分辨率的策略，应用于现有的低分辨率DEM中，以获得高分辨率DEM，这种方式对进一步扩大DEM的应用具有重要意义。传统的基于学习的超分辨率方法只能提取DEM数据较为简单的特征，例如，图像的一阶、二阶梯度等，这些特征不足以充分地表征DEM信息，致使重建后的DEM精度受到限制。基于深度学习的卷积神经网络(ConvolutionalNeural Networks,CNNs)的超分辨率(Super-Resolution Convolutional NeuralNetwork,SRCNN)算法证明了卷积神经网络在图像增强中的有效性。然而，由于卷积神经网络中梯度弥散现象等的影响，随着卷积网络层数的不断增加，可能出现梯度弥散、网络退化等问题，难以充分表征DEM数据的信息，导致最终重建质量下降，限制了算法的重建性能。
为此，本说明书的实施例提供了一种基于残差网络的DEM超分辨率方法。如图1所示，图1示出了根据一个实施例的基于残差网络的DEM超分辨率方法的流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来执行。如图1所示，该基于残差网络的DEM超分辨率方法，可以包括以下步骤：
步骤101，获取待处理DEM数据。
在本实施例中，用于执行基于残差网络的DEM超分辨率方法的执行主体，可以获取待处理DEM数据。这里，待处理DEM数据可以是指想要提升分辨率的DEM数据。
在一种实现方式中，待处理DEM数据可以是全球DEM数据。在本实施例中，由于用于处理待处理DEM数据的超分辨率模型中引入了残差网络，可以提高超分辨率模型的网络深度，由此可以提升超分辨率模型的性能，使模型具有更强的学习能力，能够适应全球DEM数据。
步骤102，将待处理DEM数据输入预先训练的超分辨率模型，得到分辨率提高预设倍数的DEM数据。
在本实施例中，可以将步骤101获取的待处理DEM数据输入预先训练的超分辨率模型，该超分辨率模型可以用于将输入的DEM数据的分辨率提升预设倍数。这样，针对输入的待处理DEM数据，超分辨率模型可以输出分辨率提高预设倍数的DEM数据。这里，超分辨率模型可以包括残差网络。作为示例，上述超分辨率模型可以是包括残差网络，且用于实现DEM数据分辨率提升的各种神经网络。作为示例，图2示出了使用本实施例的方法对全球DEM数据的部分区域进行4倍超分辨率的结果示意图,在本例中，全球DEM数据选用了大洋地势图General bathymetric chart of the oceans(GEBCO)。可以理解，图2仅仅用于示意本实施例对全球DEM数据的部分区域进行4倍超分辨率的结果，而非对分辨率提升倍数、所适用区域等的限定，实践中，本实施例可以适用于全球DEM数据的各个区域。
在一种实现方式中，如图3所示，图3示出了一种实现方式中的超分辨率模型的结构示意图。在本实现方式中，超分辨率模型可以包括目标卷积层、至少一个残差网络、目标求和层和上采样网络。作为示例，图3中目标求和层可以用符号
表示。
在本实现方式中，按处理数据的顺序，各残差网络可以依次包括卷积层、激活函数层、卷积层和求和层。作为示例，图3中求和层可以用符号
表示。残差网络拟合残差映射g(x)＝f(x)-x，其中，x可以表示残差网络的输入，f(x)可以表示残差网络的期望输出，输入x和映射g(x)在求和层(Element-Wise-Sum层)中累积，以生成所需的输出f(x)。作为示例，在实际使用中，可以根据需要设置多个残差网络，例如，可以使用32个残差网络，32个残差网络共包括64个卷积层。相比于无残差结构的网络，本实现方式中的残差网络结构更便于优化。
这里，各卷积层的参数计算可以如公式N＝(W-F+2P)/S+1。其中，W可以表示输入大小；F可以表示卷积核大小，例如，卷积核大小尺寸可以为3×3；P可以表示填充值，例如，填充值的大小可以为0；S可以表示步长大小，例如，步长大小可以为1；N可以表示输出大小。作为示例，超分辨率模型中的各卷积层可以采用256个卷积核，每次卷积操作完成后，输出数据中都要填充0，以防止图像尺寸增大。这样，深层网络模型可以进一步从DEM数据中提取特征信息，有助于重建图像的纹理恢复，从而使超分辨重建得到的DEM数据更加准确。
作为示例，各残差网络的激活函数层可以采用线性修正单元(Rectified LinearUnit，ReLU)作为激活函数。
可选的，上述上采样网络可以包括上采样层，如图3所示，上采样网络按处理数据的顺序，可以依次包括卷积层、上采样层、卷积层、上采样层和卷积层。在卷积层后设置上采样层，可以用于提升图像的分辨率。这里，上采样层可以采用像素重组(Pixel Shuffle)的上采样方法，而非直接通过插值等方式产生高分辨率图像。举例来说，在像素重组的实现过程中，可以通过卷积先得到r2个通道的特征图，然后通过周期筛选(periodic shuffing)的方法得到这个高分辨率的图像，其中，r可以表示上采样因子，也就是图像的扩大倍率。实践中，为了降低神经网络处理的计算量，可以将上采样层放置在靠近网络的末端。亚像素卷积(Sub-pixel convolution)又叫像素重组，与传统的反卷积层相比，这种亚像素卷积可以在不增加额外计算的情况下将低分辨率数据分解到高分辨率空间。因此，通过本实现方式可以提高整个超分辨率模型的运算速度。
在一种实现方式中，基于图3所示的网络结构的超分辨率模型，上述步骤102可以具体如下进行：
首先，将待处理DEM数据输入目标卷积层，进行卷积操作。
其次，将卷积操作的输出结果输入到至少一个残差网络。
在本实现方式中，可以将目标卷积层进行卷积操作后的输出结果输入到至少一个残差网络。这里，各残差网络可以将目标卷积层的输出或者上一个残差网络的输出作为该残差网络的输入，将该残差网络的输入与该残差网络的后一个卷积层的输出在该残差网络的求和层进行求和，形成第一残差结构。作为示例，对于第一个残差网络而言，可以将目标卷积层的输出作为输入，将输入与后一个卷积层的输出在求和层进行求和，形成第一残差结构。对于除第一个残差网络之外的其它残差网络，可以将上一个残差网络的输出作为输入，将输入与后一个卷积层的输出在求和层进行求和，形成第一残差结构。
然后，将目标卷积层的输出和至少一个残差网络中最后一个残差网络的输出在目标求和层进行求和，形成第二残差结构。
最后，将目标求和层的求和结果作为上采样网络的输入，以及将上采样网络的输出作为分辨率提高预设倍数的DEM数据，从而得到分辨率提高预设倍数的DEM数据。
在一种实现方式中，如图4所示，图4示出了一种用于训练超分辨率模型的方法的流程示意图。上述超分辨率模型可以是用于执行基于残差网络的DEM超分辨率方法的执行主体或者其他执行主体，通过以下步骤训练得到的：
步骤401，根据第一分辨率的第一DEM数据，生成第二分辨率的第二DEM数据。
在本实现方式中，首先可以获取第一DEM数据，该第一DEM数据的分辨率为第一分辨率。该第一DEM数据可以是现有的DEM数据。举例来说，可以通过互联网下载DEM数据。作为示例，第一DEM数据可以是全球DEM数据。之后，可以对获取的第一分辨率的第一DEM数据进行处理，生成第二分辨率的第二DEM数据。这里，第二分辨率可以比第一分辨率低上述预设倍数，该预设倍数与上述超分辨率模型能够提升的倍数相同。例如，假设超分辨率模型可以将输入的DEM数据的分辨率提升4倍，那么第二分辨率比第一分辨率低4倍，也就是说，第一分辨率是第二分辨率的4倍。作为示例，可以采用各种下采样方法(例如最近邻插值、双线性插值、均值插值、中值插值等等)对第一DEM数据进行下采样，从而得到第二DEM数据。
在一种实现方式中，上述步骤401可以具体如下进行：利用最临近像元法将第一DEM数据下采样到第二分辨率的第二DEM数据。
在本实现方式中，对第一DEM数据进行最临近像元法的本质是使用邻近4个点的像元值按照其距内插点的距离赋予不同的权重,进行线性内插。最临近像元法具有平均化的低通滤波效果,在内插处理时滤去了部分图像的高频信息，而通过神经网络方法则可以恢复滤去的高频信息。因此，本实现方式可以采用最临近像元法生成第二分辨率的第二DEM数据。
步骤402，基于第一DEM数据和第二DEM数据，生成训练样本集。
在本实现方式中，可以从第一DEM数据和第二DEM数据中提取数据，形成训练样本集。举例来说，可以将从第一DEM数据中提取的数据作为高分辨率图区，将从第二DEM数据中提取的、对应的数据作为低分辨率图区，组成训练样本。这里，对应的数据可以是指所指示区域相同的数据。之后，还可以将高分辨率图区和低分辨率图区组成的训练样本保存为用于训练的h5文件。h5文件是层次数据格式第5代的版本(Hierarchical Data Format，HDF5)，它是用于存储科学数据的一种文件格式和库文件。可以理解，根据实际需要，在得到训练的DEM数据集之后，还可以对DEM数据进行归一化，即对DEM的灰度值从0到1进行归一化处理，以消除局部感知特征的影响。
在一种实现方式中，第一DEM数据和第二DEM数据可以是数据矩阵的形式。以及上述402还可以具体如下进行：
首先，将第一DEM数据对应的数据矩阵按预设方式切分为第一尺寸的第一子矩阵图区。
在本实现方式中，由于获取的第一DEM数据可能比较大，因此可以将第一DEM数据进行切分以满足模型输入的大小。举例来说，可以预先设定切分大小和切分方式，例如，可以预定切分大小为第一尺寸，切分方式按从左往右从上往下的顺序，或者按从上往下从左往右的顺序，再或者按从右往左从上往下的顺序等等。这样，可以将第一DEM数据对应的数据矩阵按预设方式切分为多个第一尺寸的第一子矩阵图区。
然后，将第二DEM数据对应的数据矩阵按预设方式切分为第二尺寸的第二子矩阵图区。
在本实现方式中，可以将第二DEM数据对应的数据矩阵按与第一DEM数据的切分方式相同的方式切分为多个第二尺寸的第二子矩阵图区。这里，第一尺寸的长和宽分别是第二尺寸的长和宽的预设倍数。该预设倍数与上述超分辨率模型能够提升的倍数相同。举例来说，假设超分辨率模型可以将输入的DEM数据的分辨率提升n倍，第一DEM数据的切分大小为32n*32n，即第一尺寸为32n*32n，则第二DEM数据的切分大小可以为32*32，即第二尺寸为32*32。第一尺寸的长和宽分别是第二尺寸的长和宽的n倍。
最后，使用相应位置切分得到的第一子矩阵图区和第二子矩阵图区组成训练样本，存入训练样本集。
在本实现方式中，可以使用按相同切分方式切分得到的相应位置的第一子矩阵图区和第二子矩阵图区组成一个训练样本，并存入训练样本集。其中，训练样本集中可以包括多个训练样本。举例来说，可以将第一DEM数据切分得到的第i块第一子矩阵图区和第二DEM数据切分得到的第i块第二子矩阵图区作为相应位置切分得到的第一子矩阵图区和第二子矩阵图区。
步骤403，基于训练样本集，训练得到超分辨率模型。
在本实现方式中，可以根据步骤302生成的训练样本集，训练得到超分辨率模型。举例来说，可以将一个训练样本中的低分辨率图区作为输入，将该训练样本的高分辨率图区作为期望输出，利用机器学习方法训练超分辨率模型。例如，可以首先利用预设的损失函数计算模型输出的DEM数据与期望输出之间的差异。然后，可以基于计算所得的差异，调整超分辨率模型的网络参数，并在满足预设的训练结束条件的情况下，结束训练。
可选的，在超分辨率模型的训练过程中，可以采用Adam优化算法来减少模型损耗，指数衰减法来设置模型的学习速率，并采用可变学习率的策略。当满足预设的条件时，可以将学习率调整为当前学习率的预设比例。举例来说，可以将初始的学习率设定为某个值，例如，0.01。当满足预设条件时，例如，完成20次对训练集中样本的训练，可以将学习率下降为之前的预设比例，例如，10％。通过这种策略可以保证模型迅速收敛的同时抑制梯度弥散现象，使模型收敛在一个较优的位置。
实际使用中，超分辨率模型完成后，还可以采用各种评价指标对模型进行评价，以判断模型的优劣。
根据另一方面的实施例，提供了一种基于残差网络的DEM超分辨率装置。上述基于残差网络的DEM超分辨率装置可以部署在任何具有计算、处理能力的设备、平台或设备集群中。
图5示出了根据一个实施例的基于残差网络的DEM超分辨率装置的示意性框图，如图5所示，该基于残差网络的DEM超分辨率装置500，包括：获取单元501，配置为获取待处理DEM数据；生成单元502，配置为将上述待处理DEM数据输入预先训练的超分辨率模型，得到分辨率提高预设倍数的DEM数据，其中，上述超分辨率模型用于将输入的DEM数据的分辨率提升上述预设倍数，其中，上述超分辨率模型包括残差网络。
在本实施例的一些可选的实现方式中，上述超分辨率模型是通过模型训练单元(图中未示出)训练得到的，其中，上述模型训练单元包括：数据生成单元(图中未示出)，配置为根据第一分辨率的第一DEM数据，生成第二分辨率的第二DEM数据，其中，上述第二分辨率比上述第一分辨率低上述预设倍数；样本集生成单元(图中未示出)，配置为基于上述第一DEM数据和上述第二DEM数据，生成训练样本集；训练单元(图中未示出)，配置为基于上述训练样本集，训练得到上述超分辨率模型。
在本实施例的一些可选的实现方式中，上述数据生成单元进一步配置为：利用最临近像元法将上述第一DEM数据下采样到第二分辨率的第二DEM数据。
在本实施例的一些可选的实现方式中，上述第一DEM数据和第二DEM数据为数据矩阵；以及上述样本集生成单元进一步配置为：将上述第一DEM数据对应的数据矩阵按预设方式切分为第一尺寸的第一子矩阵图区；将上述第二DEM数据对应的数据矩阵按上述预设方式切分为第二尺寸的第二子矩阵图区，其中，上述第一尺寸的长和宽分别是上述第二尺寸的长和宽的上述预设倍数；使用相应位置切分得到的第一子矩阵图区和第二子矩阵图区组成训练样本，存入训练样本集。
在本实施例的一些可选的实现方式中，上述待处理DEM数据为全球DEM数据。
在本实施例的一些可选的实现方式中，上述超分辨率模型包括目标卷积层、至少一个残差网络、目标求和层和上采样网络，其中，按处理数据的顺序，各残差网络依次包括卷积层、激活函数层、卷积层和求和层；以及上述生成单元502进一步配置为：将上述待处理DEM数据输入上述目标卷积层，进行卷积操作；将上述卷积操作的输出结果输入到上述至少一个残差网络，其中，各残差网络将上述目标卷积层的输出或者上一个残差网络的输出作为该残差网络的输入，将该残差网络的输入与该残差网络的后一个卷积层的输出在该残差网络的求和层进行求和，形成第一残差结构；将上述目标卷积层的输出和上述至少一个残差网络中最后一个残差网络的输出在上述目标求和层进行求和，形成第二残差结构；将上述目标求和层的求和结果作为上述上采样网络的输入，以及将上述上采样网络的输出作为分辨率提高预设倍数的DEM数据。
在本实施例的一些可选的实现方式中，上述上采样网络包括上采样层，上述上采样层采用像素重组的上采样方法。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当上述计算机程序在计算机中执行时，令计算机执行图1所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，其特征在于，上述存储器中存储有可执行代码，上述处理器执行上述可执行代码时，实现图1所描述的方法。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执轨道，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执轨道的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于残差网络的DEM超分辨率方法，包括：
获取待处理DEM数据；
将所述待处理DEM数据输入预先训练的超分辨率模型，得到分辨率提高预设倍数的DEM数据，其中，所述超分辨率模型用于将输入的DEM数据的分辨率提升所述预设倍数，其中，所述超分辨率模型包括残差网络。
2.根据权利要求1所述的方法，其中，所述超分辨率模型是通过以下步骤训练得到的：
根据第一分辨率的第一DEM数据，生成第二分辨率的第二DEM数据，其中，所述第二分辨率比所述第一分辨率低所述预设倍数；
基于所述第一DEM数据和所述第二DEM数据，生成训练样本集；
基于所述训练样本集，训练得到所述超分辨率模型。
3.根据权利要求2所述的方法，其中，所述根据第一分辨率的第一DEM数据，生成第二分辨率的第二DEM数据，包括：
利用最临近像元法将所述第一DEM数据下采样到第二分辨率的第二DEM数据。
4.根据权利要求2所述的方法，其中，所述第一DEM数据和第二DEM数据为数据矩阵；以及
所述基于所述第一DEM数据和所述第二DEM数据，生成训练样本集，包括：
将所述第一DEM数据对应的数据矩阵按预设方式切分为第一尺寸的第一子矩阵图区；
将所述第二DEM数据对应的数据矩阵按所述预设方式切分为第二尺寸的第二子矩阵图区，其中，所述第一尺寸的长和宽分别是所述第二尺寸的长和宽的所述预设倍数；
使用相应位置切分得到的第一子矩阵图区和第二子矩阵图区组成训练样本，存入训练样本集。
5.根据权利要求1所述的方法，其中，所述待处理DEM数据为全球DEM数据。
6.根据权利要求1所述的方法，其中，所述超分辨率模型包括目标卷积层、至少一个残差网络、目标求和层和上采样网络，其中，按处理数据的顺序，各残差网络依次包括卷积层、激活函数层、卷积层和求和层；以及
所述将所述待处理DEM数据输入预先训练的超分辨率模型，得到分辨率提高预设倍数的DEM数据，包括：
将所述待处理DEM数据输入所述目标卷积层，进行卷积操作；
将所述卷积操作的输出结果输入到所述至少一个残差网络，其中，各残差网络将所述目标卷积层的输出或者上一个残差网络的输出作为该残差网络的输入，将该残差网络的输入与该残差网络的后一个卷积层的输出在该残差网络的求和层进行求和，形成第一残差结构；
将所述目标卷积层的输出和所述至少一个残差网络中最后一个残差网络的输出在所述目标求和层进行求和，形成第二残差结构；
将所述目标求和层的求和结果作为所述上采样网络的输入，以及将所述上采样网络的输出作为分辨率提高预设倍数的DEM数据。
7.根据权利要求6所述的方法，其中，所述上采样网络包括上采样层，所述上采样层采用像素重组的上采样方法。
8.一种基于残差网络的DEM超分辨率装置，包括：
获取单元，配置为获取待处理DEM数据；
生成单元，配置为将所述待处理DEM数据输入预先训练的超分辨率模型，得到分辨率提高预设倍数的DEM数据，其中，所述超分辨率模型用于将输入的DEM数据的分辨率提升所述预设倍数，其中，所述超分辨率模型包括残差网络。
9.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项所述的方法。
10.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111152642.XA CN113837944A (zh) | 2021-09-29 | 2021-09-29 | 基于残差网络的dem超分辨率方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111152642.XA CN113837944A (zh) | 2021-09-29 | 2021-09-29 | 基于残差网络的dem超分辨率方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113837944A true CN113837944A (zh) | 2021-12-24 |
Family
ID=78967420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111152642.XA Pending CN113837944A (zh) | 2021-09-29 | 2021-09-29 | 基于残差网络的dem超分辨率方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113837944A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116030355A (zh) * | 2023-03-30 | 2023-04-28 | 武汉城市职业学院 | 一种地物分类方法及*** |
| CN116485641A (zh) * | 2023-01-03 | 2023-07-25 | 南京大学 | 集成先验与地形约束的无监督dem超分辨率重建方法 |
| CN117172134A (zh) * | 2023-10-19 | 2023-12-05 | 武汉大学 | 基于融合地形特征的月表多尺度dem建模方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
| CN112132746A (zh) * | 2020-09-17 | 2020-12-25 | 东南大学 | 面向智能路侧设备的小尺度行人目标快速超分辨率化方法 |
| CN112837224A (zh) * | 2021-03-30 | 2021-05-25 | 哈尔滨理工大学 | 一种基于卷积神经网络的超分辨率图像重建方法 |
-
2021
- 2021-09-29 CN CN202111152642.XA patent/CN113837944A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
| CN112132746A (zh) * | 2020-09-17 | 2020-12-25 | 东南大学 | 面向智能路侧设备的小尺度行人目标快速超分辨率化方法 |
| CN112837224A (zh) * | 2021-03-30 | 2021-05-25 | 哈尔滨理工大学 | 一种基于卷积神经网络的超分辨率图像重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张宏鸣 等: "基于深层残差网络的山区DEM 超分辨率重构", 《农业机械学报》, vol. 52, no. 1, 31 January 2021 (2021-01-31), pages 179 - 181 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116485641A (zh) * | 2023-01-03 | 2023-07-25 | 南京大学 | 集成先验与地形约束的无监督dem超分辨率重建方法 |
| CN116030355A (zh) * | 2023-03-30 | 2023-04-28 | 武汉城市职业学院 | 一种地物分类方法及*** |
| CN117172134A (zh) * | 2023-10-19 | 2023-12-05 | 武汉大学 | 基于融合地形特征的月表多尺度dem建模方法及*** |
| CN117172134B (zh) * | 2023-10-19 | 2024-01-16 | 武汉大学 | 基于融合地形特征的月表多尺度dem建模方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113837944A (zh) | 基于残差网络的dem超分辨率方法和装置 | |
| CN112016507B (zh) | 基于超分辨率的车辆检测方法、装置、设备及存储介质 | |
| CN106600553B (zh) | 一种基于卷积神经网络的dem超分辨率方法 | |
| Sood et al. | An application of generative adversarial networks for super resolution medical imaging | |
| CN111369442B (zh) | 基于模糊核分类与注意力机制的遥感图像超分辨重建方法 | |
| CN112669214B (zh) | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 | |
| CN114331890A (zh) | 基于深度学习的探地雷达B-scan图像特征增强方法及*** | |
| CN109447897B (zh) | 一种真实场景图像合成方法及*** | |
| CN113538246A (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN115272683A (zh) | 一种基于深度学习的中心差分信息滤波相位解缠方法 | |
| CN116757930A (zh) | 基于残差分离注意力机制的遥感图像超分辨率方法、***及介质 | |
| CN113837941A (zh) | 图像超分模型的训练方法、装置及计算机可读存储介质 | |
| CN113327205A (zh) | 基于卷积神经网络的相位去噪网络及方法 | |
| CN117172134A (zh) | 基于融合地形特征的月表多尺度dem建模方法及*** | |
| Bull et al. | Perceptual improvements for super-resolution of satellite imagery | |
| Lepcha et al. | An efficient medical image super resolution based on piecewise linear regression strategy using domain transform filtering | |
| CN116091893A (zh) | 一种基于U-net网络的地震图像反褶积方法及*** | |
| CN114972570A (zh) | 图像重建方法及设备 | |
| CN114972033A (zh) | 一种提高光学相干层析图像纵向分辨率的自监督方法 | |
| Da Wang et al. | Super resolution convolutional neural network models for enhancing resolution of rock micro-ct images | |
| CN109146777B (zh) | 利用预训练网络的感知相似性进行混合图像超分辨方法 | |
| CN115294229A (zh) | 用于重建磁共振成像（mri）图像的方法及设备 | |
| He et al. | Super-resolution of digital elevation model with local implicit function representation | |
| CN115511733A (zh) | 一种图像退化建模方法、神经网络训练方法和装置 | |
| CN111932473B (zh) | 一种多分辨率稀疏编码的相位信息降噪算法及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |