CN117422619A - 图像重建模型的训练方法、图像重建方法、装置及设备 - Google Patents
图像重建模型的训练方法、图像重建方法、装置及设备 Download PDFInfo
- Publication number
- CN117422619A CN117422619A CN202311142367.2A CN202311142367A CN117422619A CN 117422619 A CN117422619 A CN 117422619A CN 202311142367 A CN202311142367 A CN 202311142367A CN 117422619 A CN117422619 A CN 117422619A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- network
- feature
- inputting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000000605 extraction Methods 0.000 claims abstract description 75
- 238000004364 calculation method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 24
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 23
- 238000010586 diagram Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 8
- 239000000427 antigen Substances 0.000 abstract 1
- 102000036639 antigens Human genes 0.000 abstract 1
- 108091007433 antigens Proteins 0.000 abstract 1
- 230000008569 process Effects 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 235000021384 green leafy vegetables Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本文涉及图像处理技术领域，尤其涉及一种图像重建模型的训练方法、图像重建方法、装置及设备。包括将训练图像输入到生成器网络进行计算得到重建图像，其中生成器网络包括全局特征提取、局部特征提取和图像重建，局部特征提取包括通过由ResidualBlock块与三个RRNL块串联而成的密集感受野网络以及RFB模块对所述全局特征进行局部特征提取；将重建图像和训练图像输入到判别器网络进行计算得到判别结果；根据训练图像、重建图像和判别结果计算损失值；迭代上述步骤直至损失值满足预定要求，将生成器网络作为图像重建模型。通过本文实施例，建立了非局部密集感受野生成对抗网络，提升图像的分辨率，较好还原细节信息。
Description
技术领域
本说明书实施例涉及图像处理技术领域，尤其涉及一种图像重建模型的训练方法、图像重建方法、装置及设备。
背景技术
目前油气输送管线承担着重要的任务，油气输送途中往往需要经过地理条件复杂的地形，给油气管道的安全检测带了困难，使得巡检和检测工作难以覆盖所有区域，地形复杂性还可能导致管道易受到地震、山体滑坡等地质灾害的影响。因此目前油气传输领域将卫星遥感技术应用至管道安全检测中。但由于卫星与地面的距离过远，通过卫星拍摄到的影像器分辨率难以支撑图像的不断放大，从而导致近景图像的内容模糊，图像质量低下。
针对上述问题，目前可以通过配合图像重建技术来提高卫星影像的分辨率。目前常用的遥感图像超分辨率重建方法有基于插值的方法、基于边缘的方法、基于统计的方法、基于稀疏表示的方法以及基于深度学***滑区域效果较差。
卷积神经网络(CNN)是一种深度学习模型。CNN的核心思想是利用卷积操作来提取输入数据的特征，并通过层层堆叠的神经网络结构进行特征的组合和抽象。它在处理图像等数据时具有卷积层、激活函数、池化层、全连接层、Dropout层几个关键组成。CNN的训练过程通常使用反向传播算法进行参数的优化。通过将输入数据和真实标签进行比较，利用损失函数来度量模型的预测误差，然后通过反向传播计算梯度并更新网络中的权重参数。但将CNN应用于对卫星遥感图像的超分辨率重建中却不适用，具体存在如下问题：
1、数据稀缺性：遥感图像的获取和标注成本较高，导致训练数据的稀缺性。普通的CNN在训练过程中需要大量的标记数据来学习图像特征，但在遥感图像超分辨率中，可用的高分辨率遥感图像较少，这导致了数据稀缺的问题，影响了模型的泛化能力和性能。
2、边缘保持问题：遥感图像通常包含丰富的边缘信息，而普通的CNN在进行卷积和池化操作时可能会造成边缘的模糊或失真。由于卷积操作和池化操作的局部性质，边缘信息容易受到模糊化的影响，导致重建的高分辨率图像边缘不清晰或有损失。
3、尺度变换问题：遥感图像的超分辨率重建涉及到尺度变换，即从低分辨率图像重建到高分辨率图像。然而，普通的CNN模型在设计时通常基于固定的输入和输出尺寸进行训练，不太适应尺度变换任务。这可能导致模型在处理尺度变换问题时效果不佳。
4、学习复杂纹理和细节问题：遥感图像中存在丰富的复杂纹理和细节信息，这对模型的学习能力提出了较高的要求。普通的CNN可能在处理复杂纹理和细节方面存在一定的限制，导致重建的高分辨率图像缺乏一些细节信息或出现伪影。
生成对抗网络(GAN)是一种深度学习模型，由生成器和判别器两个主要组件构成。生成器的作用是将随机噪声作为输入，并将其映射为与真实样本类似的数据样本。它通常采用深度卷积神经网络或递归神经网络等结构，通过多层的神经网络层来逐渐生成更真实的数据样本。判别器的作用是将输入的数据样本进行分类，判断其是否为真实样本或生成器生成的样本。它也通常采用深度卷积神经网络等结构，通过学习对真实样本和生成样本进行区分，提供关于样本真实性的反馈信号。
GAN的训练过程是通过生成器和判别器之间的对抗学习来实现的。在训练过程中，生成器和判别器相互竞争，不断优化自身的表现。生成器通过最小化判别器对生成样本的判别误差来提高生成样本的质量，而判别器通过最大化对真实样本和生成样本的判别能力来提高自身的准确性。
但GAN训练不稳定，训练过程相对复杂，涉及到生成器和判别器之间的动态平衡。在训练中，生成器和判别器之间可能出现不稳定的竞争和博弈，导致训练过程难以收敛或产生不理想的结果。需要仔细调整超参数和网络结构来取得良好的训练效果。在某些情况下，生成器可能会陷入模式崩溃的问题。模式崩溃指的是生成器只能生成有限的几个模式，而无法生成多样化和高质量的超分辨率图像。且通用的GAN模型不能很好的适配中缅地区图像的超分辨率重建。
现在亟需一种图像超分辨率重建方法，从而解决通过现有图像超分辨率重建方法存在会引入图像模糊和伪细节、对于平滑区域效果较差、对于统计模型依赖性较强、模型的灵活性和适应性较差等问题。
发明内容
为解决现有技术中存在的问题，本说明书实施例提供了一种图像重建模型的训练方法、图像重建方法、装置及设备，建立一种非局部密集感受野生成对抗网络，提升油气输送管线遥感图像的分辨率，较好还原细节信息，大幅提升卫星遥感检测的精确度。
为了解决上述技术问题中的任意一种，本说明书实施例的具体技术方案如下：
一方面，本说明书实施例提供了一种图像重建模型的训练方法，包括，
将训练图像输入到生成器网络进行计算，得到重建图像，其中生成器网络包括全局特征提取、局部特征提取和图像重建，所述全局特征提取包括通过第一卷积层对训练图像进行全局特征提取，得到全局特征；所述局部特征提取包括通过由ResidualBlock块与三个RRNL块串联而成的密集感受野网络以及RFB模块对所述全局特征进行局部特征提取，得到局部特征；所述图像重建包括：对所述全局特征和局部特征进行图像重建，得到重建图像；
将所述重建图像和训练图像输入到判别器网络进行计算，得到判别结果；
根据所述训练图像、重建图像和判别结果计算损失值；
迭代上述步骤，直至损失值满足预定要求，将所述生成器网络作为图像重建模型。
进一步地，通过由ResidualBlock块与三个RRNL块串联而成的密集感受野网络以及RFB模块对所述全局特征进行局部特征提取，得到局部特征进一步包括：
将所述全局特征输入到ResidualBlock块进行特征提取，得到第一特征；
将所述第一特征输入到三个串联的RRNL块进行特征提取，将最后一个RRNL块的输出结果作为第二特征；
将所述第二特征输入到RFB模块进行特征提取，得到所述局部特征。
进一步地，每个所述RRNL块由RRDB结构与Non-local结构串接而成，所述RRDB结构由三个残差堆叠块串联组成；
任意一个所述RRNL块的计算步骤包括：
将所述RRNL块的输入值输入到三个串联的所述残差堆叠块进行特征提取；
将最后一个所述残差堆叠块输出的特征输入到Non-local结构进行特征提取，将所述Non-local结构提取到的特征作为所述RRNL块的输出值。
进一步地，将最后一个所述残差堆叠块输出的特征输入到Non-local结构进行特征提取进一步包括：
将最后一个所述残差堆叠块输出的特征经过三个1×1的卷积层进行卷积计算，得到输入特征图；
将所述第一卷积结果分别输入到所述Non-local结构的value分支、key分支和query分支中进行计算，其中所述value分支用于将所述输入特征图映射到值特征图，得到计算每个像素位置的特征值，所述key分支用于通过卷积操作将所述输入特征图映射到键特征图，得到每个像素位置的键特征，所述query分支用于通过卷积操作将所述输入特征图映射到查询特征图，得到每个像素位置的查询特征；
将所述query分支输出的所述查询特征和key分支的输出所述键特征相乘，并将乘积结果输入到所述Non-local结构的softmax层进行归一化处理，得到所述输入特征图中一个像素位置与所述输入特征图中除该像素位置之外的其他像素位置之间的注意力地图；
将所述value分支输出的所述特征值与所述注意力地图相乘，得到所述Non-local结构提取到的特征。
进一步地，所述RFB模块包括三个分支，第一分支包括一个卷积核为1×1的卷积层、一个卷积核为3×3且rate为1的卷积层，第二分支包括一个卷积核为1×1的卷积层、一个卷积核为3×3的卷积层和一个卷积核为3×3且rate为3的卷积层，第三分支包括一个卷积核为1×1的卷积层、一个卷积核为5×5的卷积层和一个卷积核为3×3且rate为5的卷积层；
将所述第二特征输入到RFB模块进行特征提取，得到所述局部特征进一步包括：
将所述第二特征分别输入到第一分支、第二分支和第三分支进行计算；
将所述第一分支、第二分支和第三分支的计算结果输入到concatenation层进行特征拼接与融合；
将所述第三分支中第一层的1×1的卷积层的输出和所述concatenation层特征拼接与融合的结果输入到ReLU激活函数层进行计算，得到所述局部特征。
进一步地，所述损失值包括生成器网络损失值和判别器网络损失值；
计算生成器网络损失值的公式为：
GLoss＝Min(λaLa+λpLp+λiLi+λtvLtv)
其中，Gloss表示生成器网络损失值，λa、λp、λi、λtv均为常系数，La、Lp、Li、Ltv分别为对抗损失、感知损失、图像均方误差损失和总变分损失；
计算判别器网络损失值的公式为：
DLoss＝Max(D(xreal)-1-D(xfake))
其中，DLoss表示判别器网络损失值，Max表示求最大值，D表示判别器网络，xreal表示训练图像，xfake＝G(z)，xfake表示生成器网络根据训练图像xreal构建的重建图像，G表示生成器网络，z表示噪声。
基于同一发明构思，本说明书实施例还提供了一种图像重建方法，包括：
接收待重建图像的真实图像；
将所述真实图像输入到图像重建模型中进行处理，得到重建图像，其中所述图像重建模型是利用上述所述的图像重建模型的训练方法得到的。
另一方面，本说明书实施例还提供了一种图像重建模型的训练装置，所述装置包括：
生成器网络训练单元，用于将训练图像输入到生成器网络进行计算，得到重建图像，其中生成器网络包括全局特征提取、局部特征提取和图像重建，所述全局特征提取包括通过第一卷积层对训练图像进行全局特征提取，得到全局特征；所述局部特征提取包括通过由ResidualBlock块与三个RRNL块串联而成的密集感受野网络以及RFB模块对所述训练图像进行局部特征提取，得到局部特征；所述图像重建包括：对所述全局特征和局部特征进行图像重建，得到重建图像；
判别器网络训练单元，用于将所述重建图像和训练图像输入到判别器网络进行计算，得到判别结果；
损失值计算单元，用于根据所述训练图像、重建图像和判别结果计算损失值；
迭代训练单元，用于迭代上述步骤，直至损失值满足预定要求，将所述生成器网络作为图像重建模型。
基于同一发明构思，本说明书实施例还提供了一种图像重建装置，包括：
真实图像接收单元，用于接收待重建图像的真实图像；
图像重建单元，用于将所述真实图像输入到图像重建模型中进行处理，得到重建图像，其中所述图像重建模型是利用上述所述的图像重建模型的训练方法得到的。
最后，本说明书实施例还提供了一种计算机设备，包括存储器、处理器、以及存储在存储器上的计算机程序，处理器执行所述计算机程序时实现上述的方法。
通过本说明书实施例的方法，可以将合成孔径雷达技术(Synthetic ApertureRadar，SAR)获取到的包含经纬度与高程的管线光学遥感图像作为训练图像，利用包括ResidualBlock块与三个RRNL块串联而成的密集感受野网络提取管线光学遥感图像的图像深层特征，加入残差块(ResidualBlock)是指在神经网络中引入跳跃连接，使网络可以学习残差映射。在图像超分辨率中，高分辨率图像的细节和低频信息之间存在相关性。通过引入残差块，网络可以更好地捕捉和保留这些信息。这有助于在超分辨率过程中减少信息丢失，使生成的高分辨率图像更加准确，细节更丰富。并引入RFB机制来模拟人类视觉的感受野从而加强密集感受野网络的局部特征提取能力，Receptive Field(感受野)是指一个神经元对输入图像中特定区域的感受野。Receptive Field Block(RFB)模块扩大了神经网络中每个神经元的感受野，使其能够跨越更大的空间范围。在图像超分辨率中，增加感受野有助于网络捕捉更广泛的上下文信息，尤其是在恢复细节时。这有助于网络更好地理解图像的结构和纹理，从而提高超分辨率结果的质量。对管线光学遥感图像进行局部特征提取，使管线光学遥感图像的重建质量得到提升，并结合提取到的训练图像的全局特征对训练图像进行超分辨率重建，使得图像重建模型更容易捕获和识别油气管线等重要目标，可以更容易检测到管线的异常情况，如泄露、破损和腐蚀等，从而提高管线的安全性和监测效果，此外高分辨率的重建图像可以提供更详细的地理信息和地貌特征，有助于管线的规划和设计，使得管线规划和设计更加准确和可靠。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1所示为本说明书实施例中一种图像重建模型的训练方法的实施***示意图；
图2所示为本说明书实施例一种图像重建模型的训练方法的流程示意图；
图3所示为本说明书实施例中RRNL-SRGAN生成器网络的结构示意图；
图4所示为本说明书实施例中判别器网络的结构示意图；
图5所示为本说明书实施例中提取局部特征的步骤；
图6所示为本说明书实施例中RRNL块的结构示意图；
图7所示为本说明书实施例中RRDB块的结构示意图；
图8所示为本说明书实施例中Dense block的结构示意图；
图9所示为本说明书实施例中Non-local结构的示意图；
图10所示为本说明书实施例中RFB模块的结构示意图；
图11所示为本说明书实施例中一种图像重建模型训练装置的结构示意图；
图12所示为本说明书实施例中一种图像重建方法的流程示意图；
图13所示为本说明书实施例中一种图像重建装置的结构示意图；
图14所示为本说明书实施例中计算机设备的结构示意图；
图15所示为本说明书实施例中包含房屋、建筑的重建图像视觉效果对比；
图16所示为本说明书实施例中包含河流、绿地区域的重建图像视觉效果对比。
【附图标记说明】：
101、终端；
102、处理器；
1101、生成器网络训练单元；
1102、判别器网络训练单元；
1103、损失值计算单元；
1104、迭代训练单元；
1301、真实图像接收单元；
1302、图像重建单元；
1402、计算机设备；
1404、处理设备；
1406、存储资源；
1408、驱动机构；
1410、输入/输出模块；
1412、输入设备；
1414、输出设备；
1416、呈现设备；
1418、图形用户接口；
1420、网络接口；
1422、通信链路；
1424、通信总线。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书实施例一部分实施例，而不是全部的实施例。基于本说明书实施例中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书实施例保护的范围。
需要说明的是，本说明书实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本说明书实施例的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
如图1所示为本说明书实施例中一种图像重建模型的训练方法的实施***示意图，包括终端101和处理器102。终端101和服务器102之间可以通过网络进行通信，网络可以包括局域网(Local Area Network，简称为LAN)、广域网(Wide Area Network，简称为WAN)、因特网或其组合，并连接至网站、用户设备(例如计算设备)和后端***。
用户通过终端101向服务器102输入大量的训练图像，服务器102利用终端101输入的训练图像进行图像重建模型的训练，得到训练好的图像重建模型并存储。随后用户可以通过终端101想服务器102输入待重建的低分辨率的图像，服务器102利用存储的图像重建模型对待重建的低分辨率的图像进行处理，生成高分辨率的重建图像，最后服务器102将生成的高分辨率的重建图像通过终端101反馈给用户，以便于用户进行后续的处理。
此外，需要说明的是，图1所示的仅仅是本公开提供的一种应用环境，在实际应用中，还可以包括其他应用环境，本说明书不做限制。
具体地，本说明书实施例提供了一种图像重建模型的训练方法，建立一种非局部密集感受野生成对抗网络，提升油气输送管线遥感图像的分辨率，较好还原细节信息，大幅提升卫星遥感检测的精确度。图2所示为本说明书实施例一种图像重建模型的训练方法的流程示意图。在本图中描述了训练图像重建模型的过程。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的***或装置产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。具体的如图2所示，可以由服务器102执行，所述方法可以包括：
步骤201：将训练图像输入到生成器网络进行计算，得到重建图像；
在本步骤中，生成器网络包括全局特征提取、局部特征提取和图像重建，所述全局特征提取包括通过第一卷积层对训练图像进行全局特征提取，得到全局特征；所述局部特征提取包括通过由ResidualBlock块与三个RRNL(residual-in-residual non-localdense block)块串联而成的密集感受野网络以及RFB模块对所述全局特征进行局部特征提取，得到局部特征；所述图像重建包括：对所述全局特征和局部特征进行图像重建，得到重建图像；
步骤202：将所述重建图像和训练图像输入到判别器网络进行计算，得到判别结果；
步骤203：根据所述训练图像、重建图像和判别结果计算损失值；
步骤204：迭代上述步骤，直至损失值满足预定要求，将所述生成器网络作为图像重建模型。
通过本说明书实施例的方法，可以将合成孔径雷达技术(Synthetic ApertureRadar，SAR)获取到的包含经纬度与高程的管线光学摇感图像作为训练图像，利用包括ResidualBlock块与三个RRNL块串联而成的密集感受野网络提取管线光学摇感图像的图像深层特征，加入残差块(ResidualBlock)是指在神经网络中引入跳跃连接，使网络可以学习残差映射。在图像超分辨率中，高分辨率图像的细节和低频信息之间存在相关性。通过引入残差块，网络可以更好地捕捉和保留这些信息。这有助于在超分辨率过程中减少信息丢失，使生成的高分辨率图像更加准确，细节更丰富。并引入RFB机制来模拟人类视觉的感受野从而加强密集感受野网络的局部特征提取能力，Receptive Field(感受野)是指一个神经元对输入图像中特定区域的感受野。Receptive Field Block(RFB)模块扩大了神经网络中每个神经元的感受野，使其能够跨越更大的空间范围。在图像超分辨率中，增加感受野有助于网络捕捉更广泛的上下文信息，尤其是在恢复细节时。这有助于网络更好地理解图像的结构和纹理，从而提高超分辨率结果的质量。对管线光学遥感图像进行局部特征提取，使管线光学遥感图像的重建质量得到提升，并结合提取到的训练图像的全局特征对训练图像进行超分辨率重建，使得图像重建模型更容易捕获和识别油气管线等重要目标，可以更容易检测到管线的异常情况，如泄露、破损和腐蚀等，从而提高管线的安全性和监测效果，此外高分辨率的重建图像可以提供更详细的地理信息和地貌特征，有助于管线的规划和设计，使得管线规划和设计更加准确和可靠。
在本说明书实施例中，训练图像可以是利用SAR技术获取到的，为了确保训练的图像重建模型能够更好的对不同区域的管线光学摇感图像进行超分辨率重建，本说明书实施例的训练图像可以来自不同区域，从而提高训练图像的代表性。
然后对训练图像进行预处理，本说明书实施例中的预处理除了常规的去噪、去斑点和图像配准等操作外，还可以采用特定的预处理方法，例如滤波、极化校正、中值滤波、高斯滤波、直方图均衡化等等，从而消除训练图像中的伪迹和干扰，提高数据库质量。
然后对训练图像进行数据增强和数据拆分。
通过旋转、平移、翻转、添加噪声等操作，扩充图像数据集，增加图像重建模型的泛化能力。此外还可以通过随机翻转、随机旋转、随机平移、色彩扰动、随机加噪、混合样本、色彩空间变换等方式进行数据增强，本说明书实施例不做限制。
然后按照预定比例将大量的训练图像划分为训练集、验证集和测试集进行图像重建模型的训练，为了确保数据集的代表性和公平性，可以采用交叉验证的方法，以更好地评估图像重建模型的性能。
然后构建生成对抗网络，生成对抗网络结构基于SRGAN的生成器框架，主要分为三部分：全局特征提取、局部特征提取和图像重建。其中图像重构的是根据全局特征、局部特征以及通过网络获取到的图像信息，其原理是通过几个卷积层把调整训练图像的特征参数的维度，得到重构的图像。图像重构为本领域的常用方法，本说明书实施例不再赘述。
如图3所示为本说明书实施例中RRNL-SRGAN生成器网络的结构示意图。其中LR图像为降采样得到的低分辨率图像，也就是训练图像，然后经过标准2D卷积层进行卷积计算，例如通过9×9的卷积层对全局特征进行提取，得到全局特征。再经过PReLU激活函数层进行计算，然后经过由ResidualBlock块与三个RRNL块串联而成的密集感受野网络以及RFB模块对所述全局特征进行局部特征提取，然后经过Normalization层进行计算，最后经过Upsample层得到重建图像SR。
然后构建判别器网络，将重建图像和训练图像输入到判别器网络进行计算，得到判别结果。判别器网络用来区分真实的高分辨率图像和生成器网络生成的重建图像，本说明书实施例所述的判别器网络结构如图4所示，其中HR表示真是的高分辨率图像，SR表示重建图像，判别器网络主要由八个特征提取块(其中每个特征提取块主要由Conv、BN和LeakyReLU组成)组成，特征提取块中的卷积层由卷积核大小为3，填充为1，步长为1或2的卷积交替构成，把特征映射从64增加至1024，并在鉴别器的末端，通过一个自适应平均池化层和LeakyReLU函数得到最后的鉴别结果。
然后根据所述训练图像、重建图像和判别结果计算损失值；迭代上述步骤，直至损失值满足预定要求，将所述生成器网络作为图像重建模型。其中，迭代训练的次数也可以人为设置，损失值用来评估图像重建模型的正确度，促使图像重建模型向着正确的方向训练学习。
根据本说明书的一个实施例，如图5所示，通过由ResidualBlock与三个RRNL块串联而成的密集感受野网络以及RFB模块对所述全局特征进行局部特征提取，得到局部特征进一步包括：
步骤501：将所述全局特征输入到ResidualBlock块进行特征提取，得到第一特征；
步骤502：将所述第一特征输入到三个串联的RRNL块进行特征提取，将最后一个RRNL块的输出结果作为第二特征；
步骤503：将所述第二特征输入到RFB模块进行特征提取，得到所述局部特征。
在本说明书实施例中，ResidualBlock模块相比原始SRGAN结构，参考ESRGAN的做法去除批量归一化(BN)层来减小伪影的引入从而提升网络的泛化能力。继续如图1所示，三个串联的RRNL块的中，上一个RRNL块的输出作为下一个RRNL块的输入，将最后一个RRNL块的输出结果作为第二特征，然后再经过RFB模块进行特征提取，得到所述局部特征。
根据本说明书的一个实施例，RRNL块的结构示意图如图6所示，每个所述RRNL块由RRDB结构与Non-local结构串接而成，其中RRDB块的结构示意图如图7所示，所述RRDB结构由三个残差堆叠块(Dense block)串联组成，并密集连接使网络容量得到了有效扩充。Dense block块的结构示意图如图8所示。
任意一个所述RRNL块的计算步骤包括：
将所述RRNL块的输入值输入到三个串联的所述残差堆叠块进行特征提取；
将最后一个所述残差堆叠块输出的特征输入到Non-local结构进行特征提取，将所述Non-local结构提取到的特征作为所述RRNL块的输出值。
进一步地，Non-local结构的示意图如图9所示，Non-local结构通过非局部操作直接计算两个位置之间的关系来快速捕获长范围依赖。Non-local模块用于建模像素之间的长程关系，无论它们在图像中的距离有多远。在图像超分辨率中，像素之间的关系对于恢复丢失的高频细节非常重要。通过Non-local模块，网络可以更好地理解不同像素之间的依赖关系，从而更准确地恢复细节。这有助于生成更自然、更清晰的高分辨率图像。
将最后一个所述残差堆叠块输出的特征输入到Non-local结构进行特征提取进一步包括：
将最后一个所述残差堆叠块输出的特征经过三个1×1的卷积层进行卷积计算，得到输入特征图；
将所述第一卷积结果分别输入到所述Non-local结构的value分支、key分支和query分支中进行计算：
其中，所述value分支用于将所述输入特征图映射到值特征图，得到计算每个像素位置的特征值，这个特征图包含了原始图像中不同位置的特征表示，在计算注意力加权值时，这些值特征(value)将与注意力分布相乘，以计算加权值；
所述key分支用于通过卷积操作将所述输入特征图映射到键特征图，得到每个像素位置的键特征，其中每个像素位置对应一个键特征，这些键特征用于计算注意力分布。键特征包含了像素之间的关联信息；
所述query分支用于通过卷积操作将所述输入特征图映射到查询特征图，得到每个像素位置的查询特征，其中每个像素位置对应一个查询特征，这些查询特征用于计算注意力分布。查询特征用于衡量像素之间的关联度；
将所述query分支输出的所述查询特征和key分支的输出所述键特征reshape之后进行矩阵乘，得到关系矩阵，并将乘积结果(关系矩阵)输入到所述Non-local结构的softmax层进行归一化处理，得到所述输入特征图中一个像素位置与所述输入特征图中除该像素位置之外的其他像素位置之间的注意力地图(attention map)；
将所述value分支输出的所述特征值与所述注意力地图相乘，得到所述Non-local结构提取到的特征，输出结果中每个点的特征都通过attention map与其他所有的点相关，从而拥有全局上下文信息。
并在最后引入RFB机制来模拟人类视觉的感受野从而加强网络的特征提取能力。RFB结构整体借鉴了Inception，用稀疏连接取代密集链接，并额外引入3个dilated卷积层，具体地，RFB模块的结构示意图如图10所示，所述RFB模块包括三个分支，第一分支包括一个卷积核为1×1的卷积层、一个卷积核为3×3且rate为1的卷积层，第二分支包括一个卷积核为1×1的卷积层、一个卷积核为3×3的卷积层和一个卷积核为3×3且rate为3的卷积层，第三分支包括一个卷积核为1×1的卷积层、一个卷积核为5×5的卷积层和一个卷积核为3×3且rate为5的卷积层；
将所述第二特征输入到RFB模块进行特征提取，得到所述局部特征进一步包括：
将所述第二特征分别输入到第一分支、第二分支和第三分支进行计算；
将所述第一分支、第二分支和第三分支的计算结果输入到concatenation层进行特征拼接与融合；
将所述第三分支中第一层的1×1的卷积层的输出通过shortcut操作从第一层1×1卷积层跨过中间三层网络得到的输出和所述concatenation层特征拼接与融合的结果输入到ReLU激活函数层进行计算，得到所述局部特征。
根据本说明书的一个实施例，所述损失值包括生成器网络损失值和判别器网络损失值。
计算生成器网络损失值的公式为公式(1)：
GLoss＝Min(λaLa+λpLp+λiLi+λtvLtv) (1)
其中，Gloss表示生成器网络损失值，λa、λp、λi、λtv均为常系数，在本说明书实施例中依次设定为0.001、0.006、1、2e-8。La、Lp、Li、Ltv分别为对抗损失、感知损失、图像均方误差损失和总变分损失；
其中对抗损失La的公式为(2)：
其中，xreal为输入的真实图像信息，xfake为生成器网络生成的重建图像，表示对训练图像取均值，/>表示对重建图像取均值，/>表示通过鉴别器/>求重建图像xfake与真实图像xreal之间的差距，/>表示通过鉴别器/>求重构图像xfake与真实图像xreal之间的差距。Log函数的值是从判别器网络得到的输出，通常是一个表示判别器对输入样本的判别结果的值，这个值可以是一个概率值或是一个分数。
判别器是通过不断训练的判别网络，对于输入值(图像)经过判别器(判别网络)，可输出一个值。
感知损失Lp的公式为(3)：
其中，(xfake)i表示第i张重建图像，(xreal)i表示第i张真实图像，Vgg(·)表示损失网络，本说明书实施例所述的损失网络为VGG-19预训练网络，N为训练批量大小，表示在一次迭代中用于更新模型权重的样本数量，||||1表示L1范数。
图像均方误差Li的公式为(4)：
其中，N为训练批量大小，表示在一次迭代中用于更新模型权重的样本数量，||||1表示L1范数，(xfake)i表示第i张重建图像，(xreal)i表示第i张真实图像。
总变分损失的公式Ltv为(5)：
/>
其中，xi,j为图像中第i行第j列像素，xi,j-1为其左方像素，xi+1,j为其下方像素，总变分损失即为求每个像素与其左方像素和下方像素的差的平方相加再开根号的和。
计算判别器网络损失值的公式为(6)：
DLoss＝Max(D(xreal)-1-D(xfake)) (6)
其中，DLoss表示判别器网络损失值，Max表示求最大值，D表示判别器网络，xreal表示训练图像，xfake＝G(z)，xfake表示生成器网络根据训练图像xreal构建的重建图像，G表示生成器网络，z表示噪声。
根据本说明书的一个实施例，在图像重建模型的训练过程中使用Nadam优化器，并随着训练迭代次数的增加，对学习率进行变化，以稳定训练过程。
根据本说明书的一个实施例，为了验证训练的图像重建模型的可行性，选择峰值信噪比(Peak Signal to Noise Ratio，PSNR)和结构相似度(Structural SimilarityIndex Measure，SSIM)这两个指标评价模型的可行性。
具体地，PSNR是一种衡量图像质量的指标，表示信号最大可能功率与影响它的表示精度的破坏性噪声功率的比值，其通过MSE(均方误差)得来，MSE具体公式如(7)所示：
其中m、n、I、K含义为两个m×n的单色图像I与K，其中一个为另外一个的噪声近似，m和n表示图像的像素坐标。
PSNR具体公式如下(8)所示：
其中，MAXI表示图像点颜色的最大数值，如果每个采样点用8位表示，那么就是255。所以MSE越小，则PSNR越大，一般而言PSNR越大，代表着图像质量越好。
SSIM是一种衡量两幅图片相似度的指标，其输入为两张图像，一张为无失真图像，一张为恢复图像，另这两张图像分别为x和y，SSIM公式如下(9)：
SSIM(x,y)＝[l(x,y)]α[c(x,y)]β[s(x,y)]γ (9)
其中，α、β、γ均大于0。l(x,y)、c(x,y)、s(x,y)分别为亮度比较、对比度比较和结构比较，具体公式如下(10)-(12)：
其中，μx，μy为x，y的平均值，σx，σy为x，y的标准差，σxy为x，y的协方差，c1、c2、c3为常数，用于避免分母为0，在实际工程中一般另α＝β＝γ＝1，c3＝c2/2，将SSIM简化为如下(13)的形式：
由此可见SSIM是一个0到1之间的数，越接近1表示输出图像和无失真图像的差距越小。
不同方法下的PSNR与SSIM均值如表1所示：
表1不同方法下的PSNR与SSIM均值
在主观效果上，通过图像以更加直观的展示文提出的非局部密集感受野生成对抗模型对于木姐管线遥感图像的重建效果，图15-16展示了各超分辨率算法针对该管线的遥感图像重建对比结果，其中图15中的(a)～(c)、图16中的(d)～(f)为输入图像，图15中的(a1)～(c1)、图16中的(d1)～(f1)为通过bicubic算法重建图像，图15中的(a2)～(c2)、图16中的(d2)～(f2)为通过nearest算法重建图像，图15中的(a3)～(c3)、图16中的(d3)～(f3)为通过srcnn重建图像，图15中的(a4)～(c4)、图16中的(d4)～(f4)为通过srgan重建图像，图15中的(a5)～(c5)、图16中的(d5)～(f5)为本文所提出模型重建图像。图15是包含了房屋、建筑的重建图像视觉效果对比图，图15中的(a)是包括圆桶、房屋、绿地的遥感图像,由图可看出图15中的(a1)、(a2)、(a3)对于圆桶的边缘处理非常模糊，图15中的(a4)、(a5)较好的还原了圆桶的边缘信息,同时无论是房顶网格划分还是圆桶边缘区域，图15中的(a5)相对于图15中的(a4)纹理更加清晰逼真；图15中的(b)是包括居住场地与房屋的遥感图像，图15中的(b1)、(b2)、(b3)对于场地纹路的处理相当模糊，图15中的(b4)、(b5)感官更为真实的还原了场地上的白色纹路，同时图15中的(b5)相比于图15中的(b4)对于房屋的边缘分界处理更为清晰；图15中的(c)为包含房屋与道路的遥感图像，相比于图15中的(c1)、(c2)、(c3)、(c4)，图15中的(c5)所展现的内容更为清晰，边界分明，更加符合人眼观看习惯。
图16是包含了河流、绿地区域的重建图像视觉效果对比图，由图16可以看出本文提出的算法相比于其他算法拥有更好的纹理提取，如图16中(d)是包括水洼与田地的遥感图像，相比于图16中的(d1)、(d2)、(d3)，图16中的(d4)、(d5)对于水面与土地间的处理更为界限分明，同时本文提出的算法图16中的(d5)相比于改进前算法图16中的(d4)，对于田地上耕种的纹理的重建更为真实清晰；图16中的(e)是包括水洼与绿地区域的遥感图像，从图中可明显感受出图16中的(e5)相较于前四幅图重建效果更为明显；图16中的(f)为梯田遥感图像，通过bicubic、nearest、srcnn算法得到的重建图像在细节纹理上表现一般，处理过于平滑，其视觉效果远不如本文所提出模型重建得到的图像，具体如图16中的(f5)所示，较为真实的还原了梯田的分层状况。
此外，也可以通过人工主观评价或专家评估来验证重构图像的质量和真实感，本说明书实施例不做限制。
基于同一发明构思，本说明书实施例还提供了一种图像重建模型的训练装置，如图11所示，包括：
生成器网络训练单元1101，用于将训练图像输入到生成器网络进行计算，得到重建图像，其中生成器网络包括全局特征提取、局部特征提取和图像重建，所述全局特征提取包括通过第一卷积层对训练图像进行全局特征提取，得到全局特征；所述局部特征提取包括通过由ResidualBlock块与三个RRNL块串联而成的密集感受野网络以及RFB模块对所述全局特征进行局部特征提取，得到局部特征；所述图像重建包括：对所述全局特征和局部特征进行图像重建，得到重建图像；
判别器网络训练单元1102，用于将所述重建图像和训练图像输入到判别器网络进行计算，得到判别结果；
损失值计算单元1103，用于根据所述训练图像、重建图像和判别结果计算损失值；
迭代训练单元1104，用于迭代上述步骤，直至损失值满足预定要求，将所述生成器网络作为图像重建模型。
由于上述装置解决问题的原理与上述方法相似，因此上述装置的实施可以参见上述方法的实施，重复之处不再赘述。
基于同一发明构思，本说明书实施例还提供了一种图像重建方法，如图12所示，所述方法包括：
步骤1201：接收待重建图像的真实图像；
步骤1202：将所述真实图像输入到图像重建模型中进行处理，得到重建图像。
在本步骤中，图像重建模型是利用上述所述的图像重建模型的训练方法得到的。
在本说明书实施例中，首先对待重建图像的真实图像进行去噪、去斑点、滤波等预处理，然后将预处理后的图像输入到图像重建模型中进行处理，生成重构图像。
基于同一发明构思，本说明书实施例还提供了一种图像重建装置，如图13所示，包括：
真实图像接收单元1301，用于接收待重建图像的真实图像；
图像重建单元1302，用于将所述真实图像输入到图像重建模型中进行处理，得到重建图像，其中所述图像重建模型是利用上述所述的图像重建模型的训练方法得到的。
由于上述装置解决问题的原理与上述方法相似，因此上述装置的实施可以参见上述方法的实施，重复之处不再赘述。
如图14所示为本说明书实施例计算机设备的结构示意图，本说明书中的装置可以为本实施例中的计算机设备，执行上述本说明书中的方法。计算机设备1402可以包括一个或多个处理设备1404，诸如一个或多个中央处理单元(CPU)，每个处理单元可以实现一个或多个硬件线程。计算机设备1402还可以包括任何存储资源1406，其用于存储诸如代码、设置、数据等之类的任何种类的信息。非限制性的，比如，存储资源1406可以包括以下任一项或多种组合：任何类型的RAM，任何类型的ROM，闪存设备，硬盘，光盘等。更一般地，任何存储资源都可以使用任何技术来存储信息。进一步地，任何存储资源可以提供信息的易失性或非易失性保留。进一步地，任何存储资源可以表示计算机设备1402的固定或可移除部件。在一种情况下，当处理设备1404执行被存储在任何存储资源或存储资源的组合中的相关联的指令时，计算机设备1402可以执行相关联指令的任一操作。计算机设备1402还包括用于与任何存储资源交互的一个或多个驱动机构1408，诸如硬盘驱动机构、光盘驱动机构等。
计算机设备1402还可以包括输入/输出模块1410(I/O)，其用于接收各种输入(经由输入设备1412)和用于提供各种输出(经由输出设备1414)。一个具体输出机构可以包括呈现设备1416和相关联的图形用户接口(GUI)1418。在其他实施例中，还可以不包括输入/输出模块1410(I/O)、输入设备1412以及输出设备1414，仅作为网络中的一台计算机设备。计算机设备1402还可以包括一个或多个网络接口1420，其用于经由一个或多个通信链路1422与其他设备交换数据。一个或多个通信总线1424将上文所描述的部件耦合在一起。
通信链路1422可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信链路1422可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。
本说明书实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
本说明书实施例还提供一种计算机可读指令，其中当处理器执行所述指令时，其中的程序使得处理器执行上述方法。
应理解，在本说明书实施例的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本说明书实施例的实施过程构成任何限定。
还应理解，在本说明书实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本说明书实施例中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本说明书实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本说明书实施例的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本说明书实施例所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本说明书实施例方案的目的。
另外，在本说明书实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书实施例中应用了具体实施例对本说明书实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本说明书实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本说明书实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本说明书实施例的限制。
Claims (10)
1.一种图像重建模型的训练方法，其特征在于，所述方法包括：
将训练图像输入到生成器网络进行计算，得到重建图像，其中生成器网络包括全局特征提取、局部特征提取和图像重建，所述全局特征提取包括通过第一卷积层对训练图像进行全局特征提取，得到全局特征；所述局部特征提取包括通过由ResidualBlock块与三个RRNL块串联而成的密集感受野网络以及RFB模块对所述全局特征进行局部特征提取，得到局部特征；所述图像重建包括：对所述全局特征和局部特征进行图像重建，得到重建图像；
将所述重建图像和训练图像输入到判别器网络进行计算，得到判别结果；
根据所述训练图像、重建图像和判别结果计算损失值；
迭代上述步骤，直至损失值满足预定要求，将所述生成器网络作为图像重建模型。
2.根据权利要求1所述的方法，其特征在于，通过由ResidualBlock块与三个RRNL块串联而成的密集感受野网络以及RFB模块对所述全局特征进行局部特征提取，得到局部特征进一步包括：
将所述全局特征输入到ResidualBlock块进行特征提取，得到第一特征；
将所述第一特征输入到三个串联的RRNL块进行特征提取，将最后一个RRNL块的输出结果作为第二特征；
将所述第二特征输入到RFB模块进行特征提取，得到所述局部特征。
3.根据权利要求2所述的方法，其特征在于，每个所述RRNL块由RRDB结构与Non-local结构串接而成，所述RRDB结构由三个残差堆叠块串联组成；
任意一个所述RRNL块的计算步骤包括：
将所述RRNL块的输入值输入到三个串联的所述残差堆叠块进行特征提取；
将最后一个所述残差堆叠块输出的特征输入到Non-local结构进行特征提取，将所述Non-local结构提取到的特征作为所述RRNL块的输出值。
4.根据权利要求3所述的方法，其特征在于，将最后一个所述残差堆叠块输出的特征输入到Non-local结构进行特征提取进一步包括：
将最后一个所述残差堆叠块输出的特征经过三个1×1的卷积层进行卷积计算，得到输入特征图；
将所述第一卷积结果分别输入到所述Non-local结构的value分支、key分支和query分支中进行计算，其中所述value分支用于将所述输入特征图映射到值特征图，得到计算每个像素位置的特征值，所述key分支用于通过卷积操作将所述输入特征图映射到键特征图，得到每个像素位置的键特征，所述query分支用于通过卷积操作将所述输入特征图映射到查询特征图，得到每个像素位置的查询特征；
将所述query分支输出的所述查询特征和key分支的输出所述键特征相乘，并将乘积结果输入到所述Non-local结构的softmax层进行归一化处理，得到所述输入特征图中一个像素位置与所述输入特征图中除该像素位置之外的其他像素位置之间的注意力地图；
将所述value分支输出的所述特征值与所述注意力地图相乘，得到所述Non-local结构提取到的特征。
5.根据权利要求3所述的方法，其特征在于，所述RFB模块包括三个分支，第一分支包括一个卷积核为1×1的卷积层、一个卷积核为3×3且rate为1的卷积层，第二分支包括一个卷积核为1×1的卷积层、一个卷积核为3×3的卷积层和一个卷积核为3×3且rate为3的卷积层，第三分支包括一个卷积核为1×1的卷积层、一个卷积核为5×5的卷积层和一个卷积核为3×3且rate为5的卷积层；
将所述第二特征输入到RFB模块进行特征提取，得到所述局部特征进一步包括：
将所述第二特征分别输入到第一分支、第二分支和第三分支进行计算；
将所述第一分支、第二分支和第三分支的计算结果输入到concatenation层进行特征拼接与融合；
将所述第三分支中第一层的1×1的卷积层的输出和所述concatenation层特征拼接与融合的结果输入到ReLU激活函数层进行计算，得到所述局部特征。
6.根据权利要求1所述的方法，其特征在于，所述损失值包括生成器网络损失值和判别器网络损失值；
计算生成器网络损失值的公式为：
GLoss＝Min(λaLa+λpLp+λiLi+λtvLtv)
其中，Gloss表示生成器网络损失值，λa、λp、λi、λtv均为常系数，La、Lp、Li、Ltv分别为对抗损失、感知损失、图像均方误差损失和总变分损失；
计算判别器网络损失值的公式为：
DLoss＝Max(D(xreal)-1-D(xfake))
其中，DLoss表示判别器网络损失值，Max表示求最大值，D表示判别器网络，xreal表示训练图像，xfake＝G(z)，xfake表示生成器网络根据训练图像xreal构建的重建图像，G表示生成器网络，z表示噪声。
7.一种图像重建方法，其特征在于，所述方法包括：
接收待重建图像的真实图像；
将所述真实图像输入到图像重建模型中进行处理，得到重建图像，其中所述图像重建模型是利用权利要求1-6任意一项所述的图像重建模型的训练方法得到的。
8.一种图像重建模型的训练装置，其特征在于，所述装置包括：
生成器网络训练单元，用于将训练图像输入到生成器网络进行计算，得到重建图像，其中生成器网络包括全局特征提取、局部特征提取和图像重建，所述全局特征提取包括通过第一卷积层对训练图像进行全局特征提取，得到全局特征；所述局部特征提取包括通过由ResidualBlock块与三个RRNL块串联而成的密集感受野网络以及RFB模块对所述全局特征进行局部特征提取，得到局部特征；所述图像重建包括：对所述全局特征和局部特征进行图像重建，得到重建图像；
判别器网络训练单元，用于将所述重建图像和训练图像输入到判别器网络进行计算，得到判别结果；
损失值计算单元，用于根据所述训练图像、重建图像和判别结果计算损失值；
迭代训练单元，用于迭代上述步骤，直至损失值满足预定要求，将所述生成器网络作为图像重建模型。
9.一种图像重建装置，其特征在于，所述装置包括：
真实图像接收单元，用于接收待重建图像的真实图像；
图像重建单元，用于将所述真实图像输入到图像重建模型中进行处理，得到重建图像，其中所述图像重建模型是利用权利要求1-6任意一项所述的图像重建模型的训练方法得到的。
10.一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311142367.2A CN117422619A (zh) | 2023-09-06 | 2023-09-06 | 图像重建模型的训练方法、图像重建方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311142367.2A CN117422619A (zh) | 2023-09-06 | 2023-09-06 | 图像重建模型的训练方法、图像重建方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117422619A true CN117422619A (zh) | 2024-01-19 |
Family
ID=89531439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311142367.2A Pending CN117422619A (zh) | 2023-09-06 | 2023-09-06 | 图像重建模型的训练方法、图像重建方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117422619A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876692A (zh) * | 2024-03-11 | 2024-04-12 | 中国石油大学(华东) | 一种特征加权连接引导的单图遥感图像去噪方法 |
-
2023
- 2023-09-06 CN CN202311142367.2A patent/CN117422619A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876692A (zh) * | 2024-03-11 | 2024-04-12 | 中国石油大学(华东) | 一种特征加权连接引导的单图遥感图像去噪方法 |
| CN117876692B (zh) * | 2024-03-11 | 2024-05-17 | 中国石油大学(华东) | 一种特征加权连接引导的单图遥感图像去噪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898560B (zh) | 基于三维卷积神经网络的岩心ct图像超分辨率重建方法 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN110074813B (zh) | 一种超声图像重建方法及*** | |
| CN111259898A (zh) | 基于无人机航拍图像的农作物分割方法 | |
| CN109872305B (zh) | 一种基于质量图生成网络的无参考立体图像质量评价方法 | |
| CN111259853A (zh) | 一种高分辨率遥感图像变化检测方法、***及装置 | |
| CN111784560A (zh) | 基于级联残差生成对抗网络的sar和光学图像双向翻译方法 | |
| CN113538246B (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN113129272A (zh) | 一种基于去噪卷积自编码器的缺陷检测方法及装置 | |
| CN114742733A (zh) | 云去除方法、装置、计算机设备和存储介质 | |
| CN116310883B (zh) | 基于遥感图像时空融合的农业灾害预测方法及相关设备 | |
| CN117422619A (zh) | 图像重建模型的训练方法、图像重建方法、装置及设备 | |
| CN113989100A (zh) | 一种基于样式生成对抗网络的红外纹理样本扩充方法 | |
| CN114565594A (zh) | 基于软掩膜对比损失的图像异常检测方法 | |
| CN106845343A (zh) | 一种光学遥感图像海上平台自动检测方法 | |
| CN117788296B (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
| CN114663880A (zh) | 基于多层级跨模态自注意力机制的三维目标检测方法 | |
| CN113781311A (zh) | 一种基于生成对抗网络的图像超分辨率重建方法 | |
| CN116091492B (zh) | 一种图像变化像素级检测方法与*** | |
| Gerg et al. | Real-time, deep synthetic aperture sonar (SAS) autofocus | |
| CN111047525A (zh) | Sar遥感图像到光学遥感图像的翻译方法 | |
| CN114764880B (zh) | 多成分gan重建的遥感图像场景分类方法 | |
| CN115100091A (zh) | 一种sar图像转光学图像的转换方法及装置 | |
| CN115760603A (zh) | 一种基于大数据技术的干涉阵列宽带成像方法 | |
| CN116091893A (zh) | 一种基于U-net网络的地震图像反褶积方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |