CN111861888A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111861888A
CN111861888A CN202010733118.0A CN202010733118A CN111861888A CN 111861888 A CN111861888 A CN 111861888A CN 202010733118 A CN202010733118 A CN 202010733118A CN 111861888 A CN111861888 A CN 111861888A
Authority
CN
China
Prior art keywords
image
feature
feature data
data
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010733118.0A
Other languages
English (en)
Inventor
董润敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202010733118.0A priority Critical patent/CN111861888A/zh
Publication of CN111861888A publication Critical patent/CN111861888A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及图像处理领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。图像处理方法包括：获取待处理的原始图像以及与原始图像对应的参考图像；参考图像的分辨率高于原始图像；对原始图像进行特征提取得到第一特征集；对参考图像进行特征提取得到第二特征集；根据第一特征集和第二特征集进行特征对齐，得到具有多个不同图像尺度的多个对齐特征数据；将多个对齐特征数据与原始图像进行特征融合，得到处理后的目标图像。通过不同尺度的特征数据利用金字塔级联逐层级的进行特征对齐，有效将参考图像特征匹配到原始图像的对应位置，减少或消除拍摄角度或者拍摄时间不同带来的影响，在图像的超分过程中，更加有效地结合参考图像特征。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
图像的超分辨率重建，是指将低分辨率的原始图像重建为较高分辨率图像的过程，从而可以从高分辨率图像中获得更多的图像信息。图像的超分辨率研究主要可分为单景重建(SISR)和多景重建(MISR)，多景重建是使用同一场景的多个低分辨率图像(LR)，利用它们之间的互补信息来重建得到高分辨率图像(HR)，但是在实际应用中，往往无法获得多个LR图像，因此需要使用有限的LR信息来重建HR图像，即单景重建。
相关技术中，基于参考影像的图像单景超分辨率方法中，在一些场景下，高分辨率参考图像的图像特征难以充分有效的结合至LR图像中，导致图像的超分辨率效果较为一般。
发明内容
为提高图像超分辨率处理的效果，本公开实施方式提供了一种图像处理方法、装置、电子设备及存储介质。
第一方面，本公开实施方式提供了一种图像处理方法，包括：
获取待处理的原始图像以及与所述原始图像对应的参考图像；所述参考图像的分辨率高于所述原始图像；
对所述原始图像进行特征提取得到第一特征集；所述第一特征集包括具有多个不同图像尺度的第一特征数据；所述第一特征数据包括所述原始图像的图像特征数据和梯度特征数据；
对所述参考图像进行特征提取得到第二特征集；所述第二特征集包括具有所述多个不同图像尺度的第二特征数据；所述第二特征数据包括所述参考图像的图像特征数据和梯度特征数据；
根据所述第一特征集和所述第二特征集进行特征对齐，得到具有所述多个不同图像尺度的多个对齐特征数据；
将所述多个对齐特征数据与所述原始图像进行特征融合，得到处理后的目标图像。
在一些实施方式中，所述对所述参考图像进行特征提取得到第二特征集，包括：
对所述参考图像进行重采样，得到所述参考图像的重采样图像；
对所述重采样图像进行特征提取，得到具有所述多个不同图像尺度的第三特征数据；所述第三特征数据包括所述重采样图像的图像特征数据和梯度特征数据；
根据具有所述多个不同图像尺度的所述第二特征数据和具有所述多个不同图像尺度的所述第三特征数据，得到所述第二特征集。
在一些实施方式中，所述根据具有所述多个不同图像尺度的所述第二特征数据和具有所述多个不同图像尺度的第三特征数据，得到所述第二特征集，包括：
对所述参考图像进行特征提取，得到具有所述多个不同图像尺度的所述参考图像的图像特征和梯度特征；将具有同一图像尺度的所述参考图像的图像特征与梯度特征通道结合，得到所述参考图像的所述第二特征数据；
对所述参考图像的重采样图像进行特征提取，得到具有所述多个不同图像尺度的所述重采样图像的图像特征和梯度特征；将具有同一图像尺度的所述重采样图像的图像特征与梯度特征通道结合，得到所述重采样图像的所述第三特征数据；
根据具有所述多个不同图像尺度的所述第二特征数据和具有所述多个不同图像尺度的所述第三特征数据，得到所述第二特征集。
在一些实施方式中，所述对所述原始图像进行特征提取得到第一特征集，包括：
对所述原始图像进行特征提取，得到具有多个不同图像尺度的所述原始图像的图像特征和梯度特征；将具有同一图像尺度的所述原始图像的图像特征与梯度特征通道结合，得到所述原始图像的所述第一特征数据；根据具有所述多个不同图像尺度的所述第一特征数据，得到所述第一特征集。
在一些实施方式中，所述第二特征集还包括具有所述多个不同图像尺度的第三特征数据，所述第三特征数据包括所述重采样图像的图像特征数据和梯度特征数据；
根据所述第一特征集和所述第二特征集进行特征对齐，得到具有所述多个不同图像尺度的多个对齐特征数据，包括：
根据所述第一特征集中的所述第一特征数据，以及第二特征集中与所述第一特征数据具有相同图像尺度的所述第三特征数据，得到特征偏移量；
根据所述特征偏移量和第二特征集中与所述第一特征数据具有相同图像尺度的所述第二特征数据，得到所述对齐特征数据。
在一些实施方式中，根据所述第一特征集和所述第二特征集进行特征对齐，得到具有所述多个不同图像尺度的多个对齐特征数据，还包括：
根据所述第一特征集中具有第一图像尺度的所述第一特征数据，以及第二特征集中具有所述第一图像尺度的所述第三特征数据，得到第一特征偏移量；
根据所述第一特征偏移量和第二特征集中具有所述第一图像尺度的所述第二特征数据，进行可变形卷积调节，得到第一对齐特征数据；
根据所述第一特征集中具有第二图像尺度的第一特征数据、第二特征集中具有所述第二图像尺度的所述第三特征数据、以及上采样卷积后的所述第一特征偏移量，得到第二特征偏移量；
根据所述第二特征偏移量、第二特征集中具有所述第二图像尺度的所述第二特征数据、以及上采样卷积后的所述第一对齐特征数据，进行可变形卷积调节，得到第二对齐特征数据；
依据图像尺度由小到大的顺序依次执行上述步骤，直到获得与所述参考图像具有相同图像尺度的对齐特征数据。
在一些实施方式中，所述将所述多个对齐特征数据与所述原始图像进行特征融合，得到处理后的目标图像，包括：
获取所述原始图像的第一图像特征数据，以及与所述原始图像具有相同图像尺度的第一对齐特征数据；
将所述第一对齐特征数据与所述第一图像特征数据进行融合处理，得到第一融合特征数据；
获取上采样卷积后的第一融合特征数据，以及与上采样卷积后的第一融合特征数据具有相同图像尺度的第二对齐特征数据；
将第二对齐特征数据与所述上采样卷积后的第一融合特征数据进行融合处理，得到第二融合特征数据；
依据图像尺度由小到大的顺序依次执行上述步骤，直到获得与所述参考图像具有相同图像尺度的所述目标图像。
在一些实施方式中，所述的方法，还包括：
获取图像样本集；所述图像样本集中的每一个样本包括原始样本图像、参考样本图像以及目标样本图像；
将所述图像样本集输入图像处理网络，得到所述图像处理网络处理后的输出图像；所述图像处理网络用于对所述原始样本图像和所述参考样本图像进行特征提取，分别得到第一特征集和第二特征集；根据所述第一特征集和所述第二特征集进行特征对齐，得到多个对齐特征数据；将所述多个对齐特征数据与所述原始样本图像进行特征融合，得到所述输出图像；
获取所述输出图像与所述目标样本图像之间的损失，并根据所述损失调整所述图像处理网络的网络参数，直至所述损失满足收敛条件。
在一些实施方式中，在对所述原始样本图像和所述参考样本图像进行特征提取之前，还包括：
对所述原始样本图像进行上采样，得到与所述参考样本图像具有相同图像尺度的上采样图像；将所述上采样图像中的部分图像，与所述参考样本图像中对应相同位置和大小的部分图像进行图像交换；
对所述参考样本图像进行下采样，得到与所述原始样本图像具有相同图像尺度的下采样图像；将所述下采样图像中的部分图像，与所述原始样本图像中对应相同位置和大小的部分图像进行图像交换。
在一些实施方式中，获取所述输出图像与所述目标样本图像之间的损失，并根据所述损失调整网络参数，包括：
获取所述目标样本图像的梯度图像，以及所述输出图像的梯度图像；
确定所述目标样本图像的梯度图像与所述输出图像的梯度图像的梯度损失，根据所述梯度损失调整网络参数。
在一些实施方式中，所述梯度损失包括以下中至少之一：
梯度图像的像素级损失；或者，梯度图像的对抗损失。
在一些实施方式中，所述原始图像和所述参考图像为遥感图像。
第二方面，本公开实施方式提供了一种图像处理装置，包括：
第一获取模块，用于获取待处理的原始图像以及与所述原始图像对应的参考图像；所述参考图像的分辨率高于所述原始图像；
第一特征提取模块，用于对所述原始图像进行特征提取得到第一特征集；所述第一特征集包括具有多个不同图像尺度的第一特征数据；所述第一特征数据包括所述原始图像的图像特征数据和梯度特征数据；
第二特征提取模块，用于对所述参考图像进行特征提取得到第二特征集；所述第二特征集包括具有所述多个不同图像尺度下的第二特征数据；所述第二特征数据包括所述参考图像的图像特征数据和梯度特征数据；
特征对齐模块，用于根据所述第一特征集和所述第二特征集进行特征对齐，得到具有所述多个不同图像尺度的多个对齐特征数据；
特征融合模块，用于将所述多个对齐特征数据与所述原始图像进行特征融合，得到处理后的目标图像。
在一些实施方式中，所述第二特征提取模块还用于：
对所述参考图像进行重采样，得到所述参考图像的重采样图像；
对所述重采样图像进行特征提取，得到具有所述多个不同图像尺度下的第三特征数据；所述第三特征数据包括重采样图像的图像特征数据和梯度特征数据；
根据具有所述多个不同图像尺度的所述第二特征数据和具有所述多个不同图像尺度的所述第三特征数据，得到所述第二特征集。
在一些实施方式中，所述第二特征提取模块在用于根据具有所述多个不同图像尺度的所述第二特征数据和具有所述多个不同图像尺度的第三特征数据，得到所述第二特征集时，具体用于：
对所述参考图像进行特征提取，得到具有所述多个不同图像尺度的所述参考图像的图像特征和梯度特征；将具有同一图像尺度的所述参考图像的图像特征与梯度特征通道结合，得到所述参考图像的所述第二特征数据；
对所述参考图像的重采样图像进行特征提取，得到具有所述多个不同图像尺度的所述重采样图像的图像特征和梯度特征；将具有同一图像尺度的所述重采样图像的图像特征与梯度特征通道结合，得到所述重采样图像的所述第三特征数据；
根据具有所述多个不同图像尺度的所述第二特征数据和具有所述多个不同图像尺度的所述第三特征数据，得到所述第二特征集。
在一些实施方式中，所述第一特征提取模块还用于：
对所述原始图像进行特征提取，得到具有多个不同图像尺度的所述原始图像的图像特征和梯度特征；将具有同一图像尺度的所述原始图像的图像特征与梯度特征通道结合，得到所述原始图像的所述第一特征数据；根据具有所述多个不同图像尺度的所述第一特征数据，得到所述第一特征集。
在一些实施方式中，所述第二特征集还包括具有所述多个不同图像尺度的第三特征数据，所述第三特征数据包括所述重采样图像的图像特征数据和梯度特征数据；
所述特征对齐模块，还用于根据所述第一特征集中的所述第一特征数据，以及第二特征集中与所述第一特征数据具有相同图像尺度的所述第三特征数据，得到特征偏移量；根据所述特征偏移量和第二特征集中与所述第一特征数据具有相同图像尺度的所述第二特征数据，得到所述对齐特征数据。
在一些实施方式中，所述特征对齐模块具体用于：
根据所述第一特征集中具有第一图像尺度的所述第一特征数据，以及第二特征集中具有所述第一图像尺度的所述第三特征数据，得到第一特征偏移量；
根据所述第一特征偏移量和第二特征集中具有所述第一图像尺度的所述第二特征数据，进行可变形卷积调节，得到第一对齐特征数据；
根据所述第一特征集中具有第二图像尺度的第一特征数据、第二特征集中具有所述第二图像尺度的所述第三特征数据、以及上采样卷积后的所述第一特征偏移量，得到第二特征偏移量；
根据所述第二特征偏移量、第二特征集中具有所述第二图像尺度的所述第二特征数据、以及上采样卷积后的所述第一对齐特征数据，进行可变形卷积调节，得到第二对齐特征数据；
依据图像尺度由小到大的顺序依次执行上述步骤，直到获得与所述参考图像具有相同图像尺度的对齐特征数据。
在一些实施方式中，所述特征融合模块具体用于：
获取所述原始图像的第一图像特征数据，以及与所述原始图像具有相同图像尺度的第一对齐特征数据；
将所述第一对齐特征数据与所述第一图像特征数据进行融合处理，得到第一融合特征数据；
获取上采样卷积后的第一融合特征数据，以及与上采样卷积后的第一融合特征数据具有相同图像尺度的第二对齐特征数据；
将第二对齐特征数据与所述上采样卷积后的第一融合特征数据进行融合处理，得到第二融合特征数据；
依据图像尺度由小到大的顺序依次执行上述步骤，直到获得与所述参考图像具有相同图像尺度的所述目标图像。
在一些实施方式中，所述的装置，还包括：
第二获取模块，用于获取图像样本集；所述图像样本集中的每一个样本包括原始样本图像、参考样本图像以及目标样本图像；
输入模块，用于将所述图像样本集输入图像处理网络，得到所述图像处理网络处理后的输出图像；所述图像处理网络用于对所述原始样本图像和所述参考样本图像进行特征提取，分别得到第一特征集和第二特征集；根据所述第一特征集和所述第二特征集进行特征对齐，得到多个对齐特征数据；将所述多个对齐特征数据与所述原始样本图像进行特征融合，得到所述输出图像；
参数调整模块，用于获取所述输出图像与所述目标样本图像之间的损失，并根据所述损失调整所述图像处理网络的网络参数，直至所述损失满足收敛条件。
在一些实施方式中，所述的装置，还包括：
上采样模块，用于对所述原始样本图像进行上采样，得到与所述参考样本图像具有相同图像尺度的上采样图像；将所述上采样图像中的部分图像，与所述参考样本图像中对应相同位置和大小的部分图像进行图像交换；
下采样模块，用于对所述参考样本图像进行下采样，得到与所述原始样本图像具有相同图像尺度的下采样图像；将所述下采样图像中的部分图像，与所述原始样本图像中对应相同位置和大小的部分图像进行图像交换。
在一些实施方式中，所述参数调整模块具体用于：
获取所述目标样本图像的梯度图像，以及所述输出图像的梯度图像；
确定所述目标样本图像的梯度图像与所述输出图像的梯度图像的梯度损失，根据所述梯度损失调整网络参数。
在一些实施方式中，所述梯度损失包括以下中至少之一：
梯度图像的像素级损失；或者，梯度图像的对抗损失。
在一些实施方式中，所述原始图像和所述参考图像为遥感图像。
第三方面，本公开实施方式提供了一种电子设备，包括：
处理器；和
存储器，与所述处理器可通信连接，其存储有能够被所述处理器读取的计算机指令，当所述计算机指令被读取时，所述处理器执行根据第一方面任一实施方式所述的方法。
第四方面，本公开提供了一种存储介质，存储有计算机可读指令，所述计算机可读指令用于使计算机执行根据第一方面中任一实施方式所述的方法。
本公开实施方式提供的图像处理方法，包括获取待处理的原始图像和高分辨率的参考图像，对原始图像和参考图像进行特征提取，分别得到第一特征集和第二特征集，第一特征集和第二特征集包括具有多个不同图像尺度的第一特征数据和第二特征数据，第一特征数据和第二特征数据包括图像特征数据和梯度特征数据，根据第一和第二特征集进行特征对齐，得到多个对齐特征数据，将多个对齐特征数据与原始图像进行特征融合，得到处理后的目标图像。通过提取原始图像和参考图像不同尺度的特征数据，利用金字塔级联逐层级的进行特征对齐，更加有效充分的将参考图像特征匹配到原始图像的对应位置，减少或消除拍摄角度或者拍摄时间不同带来的影响，在图像的超分过程中，更加有效地结合参考图像特征。并且在图像超分重建过程中，利用额外的梯度特征辅助对齐，可以有效的关注于通常偏移较大的物体，例如建筑物、冷凝塔等人造物，提高对齐效果，从而有助于后续的特征融合过程。
附图说明
为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开一些实施方式中图像处理方法的流程图。
图2是根据本公开另一些实施方式中图像处理方法的流程图。
图3是根据本公开一些实施方式的图像处理方法中特征提取的原理图。
图4是根据本公开另一些实施方式中图像处理方法的流程图。
图5是根据本公开一些实施方式的图像处理方法中特征对齐的原理图。
图6是根据本公开另一些实施方式中图像处理方法的流程图。
图7是根据本公开一些实施方式中图像处理方法的原理图。
图8是根据本公开一些实施方式的图像处理方法中特征融合的原理图。
图9是根据本公开另一些实施方式中图像处理方法的流程图。
图10是根据本公开另一些实施方式中图像处理方法的流程图。
图11是根据本公开一些实施方式中图像处理装置的结构框图。
图12是根据本公开另一些实施方式中图像处理装置的结构框图。
图13是根据本公开另一些实施方式中图像处理装置的结构框图。
图14是适于实现本公开实施方式中图像处理方法的计算机***结构图。
具体实施方式
下面将结合附图对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本公开中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。此外，下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
图像的超分辨率重建，是指将低分辨率图像(LR)重建为较高分辨率图像(HR)的过程。基于参考影像的图像超分辨率是指，利用较高分辨率的图像作为参考图像(Ref)，经过特征对齐、特征融合等，将Ref的特征结合到低分辨率的LR图像中，从而辅助LR的超分辨率重建。
通用场景中，Ref参考图像一般为同一地点但不同视角的高分辨率图像、视频帧或者网络搜索图像等。当Ref与LR相关性较强时，可利用例如光流估计法对图像进行简单的特征对齐，然后利用对齐特征将Ref特征结合至LR中，得到HR目标图像。而当Ref与LR的相关性较弱或者不确定时，则需要通过基于斑块匹配的方式，通过计算和比较每个斑块之间的相似度来进行匹配相关特征，需要复杂且耗时的计算。
以遥感图像为例，在对低分辨率的遥感图像(LR)进行超分重建时，虽然可以通过遥感图像的地理位置坐标(即经纬度)较为容易的获得对应的高分辨的Ref，但是对遥感图像进行超分重建的难度主要在于：
不同传感器的成像质量、拍摄角度、光照角度不同。例如，不同成像质量的传感器拍摄的遥感图像颜色不同；又例如，不同拍摄角度和光照角度下，拍摄的遥感图像的建筑倾斜和光照阴影不同；等。这些因素会对LR与Ref的特征对齐造成困难，相关技术中的超分方法无法有效、充分的利用Ref特征，难以满足图像超分处理的需求。
基于上述问题，本公开实施方式提供了一种图像处理方法，该方法适用于对低分辨率图像进行超分辨率重建，并且有效、充分的将参考图像特征匹配到原始图像的对应位置，降低或消除拍摄角度或者拍摄时间不同造成的图像对齐效果较差的问题。
本公开实施方式的图像处理方法的执行主体可以是终端设备、服务器、或者其他处理设备，例如终端设备可以为用户设备、移动设备、用户终端、蜂窝电话、车载设备、个人数字助理、手持设备、计算设备、穿戴设备等。在一些实施方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。下面进行具体说明。
为便于理解，对下文出现的部分术语进行解释说明：
LR：即低分辨率图像，在本公开中可指待处理的原始图像、原始样本图像等。
HR：即高分辨率图像，在本公开中可指超分处理后得到的目标图像。
Ref：在本公开中可指参考图像，参考图像的分辨率高于原始图像。仍以遥感图像为例，参考图像可以是与原始图像相同经纬度信息的高分辨率遥感图像。
SR：即超分辨率图像，在本公开中可指图像超分处理过程中产生的输出图像，例如在网络训练或测试阶段，根据输入的样本图像处理输出的输出图像。
LR↑：“↑”表示图像的上采样，即LR的上采样图像。同理，“↓”表示图像的下采样，“Ref↓”即表示Ref的下采样图像。
Ref↑↓：Ref的重采样图像，即对Ref先下采样后上采样，得到与原先相同尺度的重采样图像。
图1中示出了本公开图像处理方法的一些实施方式，下面结合图1对本公开方法进行说明。
如图1所示，在一些实施方式中，本公开的图像处理方法包括：
S101、获取待处理的原始图像以及与原始图像对应的参考图像；参考图像的分辨率高于原始图像。
具体而言，原始图像是指待处理的低分辨率的图像，也即LR图像。参考图像是指用来辅助LR超分重建的高分辨率的图像，也即Ref图像。
用于辅助原始图像重建的参考图像，是与原始图像相对应的图像。在一个示例中，参考图像与原始图像是相同经纬度坐标的遥感图像。当然，本领域技术人员应当理解，参考图像与原始图像的对应并不局限于地理位置坐标，只要能够辅助原始图像超分重建的参考图像，都可以称为“与原始图像对应的参考图像”，本公开对此不作限制。
同时，用于辅助原始图像重建的参考图像，其分辨率应当高于原始图像。在一个示例中，参考图像的分辨率是原始图像的4倍。在其他示例中，参考图像与原始图像的分辨率还可以是其他任意关系，只要满足参考图像分辨率比原始图像高即可，本公开对此不再枚举。
在一个示例中，可根据原始图像的地理坐标信息，利用谷歌地球影像***获取相同地理坐标信息下较高分辨率的参考图像。
S102、对原始图像进行特征提取得到第一特征集。
S103、对参考图像进行特征提取得到第二特征集。
在步骤S102～S103中，具体来说，第一特征集包括具有多个不同图像尺度的第一特征数据，第一特征数据包括原始图像的图像特征数据和梯度特征数据。
在一个示例中，在对原始图像进行特征提取时，首先对原始图像进行上采样，得到与参考图像相同尺度大小的上采样图像。再分别提取上采样图像原图大小的特征数据、原图1/2大小的特征数据、以及原图1/4大小的特征数据，这些不同图像尺度下的特征数据即为第一特征数据。同时，每一个第一特征数据中包括该图像尺度下的图像特征和梯度特征。
梯度特征是指梯度图像特征，在对原始图像进行特征提取时，可首先获取原始图像对应的梯度图像，从而根据原始图像得到三个图像尺度下的图像特征数据，根据原始图像的梯度图像得到三个图像尺度下的梯度特征数据。在下文中进行详细说明，在此暂不详述。
同样，第二特征集包括具有多个不同图像尺度的第二特征数据，第二特征数据中包括参考图像的图像特征数据和梯度特征数据。
与上述示例对应的，在对参考图像特征提取时，同样可提取参考图像原图大小的特征数据、原图1/2大小的特征数据、以及原图1/4大小的特征数据，这些不同图像尺度下的特征数据即为第二特征数据。同时，根据参考图像得到三个图像尺度下的图像特征数据，根据参考图像的梯度图像得到三个图像尺度下的梯度特征数据。在下文中进行详细说明，在此暂不详述。
需要说明的是，在对原始图像和参考图像进行特征提取时，本公开方法的至少一个发明构思在于：根据原始图像和参考图像，分别提取多个不同图形尺度下的特征数据，从而利用金字塔级联方式进行特征对齐。
本公开所述的金字塔是一种对图像多尺度有效且简单的表达方式。举例来说，图像的原图大小、原图1/2大小、以及原图1/4大小，这三张不同分辨率尺度的图像均来源于同一张原始图，但是图像大小从上至下依次减小，我们将一层一层的图像特征数据比喻成金字塔。
由此可见，本公开实施方式中在图像特征提取时，核心在于提取不同图像尺度下的多个特征数据，从而形成图像金字塔结构，对于金字塔的层数则无需限制，本领域技术人员对此应当理解。在得到原始图像与参考图像多层的特征数据之后，根据多层的特征数据进行金字塔级联特征对齐，在下文中进行详述，在此暂且不表。
再有值得说明的是，本公开方法的至少另一个发明构思在于，在对原始图像和参考图像进行特征提取时，不仅提取图像的图像特征，还提取图像的梯度特征。梯度图像可以大大增强图像中物体的轮廓和边缘，通过基于梯度辅助的金字塔特征，可以有效解决超分处理中图像边缘变形和锯齿的问题。
在一个示例中，在提取梯度特征时，可首先根据原始图像和参考图像得到各自对应的梯度图像，其对应的梯度图像可通过计算图像的每个通道上每个点的边缘临近的一阶导数变化，水平和垂直方向梯度分开计算，再将计算结果均方相加得到。本领域技术人员对此应当理解，在此不再赘述。在得到梯度图像后，根据梯度图像得到不同图像尺度下的梯度特征。下文中进行详述，在此暂且不表。
S104、根据第一特征集和第二特征集进行特征对齐，得到具有多个不同图像尺度的多个对齐特征数据。
具体而言，在得到包含原始图像和参考图像的金字塔特征数据之后，利用金字塔层级的特征数据，逐层级的进行特征对齐，得到对应于每个图像尺度下的对齐特征数据。
仍以前述示例来说，分别利用原图1/4大小、原图1/2大小、以及原图大小的原始图像的第一特征数据和参考图像的第二特征数据，得到对应图像尺度下的三个对齐特征数据。
在一个示例中，在进行特征对齐时，依据图像尺度从小到大，采用金字塔级联的方法，即，利用前一层级的对齐特征数据来辅助下一层的特征对齐，大大提高特征对齐效果。
本公开实施方式中特征对齐的过程，在下文中进行详细说明，在此暂不详述。
S105、将多个对齐特征数据与原始图像进行特征融合，得到处理后的目标图像。
具体而言，在步骤S103中得到多个对齐特征数据，利用对齐特征数据辅助低分辨率的原始图像进行超分重建，也即将对齐特征数据逐层级的融合到原始图像上，从而得到处理后的目标图像，即高分辨率的HR图像。
本公开实施方式中特征融合的过程，在下文中进行详细说明，在此暂不详述。
通过上述可知，本实施方式中，通过提取原始图像和参考图像不同尺度的特征数据，利用金字塔级联逐层级的进行特征对齐，更加有效充分的将参考图像特征匹配到原始图像的对应位置，减少或消除拍摄角度或者拍摄时间不同带来的影响，在图像的超分过程中，更加有效地结合参考图像特征。并且在图像超分重建过程中，利用额外的梯度特征辅助对齐，可以有效的关注于通常偏移较大的物体，例如建筑物、冷凝塔等人造物，提高对齐效果，从而有助于接下来的Ref特征融合过程。
图2示出了本公开一些实施方式的图像处理方法。在图2实施方式中，在对原始图像LR和参考图像Ref进行特征提取和对齐之前，首先对Ref进行重采样得到重采样图像Ref↑↓，从而利用Ref↑↓与LR进行特征对齐，而不是直接采用Ref与LR特征对齐，从而有助于特征对齐，提高对齐效果。
为便于理解，首先对本实施方式的原理进行说明：
在上述步骤S102～S103中，对LR和Ref进行特征提取，得到多个图像尺度下的特征数据。具体来说，为保证LR的第一特征数据与Ref的第二特征数据一一对应，可首先对LR进行上采样，得到与Ref相同尺度的上采样图像LR↑。例如，Ref的图像大小是LR图像的4倍，则对LR上采样4倍得到LR↑，然后同时提取LR↑和Ref原图大小、原图1/2大小、以及原图1/4大小的特征数据，即可得到三个层级的特征数据。
但是本案发明人通过研究发现，上采样图像LR↑虽然与Ref的图像大小相同，但是两者的模糊程度差异较大，为特征对齐过程造成更大的困难，难以充分有效地特征对齐。因此，在图2实施方式中，利用Ref↑↓与LR进行特征对齐，有助于提高特征对齐效果。下面进行详细说明。
如图2所示，在本实施方式中，本公开图像处理方法包括：
S201、对参考图像进行重采样，得到参考图像的重采样图像。
具体而言，可首先对参考图像Ref进行下采样，得到与原始图像LR相同大小的下采样图像，然后在对下采样图像进行上采样，得到原本图像大小的重采样图像Ref↑↓。
在一个示例中，Ref图像大小是LR的4倍，则对Ref首先下采样4倍得到Ref↓，然后再对Ref↓上采样4倍，得到Ref↑↓。
S202、对重采样图像进行特征提取，得到具有多个不同图像尺度的第三特征数据。
在一个示例中，与前述步骤S102和S103类似，同样对Ref↑↓进行特征提取，得到Ref↑↓的在原图大小、原图1/2大小、以及原图1/4大小的图像特征数据和梯度特征数据，不再赘述。也即，第三特征数据同样包括了Ref↑↓的图像特征数据和梯度特征数据。
S203、根据具有多个不同图像尺度下的第二特征数据和具有多个不同图像尺度下的第三特征数据，得到第二特征集。
具体而言，在得到Ref的多个金字塔层级的第二特征数据、以及Ref↑↓的多个金字塔层级的第三特征数据后，由两者共同构成第二特征集，用于后续的特征对齐。
通过上述可知，本实施方式中，通过对参考图像进行重采样，得到的重采样图像的模糊程度更加接近原始图像，从而有助于提高特征对齐效果。
图3中示出了本公开一些实施方式中的特征提取模块结构，下面结合图3对本公开方法中特征提取的过程进行详细说明。通过前述可知，本公开实施方式中，图像的特征提取共包括LR↑、Ref↑↓、以及Ref三组图像，下面以LR↑为例，对特征提取的过程进行说明。
如图3所示，特征提取模块包括两个结构相同的编码器，即第一编码器210和第二编码器220，第一编码器210用于提取图像特征，第二编码器220用于提取梯度特征。
在本实施方式中，每个编码器提取三个不同图像尺度的特征。例如，第一编码器210依次提取LR↑原图大小的第一图像特征111、LR↑原图1/2大小的第二图像特征112、以及LR↑原图1/4大小的第三图像特征113。而第二编码器220依次提取LR↑梯度图原图大小的第一梯度特征121、原图1/2大小的第二梯度特征122、以及原图1/4大小的第三梯度特征123。
在得到LR↑与LR↑梯度图的三个层级特征数据后，对于每一个层级特征数据中，将对应的梯度特征数据与图像特征数据进行通道结合，即得到对应三个金字塔层级的特征数据。例如，将第一图像特征111与第一梯度特征121通道结合，得到特征数据131；将第二图像特征112与第二梯度特征122通道结合，得到特征数据132；将第三图像特征113与第二梯度特征123通道结合，得到特征数据133。三个金字塔层级特征数据131、132、133即构成第一特征集。
上述对LR↑特征提取进行了详细说明，对于Ref↑↓以及Ref的特征提取与之类似，本领域技术人员在上述公开的基础上可以理解，对此不再赘述。值得说明的是，LR↑、Ref↑↓以及Ref三张图像使用同一个第一编码器210提取图像特征数据，对应的梯度图像使用同一个第二编码器220提取梯度数据，即权值共享。
可以理解的是，在对Ref↑↓进行特征提取之后，得到三个金字塔层级的第三特征数据，对Ref进行特征提取之后同样得到三个金字塔层级的第二特征数据，Ref↑↓的第三特征数据与Ref的第二特征数据构成所述第二特征集。
可以看到，在本实施方式中，在进行特征提取时，不仅提取图像的图像特征，还提取图像的梯度特征，通过结合梯度特征，在图像的超分过程中，提高超分后图像的边缘清晰度，减少边缘变形问题，提高图像的超分效果。
在上述特征提取之后，根据提取得到的第一特征集和第二特征集进行特征对齐。图4中示出了本公开一些实施方式中特征对齐的具体过程，图5示出了本实施方式中特征对齐模块的具体结构。下面结合图4、图5实施方式对本公开方法中特征对齐的过程进行详细说明。
如图4所示，在本实施方式中，本公开方法包括：
S401、根据第一特征集中的第一特征数据，以及第二特征集中与第一特征数据具有相同图像尺度的第三特征数据，得到特征偏移量。
S402、根据特征偏移量和第二特征集中与第一特征数据具有相同图像尺度的参考图像的第二特征数据，得到对齐特征数据。
具体而言，如图5所示，在前述特征提取中，对LR↑特征提取分别得到三组不同图像尺度下的第一特征数据311、312、313，对Ref进行特征提取得到第二特征数据321、322、323，对Ref↑↓进行特征提取得到第三特征数据331、332、333。
本公开的金字塔级联特征对齐是指，依据前一层的对齐特征数据来辅助下一层级的特征对齐，因此由图像尺度由小至大依次进行逐层的进行特征对齐。
在第一层特征对齐中，首先获取图像尺度最小的第一层级的数据，即图5中所示第一特征数据311、第二特征数据321以及第三特征数据331，这三个特征数据对应1/4图像大小下的特征数据。
根据第一特征数据311和第三特征数据331得到第一特征偏移量341。在图5示例中，第一特征数据311与第三特征数据331结合之后，经过卷积和offset运算，得到第一特征偏移量341。
根据第一特征偏移量341与第二特征数据321，通过可变形卷积(DConv)将第一特征偏移量341作用在Ref的第二特征数据321上，经过卷积运算即可得到1/4图像大小下的第一对齐特征数据410。
在第二层特征对齐中，需要依据前一层的对齐数据，具体来说：
首先获取图像尺度第二小的第二层级的数据，即图5中所示的第一特征数据312、第二特征数据322以及第三特征数据332，这三个特征数据对应1/2图像大小下的特征数据。
根据第一特征数据312、第三特征数据332以及经过上采样卷积后的第一特征偏移量341，得到第二特征偏移量342。在图5示例中，第一特征数据312与第三特征数据332结合之后经过卷积运算，然后再与上采样两倍的第一特征偏移量341经过卷积和offset运算，得到第二特征偏移量342。
根据第二特征偏移量342、第二特征数据322以及上采样卷积后的第一对齐特征数据410，得到第二对齐特征数据420。在图5示例中，根据第二特征偏移量342与第二特征数据322进行可变形卷积(DConv)调节，然后再结合上采样两倍的第一对齐特征数据410进行卷积运算，得到第二对齐特征数据420。
在下一层特征对齐中，与上述类似，在金字塔级联特征对齐时，对金字塔多层的对齐可依据图像尺度由小到大的顺序重复执行上述步骤，直到获得原图大小的对齐特征数据。
在图5示例中，在最后一层特征对齐时，利用第一特征数据313、第二特征数据323以及第三特征数据333进行特征对齐的过程参见上述即可，本领域技术人员对此可以实现，不再赘述。值得说明的是，在得到原图大小的对齐特征数据之后，再根据原图大小的LR↑的第一特征数据313与对齐特征数据进行一次可变形卷积调节，进一步提高特征对齐效果。
具体来说，在得到对齐特征数据后，将对齐特征数据与第一特征数据313结合后经过卷积和offset得到第四特征偏移量344，再根据第四特征偏移量344与对齐特数据进行可变形卷积得到第三对齐特征数据430。
通过上述的金字塔级联特征对齐之后，得到多个层级的对齐特征数据，例如在本实施方式中，得到第一对齐特征数据410、第二对齐特征数据420以及第三对齐特征数据430共三个数据。这三个对齐特征数据用于辅助后续的对LR的细节重建。
通过上述可知，本实施方式中，依据图像尺度从小到大，采用基于梯度辅助的金字塔级联的特征对齐方法，利用前一层的特征偏移量和对齐特征数据来辅助下一层的特征对齐，大大提高特征对齐效果，消除由于拍摄角度和或者拍摄时间不同带来的影响。同时结合图像的梯度特征辅助对齐，提高图像处理效果。并且使用可变形卷积从深层到浅层的方式对特征逐级对齐，可变形对齐模块(PCD)是与整个框架共同学习的，无需额外的监督或对其他任务进行预训练。
在得到多个图像尺度下的对齐特征数据之后，在特征融合时逐层级的将对齐特征数据结合到LR上。图6示出了一些实施方式中本公开方法特征融合的过程，图7示出了一些实施方式中特征融合的网络结构，下面结合图6、图7进行详细说明。
如图6所示，在一些实施方式中，本公开图像处理方法包括：
S601、获取原始图像的第一图像特征数据，以及与原始图像具有相同图像尺度的第一对齐特征数据。
具体而言，参见图7示例，对LR进行卷积和残差运算得到LR的特征数据，也即第一图像特征数据。在前述多个层级的对齐特征数据中，获取与原始图像相同尺度的数据，也即对应1/4图像大小的第一对齐特征数据410。将第一图像特征数据和第一对齐特征数据410输入参考特征迁移层(RFTLayer，Reference Feature Transfoem Layer)501进行特征融合。
S602、将第一对齐特征数据与第一图像特征数据进行融合处理得到第一融合特征数据。
图8示出了参考特征迁移层501的具体结构，如图8所示，在进行特征融合处理时，首先将第一对齐特征数据410经过两层卷积后与第一图像特征数据520点乘，在将第一对齐特征数据410经过两层卷积后相加到点乘结果上，得到第一融合特征数据530。
值得说明的是，在本实施方式中，在进行特征融合处理时，并不是简单的将第一对齐特征数据410与第一图像特征数据520进行通道结合，而是通过参考特征迁移层进行结合，从而让Ref特征更加充分的结合到LR特征上，增强学习网络的鲁棒性。
S603、获取上采样卷积后的第一融合特征数据，以及与上采样卷积后的第一融合特征数据具有相同图像尺度的第二对齐特征数据。
S604、将第二对齐特征数据与上采样卷积后的第一融合特征数据进行融合处理，得到第二融合特征数据。
S605、依据图像尺度由小到大的顺序执行上述步骤S601～S604，直到获得与参考图像具有相同图像尺度的目标图像。
在步骤S603～S605中，具体来说，继续参照图7，在经过参考图中迁移层501得到第一融合特征数据530之后，对第一融合特征数据530上采样两倍，与第二对齐特征数据420进行融合，参考特征迁移层502的结构参见图8即可，本领域技术人员在前述公开基础上可以理解，对此不再赘述。
在经过参考特征迁移层502得到第二融合特征数据后，同样对第二融合特征数据后上采样两倍，与第三对齐特征数据430进行融合，得到最终特征融合后的高分辨率的目标图像。
可以看到，本公开实施方式中，在特征融合时，根据对齐特征数据逐层级的将Ref的对齐特征融合到LR图像上，来指导LR纹理恢复，更加充分有效地利用Ref的特征。
可以理解的是，在本实施方式中，仅针对本公开方法的改进之处进行详细说明，对于未详述的网络基础模块，本领域技术人员在相关技术与本公开内容结合下毫无疑问是可以理解并具体实现的，本公开对此无需赘述。
通过上述可知，本公开实施方式的图像处理方法，利用基于梯度辅助的金字塔级联特征对齐方式，更加有效充分的将参考图像特征匹配到原始图像的对应位置，减少或消除拍摄角度或者拍摄时间不同带来的影响。同时还结合参考图像的梯度特征，提高超分后图像的边缘清晰度，减少边缘变形问题，提高图像的超分效果。并且利用参考图像的重采样图像辅助特征对齐，重采样图像的模糊程度更加接近原始图像，更加有助于特征的对齐，提高图像超分效果。
在一些实施方式中，在上述基础上，本公开图像处理方法还包括对图像处理网络的训练过程，图9中示出了本公开方法中对图像处理网络训练的一些实施方式。
如图9所示，在一些实施方式中，本公开的图像处理方法包括：
S901、获取图像样本集。
具体来说，首先获取一定数量的图像样本组成的图像样本集，样本集中的每一个样本包括有原始样本图像、参考样本图像以及目标样本图像。
原始样本图像指处理之前的低分辨率图像，也即LR。参考样本图像指与LR相对应的高分辨率的参考图像，也即Ref。目标样本图像指LR超分处理后得到的高分辨率的目标图像，也即HR。
S902、将图像样本集输入图像处理网络，得到图像处理网络处理后的输出图像。
图像处理网络用于对原始样本图像和参考样本图像进行特征提取，分别得到第一特征集和第二特征集，根据第一特征集和第二特征集进行特征对齐，得到多个对齐特征数据，将多个对齐特征数据与原始样本图像进行特征融合，得到处理后的输出图像。
具体来说，图像处理网络的处理过程参见前述任一实施方式即可，在此不再赘述。从图像处理网络得到的输出图像，即为图7中所示的输出图像511，也即SR。
S903、获取输出图像与目标样本图像之间的损失，并根据损失调整图像处理网络的网络参数，直至损失满足收敛条件。
具体而言，在得到原始样本图像对应的SR后，根据SR和HR之间的差异获得损失，并根据损失调整图像处理网络的网络参数，直到损失满足收敛条件，网络训练完成。
在下文中针对本实施方式的网络训练过程进行详细说明，在此暂不详述。
如图10所示，在一些实施方式中，在图9实施方式中特征提取之前，本公开方法还包括：
S111、对原始样本图像进行上采样，得到与参考样本图像具有相同图像尺度的上采样图像；将上采样图像中的部分图像，与参考样本图像中对应相同位置和大小的部分图像进行图像交换。
在一个示例中，如图11所示，在对网络训练时，在特征提取之前，由于LR与Ref尺度大小不同，例如Ref是LR图像大小的4倍。因此首先对LR双三次插值上采样4倍得到LR↑，然后随机选取LR↑上1/4面积区域与Ref对应位置进行图像交换。
S112、对参考样本图像进行下采样，得到与原始样本图像具有相同图像尺度的下采样图像；将下采样图像中的部分图像，与原始样本图像中对应相同位置和大小的部分图像进行图像交换。
同样地，在特征融合时，同样需要对LR图像进行部分图像交换。具体来说，首先对Ref双三次插值下采样4倍得到Ref↑，再将Ref↑与LR对应相同区域的部分图像进行图像交换。
本实施方式中，通过交换两个图像部分信息来达到数据增强的作用，当LR的特征被部分替换后，想要最小化与HR的损失，需要尽可能的从图像交换后的Ref中结合有效信息。从而通过图像部分交换，可以促进网络更充分地利用对齐特征信息，同时隐式的学习增强参考图像对齐特征、抑制无关特征，增强网络的鲁棒性。
需要说明的是，本实施方式的图像交换用于网络训练阶段，网络训练完成后，在网络测试和使用阶段无需进行图像交换。
在一些实施方式中，在基于输出图像SR与目标样本图像HR的损失进行网络训练时，本公开方法不仅使用通用的SR图像的像素级损失、感知损失和对抗损失，还使用了基于SR图像梯度的梯度损失。梯度损失可包括：SR梯度图像的像素级损失和/或对抗损失，从而有效减少或消除图像的边缘变形等问题。下面具体来说明。
在一个示例中，基于超分图像的像素级损失使用SR(用
Figure BDA0002604021210000221
表示)与HR(用yi表示)的L1距离表示：
Figure BDA0002604021210000231
基于超分图像的感知损失测量SR与HR特征空间中的距离，可以使用预先训练的19层VGG网络(用φ(·)表示)提取相应特征，具体来说，可以使用在第五个最大池层之前通过第四次卷积获得的特征图，并计算对应特征图的MSE：
Figure BDA0002604021210000232
基于超分图像的GAN的对抗损失鼓励生成器生成感官上更加真实的图像，其中DI表示图像判别器：
Figure BDA0002604021210000233
除了上述损失函数之外，本实施方式中，还包括基于超分图像梯度的像素级损失，其中F(·)表示梯度计算：
Figure BDA0002604021210000234
以及，基于超分图像梯度的GAN的对抗损失鼓励生成器生成感官上更加真实的梯度，其中DG表示梯度判别器：
Figure BDA0002604021210000235
从而，总体的损失函数表示为：
Figure BDA0002604021210000236
式中，α、β、γ、δ表示网络参数。通过SR与HR之间的损失，对网络参数进行优化调整，直到损失满足收敛条件，网络训练完成。在一个示例中，根据SR和HR的损失调整网络参数，直到损失满足预设训练阈值，网络训练完成。
通过上述可知，本实施方式中，在对图像处理网络训练时，结合SR与HR梯度之间的约束，有效减少或消除目标图像的边缘锯齿变形、以及棋盘纹理的问题。
在一些实施方式中，本公开图像处理方法中，所述的图像为遥感图像。例如，原始图像为低分辨率的遥感图像，参考图像为对应相同地理坐标位置的遥感图像。
在一个示例中，参考图像可以通过谷歌地球影像***获得。“谷歌地球”是一种公开免费的高分辨率遥感影像***，通过谷歌地球可以较为容易的获得任何地理位置的高分辨率遥感图像，以作为参考图像。
第二方面，本公开实施方式提供了一种图像处理装置，该装置适于实现对低分辨率图像的超分辨率重建。图11中示出了根据本公开图像处理装置的一些实施方式。
如图11所示，在一些实施方式中，本公开图像处理装置包括：
第一获取模块110，用于获取待处理的原始图像以及与原始图像对应的参考图像；参考图像的分辨率高于原始图像；
第一特征提取模块120，用于对原始图像进行特征提取得到第一特征集；第一特征集包括具有多个不同图像尺度的第一特征数据；第一特征数据包括原始图像的图像特征数据和梯度特征数据；
第二特征提取模块130，用于对参考图像进行特征提取得到第二特征集；第二特征集包括具有多个不同图像尺度的第二特征数据；第二特征数据包括参考图像的图像特征数据和梯度特征数据；
特征对齐模块140，用于根据第一特征集和第二特征集进行特征对齐，得到具有多个不同图像尺度的多个对齐特征数据；
特征融合模块150，用于将多个对齐特征数据与原始图像进行特征融合，得到处理后的目标图像。
通过上述可知，本公开的图像处理装置，通过提取原始图像和参考图像不同尺度的特征数据，利用金字塔级联逐层级的进行特征对齐，更加有效充分的将参考图像特征匹配到原始图像的对应位置，减少或消除拍摄角度或者拍摄时间不同带来的影响，在图像的超分过程中，更加有效地结合参考图像特征。并且在图像超分重建过程中，利用额外的梯度特征辅助对齐，可以有效的关注于通常偏移较大的物体，例如建筑物、冷凝塔等人造物，提高对齐效果，从而有助于接下来的Ref特征融合过程。
在一些实施方式中，第二特征提取模块130还用于：
对参考图像进行重采样，得到参考图像的重采样图像；
对重采样图像进行特征提取，得到具有多个不同图像尺度下的第三特征数据；第三特征数据包括重采样图像的图像特征数据和梯度特征数据；
根据具有多个不同图像尺度的第二特征数据和具有多个不同图像尺度的第三特征数据，得到第二特征集。
在一些实施方式中，第二特征提取模块130在用于根据参考图像在多个不同图像尺度下的第二特征数据和重采样图像在多个不同图像尺度下的第三特征数据，得到第二特征集时，具体用于：
对参考图像进行特征提取，得到具有多个不同图像尺度的参考图像的图像特征和梯度特征；将具有同一图像尺度的参考图像的图像特征与梯度特征通道结合，得到参考图像的第二特征数据；
对参考图像的重采样图像进行特征提取，得到具有多个不同图像尺度的重采样图像的图像特征和梯度特征；将具有同一图像尺度的重采样图像的图像特征与梯度特征通道结合，得到重采样图像的第三特征数据；
根据具有多个不同图像尺度的第二特征数据和具有多个不同图像尺度的第三特征数据，得到第二特征集。
在一些实施方式中，第一特征提取模块120还用于：
对原始图像进行特征提取，得到具有多个不同图像尺度的原始图像的图像特征和梯度特征；将具有同一图像尺度的原始图像的图像特征与梯度特征通道结合，得到原始图像的第一特征数据；根据具有多个不同图像尺度的第一特征数据，得到第一特征集。
在一些实施方式中，第二特征集还包括具有多个不同图像尺度的第三特征数据，第三特征数据包括重采样图像的图像特征数据和梯度特征数据；
特征对齐模块140，还用于根据第一特征集中的第一特征数据，以及第二特征集中与第一特征数据具有相同图像尺度的第三特征数据，得到特征偏移量；根据特征偏移量和第二特征集中与第一特征数据具有相同图像尺度的第二特征数据，得到对齐特征数据。
在一些实施方式中，特征对齐模块140具体用于：
根据第一特征集中具有第一图像尺度的第一特征数据，以及第二特征集中具有第一图像尺度的第三特征数据，得到第一特征偏移量；
根据第一特征偏移量和第二特征集中具有第一图像尺度的第二特征数据，进行可变形卷积调节，得到第一对齐特征数据；
根据第一特征集中具有第二图像尺度的第一特征数据、第二特征集中具有第二图像尺度的第三特征数据、以及上采样卷积后的第一特征偏移量，得到第二特征偏移量；
根据第二特征偏移量、第二特征集中具有第二图像尺度的第二特征数据、以及上采样卷积后的第一对齐特征数据，进行可变形卷积调节，得到第二对齐特征数据；
依据图像尺度由小到大的顺序依次执行上述步骤，直到获得与参考图像具有相同图像尺度的对齐特征数据。
在一些实施方式中，特征融合模块150具体用于：
获取原始图像的第一图像特征数据，以及与原始图像具有相同图像尺度的第一对齐特征数据；
将第一对齐特征数据与第一图像特征数据进行融合处理，得到第一融合特征数据；
获取上采样卷积后的第一融合特征数据，以及与上采样卷积后的第一融合特征数据具有相同图像尺度的第二对齐特征数据；
将第二对齐特征数据与上采样卷积后的第一融合特征数据进行融合处理，得到第二融合特征数据；
依据图像尺度由小到大的顺序依次执行上述步骤，直到获得与参考图像具有相同图像尺度的目标图像。
在一些实施方式中，如图12所示，图像处理装置还包括：
第二获取模块160，用于获取图像样本集；图像样本集中的每一个样本包括原始样本图像、参考样本图像以及目标样本图像；
输入模块170，用于将图像样本集输入图像处理网络，得到图像处理网络处理后的输出图像；图像处理网络用于对原始样本图像和参考样本图像进行特征提取，分别得到第一特征集和第二特征集；根据第一特征集和第二特征集进行特征对齐，得到多个对齐特征数据；将多个对齐特征数据与原始样本图像进行特征融合，得到输出图像；
参数调整模块180，用于获取输出图像与目标样本图像之间的损失，并根据损失调整图像处理网络的网络参数，直至损失满足收敛条件。
在一些实施方式中，如图13所示，图像处理装置还包括：
上采样模块190，用于对原始样本图像进行上采样，得到与参考样本图像具有相同图像尺度的上采样图像；将上采样图像中的部分图像，与参考样本图像中对应相同位置和大小的部分图像进行图像交换；
下采样模块191，用于对参考样本图像进行下采样，得到与原始样本图像具有相同图像尺度的下采样图像；将下采样图像中的部分图像，与原始样本图像中对应相同位置和大小的部分图像进行图像交换。
在一些实施方式中，参数调整模块180具体用于：
获取目标样本图像的梯度图像，以及输出图像的梯度图像；
确定目标样本图像的梯度图像与输出图像的梯度图像的梯度损失，根据梯度损失调整网络参数。
在一些实施方式中，梯度损失包括以下中至少之一：
梯度图像的像素级损失；或者，梯度图像的对抗损失。
在一些实施方式中，原始图像和参考图像为遥感图像。
第三方面，本公开实施方式提供了一种电子设备，包括：
处理器；和
存储器，与处理器可通信连接，其存储有能够被处理器读取的计算机指令，当计算机指令被读取时，处理器执行第一方面任一实施方式的图像处理方法。
第四方面，本公开实施方式提供了一种存储介质，存储有计算机可读指令，计算机可读指令用于使计算机执行第一方面任一实施方式的图像处理方法。
具体而言，图14示出了适于用来实现本公开方法的计算机***600的结构示意图，通过图14所示***，实现上述控制器及存储介质相应功能。
如图14所示，计算机***600包括处理器(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有***600操作所需的各种程序和数据。CPU601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施方式，上文方法过程可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行上述方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
附图中的流程图和框图，图示了按照本公开各种实施方式的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
显然，上述实施方式仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本公开创造的保护范围之中。

Claims (20)

1.一种图像处理方法，其特征在于，包括：
获取待处理的原始图像以及与所述原始图像对应的参考图像；所述参考图像的分辨率高于所述原始图像；
对所述原始图像进行特征提取得到第一特征集；所述第一特征集包括具有多个不同图像尺度的第一特征数据；所述第一特征数据包括所述原始图像的图像特征数据和梯度特征数据；
对所述参考图像进行特征提取得到第二特征集；所述第二特征集包括具有所述多个不同图像尺度的第二特征数据；所述第二特征数据包括所述参考图像的图像特征数据和梯度特征数据；
根据所述第一特征集和所述第二特征集进行特征对齐，得到具有所述多个不同图像尺度的多个对齐特征数据；
将所述多个对齐特征数据与所述原始图像进行特征融合，得到处理后的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述参考图像进行特征提取得到第二特征集，包括：
对所述参考图像进行重采样，得到所述参考图像的重采样图像；
对所述重采样图像进行特征提取，得到具有所述多个不同图像尺度的第三特征数据；所述第三特征数据包括所述重采样图像的图像特征数据和梯度特征数据；
根据具有所述多个不同图像尺度的所述第二特征数据和具有所述多个不同图像尺度的所述第三特征数据，得到所述第二特征集。
3.根据权利要求2所述的方法，其特征在于，所述根据具有所述多个不同图像尺度的所述第二特征数据和具有所述多个不同图像尺度的第三特征数据，得到所述第二特征集，包括：
对所述参考图像进行特征提取，得到具有所述多个不同图像尺度的所述参考图像的图像特征和梯度特征；将具有同一图像尺度的所述参考图像的图像特征与梯度特征通道结合，得到所述参考图像的所述第二特征数据；
对所述参考图像的重采样图像进行特征提取，得到具有所述多个不同图像尺度的所述重采样图像的图像特征和梯度特征；将具有同一图像尺度的所述重采样图像的图像特征与梯度特征通道结合，得到所述重采样图像的所述第三特征数据；
根据具有所述多个不同图像尺度的所述第二特征数据和具有所述多个不同图像尺度的所述第三特征数据，得到所述第二特征集。
4.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行特征提取得到第一特征集，包括：
对所述原始图像进行特征提取，得到具有多个不同图像尺度的所述原始图像的图像特征和梯度特征；将具有同一图像尺度的所述原始图像的图像特征与梯度特征通道结合，得到所述原始图像的所述第一特征数据；根据具有所述多个不同图像尺度的所述第一特征数据，得到所述第一特征集。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述第二特征集还包括具有所述多个不同图像尺度的第三特征数据，所述第三特征数据包括所述重采样图像的图像特征数据和梯度特征数据；
根据所述第一特征集和所述第二特征集进行特征对齐，得到具有所述多个不同图像尺度的多个对齐特征数据，包括：
根据所述第一特征集中的所述第一特征数据，以及第二特征集中与所述第一特征数据具有相同图像尺度的所述第三特征数据，得到特征偏移量；
根据所述特征偏移量和第二特征集中与所述第一特征数据具有相同图像尺度的所述第二特征数据，得到所述对齐特征数据。
6.根据权利要求5所述的方法，其特征在于，根据所述第一特征集和所述第二特征集进行特征对齐，得到具有所述多个不同图像尺度的多个对齐特征数据，还包括：
根据所述第一特征集中具有第一图像尺度的所述第一特征数据，以及第二特征集中具有所述第一图像尺度的所述第三特征数据，得到第一特征偏移量；
根据所述第一特征偏移量和第二特征集中具有所述第一图像尺度的所述第二特征数据，进行可变形卷积调节，得到第一对齐特征数据；
根据所述第一特征集中具有第二图像尺度的第一特征数据、第二特征集中具有所述第二图像尺度的所述第三特征数据、以及上采样卷积后的所述第一特征偏移量，得到第二特征偏移量；
根据所述第二特征偏移量、第二特征集中具有所述第二图像尺度的所述第二特征数据、以及上采样卷积后的所述第一对齐特征数据，进行可变形卷积调节，得到第二对齐特征数据；
依据图像尺度由小到大的顺序依次执行上述步骤，直到获得与所述参考图像具有相同图像尺度的对齐特征数据。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述将所述多个对齐特征数据与所述原始图像进行特征融合，得到处理后的目标图像，包括：
获取所述原始图像的第一图像特征数据，以及与所述原始图像具有相同图像尺度的第一对齐特征数据；
将所述第一对齐特征数据与所述第一图像特征数据进行融合处理，得到第一融合特征数据；
获取上采样卷积后的第一融合特征数据，以及与上采样卷积后的第一融合特征数据具有相同图像尺度的第二对齐特征数据；
将第二对齐特征数据与所述上采样卷积后的第一融合特征数据进行融合处理，得到第二融合特征数据；
依据图像尺度由小到大的顺序依次执行上述步骤，直到获得与所述参考图像具有相同图像尺度的所述目标图像。
8.根据权利要求1至7任一项所述的方法，其特征在于，还包括：
获取图像样本集；所述图像样本集中的每一个样本包括原始样本图像、参考样本图像以及目标样本图像；
将所述图像样本集输入图像处理网络，得到所述图像处理网络处理后的输出图像；所述图像处理网络用于对所述原始样本图像和所述参考样本图像进行特征提取，分别得到第一特征集和第二特征集；根据所述第一特征集和所述第二特征集进行特征对齐，得到多个对齐特征数据；将所述多个对齐特征数据与所述原始样本图像进行特征融合，得到所述输出图像；
获取所述输出图像与所述目标样本图像之间的损失，并根据所述损失调整所述图像处理网络的网络参数，直至所述损失满足收敛条件。
9.根据权利要求8所述的方法，其特征在于，在对所述原始样本图像和所述参考样本图像进行特征提取之前，还包括：
对所述原始样本图像进行上采样，得到与所述参考样本图像具有相同图像尺度的上采样图像；将所述上采样图像中的部分图像，与所述参考样本图像中对应相同位置和大小的部分图像进行图像交换；
对所述参考样本图像进行下采样，得到与所述原始样本图像具有相同图像尺度的下采样图像；将所述下采样图像中的部分图像，与所述原始样本图像中对应相同位置和大小的部分图像进行图像交换。
10.根据权利要求8或9所述的方法，其特征在于，获取所述输出图像与所述目标样本图像之间的损失，并根据所述损失调整网络参数，包括：
获取所述目标样本图像的梯度图像，以及所述输出图像的梯度图像；
确定所述目标样本图像的梯度图像与所述输出图像的梯度图像的梯度损失，根据所述梯度损失调整网络参数。
11.根据权利要求10所述的方法，其特征在于，所述梯度损失包括以下中至少之一：
梯度图像的像素级损失；或者，梯度图像的对抗损失。
12.根据权利要求1至11任一项所述的方法，其特征在于，
所述原始图像和所述参考图像为遥感图像。
13.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取待处理的原始图像以及与所述原始图像对应的参考图像；所述参考图像的分辨率高于所述原始图像；
第一特征提取模块，用于对所述原始图像进行特征提取得到第一特征集；所述第一特征集包括具有多个不同图像尺度的第一特征数据；所述第一特征数据包括所述原始图像的图像特征数据和梯度特征数据；
第二特征提取模块，用于对所述参考图像进行特征提取得到第二特征集；所述第二特征集包括具有所述多个不同图像尺度下的第二特征数据；所述第二特征数据包括所述参考图像的图像特征数据和梯度特征数据；
特征对齐模块，用于根据所述第一特征集和所述第二特征集进行特征对齐，得到具有所述多个不同图像尺度的多个对齐特征数据；
特征融合模块，用于将所述多个对齐特征数据与所述原始图像进行特征融合，得到处理后的目标图像。
14.根据权利要求13所述的装置，其特征在于，所述第二特征提取模块还用于：
对所述参考图像进行重采样，得到所述参考图像的重采样图像；
对所述重采样图像进行特征提取，得到具有所述多个不同图像尺度下的第三特征数据；所述第三特征数据包括重采样图像的图像特征数据和梯度特征数据；
根据具有所述多个不同图像尺度的所述第二特征数据和具有所述多个不同图像尺度的所述第三特征数据，得到所述第二特征集。
15.根据权利要求13或14所述的装置，其特征在于，所述第二特征集还包括具有所述多个不同图像尺度的第三特征数据，所述第三特征数据包括所述重采样图像的图像特征数据和梯度特征数据；
所述特征对齐模块，还用于根据所述第一特征集中的所述第一特征数据，以及第二特征集中与所述第一特征数据具有相同图像尺度的所述第三特征数据，得到特征偏移量；根据所述特征偏移量和第二特征集中与所述第一特征数据具有相同图像尺度的所述第二特征数据，得到所述对齐特征数据。
16.根据权利要求15所述的装置，其特征在于，所述特征对齐模块具体用于：
根据所述第一特征集中具有第一图像尺度的所述第一特征数据，以及第二特征集中具有所述第一图像尺度的所述第三特征数据，得到第一特征偏移量；
根据所述第一特征偏移量和第二特征集中具有所述第一图像尺度的所述第二特征数据，进行可变形卷积调节，得到第一对齐特征数据；
根据所述第一特征集中具有第二图像尺度的第一特征数据、第二特征集中具有所述第二图像尺度的所述第三特征数据、以及上采样卷积后的所述第一特征偏移量，得到第二特征偏移量；
根据所述第二特征偏移量、第二特征集中具有所述第二图像尺度的所述第二特征数据、以及上采样卷积后的所述第一对齐特征数据，进行可变形卷积调节，得到第二对齐特征数据；
依据图像尺度由小到大的顺序依次执行上述步骤，直到获得与所述参考图像具有相同图像尺度的对齐特征数据。
17.根据权利要求13至16任一项所述的装置，其特征在于，所述特征融合模块具体用于：
获取所述原始图像的第一图像特征数据，以及与所述原始图像具有相同图像尺度的第一对齐特征数据；
将所述第一对齐特征数据与所述第一图像特征数据进行融合处理，得到第一融合特征数据；
获取上采样卷积后的第一融合特征数据，以及与上采样卷积后的第一融合特征数据具有相同图像尺度的第二对齐特征数据；
将第二对齐特征数据与所述上采样卷积后的第一融合特征数据进行融合处理，得到第二融合特征数据；
依据图像尺度由小到大的顺序依次执行上述步骤，直到获得与所述参考图像具有相同图像尺度的所述目标图像。
18.根据权利要求13至17任一项所述的装置，其特征在于，还包括：
第二获取模块，用于获取图像样本集；所述图像样本集中的每一个样本包括原始样本图像、参考样本图像以及目标样本图像；
输入模块，用于将所述图像样本集输入图像处理网络，得到所述图像处理网络处理后的输出图像；所述图像处理网络用于对所述原始样本图像和所述参考样本图像进行特征提取，分别得到第一特征集和第二特征集；根据所述第一特征集和所述第二特征集进行特征对齐，得到多个对齐特征数据；将所述多个对齐特征数据与所述原始样本图像进行特征融合，得到所述输出图像；
参数调整模块，用于获取所述输出图像与所述目标样本图像之间的损失，并根据所述损失调整所述图像处理网络的网络参数，直至所述损失满足收敛条件。
19.一种电子设备，其特征在于，包括：
处理器；和
存储器，与所述处理器可通信连接，其存储有能够被所述处理器读取的计算机指令，当所述计算机指令被读取时，所述处理器执行根据权利要求1至12任一项所述的方法。
20.一种存储介质，其特征在于，存储有计算机可读指令，所述计算机可读指令用于使计算机执行根据权利要求1至12任一项所述的方法。
CN202010733118.0A 2020-07-27 2020-07-27 图像处理方法、装置、电子设备及存储介质 Withdrawn CN111861888A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010733118.0A CN111861888A (zh) 2020-07-27 2020-07-27 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010733118.0A CN111861888A (zh) 2020-07-27 2020-07-27 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111861888A true CN111861888A (zh) 2020-10-30

Family

ID=72947821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010733118.0A Withdrawn CN111861888A (zh) 2020-07-27 2020-07-27 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111861888A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801875A (zh) * 2021-02-05 2021-05-14 深圳技术大学 超分辨率重建方法、装置、计算机设备和存储介质
CN112862860A (zh) * 2021-02-07 2021-05-28 天津大学 一种用于多模态目标跟踪的对象感知图像融合方法
CN114819109A (zh) * 2022-06-22 2022-07-29 腾讯科技（深圳）有限公司 双目图像的超分辨率处理方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN107862707A (zh) * 2017-11-06 2018-03-30 深圳市唯特视科技有限公司 一种基于卢卡斯‑卡纳德图像对齐的图像配准方法
US20190251675A1 (en) * 2018-02-09 2019-08-15 Megvii Technology Llc Image processing method, image processing device and storage medium
CN111369440A (zh) * 2020-03-03 2020-07-03 网易（杭州）网络有限公司 模型训练、图像超分辨处理方法、装置、终端及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN107862707A (zh) * 2017-11-06 2018-03-30 深圳市唯特视科技有限公司 一种基于卢卡斯‑卡纳德图像对齐的图像配准方法
US20190251675A1 (en) * 2018-02-09 2019-08-15 Megvii Technology Llc Image processing method, image processing device and storage medium
CN111369440A (zh) * 2020-03-03 2020-07-03 网易（杭州）网络有限公司 模型训练、图像超分辨处理方法、装置、终端及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
付利华;卢中山;孙晓威;赵宇;张博;: "融合参考图像的人脸超分辨率重构方法", 模式识别与人工智能, no. 04 *
金显华;徐甜;袁培燕;: "输电线路航拍杆塔图像拼接融合研究", 计算机仿真, no. 08 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801875A (zh) * 2021-02-05 2021-05-14 深圳技术大学 超分辨率重建方法、装置、计算机设备和存储介质
CN112862860A (zh) * 2021-02-07 2021-05-28 天津大学 一种用于多模态目标跟踪的对象感知图像融合方法
CN112862860B (zh) * 2021-02-07 2023-08-01 天津大学 一种用于多模态目标跟踪的对象感知图像融合方法
CN114819109A (zh) * 2022-06-22 2022-07-29 腾讯科技（深圳）有限公司 双目图像的超分辨率处理方法、装置、设备及介质
CN114819109B (zh) * 2022-06-22 2022-09-16 腾讯科技（深圳）有限公司 双目图像的超分辨率处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN111080724B (zh) 一种红外和可见光的融合方法
CN111047516B (zh) 图像处理方法、装置、计算机设备和存储介质
CN110827200B (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
CN111861888A (zh) 图像处理方法、装置、电子设备及存储介质
WO2017176484A1 (en) Efficient determination of optical flow between images
CN113992861A (zh) 一种图像处理方法及图像处理装置
WO2010095460A1 (ja) 画像処理システム、画像処理方法および画像処理プログラム
CN111028165B (zh) 一种基于raw数据抵抗相机抖动的高动态图像恢复方法
CN112308775A (zh) 水下图像拼接方法及装置
CN110335228B (zh) 一种图像视差的确定方法、装置及***
CN113628134B (zh) 图像降噪方法及装置、电子设备及存储介质
CN111932594B (zh) 一种基于光流的十亿像素视频对齐方法及装置、介质
CN106920213B (zh) 一种高分辨率图像的获取方法及***
US20120038785A1 (en) Method for producing high resolution image
WO2024032331A9 (zh) 图像处理方法及装置、电子设备、存储介质
CN111369435B (zh) 基于自适应稳定模型的彩色图像深度上采样方法及***
CN112598604A (zh) 一种盲脸复原方法及***
CN108492264B (zh) 一种基于sigmoid变换的单帧图像快速超分辨方法
US20230098437A1 (en) Reference-Based Super-Resolution for Image and Video Enhancement
Mathur et al. A real-time super-resolution for surveillance thermal cameras using optimized pipeline on embedded edge device
CN115965531A (zh) 模型训练方法及图像生成方法、装置、设备和存储介质
CN115205112A (zh) 一种真实复杂场景图像超分辨率的模型训练方法及装置
US11721006B2 (en) Method and device for generating virtual reality data
CN115578255B (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
CN117670650A (zh) 一种图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201030

WW01 Invention patent application withdrawn after publication