CN115423873A - 图像生成方法、装置、设备及介质 - Google Patents

图像生成方法、装置、设备及介质 Download PDF

Info

Publication number
CN115423873A
CN115423873A CN202211136130.9A CN202211136130A CN115423873A CN 115423873 A CN115423873 A CN 115423873A CN 202211136130 A CN202211136130 A CN 202211136130A CN 115423873 A CN115423873 A CN 115423873A
Authority
CN
China
Prior art keywords
image
reference image
feature map
motion field
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211136130.9A
Other languages
English (en)
Inventor
熊峻峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202211136130.9A priority Critical patent/CN115423873A/zh
Publication of CN115423873A publication Critical patent/CN115423873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像生成方法、装置、设备及介质，属于人工智能技术领域，图像生成方法包括：获取采集数据，采集数据包括多帧原始图像、原始图像对应的深度图以及原始图像对应的运动传感器数据；在原始图像中，确定参考图像和非参考图像；对参考图像和参考图像对应的深度图进行特征提取，得到参考特征图，对非参考图像和非参考图像对应的深度图进行特征提取，得到非参考征图；根据参考图像对应的运动传感器数据、非参考图像对应的运动传感器数据、参考特征图和非参考特征图，确定非参考图像的目标运动场矩阵；根据参考特征图、非参考特征图和非参考图像的目标运动场矩阵，重建得到多帧原始图像对应的超分辨率重建图像。

Description

图像生成方法、装置、设备及介质
技术领域
本申请属于人工智能技术领域，具体涉及一种图像生成方法、装置、设备及介质。
背景技术
随着网络和电子设备的技术发展，人们对移动便携式的电子设备的成像质量要求越来越高。高分辨率图像的像素密度大、纹理细节丰富且可信赖度较高，备受人们青睐，但受限于设备体积、设备功耗等因素，移动便携式的电子设备无法实现光学变焦，无法无损地获取高分辨率图像，而是采用混合变焦方案，通过多个定焦镜头和超分辨率算法来实现图像的超分辨率重建。
相关技术中，基于超分辨率算法进行图像的超分辨率重建有如下方式：方式一，采用滤波或者插值算法进行图像的超分辨率重建；方式二，采用基于图像特征学习的单帧图像超分辨率重建算法，进行图像的超分辨率重建。
然而，方式一无视图像本身特征，无法补充图像细节信息，导致图像的超分辨率重建质量不佳；方式二需要引入先验信息来生成图像细节，其生成的图像细节并不一定符合真实情况，图像质量还有待提高。
发明内容
本申请实施例的目的是提供一种图像生成方法、装置、设备及介质，能够解决图像超分辨率重建的图像质量不佳的问题。
第一方面，本申请实施例提供了一种图像生成方法，包括：获取采集数据，所述采集数据包括多帧原始图像、所述原始图像对应的深度图以及所述原始图像对应的运动传感器数据；在所述原始图像中，确定参考图像和非参考图像；对所述参考图像和所述参考图像对应的深度图进行特征提取，得到参考特征图，对所述非参考图像和所述非参考图像对应的深度图进行特征提取，得到非参考特征图；根据所述参考图像对应的运动传感器数据、所述非参考图像对应的运动传感器数据、所述参考特征图和所述非参考特征图，确定所述非参考图像的目标运动场矩阵，所述目标运动场矩阵包括所述非参考图像中多个像素相对于所述参考图像的目标估计位姿；根据所述参考特征图、所述非参考特征图和所述非参考图像的目标运动场矩阵，进行超分辨率重建，生成所述多帧原始图像对应的超分辨率重建图像。
第二方面，本申请实施例提供了一种图像生成装置，包括：
获取单元，用于获取采集数据，所述采集数据包括多帧原始图像、所述原始图像对应的深度图以及所述原始图像对应的运动传感器数据；
第一确定单元，用于在所述原始图像中，确定参考图像和非参考图像；
特征提取单元，用于对所述参考图像和所述参考图像对应的深度图进行特征提取，得到参考特征图，对所述非参考图像和所述非参考图像对应的深度图进行特征提取，得到非参考特征图；
第二确定单元，用于根据所述参考图像对应的运动传感器数据、所述非参考图像对应的运动传感器数据、所述参考特征图和所述非参考特征图，确定所述非参考图像的目标运动场矩阵，所述目标运动场矩阵包括所述非参考图像中多个像素相对于所述参考图像的目标估计位姿；
重建单元，用于根据所述参考特征图、所述非参考特征图和所述非参考图像的目标运动场矩阵，进行超分辨率重建，生成所述多帧原始图像对应的超分辨率重建图像。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的图像生成方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的图像生成方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的图像生成方法的步骤。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的图像生成方法的步骤。
在本申请实施例中，结合电子设备拍摄的多帧初始图像、初始图像对应的深度图像以及电子设备通过硬件采集的运动传感器数据，为初始图像中的非参考图像构建目标运动场矩阵，以通过目标运动场矩阵准确反映非参考图像相对于初始图像中参考图像的位姿情况；继而，结合基于参考图像和参考图像对应的深度图得到的参考特征图、基于非参考图像和非参考图像对应的深度图得到的非参考特征图以及非参考图像的目标运动场矩阵，进行超分辨率重建，有效提高了重建得到的超分辨率图像的质量。
附图说明
图1为本申请实施例提供的图像生成方法的流程示意图一；
图2为本申请实施例提供的图像生成方法的流程示意图二；
图3为本申请实施例提供的图像生成方法的流程示意图三；
图4为本申请实施例提供的图像生成方法的流程示意图四；
图5为本申请实施例提供的注意力权重预测网络的结构示意图；
图6为本申请实施例提供的运动场估计及运动场置信度预测网络的结构示意图；
图7为本申请实施例提供的模型训练方法的流程示意图；
图8为本申请实施例提供的图像生成装置的结构框图；
图9为本申请实施例提供的模型训练装置的结构框图；
图10为本申请实施例提供的电子设备的结构框图；
图11为实现本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本申请实施例提供的图像生成方法的流程示意图一。如图1所示，图像生成方法可包括如下步骤110-步骤150：
步骤110，获取采集数据，采集数据包括多帧原始图像、原始图像对应的深度图以及原始图像对应的运动传感器数据。
其中，原始图像可为电子设备通过相机拍摄得到的低分辨率图像。
其中，原始图像对应的运动传感器数据为电子设备采集原始图像时的设备运动数据，可反映图像拍摄过程中电子设备的移动、抖动和/或旋转等情况。
本实施例中，电子设备上可设有相机和运动传感器，相机内可设有深度图像采集模块。在拍摄图像的过程中：电子设备可通过相机，拍摄多帧连续的原始图像(可同时记录图像时间戳)；可通过深度图像采集模块，采集各帧原始图像对应的深度图像；可通过运动传感器，采集电子设备拍摄各帧原始图像的设备运动数据，得到原始图像对应的运动传感器数据。如此，得到采集数据。
步骤120，在原始图像中，确定参考图像和非参考图像。
其中，参考图像的图像质量优于非参考图像的图像质量。
本实施例中，图像拍摄过程中电子设备可能发生位置移动、抖动、倾斜等，导致不同原始图像的图像质量可能不同。可在多帧原始图像中，将图像质量最高的原始图像确定为参考图像，将剩余的原始图像确定为非参考图像。
步骤130，对参考图像和参考图像对应的深度图进行特征提取，得到参考特征图，对非参考图像和非参考图像对应的深度图进行特征提取，得到非参考特征图。
其中，参考特征图为基于对参考图像和参考图像对应的深度图进行特征提取得到的特征图，非参考特征图为基于对非参考图像和非参考图像对应的深度图进行特征提取得到的特征图，各个非参考图像分别对应一个非参考特征图。
其中，图像生成模型包括特征提取网络，用于提取图像特征。
本实施例中，可将参考图像和参考图像对应的深度图输入至图像生成模型的特征提取网络中，在特征提取网络中，对参考图像和参考图像对应的深度图，得到参考特征图；针对各个非参考图像，可将非参考图像和非参考图像对应的深度图输入至图像生成模型的特征提取网络中，在特征提取网络中，对非参考图像和非参考图像对应的深度图，得到非参考图像对应的非参考特征图。
步骤140，根据参考图像对应的运动传感器数据、非参考图像对应的运动传感器数据、参考特征图和非参考特征图，确定非参考图像的目标运动场矩阵，目标运动场矩阵包括非参考图像中多个像素相对于参考图像的目标估计位姿。
其中，图像生成模型可包括运动场估计网络，运动场估计网络用于估计非参考图像对应的目标运动场矩阵，一个非参考图像可对应一个目标运动场矩阵。
本实施例中，参考图像对应的运动传感器数据反映了电子设备在拍摄参考图像时的运动情况，非参考图像对应的运动传感器数据反映了电子设备在拍摄非参考图像时的运动情况，由于参考图像的图像质量优于非参考图像的图像质量，可以参考图像对应的运动传感器数据为参考，基于非参考图像对应的运动传感器数据、参考特征图和非参考图像对应的非参考特征图，通过运动场估计网络对非参考图像的运动场矩阵进行估计，得到非参考图像的目标运动场矩阵。
从而，结合参考图像对应的运动传感器数据、非参考图像对应的运动传感器数据、参考特征图、非参考特征图以及运动场估计网络这些既体现图像特征又体现图像位姿的数据，提高目标运动场矩阵估计的准确性。
步骤150，根据参考特征图、非参考特征图和非参考图像的目标运动场矩阵，进行超分辨率重建，生成多帧原始图像对应的超分辨率重建图像。
其中，图像生成模型可包括第一解码网络，用于通过特征解码进行超分辨率重建，生成相应的超分辨率重建图像。
本实施例中，在得到非参考图像的目标运动场矩阵后，非参考图像的目标运动场矩阵反映非参考图像中多个像素相对于参考图像的目标估计矩阵，即反映非参考图像相对于参考图像的偏差，因此，可基于非参考图像的目标运动场矩阵，对非参考图像对应的非参考特征图和参考图像对应的参考特征图进行融合，得到融合特征图。将融合特征图输入至超分辨率解码网络后，在超分辨率解码网络中进行图像重建，生成超分辨率重建图像。
本申请实施例中，在原始图像中，确定参考图像和非参考图像，基于参考图像和参考图像对应的深度图，确定参考特征图，基于非参考图像和非参考图像对应的深度图，确定非参考特征图；基于参考图像对应的运动传感器数据、非参考图像对应的运动传感器数据、参考特征图和非参考特征图，估计非参考图像的目标运动场矩阵，即结合了电子设备上传感器的真实传感数据进行非参考图像的运动场预测，提高了目标运动场矩阵的准确性；基于参考特征图、非参考特征图和非参考图像的目标运动场矩阵进行超分辨率重建，生成超分辨率重建图像，提高了超分辨率重建图像的图像质量。此外，基于图像生成模型实现了端对端的超分辨率重建，无需多次迭代，提高了超分辨率重建的效率，减少了超分辨率重建的计算量，使得本申请实施例能够适用于各类电子设备。
下面，提供上述步骤的一些实施例。
关于步骤110：
在一些实施例中，深度图像采集模块可为利用飞行时间(Time ofFlight，简称TOF)测距的传感器模块，以利用TOF提高深度图像的准确性。
比如，电子设备响应于图像拍摄请求，采集连续N帧低分辨率的原始图像并记录原始图像的图像时间戳；通过TOF采集N帧原始图像对应的深度图。
在一些实施例中，运动传感器可包括加速度计和/或陀螺仪。
在运动传感器包括加速度计的情况下，运动传感器数据可包括加速度数据；在运动传感器包括陀螺仪的情况下，运动传感器数据可包括角速度数据。
此外，运动传感器还可包括重力传感器、方向传感器、旋转矢量传感器等，运动传感器数据还可包括重力数据、方向数据、旋转数据等，不一一描述。
在一些实施例中，原始图像对应的运动传感器数据是运动传感器从图像拍摄前预设时长到图像拍摄结束之间采集到的。从而，能够更完整地采集到各个原始图像对应的运动传感器数据。
在本实施例中，基于运动传感器包括加速度计，可通过加速度计采集从电子设备的拍摄按键按下前1秒到电子设备结束拍摄之间的加速度数据；基于运动传感器包括陀螺仪，可通过陀螺仪采集从电子设备的拍摄按键按下前1秒到电子设备结束拍摄之间的角速度数据。
关于步骤120：
在一些实施例中，在确定参考图像和非参考图像之前，可对原始图像进行预处理，以提高原始图像的图像质量。
在一种可选的图像预处理方式中，可将原始图像读取至电子设备的内存中，使得后续需要使用原始图像时，可以直接从内存中读取得到原始图像，提高了图像读取效率，进而提高了超分辨率重建效率；还可消除原始图像中的无效像素，比如可减去原始图像的图像信号中的黑电平值，提高原始图像的图像质量；还可对原始图像的像素值进行归一化处理。
在一些实施例中，可确定原始图像的图像清晰度；在原始图像中，确定参考图像为图像清晰度最高的图像，确定非参考图像为原始图像中除参考图像以外的剩余图像。从而，以图像清晰度来衡量图像质量，选择图像清晰度最高的原始图像作为参考图像，提高参考图像选取的准确性。
本可能的实施方式中，在确定原始图像的图像清晰度后，可将多帧原始图像按照图像清晰度从大到小的顺序进行排序，将图像清晰度最大(即图像清晰度最高)的原始图像确定为参考图像，其余图像确定为非参考图像。
除了图像清晰度之外，还可考虑以图像亮度、图像对比度、图像色彩、图像噪声数据占比等指标来衡量图像质量，不一一赘述。
可选地，在将多帧原始图像按照图像清晰度从大到小的顺序进行排序后，可按照原始图像的排序顺序以及原始图像与深度图像的对应关系，对原始图像对应的深度图像进行排序。
在确定图像清晰度的一种实施方式中，可确定原始图像对应的形态学梯度图；根据原始图像对应的形态学梯度图，确定原始图像的图像清晰度。从而，基于求原始图像的形态学梯度图的方式，提高原始图像的图像清晰度的准确性。
本实施方式中，可通过对原始图像进行膨胀、腐蚀等操作，确定原始图像对应的形态学梯度图。形态学梯度图可包括基本梯度、内部梯度、外部梯度、方向梯度中的一种或多种，在形态学梯度图包括其中多种的情况下，可通过对原始图像对应的形态学梯度图进行求和的方式，得到原始图像的图像清晰度。比如，对原始图像的基本梯度和原始图像的内部梯度进行求和。
其中，基本梯度是用膨胀后的原始图像减去腐蚀后的原始图像得到的差值图像，内部梯度是用原始图像减去腐蚀之后的原始图像得到的差值图像，外部梯度是用膨胀后的原始图像减去原始图像得到的差值图像，方向梯度是基于X方向与Y方向的直线作为结构元素所得到的图像梯度，在此不具体描述。
关于步骤130：
在一些实施例中，特征提取网络可为特征金字塔网络，以提高特征提取效果。此时，参考特征图和非参考特征图属于特征金字塔图。
作为示例地，参考特征图和非参考特征图可分别表示为：
F0＝MotionFlowExtractor([I0,D0]|θmfe)
Fi＝MotionFlowExtractor([Ii,Di]|θmfe)
其中，F0表示参考特征图，Fi表示第i个非参考特征图，I0表示参考图像，D0表示F0对应的深度图，Ii表示第i个非参考图像，Di表示Fi对应的深度图，MotionFlowExtractor(*)表示特征提取网络，θmfe表示特征提取网络的网络参数。
关于步骤140：
在一些实施例中，步骤140可包括图2中的步骤240和步骤250。
参考图2，图2为本申请实施例提供的图像生成方法的流程示意图二。如图2所示，图像生成方法可包括如下步骤210-步骤260：
步骤210，获取采集数据，采集数据包括多帧原始图像、原始图像对应的深度图以及原始图像对应的运动传感器数据。
步骤220，在原始图像中，确定参考图像和非参考图像。
步骤230，对参考图像和参考图像对应的深度图进行特征提取，得到参考特征图，对非参考图像和非参考图像对应的深度图进行特征提取，得到非参考特征图。
其中，步骤210～步骤230的实现原理和技术效果可参照前述实施例，不再赘述。
步骤240，根据参考图像对应的运动传感器数据，对非参考图像对应的运动传感器数据进行校正，得到非参考图像的初始运动场矩阵，初始运动场矩阵包括非参考图像中的多个像素相对于参考图像的初始估计位姿。
本实施例中，非参考图像对应的运动传感器数据是电子设备拍摄非参考图像时在世界坐标系或者相机坐标系中的绝对运动数据，而不是非参考图像相对于参考图像的相对运动数据。因此，可通过将参考图像对应的运动传感器数据与非参考图像对应的运动传感器数据进行比较的方式，确定非参考图像中多个像素相对于参考图像的初始估计位姿，即确定非参考图像的初始运动场矩阵。
在一种可能的实施方式中，步骤240包括：
对参考图像对应的运动传感器数据进行数据处理，确定参考图像对应的位移和参考图像对应的姿态角度；
对非参考图像对应的运动传感器数据进行数据处理，确定非参考图像对应的位移和非参考图像对应的姿态角度；
以参考图像对应的位移为参考位移，基于非参考图像对应的位移，确定非参考图像相对于参考图像的相对位移；
以参考图像对应的姿态角度为参考角度，基于非参考图像对应的姿态角度，确定非参考图像相对于参考图像的相对角度；
基于相对位移和相对角度，得到初始运动场矩阵。
本步骤中，参考图像对应的运动传感器数据可包括参考图像对应的加速度数据和角度数据，可对参考图像对应的加速度数据进行去噪和数值积分运算，得到参考图像对应的位移，参考图像对应的位移为电子设备拍摄参考图像时的设备位移；可对参考图像对应的角度数据进行去噪，得到参考图像对应的姿态角度，参考图像对应的姿态角度为电子设备拍摄参考图像时的姿态角度。
可选地，对参考图像对应的加速度数据进行高通滤波，以去除参考图像对应的加速度数据中的低频噪声，提高去噪效果。
可选地，可对参考图像对应的加速度数据进行多次离散数值积分运算，得到参考图像对应的位移，提高参考图像对应的位移的准确性。
可确定参考图像的图像时间戳为位移零点，基于参考图像对应的位移，对非参考图像对应的位移进行校正，得到非参考图像相对于参考图像(即相对于位移零点)的相对位移。具体的，可将非参考图像对应的位移减去参考图像对应的位移，得到非参考图像相对于参考图像的相对位移。
可确定参考图像的图像时间戳为角度零点，基于参考图像对应的姿态角度，对非参考图像对应的姿态进行校正，得到非参考图像相对于参考图像(即相对于角度零点)的相对角度。具体的，可将非参考图像对应的角度减去参考图像对应的角度，得到非参考图像相对于参考图像的相对角度。
作为示例地，非参考图像相对于参考图像的相对位移可表示为[dx,dy,dz]，非参考图像相对于参考图像的相对角度可表示为[gx,gy,gz]。其中，dx,dy,dz分别表示非参考图像相对于参考图像在x、y、z轴上的位移；gx,gy,gz分别表示非参考图像相对于参考图像在x、y、z轴上的角度。
考虑到相对位移的维度和相对角度的维度远小于非参考图像、参考图像的图像维度，可以非参考图像、参考图像的图像维度为参考，将相对位移和相对角度进行组合，得到初始运动场矩阵。其中，初始运动场矩阵中的各个元素的维度与非参考图像、参考图像的图像维度一致。
作为示例地，初始运动场矩阵可表示为：
Dx＝[[dx,…,dx],[dx,…,dx]]∈RH*W
Dy＝[[dy,…,dy],[dy,…,dy]]∈RH*W
Dz＝[[dz,…,dz],[dz,…,dz]]∈RH*W
Gx＝[[gx,…,gx],[gx,…,gx]]∈RH*W
Gy＝[[gy,…,gy],[gy,…,gy]]∈RH*W
Gz＝[[gz,…,gz],[gz,…,gz]]∈RH*W
S0i＝[Dx,Dy,Dz,Gx,Gy,Gz]∈RH*W*6
其中，H＊W表示原始图像的维度，也即参考图像的维度、非参考图像的维度，H表示原始图像的高，W表示原始图像的宽。i0i表示第i个非参考图像相对于参考图像初始估计位姿，即表示第i个非参考图的目标运动场矩阵。
步骤250，根据参考特征图、非参考特征图以及非参考图像的初始运动场矩阵，确定非参考图像的目标运动场矩阵。
本实施例中，在得到非参考图像的初始运动场矩阵后，由于参考特征图和非参考特征图也可以在一定程度上体现出参考图与非参考图之间的相对位移、相对角度，可基于参考特征图、非参考特征图以及非参考图像的初始运动场矩阵，进一步优化非参考图像的初始运动场江湖中，得到非参考图像的目标运动场矩阵，提高非参考图像的目标运动场矩阵的准确性。
在一种可能的实施方式中，步骤250包括：
对非参考特征图与参考特征图进行特征相关性求解，得到非参考图像对应的特征相关性矩阵；
对非参考图像对应的特征相关性矩阵和非参考图像的初始运动场矩阵进行特征解码，得到非参考图像的目标运动场矩阵。
本步骤中，对于非参考特征图和参考特征图而言，特征相关性矩阵可以体现该两类特征之间的相互影响，在目标运动矩阵估计的过程中，引入特征相关性矩阵，可提高目标运动矩阵的准确性。针对各个非参考图像，可将非参考图像对于的非参考特征图与参考特征图进行特征相关性求解，得到非参考图像对应的特征相关性矩阵。如此，可得到各个非参考图像对应的特征相关性矩阵。
作为示例地，非参考图像对应的特征相关性矩阵的求解公式可表示为：
Figure BDA0003852174630000121
其中，C0i表示第i个非参考特征图(即第i个非参考图像对应的非参考特征图)对应的特征相关性矩阵，该特征相关性矩阵用于反映第i个非参考特征图与参考特征图的特征相关性。
其中，图像生成模型包括第二解码网络，第二解码网络用于对非参考图像对应的特征相关性矩阵和非参考图像的初始运动场矩阵进行特征解码。
本步骤中，针对各个非参考图像，可将非参考图像对应的特征相关性矩阵和非参考图像的初始运动场矩阵输入至第二解码网络中，在第二解码网络中，对非参考图像对应的特征相关性矩阵和非参考图像的初始运动场矩阵进行特征解码，基于解码后的特征，预测得到非参考图像的目标运动场矩阵。从而，在初始运动场矩阵的基础上，结合参考特征图与非参考特征图之间的特征相关性，提高了非参考图像的目标运动场矩阵的预测准确性，
作为示例地，非参考图像的目标运动场矩阵的求解公式可表示为：
Figure BDA0003852174630000122
Figure BDA0003852174630000123
为第i个非参考图像的目标运动场矩阵。MotionFlowDecoder(*)表示第二解码网络，θmfd表示第二解码网络的网络参数。
步骤260，根据参考特征图、非参考特征图和非参考图像的目标运动场矩阵，进行超分辨率重建，生成多帧原始图像对应的超分辨率重建图像。
其中，步骤260的实现原理和技术效果可参照前述实施例，不再赘述。
本申请实施例中，先基于反映真实运动情况的参考图像的运动传感器数据和非参考图像的运动传感器数据，得到非参考图像的初始运动场估计矩阵，基于结合参考图像和参考图像的深度图得到的参考图像特征以及结合非参考图像和非参考图像的深度图得到的非参考图像特征，对初始运动场估计矩阵进行优化，得到非参考图像的目标运动场估计矩阵，提高了目标运动场估计矩阵的准确性，进而提高了基于目标运动场估计矩阵进行超分辨率重建的图像质量。
关于步骤150：
在一些实施例中，步骤150可包括图3中的步骤350至步骤370。
参考图3，图3为本申请实施例提供的图像生成方法的流程示意图三。如图3所示，图像生成方法包括步骤310至步骤370。
步骤310，获取采集数据，采集数据包括多帧原始图像、原始图像对应的深度图以及原始图像对应的运动传感器数据。
步骤320，在原始图像中，确定参考图像和非参考图像。
步骤330，对参考图像和参考图像对应的深度图进行特征提取，得到参考特征图，对非参考图像和非参考图像对应的深度图进行特征提取，得到非参考特征图。
步骤340，根据参考图像对应的运动传感器数据、非参考图像对应的运动传感器数据、参考特征图和非参考特征图，确定非参考图像的目标运动场矩阵，目标运动场矩阵包括非参考图像中多个像素相对于参考图像的目标估计位姿。
其中，步骤310至步骤340的实现原理和技术效果可参照前述实施例，不再赘述。
步骤350，根据参考特征图和非参考图像的目标运动场矩阵，校正非参考特征图，得到非参考图像对应的校正特征图。
本实施例中，非参考图像的目标运动场矩阵，体现了非参考图像上多个像素点相对于参考图像特征的目标估计位姿，因此，可以基于参考特征图和非参考图像的目标运动场矩阵，确定非参考图像对应的非参考特征图上多个特征值的理想位置，基于非参考图像对应的非参考特征图上多个特征值的理想位置，对非参考图像对应的非参考特征图进行矫正，得到非参考图像对应的校正特征图。其中，一个非参考图像可对应一个校正特征图。
在一种可能的实施方式中，步骤350包括：
根据参考特征图，确定参考特征图对应的坐标矩阵；
根据参考特征图对应的坐标矩阵和非参考图像的目标运动场矩阵，确定非参考特征图对应的坐标矩阵。
根据非参考特征图对应的坐标矩阵，对非参考特征图进行特征值采样，得到非参考图像对应的校正特征图。
本步骤中，确定参考特征图中各个特征值的图像位置，将各个特征值的图像位置组合得到参考特征图对应的坐标矩阵。在坐标矩阵中，一个元素对应一个特征值在参考特征图中的图像位置。比如，参考特征图中第一行的第一个特征值的图像位置为(0,0)，第一行的第二个特征值的图像位置为(0,1)，……，第二行的第一个特征值的图像位置为(1,0)，第二行的第二个特征值的图像位置为(1,1)，……，如此类推，由(0,0)、(0,1)、……(1,0)、(1,1)、……可组合得到参考特征图对应的坐标矩阵。
其中，非参考特征图对应的坐标矩阵中的各个元素反映了非参考特征图中各个特征值的理想位置。
可基于非参考图像的目标运动场矩阵，对参考特征图对应的坐标矩阵中的各个元素进行调整，得到非参考特征图对应的坐标矩阵。具体的，针对各个非参考特征图，可参考特征图对应的坐标矩阵减去非参考图像的目标运动场矩阵，得到非参考图像对应的坐标矩阵。
由于非参考特征图对应的坐标矩阵中的各个元素反映了非参考特征图中各个特征值的理想位置，比如，该坐标矩阵中的第一个元素反映了非参考特征图中第一个特征值的理想位置。因此，可基于非参考特征图对应的坐标矩阵中的各个元素值，在非参考特征图中进行特征值采样，得到多个特征值。具体的，可根据非参考特征图对应的坐标矩阵中的第一个元素值，在非参考特征图中采样第一个特征值；可根据非参考特征图对应的坐标矩阵中的第二个元素值，在非参考特征图中采样第二个特征值；如此类推，得到多个特征值。之后，由采样得到的多个特征值组合得到非参考图像对应的校正特征图。
步骤360，对参考特征图和非参考图像对应的校正特征图进行特征融合，得到融合特征图。
本实施例中，在得到非参考图像对应的校正特征图后，将参考特征图与各个非参考图像对应的校正特征图进行融合，得到融合特征图。从而，通过特征图校正得到了准确度更高的校正特征图，基于校正特征图得到了准确度更高的融合特征图，有利于提高超分辨率重建的图像质量。
步骤370，基于融合特征图进行超分辨率重建，得到超分辨率重建图像。
本实施例中，可将融合特征图输入到图像生成模型中的第一解码网络中，通过第一解码网络中的多个转置卷积，对融合特征图进行上采样操作，通过第一解码网络中的特征图注意力模块对经过上采样操作后的融合特征图进行微调，最终得到超分辨率重建图像。
本申请实施例中，基于参考图像对应的参考特征图和非参考图像的目标运动场矩阵，对非参考图像对应的非参考特征图进行校正，提高了特征图的准确性。通过融合参考特征图和非参考图像对应的校正特征图，得到融合特征图，提高了融合特征图的准确性。基于融合特征图，生成超分辨率重建图像，从而，有效地提高了超分辨率重建的图像质量。
参考图4，图4为本申请实施例提供的图像生成方法的流程示意图四。如图四所示，图像生成方法包括步骤410至步骤490。
步骤410，获取采集数据，采集数据包括多帧原始图像、原始图像对应的深度图以及原始图像对应的运动传感器数据。
步骤420，在原始图像中，确定参考图像和非参考图像。
步骤430，对参考图像和参考图像对应的深度图进行特征提取，得到参考特征图，对非参考图像和非参考图像对应的深度图进行特征提取，得到非参考特征图。
步骤440，根据参考图像对应的运动传感器数据、非参考图像对应的运动传感器数据、参考特征图和非参考特征图，确定非参考图像的目标运动场矩阵，目标运动场矩阵包括非参考图像中多个像素相对于参考图像的目标估计位姿。
其中，步骤410至步骤440的实现原理和技术效果可参照前述实施例，不再赘述。
步骤450，通过对参考图像、非参考图像、参考特征图与非参考特征图的特征相关性以及非参考图像的目标运动场矩阵进行特征提取，确定非参考图像的目标运动场矩阵的置信度。
其中，图像生成模型包括运动场置信度预测网络，运动场置信度预测网络用于预测非参考图像的目标运动场矩阵的置信度，该置信度反映非参考图像的目标运动场矩阵的准确度，置信度越高则准确度越高。
其中，运动场置信度预测网络可以采用分类网络、决策网络，比如随机森林，在此对运动场置信度预测网络的具体结构不做限制。
本实施例中，可将参考图像、非参考图像、参考特征图与非参考特征图(尤其是非参考图像对应的校正特征图)的特征相关性(具体求解过程可参考前述实施例，不再赘述)以及非参考图像的目标运动场矩阵，输入至运动场置信度预测网络中，通过运动场置信度预测网络对这些数据进行特征提取，并基于提取得到的特征，预测非参考图像的目标运动场矩阵的置信度。
作为示例的，非参考图像的目标运动场矩阵的置信度的预测公式可表示为：
Figure BDA0003852174630000161
在上述公式中，P0i表示第i个非参考图像的目标运动场矩阵的置信度，MotionFlowPredictor(*)表示运动场置信度预测网络，θmfp表示运动场置信度预测网络的网络参数。
如此，结合参考图像、非参考图像、参考特征图与非参考特征图的特征相关性以及非参考图像的目标运动场矩阵多种数据，提高了对非参考图像的目标运动场矩阵的置信度的预测准确性。
步骤460，根据参考特征图和非参考图像的目标运动场矩阵，校正非参考特征图，得到非参考图像对应的校正特征图。
其中，步骤460的实现原理和技术效果可参照前述实施例，不再赘述。
步骤470，根据非参考图像的目标运动场矩阵中的运动参数，确定非参考图像对应的第一权重，根据参考特征图、非参考特征图和非参考图像的目标运动场矩阵的置信度，确定非参考图像对应的第二权重。
本实施例中，在得到各个非参考图像的目标运动场矩阵后，可基于各个非参考图像的目标运动场矩阵中的运动参数，比如位移、角速度等，计算第一权重。考虑到电子设备运动过于激烈时，即使拍摄的非参考图像对应的非参考特征图能够基于参考特征图进行校正，但非参考图像上还是存在剧烈的运动模糊，可能对于丰富图像细节信息没有正面收益，反而造成负面影响，因此可确定与运动剧烈程度成反比的第一权重，提高后续特征融合的合理性。
在一种可能的实现方式中，运动参数包括非参考图像对应的速度、角度，此时，第一权重的计算公式可表示为：
Figure BDA0003852174630000171
Figure BDA0003852174630000172
其中，
Figure BDA0003852174630000173
表示非参考图像相对于参考图像在x轴、y轴、z轴三个方向的速度，
Figure BDA0003852174630000174
表示非参考图像相对于参考图像在x轴、y轴、z轴三个方向的角度，norm(*)表示归一化函数，Wg表示多个非参考图像对应的第一权重构成的权重矩阵，
Figure BDA0003852174630000175
表示第i个非参考图像对应的第一权重。
本实施例中，图像生成模型中可包括注意力权重预测网络，注意力权重预测网络用于预测非参考图像对应的第二权重。可将参考特征图以及非参考图像对应的校正特征图与非参考图像的目标运动场矩阵的置信度的乘积输入至注意力权重预测网络中，在注意力权重预测网络中对这些数据进行特征提取，基于提取的特征进行权重预测，得到非参考图像对应的第二权重；对第二权重进行归一化，得到更新后的第二权重。
如此，结合参考特征图、非参考图像对应的校正特征图、非参考图像的目标运动场矩阵的执行度，并利用注意力权重预测网络，提高第二权重的准确性。
在一种可能的实现方式中，第二权重的预测公式可表示为：
Figure BDA0003852174630000181
Wa＝softmax(Wa)
其中，Wa表示各个非参考图像对应的第二权重构成的矩阵，n表示非参考图像的数量，
Figure BDA0003852174630000182
表示第n个非参考图像对应的第二权重，WeightPredictor(*)表示注意力权重预测网络，softmax(*)表示用于对非参考图像对应的第二权重进行归一化的softmax网络，
Figure BDA0003852174630000183
表示非参考图像对应的校正特征图，θwp表示注意力权重预测网络的参数。
在一种可能的实现方式中，图5为本申请实施例提供的注意力权重预测网络的结构示意图。如图5所示，注意力权重网络包括多个下采样网络和多个上采样网络，在下采样网络中可包括卷积层、批归一化层、激活函数层，在上采样网络中可包括卷积层、批归一化层、激活函数层和上采样层。其中，下采样网络与上采样网络一一对应，第一个下采样网络对应倒数一个上采样网络、第二个下采样网络对应倒数第二个上采样网络、……如此类推。下采样网络连接与该下采样网络对应的上采样网络以及下一个下采样网络，以提高权重预测准确性。
步骤480，根据非参考图像对应的第一权重和非参考图像对应的第二权重，对非参考特征图和参考特征图进行特征融合，得到融合特征图。
本实施例中，可基于非参考图像对应的第一权重和非参考图像对应的第二权重，确定非参考图像对应的加权权重，基于非参考图像对应的加权权重，将非参考图像对应的矫正特征图和参考特征图进行加权求和，得到融合特征图。如此，利用权重加权的方式提高参考特征图和非参考特征图的融合效果。
作为示例地，融合特征图的生成公式可表示为：
Figure BDA0003852174630000191
其中，Ffusion表示融合特征图，N表示原始图像的数量，在i＝0的情况下，
Figure BDA0003852174630000192
表示参考特征图，
Figure BDA0003852174630000193
的取值可为1。
步骤490，基于融合特征图进行超分辨率重建，得到超分辨率重建图像。
其中，步骤490的实现原理和技术上效果可参照前述实施例，不再赘述。
作为示例的，超分辨率重建图像的生成公式可表示为：
Isr＝SRDecoder(Ffusion|θsrd)
其中，Isr表示超分辨率重建图像，SRDecoder()表示第一解码网络，θsrd表示第一解码网络的网络参数。
本申请实施例中，预测非参考图像的目标运动场矩阵和目标运动场矩阵的置信度，基于目标运动场矩阵的置信度，确定非参考特征图的加权权重，提高加权权重的合理性和准确性。基于非参考图像的目标运动场矩阵、目标运动场矩阵的加权权重、非参考特征图、参考特征图，进行超分辨率重建，生成超分辨率重建图像，从而，有效地提高了超分辨率重建的图像质量。
作为示例的，图6为本申请实施例提供的运动场估计及运动场置信度预测网络的结构示意图，该网络位于图像生成网络中。
如图6所示，动场估计及运动场置信度预测网络包括图像生成网络中的特征提取网络、第二解码网络、运动场置信度预测网络，将参考图像I0和参考图像对应的深度图D0输入至特征提取网络中，得到参考特征图F0，将第i张非参考图像Ii和第i张非参考图像对应的深度图Di输入至特征提取网络中，得到非参考特征图Fi，将参考特征图F0和非参考特征图Fi进行特征相关性求解，得到特征相关性矩阵C0i。之后，将特征相关性矩阵C0i和非参考图像Fi对应的初始运动场矩阵输入至第二解码网络中进行解码，得到非参考图像对应的目标运动场矩阵
Figure BDA0003852174630000201
之后，将参考图像I0、非参考图像Ii、特征相关性矩阵C0i输入至运动场置信度预测网络中，预测得到目标运动场矩阵特征相关性矩阵C0i的置信度P0i。其中，i大于或等于1。
下面，提供在模型训练方法的实施例。
图7为本申请实施例提供的模型训练方法的流程示意图。如图7所示，本申请实施例提供的模型训练方法可包括如下步骤710-步骤770：
步骤710，获取训练数据，训练数据包括多帧原始训练图像、与多帧原始训练图像对应的深度图像以及原始训练图像对应的运动传感器数据。
步骤720，在原始训练图像中，确定参考训练图像和非参考训练图像。
步骤730，对参考训练图像和参考训练图像对应的深度图进行特征提取，得到参考训练特征图，对非参考训练图像和非参考训练图像对应的深度图进行特征提取，得到非参考训练特征图。
步骤740，根据参考训练图像对应的运动传感器数据、非参考训练图像的运动传感器数据、参考训练特征图和非参考训练特征图，确定非参考训练图像的目标运动场矩阵，目标运动场矩阵包括非参考训练图像中多个像素相对于参考训练图像的目标估计位姿。
步骤750，根据参考训练特征图、非参考训练特征图和非参考训练图像的目标运动场矩阵，进行超分辨率重建，生成多帧原始训练图像对应的超分辨率重建图像。
其中，步骤710～750的实现原理和技术效果可参照前述实施例提供的图像生成方法的相应步骤的描述，在此不再赘述。
步骤760，根据参考训练图像、非参考训练图像、参考训练特征图、非参考训练特征图、非参考训练图像的目标运动场矩阵、超分辨率重建图像中的多种，确定图像生成模型的损失值。
本实施例中，一种方式中，可基于参考训练图像、非参考训练图像和非参考训练图像的目标运动场矩阵，确定图像生成模型的损失值；又一种方式中，可基于参考训练特征图、非参考训练特征图和非参考训练图像的目标运动场矩阵，确定图像生成模型的损失值；又一种方式中，由于非参考训练图像的目标运动场矩阵反映了电子设备运动的剧烈程度，考虑到电子设备在拍摄瞬间通常不可能发生剧烈运动，可基于非参考训练图像的目标运动场矩阵，确定图像生成模型的损失值；又一种方式中，训练图像中包括原始图像对应的高分辨率图像，可基于高分辨率图像和超分辨率重建图像，确定图像生成模型的损失值。或者，可结合上述方式中的至少两种，确定图像生成模型的损失值，以提高图像生成模型的损失值的准确性和全面性，提高模型训练效果。
步骤770，根据损失值，对图像生成模型的模型参数进行调整，得到训练后的图像生成模型。
本实施例中，在得到损失值后，可将在图像生成模型中反向传播损失值，并基于反向传播的损失值更新图像生成模型的模型参数。在此，对图像生成模型的参数调整的具体过程不做限制。
可选地，可重复执行上述步骤710～770，对图像生成模型进行多次训练，以提高图像生成模型的超分辨率重建的图像质量。
本申请实施例中，通过在原始训练图像中确定参考训练图像和非参考训练图像，结合参考训练图像、非参考训练图像、参考训练图像对应的运动传感器数据以及非参考训练图像对应的运动传感器数据，准确预测非参考训练图像的目标运动场矩阵，结合参考训练图像、非参考训练图像、参考训练特征图、非参考训练特征图以及非参考训练图像的目标运动场矩阵，通过图像生成模型进行超分辨率重建，并基于该多种数据确定图像生成模型的损失值，提高了图像生成模型的训练效果，提高了图像生成模型的超分辨率重建能力。
在一些实施例中，步骤720包括：确定原始训练图像的图像清晰度；在原始训练图像中，确定参考训练图像为图像清晰度最高的图像，确定非参考训练图像为原始训练图像中除参考训练图像以外的剩余图像。
在一些实施例中，在步骤720中，确定原始训练图像的图像清晰度，包括：确定原始训练图像对应的形态学梯度图；根据形态学梯度图，确定原始训练图像的图像清晰度。
在一些实施例中，步骤740包括：根据参考训练图像对应的运动传感器数据，对非参考训练图像对应的运动传感器数据进行校正，得到非参考训练图像的初始运动场矩阵，初始运动场矩阵包括非参考训练图像中的多个像素相对于参考训练图像的初始估计位姿；根据参考训练特征图、非参考训练特征图以及非参考训练图像的初始运动场矩阵，确定非参考训练图像的目标运动场矩阵。
在一些实施例中，在步骤730中，根据参考训练图像对应的运动传感器数据，对非参考训练图像对应的运动传感器数据进行校正，得到非参考训练图像的初始运动场矩阵，包括：对参考训练图像对应的运动传感器数据进行数据处理，确定参考训练图像对应的位移和参考训练图像对应的姿态角度；对非参考训练图像对应的运动传感器数据进行数据处理，确定非参考训练图像对应的位移和非参考训练图像对应的姿态角度；以参考训练图像对应的位移为参考位移，基于非参考训练图像对应的位移，确定非参考训练图像相对于参考训练图像的相对位移；以参考训练图像对应的姿态角度为参考角度，基于非参考图像对应的姿态角度，确定非参考训练图像相对于参考训练图像的相对角度；基于相对位移和相对角度，得到初始运动场矩阵。
在一些实施例中，在步骤740中，根据参考训练特征图、非参考训练特征图以及非参考训练图像的初始运动场矩阵，确定非参考训练图像的目标运动场矩阵，包括：对非参考训练特征图与参考训练特征图进行特征相关性求解，得到非参考训练图像对应的特征相关性矩阵；对非参考训练图像对应的特征相关性矩阵和非参考训练图像的初始运动场矩阵进行特征解码，得到非参考训练图像的目标运动场矩阵。
在一些实施例中，步骤750包括：根据参考训练特征图和非参考训练图像的目标运动场矩阵，校正非参考训练特征图，得到非参考训练图像对应的校正特征图；对参考训练特征图和非参考训练图像对应的校正特征图进行特征融合，得到融合特征图；基于融合特征图进行超分辨率重建，得到超分辨率重建图像。
在一些实施例中，在步骤750中，根据参考训练特征图和非参考训练图像的目标运动场矩阵，校正非参考训练特征图，得到非参考训练图像对应的校正特征图，包括：根据参考训练特征图，确定参考训练特征图对应的坐标矩阵；根据参考训练特征图对应的坐标矩阵和非参考训练图像的目标运动场矩阵，确定非参考训练特征图对应的坐标矩阵；根据非参考训练特征图对应的坐标矩阵，对非参考训练特征图进行特征值采样，得到非参考训练图像对应的校正特征图。
在一些实施例中，在步骤740之后，还包括：通过对参考训练图像、非参考训练图像、参考训练特征图与非参考训练特征图的特征相关性以及非参考训练图像的目标运动场矩阵进行特征提取，确定非参考训练图像的目标运动场矩阵的置信度。此时，在步骤750中，对参考训练特征图和非参考训练图像对应的校正特征图进行特征融合，得到融合特征图，包括：根据非参考训练图像的目标运动场矩阵中的运动参数，确定非参考训练图像对应的第一权重；根据参考训练特征图、非参考训练特征图和非参考训练图像的目标运动场矩阵的置信度，确定非参考训练图像对应的第二权重；根据非参考训练图像对应的第一权重和非参考训练图像对应的第二权重，对非参考训练特征图和参考训练特征图进行特征融合，得到融合特征图。
其中，上述训练过程中的运动场矩阵、运动场矩阵的置信度预测、特征图的校正、超分辨率重建等过程的实现原理和技术效果，可以参照前述实施例提供的图像生成方法的响应过程，在本实施例中不再赘述。
在一些实施例中，在步骤760中，确定损失值的方式可包括：
根据参考训练图像和非参考训练图像的目标运动场矩阵，校正非参考训练图像，得到非参考训练图像的校正图，根据参考训练图像与校正图的差异，确定第一损失值；根据目标估计位姿，确定第二损失值；根据超分辨率重建图像与训练数据中原始图像对应的高分辨率图像的差异，确定第三损失值；根据第一损失值、第二损失值和/或第三损失值，确定图像生成模型的损失值。
本实施例中，在确定第一损失值的过程中，可根据非参考训练图像的目标运动场矩阵，将参考训练图像与非参考训练图像进行配准，以校正非参考训练图像，得到非参考训练图像的校正图。之后，可根据参考训练图像与非参考训练图像的校正图的差异，确定参考训练图像与非参考训练图像的矫正图之间的差异，结合参考训练图像与各个非参考训练图像的矫正图之间的差异，得到第一损失值，以提高第一损失值的准确性。在确定第二损失值的过程中，可结合各个非参考训练图像的目标运动场矩阵，确定第二损失值；在确定第三损失值的过程中，可计算超分辨率重建图像与原始图像对应的高分辨率图像的差值，基于该差值确定第三损失值。其中，多帧原始图像可对应一帧高分辨率图像，高分辨率图像可通过高分辨率相机采集得到。
在一种可能的实施方式中，校正非参考训练图像的过程可包括：
根据参考训练图像，确定参考训练图像对应的坐标矩阵；根据参考训练图像对应的坐标矩阵和非参考训练图像的目标运动场矩阵，确定非参考训练图像对应的坐标矩阵；根据非参考训练图像对应的坐标矩阵，对非参考训练图像进行像素值采样，得到非参考训练图像对应的校正图。
其中，非参考训练图像对应的坐标矩阵中的各个元素反映了非参考训练图像中各个像素值的理想位置。
本实施方式中，确定参考训练图像中各个像素值的图像位置，将各个像素值的图像位置组合得到参考训练图像对应的坐标矩阵。在坐标矩阵中，一个元素对应一个像素值在参考训练图像中的图像位置。比如，参考训练图像中第一行的第一个像素值的图像位置为(0,0)，第一行的第二个像素值的图像位置为(0,1)，如此类推，得到参考训练图像对应的坐标矩阵。
接着，可基于非参考训练图像的目标运动场矩阵，对参考训练图像对应的坐标矩阵中的各个元素进行调整，得到非参考训练图像对应的坐标矩阵。具体的，针对各个非参考训练图像，可参考训练图像对应的坐标矩阵减去非参考训练图像的目标运动场矩阵，得到非参考训练图像对应的坐标矩阵。
由于非参考训练图像对应的坐标矩阵中的各个元素反映了非参考训练图像中各个像素值的理想位置，比如，该坐标矩阵中的第一个元素反映了非参考训练图像中第一个像素值的理想位置。接着，可基于非参考训练图像对应的坐标矩阵中的各个元素值，在非参考训练图像中进行像素值采样，得到多个像素值。具体的，可根据非参考训练图像对应的坐标矩阵中的第一个元素值，在非参考训练图像中采样第一个像素值；可根据非参考训练图像对应的坐标矩阵中的第二个元素值，在非参考训练图像中采样第二个特征值；如此类推，得到多个像素值。之后，由采样得到的多个像素值组合得到非参考图像对应的校正图。
在一种可能的实施方式中，可确定参考训练图像与非参考训练图像的矫正图之间的差值，确定该差值与非参考训练图像的目标运动矩阵的置信度的乘积，确定该乘积的L1损失，如此，每个非参考训练图像可对应一个L1损失。通过对每个非参考图像对应的L1损失求和，得到第一损失值。从而，利用参考训练图像、非参考训练图像的矫正图、非参考训练图像的目标运动矩阵的置信度以及L1损失，提高第一损失值的准确性。
其中，第一损失值的计算公式可表示为：
Figure BDA0003852174630000251
其中，Lossalign表示第一损失值，I0表示参考图像，
Figure BDA0003852174630000252
表示第i个非参考图像的校正图。
在一种可能的实施方式中，可确定第二损失值为各个非参考训练图像对应的目标运动场矩阵的L1损失之和，以提高第二损失值的准确性。
其中，第二损失值的计算公式如下：
Figure BDA0003852174630000261
其中，Lossmotion表示第二损失值，
Figure BDA0003852174630000262
表示第i个非参考训练图像的目标运动场矩阵。
在一种可能的实施方式中，可确定第三损失值为超分辨率重建图像与原始图像对应的高分辨率图像的L1损失，以提高第三损失值的准确性。
其中，第三损失值的计算公式可表示为：
Lossrec＝||Irec-Ihr||1
其中，Lossrec表示第三损失值，Irec表示超分辨率重建图像，Ihr为高分辨率重建图像。
在一种可能的实施方式中，确定图像生成模型的损失值为第一损失值、第二损失值和第三损失值之和，以提高损失值的准确性和全面性，计算公式如下：
Loss＝Lossalign+Lossmotion+Lossrec
其中，Loss表示图像生成模型的损失值。
本申请实施例提供的图像生成方法，执行主体可以为图像生成装置。本申请实施例中以图像生成装置执行超分辨率重建的方法为例，说明本申请实施例提供的用于超分辨率重建的装置。
图8为本申请实施例提供的图像生成装置的结构框图。如图8所示，图像生成装置包括：
获取单元810，用于获取采集数据，采集数据包括多帧原始图像、原始图像对应的深度图以及原始图像对应的运动传感器数据；
第一确定单元820，用于在原始图像中，确定参考图像和非参考图像；
特征提取单元830，用于对参考图像和参考图像对应的深度图进行特征提取，得到参考特征图，对非参考图像和非参考图像对应的深度图进行特征提取，得到非参考特征图；
第二确定单元840，用于根据参考图像对应的运动传感器数据、非参考图像对应的运动传感器数据、参考特征图和非参考特征图，确定非参考图像的目标运动场矩阵，目标运动场矩阵包括非参考图像中多个像素相对于参考图像的目标估计位姿；
重建单元850，用于根据参考特征图、非参考特征图和非参考图像的目标运动场矩阵，进行超分辨率重建，生成多帧原始图像对应的超分辨率重建图像。
在一些实施例中，第一确定单元820具体用于：确定原始图像的图像清晰度；在原始图像中，确定参考图像为图像清晰度最高的图像，确定非参考图像为原始图像中除参考图像以外的剩余图像。
在一些实施例中，在确定原始图像的图像清晰度的过程中，第一确定单元820具体用于：确定原始图像对应的形态学梯度图；根据形态学梯度图，确定原始图像的图像清晰度。
在一些实施例中，第二确定单元840具体用于：根据参考图像对应的运动传感器数据，对非参考图像对应的运动传感器数据进行校正，得到非参考图像的初始运动场矩阵，初始运动场矩阵包括非参考图像中的多个像素相对于参考图像的初始估计位姿；根据参考特征图、非参考特征图以及非参考图像的初始运动场矩阵，确定非参考图像的目标运动场矩阵。
在一些实施例中，在根据参考图像对应的运动传感器数据，对非参考图像对应的运动传感器数据进行校正，得到非参考图像的初始运动场矩阵的过程中，第二确定单元840具体用于：对参考图像对应的运动传感器数据进行数据处理，确定参考图像对应的位移和参考图像对应的姿态角度；对非参考图像对应的运动传感器数据进行数据处理，确定非参考图像对应的位移和非参考图像对应的姿态角度；以参考图像对应的位移为参考位移，基于非参考图像对应的位移，确定非参考图像相对于参考图像的相对位移；以参考图像对应的姿态角度为参考角度，基于非参考图像对应的姿态角度，确定非参考图像相对于参考图像的相对角度；基于相对位移和相对角度，得到初始运动场矩阵。
在一些实施例中，在根据参考特征图、非参考特征图以及非参考图像的初始运动场矩阵，确定非参考图像的目标运动场矩阵的过程中，第二确定单元840具体用于：对非参考特征图与参考特征图进行特征相关性求解，得到非参考图像对应的特征相关性矩阵；对非参考图像对应的特征相关性矩阵和非参考图像的初始运动场矩阵进行特征解码，得到非参考图像的目标运动场矩阵。
在一些实施例中，重建单元850具体用于：根据参考特征图和非参考图像的目标运动场矩阵，校正非参考特征图，得到非参考图像对应的校正特征图；对参考特征图和非参考图像对应的校正特征图进行特征融合，得到融合特征图；基于融合特征图进行超分辨率重建，得到超分辨率重建图像。
在一些实施例中，在根据参考特征图和非参考图像的目标运动场矩阵，校正非参考特征图，得到非参考图像对应的校正特征图的过程中，重建单元850具体用于：根据参考特征图，确定参考特征图对应的坐标矩阵；根据参考特征图对应的坐标矩阵和非参考图像的目标运动场矩阵，确定非参考特征图对应的坐标矩阵；根据非参考特征图对应的坐标矩阵，对非参考特征图进行特征值采样，得到非参考图像对应的校正特征图。
在一些实施例中，第二确定单元840还用于：通过对参考图像、非参考图像、参考特征图与非参考特征图的特征相关性以及非参考图像的目标运动场矩阵进行特征提取，确定非参考图像的目标运动场矩阵的置信度。在对参考特征图和非参考图像对应的校正特征图进行特征融合，得到融合特征图的过程中，重建单元850具体用于：根据非参考图像的目标运动场矩阵中的运动参数，确定非参考图像对应的第一权重；根据参考特征图、非参考特征图和非参考图像的目标运动场矩阵的置信度，确定非参考图像对应的第二权重；根据非参考图像对应的第一权重和参考图像对应的第二权重，对非参考特征图和参考特征图进行特征融合，得到融合特征图。
本申请实施例提供的模型训练方法，执行主体可以为模型训练装置。本申请实施例中以模型训练装置执行模型训练的方法为例，说明本申请实施例提供的用于训练图像生成模型的装置。
图9为本申请实施例提供的模型训练装置的结构框图。如图9所示，模型训练装置包括：
获取单元910，用于获取训练数据，训练数据包括多帧原始训练图像、与多帧原始训练图像对应的深度图像以及原始训练图像对应的运动传感器数据；
第一确定单元920，用于在原始训练图像中，确定参考训练图像和非参考训练图像；
特征提取单元930，用于对参考训练图像和参考训练图像对应的深度图进行特征提取，得到参考训练特征图，对非参考训练图像和非参考训练图像对应的深度图进行特征提取，得到非参考训练特征图；
第二确定单元940，用于根据参考训练图像对应的运动传感器数据、非参考训练图像的运动传感器数据、参考训练特征图和非参考训练特征图，确定非参考训练图像的目标运动场矩阵，目标运动场矩阵包括非参考训练图像中多个像素相对于参考训练图像的目标估计位姿；
重建单元950，用于根据参考训练特征图、非参考训练特征图和非参考训练图像的目标运动场矩阵，进行超分辨率重建，生成多帧原始训练图像对应的超分辨率重建图像；
损失确定单元960，用于根据参考训练图像、非参考训练图像、参考训练特征图、非参考训练特征图、非参考训练图像的目标运动场矩阵、超分辨率重建图像中的多种，确定图像生成模型的损失值；
参数调整单元970，用于根据损失值，对图像生成模型的模型参数进行调整，得到训练后的图像生成模型。
在一些实施例中，损失确定单元960具体用于：根据参考训练图像和非参考训练图像的目标运动场矩阵，校正非参考训练图像，得到非参考训练图像的校正图；根据参考训练图像与校正图的差异，确定第一损失值，根据目标估计位姿，确定第二损失值；根据超分辨率重建图像与训练数据中原始图像对应的高分辨率图像的差异，确定第三损失值；根据第一损失值、第二损失值和/或第三损失值，确定图像生成模型的损失值。
在一些实施例中，第二确定单元940还用于：通过对参考训练图像、非参考训练图像、参考训练特征图与非参考训练特征图的特征相关性以及非参考训练图像的目标运动场矩阵进行特征提取，确定目标运动场矩阵的置信度。在根据参考训练图像与校正图的差异，确定第一损失值的过程中，损失确定单元960具体用于：确定参考训练图像与校正图的差异；通过目标运动场矩阵的置信度，对参考训练图像与校正图的差异进行加权求和，得到第一损失值。
本申请实施例中的图像生成装置和模型训练装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像生成装置和模型训练装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。
本申请实施例提供的图像生成装置能够实现图1至图7的方法实施例实现的各个过程。本申请实施例提供的模型训练装置能够实现图1至图7的方法实施例实现的各个过程。为避免重复，这里不再赘述。
可选地，如图10所示，本申请实施例还提供一种电子设备1000，包括处理器1001和存储器002，存储器1002上存储有可在所述处理器1001上运行的程序或指令，该程序或指令被处理器1001执行时实现上述图像生成方法或模型训练方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图11为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1100包括但不限于：射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器1109、以及处理器1110等部件。
本领域技术人员可以理解，电子设备1100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器1110逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，在电子设备1100执行图像生成方法的情况下：
处理器1110，用于：获取采集数据，采集数据包括多帧原始图像、原始图像对应的深度图以及原始图像对应的运动传感器数据；在原始图像中，确定参考图像和非参考图像；对参考图像和参考图像对应的深度图进行特征提取，得到参考特征图，对非参考图像和非参考图像对应的深度图进行特征提取，得到非参考特征图；根据参考图像对应的运动传感器数据、非参考图像对应的运动传感器数据、参考特征图和非参考特征图，确定非参考图像的目标运动场矩阵，目标运动场矩阵包括非参考图像中多个像素相对于参考图像的目标估计位姿；根据参考特征图、非参考特征图和非参考图像的目标运动场矩阵，进行超分辨率重建，生成多帧原始图像对应的超分辨率重建图像。
在一些实施例中，处理器1110还用于：确定原始图像的图像清晰度；在原始图像中，确定参考图像为图像清晰度最高的图像，确定非参考图像为原始图像中除参考图像以外的剩余图像。
在一些实施例中，处理器1110还用于：确定原始图像对应的形态学梯度图；根据形态学梯度图，确定原始图像的图像清晰度。
在一些实施例中，处理器1110还用于：根据参考图像对应的运动传感器数据，对非参考图像对应的运动传感器数据进行校正，得到非参考图像的初始运动场矩阵，初始运动场矩阵包括非参考图像中的多个像素相对于参考图像的初始估计位姿；根据参考特征图、非参考特征图以及非参考图像的初始运动场矩阵，确定非参考图像的目标运动场矩阵。
在一些实施例中，处理器1110还用于：对参考图像对应的运动传感器数据进行数据处理，确定参考图像对应的位移和参考图像对应的姿态角度；对非参考图像对应的运动传感器数据进行数据处理，确定非参考图像对应的位移和非参考图像对应的姿态角度；以参考图像对应的位移为参考位移，基于非参考图像对应的位移，确定非参考图像相对于参考图像的相对位移；以参考图像对应的姿态角度为参考角度，基于非参考图像对应的姿态角度，确定非参考图像相对于参考图像的相对角度；基于相对位移和相对角度，得到初始运动场矩阵。
在一些实施例中，处理器1110还用于：对非参考特征图与参考特征图进行特征相关性求解，得到非参考图像对应的特征相关性矩阵；对非参考图像对应的特征相关性矩阵和非参考图像的初始运动场矩阵进行特征解码，得到非参考图像的目标运动场矩阵。
在一些实施例中，处理器1110还用于：根据参考特征图和非参考图像的目标运动场矩阵，校正非参考特征图，得到非参考图像对应的校正特征图；对参考特征图和非参考图像对应的校正特征图进行特征融合，得到融合特征图；基于融合特征图进行超分辨率重建，得到超分辨率重建图像。
在一些实施例中，处理器1110还用于：根据参考特征图，确定参考特征图对应的坐标矩阵；根据参考特征图对应的坐标矩阵和非参考图像的目标运动场矩阵，确定非参考特征图对应的坐标矩阵；根据非参考特征图对应的坐标矩阵，对非参考特征图进行特征值采样，得到非参考图像对应的校正特征图。
在一些实施例中，处理器1110还用于：通过对参考图像、非参考图像、参考特征图与非参考特征图的特征相关性以及非参考图像的目标运动场矩阵进行特征提取，确定非参考图像的目标运动场矩阵的置信度。
在一些实施例，处理器1110还用于：根据非参考图像的目标运动场矩阵中的运动参数，确定非参考图像对应的第一权重；根据参考特征图、非参考特征图和非参考图像的目标运动场矩阵的置信度，确定非参考图像对应的第二权重；根据非参考图像对应的第一权重和参考图像对应的第二权重，对非参考特征图和参考特征图进行特征融合，得到融合特征图。
其中，在电子设备1100执行模型训练方法的情况下：
处理器1110，用于：获取训练数据，训练数据包括多帧原始训练图像、与多帧原始训练图像对应的深度图像以及原始训练图像对应的运动传感器数据；在原始训练图像中，确定参考训练图像和非参考训练图像；对参考训练图像和参考训练图像对应的深度图进行特征提取，得到参考训练特征图，对非参考训练图像和非参考训练图像对应的深度图进行特征提取，得到非参考训练特征图；根据参考训练图像对应的运动传感器数据、非参考训练图像的运动传感器数据、参考训练特征图和非参考训练特征图，确定非参考训练图像的目标运动场矩阵，目标运动场矩阵包括非参考训练图像中多个像素相对于参考训练图像的目标估计位姿；根据参考训练特征图、非参考训练特征图和非参考训练图像的目标运动场矩阵，进行超分辨率重建，生成多帧原始训练图像对应的超分辨率重建图像；根据参考训练图像、非参考训练图像、参考训练特征图、非参考训练特征图、非参考训练图像的目标运动场矩阵、超分辨率重建图像中的多种，确定图像生成模型的损失值；根据损失值，对图像生成模型的模型参数进行调整，得到训练后的图像生成模型。
在一些实施例中，处理器1110还用于：根据参考训练图像和非参考训练图像的目标运动场矩阵，校正非参考训练图像，得到非参考训练图像的校正图；根据参考训练图像与校正图的差异，确定第一损失值，根据目标估计位姿，确定第二损失值；根据超分辨率重建图像与训练数据中原始图像对应的高分辨率图像的差异，确定第三损失值；根据第一损失值、第二损失值和/或第三损失值，确定图像生成模型的损失值。
在一些实施例中，处理器1110还用于：通过对参考训练图像、非参考训练图像、参考训练特征图与非参考训练特征图的特征相关性以及非参考训练图像的目标运动场矩阵进行特征提取，确定目标运动场矩阵的置信度。在根据参考训练图像与校正图的差异，确定第一损失值的过程中，处理器1110还用于：确定参考训练图像与校正图的差异；通过目标运动场矩阵的置信度，对参考训练图像与校正图的差异进行加权求和，得到第一损失值。
应理解的是，本申请实施例中，输入单元1104可以包括图形处理器(GraphicsProcessing Unit，GPU)11041和麦克风11042，图形处理器11041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1106可包括显示面板11061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板11061。用户输入单元1107包括触控面板11071以及其他输入设备11072中的至少一种。触控面板11071，也称为触摸屏。触控面板11071可包括触摸检测装置和触摸控制器两个部分。其他输入设备11072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器1109可用于存储软件程序以及各种数据。存储器1109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作***、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1109可以包括易失性存储器或非易失性存储器，或者，存储器1109可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccess Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1109包括但不限于这些和任意其它适合类型的存储器。
处理器1110可包括一个或多个处理单元；可选的，处理器1110集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作***、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1110中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种图像生成方法，其特征在于，包括：
获取采集数据，所述采集数据包括多帧原始图像、所述原始图像对应的深度图以及所述原始图像对应的运动传感器数据；
在所述原始图像中，确定参考图像和非参考图像；
对所述参考图像和所述参考图像对应的深度图进行特征提取，得到参考特征图，对所述非参考图像和所述非参考图像对应的深度图进行特征提取，得到非参考特征图；
根据所述参考图像对应的运动传感器数据、所述非参考图像对应的运动传感器数据、所述参考特征图和所述非参考特征图，确定所述非参考图像的目标运动场矩阵，所述目标运动场矩阵包括所述非参考图像中多个像素相对于所述参考图像的目标估计位姿；
根据所述参考特征图、所述非参考特征图和所述非参考图像的目标运动场矩阵，进行超分辨率重建，生成所述多帧原始图像对应的超分辨率重建图像。
2.根据权利要求1所述的图像生成方法，其特征在于，所述在所述原始图像中，确定参考图像和非参考图像，包括：
确定所述原始图像的图像清晰度；
在所述原始图像中，确定所述参考图像为图像清晰度最高的图像，确定所述非参考图像为所述原始图像中除所述参考图像以外的剩余图像。
3.根据权利要求2所述的图像生成方法，其特征在于，所述确定所述原始图像的图像清晰度，包括：
确定所述原始图像对应的形态学梯度图；
根据所述形态学梯度图，确定所述原始图像的图像清晰度。
4.根据权利要求1-3中任一项所述的图像生成方法，其特征在于，所述根据所述参考图像对应的运动传感器数据、所述非参考图像对应的运动传感器数据、所述参考特征图和所述非参考特征图，确定所述非参考图像的目标运动场矩阵，包括：
根据所述参考图像对应的运动传感器数据，对所述非参考图像对应的运动传感器数据进行校正，得到所述非参考图像的初始运动场矩阵，所述初始运动场矩阵包括所述非参考图像中的多个像素相对于所述参考图像的初始估计位姿；
根据所述参考特征图、所述非参考特征图以及所述非参考图像的初始运动场矩阵，确定所述非参考图像的目标运动场矩阵。
5.根据权利要求4所述的图像生成方法，其特征在于，所述根据所述参考图像对应的运动传感器数据，对所述非参考图像对应的运动传感器数据进行校正，得到所述非参考图像的初始运动场矩阵，包括：
对所述参考图像对应的运动传感器数据进行数据处理，确定所述参考图像对应的位移和所述参考图像对应的姿态角度；
对所述非参考图像对应的运动传感器数据进行数据处理，确定所述非参考图像对应的位移和所述非参考图像对应的姿态角度；
以所述参考图像对应的位移为参考位移，基于所述非参考图像对应的位移，确定所述非参考图像相对于所述参考图像的相对位移；
以所述参考图像对应的姿态角度为参考角度，基于所述非参考图像对应的姿态角度，确定所述非参考图像相对于所述参考图像的相对角度；
基于所述相对位移和所述相对角度，得到所述初始运动场矩阵。
6.根据权利要求4所述的图像生成方法，其特征在于，所述根据所述参考特征图、所述非参考特征图以及所述非参考图像的初始运动场矩阵，确定所述非参考图像的目标运动场矩阵，包括：
对所述非参考特征图与所述参考特征图进行特征相关性求解，得到所述非参考图像对应的特征相关性矩阵；
对所述非参考图像对应的特征相关性矩阵和所述非参考图像的初始运动场矩阵进行特征解码，得到所述非参考图像的目标运动场矩阵。
7.根据权利要求1-3中任一项所述的图像生成方法，其特征在于，所述根据所述参考特征图、所述非参考特征图和所述非参考图像的目标运动场矩阵，进行超分辨率重建，生成所述多帧原始图像对应的超分辨率重建图像，包括：
根据所述参考特征图和所述非参考图像的目标运动场矩阵，校正所述非参考特征图，得到所述非参考图像对应的校正特征图；
对所述参考特征图和所述非参考图像对应的校正特征图进行特征融合，得到融合特征图；
基于所述融合特征图进行超分辨率重建，得到所述超分辨率重建图像。
8.根据权利要求7所述的图像生成方法，其特征在于，所述根据所述参考特征图和所述非参考图像的目标运动场矩阵，校正所述非参考特征图，得到所述非参考图像对应的校正特征图，包括：
根据所述参考特征图，确定所述参考特征图对应的坐标矩阵；
根据所述参考特征图对应的坐标矩阵和所述非参考图像的目标运动场矩阵，确定所述非参考特征图对应的坐标矩阵；
根据所述非参考特征图对应的坐标矩阵，对所述非参考特征图进行特征值采样，得到所述非参考图像对应的校正特征图。
9.根据权利要求7所述的图像生成方法，其特征在于，所述根据所述参考图像对应的运动传感器数据、所述非参考图像对应的运动传感器数据、所述参考特征图和所述非参考特征图，确定所述非参考图像的目标运动场矩阵之后，还包括：
通过对所述参考图像、所述非参考图像、所述参考特征图与所述非参考特征图的特征相关性以及所述非参考图像的目标运动场矩阵进行特征提取，确定所述非参考图像的目标运动场矩阵的置信度；
所述对所述参考特征图和所述非参考图像对应的校正特征图进行特征融合，得到融合特征图，包括：
根据所述非参考图像的目标运动场矩阵中的运动参数，确定所述非参考图像对应的第一权重；
根据所述参考特征图、所述非参考特征图和所述非参考图像的目标运动场矩阵的置信度，确定所述非参考图像对应的第二权重；
根据所述非参考图像对应的第一权重和所述非参考图像对应的第二权重，对所述非参考特征图和所述参考特征图进行特征融合，得到所述融合特征图。
10.一种图像生成装置，其特征在于，包括：
获取单元，用于获取采集数据，所述采集数据包括多帧原始图像、所述原始图像对应的深度图以及所述原始图像对应的运动传感器数据；
第一确定单元，用于在所述原始图像中，确定参考图像和非参考图像；
特征提取单元，用于对所述参考图像和所述参考图像对应的深度图进行特征提取，得到参考特征图，对所述非参考图像和所述非参考图像对应的深度图进行特征提取，得到非参考特征图；
第二确定单元，用于根据所述参考图像对应的运动传感器数据、所述非参考图像对应的运动传感器数据、所述参考特征图和所述非参考特征图，确定所述非参考图像的目标运动场矩阵，所述目标运动场矩阵包括所述非参考图像中多个像素相对于所述参考图像的目标估计位姿；
重建单元，用于根据所述参考特征图、所述非参考特征图和所述非参考图像的目标运动场矩阵，进行超分辨率重建，生成所述多帧原始图像对应的超分辨率重建图像。
11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-9中任一项所述的图像生成方法的步骤。
12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-9中任一项所述的图像生成方法的步骤。
CN202211136130.9A 2022-09-19 2022-09-19 图像生成方法、装置、设备及介质 Pending CN115423873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211136130.9A CN115423873A (zh) 2022-09-19 2022-09-19 图像生成方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211136130.9A CN115423873A (zh) 2022-09-19 2022-09-19 图像生成方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115423873A true CN115423873A (zh) 2022-12-02

Family

ID=84204689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211136130.9A Pending CN115423873A (zh) 2022-09-19 2022-09-19 图像生成方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115423873A (zh)

Similar Documents

Publication Publication Date Title
US10121229B2 (en) Self-portrait enhancement techniques
US10217200B2 (en) Joint video stabilization and rolling shutter correction on a generic platform
US20220222776A1 (en) Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution
CN113286194A (zh) 视频处理方法、装置、电子设备及可读存储介质
CN111507333B (zh) 一种图像矫正方法、装置、电子设备和存储介质
CN110248048B (zh) 一种视频抖动的检测方法及装置
KR102509466B1 (ko) 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임
CN112837245B (zh) 一种基于多模态融合的动态场景去模糊方法
CN111835983B (zh) 一种基于生成对抗网络的多曝光图高动态范围成像方法及***
CN113076685A (zh) 图像重建模型的训练方法、图像重建方法及其装置
US11915383B2 (en) Methods and systems for high definition image manipulation with neural networks
CN113362338B (zh) 铁轨分割方法、装置、计算机设备和铁轨分割处理***
CN116612015A (zh) 模型训练方法、图像去摩尔纹方法、装置及电子设备
CN114463230A (zh) 一种图像处理方法及相关设备
CN116097307A (zh) 图像的处理方法及相关设备
CN115564639A (zh) 背景虚化方法、装置、计算机设备和存储介质
CN116977200A (zh) 视频去噪模型的处理方法、装置、计算机设备和存储介质
JP7025237B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
CN115205112A (zh) 一种真实复杂场景图像超分辨率的模型训练方法及装置
CN115294280A (zh) 三维重建方法、装置、设备、存储介质和程序产品
CN115423873A (zh) 图像生成方法、装置、设备及介质
CN113807251A (zh) 一种基于外观的视线估计方法
CN118297994A (zh) 图像处理方法、装置、电子设备和存储介质
CN106488150B (zh) 基于异构计算生成高动态范围图像的***
CN115174811A (zh) 相机抖动检测方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination