CN112037129B - 图像超分辨率重建方法、装置、设备及存储介质 - Google Patents

图像超分辨率重建方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112037129B
CN112037129B CN202010873181.4A CN202010873181A CN112037129B CN 112037129 B CN112037129 B CN 112037129B CN 202010873181 A CN202010873181 A CN 202010873181A CN 112037129 B CN112037129 B CN 112037129B
Authority
CN
China
Prior art keywords
image
pixel
resolution
images
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010873181.4A
Other languages
English (en)
Other versions
CN112037129A (zh
Inventor
邹超洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN202010873181.4A priority Critical patent/CN112037129B/zh
Publication of CN112037129A publication Critical patent/CN112037129A/zh
Application granted granted Critical
Publication of CN112037129B publication Critical patent/CN112037129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像超分辨率重建方法、装置、设备及存储介质，涉及图像处理领域，其包括：获取视频数据中连续的N帧待处理图像，所述待处理图像为低分辨率图像，N≥2，N帧所述待处理图像中包含当前帧待处理图像；对N帧所述待处理图像进行对齐处理，得到N帧对齐图像；确定每帧所述对齐图像对应的一致性像素集合；基于所述一致性像素集合对N帧所述对齐图像进行一致性处理，以得到N帧一致性图像；将N帧所述一致性图像作为神经网络模型的输入，以得到所述当前帧待处理图像的超分辨率重建图像。采用上述方法可以解决现有技术中，利用图像配准进行超分辨率重建时产生的误配准易影响超分辨率重建效果的技术问题。

Description

图像超分辨率重建方法、装置、设备及存储介质
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像超分辨率重建方法、装置、设备及存储介质。
背景技术
超分辨率是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。现有技术中，通常对视频数据中每一帧图像进行超分辨率重建，但是，这种方法没有充分考虑视频中相邻帧图像之间的信息，使得超分辨率重建的效果有限。为了有效利用相邻帧图像之间的信息，现有技术中对视频数据中连续的多帧图像进行配准(即图像对齐)，之后，利用配准后图像中亚像素不对齐的信息进行超分辨率重建。发明人在实现本发明的过程中，发现现有技术存在如下缺陷：当多帧图像中存在被遮挡的区域或者运动的区域时，多帧图像的配准过程很容易出现误配准的情况，这会大大影响超分辨率重建的效果。
发明内容
本申请实施例提供了一种图像超分辨率重建方法、装置、设备及存储介质，以解决现有技术中，利用图像配准进行超分辨率重建时产生的误配准易影响超分辨率重建效果的技术问题。
第一方面，本申请实施例提供了一种图像超分辨率重建方法，包括：
获取视频数据中连续的N帧待处理图像，所述待处理图像为低分辨率图像，N≥2，N帧所述待处理图像中包含当前帧待处理图像；
对N帧所述待处理图像进行对齐处理，得到N帧对齐图像；
确定每帧所述对齐图像对应的一致性像素集合；
基于所述一致性像素集合对N帧所述对齐图像进行一致性处理，以得到N帧一致性图像；
将N帧所述一致性图像作为神经网络模型的输入，以得到所述当前帧待处理图像的超分辨率重建图像。
进一步的，所述确定每帧所述对齐图像对应的一致性像素集合包括：
将每帧所述对齐图像分别作为参考图像；
计算所述参考图像中每个像素点所对应的邻域像素块与每帧所述对齐图像中具有相同像素坐标的像素点所对应的邻域像素块之间的灰度距离；
根据所述灰度距离确定所述参考图像和相应对齐图像中具有相同像素坐标的像素点之间的像素一致性程度值，并根据所述像素一致性程度值构建所述参考图像与相应对齐图像之间的子一致性像素集合；
将每帧所述参考图像对应的各所述子一致性像素集合进行组合，以得到所述参考图像的一致性像素集合。
进一步的，所述子一致性像素集合中像素坐标为(i，j)的像素点所对应的像素一致性程度值记为Mapo,n(i,j)，
其中，第n帧对齐图像为参考图像，1≤n≤N，D(i，j)表示所述参考图像中像素坐标为(i，j)的像素点对应的邻域像素块与第o帧对齐图像中像素坐标为(i，j)的像素点对应的邻域像素块之间的灰度距离，1≤o≤N，τ为设定的距离阈值。
进一步的，所述基于所述一致性像素集合对N帧所述对齐图像进行一致性处理，以得到N帧一致性图像包括：
针对每帧所述对齐图像的像素点，利用所述对齐图像对应的所述一致性像素集合进行加权平均，以得到相应的去噪图像；
将每帧所述去噪图像内的像素点与对应的所述子一致性像素集合进行点乘，以得到相应的一致性图像，所述子一致性像素集合对应的参考图像与所述当前帧待处理图像为相同帧，所述子一致性像素集合对应的对齐图像与所述去噪图像为相同帧。
进一步的，第n帧去噪图像中像素坐标为(i，j)的像素点的像素值为：
其中，表示第n帧去噪图像中像素坐标为(i，j)的像素点的像素值，1≤n≤N，Srck(i,j)表示第k帧对齐图像中像素坐标为(i，j)的像素点的像素值，Mapk,n(i,j)表示第n帧对齐图像与第k帧对齐图像之间的子一致性像素集合中记录的像素一致性程度值，所述像素一致性程度值与第n帧对齐图像和第k帧对齐图像中像素坐标为(i，j)的像素点对应。
进一步的，第n帧一致性图像中像素坐标为(i，j)的像素点的像素值为：
其中，I'n(i,j)表示第n帧一致性图像中像素坐标为(i，j)的像素点的像素值，1≤n≤N，表示第n帧去噪图像中像素坐标为(i，j)的像素点的像素值，Mapn,p(i,j)表示第p帧对齐图像与第n帧对齐图像之间的子一致性像素集合中记录的像素一致性程度值，所述像素一致性程度值与第p帧对齐图像和第n帧对齐图像中像素坐标为(i，j)的像素点对应，第p帧对齐图像为当前帧待处理图像对应的对齐图像。
进一步的，所述对N帧所述待处理图像进行对齐处理，得到N帧对齐图像包括：
计算当前帧待处理图像与其他帧待处理图像之间的单应变换矩阵；
根据所述单应变换矩阵对所述其他帧待处理图像内各像素点进行坐标变换，以得到对齐图像。
进一步的，还包括：
获取高分辨率图像集合和低分辨率图像集合，所述高分辨率图像集合包含多帧连续的高分辨率训练图像，每帧所述高分辨率训练图像均有对应的低分辨率训练图像，各所述低分辨率训练图像组成所述低分辨率图像集合；
在所述高分辨率图像集合中选择当前帧高分辨率训练图像作为监督信息，并在所述低分辨率图像集合中选择N帧低分辨率训练图像作为神经网络模型的输入，以训练所述神经网络模型，所述N帧低分辨率训练图像包含所述当前帧高分辨率训练图像对应的低分辨率训练图像。
进一步的，所述神经网络模型的损失函数为：
其中，W*H为所述当前帧高分辨率训练图像的像素尺寸，表示所述当前帧高分辨率训练图像中像素坐标为(i,j)的像素点的像素值，/>表示当前帧超分辨率重建图像中像素坐标为(i,j)的像素点的像素值，所述当前帧超分辨率重建图像为N帧所述低分辨率训练图像输入所述神经网络模型后得到的输出图像。
进一步的，所述获取高分辨率图像集合和低分辨率图像集合包括：
获取高分辨率图像集合；
对所述高分辨率图像集合中每帧所述高分辨率训练图像进行下采样，以得到对应的低分辨率训练图像，并将所述低分辨率训练图像组成低分辨率图像集合。
进一步的，所述在所述低分辨率图像集合中选择N帧低分辨率训练图像作为神经网络模型的输入包括：
在所述低分辨率图像集合中选择N帧低分辨率训练图像；
基于N帧所述低分辨率训练图像，得到对应的N帧一致性训练图像；
将N帧所述一致性训练图像作为所述神经网络模型的输入。
第二方面，本申请实施例还提供了一种图像超分辨率重建装置，包括：
图像获取模块，用于获取视频数据中连续的N帧待处理图像，所述待处理图像为低分辨率图像，N≥2，N帧所述待处理图像中包含当前帧待处理图像；
图像对齐模块，用于对N帧所述待处理图像进行对齐处理，得到N帧对齐图像；
集合确定模块，用于确定每帧所述对齐图像对应的一致性像素集合；
一致性处理模块，用于基于所述一致性像素集合对N帧所述对齐图像进行一致性处理，以得到N帧一致性图像；
超分辨率重建模块，用于将N帧所述一致性图像作为神经网络模型的输入，以得到所述当前帧待处理图像的超分辨率重建图像。
第三方面，本申请实施例还提供了一种图像超分辨率重建设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的图像超分辨率重建方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的图像超分辨率重建方法。
上述图像超分辨率重建方法、装置、设备及存储介质，通过获取视频数据中连续的N帧低分辨率的待处理图像，之后，对N帧待处理图像进行对齐处理，得到N帧对齐图像，并计算每帧对齐图像对应的一致性像素集合，并基于一致性像素集合对对齐图像进行一致性处理，以得到一致性图像，将一致性图像作为神经网络模型的输入以得到超分辨率重建图像的技术手段，可以解决现有技术中利用图像配准进行超分辨率重建时产生的误配准易影响超分辨率重建效果的技术问题。通过计算一致性像素集合可以确定其对应的对齐图像与每帧对齐图像之间像素点的一致性程度，进而根据一致性像素集合得到各对齐图像的一致性图像，以在一致性图像中剔除一致性低的像素点(即未对齐的像素点)，进而在神经网络模型处理时降低一致性低的像素点所带来的影响，有效改善了利用连续帧图像进行超分辨率重建时因物体移动、遮挡等原因引起的误配准带来的影响，保证了超分辨率重建结果的精准度。
进一步的，计算一致性像素集合可以确定其对应的对齐图像与每帧对齐图像之间像素点的一致性程度(未对齐的像素点一致性低，已对齐的像素点一致性高)，并利用一致性程度对各对齐图像中像素点采用加权平均的方式得到去噪图像，进而实现时域降噪，以有效缓解噪声对超分辨率重建效果的影响。
进一步的，利用去噪图像和对应子一致性像素集合的点乘结果得到一致性图像，以在一致性图像中剔除一致性低的像素点，进而在神经网络模型处理时降低一致性低的像素点所带来的影响，保证了超分辨率重建结果的准确度。
附图说明
图1为本申请一个实施例提供的一种图像超分辨率重建方法的流程图；
图2为本申请另一个实施例提供的一种图像超分辨率重建方法的流程图；
图3为本申请实施例提供的一种图像超分辨率重建方法的数据流向图；
图4为本申请一个实施例提供的一种图像超分辨率重建装置的结构示意图；
图5为本申请一个实施例提供的一种图像超分辨率重建设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
本申请实施例提供的图像超分辨率重建方法可以由图像超分辨率重建设备执行，该图像超分辨率重建设备可以通过软件和/或硬件的方式实现，该图像超分辨率重建设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。例如，图像超分辨率重建设备可以是电脑、手机、平板或交互智能平板等具有数据运算、分析能力的智能设备。
图1为本申请实施例提供的一种图像超分辨率重建方法的流程示意图。参考图1，该图像超分辨率重建方法具体包括：
步骤110、获取视频数据中连续的N帧待处理图像，待处理图像为低分辨率图像，N≥2，N帧待处理图像中包含当前帧待处理图像。
具体的，视频数据是指需要进行超分辨率重建的数据，视频数据包含多帧图像，每帧图像的分辨率相同且均为较低的分辨率。视频数据的来源及数据内容实施例不做限定，例如，视频数据为从互联网中获取的视频会议数据。实施例中，对视频数据包含的连续帧图像进行超分辨率重建，进而基于重建后的图像组成高分辨率的视频数据。
一个实施例中，在视频数据中截取连续的N帧图像，实施例中，将截取的图像记为待处理图像。需说明，实施例中截取的N帧待处理图像为同一场景下的待处理图像，可选的，截图待处理图像后，计算待处理图像之间的相似性，并根据相似性确定待处理图像是否属于同一场景。可以理解，同一场景下各帧待处理图像中包含相同或高度相似的背景、物体等。进一步的，若N帧待处理图像属于同一场景，则进行后续处理，否则，不对N帧待处理图像进行处理，并重新截取属于同一场景的N帧待处理图像。
其中，N帧待处理图像的图片格式相同，且具体的图片格式实施例不做限定。连续的N帧待处理图像是指各帧待处理图像在时域上为连续的关系。进一步的，N帧待处理图像包含当前帧待处理图像。可理解，N帧待处理图像的截取方式实施例不做限定，例如，在视频数据中获取当前帧的图像及位于当前帧前后的多帧图像，进而得到连续的N张待处理图像。一个实施例中，待处理图像为低分辨率图像，其具体的分辨率实施例不做限定。可选的，N的数值可以根据实际情况设定，一般而言，N≥2。即本实施例中，通过连续的N帧待处理图像进行超分辨率重建，可以保证重建后的图像考虑到相邻帧图像内的信息，进而保证重建后图像的精准度。
步骤120、对N帧待处理图像进行对齐处理，得到N帧对齐图像。
实施例中，对齐处理(图像对齐)也可以记为配准处理(图像配准)，其用于将不同拍摄视角的两帧图像转换为相同拍摄视角的图像，其中，在处理时，以一帧图像的拍摄视角为基准视角，并对另一帧图像进行坐标变换，以将另一帧图像的拍摄视角变换到基准视角。
需说明，对齐处理可以采用现有的图像对齐方式，实施例中，以通过单应变换矩阵进行对齐处理为例进行描述。具体的，在进行对齐处理时，先计算两帧待处理图像之间的单应变换矩阵，之后，根据单应变换矩阵进行对齐处理。其中，单应变换矩阵也可以理解为进行坐标变换时使用的变换矩阵，其也可以记为单应性矩阵。典型的，单应性变换可简单理解为用来描述物体在世界坐标系和像素坐标系之间的位置映射关系，其中，世界坐标系是绝对坐标系，像素坐标系是基于图像分辨率建立的相对坐标系。单应性变化中使用的变换矩阵称为单应性矩阵。单应变换矩阵可以采用现有的计算方法，如先在两帧待处理图像中寻找特征点的像素坐标，其中，两帧待处理图像中的特征点为对应关系，例如，两帧待处理图像中均包含相同的人脸图像，此时，特征点可以为眼睛所在的像素点、鼻子所在的像素点或嘴巴所在的像素点等。可选的，特征点可以通过SIFT算法或ORB算法计算得到，其中，尺度不变特征变换(Scale-invariant feature transform，SIFT)是用于图像处理领域的一种描述，其可以在图像中检测出特征点。ORB(Oriented FAST and Rotated BRIEF)是一种快速特征点提取和描述的算法。之后，计算其中一帧待处理图像中特征点的像素坐标映射到另一帧待处理图像中该特征点的像素坐标时需要的变换矩阵，并将该变换矩阵记为单应变换矩阵。其中，像素坐标是指位于像素坐标系内的坐标，像素坐标系内的一个坐标点可以理解为一个像素点。之后，利用该单应变换矩阵对其中一帧待处理图像中各像素点的像素坐标进行坐标变换，坐标变换后的待处理图像与另一帧待处理图像为对齐图像。实施例中，将坐标变换后的待处理图像和另一帧待处理图像均记为对齐图像。可以理解，实施例中选择当前帧待处理图像，并计算其他帧待处理图像与当前帧待处理图像之间的单应变换矩阵，之后，根据单应变换矩阵对其他帧待处理图像进行坐标变换，之后，将坐标变换后的其他待处理图像和当前帧待处理图像一同记为对齐图像。即N帧待处理图像对应N帧对齐图像。
步骤130、确定每帧对齐图像对应的一致性像素集合。
考虑到进行对齐处理时，可能存在未对齐的像素点，例如，当前帧待处理图像中用户的手臂为伸直状态，另一帧待处理图像中用户的手臂属于轻微弯曲的状态，此时，对另一帧待处理图像进行坐标变换后，手臂所在的像素坐标与当前帧待处理图像中手臂所在的像素坐标不完全一致，此时，两帧对齐图像中出现了未对齐的像素点，该情况也可以理解为误配准情况。那么，利用两帧对齐图像中未对齐的像素点进行超分辨率重建时会影响其准确性。
因此，实施例中，采用一致性的方式来降低上述情况对超分辨率重建的影响。具体的，每帧对齐图像对应一个一致性像素集合，实施例中，将一致性像素集合对应的对齐图像记为参考图像。其中，一致性像素集合可以体现各帧对齐图像与参考图像之间的像素点的一致程度，一致程度越高说明两帧图像之间的像素越相似，即两帧图像越相似。一个实施例中，计算一致性像素集合时，可以在对齐图像(包含参考图像)中选择一个像素点，并在参考图像中选择与该像素点像素坐标相同的像素点，实施例中，将参考图像中选择的像素点记为参考像素点，之后，基于像素点在对齐图像中查找一像素块，该像素块包含所选择的像素点，同样的，在参考图像中查找一像素块，该像素块中包含参考像素点。需说明，两个像素块具有相同的像素坐标，且两个像素块优选为正方形像素块。之后，计算两个像素块之间的距离，其中，该距离优选为灰度距离。距离的计算方式实施例不做限定，例如，采用欧式距离的方式计算两个像素块之间的距离。可以理解，距离越小，说明两个像素块包含的像素点越相似，也可以认为所选择的像素点与参考像素点之间一致性越高。按照上述方式，便可以得到全部对齐图像中各像素点与对应参考像素点的距离。之后，基于计算得到的距离对全部对齐图像中的各像素点进行标记，以记录各像素点与对应参考像素点之间的一致性。实施例中，采用第一字符标记一致性高的像素点，采用第二字符标记一致性低的像素点，第一字符和第二字符的内容可以根据实际情况设定，实施例中，为了便于后续计算，将第一字符记为1，第二字符记为0。进一步的，可以通过设定距离阈值(具体值可以根据实际情况设定)的方式分辨一致性，当距离大于或等于设定距离阈值时，说明两个像素块之间相似度低，进而说明两个像素块之间一致性低，此时，可以将对应的像素点确定为一致性低的像素点，用第二字符标记。反之，将距离小于距离阈值的像素点确定为一致性高的像素点，用第一字符标记。之后，将各像素点对应的标记按照像素坐标间的位置关系组合成当前参考图像对应的一致性像素集合。按照上述方式，将每帧对齐图像均作为参考图像后，便可以得到该帧对齐图像(参考图像)对应的一致性像素集合。其中，某帧对齐图像对应的一致性像素集合包含N×W’×H’个字符，W’×H’为对齐图像的像素尺寸。每个字符均表示该帧对齐图像内对应像素点与相对应的对齐图像内像素点之间的一致性。
可以理解，在计算每帧对齐图像的的一致性像素集合时，考虑了时间连续的其他帧，这样可以更好的体现同一物体在各对齐图像中的一致性。比如，同一物体在各对齐图像中显示时，其占用的像素坐标越相近，那么在计算一致性像素集合时，一致性高的像素点就越多。这样可以准确地识别运动物体或被遮挡物体在各帧对齐图像中的一致性。
步骤140、基于一致性像素集合对N帧对齐图像进行一致性处理，以得到N帧一致性图像。
具体的，利用某帧对齐图像的一致性像素集合对该帧对齐图像进行一致性处理，并将处理后得到的图像记为一致性图像，其中，一帧对齐图像对应一帧一致性图像。一个实施例中，一致性图像剔除了其对应的对齐图像中与其他对齐图像一致性低的像素点，以在后续超分辨率重建时，降低一致性低的像素点对重建结果的影响。实施例中，以剔除其他帧对齐图像中与当前帧对齐图像一致性低的像素点为例进行描述。
在进行一致性处理时，可以将某帧对齐图像内的像素点与当前帧对齐图像所对应的一致性像素集合中用于标记该帧对齐图像内像素点一致性的字符(第一字符或第二字符)进行点乘，以得到一致性图像。或者是，先对对齐图像进行去噪处理，以得到每帧对齐图像对应的去噪后的图像。其中，去噪处理的方式可以根据实际情况设定，例如，选择每帧对齐图像中具有相同像素坐标的像素点，之后，基于某帧对齐图像对应的一致性像素集合中用于标记该像素点一致性的字符对该像素点进行加权平均，并将计算结果作为该像素点对应的去噪后的像素点，按照这种方式可以得到某帧对齐图像对应的全部去噪后的像素点，进而得到某帧对齐图像对应的去噪后的图像。之后，将某帧去噪后的图像内的像素点与当前帧对齐图像所对应的一致性像素集合中用于标记某帧对齐图像(与某帧去噪后的图像对应)内像素点一致性的字符(第一字符或第二字符)进行点乘，以得到一致性图像。可理解，由于一致性低的像素点在一致性像素集合中用0标记，所以，进行点乘时，对应位置的像素点与0点乘后，便可以得到0，进而实现剔除该像素点(在一致性图像中，剔除后的像素点的像素值为0，因此，可以表示为黑色的点)。此时，得到的各帧一致性图像已经剔除了一致性低的像素点，进而避免了一致性低的像素点对超分辨率重建结果的影响。
步骤150、将N帧一致性图像作为神经网络模型的输入，以得到当前帧待处理图像的超分辨率重建图像。
具体的，将当前得到的N帧一致性图像作为神经网络模型的输入，以通过神经网络模型对N帧一致性图像进行超分辨率重建，之后，神经网络模型输出一帧高分辨率图像，该高分辨率图像可以理解为神经网络模型对当前帧待处理图像的超分辨率重建结果，实施例中，将神经网络输出的图像记为超分辨率重建图像。一个实施例中，神经网络模型采用卷积神经网络，其具体的结构(如卷积层数量、卷积核大小、卷积层输入通道、卷积层输出通道等)可以根据实际情况设定。实际应用中，神经网络模型还可以采用其他神经网络(如残差神经网络等)。
可理解，按照上述方式，对视频数据中的每帧待处理图像进行处理后，便可以得到对应的高分辨率视频数据。
需说明，步骤130-步骤140中对像素点的计算可以理解为对像素点处像素值的计算。
上述，通过获取视频数据中连续的N帧低分辨率的待处理图像，之后，对N帧待处理图像进行对齐处理，得到N帧对齐图像，并计算每帧对齐图像对应的一致性像素集合，并基于一致性像素集合对对齐图像进行一致性处理，以得到一致性图像，将一致性图像作为神经网络模型的输入以得到超分辨率重建图像的技术手段，可以解决现有技术中利用图像配准进行超分辨率重建时产生的误配准易影响超分辨率重建效果的技术问题。通过计算一致性像素集合可以确定其对应的对齐图像与每帧对齐图像之间像素点的一致性程度，进而根据一致性像素集合得到各对齐图像的一致性图像，以在一致性图像中剔除一致性低的像素点(即未对齐的像素点)，进而在神经网络模型处理时降低一致性低的像素点所带来的影响，有效改善了利用连续帧图像进行超分辨率重建时因物体移动、遮挡等原因引起的误配准带来的影响，保证了超分辨率重建结果的精准度。
图2为本申请另一个实施例提供的一种图像超分辨率重建方法的流程图。本实施例是在上述实施例的基础上进行具体化。本实施例中。参考图2，该图像超分辨率重建方法具体包括：
步骤210、获取视频数据中连续的N帧待处理图像，待处理图像为低分辨率图像，N≥2，N帧待处理图像中包含当前帧待处理图像。
具体的，实施例中，以N＝3为例进行描述。此时，图3为本申请实施例提供的一种图像超分辨率重建方法的数据流向图。参考图3，N帧待处理图像分别记为第n-1帧待处理图像Fn-1、第n帧待处理图像Fn、第n+1帧待处理图像Fn+1，其中，n≥2，且第n帧待处理图像为当前帧待处理图像。
步骤220、计算当前帧待处理图像与其他帧待处理图像之间的单应变换矩阵。
具体的，选择当前帧待处理图像，即第n帧待处理图像，之后，计算第n-1帧待处理图像和第n帧待处理图像之间的单应变换矩阵，及第n+1帧待处理图像和第n帧待处理图像之间的单应变换矩阵。实施例中，将第n-1帧待处理图像和第n帧待处理图像之间的单应变换矩阵记为Hn-1，n，将第n+1帧待处理图像和第n帧待处理图像之间的单应变换矩阵记为Hn，n+1。其中，单应变换矩阵的计算方式可以参考步骤120中描述的计算方式。
步骤230、根据单应变换矩阵对其他帧待处理图像内各像素点进行坐标变换，以得到对齐图像。
具体的，参考图3，利用单应变换矩阵Hn-1，n对待处理图像Fn-1进行单应性变换，得到对齐图像In-1，其中，In-1＝warp(Fn-1，Hn-1，n)，利用单应变换矩阵Hn，n+1对待处理图像Fn+1进行单应性变换,得到对齐图像In+1，其中，In+1＝warp(Fn+1，Hn，n+1)。上述，warp()表示单应性变换。可选的，在进行单应性变换时，还可以结合双线性插值，以在对齐图像的横向和纵向上进行插值，进而得到对齐图像。
同时，直接将待处理图像Fn-1作为其自身的对齐图像In。
步骤240、将每帧对齐图像分别作为参考图像。
步骤250、计算参考图像中每个像素点所对应的邻域像素块与每帧对齐图像中具有相同像素坐标的像素点所对应的邻域像素块之间的灰度距离。
具体的，分别将对齐图像In-1、对齐图像In、对齐图像In+1为参考图像。设定像素块为m×m像素块，其中，m的值可以根据实际情况设定，如m可以为3、5、7等。以参考图像为对齐图像In为例，参考图像的像素范围为W’×H’，其中，W’表示水平方向上的像素范围，H’表示竖直方向上的像素范围。进一步的，在参考图像中选择一个像素点，该像素点的像素坐标记为(i，j)，其中，0≤i≤W’，0≤j≤H’，进一步的，以像素点(i，j)为中心在参考图像中选择一m×m像素块，此时，选择的像素块可以认为是像素点(i，j)的邻域像素块。之后，在对齐图像In-1中同样选择像素点(i，j)，并以像素点(i，j)为中心在对齐图像In-1中选择一m×m像素块，即邻域像素块。之后，计算两个邻域像素块之间的距离，实施例中，该距离为灰度距离，灰度距离也可以理解为邻域像素块对应的灰度图像之间的距离。具体的，将该灰度距离记为参考图像和对齐图像In-1中像素点(i，j)的灰度距离。可以理解，灰度距离越小，说明两个邻域像素块之间越相似度，进而说明两个像素点之间的一致性越高。之后，遍历参考图像中的全部像素点后，便可以得到参考图像与对齐图像In-1中每个像素点的灰度距离。之后，计算参考图像与对齐图像In中每个像素点的灰度距离，以及，参考图像与对齐图像In+1中每个像素点的灰度距离。此时，基于当前的参考图像可以得到3×W’×H’个距离，即参考图像中每个像素点对应3个灰度距离，每个灰度距离对应一帧对齐图像。之后，将对齐图像In-1作为参考图像，再次计算像素点的灰度距离，以及，将对齐图像In+1作为参考图像，再次计算像素点的灰度距离。
步骤260、根据灰度距离确定参考图像和相应对齐图像中具有相同像素坐标的像素点之间的像素一致性程度值，并根据像素一致性程度值构建参考图像与相应对齐图像之间的子一致性像素集合。
具体的，子一致性像素集合用于记录当前的参考图像与对应的某一帧对齐图像之间像素点的一致性，实施例中，采用不同的数值体现不同的一致性，并将该数值记为像素一致性程度值，可以理解，像素一致性程度值大，说明对应的像素点一致性高，反之，说明对应的像素点一致性低。进一步的，通过像素点对应的灰度距离确定子一致性像素集合中记录该像素点的像素一致性程度值。一个实施例中，子一致性像素集合中像素坐标为(i，j)的像素点所对应的像素一致性程度值记为Mapo,n(i,j)，
其中，第n帧对齐图像为参考图像，1≤n≤N，D(i，j)表示所述参考图像中像素坐标为(i，j)的像素点对应的邻域像素块与第o帧对齐图像中像素坐标为(i，j)的像素点对应的邻域像素块之间的灰度距离(即第n帧对齐图像和第o帧对齐图像中像素点(i，j)的灰度距离)，1≤o≤N，τ为设定的距离阈值。可理解，Mapo,n表示第n帧对齐图像和第o帧对齐图像之间的子一致性像素集合。进一步的，τ可以根据实际情况设定，τ越大，说明一致性要求越严格。当D(i，j)＜τ时，说明参考图像中像素点(i，j)与第o帧对齐图像中像素点(i，j)的一致性高，因此，在参考图像和第o帧对齐图像之间的子一致性像素集合中将该像素点(i，j)对应的像素一致性程度值记为1，以在后续计算过程中保留该像素点。相对的，当D(i，j)≥τ时，说明参考图像中像素点(i，j)与第o帧对齐图像中像素点(i，j)的一致性低，因此，在参考图像和第o帧对齐图像之间的子一致性像素集合中将该像素点(i，j)对应的像素一致性程度值记为0，以在后续计算过程中剔除该像素点。可理解，当o＝n时，Mapn,o(i,j)始终为1。
按照上述公式，便可以计算出每帧对齐图像和参考图像之间的子一致性像素集合。可以理解，对于任意两帧对齐图像而言，其中一帧为参考图像时计算得到的子一致性像素集合与另一帧为参考图像时得到的子一致性像素集合相同，即Mapn,n-1(i,j)＝Mapn-1,n(i,j)，因此，实施例中，对于这两帧对齐图像，可以仅计算一次子一致性像素集合。例如，参考图3，对于3帧对齐图像而言，对齐图像In对应的三个子一致性像素集合可以分别记为Mapn-1,n、Mapn,n、Mapn,n+1。对齐图像In-1对应的三个子一致性像素集合可以分别记为Mapn-1,n-1、Mapn-1,n、Mapn-1,n+1。对齐图像In+1对应的三个子一致性像素集合可以分别记为Mapn-1,n+1、Mapn,n+1、Mapn+1,n+1。且Mapn,n、Mapn-1,n-1、Mapn+1,n+1均为全1的矩阵。可以理解，图3以黑白图的方式表示子一致性像素集合，实际应用中，子一致性像素集合为矩阵形式。
步骤270、将每帧参考图像对应的各子一致性像素集合进行组合，以得到参考图像的一致性像素集合。
具体的，将基于某帧对齐图像得到的子一致性像素集合进行组合，并将组合后的集合作为该帧对齐图像的一致性像素集合。
例如，对齐图像In对应的一致性像素集合记为Mapn，且Mapn＝(Mapn-1,n，Mapn,n，Mapn,n+1)，对齐图像In-1对应的一致性像素集合记为Mapn-1，且Mapn-1＝(Mapn-1,n-1，Mapn-1,n，Mapn-1,n+1)，对齐图像In+1对应的一致性像素集合记为Mapn+1，且Mapn+1＝(Mapn-1,n+1，Mapn,n+1，Mapn+1,n+1)。
步骤280、针对每帧对齐图像的像素点，利用对齐图像对应的一致性像素集合进行加权平均，以得到相应的去噪图像。
具体的，对对齐图像进行去噪处理，且在去噪时，参考其对应的一致性像素集合，即一致性高的像素点权重大，一致性低的像素点权重小，之后，根据各对齐图像中相同像素坐标的像素点以及对应的权重，利用加权平均的方式计算当前对齐图像(当前采用的一致性像素集合对应的对齐图像)对应的去噪图像中像素点的像素值。
一个实施例中，第n帧去噪图像中像素坐标为(i，j)的像素点的像素值为：
其中，表示第n帧去噪图像中像素坐标为(i，j)的像素点的像素值，1≤n≤N，Srck(i,j)表示第k帧对齐图像中像素坐标为(i，j)的像素点的像素值，Mapk,n(i,j)表示第n帧对齐图像与第k帧对齐图像之间的子一致性像素集合中记录的像素一致性程度值，该像素一致性程度值与第n帧对齐图像和第k帧对齐图像中像素坐标为(i，j)的像素点对应。
具体的，当Mapk,n(i,j)为0时，第n帧对齐图像中像素坐标为(i，j)的像素点和第k帧对齐图像中像素坐标为(i，j)的像素点之间的一致性低，因此，在计算时，第k帧对齐图像中像素坐标为(i，j)的像素点乘Mapk,n(i,j)后，对第n帧去噪图像中像素坐标为(i，j)的像素点没有影响，而当Mapk,n(i,j)为1时，第n帧对齐图像中像素坐标为(i，j)的像素点和第k帧对齐图像中像素坐标为(i，j)的像素点之间的一致性高，因此，在计算时，第k帧对齐图像中像素坐标为(i，j)的像素点乘Mapk,n(i,j)后，对第n帧去噪图像中像素坐标为(i，j)的像素点存在影响。按照这种方式计算第n帧对齐图像对应的去噪图像中每个像素点的像素值。进而得到第n帧对齐图像对应的去噪图像。
按照上述方式，便可以得到每帧对齐图像对应的去噪图像。
例如，N＝3，且分别对应第n-1帧、第n帧和第n+1帧，此时，第n帧去噪图像中像素坐标为(i，j)的像素点的像素值表示为：
由上述公式可知，每帧去噪图像中的像素点均考虑了连续帧对齐图像中像素点的信息，因此，可以将上述去噪过程认为是时域去噪过程。
步骤290、将每帧去噪图像内的像素点与对应的子一致性像素集合进行点乘，以得到相应的一致性图像，该子一致性像素集合对应的参考图像与当前帧待处理图像为相同帧，该子一致性像素集合对应的对齐图像与去噪图像为相同帧。
其中，每帧去噪图像对应一帧一致性图像。由于最终得到当前帧待处理图像的超分辨率重建图像，因此，在计算一致性图像时，使用当前帧对齐图像(对应于当前帧待处理图像)对应的一致性像素集合进行计算，以剔除各去噪图像中与当前帧去噪图像(对应于当前帧待处理图像)一致性低的像素点。具体的，对于某一帧去噪图像而言，获取该帧去噪图像与当前帧去噪图像之间的子一致性像素集合，之后，将该帧去噪图像内的各像素点与获取的一致性像素集合进行点乘，以得到该帧去噪图像对应的一致性图像。
一个实施例中，第n帧一致性图像中像素坐标为(i，j)的像素点的像素值为：其中，I'n(i,j)表示第n帧一致性图像中像素坐标为(i，j)的像素点的像素值，1≤n≤N，/>表示第n帧去噪图像中像素坐标为(i，j)的像素点的像素值，Mapn,p(i,j)表示第p帧对齐图像与第n帧对齐图像之间的子一致性像素集合中记录的像素一致性程度值，该像素一致性程度值与第p帧对齐图像和第n帧对齐图像中像素坐标为(i，j)的像素点对应，第p帧对齐图像为当前帧待处理图像对应的对齐图像。
按照上述方式，当Mapn,p(i,j)为0时，与Mapn,p(i,j)的点乘结果为0，此时，可以在一致性图像中，剔除第n帧对齐图像中一致性低的像素点(i，j)，进而保证后续神经网络模型处理的准确性。
例如，参考图3，利用去噪图像和对应的子一致性像素集合Mapn-1,n点乘后，得到一致性图像I'n-1，利用去噪图像/>和对应的一致性像素集合Mapn,n点乘后，得到一致性图像I'n，用去噪图像/>和对应的一致性像素集合Mapn,n+1点乘后，得到一致性图像I'n+1。可以理解，一致性图像中与/>一致性低的像素点已经被剔除，如图3中I'n+1内用户手臂区域21的像素点由于一致性低已经被剔除。
步骤2100、将N帧一致性图像作为神经网络模型的输入，以得到当前帧待处理图像的超分辨率重建图像。
其中，神经网络模型的结构实施例不做限定，例如，图3中，神经网络模型包括卷积层conv、特征组合(卷积结果串联)层concat以及反卷积层deconv。经过神经网络模型处理后便可以得到当前帧待处理图像对应的超分辨率重建图像。
上述，通过获取视频数据中连续的N帧低分辨率的待处理图像，之后，采用单应性变换的方式得到N帧对齐图像，保证了对齐效果，之后，通过计算任两帧对齐图像之间邻域像素块的灰度距离的方式确定任两帧对齐图像中相应像素点之间的一致性程度，进而构建一致性像素集合，之后，对对齐图像进行时域去噪处理，以得到去噪图像，并将去噪图像与对应的子一致性像素集合进行点乘以得到一致性图像，将一致性图像作为神经网络模型的输入以得到超分辨率重建图像的技术手段，可以解决现有技术中利用图像配准进行超分辨率重建时产生的误配准易影响超分辨率重建效果的技术问题。通过计算一致性像素集合可以确定其对应的对齐图像与每帧对齐图像之间像素点的一致性程度(未对齐的像素点一致性低，已对齐的像素点一致性高)，并利用一致性程度对各对齐图像中像素点采用加权平均的方式得到去噪图像，进而实现时域降噪，以有效缓解噪声对超分辨率重建效果的影响。进一步的，利用去噪图像和对应子一致性像素集合的点乘结果得到一致性图像，以在一致性图像中剔除一致性低的像素点，进而在神经网络模型处理时降低一致性低的像素点所带来的影响，保证了超分辨率重建结果的准确度。
在上述实施例的基础上，还包括神经网络模型的训练步骤，该步骤具体包括步骤2110-步骤2120：
步骤2110、获取高分辨率图像集合和低分辨率图像集合，高分辨率图像集合包含多帧连续的高分辨率训练图像，每帧高分辨率训练图像均有对应的低分辨率训练图像，各低分辨率训练图像组成低分辨率图像集合。
其中，高分辨率图像集合中包含多帧连续的图像，该图像具有高分辨率且用于训练神经网络模型，实施例中，将该图像记为高分辨率训练图像。同样的，低分辨率图像集合中包含多帧连续的图像，该图像具有低分辨率且同样用于训练神经网络模型，实施例中，将该图像记为低分辨率训练图像。进一步的，高分辨率训练图像和低分辨率训练图像为一一对应关系，即对于每个高分辨率训练图像而言，均有一个显示内容相同、分辨率明显变低的低分辨率训练图像。
一个实施例中，低分辨率训练图像可以由对应的高分辨率训练图像得到。此时，获取高分辨率图像集合和低分辨率图像集合包括步骤2111-步骤2112：
步骤2111、获取高分辨率图像集合。
具体的，高分辨率图像集合可以通过对高分辨率的视频数据进行截取获取。其中，不同的视频数据可以得到不同的高分辨率图像集合。视频数据的来源实施例不做限定。例如，通过高精度的摄像头采集高分辨率的视频数据。
步骤2112、对高分辨率图像集合中每帧高分辨率训练图像进行下采样，以得到对应的低分辨率训练图像，并将低分辨率训练图像组成低分辨率图像集合。
其中，下采样可以理解为缩小图像，即降低图像的分辨率。实施例中，采用双三次插值算法(bicubic)对每帧高分辨率训练图像进行下采样，以得到对应的低分辨率训练图像。之后，按照高分辨率训练图像的排序方式对低分辨率训练图像进行排序，以组成连续的低分辨率训练图像，进而得到低分辨率图像集合。
步骤2120、在高分辨率图像集合中选择当前帧高分辨率训练图像作为监督信息，并在低分辨率图像集合中选择N帧低分辨率训练图像作为神经网络模型的输入，以训练神经网络模型，N帧低分辨率训练图像包含当前帧高分辨率训练图像对应的低分辨率训练图像。
具体的，为了保证神经网络模型的超分辨率重建效果，实施例中，在将低分辨率训练图像输入神经网络模型前，可以按照上述实施例所述的方式处理低分辨率训练图像以得到对应的一致性图像，此时，在所述低分辨率图像集合中选择N帧低分辨率训练图像作为神经网络模型的输入包括步骤2121-步骤2123：
步骤2121、在低分辨率图像集合中选择N帧低分辨率训练图像。
具体的，N帧低分辨率训练图像中包含当前帧低分辨训练图像。
步骤2122、基于N帧低分辨率训练图像，得到对应的N帧一致性训练图像。
具体的，对N帧低分辨率训练图像进行对齐处理，得到对应的N帧对齐图像，之后，确定N帧对齐图像对应的N个一致性像素集合，对N帧对齐图像进行时域去噪得到N帧去噪图像，并将去噪图像和对应的子一致性像素集合进行点乘，以得到N个一致性图像，实施例中，将得到一致性图像记为一致性训练图像。
步骤2123、将N帧一致性训练图像作为神经网络模型的输入。
具体的，将N帧一致性训练图像作为输入，将其中当前帧低分辨率训练图像对应的高分辨率训练图像作为监督信息，训练神经网络模型。
一个实施例中，采用L1范数构建损失函数，此时，所述神经网络模型的损失函数为：
其中，W*H为所述当前帧高分辨率训练图像的像素尺寸，表示当前帧高分辨率训练图像中像素坐标为(i,j)的像素点的像素值，/>表示当前帧超分辨率重建图像中像素坐标为(i,j)的像素点的像素值，当前帧超分辨率重建图像为N帧低分辨率训练图像输入神经网络模型后得到的输出图像。即通过监督信息和输出图像之间的差异确定神经网络模型的超分辨率重建效果。需说明，实际应用中，损失函数还可以为其他形式，如采用L2范数。
可理解，在训练过程中，采用大量的N帧低分辨率训练图像作为输入，并将对应的高分辨率训练图像作为监督信息，训练神经网络模型，直到损失函数收敛为止。其中，损失函数越收敛，当前帧超分辨率重建图像与监督信息差异越小，即当前帧超分辨率重建图像与监督信息之间的相似度越高，进而使得神经网络模型进行超分辨率重建的准确度变高。
图4为本申请一个实施例提供的一种图像超分辨率重建装置的结构示意图。参考图4，该图像超分辨率重建装置包括：图像获取模块301、图像对齐模块302、集合确定模块303、一致性处理模块304以及超分辨率重建模块305。
其中，图像获取模块301，用于获取视频数据中连续的N帧待处理图像，所述待处理图像为低分辨率图像，N≥2，N帧所述待处理图像中包含当前帧待处理图像；图像对齐模块302，用于对N帧所述待处理图像进行对齐处理，得到N帧对齐图像；集合确定模块303，用于确定每帧所述对齐图像对应的一致性像素集合；一致性处理模块304，用于基于所述一致性像素集合对N帧所述对齐图像进行一致性处理，以得到N帧一致性图像；超分辨率重建模块305，用于将N帧所述一致性图像作为神经网络模型的输入，以得到所述当前帧待处理图像的超分辨率重建图像。
上述，通过获取视频数据中连续的N帧低分辨率的待处理图像，之后，对N帧待处理图像进行对齐处理，得到N帧对齐图像，并计算每帧对齐图像对应的一致性像素集合，并基于一致性像素集合对对齐图像进行一致性处理，以得到一致性图像，将一致性图像作为神经网络模型的输入以得到超分辨率重建图像的技术手段，可以解决现有技术中利用图像配准进行超分辨率重建时产生的误配准易影响超分辨率重建效果的技术问题。通过计算一致性像素集合可以确定其对应的对齐图像与每帧对齐图像之间像素点的一致性程度，进而根据一致性像素集合得到各对齐图像的一致性图像，以在一致性图像中剔除一致性低的像素点(即未对齐的像素点)，进而在神经网络模型处理时降低一致性低的像素点所带来的影响，有效改善了利用连续帧图像进行超分辨率重建时因物体移动、遮挡等原因引起的误配准带来的影响，保证了超分辨率重建结果的精准度。
在上述实施例的基础上，集合确定模块303包括：参考图像选择单元，用于将每帧所述对齐图像分别作为参考图像；距离计算单元，用于计算所述参考图像中每个像素点所对应的邻域像素块与每帧所述对齐图像中具有相同像素坐标的像素点所对应的邻域像素块之间的灰度距离；子集合构建单元，用于根据所述灰度距离确定所述参考图像和相应对齐图像中具有相同像素坐标的像素点之间的像素一致性程度值，并根据所述像素一致性程度值构建所述参考图标与相应对齐图像之间的子一致性像素集合；集合组合单元，用于将每帧所述参考图像对应的各所述子一致性像素集合进行组合，以得到所述参考图像的一致性像素集合。
在上述实施例的基础上，所述子一致性像素集合中像素坐标为(i，j)的像素点所对应的像素一致性程度值记为Mapo,n(i,j)，
其中，第n帧对齐图像为参考图像，1≤n≤N，D(i，j)表示所述参考图像中像素坐标为(i，j)的像素点对应的邻域像素块与第o帧对齐图像中像素坐标为(i，j)的像素点对应的邻域像素块之间的灰度距离，1≤o≤N，τ为设定的距离阈值。
在上述实施例的基础上，一致性处理模块304包括：去噪单元，用于针对每帧所述对齐图像的像素点，利用所述对齐图像对应的所述一致性像素集合进行加权平均，以得到相应的去噪图像；点乘单元，用于将每帧所述去噪图像内的像素点与对应的所述子一致性像素集合进行点乘，以得到相应的一致性图像，所述子一致性像素集合对应的参考图像与所述当前帧待处理图像为相同帧，所述子一致性像素集合对应的对齐图像与所述去噪图像为相同帧。
在上述实施例的基础上，第n帧去噪图像中像素坐标为(i，j)的像素点的像素值为：
其中，表示第n帧去噪图像中像素坐标为(i，j)的像素点的像素值，1≤n≤N，Srck(i,j)表示第k帧对齐图像中像素坐标为(i，j)的像素点的像素值，Mapk,n(i,j)表示第n帧对齐图像与第k帧对齐图像之间的子一致性像素集合中记录的像素一致性程度值，所述像素一致性程度值与第n帧对齐图像和第k帧对齐图像中像素坐标为(i，j)的像素点对应。
在上述实施例的基础上，第n帧一致性图像中像素坐标为(i，j)的像素点的像素值为：
其中，I'n(i,j)表示第n帧一致性图像中像素坐标为(i，j)的像素点的像素值，1≤n≤N，表示第n帧去噪图像中像素坐标为(i，j)的像素点的像素值，Mapn,p(i,j)表示第p帧对齐图像与第n帧对齐图像之间的子一致性像素集合中记录的像素一致性程度值，所述像素一致性程度值与第p帧对齐图像和第n帧对齐图像中像素坐标为(i，j)的像素点对应，第p帧对齐图像为当前帧待处理图像对应的对齐图像。
在上述实施例的基础上，图像对齐模块302包括：矩阵计算单元，用于计算所述当前帧待处理图像与其他帧待处理图像之间的单应变换矩阵；坐标变换单元，用于根据所述单应变换矩阵对所述其他帧待处理图像内各像素点进行坐标变换，以得到对齐图像。
在上述实施例的基础上，还包括：训练集获取模块，用于获取高分辨率图像集合和低分辨率图像集合，所述高分辨率图像集合包含多帧连续的高分辨率训练图像，每帧所述高分辨率训练图像均有对应的低分辨率训练图像，各所述低分辨率训练图像组成所述低分辨率图像集合；模型训练模块，用于在所述高分辨率图像集合中选择当前帧高分辨率训练图像作为监督信息，并在所述低分辨率图像集合中选择N帧低分辨率训练图像作为神经网络模型的输入，以训练所述神经网络模型，所述N帧低分辨率训练图像包含所述当前帧高分辨率训练图像对应的低分辨率训练图像。
在上述实施例的基础上，所述神经网络模型的损失函数为：
其中，W*H为所述当前帧高分辨率训练图像的像素尺寸，表示所述当前帧高分辨率训练图像中像素坐标为(i,j)像素点的像素值，/>表示当前帧超分辨率重建图像中像素坐标为(i,j)的像素点的像素值，所述当前帧超分辨率重建图像为N帧所述低分辨率训练图像输入所述神经网络模型后得到的输出图像。
在上述实施例的基础上，训练集获取模块包括：集合获取单元，用于获取高分辨率图像集合，所述高分辨率图像集合包含多帧连续的高分辨率训练图像；集合确定单元，用于对所述高分辨率图像集合中每帧所述高分辨率训练图像进行下采样，以得到对应的低分辨率训练图像，并将所述低分辨率训练图像组成低分辨率图像集合。
在上述实施例的基础上，模型训练模块包括：监督确定单元，用于在所述高分辨率图像集合中选择当前帧高分辨率训练图像作为监督信息；图像选择单元，用于在所述低分辨率图像集合中选择N帧低分辨率训练图像；图像处理单元，用于基于N帧所述低分辨率训练图像，得到对应的N帧一致性训练图像；图像输入单元，用于将N帧所述一致性训练图像作为所述神经网络模型的输入；网络训练单元，用于训练所述神经网络模型，所述N帧低分辨率训练图像包含所述当前帧高分辨率训练图像对应的低分辨率训练图像。
上述提供的图像超分辨率重建装置可用于执行上述任意实施例提供的图像超分辨率重建方法，具备相应的功能和有益效果。
值得注意的是，上述图像超分辨率重建装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
图5为本申请一个实施例提供的一种图像超分辨率重建设备的结构示意图。如图5所示，该图像超分辨率重建设备包括处理器40、存储器41、输入装置42、输出装置43以及通信模块44；图像超分辨率重建设备中处理器40的数量可以是一个或多个，图5中以一个处理器40为例。图像超分辨率重建设备中处理器40、存储器41、输入装置42、输出装置43以及通信模块44可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像超分辨率重建方法对应的程序指令/模块(例如，图像超分辨率重建装置中的图像获取模块301、图像对齐模块302、集合确定模块303、一致性处理模块304以及超分辨率重建模块305)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行图像超分辨率重建设备的各种功能应用以及数据处理，即实现上述的图像超分辨率重建方法。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据图像超分辨率重建设备的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至图像超分辨率重建设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息，以及产生与图像超分辨率重建设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。通信装置44可利用网络进行数据通信，如获取视频数据。
上述图像超分辨率重建设备包含图像超分辨率重建装置，可以用于执行任意图像超分辨率重建方法，具备相应的功能和有益效果。
此外，本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本申请任意实施例所提供的图像超分辨率重建方法中的相关操作，且具备相应的功能和有益效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。
因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种图像超分辨率重建方法，其特征在于，包括：
获取视频数据中连续的N帧待处理图像，所述待处理图像为低分辨率图像，N≥2，N帧所述待处理图像中包含当前帧待处理图像；
对N帧所述待处理图像进行对齐处理，得到N帧对齐图像；
确定每帧所述对齐图像对应的一致性像素集合，其中，包括将每帧所述对齐图像分别作为参考图像，计算所述参考图像中每个像素点所对应的邻域像素块与每帧所述对齐图像中具有相同像素坐标的像素点所对应的邻域像素块之间的灰度距离，根据所述灰度距离确定所述参考图像和相应对齐图像中具有相同像素坐标的像素点之间的像素一致性程度值，并根据所述像素一致性程度值构建所述参考图像与相应对齐图像之间的子一致性像素集合，将每帧所述参考图像对应的各所述子一致性像素集合进行组合，以得到所述参考图像的一致性像素集合；
基于所述一致性像素集合对N帧所述对齐图像进行一致性处理，以得到N帧一致性图像；
将N帧所述一致性图像作为神经网络模型的输入，以得到所述当前帧待处理图像的超分辨率重建图像。
2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述子一致性像素集合中像素坐标为(i，j)的像素点所对应的像素一致性程度值记为Mapo,n(i,j)，
其中，第n帧对齐图像为参考图像，1≤n≤N，D(i，j)表示所述参考图像中像素坐标为(i，j)的像素点对应的邻域像素块与第o帧对齐图像中像素坐标为(i，j)的像素点对应的邻域像素块之间的灰度距离，1≤o≤N，τ为设定的距离阈值。
3.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述基于所述一致性像素集合对N帧所述对齐图像进行一致性处理，以得到N帧一致性图像包括：
针对每帧所述对齐图像的像素点，利用所述对齐图像对应的所述一致性像素集合进行加权平均，以得到相应的去噪图像；
将每帧所述去噪图像内的像素点与对应的所述子一致性像素集合进行点乘，以得到相应的一致性图像，所述子一致性像素集合对应的参考图像与所述当前帧待处理图像为相同帧，所述子一致性像素集合对应的对齐图像与所述去噪图像为相同帧。
4.根据权利要求3所述的图像超分辨率重建方法，其特征在于，第n帧去噪图像中像素坐标为(i，j)的像素点的像素值为：
其中，表示第n帧去噪图像中像素坐标为(i，j)的像素点的像素值，1≤n≤N，Srck(i,j)表示第k帧对齐图像中像素坐标为(i，j)的像素点的像素值，Mapk,n(i,j)表示第n帧对齐图像与第k帧对齐图像之间的子一致性像素集合中记录的像素一致性程度值，所述像素一致性程度值与第n帧对齐图像和第k帧对齐图像中像素坐标为(i，j)的像素点对应。
5.根据权利要求3或4所述的图像超分辨率重建方法，其特征在于，第n帧一致性图像中像素坐标为(i，j)的像素点的像素值为：
其中，I'n(i,j)表示第n帧一致性图像中像素坐标为(i，j)的像素点的像素值，1≤n≤N，表示第n帧去噪图像中像素坐标为(i，j)的像素点的像素值，Mapn,p(i,j)表示第p帧对齐图像与第n帧对齐图像之间的子一致性像素集合中记录的像素一致性程度值，所述像素一致性程度值与第p帧对齐图像和第n帧对齐图像中像素坐标为(i，j)的像素点对应，第p帧对齐图像为当前帧待处理图像对应的对齐图像。
6.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述对N帧所述待处理图像进行对齐处理，得到N帧对齐图像包括：
计算所述当前帧待处理图像与其他帧待处理图像之间的单应变换矩阵；
根据所述单应变换矩阵对所述其他帧待处理图像内各像素点进行坐标变换，以得到对齐图像。
7.根据权利要求1所述的图像超分辨率重建方法，其特征在于，还包括：
获取高分辨率图像集合和低分辨率图像集合，所述高分辨率图像集合包含多帧连续的高分辨率训练图像，每帧所述高分辨率训练图像均有对应的低分辨率训练图像，各所述低分辨率训练图像组成所述低分辨率图像集合；
在所述高分辨率图像集合中选择当前帧高分辨率训练图像作为监督信息，并在所述低分辨率图像集合中选择N帧低分辨率训练图像作为神经网络模型的输入，以训练所述神经网络模型，所述N帧低分辨率训练图像包含所述当前帧高分辨率训练图像对应的低分辨率训练图像。
8.根据权利要求7所述的图像超分辨率重建方法，其特征在于，所述神经网络模型的损失函数为：
其中，W*H为所述当前帧高分辨率训练图像的像素尺寸，表示所述当前帧高分辨率训练图像中像素坐标为(i,j)的像素点的像素值，/>表示当前帧超分辨率重建图像中像素坐标为(i,j)的像素点的像素值，所述当前帧超分辨率重建图像为N帧所述低分辨率训练图像输入所述神经网络模型后得到的输出图像。
9.根据权利要求7所述的图像超分辨率重建方法，其特征在于，所述获取高分辨率图像集合和低分辨率图像集合包括：
获取高分辨率图像集合；
对所述高分辨率图像集合中每帧所述高分辨率训练图像进行下采样，以得到对应的低分辨率训练图像，并将所述低分辨率训练图像组成低分辨率图像集合。
10.根据权利要求7所述的图像超分辨率重建方法，其特征在于，所述在所述低分辨率图像集合中选择N帧低分辨率训练图像作为神经网络模型的输入包括：
在所述低分辨率图像集合中选择N帧低分辨率训练图像；
基于N帧所述低分辨率训练图像，得到对应的N帧一致性训练图像；
将N帧所述一致性训练图像作为所述神经网络模型的输入。
11.一种图像超分辨率重建装置，其特征在于，包括：
图像获取模块，用于获取视频数据中连续的N帧待处理图像，所述待处理图像为低分辨率图像，N≥2，N帧所述待处理图像中包含当前帧待处理图像；
图像对齐模块，用于对N帧所述待处理图像进行对齐处理，得到N帧对齐图像；
集合确定模块，用于确定每帧所述对齐图像对应的一致性像素集合，其中，包括将每帧所述对齐图像分别作为参考图像，计算所述参考图像中每个像素点所对应的邻域像素块与每帧所述对齐图像中具有相同像素坐标的像素点所对应的邻域像素块之间的灰度距离，根据所述灰度距离确定所述参考图像和相应对齐图像中具有相同像素坐标的像素点之间的像素一致性程度值，并根据所述像素一致性程度值构建所述参考图像与相应对齐图像之间的子一致性像素集合，将每帧所述参考图像对应的各所述子一致性像素集合进行组合，以得到所述参考图像的一致性像素集合；
一致性处理模块，用于基于所述一致性像素集合对N帧所述对齐图像进行一致性处理，以得到N帧一致性图像；
超分辨率重建模块，用于将N帧所述一致性图像作为神经网络模型的输入，以得到所述当前帧待处理图像的超分辨率重建图像。
12.一种图像超分辨率重建设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的图像超分辨率重建方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的图像超分辨率重建方法。
CN202010873181.4A 2020-08-26 2020-08-26 图像超分辨率重建方法、装置、设备及存储介质 Active CN112037129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010873181.4A CN112037129B (zh) 2020-08-26 2020-08-26 图像超分辨率重建方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010873181.4A CN112037129B (zh) 2020-08-26 2020-08-26 图像超分辨率重建方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112037129A CN112037129A (zh) 2020-12-04
CN112037129B true CN112037129B (zh) 2024-04-19

Family

ID=73580053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010873181.4A Active CN112037129B (zh) 2020-08-26 2020-08-26 图像超分辨率重建方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112037129B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113038055B (zh) * 2021-01-27 2023-06-23 维沃移动通信有限公司 图像处理方法、装置及电子设备
CN112907443B (zh) * 2021-02-05 2023-06-16 深圳市优象计算技术有限公司 一种面向卫星相机的视频超分辨率重建方法及***
CN112581372B (zh) * 2021-02-26 2021-05-28 杭州海康威视数字技术股份有限公司 一种跨时空映射超分辨光场成像方法、装置及设备
CN113610705A (zh) * 2021-06-23 2021-11-05 珠海全志科技股份有限公司 用于超分重建的图像去交织方法及装置
CN114549307B (zh) * 2022-01-28 2023-05-30 电子科技大学 一种基于低分辨率图像的高精度点云色彩重建方法
CN115994858B (zh) * 2023-03-24 2023-06-06 广东海洋大学 一种超分辨率图像重建方法及***
CN117499558A (zh) * 2023-11-02 2024-02-02 北京市燃气集团有限责任公司 一种视频图像优化处理方法及装置
CN117788630B (zh) * 2024-02-28 2024-05-31 中国科学院自动化研究所 基于脉冲方波激励的超分辨磁粒子成像方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804373B1 (en) * 2000-06-15 2004-10-12 International Business Machines Corporation Method and system using renormalized pixels for public key and compressed images watermarks on prints
CN106600536A (zh) * 2016-12-14 2017-04-26 同观科技（深圳）有限公司 一种视频图像超分辨率重建方法及装置
CN108665410A (zh) * 2017-03-31 2018-10-16 杭州海康威视数字技术股份有限公司 一种图像超分辨率重构方法、装置及***
CN111369440A (zh) * 2020-03-03 2020-07-03 网易（杭州）网络有限公司 模型训练、图像超分辨处理方法、装置、终端及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10547823B2 (en) * 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804373B1 (en) * 2000-06-15 2004-10-12 International Business Machines Corporation Method and system using renormalized pixels for public key and compressed images watermarks on prints
CN106600536A (zh) * 2016-12-14 2017-04-26 同观科技（深圳）有限公司 一种视频图像超分辨率重建方法及装置
CN108665410A (zh) * 2017-03-31 2018-10-16 杭州海康威视数字技术股份有限公司 一种图像超分辨率重构方法、装置及***
CN111369440A (zh) * 2020-03-03 2020-07-03 网易（杭州）网络有限公司 模型训练、图像超分辨处理方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN112037129A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112037129B (zh) 图像超分辨率重建方法、装置、设备及存储介质
CN110827200B (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110136066B (zh) 面向视频的超分辨率方法、装置、设备和存储介质
CN107566688B (zh) 一种基于卷积神经网络的视频防抖方法、装置及图像对齐装置
JP4657367B2 (ja) 画像処理装置、撮像装置、および画像歪み補正方法
CN110599400B (zh) 一种基于epi的光场图像超分辨的方法
CN111402139B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110533607B (zh) 一种基于深度学习的图像处理方法、装置及电子设备
EP1347410A2 (en) Image processing method and apparatus
KR102221225B1 (ko) 영상 화질 개선방법 및 그 장치
CN101868966A (zh) 图像处理装置和图像处理方法
CN109871841B (zh) 图像处理方法、装置、终端及存储介质
US20200211159A1 (en) Method for image super resolution imitating optical zoom implemented on a resource-constrained mobile device, and a mobile device implementing the same
CN107564063B (zh) 一种基于卷积神经网络的虚拟物显示方法及装置
CN112529776B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN113344793A (zh) 图像超分辨率重建方法、装置、设备及存储介质
US20220351333A1 (en) Image reconstruction method, electronic device and computer-readable storage medium
JP2005057605A (ja) 画像処理装置、画像処理システム、撮像装置および画像処理方法
CN111223046B (zh) 一种图像超分辨率重建方法及装置
CN111767752A (zh) 一种二维码识别方法及装置
WO2021139380A1 (en) Image processing method and device, electronic device
CN115205112A (zh) 一种真实复杂场景图像超分辨率的模型训练方法及装置
CN114511487A (zh) 图像融合方法及装置、计算机可读存储介质、终端
CN113947521A (zh) 基于深度神经网络的图像分辨率转换方法及装置、终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant