CN113781312B - 视频增强方法、装置、计算机设备和存储介质 - Google Patents

视频增强方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113781312B
CN113781312B CN202111330266.9A CN202111330266A CN113781312B CN 113781312 B CN113781312 B CN 113781312B CN 202111330266 A CN202111330266 A CN 202111330266A CN 113781312 B CN113781312 B CN 113781312B
Authority
CN
China
Prior art keywords
information
frame
time sequence
time
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111330266.9A
Other languages
English (en)
Other versions
CN113781312A (zh
Inventor
周昆
李文博
卢丽莹
蒋念娟
沈小勇
吕江波
贾佳亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Smartmore Technology Co Ltd
Shanghai Smartmore Technology Co Ltd
Original Assignee
Shenzhen Smartmore Technology Co Ltd
Shanghai Smartmore Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Smartmore Technology Co Ltd, Shanghai Smartmore Technology Co Ltd filed Critical Shenzhen Smartmore Technology Co Ltd
Priority to CN202111330266.9A priority Critical patent/CN113781312B/zh
Publication of CN113781312A publication Critical patent/CN113781312A/zh
Application granted granted Critical
Publication of CN113781312B publication Critical patent/CN113781312B/zh
Priority to PCT/CN2022/105653 priority patent/WO2023082685A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种视频增强方法、装置、计算机设备和存储介质。所述方法包括：获取连续视频帧；连续视频帧中包括参考帧和与参考帧相邻的时序帧；提取出参考帧的特征信息和各时序帧的特征信息，将参考帧的特征信息，作为参考帧的参考帧信息，以及将各时序帧的特征信息进行对齐处理，得到各时序帧的时序帧信息；根据参考帧信息，对各时序帧信息进行聚合处理，得到各时序帧的聚合信息；根据参考帧信息和各聚合信息，重建出参考帧的目标视频帧；目标视频帧的图像质量高于参考帧的图像质量。采用本方法，使得重建出的视频帧拥有更高的信噪比和结构相似性，视觉效果也更为逼真，从而提高了重建出的视频帧的图像质量。

Description

视频增强方法、装置、计算机设备和存储介质
技术领域
本申请涉及视频处理技术领域，特别是涉及一种视频增强方法、装置、计算机设备和存储介质。
背景技术
视频超分辨率旨在将低分辨率的图像序列重建成高分辨率的图像，随着网络带宽的增加，人们对于高清图像的需求也在快速增长；如今，视频超分技术成功的应用于各个领域中，例如手机拍照、老旧影视内容的高清化、智能监控等。
传统技术中，一般是通过神经网络直接学习低分辨率图像到高分辨率图像的非线性映射，来重建出高分辨率的图像；但是，该方法得到的图像容易存在伪影、噪声等错误的信号，很难重建出高质量的图像。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高重建出的图像的图像质量的视频增强方法、装置、计算机设备和存储介质。
一种视频增强方法，所述方法包括：
获取连续视频帧；所述连续视频帧中包括参考帧和与所述参考帧相邻的时序帧；
提取出所述参考帧的特征信息和各所述时序帧的特征信息，将所述参考帧的特征信息，作为所述参考帧的参考帧信息，以及将各所述时序帧的特征信息进行对齐处理，得到各所述时序帧的时序帧信息；
根据所述参考帧信息，对各所述时序帧信息进行聚合处理，得到各所述时序帧的聚合信息；
根据所述参考帧信息和各所述聚合信息，重建出所述参考帧的目标视频帧；所述目标视频帧的图像质量高于所述参考帧的图像质量。
在其中一个实施例中，所述将各所述时序帧的特征信息进行对齐处理，得到各所述时序帧的时序帧信息，包括：
以所述参考帧为对齐目标，分别基于各所述时序帧的特征信息的历史运动信息，将各所述时序帧的特征信息进行对齐处理，得到各所述时序帧的时序帧信息。
在其中一个实施例中，所述以所述参考帧为对齐目标，分别基于各所述时序帧的特征信息的历史运动信息，将各所述时序帧的特征信息进行对齐处理，得到各所述时序帧的时序帧信息，包括：
若所述时序帧与所述参考帧之间包含中间帧，则以所述中间帧为对齐目标，基于所述时序帧的特征信息的历史运动信息，对所述时序帧的特征信息进行对齐处理，得到所述时序帧的初始对齐信息；
以所述参考帧为对齐目标，基于所述初始对齐信息的历史运动信息，对所述初始对齐信息进行再次对齐处理，得到所述时序帧的时序帧信息。
在其中一个实施例中，所述根据所述参考帧信息，对各所述时序帧信息进行聚合处理，得到各所述时序帧的聚合信息，包括：
根据所述参考帧信息和各所述时序帧信息，确定各所述时序帧信息的第一聚合权重和第二聚合权重；
根据各所述时序帧信息的第一聚合权重，对各所述时序帧信息进行聚合处理，得到各所述时序帧信息的初始聚合信息；
根据各所述时序帧信息的第二聚合权重，对各所述时序帧信息的初始聚合信息进行再次聚合处理，得到各所述时序帧的聚合信息。
在其中一个实施例中，所述各所述时序帧信息的第一聚合权重通过下述方式得到：
分别获取各所述时序帧信息与所述参考帧信息之间的差异信息；
根据各所述时序帧信息与所述参考帧信息之间的差异信息，确定各所述时序帧信息的第一聚合权重。
在其中一个实施例中，所述各所述时序帧信息的第二聚合权重通过下述方式得到：
获取各所述时序帧信息的平均值；
获取各所述时序帧信息与所述平均值之间的距离；
根据各所述时序帧信息与所述平均值之间的距离，确定各所述时序帧信息的第二聚合权重。
在其中一个实施例中，所述根据所述参考帧信息和各所述聚合信息，重建出所述参考帧的目标视频帧，包括：
将所述参考帧信息和各所述聚合信息进行拼接处理，得到拼接信息；
对所述拼接信息进行卷积处理，得到所述参考帧的目标视频帧。
一种视频增强装置，所述装置包括：
视频帧获取模块，用于获取连续视频帧；所述连续视频帧中包括参考帧和与所述参考帧相邻的时序帧；
信息提取模块，用于提取出所述参考帧的特征信息和各所述时序帧的特征信息，将所述参考帧的特征信息，作为所述参考帧的参考帧信息，以及将各所述时序帧的特征信息进行对齐处理，得到各所述时序帧的时序帧信息；
信息聚合模块，用于根据所述参考帧信息，对各所述时序帧信息进行聚合处理，得到各所述时序帧的聚合信息；
视频帧重建模块，用于根据所述参考帧信息和各所述聚合信息，重建出所述参考帧的目标视频帧；所述目标视频帧的图像质量高于所述参考帧的图像质量。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取连续视频帧；所述连续视频帧中包括参考帧和与所述参考帧相邻的时序帧；
提取出所述参考帧的特征信息和各所述时序帧的特征信息，将所述参考帧的特征信息，作为所述参考帧的参考帧信息，以及将各所述时序帧的特征信息进行对齐处理，得到各所述时序帧的时序帧信息；
根据所述参考帧信息，对各所述时序帧信息进行聚合处理，得到各所述时序帧的聚合信息；
根据所述参考帧信息和各所述聚合信息，重建出所述参考帧的目标视频帧；所述目标视频帧的图像质量高于所述参考帧的图像质量。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取连续视频帧；所述连续视频帧中包括参考帧和与所述参考帧相邻的时序帧；
提取出所述参考帧的特征信息和各所述时序帧的特征信息，将所述参考帧的特征信息，作为所述参考帧的参考帧信息，以及将各所述时序帧的特征信息进行对齐处理，得到各所述时序帧的时序帧信息；
根据所述参考帧信息，对各所述时序帧信息进行聚合处理，得到各所述时序帧的聚合信息；
根据所述参考帧信息和各所述聚合信息，重建出所述参考帧的目标视频帧；所述目标视频帧的图像质量高于所述参考帧的图像质量。
上述视频增强方法、装置、计算机设备和存储介质，通过获取连续视频帧；连续视频帧中包括参考帧和与参考帧相邻的时序帧；接着提取出参考帧的特征信息和各时序帧的特征信息，将参考帧的特征信息，作为参考帧的参考帧信息，以及将各时序帧的特征信息进行对齐处理，得到各时序帧的时序帧信息；然后根据参考帧信息，对各时序帧信息进行聚合处理，得到各时序帧的聚合信息；最后根据参考帧信息和各聚合信息，重建出参考帧的目标视频帧；目标视频帧的图像质量高于参考帧的图像质量；这样，通过对与参考帧相邻的各时序帧的特征信息进行对齐和聚合处理，并结合参考帧信息和各时序帧的聚合信息，使得重建出的视频帧拥有更高的信噪比和结构相似性，视觉效果也更为逼真，从而提高了重建出的视频帧的图像质量，避免了通过神经网络直接学习低分辨率图像到高分辨率图像的非线性映射，导致得到的图像容易存在伪影、噪声等错误的信号，很难重建出高质量的图像的缺陷。
附图说明
图1为一个实施例中视频增强方法的流程示意图；
图2为一个实施例中运动对齐的流程示意图；
图3为一个实施例中自适应的信息重聚合的流程示意图；
图4为另一个实施例中视频增强方法的流程示意图；
图5为一个实施例中一种用于时序对齐的视频增强方法的流程示意图；
图6为一个实施例中视频增强装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种视频增强方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤S101，获取连续视频帧；连续视频帧中包括参考帧和与参考帧相邻的时序帧。
其中，视频是由众多个静止的画面组成，这些静止的画面称为视频帧；比如一个视频中，一秒的视频至少包括24个视频帧。
其中，连续视频帧是指多帧连续的低分辨率视频帧，比如监控摄像头拍摄到的多帧连续的低分辨率的车辆行驶视频帧，适用于快速运动的物体场景；参考帧是指连续视频帧中具有参考意义的视频帧，比如连续视频帧中的中间视频帧。
需要说明的是，连续视频帧还可以是指需要进行视频去模糊和视频去噪的连续的视频帧。
具体地，服务器获取需要进行视频增强处理的连续视频帧，并从连续视频帧中确定出参考帧，同时将连续视频帧中与参考帧相邻的视频帧，作为时序帧。
举例说明，服务器将连续的五帧低分辨率的视频帧作为输入，这五帧视频帧中，第三帧视频帧是参考帧，与最终输出的高分辨率视频帧对应，而其他的四帧视频帧则是与参考帧相邻的时序帧。
步骤S102，提取出参考帧的特征信息和各时序帧的特征信息，将参考帧的特征信息，作为参考帧的参考帧信息，以及将各时序帧的特征信息进行对齐处理，得到各时序帧的时序帧信息。
其中，参考帧的特征信息是指参考帧的图像特征，时序帧的特征信息是指时序帧的图像特征，均可以通过特征提取模型提取得到。
其中，将各时序帧的特征信息进行对齐处理，是指分别将各时序帧的特征信息向参考帧的参考帧信息进行运动对齐；需要说明的是，假设时序帧与参考帧之间包括中间帧，则采用渐进式的运动对齐策略，先将该时序帧向中间帧对齐，再向参考帧对齐。
其中，时序帧的时序帧信息，是指对时序帧的特征信息进行运动对齐后得到的信息。
具体地，服务器将参考帧和各时序帧输入预先训练的特征提取模型，通过特征提取模型对参考帧和各时序帧进行特征提取处理，得到参考帧的特征信息和各时序帧的特征信息；将参考帧的特征信息，识别为参考帧的参考帧信息；分别将各时序帧的特征信息向参考帧的参考帧信息进行运动对齐，得到各时序帧的对齐信息，对应作为各时序帧的时序帧信息。
步骤S103，根据参考帧信息，对各时序帧信息进行聚合处理，得到各时序帧的聚合信息。
其中，时序帧的聚合信息是指对时序帧的时序帧信息进行重聚合后得到的信息。
具体地，服务器将参考帧信息和各时序帧信息输入信息聚合模型，通过信息聚合模型基于参考帧信息，对各时序帧信息进行聚合处理，得到各时序帧的聚合信息。其中，信息聚合模型是一种用于对时序帧的时序帧信息进行聚合处理的网络模型。
步骤S104，根据参考帧信息和各聚合信息，重建出参考帧的目标视频帧；目标视频帧的图像质量高于参考帧的图像质量。
其中，目标视频帧的图像质量高于参考帧的图像质量，是指目标视频帧的图像分辨率高于参考帧的图像分辨率，且拥有更高的信噪比和结构相似性，视觉效果也更为逼真。
具体地，服务器将参考帧信息和各时序帧的聚合信息输入信息重建模型，通过信息重建模型对参考帧信息和各时序帧的聚合信息进行卷积计算，得到参考帧的高质量视频帧，作为参考帧的目标视频帧，比如车辆行驶视频帧的高质量视频帧。
需要说明的是，假设连续视频帧是指需要进行视频去模糊和视频去噪的连续的视频帧，那么目标视频帧还可以是指视频去模糊和视频去噪后的视频帧。
上述视频增强方法中，通过获取连续视频帧；连续视频帧中包括参考帧和与参考帧相邻的时序帧；接着提取出参考帧的特征信息和各时序帧的特征信息，将参考帧的特征信息，作为参考帧的参考帧信息，以及将各时序帧的特征信息进行对齐处理，得到各时序帧的时序帧信息；然后根据参考帧信息，对各时序帧信息进行聚合处理，得到各时序帧的聚合信息；最后根据参考帧信息和各聚合信息，重建出参考帧的目标视频帧；目标视频帧的图像质量高于参考帧的图像质量；这样，通过对与参考帧相邻的各时序帧的特征信息进行对齐和聚合处理，并结合参考帧信息和各时序帧的聚合信息，使得重建出的视频帧拥有更高的信噪比和结构相似性，视觉效果也更为逼真，从而提高了重建出的视频帧的图像质量，避免了通过神经网络直接学习低分辨率图像到高分辨率图像的非线性映射，导致得到的图像容易存在伪影、噪声等错误的信号，很难重建出高质量的图像的缺陷。
在一个实施例中，上述步骤S102，将各时序帧的特征信息进行对齐处理，得到各时序帧的时序帧信息，具体包括：以参考帧为对齐目标，分别基于各时序帧的特征信息的历史运动信息，将各时序帧的特征信息进行对齐处理，得到各时序帧的时序帧信息。
其中，历史运动信息，是指连续性（C-Prop）、唯一性（U-Prop）和转移性（T-Prop）这三种运动信息。
具体地，服务器采用渐进式的运动对齐策略，以参考帧为对齐目标，将各时序帧的特征信息的历史运动信息作为已知条件，将各时序帧的特征信息进行运动对齐处理，得到各时序帧的对齐信息，对应作为各时序帧的时序帧信息；这样，将历史运动信息作为已知条件，有利于帮助到当前时序帧的对齐。
进一步地，以参考帧为对齐目标，分别基于各时序帧的特征信息的历史运动信息，将各时序帧的特征信息进行对齐处理，得到各时序帧的时序帧信息，具体可以通过下述方式实现：若时序帧与参考帧之间包含中间帧，则以中间帧为对齐目标，基于时序帧的特征信息的历史运动信息，对时序帧的特征信息进行对齐处理，得到时序帧的初始对齐信息；以参考帧为对齐目标，基于初始对齐信息的历史运动信息，对初始对齐信息进行再次对齐处理，得到时序帧的时序帧信息。
举例说明，参考图2，A表示一次对齐任务的集合，A包含了多个a，每个a是一个对齐单元；A1，A2的下标表示了相邻帧的序号“1”，“2”；
Figure 520788DEST_PATH_IMAGE002
表示了两对齐单元之间的信息传递，箭头表示信息从
Figure 824642DEST_PATH_IMAGE004
传递到了
Figure 724465DEST_PATH_IMAGE006
；
Figure 759417DEST_PATH_IMAGE008
和
Figure 388982DEST_PATH_IMAGE010
都表示了将时刻“1”的信息对齐到时刻“0”，而它们的下标分别是“1” 和“2”，说明了它们的信号分别来自视频帧“1”和视频帧“2”。M表示运动向量，比如
Figure 15135DEST_PATH_IMAGE012
、
Figure 871095DEST_PATH_IMAGE014
、
Figure 319525DEST_PATH_IMAGE016
、
Figure 944542DEST_PATH_IMAGE018
；C-Prop、U-Prop、T-Prop分别表示连续性、唯一性、转移性这三种运动信息。
具体实现中，参考图2，假设我们有五个连续帧，编号分别为“-2”，“-1”，“0”，“+1”，“+2”；运动对齐的目标是为了把四个相邻帧“-2”，“-1”，“+1”，“+2”对齐到参考帧“0”上，这样四个对齐的任务我们定义成A-2，A-1，A1，A2；根据定义，A1表示了“+1”→“0”这个对齐任务，这个任务“+1”和“0”之间不存在中间帧，因此只有一个对齐单元
Figure 741597DEST_PATH_IMAGE020
；A2表示了“+2”→“0”这个对齐任务，而“+2”和“0”存在一个中间帧“1”，因此A2包含了两个对齐单元
Figure 943908DEST_PATH_IMAGE022
：“+2”→“+1”，
Figure 586242DEST_PATH_IMAGE024
：“+1”→“0”。A2中包含的两个对齐单元
Figure 439666DEST_PATH_IMAGE022
和
Figure 407622DEST_PATH_IMAGE024
在时序上是相邻的，定义运动连续性的传递规则“C”：
Figure 972596DEST_PATH_IMAGE026
；相邻的两个对齐任务，例如A1和A2中的
Figure 12096DEST_PATH_IMAGE008
和
Figure 142863DEST_PATH_IMAGE010
表示的对齐起始时刻和终止时刻一样，即“+1”→“0”，但隶属于对齐任务A1和A2，因此他们的源信息分别来自于时序帧“+1”和“+2”，这里我们定义了运动对齐信息的第二种传递规则“U”：
Figure 750562DEST_PATH_IMAGE028
；而基于前面给出的两种传递规则，我们衍生出了第三种传递规则“T”：
Figure 678197DEST_PATH_IMAGE030
。
参考图2，可以简单表示为：
A1: (“+1”→“0”)
Figure 927913DEST_PATH_IMAGE008
；
A2: (“+2”→“+1”，“+1”→“+0”)
Figure 382028DEST_PATH_IMAGE026
；
A3：以此类推。
这样，对于不同帧的信息，我们采用了渐进式的对齐策略，解决了长距离直接对齐困难的问题；于此同时，我们充分地考虑了历史对齐信息，比如三种相关的历史运动信息：“C”，“U”，“T”；在每次执行当前对齐步骤时，我们将历史的运动信号作为已知的条件，帮助到当前的对齐。
本实施例中，通过渐进的对齐方案，充分挖掘了不同帧运动之间的关系，从而能够准确的实现时序的对齐，使得得到的时序帧的时序帧信息比较准确，同时解决了长距离直接对齐困难的问题。
在一个实施例中，上述步骤S103，根据参考帧信息，对各时序帧信息进行聚合处理，得到各时序帧的聚合信息，具体包括：根据参考帧信息和各时序帧信息，确定各时序帧信息的第一聚合权重和第二聚合权重；根据各时序帧信息的第一聚合权重，对各时序帧信息进行聚合处理，得到各时序帧信息的初始聚合信息；根据各时序帧信息的第二聚合权重，对各时序帧信息的初始聚合信息进行再次聚合处理，得到各时序帧的聚合信息。
其中，第一聚合权重是指准确性聚合权重，比如图3中的
Figure 285262DEST_PATH_IMAGE032
；第二聚合权重是指一致性聚合权重，比如图3中的
Figure 355986DEST_PATH_IMAGE034
。
具体实现中，各时序帧信息的第一聚合权重通过下述方式得到：分别获取各时序帧信息与参考帧信息之间的差异信息；根据各时序帧信息与参考帧信息之间的差异信息，确定各时序帧信息的第一聚合权重。例如，服务器分别获取各时序帧信息与参考帧信息之间的差异信息；根据各时序帧信息与参考帧信息之间的差异信息，查询预设的差异信息与第一聚合权重的对应关系，得到各时序帧信息的第一聚合权重。
具体实现中，各时序帧信息的第二聚合权重通过下述方式得到：获取各时序帧信息的平均值；获取各时序帧信息与平均值之间的距离；根据各时序帧信息与平均值之间的距离，确定各时序帧信息的第二聚合权重。例如，服务器先计算各时序帧信息的平均值，然后分别获取各时序帧信息与平均值之间的平方根距离，对应作为各时序帧信息与平均值之间的距离；最后根据各时序帧信息与平均值之间的距离，查询预设的距离与第二聚合权重的对应关系，得到各时序帧信息的第二聚合权重。
举例说明，参考图3，有两种聚合策略，分别是基于准确性的信息重聚合策略和基于一致性的信息聚合策略；F表示时序帧信息，P表示图像块。
针对图3中的（a）基于准确性的信息重聚合策略：首先我们有一个时序帧信息
Figure 878235DEST_PATH_IMAGE036
，我们对任意的一个位置取3*3的块，同时将相同位置的参考帧信息取出，逐一的将参考帧的信息和这个对应的块进行乘法运算；之后将乘积的结果进行归一化处理（比如softmax处理），得到了这个3*3块的权重
Figure 560758DEST_PATH_IMAGE032
；最后我们再将这个3*3的权重乘以这个3*3块并求和，这样我们就得到了一个新的值；这个新的值则是基于准确性的信息重聚合得到像素值，所有位置经过计算后就生成了初始聚合信息
Figure 510259DEST_PATH_IMAGE038
。需要说明的是，时序帧信息和参考帧信息之间的差异，通过计算余弦距离（向量点积）得到的，值越大，表示时序帧信息和参考帧信息之间的差异越小，则权重越大。
针对图3中的（b）基于一致性的信息聚合策略：我们先将所有的相邻时序帧信息求平均，这样就得到了平均时序帧信息
Figure 802700DEST_PATH_IMAGE040
，每个相邻时序帧信息都逐元素的和平均时序帧信息进行求平方根，通过指数函数“exp-(*)”就得到了新的一张权重图
Figure 253273DEST_PATH_IMAGE034
。需要说明的是，平方根距离（体现为差异性）越大，说明该时序帧的信息不连续性越强，则应该降低权重的大小。
最后，我们使用逐元素相乘结合两种策略的输出结果：
Figure 416401DEST_PATH_IMAGE042
；这样我们就得到了一时序帧重聚合之后的信息
Figure 67962DEST_PATH_IMAGE044
。
需要说明的是，基于这两种权重，我们既能够过滤掉不准确的时序信息，又可以增强准确、可靠的时序信息。当时序信息不准确时，权重
Figure 457486DEST_PATH_IMAGE032
就相应的比较小，从而聚合的程度就小，达到过滤不准确的时序信息的目的。同理，当时序信息不连续时，
Figure 321537DEST_PATH_IMAGE034
就较小，同样聚合程度也小，从而同样可以过滤掉不连续，也就是不准确的时序信息。相反，当
Figure 870330DEST_PATH_IMAGE034
和
Figure 551847DEST_PATH_IMAGE032
都大时，他们的乘积才大，因此又可以用来增强准确、可靠的时序信息。我们结合这两种度量方式，实现信息重聚合。
本实施例中，根据各时序帧信息的第一聚合权重和第二聚合权重，对各时序帧的时序帧信息进行聚合处理，得到各时序帧的聚合信息，既能够过滤掉不准确的时序信息，又可以增强准确、可靠的时序信息。
在一个实施例中，上述步骤S104，根据参考帧信息和各聚合信息，重建出参考帧的目标视频帧，具体包括：将参考帧信息和各聚合信息进行拼接处理，得到拼接信息；对拼接信息进行卷积处理，得到参考帧的目标视频帧。
具体地，服务器将参考帧信息和各聚合信息输入信息重建模型，通过信息重建模型将参考帧信息和各聚合信息进行拼接处理，得到拼接信息，并对拼接信息进行一系列卷积处理，得到高质量的视频帧，作为参考帧的目标视频帧。
本实施例中，根据参考帧信息和各聚合信息，有利于重建高质量的目标视频帧，避免了通过神经网络直接学习低分辨率图像到高分辨率图像的非线性映射，导致得到的图像容易存在伪影、噪声等错误的信号，很难重建出高质量的图像的缺陷。
在一个实施例中，如图4所示，提供了另一种视频增强方法，以该方法应用于服务器为例进行说明，包括以下步骤：
步骤S401，获取连续视频帧；连续视频帧中包括参考帧和与参考帧相邻的时序帧。
步骤S402，提取出参考帧的特征信息和各时序帧的特征信息，将参考帧的特征信息，作为参考帧的参考帧信息。
步骤S403，以参考帧为对齐目标，分别基于各时序帧的特征信息的历史运动信息，将各时序帧的特征信息进行对齐处理，得到各时序帧的时序帧信息。
步骤S404，分别获取各时序帧信息与参考帧信息之间的差异信息；根据各时序帧信息与参考帧信息之间的差异信息，确定各时序帧信息的第一聚合权重。
步骤S405，获取各时序帧信息的平均值；获取各时序帧信息与平均值之间的距离；根据各时序帧信息与平均值之间的距离，确定各时序帧信息的第二聚合权重。
步骤S406，根据各时序帧信息的第一聚合权重，对各时序帧信息进行聚合处理，得到各时序帧信息的初始聚合信息。
步骤S407，根据各时序帧信息的第二聚合权重，对各时序帧信息的初始聚合信息进行再次聚合处理，得到各时序帧的聚合信息。
步骤S408，将参考帧信息和各聚合信息进行拼接处理，得到拼接信息；对拼接信息进行卷积处理，得到参考帧的目标视频帧。
上述视频增强方法中，通过对与参考帧相邻的各时序帧的特征信息进行对齐和聚合处理，并结合参考帧信息和各时序帧的聚合信息，使得重建出的视频帧拥有更高的信噪比和结构相似性，视觉效果也更为逼真，从而提高了重建出的视频帧的图像质量，避免了通过神经网络直接学习低分辨率图像到高分辨率图像的非线性映射，导致得到的图像容易存在伪影、噪声等错误的信号，很难重建出高质量的图像的缺陷。
在一个实施例中，如图5所示，本申请还提出了一种用于时序对齐的视频增强方法，该方法不同于以前的方法直接对长距离的相邻帧进行运动估计，我们采用了一种渐进式的对齐策略；该对齐的策略充分利用了历史的运动信息，从而可以更加准确的实现长距离的帧间对齐、获取更可靠的时序信息；于此同时，为了过滤掉不可靠的对齐信息，我们提出了一种基于时序信息一致性和准确性的信息聚合策略。通过所提出的策略，使得我们的方法能够在剔除不可靠的对齐信息的同时增强可靠对齐信息的权重；该方法所生成的图像拥有更高的信噪比和结构相似性，视觉效果也更为逼真；可以有效的处理视频模糊和噪声，并提高视频的分辨率，从而生成高质量的视频画面；具体包括如下内容：
首先通过特征提取器来提取每个视频帧的信息，接着通过渐进式的运动对齐器将提取的信息进行初步的对齐；然后通过信息聚合器对不同的对齐信息进行聚合，最后通过重建器将聚合后的信息进行计算，并重建出高质量的视频帧。
其中，运动对齐是视频修复任务的一个重要组成模块，我们提出的运动对齐模块流程如图2左边的图所示，对于不同帧的信息，我们采用了渐进式的对齐策略，解决了长距离直接对齐困难的问题；于此同时，我们充分地考虑了历史对齐信息，如图2右边的图所示，我们定义了三种相关的历史运动信息：“C”，“U”，“T”；在每次执行当前对齐步骤时，我们将历史的运动信号作为已知条件，帮助到当前的对齐；通过这次渐进式的对齐方案，充分挖掘了不同帧运动之间的关系，从而能够准确的实现时序的对齐。
其中，对于视频修复任务而言，每个对齐的时序帧信息的重要性是存在差异性的，而且在对齐模块中不可避免的会引入一定的误差；为了更好的消除掉对齐模块产生的误差，同时给于不同时序帧信息自适应的聚合权重，我们提出了一种有效的信息重聚合模块；如图3所示：对于给定的某个相邻的时序帧信息，我们共采用了两种策略来实现自适应的聚合：（1）基于准确性的信息重聚合策略：如图3中的（a）所示，对于每一个时序帧信息，我们计算该时序帧信息和参考帧信息之间的差异，根据差异性我们计算了基于信息准确性的聚合权重；（2）基于一致性的信息聚合策略：如图3中的（b）所示，对于每个时序帧信息，我们统计该时序帧信息和平均的时序帧信息之间的距离，根据距离的大小，我们计算了基于信息一致性的聚合权重。基于这两种权重，我们既能够过滤掉不准确的时序信息，又可以增强准确、可靠的时序信息。
上述用于时序对齐的视频增强方法，可以达到以下技术效果：（1）本方法突破了现有视频修复方法只能处理某种特定任务的限制，可以在一种框架中同时处理三种不同的视频问题，同时生成质量更高的视频帧；相比于现有视频修复方法，本方法在视频去模糊任务、视频去噪声任务和视频超分任务，都取得了最佳的结果；（2）克服了现有技术对于快速运动的物体难以进行帧间的信息对齐和聚合，从而很难重建出高质量的图像的缺陷；同时避免了现有技术对于有效信息的聚合存在偏差，使得产生的图像存在伪影、噪声等错误的信号的缺陷。
应该理解的是，虽然图1-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种视频增强装置，包括：视频帧获取模块610、信息提取模块620、信息聚合模块630和视频帧重建模块640，其中：
视频帧获取模块610，用于获取连续视频帧；连续视频帧中包括参考帧和与参考帧相邻的时序帧。
信息提取模块620，用于提取出参考帧的特征信息和各时序帧的特征信息，将参考帧的特征信息，作为参考帧的参考帧信息，以及将各时序帧的特征信息进行对齐处理，得到各时序帧的时序帧信息。
信息聚合模块630，用于根据参考帧信息，对各时序帧信息进行聚合处理，得到各时序帧的聚合信息。
视频帧重建模块640，用于根据参考帧信息和各聚合信息，重建出参考帧的目标视频帧；目标视频帧的图像质量高于参考帧的图像质量。
在一个实施例中，信息提取模块620，还用于以参考帧为对齐目标，分别基于各时序帧的特征信息的历史运动信息，将各时序帧的特征信息进行对齐处理，得到各时序帧的时序帧信息。
在一个实施例中，信息提取模块620，还用于若时序帧与参考帧之间包含中间帧，则以中间帧为对齐目标，基于时序帧的特征信息的历史运动信息，对时序帧的特征信息进行对齐处理，得到时序帧的初始对齐信息；以参考帧为对齐目标，基于初始对齐信息的历史运动信息，对初始对齐信息进行再次对齐处理，得到时序帧的时序帧信息。
在一个实施例中，信息聚合模块630，还用于根据参考帧信息和各时序帧信息，确定各时序帧信息的第一聚合权重和第二聚合权重；根据各时序帧信息的第一聚合权重，对各时序帧信息进行聚合处理，得到各时序帧信息的初始聚合信息；根据各时序帧信息的第二聚合权重，对各时序帧信息的初始聚合信息进行再次聚合处理，得到各时序帧的聚合信息。
在一个实施例中，信息聚合模块630，还用于分别获取各时序帧信息与参考帧信息之间的差异信息；根据各时序帧信息与参考帧信息之间的差异信息，确定各时序帧信息的第一聚合权重。
在一个实施例中，信息聚合模块630，还用于获取各时序帧信息的平均值；获取各时序帧信息与平均值之间的距离；根据各时序帧信息与平均值之间的距离，确定各时序帧信息的第二聚合权重。
在一个实施例中，视频帧重建模块640，还用于将参考帧信息和各聚合信息进行拼接处理，得到拼接信息；对拼接信息进行卷积处理，得到参考帧的目标视频帧。
关于视频增强装置的具体限定可以参见上文中对于视频增强方法的限定，在此不再赘述。上述视频增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储参考帧的特征信息、各时序帧的特征信息、各时序帧的时序帧信息、各时序帧的聚合信息、目标视频帧等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频增强方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频增强方法，其特征在于，所述方法包括：
获取连续视频帧；所述连续视频帧中包括参考帧和与所述参考帧相邻的时序帧；
提取出所述参考帧的特征信息和各所述时序帧的特征信息，将所述参考帧的特征信息，作为所述参考帧的参考帧信息，以及将各所述时序帧的特征信息进行对齐处理，得到各所述时序帧的时序帧信息；
根据所述参考帧信息，对各所述时序帧信息进行聚合处理，得到各所述时序帧的聚合信息；
根据所述参考帧信息和各所述聚合信息，重建出所述参考帧的目标视频帧；所述目标视频帧的图像质量高于所述参考帧的图像质量；
所述将各所述时序帧的特征信息进行对齐处理，得到各所述时序帧的时序帧信息，包括：分别将各所述时序帧的特征信息向所述参考帧的参考帧信息进行渐进式的运动对齐，得到各所述时序帧的对齐信息，对应作为各所述时序帧的时序帧信息；所述渐进式的运动对齐表示先向时序帧和所述参考帧之间的中间帧的特征信息进行运动对齐，再向所述参考帧的参考帧信息进行运动对齐；
所述根据所述参考帧信息，对各所述时序帧信息进行聚合处理，包括：根据各所述时序帧信息与所述参考帧信息之间的差异信息和各所述时序帧信息与平均值之间的距离，对各所述时序帧信息进行聚合处理；所述平均值为各所述时序帧信息的平均值。
2.根据权利要求1所述的方法，其特征在于，所述将各所述时序帧的特征信息进行对齐处理，得到各所述时序帧的时序帧信息，包括：
以所述参考帧为对齐目标，分别基于各所述时序帧的特征信息的历史运动信息，将各所述时序帧的特征信息进行对齐处理，得到各所述时序帧的时序帧信息。
3.根据权利要求2所述的方法，其特征在于，所述以所述参考帧为对齐目标，分别基于各所述时序帧的特征信息的历史运动信息，将各所述时序帧的特征信息进行对齐处理，得到各所述时序帧的时序帧信息，包括：
若所述时序帧与所述参考帧之间包含中间帧，则以所述中间帧为对齐目标，基于所述时序帧的特征信息的历史运动信息，对所述时序帧的特征信息进行对齐处理，得到所述时序帧的初始对齐信息；
以所述参考帧为对齐目标，基于所述初始对齐信息的历史运动信息，对所述初始对齐信息进行再次对齐处理，得到所述时序帧的时序帧信息。
4.根据权利要求1所述的方法，其特征在于，所述根据所述参考帧信息，对各所述时序帧信息进行聚合处理，得到各所述时序帧的聚合信息，包括：
根据所述参考帧信息和各所述时序帧信息，确定各所述时序帧信息的第一聚合权重和第二聚合权重；
根据各所述时序帧信息的第一聚合权重，对各所述时序帧信息进行聚合处理，得到各所述时序帧信息的初始聚合信息；
根据各所述时序帧信息的第二聚合权重，对各所述时序帧信息的初始聚合信息进行再次聚合处理，得到各所述时序帧的聚合信息。
5.根据权利要求4所述的方法，其特征在于，所述各所述时序帧信息的第一聚合权重通过下述方式得到：
分别获取各所述时序帧信息与所述参考帧信息之间的差异信息；
根据各所述时序帧信息与所述参考帧信息之间的差异信息，确定各所述时序帧信息的第一聚合权重。
6.根据权利要求4所述的方法，其特征在于，所述各所述时序帧信息的第二聚合权重通过下述方式得到：
获取各所述时序帧信息的平均值；
获取各所述时序帧信息与所述平均值之间的距离；
根据各所述时序帧信息与所述平均值之间的距离，确定各所述时序帧信息的第二聚合权重。
7.根据权利要求1所述的方法，其特征在于，所述根据所述参考帧信息和各所述聚合信息，重建出所述参考帧的目标视频帧，包括：
将所述参考帧信息和各所述聚合信息进行拼接处理，得到拼接信息；
对所述拼接信息进行卷积处理，得到所述参考帧的目标视频帧。
8.一种视频增强装置，其特征在于，所述装置包括：
视频帧获取模块，用于获取连续视频帧；所述连续视频帧中包括参考帧和与所述参考帧相邻的时序帧；
信息提取模块，用于提取出所述参考帧的特征信息和各所述时序帧的特征信息，将所述参考帧的特征信息，作为所述参考帧的参考帧信息，以及将各所述时序帧的特征信息进行对齐处理，得到各所述时序帧的时序帧信息；
信息聚合模块，用于根据所述参考帧信息，对各所述时序帧信息进行聚合处理，得到各所述时序帧的聚合信息；
视频帧重建模块，用于根据所述参考帧信息和各所述聚合信息，重建出所述参考帧的目标视频帧；所述目标视频帧的图像质量高于所述参考帧的图像质量；
所述信息提取模块，还用于分别将各所述时序帧的特征信息向所述参考帧的参考帧信息进行渐进式的运动对齐，得到各所述时序帧的对齐信息，对应作为各所述时序帧的时序帧信息；所述渐进式的运动对齐表示先向时序帧和所述参考帧之间的中间帧的特征信息进行运动对齐，再向所述参考帧的参考帧信息进行运动对齐；
所述信息聚合模块，还用于根据各所述时序帧信息与所述参考帧信息之间的差异信息和各所述时序帧信息与平均值之间的距离，对各所述时序帧信息进行聚合处理；所述平均值为各所述时序帧信息的平均值。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202111330266.9A 2021-11-11 2021-11-11 视频增强方法、装置、计算机设备和存储介质 Active CN113781312B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111330266.9A CN113781312B (zh) 2021-11-11 2021-11-11 视频增强方法、装置、计算机设备和存储介质
PCT/CN2022/105653 WO2023082685A1 (zh) 2021-11-11 2022-07-14 视频增强方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111330266.9A CN113781312B (zh) 2021-11-11 2021-11-11 视频增强方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113781312A CN113781312A (zh) 2021-12-10
CN113781312B true CN113781312B (zh) 2022-03-25

Family

ID=78873738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111330266.9A Active CN113781312B (zh) 2021-11-11 2021-11-11 视频增强方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN113781312B (zh)
WO (1) WO2023082685A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781312B (zh) * 2021-11-11 2022-03-25 深圳思谋信息科技有限公司 视频增强方法、装置、计算机设备和存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2105881A1 (en) * 2008-03-25 2009-09-30 Panasonic Corporation Fast reference frame selection for reconstruction of a high-resolution frame from low-resolution frames
US20180082428A1 (en) * 2016-09-16 2018-03-22 Qualcomm Incorporated Use of motion information in video data to track fast moving objects
CN107155107B (zh) * 2017-03-21 2018-08-03 腾讯科技（深圳）有限公司 视频编码方法和装置、视频解码方法和装置
CN111784570A (zh) * 2019-04-04 2020-10-16 Tcl集团股份有限公司 一种视频图像超分辨率重建方法及设备
CN110070511B (zh) * 2019-04-30 2022-01-28 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
US11526970B2 (en) * 2019-09-04 2022-12-13 Samsung Electronics Co., Ltd System and method for video processing with enhanced temporal consistency
CN112584158B (zh) * 2019-09-30 2021-10-15 复旦大学 视频质量增强方法和***
CN110830808A (zh) * 2019-11-29 2020-02-21 合肥图鸭信息科技有限公司 一种视频帧重构方法、装置及终端设备
CN111047516B (zh) * 2020-03-12 2020-07-03 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN112348766B (zh) * 2020-11-06 2023-04-18 天津大学 一种用于监控视频增强的渐进式特征流深度融合网络
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质
CN113781312B (zh) * 2021-11-11 2022-03-25 深圳思谋信息科技有限公司 视频增强方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2023082685A1 (zh) 2023-05-19
CN113781312A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
Sajjadi et al. Frame-recurrent video super-resolution
Brooks et al. Unprocessing images for learned raw denoising
Chen et al. Camera lens super-resolution
Meister et al. Unflow: Unsupervised learning of optical flow with a bidirectional census loss
CN111275626B (zh) 一种基于模糊度的视频去模糊方法、装置及设备
Ehret et al. Joint demosaicking and denoising by fine-tuning of bursts of raw images
CN111402146B (zh) 图像处理方法以及图像处理装置
Xu et al. Learning deformable kernels for image and video denoising
Delbracio et al. Hand-held video deblurring via efficient fourier aggregation
US20170064204A1 (en) Systems and methods for burst image delurring
CN110097509B (zh) 一种局部运动模糊图像的复原方法
CN110136055B (zh) 图像的超分辨率方法和装置、存储介质、电子装置
CN111753869A (zh) 图像处理方法、图像处理装置、存储介质、图像处理***及已学习模型制造方法
Pu et al. Robust high dynamic range (hdr) imaging with complex motion and parallax
CN111079764A (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN110490822B (zh) 图像去运动模糊的方法和装置
KR20200084419A (ko) 모아레 제거 모델을 생성하기 위한 장치, 모아레를 제거하기 위한 방법 및 모아레를 제거하기 위한 촬상 장치
WO2023160426A1 (zh) 视频插帧方法、训练方法、装置和电子设备
CN113781312B (zh) 视频增强方法、装置、计算机设备和存储介质
CN113256506A (zh) 使用先前帧统计信息经由卷积神经网络来处理视频帧
CN110766153A (zh) 神经网络模型训练方法、装置及终端设备
CN112132925A (zh) 用于重建水下图像颜色的方法和装置
CN109064402A (zh) 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
CN112802080A (zh) 基于深度学习的单目绝对深度估计方法和装置
Yang et al. Image deblurring utilizing inertial sensors and a short-long-short exposure strategy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Zhou Kun

Inventor after: Li Wenbo

Inventor after: Lu Liying

Inventor after: Jiang Nianjuan

Inventor after: Shen Xiaoyong

Inventor after: Lv Jiangbo

Inventor before: Zhou Kun

Inventor before: Li Wenbo

Inventor before: Lu Liying

Inventor before: Jiang Nianjuan

Inventor before: Shen Xiaoyong

Inventor before: Lv Jiangbo

Inventor before: Jia Jiaya

CB03 Change of inventor or designer information
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40065944

Country of ref document: HK