CN114640815A - 一种视频的处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开涉及一种视频的处理方法、装置、电子设备及存储介质。所述方法包括：获取视频中图像的质量评分；根据所述质量评分，从所述图像中确定目标图像；对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频；将所述预处理视频输入至视频超分辨率模型进行超分处理，输出得到处理后的视频。本公开实施例，不仅考虑到真实场景中低分辨率图像的噪声问题，而且还会根据视频中图像质量，有选择的对噪声进行处理，将得到的预处理视频输入视频超分辨率模型后，能够得到质量更高的高分辨率视频。

Description

一种视频的处理方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机视觉领域，尤其涉及一种视频的处理方法、装置、电子设备及存储介质。

背景技术

随着计算机视觉技术的发展，出现了视频超分辨技术。视频超分辨技术的目的是将视频序列从低分辨率恢复到高分辨率，然后填充分辨率变化下缺失的细节。近年来，视频超分辨技术在手机拍照、医学图像、短视频等领域得到更加全面的应用。

相关技术中，提出了基于机械学习的视频超分辨率模型，用于对低分辨率的视频进行高分辨率图像恢复。然而，由于各种原因，相关技术中视频超分辨技术所恢复的视频质量不高。

发明内容

本公开提供一种视频的处理方法、装置、电子设备及存储介质，以至少解决相关技术中视频超分辨技术所恢复的视频质量不高的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供包括：

获取视频中图像的质量评分；

根据所述质量评分，从所述图像中确定目标图像；

对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频；

将所述预处理视频输入至视频超分辨率模型进行超分处理，输出得到处理后的视频。

在一种可能的实现方式中，所述获取视频中图像的质量评分，包括：

获取视频中的图像；

将所述图像输入图像质量评估模型，经所述图像质量评估模型，输出得到所述图像的噪声类别及质量评分，其中，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系训练获得。

在一种可能的实现方式中，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系训练获得，包括：

获取样本图像集合，所述样本图像集合包括多个标注有噪声类别及质量评分的样本图像；

将所述样本图像输入至初始的图像质量评估模型，生成预测结果；

基于所述预测结果与标注的噪声类别、质量评分之间的差异，对所述初始的图像质量评估模型的训练参数进行迭代调整，直至所述差异满足预设要求，得到所述图像质量评估模型。

在一种可能的实现方式中，所述根据所述质量评分，从所述图像中确定目标图像，包括：

从所述图像中获取质量评分低于预设阈值的图像；

将所述质量评分低于预设阈值的图像作为目标图像。

在一种可能的实现方式中，所述根据所述质量评分，从所述图像中确定目标图像，包括：

从所述图像中获取目标图像，其中，所述目标图像的质量评分被确定为分别低于所述目标图像前一帧图像的质量评分以及所述目标图像后一帧图像的质量评分。

在一种可能的实现方式中，所述对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频，包括：

对所述目标图像进行平滑处理，并以平滑处理后的目标图像替换所述目标图像，得到预处理视频。

在一种可能的实现方式中，所述视频超分辨率模型的获得方式包括：

获取样本视频集合，所述样本图像集合包括多个样本视频对，所述样本视频对包括第一样本视频以及与所述第一样本视频内容匹配的第二样本视频，且所述第一样本视频的分辨率低于所述第二样本视频的分辨率；

将所述第一样本视频输入至初始的视频超分辨率模型，生成预测结果；

基于所述预测结果与所述第二样本视频之间的差异，对所述初始的视频超分辨率模型的训练参数进行迭代调整，直至所述差异满足预设要求，得到所述视频超分辨率模型。

根据本公开实施例的第二方面，提供一种视频的处理装置，包括：

获取模块，用于获取视频中图像的质量评分；

确定模块，用于根据所述质量评分，从所述图像中确定目标图像；

降噪模块，用于对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频；

处理模块，用于将所述预处理视频输入至视频超分辨率模型进行超分处理，输出得到处理后的视频。

在一种可能的实现方式中，所述获取模块包括：

第一获取子模块，用于获取视频中的图像；

评估子模块，用于将所述图像输入图像质量评估模型，经所述图像质量评估模型，输出得到所述图像的噪声类别及质量评分，其中，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系训练获得。

在一种可能的实现方式中，还包括第一生成子模块，所述第一生成子模块包括：

获取单元，用于获取样本图像集合，所述样本图像集合包括多个标注有噪声类别及质量评分的样本图像；

预测单元，用于将所述样本图像输入至初始的图像质量评估模型，生成预测结果；

生成单元，用于基于所述预测结果与标注的噪声类别、质量评分之间的差异，对所述初始的图像质量评估模型的训练参数进行迭代调整，直至所述差异满足预设要求，得到所述图像质量评估模型。

在一种可能的实现方式中，所述确定模块包括：

第二获取子模块，用于从所述图像中获取质量评分低于预设阈值的图像；

第一确定子模块，用于将所述质量评分低于预设阈值的图像作为目标图像。

在一种可能的实现方式中，所述确定模块包括：

第二确定子模块，用于从所述图像中获取目标图像，其中，所述目标图像的质量评分被确定为分别低于所述目标图像前一帧图像的质量评分以及所述目标图像后一帧图像的质量评分。

在一种可能的实现方式中，所述降噪模块包括：

平滑模块，用于对所述目标图像进行平滑处理，并以平滑处理后的目标图像替换所述目标图像，得到预处理视频。

在一种可能的实现方式中，还包括生成模块，所述生成模块包括：

第三获取子模块，用于获取样本视频集合，所述样本图像集合包括多个样本视频对，所述样本视频对包括第一样本视频以及与所述第一样本视频内容匹配的第二样本视频，且所述第一样本视频的分辨率低于所述第二样本视频的分辨率；

预测子模块，用于将所述第一样本视频输入至初始的视频超分辨率模型，生成预测结果；

第二生成子模块，用于基于所述预测结果与所述第二样本视频之间的差异，对所述初始的视频超分辨率模型的训练参数进行迭代调整，直至所述差异满足预设要求，得到所述视频超分辨率模型。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如本公开实施例任一项所述的视频的处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如本公开实施例任一项所述的视频的处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，其特征在于，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如本公开实施例任一项所述的视频的处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：本公开实施例，将低分辨率的视频输入视频超分辨率模型前，根据视频中图像的质量评分，有选择的确定质量评分较低目标图像。对目标图像进行降噪处理，可以消除目标图像帧内的噪声信息；对质量评分较高的目标图像，不进行降噪处理，从而保留更多有用的图像纹理信息。本公开实施例，不仅考虑到真实场景中低分辨率图像的噪声问题，而且还会根据视频中图像质量，有选择的对噪声进行处理，将得到的预处理视频输入视频超分辨率模型后，能够得到质量更高的高分辨率视频。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种视频的处理方法的流程图。

图2是根据一示例性实施例示出的一种图像质量评估模型的结构示意图。

图3是根据一示例性实施例示出的质量评分结果的对比图。

图4是根据一示例性实施例示出的一种视频超分辨率模型的结构示意图。

图5是根据一示例性实施例示出的一种视频的处理方法的流程图。

图6(a)是现有技术中视频处理方法的效果图。

图6(b)是根据一示例性实施例示出的一种视频的处理方法的效果图。

图7是根据一示例性实施例示出的一种视频的处理装置的框图。

图8是根据一示例性实施例示出的一种电子设备的框图。

图9是根据一示例性实施例示出的一种服务器的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

图1是根据一示例性实施例示出的一种视频的处理方法的流程图。如图1所示，所述方法用于终端或服务器中，包括以下步骤。

步骤S101，获取视频中图像的质量评分。

本公开实施例中，所述视频为待处理的视频，可以包括低分辨率的视频。所述图像可以包括视频中的每帧图像，也可以包括视频帧的若干图像。本公开实施例中对图像进行质量评估，得到质量评分的方法可以包括多种，如主观评价方法和客观评价方法。其中，主观评价方法可以通过对观察者的评分进行归一化来判断图像质量，例如：双刺激损伤分级法、双刺激连续质量分级法、单刺激连续质量分级法。客观评价方法可以包括：全参考图像指令评价，将待评价的图像与原始图像相比获得误差进行分析，例如：均方差(MeanSquared Error,MSE)和峰值信噪比(Peak Signal-Noise Ratio,PSNR)等。还可以包括：半参考图像质量评价，只提取图像的部分信息作为参考，例如：基于原始图像特征的方法、基于小波域统计模型的方法、基于数字水印的方法。还可以包括无参考图像质量评估，例如：针对失真类型的算法或基于机器学习的算法等。

步骤S103，根据所述质量评分，从所述图像中确定目标图像。

本公开实施例中，从所述图像中确定目标图像的方式可以包括多种,在一个示例中，可以从所述图像中选择质量评分最低的图像作为所述目标图像。在另一个示例中，可以从所述图像中选择质量评分低于预设值的图像作为所述目标图像。例如，将质量评分投射到坐标系中，横坐标为质量评分对应的图像帧号，纵坐标为质量评分，不同的质量评分形成了上下波动的曲线，通过调整预设值，可以筛选到曲线中波谷的极小值点或极小值附近的点，将这些极小值点或其附近的点对应的图像作为所述目标图像。在另一示例中，可以通过比较的方式，筛选出质量评分分别低于前一帧图像的质量评分以及后一帧图像的质量评分对应的图像，将该图像作为所述目标图像。

步骤S104，对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频。

本公开实施例中，对目标图像进行降噪处理的方法可以包括空域像素特征去噪算法和变换域去噪算法。其中空域像素特征去噪算法可以包括算数平均滤波、高斯滤波、双边滤波、引导滤波以及NLM(Non-Local means)算法等。变换域去噪算法可以包括：小波变换域算法、BM3D去噪算法等。在一个示例中，可以将上述去噪算法中的一种或几种进行结合使用，以达到更好的去噪效果。

步骤S105，将所述预处理视频输入至视频超分辨率模型进行超分处理，输出得到处理后的视频。

本公开实施例中，所述视频超分辨率模型用于从一个或多个低分辨率图像恢复为高分辨率图像的模型。所述视频超分辨率模型的生成方式可以包括对齐的方法和非对齐的方法，所述对齐的方法可以包括：在一个示例中，可以采用运动补偿和运动估计的技术，运动估计的目的是提取帧间运动信息，而运动补偿用于根据帧间运动信息执行帧间的扭曲操作使其对其，从而恢复出高分辨率的图像。在一个示例中，可以采用机械学习的方法训练视频超分辨率模型，例如基于卷积神经网络的方法，首先通过级联和可变形对齐模块对输入帧进行对齐，然后通过时空注意融合模块对对齐的帧进行融合。然后将融合后的结果输入重建模块进行特征提取，再通过上采样得到残差图像，将残差图像加到直接上采样的目标帧中得到最终的高分辨率图像。所述非对齐的方法可以包括空间非对齐方法和时空非对齐方法，空间非对齐方法使用网络能够自己学习帧内的相关信息，从而进行超分重建。时空非对齐方法可以包括三维卷积法、循环卷积神经网络和非局部方法等。

本公开实施例，将低分辨率的视频输入视频超分辨率模型前，根据视频中图像的质量评分，有选择的确定质量评分较低目标图像。对目标图像进行降噪处理，可以消除目标图像帧内的噪声信息；对质量评分较高的目标图像，不进行降噪处理，从而保留更多有用的图像纹理信息。本公开实施例，不仅考虑到真实场景中低分辨率图像的噪声问题，而且还会根据视频中图像质量，有选择的对噪声进行处理，将得到的预处理视频输入视频超分辨率模型后，能够得到质量更高的高分辨率视频。

在一种可能的实现方式中，所述获取视频中图像的质量评分，包括：

获取视频中的图像；

将所述图像输入图像质量评估模型，经所述图像质量评估模型，输出得到所述图像的噪声类别及质量评分，其中，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系训练获得。

本公开实施例中，所述噪声类别可以包括视频编解码噪声、高斯噪声、泊松噪声、椒盐噪声、暗光噪声等。将更多噪声类别的噪声添加至样本图像中，样本图像将更加贴近于真实场景中的图像。本公开实施例中，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系通过深度学习的方法训练获得。所述样本图像可以包括加入了更多噪声类别的样本图像。所述样本图像的标注的质量评分可以预先获得，例如人工打分，例如将质量评分划分为1-10分。

图2是根据一示例性实施例示出的一种图像质量评估模型的结构示意图。参考图2所示，本公开实施例中，所述图像质量评估模型可以基于VGG-16网络结构，该网络结构包括13个卷积层，如图2中深色矩形框表示，5个池化层，如图中白色矩形框表示，以及3个全链接层，图2没有示出。根据模型训练的任务为预测图像质量的评分，因此，可以在网络的最后一次分别输出样本图像获得质量评分(例如1-10分)的概率。基于预测的结果及真实值，通过损失函数计算两者之间的差值，并调整图像质量评估模型中的训练参数。需要说明的是，所述图像质量评估模型的网络结构不限于上述举例，例如，Inception-v2网络结构、MobileNet网络结构以及ResNet-18网络结构等，也可以作为所述图像质量评估模型的网络，所属领域技术人员在本申请技术精髓的启示下，还可能做出其它变更，但只要其实现的功能和效果与本申请相同或相似，均应涵盖于本申请保护范围内。

本公开实施例中图像质量评估模型可以通过深度学习的方法获得，在模型训练的过程中，使用了更多噪声类别的样本图像，用于训练图像质量评估模型，从而能够提高模型的泛化能力，得到更加准确的图像质量评分。

在一种可能的实现方式中，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系训练获得，包括：

获取样本图像集合，所述样本图像集合包括多个标注有噪声类别及质量评分的样本图像；

将所述样本图像输入至初始的图像质量评估模型，生成预测结果；

基于所述预测结果与标注的噪声类别、质量评分之间的差异，对所述初始的图像质量评估模型的训练参数进行迭代调整，直至所述差异满足预设要求，得到所述图像质量评估模型。

本公开实施例中，所述样本集合包括多个标注有噪声类别及质量评分的样本图像，例如，样本图像a：高斯噪声，3分；样本图像b：编解码噪声，6分；样本图像c：运动估计噪声，7分。在一个示例中，可以将样本集合按照一定的比例划分为训练集、验证集和测试集。将训练集中的样本图像输入至初始的图像质量评估模型，其中所述初始的图像质量评估模型可以是上述实施例中任一种网络结构。样本图像在初始的图像质量评估模型中经过特征提取、池化、归一化等过程，最终预测出样本图像对应噪声类别的概率以及质量评分对应分值的概率。基于预测的结果与训练集中标注的结果的差异，对初始的图像质量评估模型中的训练参数进行迭代调整，直到所述差异满足预设要求。在一个示例中，可以利用验证集中的样本图像对所述初始的图像质量模型中的超参数进行调整，得到最终的图像质量评估模型。在一个示例中，可以利用测试集中的样本图像对图像质量评估模型的性能做测试，测试模型的准确率。

图3是根据一示例性实施例示出的质量评分结果的对比图。参考图3所示，横轴表示视频中图像的帧号，即帧的序号，用于表示第几帧。纵轴表示质量评分。数据曲线301为用单一噪声对样本图像进行噪声处理，对处理后的样本图像进行质量评估的结果。数据曲线302为对上述处理后的样本图像，采用插值上采样的方法得到高分辨率的样本图像，并对高分辨率的样本图像进行质量评估的结果。数据曲线303为采用多种噪声对样本图像进行噪声处理，对处理后的样本图像进行质量评估的结果。其中，数据曲线301及数据曲线302质量变化比较平稳。数据曲线303中不同的帧质量差别很大，因而更加贴近真实场景。

本公开实施例提供了一种训练图像质量评估模型的方法，该方法通过深度学习的方法，不仅能够预测图像所属的噪声类别，而且能够准确预测该噪声类别下的质量评分。由于引用不同的噪声类别，图像质量评估模型的泛化能力更强，预测结果更为准确。

在一种可能的实现方式中，所述根据所述质量评分，从所述图像中确定目标图像，包括：

从所述图像中获取质量评分低于预设阈值的图像；

将所述质量评分低于预设阈值的图像作为目标图像。

本公开实施例中，根据视频中的图像及对应的质量评分，可以通过设置预设阈值的方式，从所述图像中筛选出质量评分较低的图像。在一个示例中，通过调整预设阈值的大小，可以得到不同数量的目标图像。例如：当预设值为0.4时，得到A组目标图像，当预设值为0.3时，得到B组目标图像，其中A组目标图像的个数可能和B组目标图像的个数不同。在一个示例中，对A组和B组目标图像分别进行降噪处理，以及分别输入视频超分辨率模型，得到处理的视频，即A组对应的高分辨率视频和B组对应的高分辨率视频，从A组对应的高分辨率视频和B组对应的高分辨率视频选择质量较好的作为恢复的高分辨率视频。

本公开实施例，通过设定阈值的方式筛选质量评分较低的目标图像，具有操作简单，易于实施的有益效果。

在一种可能的实现方式中，所述根据所述质量评分，从所述图像中确定目标图像，包括：

从所述图像中获取目标图像，其中，所述目标图像的质量评分被确定为分别低于所述目标图像前一帧图像的质量评分以及所述目标图像后一帧图像的质量评分。

本公开实施例中，可以通过比较的方式，筛选出质量评分位于极小值点的目标图像。在一个示例中，例如，视频的帧号排列如下：1帧、2帧、3帧...20帧。在这些帧当中，有3号帧、8号帧、12号帧、15号帧、19号帧符合目标图像的条件。以12号帧为例，因为12号帧的质量评分既小于11号帧又小于13号帧。在另一个示例中，参考图3所示，数据曲线303中有9个极小值的点。在一个示例中，对上述满足条件的目标图像进行降噪处理，并输入视频超分辨率模型进行超分处理，得到处理后的视频。

本公开实施例，被选中的目标图像的质量评分分别低于所述目标图像前一帧图像的质量评分以及所述目标图像后一帧图像的质量评分，如此，本公开可以筛选出质量评分较低的目标图像，并且保证筛选出的目标图像不会是前后相邻的图像。由于前后相邻的图像包含了较多的帧间信息，若同时进行噪声处理，容易清除掉有用的图像信息。因此，本公开实施例能够较大程度的提高高分辨率视频的恢复质量。

在一种可能的实现方式中，所述对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频，包括：

对所述目标图像进行平滑处理，并以平滑处理后的目标图像替换所述目标图像，得到预处理视频。

本公开实施例中，所述平滑处理可以包括采用低通滤波算法对目标图像进行处理。在一个示例中，采用如下算法对目标图像进行平滑处理：

其中，C表示平滑模块，

表示平滑处理后的图像，

表示对

进行再一次平滑处理后的图像，

表示平滑处理前的图像，即对

进行一次平滑处理得到

将图像送入平滑模块，会得到平滑处理后的图像，计算平滑处理后的图像与输入的图像每个像素的绝对误差，如果绝对误差大于等于预设值θ，则需要对平滑处理后的图像再进行平滑处理，例如：式(1)中如果

则

当满足绝对误差小于预设值θ时，平滑处理结束，将平滑处理的结果

代替处理前的图像x_i。

本公开实施例在降噪处理过程中，选择平滑处理的方式，具有操作简单易于实施的有益效果，并且通过对目标图像进行平滑处理，当平滑处理后的结果不满足预设要求时，可以对平滑处理后的结果进行进一步的平滑处理，保证了平滑结果有效性，最终提升超分辨率的超分效果。

图4是根据一示例性实施例示出的一种视频超分辨率模型的结构示意图。参考图4所示，所述视频超分辨率模型的获得方式包括：

获取样本视频集合，所述样本图像集合包括多个样本视频对，所述样本视频对包括第一样本视频以及与所述第一样本视频内容匹配的第二样本视频，且所述第一样本视频的分辨率低于所述第二样本视频的分辨率；

将所述第一样本视频输入至初始的视频超分辨率模型，生成预测结果；

基于所述预测结果与所述第二样本视频之间的差异，对所述初始的视频超分辨率模型的训练参数进行迭代调整，直至所述差异满足预设要求，得到所述视频超分辨率模型。

本公开实施例中，本公开实施例中，所述样本集合包括多个样本视频对，例如样本视频a1、样本视频a2；样本视频b2、样本视频b2；样本视频c1、样本视频c2等，其中，样本视频a1和样本视频a2为内容相同的视频，即视频内的图像内容上一一对应，且样本视频a1的分辨率低于样本视频a2的分辨率；样本视频b1和样本视频b2为内容相同的视频，且样本视频b1的分辨率低于样本视频b2的分辨率；样本视频c1和样本视频c2为内容相同的视频，且样本视频c1的分辨率低于样本视频c2的分辨率。

在一个示例中，可以将样本集合按照一定的比例划分为训练集、验证集和测试集。将训练集中的样本图像输入至初始的图像质量评估模型，其中所述初始的图像质量评估模型可以包括如图4所示的双向的循环卷积网络。图4中，步骤401表示输入低分辨率视频，步骤402表示，对低分辨率视频进行降噪处理，步骤403表示对降噪处理后的视频输入基于双向循环卷积网络的视频超分辨率模型中，步骤404表示得到高分辨率视频。

本公开实施例，模型训练时，第一样本视频在初始的视频超分辨率模型中经过特征提取、池化、归一化等过程，最终预测出较高分辨率的视频。基于预测的结果与第二样本视的差异，对初始的视频超分辨率模型中的训练参数进行迭代调整，直到所述差异满足预设要求。在一个示例中，可以利用验证集中的样本图像对所述初始的视频超分辨率模型中的超参数进行调整，得到最终的视频超分辨率模型。在一个示例中，可以利用测试集中的样本图像对视频超分辨率模型的性能做测试，以测试模型的准确率。

本公开实施例提供了一种训练视频超分辨率模型的方法，该方法基于双向的循环卷积网络通过深度学习的方法训练得到。由于在高分处理前增加了降噪处理的步骤，可以减轻视频超分辨率模型训练的复杂度，模型收敛速度快，预测结果更为准确。

图5是根据一示例性实施例示出的一种视频的处理方法的流程图。参考图5所示，所述方法包括：

步骤S501，获取视频中的图像。

本公开实施例中，所述视频为待处理的视频，可以包括低分辨率的视频。所述图像可以包括视频中的每帧图像，也可以包括视频帧的若干图像。

步骤S503，将所述图像输入图像质量评估模型，经所述图像质量评估模型，输出得到所述图像的噪声类别及质量评分。

本公开实施例中，所述噪声类别可以包括视频编解码噪声、高斯噪声、泊松噪声、椒盐噪声、暗光噪声等。将更多噪声类别的噪声添加至样本图像中，样本图像将更加贴近于真实场景中的图像。本公开实施例中，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系通过深度学习的方法训练获得。所述样本图像可以包括加入了更多噪声类别的样本图像。

步骤S505，从所述图像中获取目标图像，其中，所述目标图像的质量评分被确定为分别低于所述目标图像前一帧图像的质量评分以及所述目标图像后一帧图像的质量评分。

本公开实施例中，可以通过比较的方式，筛选出质量评分位于极小值点的目标图像。在一个示例中，例如，视频的帧号排列如下：1帧、2帧、3帧...20帧。在这些帧当中，有3号帧、8号帧、12号帧、15号帧、19号帧符合目标图像的条件。以12号帧为例，因为12号帧的质量评分既小于11号帧又小于13号帧。

步骤S507，对所述目标图像进行平滑处理，并以平滑处理后的目标图像替换所述目标图像，得到预处理视频。

本公开实施例中，所述平滑处理可以包括采用低通滤波算法对目标图像进行处理。以低通滤波处理后的目标图像替换所述目标图像，得到预处理视频。

步骤S107，将所述预处理视频输入至视频超分辨率模型进行超分处理，输出得到处理后的视频。

本公开实施例中，所述视频超分辨率模型用于从一个或多个低分辨率图像恢复为高分辨率图像的模型。参考图4所示，步骤401表示输入低分辨率视频，步骤402表示，对低分辨率视频进行降噪处理，步骤403表示对降噪处理后的视频输入基于双向循环卷积网络的视频超分辨率模型中，步骤404表示得到高分辨率视频。

图6(a)是现有技术中视频处理方法的效果图。图6(b)是根据一示例性实施例示出的一种视频的处理方法的效果图。参考图6(a)所示，该图像为输入低分辨率视频通过上采样差值的方式，恢复出来的高分辨率视频。参考图6(b)所示，该图像为采用本公开实施例视频处理方法对所述低分辨率视频进行视频处理后的效果图。可以看出，本公开实施例的方法相较于现有技术白色竖线更加锐利，而图6(a)中比较模糊。

应该理解的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。

图7是根据一示例性实施例示出的一种视频的处理装置的框图。一种视频的处理装置，包括：

获取模块701，用于获取视频中图像的质量评分；

确定模块703，用于根据所述质量评分，从所述图像中确定目标图像；

降噪模块705，用于对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频；

处理模块707，用于将所述预处理视频输入至视频超分辨率模型进行超分处理，输出得到处理后的视频。

在一种可能的实现方式中，所述获取模块包括：

第一获取子模块，用于获取视频中的图像；

评估子模块，用于将所述图像输入图像质量评估模型，经所述图像质量评估模型，输出得到所述图像的噪声类别及质量评分，其中，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系训练获得。

在一种可能的实现方式中，还包括第一生成子模块，所述第一生成子模块包括：

获取单元，用于获取样本图像集合，所述样本图像集合包括多个标注有噪声类别及质量评分的样本图像；

预测单元，用于将所述样本图像输入至初始的图像质量评估模型，生成预测结果；

生成单元，用于基于所述预测结果与标注的噪声类别、质量评分之间的差异，对所述初始的图像质量评估模型的训练参数进行迭代调整，直至所述差异满足预设要求，得到所述图像质量评估模型。

在一种可能的实现方式中，所述确定模块包括：

第二获取子模块，用于从所述图像中获取质量评分低于预设阈值的图像；

第一确定子模块，用于将所述质量评分低于预设阈值的图像作为目标图像。

在一种可能的实现方式中，所述确定模块包括：

第二确定子模块，用于从所述图像中获取目标图像，其中，所述目标图像的质量评分被确定为分别低于所述目标图像前一帧图像的质量评分以及所述目标图像后一帧图像的质量评分。

在一种可能的实现方式中，所述降噪模块包括：

平滑模块，用于对所述目标图像进行平滑处理，并以平滑处理后的目标图像替换所述目标图像，得到预处理视频。

在一种可能的实现方式中，还包括生成模块，所述生成模块包括：

第三获取子模块，用于获取样本视频集合，所述样本图像集合包括多个样本视频对，所述样本视频对包括第一样本视频以及与所述第一样本视频内容匹配的第二样本视频，且所述第一样本视频的分辨率低于所述第二样本视频的分辨率；

预测子模块，用于将所述第一样本视频输入至初始的视频超分辨率模型，生成预测结果；

第二生成子模块，用于基于所述预测结果与所述第二样本视频之间的差异，对所述初始的视频超分辨率模型的训练参数进行迭代调整，直至所述差异满足预设要求，得到所述视频超分辨率模型。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图8是根据一示例性实施例示出的一种用于视频的处理方法的电子设备800的框图。例如，电子设备800可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。

参照图8，电子设备800可以包括以下一个或多个组件：处理组件802、存储器804、电源组件806、多媒体组件808、音频组件810、输入/输出(I/O)的接口812、传感器组件814以及通信组件816。

处理组件802通常控制电子设备800的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。

电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理***，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述电子设备800和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜***或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括扬声器，用于输出音频信号。

I/O接口812为处理组件802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800组件的位置改变，用户与电子设备800接触的存在或不存在，设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备800的处理器820执行以完成上述方法。

图9是根据一示例性实施例示出的一种用于视频的处理方法的电子设备900的框图。例如，电子设备900可以为服务器。参照图9，电子设备900包括处理组件920，其进一步包括一个或多个处理器，以及由存储器922所代表的存储器资源，用于存储可由处理组件920的执行的指令，例如应用程序。存储器922中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件920被配置为执行指令，以执行上述方法。

电子设备900还可以包括：电源组件924被配置为执行电子设备900的电源管理，有线或无线网络接口926被配置为将电子设备900连接到网络，和输入输出(I/O)接口928。电子设备900可以操作基于存储在存储器922的操作***，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD或类似。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器922，上述指令可由电子设备900的处理器执行以完成上述方法。存储介质可以是计算机可读存储介质，例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备900的处理器执行以完成上述方法。

需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频的处理方法，其特征在于，包括：

获取视频中图像的质量评分；

根据所述质量评分，从所述图像中确定目标图像；

对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频；

将所述预处理视频输入至视频超分辨率模型进行超分处理，输出得到处理后的视频。

2.根据权利要求1所述的方法，其特征在于，所述获取视频中图像的质量评分，包括：

获取视频中的图像；

将所述图像输入图像质量评估模型，经所述图像质量评估模型，输出得到所述图像的噪声类别及质量评分，其中，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系训练获得。

3.根据权利要求2所述的方法，其特征在于，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系训练获得，包括：

获取样本图像集合，所述样本图像集合包括多个标注有噪声类别及质量评分的样本图像；

将所述样本图像输入至初始的图像质量评估模型，生成预测结果；

基于所述预测结果与标注的噪声类别、质量评分之间的差异，对所述初始的图像质量评估模型的训练参数进行迭代调整，直至所述差异满足预设要求，得到所述图像质量评估模型。

4.根据权利要求1所述的方法，其特征在于，所述根据所述质量评分，从所述图像中确定目标图像，包括：

从所述图像中获取质量评分低于预设阈值的图像；

将所述质量评分低于预设阈值的图像作为目标图像。

5.根据权利要求1所述的方法，其特征在于，所述根据所述质量评分，从所述图像中确定目标图像，包括：

从所述图像中获取目标图像，其中，所述目标图像的质量评分被确定为分别低于所述目标图像前一帧图像的质量评分以及所述目标图像后一帧图像的质量评分。

6.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频，包括：

对所述目标图像进行平滑处理，并以平滑处理后的目标图像替换所述目标图像，得到预处理视频。

7.一种视频的处理装置，其特征在于，包括：

获取模块，用于获取视频中图像的质量评分；

确定模块，用于根据所述质量评分，从所述图像中确定目标图像；

降噪模块，用于对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频；

处理模块，用于将所述预处理视频输入至视频超分辨率模型进行超分处理，输出得到处理后的视频。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的视频的处理方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的视频的处理方法。

10.一种计算机程序产品，所述计算机程序产品中包括指令，其特征在于，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6任一项所述的视频的处理方法。

Images