CN113902651A - 一种基于深度学习的视频画质增强*** - Google Patents

Abstract

本发明提供了一种基于深度学习的视频画质增强***，包括帧提取模块，帧增强模块、帧间增强模块、学习处理模块、反馈模块和视频还原模块，所述帧提取模块将视频处理成多帧帧画面，所述帧增强模块对单独的帧画面进行画质增强，所述帧间增强模块依据相邻两帧画面的关系对帧画面进行画质增强，所述学习处理模块提供用于进行画质增强的处理模型，所述反馈模块用于计算处理后的帧画面的整体协调性并反馈给所述学习处理模型，所述学习处理模型依据反馈结果对处理模型进行改进，所述视频还原模块用于将处理后的帧画面重组成视频形式。本***采用帧内处理和帧间处理两个角度进行画质增强，使增强后的内容部出现失真，获取更好的画质增强效果。

Description

一种基于深度学习的视频画质增强***

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的视频画质增强***。

背景技术

随着手机等移动终端的普及，人们越来越习惯用手机等移动终端观看网络视频。人们观看视频时，视频画质主要受到下面的因素影响：1.受视频拍摄质量和后期制作的因素影响，其中包括拍摄器材的因素、拍摄环境的因素、有损的后期剪辑等；2.网络视频服务商会将原始视频转码成不同码率供用户选择，转码过程会对视频进行有损压缩，转码后的视频质量相比原始视频会有下降。

现在已经开发出了很多画质增强***，经过我们大量的检索与参考，发现现有的增强***有如公开号为CN109345490B所公开的***，解码视频流数据，得到RGB图像数据；对RGB图像数据进行图像分区，将图像分成四类区域：边缘区域且在保护区域内、非边缘区域且在保护区域内、边缘区域且在非保护区域内、非边缘区域且在非保护区域内，分别标记为P1、P2、P3、P4；对P1、P2、P3、P4采用不同的尺度进行细节增强处理，得到增强后的图像；对增强后的图像进行对比度调整，得到调整后的图像；对调整后的图像进行亮度调整，得到亮度调整后的图像。但该***在处理过程中是对单独的帧画面进行处理，处理后的视频存在不连贯，失真的缺点，画质增强效果有待改进。

发明内容

本发明的目的在于，针对所存在的不足，提出了一种基于深度学习的视频画质增强***，

本发明采用如下技术方案：

一种基于深度学习的视频画质增强***，包括帧提取模块，帧增强模块、帧间增强模块、学习处理模块、反馈模块和视频还原模块，所述帧提取模块将视频处理成多帧帧画面，所述帧增强模块对单独的帧画面进行画质增强，所述帧间增强模块依据相邻两帧画面的关系对帧画面进行画质增强，所述学习处理模块提供用于进行画质增强的处理模型，所述反馈模块用于计算处理后的帧画面的整体协调性Q并反馈给所述学习处理模型，所述学习处理模型依据反馈结果对处理模型进行改进，所述视频还原模块用于将处理后的帧画面重组成视频形式；

所述处理模型包括帧处理模型和帧间处理模型，所述帧增强模块执行所述帧处理模型，所述帧间增强模块执行所述帧间处理模型；

所述帧处理模型将分辨率为X₀*Y₀的待处理帧画面扩大为分辨率为X₁*Y₁的初始帧画面，并将初始帧画面中的像素点依据相邻像素点信息是否相同划分为多个点集，所述点集中的边缘点依据计算的融合度Z决定是否改变像素点信息，所述融合度Z的计算公式为：

；

其中，n₁、n₂、n₃和n₄分别表示边缘点邻近区域内像素点中属于同一点集中的非边缘点数量、属于同一点集中的边缘点数量、属于不同点集中的非边缘点数量和属于不同点集中的边缘点数量；

当融合度Z大于0时，该边缘点保持不变，当Z小于0时，该边缘点的像素点信息转换成邻近的点集中的像素点信息；

所述帧间处理模型利用像素点窗口获取相邻帧画面中相同位置处像素点的灰度信息得到两个矩阵P1和P2，并对两个矩阵进行如下操作矩阵卷差C：

；

其中，a_ij为矩阵P1中的元素，b_ij为矩阵P2中的元素，m，n分别为像素点窗口的长度和宽度；

依据所述矩阵卷差C计算得到矩阵P1中的周边元素对应的像素点的灰度待变量△，所述像素点窗口遍历完相邻的帧画面后，对每一个像素点的灰度待变量△计算总和得到修正量△’，所述帧间处理模型依据所述修正量△’对所有像素点进行灰度变化处理；

进一步的，所述帧处理模型将待处理帧画面中的(a，b)像素点信息复制到所述初始帧画面的(c，d)像素点信息中，a，b，c，d满足如下条件：

；

进一步的，所述邻近区域指坐标距离不超过4的像素点构成的区域；

进一步的，所述灰度待变量△的计算公式为：

；

进一步的，所述整体协调性Q的计算公式为：

；

其中，Nz为像素点的灰度值在所有帧画面中出现异常的次数，N为所有帧画面的数量。

本发明所取得的有益效果是：

本发明在增强画质过程中，不仅是对单独的帧画面进行处理，还根据相邻帧画面的关系进行平滑处理，使得视频在画质增强后不会出现失真，不连贯的现象；本发明还设有反馈***，对画质增强后的帧画面进行评测，而对帧画面进行增强的处理模型依据评测结果进行模型修正，改善画质增强效果。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。

图1为整体结构框架示意图；

图2为边缘点位置示意图；

图3为邻近区域内像素点示意图；

图4为具有灰度待变量的像素点位置示意图；

图5为像素点灰度的M型和W型片段示意图。

具体实施方式

为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它***、方法和/或特征将变得显而易见。旨在所有此类附加的***、方法、特征和优点都包括在本说明书内，包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位，以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

实施例一。

本实施例提供了一种基于深度学习的视频画质增强***，结合图1，包括帧提取模块，帧增强模块、帧间增强模块、学习处理模块、反馈模块和视频还原模块，所述帧提取模块将视频处理成多帧帧画面，所述帧增强模块对单独的帧画面进行画质增强，所述帧间增强模块依据相邻两帧画面的关系对帧画面进行画质增强，所述学习处理模块提供用于进行画质增强的处理模型，所述反馈模块用于计算处理后的帧画面的整体协调性Q并反馈给所述学习处理模型，所述学习处理模型依据反馈结果对处理模型进行改进，所述视频还原模块用于将处理后的帧画面重组成视频形式；

所述处理模型包括帧处理模型和帧间处理模型，所述帧增强模块执行所述帧处理模型，所述帧间增强模块执行所述帧间处理模型；

所述帧处理模型将分辨率为X₀*Y₀的待处理帧画面扩大为分辨率为X₁*Y₁的初始帧画面，并将初始帧画面中的像素点依据相邻像素点信息是否相同划分为多个点集，所述点集中的边缘点依据计算的融合度Z决定是否改变像素点信息，所述融合度Z的计算公式为：

；

其中，n₁、n₂、n₃和n₄分别表示边缘点邻近区域内像素点中属于同一点集中的非边缘点数量、属于同一点集中的边缘点数量、属于不同点集中的非边缘点数量和属于不同点集中的边缘点数量；

当融合度Z大于0时，该边缘点保持不变，当Z小于0时，该边缘点的像素点信息转换成邻近的点集中的像素点信息；

所述帧间处理模型利用像素点窗口获取相邻帧画面中相同位置处像素点的灰度信息得到两个矩阵P1和P2，并对两个矩阵进行如下操作矩阵卷差C：

；

其中，a_ij为矩阵P1中的元素，b_ij为矩阵P2中的元素，m，n分别为像素点窗口的长度和宽度；

依据所述矩阵卷差C计算得到矩阵P1中的周边元素对应的像素点的灰度待变量△，所述像素点窗口遍历完相邻的帧画面后，对每一个像素点的灰度待变量△计算总和得到修正量△’，所述帧间处理模型依据所述修正量△’对所有像素点进行灰度变化处理；

所述帧处理模型将待处理帧画面中的(a，b)像素点信息复制到所述初始帧画面的(c，d)像素点信息中，a，b，c，d满足如下条件：

；

所述邻近区域指坐标距离不超过4的像素点构成的区域；

所述灰度待变量△的计算公式为：

；

所述整体协调性Q的计算公式为：

；

其中，Nz为像素点的灰度值在所有帧画面中出现异常的次数，N为所有帧画面的数量。

实施例二。

本实施例包含了实施例一的全部内容，提供了一种基于深度学***滑处理，所述学习处理模块用于提供处理模型给所述帧增强模块和所述帧间增强模块，所述反馈模块对处理后的视频的整体协调性进行计算，并将计算结果反馈给所述学习处理模块，所述学习处理模块依据所述计算结果对处理模型进行改进，当所述整体协调性小于阈值时，所述视频还原模块将处理后的帧画面重新组合成视频；

所述帧提取模块获取的帧画面按照顺序排列，依次将所述帧画面发送给所述帧增强模块；

所述帧增强模块在接收到第一帧帧画面时对帧画面的分辨率进行识别，识别的分辨率记为X₀*Y₀；

所述学习处理模块中的处理模型包括帧处理模型和帧间处理模型，当所述帧增强模块需要处理帧画面时，向所述学习处理模块提交申请，所述学习处理模块将复制一份帧处理模型发送给所述帧增强模块，所述帧增强模块执行所述帧处理模型对帧画面进行处理，当所述帧间增强模块需要处理帧画面时，向所述学习处理模块提交申请，所述学习处理模块将复制一份帧间处理模型发送给所述帧间增强模块，所述帧间增强模块执行所述帧间处理模型对帧画面进行处理；

结合图2和图3，所述帧处理模型对待处理帧画面进行处理的过程包括如下步骤：

S1、所述帧处理模型申请一个初始帧画面，所述初始帧画面的分辨率为X₁*Y₁；

S2、所述帧处理模型将待处理帧画面中的(a，b)像素点信息复制到所述初始帧画面的(c，d)像素点信息中，a，b，c，d满足如下条件：

；

S3、所述帧处理模型将原始画面中由待处理帧画面中的同一个像素点信息得到的多个像素点划为一个集合，得到多个点集；

S4、所述帧处理模型对每个点集进行归化处理：

当两个相邻点集的像素点信息相同时，将这两个点集归为同一个点集；

S5、所述帧处理模型对每个点集进行边缘标记：

将点集中与其他点集相邻的像素点设为边缘点；

S6、所述帧处理模型统计每个边缘点邻近区域内像素点的性质：

所述像素点性质包括同一点集中的非边缘点、同一点集中的边缘点、不同点集中的非边缘点和不同点集中的边缘点，数量分别用n₁、n₂、n₃和n₄表示，所述边缘点邻近区域内像素点指的是与边缘点的坐标距离不超过4的像素点；

S7、所述帧处理模型对边缘点进行像素点信息变化：

；

当Z大于0时，该边缘点保持不变，当Z小于0时，该边缘点的像素点信息转换成邻近的点集中的像素点信息；

所述帧增强模块将处理后的帧画面按序发送给所述帧间增强模块；

所述帧间处理模型对待处理的连续两帧帧画面进行处理的过程包括如下步骤：

S21、所述帧间处理模型将在先的帧画面作为处理帧，在后的帧画面作为参考帧；

S22、所述帧间处理模型设置一个像素窗口，并使用所述像素窗口在所述处理帧与所述参考帧的同一位置分别获取像素点的灰度信息得到两个矩阵P1和P2：

；

；

其中，元素a_ij表示处理帧在所述像素窗口内(i，j)像素点的灰度值，元素b_ij表示参考帧在所述像素窗口(i，j)像素点的灰度值，m和n为所述像素窗口的长度与宽度；

S23、所述帧间处理模型对两个矩阵进行如下操作矩阵卷差C：

；

S24、所述帧间处理模型计算处理帧的矩阵周边变化量△：

；

结合图4，将矩阵周边变化量△作为元素a_1x，a_mx，a_y1，a_yn对应的像素点的灰度待变量，其中，x∈[1，n]，y∈[1，m]；

S25、所述帧间处理模型使用所述像素窗口遍历所述处理帧和所述参考帧的所有位置并获得对应的灰度待变量，对处理帧中每一个像素点的灰度待变量进行独立累加得到△’(i，j)，x∈[1，X₁]，y∈[1，Y₁]；

S26、对处理帧中位于(i，j)坐标的像素点的灰度值进行修正，修正量为△’(i，j)，处理完所述处理帧的所有像素点后，将所述处理帧发送给所述反馈模块，并将所述参考帧作为新的处理帧，所述参考帧的后一帧帧画面作为新的参考帧，重复步骤S22至步骤S26；

结合图5，所述反馈模块接收完所有帧画面后，对于每一个位置的像素点在所有帧画面中的灰度值进行提取并得到数列G[i]，判断数列G[i]中的W型和M型片段；

所述“W”型片段满足下述不等式：

；

所述“M”型片段满足下述不等式：

；

所述反馈模块将所有位置的像素点中满足上述片段的数量进行统计得到Nz，并计算整体协调性Q：

；

其中，N为所有帧画面的数量；

当Q大于阈值时，所述反馈模块向所述学习处理模块反馈结果，所述学习处理模块对所述帧间处理模型进行调整；

所述学习处理模块根据接收的反馈结果对所述像素窗口的长度m和宽度n进行调整，所述学习处理模块第一次调整时将m和n的值调大，当后续的整体协调性继续变大时，所述学习处理模块将m和n逆向调整，当后续的整体协调性变小时，所述学习处理模块将m和n正向调整，所述正向调整指与前一次的调整方向一致，所述逆向调整指与前一次的调整方向相反；

当所述反馈模块计算的整体协调性小于阈值时，所述学习处理模块不再调整，同时，所述视频还原模块将处理后的帧画面重新组成视频形式。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，***和设备是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种部件。而且，关于某些配置描述的特征可以以各种其他配置组合，如可以以类似的方式组合配置的不同方面和元素。此外，随着技术发展其中的元素可以更新，即许多元素是示例，并不限制本公开或权利要求的范围。

在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路，过程，算法，结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。

综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (5)

1.一种基于深度学习的视频画质增强***，其特征在于，包括帧提取模块，帧增强模块、帧间增强模块、学习处理模块、反馈模块和视频还原模块，所述帧提取模块将视频处理成多帧帧画面，所述帧增强模块对单独的帧画面进行画质增强，所述帧间增强模块依据相邻两帧画面的关系对帧画面进行画质增强，所述学习处理模块提供用于进行画质增强的处理模型，所述反馈模块用于计算处理后的帧画面的整体协调性Q并反馈给所述学习处理模型，所述学习处理模型依据反馈结果对处理模型进行改进，所述视频还原模块用于将处理后的帧画面重组成视频形式；

所述处理模型包括帧处理模型和帧间处理模型，所述帧增强模块执行所述帧处理模型，所述帧间增强模块执行所述帧间处理模型；

所述帧处理模型将分辨率为X₀*Y₀的待处理帧画面扩大为分辨率为X₁*Y₁的初始帧画面，并将初始帧画面中的像素点依据相邻像素点信息是否相同划分为多个点集，所述点集中的边缘点依据计算的融合度Z决定是否改变像素点信息，所述融合度Z的计算公式为：

；

其中，n₁、n₂、n₃和n₄分别表示边缘点邻近区域内像素点中属于同一点集中的非边缘点数量、属于同一点集中的边缘点数量、属于不同点集中的非边缘点数量和属于不同点集中的边缘点数量；

当融合度Z大于0时，该边缘点保持不变，当Z小于0时，该边缘点的像素点信息转换成邻近的点集中的像素点信息；

所述帧间处理模型利用像素点窗口获取相邻帧画面中相同位置处像素点的灰度信息得到两个矩阵P1和P2，并对两个矩阵进行如下操作矩阵卷差C：

；

其中，a_ij为矩阵P1中的元素，b_ij为矩阵P2中的元素，m，n分别为像素点窗口的长度和宽度；

依据所述矩阵卷差C计算得到矩阵P1中的周边元素对应的像素点的灰度待变量△，所述像素点窗口遍历完相邻的帧画面后，对每一个像素点的灰度待变量△计算总和得到修正量△’，所述帧间处理模型依据所述修正量△’对所有像素点进行灰度变化处理。

2.如权利要求1所述的一种基于深度学习的视频画质增强***，其特征在于，所述帧处理模型将待处理帧画面中的(a，b)像素点信息复制到所述初始帧画面的(c，d)像素点信息中，a，b，c，d满足如下条件：

。

3.如权利要求2所述的一种基于深度学习的视频画质增强***，其特征在于，所述邻近区域指坐标距离不超过4的像素点构成的区域。

4.如权利要求3所述的一种基于深度学习的视频画质增强***，其特征在于，所述灰度待变量△的计算公式为：

。

5.如权利要求4所述的一种基于深度学习的视频画质增强***，其特征在于，所述整体协调性Q的计算公式为：

；

其中，Nz为像素点的灰度值在所有帧画面中出现异常的次数，N为所有帧画面的数量。

Images