CN112686811A - 视频处理方法、视频处理装置、电子设备和存储介质 - Google Patents

视频处理方法、视频处理装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112686811A
CN112686811A CN202011359736.XA CN202011359736A CN112686811A CN 112686811 A CN112686811 A CN 112686811A CN 202011359736 A CN202011359736 A CN 202011359736A CN 112686811 A CN112686811 A CN 112686811A
Authority
CN
China
Prior art keywords
video
sub
diagnosis result
degree
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011359736.XA
Other languages
English (en)
Inventor
陈海波
权甲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenlan Artificial Intelligence Application Research Institute Shandong Co ltd
Original Assignee
Deep Blue Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Blue Technology Shanghai Co Ltd filed Critical Deep Blue Technology Shanghai Co Ltd
Priority to CN202011359736.XA priority Critical patent/CN112686811A/zh
Publication of CN112686811A publication Critical patent/CN112686811A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本申请实施例涉及视频处理技术领域,提供了一种视频处理方法、视频处理装置、电子设备和存储介质,所述视频处理方法包括:将待处理视频切分为多个子视频;对所述子视频进行视频隔行扫描诊断,输出隔行扫描诊断结果;并对所述子视频进行噪声模糊程度诊断,输出噪声程度诊断结果和模糊程度诊断结果;且确定所述子视频的分辨率和帧率;基于所述子视频的隔行扫描诊断结果、噪声程度诊断结果、模糊程度诊断结果、分辨率和帧率,对所述子视频对应地增强,得到目标视频。根据本申请提供的视频处理方法,通过先进行视频切分,再进行问题类型识别,最后再根据问题类型对各个子视频逐一修复增强,可以得到高质量的视频。

Description

视频处理方法、视频处理装置、电子设备和存储介质
技术领域
本申请涉及视频处理技术领域,尤其涉及一种视频处理方法、视 频处理装置、电子设备和存储介质。
背景技术
视频的增强,目前是一类较大的需求。现有技术中,一种算法只 能在一个方向上增强视频,比如去噪算法对于存在噪声的视频处理效 果很好,但是对模糊的视频处理效果很差。而现实中的视频往往同时 存在多个质量问题,比如同时存在隔行、噪声、模糊、分辨率低、帧 率底等问题,现有的技术难以处理。相关技术中,为了解决上述技术 问题,均是先人工识别视频的问题类型,再尽可能地处理这些问题。
发明内容
本申请提供一种视频处理方法,以实现视频的高质量修复。
本申请提供一种视频处理方法,包括:
将待处理视频切分为多个子视频;
对所述子视频进行视频隔行扫描诊断,输出隔行扫描诊断结果; 并对所述子视频进行噪声模糊程度诊断,输出噪声程度诊断结果和模 糊程度诊断结果;且确定所述子视频的分辨率和帧率;
基于所述子视频的隔行扫描诊断结果、噪声程度诊断结果、模糊 程度诊断结果、分辨率和帧率,对所述子视频对应地增强,得到目标 视频。
根据本申请提供的一种视频处理方法,所述基于所述子视频的隔 行扫描诊断结果、噪声程度诊断结果、模糊程度诊断结果、分辨率和 帧率,对所述子视频对应地增强,得到目标视频,包括:
基于所述子视频的隔行扫描诊断结果、噪声程度诊断结果、模糊 程度诊断结果、分辨率和帧率,从视频去除隔行、去除噪声、去除模 糊、视频超分辨率重构和视频插帧中,确定待增强选项;
将所述待增强选项按照如下顺序:视频去除隔行、去除噪声、去 除模糊、视频超分辨率重构、视频插帧执行。
根据本申请提供的一种视频处理方法,所述对所述子视频进行视 频隔行扫描诊断,输出隔行扫描诊断结果,包括:
对所述子视频中的图像相邻的奇数行与偶数行做差,输出行差值;
基于所述行差值,输出隔行扫描诊断结果。
根据本申请提供的一种视频处理方法,所述对所述子视频进行噪 声模糊程度诊断,输出噪声程度诊断结果和模糊程度诊断结果,包括:
确定所述子视频的任一帧图像的每一个像素与该像素周围像素 的差值;
基于所述差值,确定噪声程度诊断结果和模糊程度诊断结果。
根据本申请提供的一种视频处理方法,所述将待处理视频切分为 多个子视频,包括:
确定所述待处理视频的相邻两帧图像的差异度;
在所述差异度不大于目标值的情况下,将所述相邻两帧图像归入 同一子视频;
在所述差异度大于目标值的情况下,将所述相邻两帧图像归入不 同子视频。
根据本申请提供的一种视频处理方法,所述确定所述待处理视频 的相邻两帧图像的差异度,包括:
将所述相邻两帧图像之间处于同一位置的像素相减,输出像素差 值;
基于所述像素差值,确定所述差异度。
根据本申请提供的一种视频处理方法,所述基于所述像素差值, 确定所述差异度,包括:
对所述相邻两帧图像的所有像素的像素差值求均值,所述均值用 于表征差异度;
或者,
对所述相邻两帧图像中的不同区域赋权,基于所述像素差值对应 像素所在区域的权重,确定所述相邻两帧图像的所有像素的像素差值 的加权平均值,所述加权平均值用于表征差异度;
或者,
确定目标对象在相邻两帧图像中的位置,基于所述目标对象对应 的像素给像素差值赋权,确定所述相邻两帧图像的所有像素的像素差 值的加权平均值,所述加权平均值用于表征差异度。
本申请还提供一种视频处理装置,包括:
分割模块,用于将待处理视频切分为多个子视频;
第一诊断模块,用于对所述子视频进行视频隔行扫描诊断,输出 隔行扫描诊断结果;
第二诊断模块,用于对所述子视频进行噪声模糊程度诊断,输出 噪声程度诊断结果和模糊程度诊断结果;
读取模块,用于确定所述子视频的分辨率和帧率;
增强模块,用于基于所述子视频的隔行扫描诊断结果、噪声程度 诊断结果、模糊程度诊断结果、分辨率和帧率,对所述子视频对应地 增强,得到目标视频。
根据本申请提供的一种视频处理装置,所述增强模块包括:
筛选模块,用于基于所述子视频的隔行扫描诊断结果、噪声程度 诊断结果、模糊程度诊断结果、分辨率和帧率,从视频去除隔行、去 除噪声、去除模糊、视频超分辨率重构和视频插帧中,确定待增强选 项;
执行模块,用于将所述待增强选项按照如下顺序:视频去除隔行、 去除噪声、去除模糊、视频超分辨率重构、视频插帧执行。
根据本申请提供的一种视频处理装置,所述第一诊断模块,包括:
第一处理模块,用于对所述子视频中的图像相邻的奇数行与偶数 行做差,输出行差值;
第一确定模块,用于基于所述行差值,输出隔行扫描诊断结果。
根据本申请提供的一种视频处理装置,所述第二诊断模块,包括:
第二处理模块,用于确定所述子视频的任一帧图像的每一个像素 与该像素周围像素的差值;
第二确定模块,用于基于所述差值,确定噪声程度诊断结果和模 糊程度诊断结果。
根据本申请提供的一种视频处理装置,所述分割模块,包括:
判断模块,用于确定所述待处理视频的相邻两帧图像的差异度;
划分模块,用于在所述差异度不大于目标值的情况下,将所述相 邻两帧图像归入同一子视频;在所述差异度大于目标值的情况下,将 所述相邻两帧图像归入不同子视频。
根据本申请提供的一种视频处理装置,所述判断模块,包括:
第三处理模块,用于将所述相邻两帧图像之间处于同一位置的像 素相减,输出像素差值;
第三确定模块,用于基于所述像素差值,确定所述差异度。
根据本申请提供的一种视频处理装置,所述第三确定模块,
还用于对所述相邻两帧图像的所有像素的像素差值求均值,所述 均值用于表征差异度;
或者,
还用于对所述相邻两帧图像中的不同区域赋权,基于所述像素差 值对应像素所在区域的权重,确定所述相邻两帧图像的所有像素的像 素差值的加权平均值,所述加权平均值用于表征差异度;
或者,
还用于确定目标对象在相邻两帧图像中的位置,基于所述目标对 象对应的像素给像素差值赋权,确定所述相邻两帧图像的所有像素的 像素差值的加权平均值,所述加权平均值用于表征差异度。
本申请还提供一种电子设备,包括存储器、处理器及存储在存储 器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实 现如上述任一种视频处理方法的步骤。
本申请还提供一种非暂态计算机可读存储介质,其上存储有计算 机程序,计算机程序被处理器执行时实现如上述任一种视频处理方法 的步骤。
本申请提供的视频处理方法、视频处理装置、电子设备和存储介 质,通过先进行视频切分,再进行问题类型识别,最后再根据问题类 型对各个子视频逐一修复增强,可以得到高质量的视频。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见 地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术 人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得 其他的附图。
图1是本申请提供的视频处理方法的流程示意图;
图2是本申请提供的视频处理方法中步骤110的实施方式的流程 示意图;
图3是本申请提供的视频处理方法中步骤111的实施方式的流程 示意图;
图4是本申请提供的视频处理方法中步骤130的实施方式的流程 示意图;
图5是本申请提供的视频处理装置的结构示意图;
图6是本申请提供的视频处理装置的分割模块的结构示意图;
图7是本申请提供的视频处理装置的判断模块的结构示意图;
图8是本申请提供的视频处理装置的第一诊断模块的结构示意 图;
图9是本申请提供的视频处理装置的第二诊断模块的结构示意 图;
图10是本申请提供的视频处理装置的增强模块的结构示意图;
图11是本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申 请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然, 所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于 本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提 下所获得的所有其他实施例,都属于本申请保护的范围。
下面结合图1-图4描述本申请的视频处理方法。
如图1所示,本申请提供的视频处理方法包括:步骤110-步骤 130。
步骤110、将待处理视频切分为多个子视频;
待处理视频包括多帧图像,多帧图像按时间序列排布。
每个子视频包括至少一帧图像,对于包括多帧图像的子视频,其 多帧图像也是按照待处理视频的时间序列排布。
每个子视频内的各帧图像的问题基本相同,通过先将待处理视频 切分为多个子视频,便于在后面的增强过程中,根据每个子视频各自 的问题,执行对应的增强处理,使得处理方式与问题的对应性更强。
步骤121、对子视频进行视频隔行扫描诊断,输出隔行扫描诊断 结果;
步骤122、对子视频进行噪声模糊程度诊断,输出噪声程度诊断 结果和模糊程度诊断结果;
步骤123、确定子视频的分辨率和帧率;
需要说明的是,对上述步骤121、步骤122和步骤123的执行顺 序不作限定。
比如可以先对子视频进行视频隔行扫描诊断,输出隔行扫描诊断 结果,再对子视频进行噪声模糊程度诊断,输出噪声程度诊断结果和 模糊程度诊断结果,最后再确定子视频的分辨率和帧率。
或者先确定子视频的分辨率和帧率,再对子视频进行噪声模糊程 度诊断,输出噪声程度诊断结果和模糊程度诊断结果,最后对子视频 进行视频隔行扫描诊断,输出隔行扫描诊断结果。
另外,对每个子视频均需要进行视频隔行扫描诊断和噪声模糊程 度诊断,以识别出每个子视频具有的问题类型。
在一些实施例中,确定子视频的分辨率和帧率,可以等同于确定 待处理视频的分辨率和帧率,直接从视频属性中获取即可。
步骤130、基于子视频的隔行扫描诊断结果、噪声程度诊断结果、 模糊程度诊断结果、分辨率和帧率,对子视频对应地增强,得到目标 视频。
在步骤121-步骤123中完成诊断和属性确定后,对每个子视频, 根据其诊断结果,分别执行对应的增强。
比如,根据第i个子视频的诊断结果,第i个子视频存在隔行扫 描,且具有噪声,分辨率和帧率均满足目标值,则在步骤130中需要 对第i个子视频进行视频去除隔行和去除噪声,不必进行去除模糊。
在对每个子视频进行对应的增强后,针对性地修复了各个子视频 的问题,将增强后的各个子视频再按照原顺序合成为完整的视频,即 可得到目标视频。
根据本申请实施例提供的视频处理方法,通过先进行视频切分, 再进行问题类型识别,最后再根据问题类型对各个子视频逐一修复增 强,可以得到高质量的视频。
在一些实施例中,如图2所示,步骤110、将待处理视频切分为 多个子视频,包括:步骤111、步骤112a和步骤112b。
步骤111、确定待处理视频的相邻两帧图像的差异度;
步骤112a、在差异度不大于目标值的情况下,将相邻两帧图像归 入同一子视频;
步骤112b、在差异度大于目标值的情况下,将相邻两帧图像归 入不同子视频。
换言之,对于在时间序列上联系,且相似的图像,将其归于同一 子视频,在相邻两帧图像不相似的情况下,则从这两帧图像之间,将 待处理视频切分。
在实际的执行过程中,可以按照如下方式进行视频切分:(1)设 定目标值;(2)相邻的两帧图像求差异度;(3)差异度结果与目标值 比较,不大于目标值则认为两帧图像比较相似,归为一个子视频,然 后把第二帧图像与其后面相邻的图像重复步骤(2)和(3);(4)如 果差异度结果大于目标值,第二帧图像归为下一个子视频,重复步骤 (2)、(3)和(4),直到所有图像分完。
上述视频切分方法,执行起来较为简单,且可以切实将具有同类 问题的图像聚类,便于后续步骤中进行修复增强。
在一些实施例中,如图3所示,步骤111、确定待处理视频的相 邻两帧图像的差异度,包括:步骤111a和步骤111b。
步骤111a、将相邻两帧图像之间处于同一位置的像素相减,输出 像素差值;
比如,在第i帧图像中坐标(a,b)的像素与第i+1帧图像中坐 标(a,b)的像素相减,输出像素差值;对第i帧图像中的每个像素 均按该方式处理,得到第i帧图像与第i+1帧图像的每个像素的像素 差值。
步骤111b、基于像素差值,确定差异度。
在得到第i帧图像与第i+1帧图像的每个像素的像素差值,可以 通过多个方式得到差异度。
其一,对相邻两帧图像的所有像素的像素差值求均值,均值用于 表征差异度;
该处理方式中,直接将所有的像素差值作平均,即可得到差异度。 整个处理过程简单。
其二,对相邻两帧图像中的不同区域赋权,基于像素差值对应像 素所在区域的权重,确定相邻两帧图像的所有像素的像素差值的加权 平均值,加权平均值用于表征差异度;
该处理方式中,需要对图像进行分区,不同区域赋予不同的权限, 比如可以将图像按照矩形环分为多个区域,比如三个区域,最内圈的 矩形区域通常为关注的焦点,赋权最高,最外圈的边界区域,关注度 最低,赋权最低。
不同区域的像素对应的像素差值乘以对应权重,再求均值,即可 得到差异度。
该方式考虑到不同区域的关注度差异,可以实现更精准的视频切 分。
其三,确定目标对象在相邻两帧图像中的位置,基于目标对象对 应的像素给像素差值赋权,确定相邻两帧图像的所有像素的像素差值 的加权平均值,加权平均值用于表征差异度。
该处理方式中,需要对图像进行目标对象识别,比如对于足球视 频,目标对象设置为足球和/或特定球员,目标对象所在的像素赋权 最高,其他像素赋权降低。
各像素对应的像素差值乘以对应权重,再求均值,即可得到差异 度。
该方式考虑到不同对象的关注度差异,可以实现更精准的视频切 分。
在一些实施例中,步骤121、对子视频进行视频隔行扫描诊断, 输出隔行扫描诊断结果,包括:对子视频中的图像相邻的奇数行与偶 数行做差,输出行差值;基于行差值,输出隔行扫描诊断结果。
换言之,对于单帧图像,相邻的奇数行和偶数行做差,差值再求 平均值,得到行差值,在行差值大于目标行差值时,隔行扫描诊断结 果为存在隔行扫描,在行差值不大于目标行差值时,隔行扫描诊断结 果为不存在隔行扫描。
在一些实施例中,步骤122、对子视频进行噪声模糊程度诊断, 输出噪声程度诊断结果和模糊程度诊断结果,包括:确定子视频的任 一帧图像的每一个像素与该像素周围像素的差值;基于差值,确定噪 声程度诊断结果和模糊程度诊断结果。
在实际的执行中,任一帧图像的每一个像素均与该像素周围像素 作减法,比如位于顶点的像素与周围的3个像素作减法,位于边界非 顶点的像素与周围的5个像素作减法,其他像素与周围的8个像素作 减法,得到的差取均值,得到该像素与周围像素的差值。
对每个像素确定其差值后,再求均值,得到该图像的差异x。
设置3个阈值u1、u2、u3,其中u1<u2<u3。若x<u1,判定该图 像存在较严重的模糊,则在步骤130中,需要对该子视频执行高级别 的去除模糊;若u1<x<u2,判定为轻度模糊,则在步骤130中,需要 对该子视频执行低级别的去除模糊;若u2<x<u3,判定为轻度噪声, 则在步骤130中,需要对该子视频执行低级别的去除噪声;若x>u3, 判定为重度噪声,则在步骤130中,需要对该子视频执行高级别的去 除噪声。
在一些实施例中,如图4所示,步骤130、基于子视频的隔行扫 描诊断结果、噪声程度诊断结果、模糊程度诊断结果、分辨率和帧率, 对子视频对应地增强,得到目标视频,包括:步骤131和步骤132。
步骤131、基于子视频的隔行扫描诊断结果、噪声程度诊断结果、 模糊程度诊断结果、分辨率和帧率,从对子视频执行去除隔行、去除 噪声、去除模糊、视频超分辨率重构和视频插帧中,选择对应的待增 强选项;
步骤132、将选择的待增强选项,按照去除隔行、去除噪声、去 除模糊、视频超分辨率重构以及视频插帧的顺序,顺次执行去除隔行、 去除噪声、去除模糊、视频超分辨率重构以及视频插帧中的对应选项, 得到目标视频。
可以理解的是,对于步骤121-步骤123中,只诊断出一个问题的 子视频,其对应的待增强选项只有一项,比如某子视频存在模糊问题, 则只需要去除模糊即可。
对于步骤121-步骤123中,诊断出多个问题的子视频,其对应的 待增强选项有多项,这些项待增强选项需要按照视频去除隔行、去除 噪声、去除模糊、视频超分辨率重构、视频插帧的顺序执行,且无对 应问题的不必执行。
比如某子视频存在视频隔行、模糊问题,则需要按照视频去除隔 行和去除模糊的顺序执行。
至于视频去除隔行、去除噪声、去除模糊、视频超分辨率重构、 视频插帧,可以采用现有的相关算法即可。
本申请的发明人经过大量研究发现,采用视频去除隔行、去除噪 声、去除模糊、视频超分辨率重构、视频插帧的顺序,可以确保在前 一个增强选项处理中产生的问题,可以被后一个增强选项处理掉。
根据本申请实施例的视频处理方法,先通过视频切分,再使用视 频质量分析的算法,自动得出各子视频存在的问题与程度,然后根据 预先设置的处理顺序,依次自动的对视频进行处理,最终得到高质量 的视频。
下面对本申请提供的视频处理装置进行描述,下文描述的视频处 理装置与上文描述的视频处理方法可相互对应参照。
如图5所示,本申请提供的视频处理装置,包括:分割模块510、 第一诊断模块521、第二诊断模块522、读取模块523和增强模块530。
分割模块510,用于将待处理视频切分为多个子视频;
第一诊断模块521,用于对子视频进行视频隔行扫描诊断,输出 隔行扫描诊断结果;
第二诊断模块522,用于对子视频进行噪声模糊程度诊断,输出 噪声程度诊断结果和模糊程度诊断结果;
读取模块523,用于确定子视频的分辨率和帧率;
增强模块530,用于基于子视频的隔行扫描诊断结果、噪声程度 诊断结果、模糊程度诊断结果、分辨率和帧率,对子视频对应地增强, 得到目标视频。
根据本申请实施例提供的视频处理装置,通过先进行视频切分, 再进行问题类型识别,最后再根据问题类型对各个子视频逐一修复增 强,可以得到高质量的视频。
在一些实施例中,如图6所示,分割模块510,包括:判断模块 511和划分模块512。
判断模块511,用于确定待处理视频的相邻两帧图像的差异度;
划分模块512,用于在差异度不大于目标值的情况下,将相邻两 帧图像归入同一子视频;在差异度大于目标值的情况下,将相邻两帧 图像归入不同子视频。
在一些实施例中,如图7所示,判断模块511包括:第三处理模 块511a和第三确定模块511b。
第三处理模块511a,用于将相邻两帧图像之间处于同一位置的像 素相减,输出像素差值;
第三确定模块511b,用于基于像素差值,确定差异度。
在一些实施例中,第三确定模块,还用于对相邻两帧图像的所有 像素的像素差值求均值,均值用于表征差异度;
或者,
第三确定模块,还用于对相邻两帧图像中的不同区域赋权,基于 像素差值对应像素所在区域的权重,确定相邻两帧图像的所有像素的 像素差值的加权平均值,加权平均值用于表征差异度;
或者,
第三确定模块,还用于确定目标对象在相邻两帧图像中的位置, 基于目标对象对应的像素给像素差值赋权,确定相邻两帧图像的所有 像素的像素差值的加权平均值,加权平均值用于表征差异度。
在一些实施例中,如图8所示,第一诊断模块521,包括:第一 处理模块521a和第一确定模块521b。
第一处理模块521a,用于对子视频中的图像相邻的奇数行与偶 数行做差,输出行差值;
第一确定模块521b,用于基于行差值,输出隔行扫描诊断结果。
在一些实施例中,如图9所示,第二诊断模块522,包括:第二 处理模块522a和第二确定模块522b。
第二处理模块522a,用于确定子视频的任一帧图像的每一个像 素与该像素周围像素的差值;
第二确定模块522b,用于基于差值,确定噪声程度诊断结果和 模糊程度诊断结果。
在一些实施例中,如图10所示,增强模块530包括:筛选模块 531和执行模块532。
筛选模块531,用于基于子视频的隔行扫描诊断结果、噪声程度 诊断结果、模糊程度诊断结果、分辨率和帧率,从视频去除隔行、去 除噪声、去除模糊、视频超分辨率重构和视频插帧中,确定待增强选 项;
执行模块532,用于将待增强选项按照如下顺序:视频去除隔行、 去除噪声、去除模糊、视频超分辨率重构、视频插帧执行。
本申请实施例提供的视频处理装置用于执行上述视频处理方法, 其具体的实施方式与方法实施方式一致,且可以达到相同的有益效果, 此处不再赘述。
图11示例了一种电子设备的实体结构示意图,如图11所示,该 电子设备可以包括:处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140,其中,处理 器1110,通信接口1120,存储器1130通过通信总线1140完成相互 间的通信。处理器1110可以调用存储器1130中的逻辑指令,以执行 视频处理方法,该方法包括:将待处理视频切分为多个子视频;对子 视频进行视频隔行扫描诊断,输出隔行扫描诊断结果;并对子视频进 行噪声模糊程度诊断,输出噪声程度诊断结果和模糊程度诊断结果; 且确定子视频的分辨率和帧率;基于子视频的隔行扫描诊断结果、噪 声程度诊断结果、模糊程度诊断结果、分辨率和帧率,对子视频对应 地增强,得到目标视频。
此外,上述的存储器1130中的逻辑指令可以通过软件功能单元 的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机 可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者 说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产 品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括 若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或 者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前 述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟 或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器1110可以调用存储器 1130中的逻辑指令,实现上述视频处理方法,其具体的实施方式与 方法实施方式一致,且可以达到相同的有益效果,此处不再赘述。
另一方面,本申请还提供一种计算机程序产品,下面对本申请提 供的计算机程序产品进行描述,下文描述的计算机程序产品与上文描 述的视频处理方法可相互对应参照。
计算机程序产品包括存储在非暂态计算机可读存储介质上的计 算机程序,计算机程序包括程序指令,当程序指令被计算机执行时, 计算机能够执行上述各方法所提供的视频处理方法,该方法包括:将 待处理视频切分为多个子视频;对子视频进行视频隔行扫描诊断,输 出隔行扫描诊断结果;并对子视频进行噪声模糊程度诊断,输出噪声 程度诊断结果和模糊程度诊断结果;且确定子视频的分辨率和帧率; 基于子视频的隔行扫描诊断结果、噪声程度诊断结果、模糊程度诊断 结果、分辨率和帧率,对子视频对应地增强,得到目标视频。
本申请实施例提供的计算机程序产品被执行时,实现上述视频处 理方法,其具体的实施方式与方法实施方式一致,且可以达到相同的 有益效果,此处不再赘述。
又一方面,本申请还提供一种非暂态计算机可读存储介质,下面 对本申请提供的非暂态计算机可读存储介质进行描述,下文描述的非 暂态计算机可读存储介质与上文描述的视频处理方法可相互对应参 照。
本申请还提供一种非暂态计算机可读存储介质,其上存储有计算 机程序,该计算机程序被处理器执行时实现以执行上述各提供的视频 处理方法,该方法包括:将待处理视频切分为多个子视频;对子视频 进行视频隔行扫描诊断,输出隔行扫描诊断结果;并对子视频进行噪 声模糊程度诊断,输出噪声程度诊断结果和模糊程度诊断结果;且确 定子视频的分辨率和帧率;基于子视频的隔行扫描诊断结果、噪声程 度诊断结果、模糊程度诊断结果、分辨率和帧率,对子视频对应地增 强,得到目标视频。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算 机程序被执行时,实现上述视频处理方法,其具体的实施方式与方法 实施方式一致,且可以达到相同的有益效果,此处不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说 明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件 可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以 分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全 部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创 造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解 到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然 也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现 有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软 件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光 盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机, 服务器,或者网络设备等)执行各个实施例或者实施例的某些部分的 方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而 非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领 域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技 术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修 改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方 案的精神和范围。

Claims (16)

1.一种视频处理方法,其特征在于,包括:
将待处理视频切分为多个子视频;
对所述子视频进行视频隔行扫描诊断,输出隔行扫描诊断结果;
对所述子视频进行噪声模糊程度诊断,输出噪声程度诊断结果和模糊程度诊断结果;
确定所述子视频的分辨率和帧率;
基于所述子视频的隔行扫描诊断结果、噪声程度诊断结果、模糊程度诊断结果、分辨率和帧率,对所述子视频对应地增强,得到目标视频。
2.根据权利要求1的视频处理方法,其特征在于,所述基于所述子视频的隔行扫描诊断结果、噪声程度诊断结果、模糊程度诊断结果、分辨率和帧率,对所述子视频对应地增强,得到目标视频,包括:
基于所述子视频的隔行扫描诊断结果、噪声程度诊断结果、模糊程度诊断结果、分辨率和帧率,从对所述子视频执行去除隔行、去除噪声、去除模糊、视频超分辨率重构和视频插帧中,选择对应的待增强选项;
将选择的所述待增强选项,按照去除隔行、去除噪声、去除模糊、视频超分辨率重构以及视频插帧的顺序,顺次执行所述去除隔行、去除噪声、去除模糊、视频超分辨率重构以及视频插帧中的对应选项,得到目标视频。
3.根据权利要求1的视频处理方法,其特征在于,所述对所述子视频进行视频隔行扫描诊断,输出隔行扫描诊断结果,包括:
对所述子视频中的图像相邻的奇数行与偶数行做差,输出行差值;
基于所述行差值,输出隔行扫描诊断结果。
4.根据权利要求1的视频处理方法,其特征在于,所述对所述子视频进行噪声模糊程度诊断,输出噪声程度诊断结果和模糊程度诊断结果,包括:
确定所述子视频的任一帧图像的每一个像素与该像素周围像素的差值;
基于所述差值,确定噪声程度诊断结果和模糊程度诊断结果。
5.根据权利要求1-4中任一项的视频处理方法,其特征在于,所述将待处理视频切分为多个子视频,包括:
确定所述待处理视频的相邻两帧图像的差异度;
在所述差异度不大于目标值的情况下,将所述相邻两帧图像归入同一子视频;
在所述差异度大于目标值的情况下,将所述相邻两帧图像归入不同子视频。
6.根据权利要求5的视频处理方法,其特征在于,所述确定所述待处理视频的相邻两帧图像的差异度,包括:
将所述相邻两帧图像之间处于同一位置的像素相减,输出像素差值;
基于所述像素差值,确定所述差异度。
7.根据权利要求6的视频处理方法,其特征在于,所述基于所述像素差值,确定所述差异度,包括:
对所述相邻两帧图像的所有像素的像素差值求均值,所述均值用于表征差异度;
或者,
对所述相邻两帧图像中的不同区域赋权,基于所述像素差值对应像素所在区域的权重,确定所述相邻两帧图像的所有像素的像素差值的加权平均值,所述加权平均值用于表征差异度;
或者,
确定目标对象在相邻两帧图像中的位置,基于所述目标对象对应的像素给像素差值赋权,确定所述相邻两帧图像的所有像素的像素差值的加权平均值,所述加权平均值用于表征差异度。
8.一种视频处理装置,其特征在于,包括:
分割模块,用于将待处理视频切分为多个子视频;
第一诊断模块,用于对所述子视频进行视频隔行扫描诊断,输出隔行扫描诊断结果;
第二诊断模块,用于对所述子视频进行噪声模糊程度诊断,输出噪声程度诊断结果和模糊程度诊断结果;
读取模块,用于确定所述子视频的分辨率和帧率;
增强模块,用于基于所述子视频的隔行扫描诊断结果、噪声程度诊断结果、模糊程度诊断结果、分辨率和帧率,对所述子视频对应地增强,得到目标视频。
9.根据权利要求8的视频处理装置,其特征在于,所述增强模块包括:
筛选模块,用于基于所述子视频的隔行扫描诊断结果、噪声程度诊断结果、模糊程度诊断结果、分辨率和帧率,从对所述子视频执行去除隔行、去除噪声、去除模糊、视频超分辨率重构和视频插帧中,选择对应的待增强选项;
执行模块,用于将选择的所述待增强选项,按照去除隔行、去除噪声、去除模糊、视频超分辨率重构以及视频插帧的顺序,顺次执行所述去除隔行、去除噪声、去除模糊、视频超分辨率重构以及视频插帧中的对应选项,得到目标视频。
10.根据权利要求8的视频处理装置,其特征在于,所述第一诊断模块,包括:
第一处理模块,用于对所述子视频中的图像相邻的奇数行与偶数行做差,输出行差值;
第一确定模块,用于基于所述行差值,输出隔行扫描诊断结果。
11.根据权利要求8的视频处理装置,其特征在于,所述第二诊断模块,包括:
第二处理模块,用于确定所述子视频的任一帧图像的每一个像素与该像素周围像素的差值;
第二确定模块,用于基于所述差值,确定噪声程度诊断结果和模糊程度诊断结果。
12.根据权利要求8-11中任一项的视频处理装置,其特征在于,所述分割模块,包括:
判断模块,用于确定所述待处理视频的相邻两帧图像的差异度;
划分模块,用于在所述差异度不大于目标值的情况下,将所述相邻两帧图像归入同一子视频;在所述差异度大于目标值的情况下,将所述相邻两帧图像归入不同子视频。
13.根据权利要求12的视频处理装置,其特征在于,所述判断模块,包括:
第三处理模块,用于将所述相邻两帧图像之间处于同一位置的像素相减,输出像素差值;
第三确定模块,用于基于所述像素差值,确定所述差异度。
14.根据权利要求13的视频处理装置,其特征在于,所述第三确定模块,
还用于对所述相邻两帧图像的所有像素的像素差值求均值,所述均值用于表征差异度;
或者,
还用于对所述相邻两帧图像中的不同区域赋权,基于所述像素差值对应像素所在区域的权重,确定所述相邻两帧图像的所有像素的像素差值的加权平均值,所述加权平均值用于表征差异度;
或者,
还用于确定目标对象在相邻两帧图像中的位置,基于所述目标对象对应的像素给像素差值赋权,确定所述相邻两帧图像的所有像素的像素差值的加权平均值,所述加权平均值用于表征差异度。
15.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行程序时实现如权利要求1至7任一项所述视频处理方法的步骤。
16.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述视频处理方法的步骤。
CN202011359736.XA 2020-11-27 2020-11-27 视频处理方法、视频处理装置、电子设备和存储介质 Pending CN112686811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011359736.XA CN112686811A (zh) 2020-11-27 2020-11-27 视频处理方法、视频处理装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011359736.XA CN112686811A (zh) 2020-11-27 2020-11-27 视频处理方法、视频处理装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN112686811A true CN112686811A (zh) 2021-04-20

Family

ID=75446893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011359736.XA Pending CN112686811A (zh) 2020-11-27 2020-11-27 视频处理方法、视频处理装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112686811A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961186A (zh) * 2018-06-29 2018-12-07 赵岩 一种基于深度学习的老旧影片修复重制方法
CN110446062A (zh) * 2019-07-18 2019-11-12 平安科技(深圳)有限公司 大数据文件传输的接收处理方法、电子装置及存储介质
CN110738611A (zh) * 2019-09-20 2020-01-31 网宿科技股份有限公司 一种视频画质增强方法、***及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961186A (zh) * 2018-06-29 2018-12-07 赵岩 一种基于深度学习的老旧影片修复重制方法
CN110446062A (zh) * 2019-07-18 2019-11-12 平安科技(深圳)有限公司 大数据文件传输的接收处理方法、电子装置及存储介质
CN110738611A (zh) * 2019-09-20 2020-01-31 网宿科技股份有限公司 一种视频画质增强方法、***及设备

Similar Documents

Publication Publication Date Title
EP2164040B1 (en) System and method for high quality image and video upscaling
CN108805829B (zh) 影像数据处理方法、装置、设备及计算机可读存储介质
KR20110002858A (ko) 앤티 엘리어싱을 위한 필터링 방법 및 장치
JP2012208553A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9613405B2 (en) Scalable massive parallelization of overlapping patch aggregation
CN111696064B (zh) 图像处理方法、装置、电子设备及计算机可读介质
Erkan et al. Improved adaptive weighted mean filter for salt-and-pepper noise removal
CN111951172A (zh) 一种图像优化方法、装置、设备和存储介质
CN113012061A (zh) 降噪处理方法、装置及电子设备
CN111415317A (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
JP5105286B2 (ja) 画像復元装置、画像復元方法及び画像復元プログラム
KR20140109801A (ko) 3d이미지 품질을 향상시키는 방법과 장치
CN111882565A (zh) 一种图像二值化方法、装置、设备及存储介质
CN101141655A (zh) 影像信号像素点色彩值调整方法
CN110136085B (zh) 一种图像的降噪方法及装置
CN111598794A (zh) 一种去除水下重叠情况的图像成像方法及装置
CN111147804B (zh) 一种视频帧重建方法
CN112686811A (zh) 视频处理方法、视频处理装置、电子设备和存储介质
CN111311610A (zh) 图像分割的方法及终端设备
CN111754413A (zh) 图像处理方法、装置、设备及存储介质
CN111415365A (zh) 图像检测方法及装置
CN115330637A (zh) 一种图像锐化方法、装置、计算设备及存储介质
CN114994098A (zh) 一种异物检测的方法及设备
CN110111286B (zh) 图像优化方式的确定方法和装置
Jiji et al. Hybrid technique for enhancing underwater image in blurry conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220812

Address after: 13th Floor, Jingu Jingu Artificial Intelligence Building, Jingshi Road, Jinan Free Trade Pilot Zone, Jinan City, Shandong Province, 250000

Applicant after: Shenlan Artificial Intelligence Application Research Institute (Shandong) Co.,Ltd.

Address before: 200336 unit 1001, 369 Weining Road, Changning District, Shanghai

Applicant before: DEEPBLUE TECHNOLOGY (SHANGHAI) Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210420