CN112801890B - 一种视频处理方法、装置及设备 - Google Patents
一种视频处理方法、装置及设备 Download PDFInfo
- Publication number
- CN112801890B CN112801890B CN202110024907.1A CN202110024907A CN112801890B CN 112801890 B CN112801890 B CN 112801890B CN 202110024907 A CN202110024907 A CN 202110024907A CN 112801890 B CN112801890 B CN 112801890B
- Authority
- CN
- China
- Prior art keywords
- image
- video
- video image
- blurred
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 54
- 239000000523 sample Substances 0.000 claims description 86
- 230000006835 compression Effects 0.000 claims description 52
- 238000007906 compression Methods 0.000 claims description 52
- 239000013074 reference sample Substances 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000007477 logistic regression Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 241001156002 Anthonomus pomorum Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种视频处理方法、装置及设备，该方法包括：获取待处理视频；确定待处理视频中的每个视频图像组；针对每个视频图像组，分别确定该视频图像组中的参考图像与模糊图像；利用参考图像对所述模糊图像进行去模糊处理。可见，本方案中，先确定待处理视频中的每个视频图像组，其中，同一个视频图像组中的视频图像为属于同一组镜头的图像；分别确定每个视频图像组中的参考图像与模糊图像；利用去模糊模型，将参考图像特征与模糊图像特征进行特征融合，得到融合特征；根据融合特征重建图像。利用属于同一组镜头的视频图像作为模糊图像的参考图像，使得参考图像选取得更为合理，优化了视频去模糊的效果。
Description
技术领域
本发明涉及智能分析技术领域，特别是涉及一种视频处理方法、装置及设备。
背景技术
在拍摄视频的过程中，由于拍摄设备的抖动、被拍摄目标的运动等因素的影响，使得视频图像中会出现一定程度的模糊。模糊的视频图像不利于观察和提取视频图像中的细节信息，因此需要对视频进行去模糊处理。
目前，主要的视频去模糊处理方案包括：对于需要进行去模糊处理的每帧视频图像来说，可以参考该帧视频图像的相邻帧视频图像，对该帧视频图像的缺失内容进行修复，从而实现视频去模糊。例如，以眼睛为拍摄目标的两帧连续视频图像，在第一帧视频图像中，眼睛的左半部分清晰而右半部分模糊；在第二帧视频图像中，眼睛的左半部分模糊而右半部分清晰；这样，就可以参考第一帧视频图像，对第二帧视频图像中眼睛的左半部分进行修复；可以参考第二帧视频图像，对第一帧视频图像中眼睛的右半部分进行修复，从而实现视频去模糊。
上述方案中，参考相邻帧视频图像对模糊帧视频图像中的缺失内容进行修复。然而，在视频的实际拍摄过程中，模糊的视频图像往往是连续出现的，这意味着，模糊帧视频图像的相邻帧视频图像往往也是模糊的，无法对模糊帧视频图像中的像素信息进行补足，视频去模糊效果不佳。
发明内容
本发明实施例的目的在于提供一种视频处理方法、装置及设备，以优化视频去模糊效果。具体技术方案如下：
为达到上述目的，本发明实施例提供了一种视频处理方法，包括：
获取待处理视频；
确定所述待处理视频中的每个视频图像组，其中，同一个视频图像组中的视频图像为属于同一组镜头的图像；
针对每个视频图像组，分别确定该视频图像组中的参考图像与模糊图像；
利用所述参考图像对所述模糊图像进行去模糊处理。
可选的，所述利用所述参考图像对所述模糊图像进行去模糊处理，包括：
将所述参考图像与所述模糊图像输入至预先建立的去模糊模型，得到去模糊后的模糊图像；
其中，建立所述去模糊模型的过程包括：
获取参考样本图像与模糊样本图像；
将所述参考样本图像和所述模糊样本图像输入至预设结构的去模糊网络中，利用所述去模糊网络提取所述参考样本图像的图像特征，得到参考特征；提取所述模糊样本图像的图像特征，得到模糊特征；将所述参考特征与所述模糊特征进行特征融合，得到融合特征；利用所述融合特征进行图像重建，得到重建图像；
基于所述参考样本图像与所述重建图像的清晰度差异，判断所述去模糊网络的损失函数是否收敛，若否，则对所述去模糊网络中的参数进行调整，并返回所述将所述参考样本图像和所述模糊样本图像输入至预设结构的去模糊网络中的步骤；若是，则得到训练完成的去模糊模型。
可选的，所述确定所述待处理视频中的每个视频图像组，包括：
按照所述待处理视频的帧序号，依次确定所述待处理视频的当前帧视频图像；
计算所述当前帧视频图像与其上一帧视频图像的相似度；
判断所述相似度是否满足预设相似度条件；若是，则确定所述当然帧视频图像与其上一帧视频图像属于同一组镜头的视频图像组；若否，则确定所述当前帧视频图像属于新一组镜头的视频图像组。
可选的，所述针对每个视频图像组，分别确定该视频图像组中的参考图像与模糊图像，包括：
针对每个视频图像组中的每帧视频图像，计算该帧视频图像的清晰度；
基于所述清晰度，判断该帧视频图像是否为参考图像或模糊图像。
可选的，所述针对每个视频图像组中的每帧视频图像，计算该帧视频图像的清晰度，包括：
针对每个视频图像组中的每帧视频图像，对该帧视频图像进行高斯模糊处理，得到高斯模糊图像；
对所述高斯模糊图像进行拉普拉斯边缘处理，得到拉普拉斯边缘图像；
计算所述拉普拉斯边缘图像的方差，得到该帧视频图像的清晰度。
可选的，所述基于所述清晰度，判断该帧视频图像是否为参考图像或模糊图像，包括：
将同一视频图像组中的每帧视频图像的清晰度由高到低进行排序，将清晰度最高的视频图像确定为参考图像；
基于所述参考图像的清晰度，确定清晰度阈值；
针对所述同一视频图像组中的每帧视频图像，判断该帧视频图像的清晰度是否大于所述清晰度阈值；若否，则将该帧视频图像确定为模糊图像。
可选的，所述获取参考样本与模糊样本，包括：
获取已分组的样本图像；
在属于同一组的样本图像中，任选两帧样本图像，对其中任一帧样本图像进行模糊处理，得到模糊样本图像，将另一帧样本图像确定为参考样本图像。
可选的，所述将所述参考特征与所述模糊特征进行特征融合，得到融合特征，包括：
分别对所述参考特征与所述模糊特征进行通道压缩，得到压缩参考特征与压缩模糊特征；
对所述压缩参考特征与所述压缩模糊特征进行逻辑回归处理，得到所述压缩参考特征与所述压缩模糊特征之间的相似性矩阵；
基于所述压缩参考特征与所述相似性矩阵，得到拟模糊特征；
将所述拟模糊特征与所述压缩模糊特征进行特征融合，得到融合特征。
可选的，所述利用所述参考图像对所述模糊图像进行去模糊处理，包括：
按照预设的划分方式，对所述模糊图像进行划分，得到所述模糊图像中的每个图像块，作为第一图像块；
针对每个第一图像块，确定所述参考图像中与该第一图像块相匹配的图像块，作为第二图像块；利用所述第二图像块对该第一图像块进行去模糊处理。
为达到上述目的，本发明实施例还提供了一种视频处理装置，包括：
第一获取模块，用于获取待处理视频；
第一确定模块，用于确定所述待处理视频中的每个视频图像组，其中，同一个视频图像组中的视频图像为属于同一组镜头的图像；
第二确定模块，用于针对每个视频图像组，分别确定该视频图像组中的参考图像与模糊图像；
去模糊模块，用于利用所述参考图像对所述模糊图像进行去模糊处理。
为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任意一种视频处理方法。
应用本发明所示实施例，先确定待处理视频中的每个视频图像组，其中，同一个视频图像组中的视频图像为属于同一组镜头的图像；分别确定每个视频图像组中的参考图像与模糊图像；利用去模糊模型，将参考图像特征与模糊图像特征进行特征融合，得到融合特征；根据融合特征重建图像。可见，本方案中，利用属于同一组镜头的视频图像作为模糊图像的参考图像，使得参考图像选取得更为合理，优化了视频去模糊的效果。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频处理方法的第一种流程示意图；
图2为本发明实施例提供的一种建立去模糊模型的流程示意图；
图3为本发明实施例提供的视频处理方法的第二种流程示意图；
图4为本发明实施例提供的一种具体实施方式的流程示意图；
图5为本发明实施例提供的一种去模糊模型进行去模糊处理的流程示意图；
图6为本发明实施例提供的一种视频处理装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了达到上述目的，本发明实施例提供了一种视频处理方法、装置及设备，该方法可以应用于各种电子设备，具体不做限定，下面首先对该视频处理方法进行详细介绍。
图1为本发明实施例提供的视频处理方法的第一种流程示意图，包括：
S101：获取待处理视频。
待处理视频可以理解为需要进行去模糊处理的视频。待处理视频中可以包括一些模糊的视频图像，模糊的视频图像可以为由于拍摄设备的抖动而引起模糊的视频图像、由于被拍摄目标的运动而引起模糊的视频图像，等等，具体引起待处理视频中的视频图像模糊的原因不做限定。
S102：确定待处理视频中的每个视频图像组，其中，同一个视频图像组中的视频图像为属于同一组镜头的图像。
一种实施方式中，S102可以包括：按照待处理视频的帧序号，依次确定待处理视频的当前帧视频图像；计算当前帧视频图像与其上一帧视频图像的相似度；判断相似度是否满足预设相似度条件；若是，则确定当然帧视频图像与其上一帧视频图像属于同一组镜头的视频图像组；若否，则确定当前帧视频图像属于新一组镜头的视频图像组。
举例来说，可以计算当前帧视频图像与其上一帧视频图像的结构相似度(SSIM，Structural SIMilarity)；或者，也可以分别提取当前帧视频图像与其上一帧视频图像的图像特征，再计算当前帧视频图像的图像特征与其上一帧视频图像的图像特征的余弦相似度，将计算得到的余弦相似度作为当前帧视频图像与其上一帧视频图像的相似度；具体计算当前帧视频图像与其上一帧视频图像的相似度的方法不做限定。
其中，预设相似度条件可以为相似度大于第一预设阈值、相似度与预设值的差值小于第二预设阈值，等等，具体预设条件不做限定；第一预设阈值可以为0.4、0.5，等等，具体不做限定；预设值可以为1、0.5，等等，具体不做限定；第二预设阈值可以为0.2、0.3，等等，具体不做限定；第二预设阈值可以小于第一预设阈值。
举例来说，若预设相似度条件为相似度大于第一预设阈值0.4。可以按照待处理视频的帧序号，将第一帧视频图像确定为当前帧视频图像，将第一帧视频图像确定为视频图像组1；将第二帧视频图像确定为当前视频图像，计算第二帧视频图像与第一帧视频图像的相似度，例如可以计算第二帧视频图像与第一帧视频图像的结构相似度。若计算得到的结构相似度为0.7，则满足预设相似度条件，可以确定第二帧视频图像与第一帧视频图像属于同一组镜头的视频图像组，也就是说，第二帧视频图像也属于视频图像组1；若计算得到的结构相似度为0.3，则不满足预设相似度条件，可以确定第二帧视频图像属于新一组镜头的视频图像组，例如第二帧视频图像可以属于视频图像组2。由于相同镜头的图像内容相似，因此，若相邻两帧视频图像的相似度大于第一预设阈值0.4，那么可以确定其属于同一组镜头，可以将这相邻的两帧视频图像分为同一个视频图像组。
或者，另一种实施方式中，S102可以包括：利用预设检测器检测待处理视频图像中的视频剪辑点；将检测到的每两个视频剪辑点间的视频图像划分为同一个视频图像组。本发明实施例对预设检测器不做限定。
S103：针对每个视频图像组，分别确定该视频图像组中的参考图像与模糊图像。
一种实施方式中，S103可以包括：针对每个视频图像组中的每帧视频图像，计算该帧视频图像的清晰度；基于清晰度，判断该帧视频图像是否为参考图像或模糊图像。
一种情况下，针对每个视频图像组中的每帧视频图像，计算该帧视频图像的清晰度可以包括：针对每个视频图像组中的每帧视频图像，对该帧视频图像进行高斯模糊处理，得到高斯模糊图像；对高斯模糊图像进行拉普拉斯边缘处理，得到拉普拉斯边缘图像；计算拉普拉斯边缘图像的方差，得到该帧视频图像的清晰度。
举例来说，可以利用如下算式，计算该帧视频图像的清晰度得分：
清晰度得分＝var(Laplacian(GaussianBlur(视频图像)))
其中，GaussianBlur表示对该帧视频图像进行高斯模糊处理，Laplacian表示对高斯模糊图像进行拉普拉斯边缘处理，var表示计算拉普拉斯边缘图像的方差。
一些相关方案中，对于不同画面内容的图像，利用边缘纹理变化程度来进行清晰度计算。这就导致了计算得到的清晰度无法真实体现图像的清晰程度，这是由于图像的边缘纹理变化程度与图像的复杂度是相关的，可以理解为无论简单图像的清晰程度是否高于复杂图像的清晰程度，计算得到的简单图像的清晰度都会高于复杂图像的清晰度。举例来说，一张图像是清晰的白色平滑墙面，另一张图像是模糊的人像，利用图像的边缘纹理变化程度，计算这两张图像的清晰度，得到的模糊的人像的清晰度高于清晰的白色平滑墙面的清晰度；但是从真实的清晰程度来看，清晰的白色平滑墙面比模糊的人像更为清晰。
而本实施方式中，先将待处理视频中的各帧视频图像进行分组，将属于同一组镜头的视频图像分为同一组视频图像，再对每个视频图像组中的每帧视频图像，利用视频图像的边缘纹理变化程度，计算视频图像的清晰度。属于同一组镜头的视频图像画面内容类似，也就是说，本实施方式中，是对画面内容相似的图像，利用边缘纹理变化程度来进行清晰度计算。相比于对不同画面内容的图像也利用边缘纹理变化程度来进行清晰度计算而言，本实施方式可以在复杂度近似的图像中比较边缘纹理变化程度，使得该计算清晰度的方法更为合理。
或者，另一种情况下，可以利用Brenner(布伦纳)梯度函数计算该帧视频图像的清晰度、利用Tenengrad(腾格拉德)梯度函数计算该帧视频图像的清晰度，等等，具体计算清晰度的方法不做限定。
一种情况下，基于清晰度，判断该帧视频图像是否为参考图像或模糊图像可以包括：将同一视频图像组中的每帧视频图像的清晰度由高到低进行排序，将清晰度最高的视频图像确定为参考图像；基于参考图像的清晰度，确定清晰度阈值；针对同一视频图像组中的每帧视频图像，判断该帧视频图像的清晰度是否大于清晰度阈值；若否，则将该帧视频图像确定为模糊图像。
其中，基于参考图像的清晰度，确定清晰度阈值，可以利用如下算式计算清晰度阈值：
清晰度阈值＝参考图像的清晰度×权重
其中，权重的数值可以为0.5、0.6，等等，具体权重的数值不做限定。
举例来说，一个视频图像组中包含视频图像A、视频图像B、视频图像C和视频图像D，其中，视频图像A的清晰度得分为25、视频图像B的清晰度得分为30、视频图像C的清晰度得分为10、视频图像D的清晰度得分为13；那么，将清晰度得分由高到低进行排序，可以将清晰度得分最高的视频图像B确定为参考图像。假设权重的数值为0.5，那么计算得到清晰度阈值为15(30×0.5＝15)，则可以确定视频图像C和视频图像D为模糊图像。
或者，另一种情况下，可以判断清晰度是否大于预设阈值；若是，则将该帧视频图像确定为参考图像；若否，则将该帧视频图像确定为模糊图像。
举例来说，可以判断清晰度是否大于预设阈值20；若一个视频图像组中包含视频图像A、视频图像B、视频图像C和视频图像D，其中，视频图像A的清晰度得分为25、视频图像B的清晰度得分为30、视频图像C的清晰度得分为10、视频图像D的清晰度得分为13；那么，可以确定视频图像A和视频图像B为参考图像，可以确定视频图像C和视频图像D为模糊图像。其中，预设阈值可以为20、25，等等，具体预设阈值不做限定。
S104：利用参考图像对模糊图像进行去模糊处理。
下面参考图2介绍建立去模糊模型的过程，图2为本发明实施例提供的一种建立去模糊模型的流程示意图，包括：
S201：获取参考样本图像与模糊样本图像。
一种实施方式中，S201可以包括：获取已分组的样本图像；在属于同一组的样本图像中，任选两帧样本图像，对其中任一帧样本图像进行模糊处理，得到模糊样本图像，将另一帧样本图像确定为参考样本图像。获取参考样本图像与模糊样本图像的具体方式不做限定。
举例来说，可以将同一场景的图像划分为同一组，也可以为将属于同一组镜头的图像划分为同一组，等等，具体分组方式不做限定。每组中可以包含预设数量帧样本图像，如每组中可以有7帧样本图像，预设数量可以为7、8，等等，具体预设数量不做限定。
举例来说，若每组中包含7帧样本图像，那么，针对每组样本图像，可以任选两帧样本图像，如选择样本图像1和样本图像2，对样本图像1进行模糊处理，例如对样本图像1进行高斯模糊处理，将经过高斯模糊处理的样本图像1确定为模糊样本图像，将样本图像2确定为参考样本图像。其中，对样本图像进行模糊处理的方法可以为对样本图像进行高斯模糊处理、对样本图像添加椒盐噪声，等等，具体对样本图像进行模糊处理的方法不做限定。
S202：将参考样本图像和模糊样本图像输入至去模糊模型中，利用去模糊模型提取参考样本图像的图像特征，得到参考特征；提取模糊样本图像的图像特征，得到模糊特征。
举例来说，可以将参考样本图像和模糊样本图像输入至去模糊模型中，利用去模糊模型先对图像进行多层卷积，再对经过多层卷积的图像进行下采样，来提取图像的图像特征；或者，也可以利用去模糊模型提取图像的特征金字塔，将特征金字塔作为图像的图像特征，等等，具体利用去模糊模型提取图像特征的方法不做限定。其中，利用去模糊模型提取参考样本图像的图像特征的过程与利用去模糊模型提取模糊样本图像的图像特征的过程可以相同。
S203：将参考特征与模糊特征进行特征融合，得到融合特征。
一种实施方式中，S203可以包括：分别对参考特征与模糊特征进行通道压缩，得到压缩参考特征与压缩模糊特征；对压缩参考特征与压缩模糊特征进行逻辑回归处理，得到压缩参考特征与压缩模糊特征之间的相似性矩阵；基于压缩参考特征与相似性矩阵，得到拟模糊特征；将拟模糊特征与压缩模糊特征进行特征融合，得到融合特征。
举例来说，可以利用点卷积对特征进行通道压缩，或者也可以利用池化处理对特征进行通道压缩，等等，具体对特征进行通道压缩的方法不做限定。可以利用Logistic(逻辑)回归模型进行逻辑回归处理，也可以利用Softmax(软分类)逻辑回归模型进行逻辑回归处理，等等，具体逻辑回归方法不做限定。可以将拟模糊特征与压缩模糊特征相加，得到融合特征；或者，也可以利用如下算式计算融合特征：
融合特征＝系数1×拟模糊特征+系数2×压缩模糊特征
其中，系数1的数值可以为1、1.5，等等，具体系数1的数值不做限定；系数2的数值可以为1、0.5，等等，具体系数2的数值不做限定；其中，系数1和系数2之和可以为2。
举例来说，可以利用点卷积，分别对参考特征与模糊特征进行通道压缩，例如参考特征的尺寸可以为C×H×W，模糊特征的尺寸可以为C×H×W，点卷积可以为1×1×C’，那么得到的压缩参考特征的尺寸为C’×HW，压缩模糊特征的尺寸为C’×HW；将压缩参考特征转置后与压缩模糊特征相乘并经过Softmax逻辑回归处理，得到尺寸为HW×HW的相似性矩阵S；将压缩参考特征与相似矩阵S相乘，得到了与压缩模糊特征相似的拟模糊特征；将拟模糊特征与压缩模糊特征相加，得到融合特征。其中C的取值可以为256、128，等等，具体C的取值不做限定；C’的取值可以为32、16，等等，具体C’的取值不做限定；C’的取值可以小于C的取值；H表示高度，H的取值可以为64、32，等等，具体H的取值不做限定；W表示宽度，W的取值可以为64、32，等等，具体W的取值不做限定。
其中，将压缩参考特征转置后与压缩模糊特征相乘并经过Softmax逻辑回归处理，得到尺寸为HW×HW的相似性矩阵S，该相似性矩阵S中每一个元素Sij可以理解为：模糊样本图像中第i个点与参考样本图像中的第j个点的相似性，也可以理解为参考样本图像中的第j点对模糊样本图像中的第i点的进行去模糊处理的贡献程度。其中，∑jSij＝1。
S204：利用融合特征进行图像重建，得到重建图像。
举例来说，可以使用超分辨率重建的方法，利用融合特征进行图像重建；或者，也可以对融合特征进行多层上采样后，再进行卷积，得到重建图像，等等，具体利用融合特征进行图像重建的方法不做限定。
S202-S204均是在去模糊模型中执行的步骤。
S205：基于参考样本图像与重建图像的清晰度差异，判断去模糊模型的损失函数是否收敛。若否，则执行S206；若是，则执行S207。
举例来说，去模糊模型的损失函数可以为L1 loss(最小绝对值偏差损失函数)，也可以为L1 loss后添加判别器GAN loss(Generative Adversarial Networks loss，对抗生成网络损失函数)，等等，具体损失函数不做限定。
举例来说，可以利用上述一种实施方式中的清晰度计算方法，计算参考样本图像与重建图像的清晰度，利用清晰度差异判断去模糊模型的损失函数L1loss是否收敛；或者，也可以利用参考样本图像与重建图像中每个像素点之间的差异，判断去模糊模型的损失函数L1 loss是否收敛，等等，具体基于参考样本图像与重建图像的清晰度差异，判断去模糊模型的损失函数是否收敛的方法不做限定。
S206：对去模糊模型中的参数进行调整。
可以利用优化器算法对去模糊模型中的参数进行调整，如利用随机梯度下降算法(SGD，Stachastic gradient desent)对去模糊模型中的参数进行调整、利用Adam优化器算法对去模糊模型中的参数进行调整，等等，具体优化器算法不做限定。
S207：得到训练完成的去模糊模型。
对去模糊模型的训练过程可以理解为对去模糊模型中的参数进行迭代调整的过程。
若去模糊模型的损失函数收敛，则训练完成，得到用于对待处理视频进行去模糊处理的去模糊模型。
一种实施方式中，S104可以包括：将所述参考图像与所述模糊图像输入至预先建立的去模糊模型，得到去模糊后的模糊图像。
或者，另一种实施方式中，S104可以包括：按照预设的划分方式，对模糊图像进行划分，得到模糊图像中的每个图像块，作为第一图像块；针对每个第一图像块，确定参考图像中与该第一图像块相匹配的图像块，作为第二图像块；利用第二图像块对该第一图像块进行去模糊处理。
其中，按照预设的划分方式，对模糊图像进行划分，得到模糊图像中的每个图像块，可以为按照预设尺寸对模糊图像进行划分，得到模糊图像中的每个图像块，其中预设尺寸可以为32像素×32像素、2厘米×2厘米，等等，具体预设尺寸不做限定；或者，按照预设的划分方式，对模糊图像进行划分，得到模糊图像中的每个图像块，也可以为对模糊图像进行边缘检测后，根据检测到的边缘对模糊图像进行划分，得到模糊图像中的每个图像块，等等，具体预设的划分方式不做限定。
举例来说，可以按照预设尺寸对模糊图像进行划分，得到模糊图像中的每个图像块，如预设尺寸为32像素×32像素，那么可以得到模糊图像中的每个尺寸为32像素×32像素的图像块，作为第一图像块。针对每个第一图像块，确定参考图像中与该第一图像块相匹配的图像块，作为第二图像块。如可以以32像素×32像素为窗口，在参考图像中进行滑动，将该第一图像块与该窗口对应的参考图像中的图像块进行匹配，确定与该第一图像块相匹配的图像块，作为第二图像块。其中，确定参考图像中与该第一图像块相匹配的图像块的方式不做限定。利用第二图像块对该第一图像块进行去模糊处理，如可以参考第二图像块对该第一图像块中缺失的内容进行修复，或者，也可以利用带参考图的超分辨率重建算法，利用第二图像块对该第一图像块进行去模糊处理。
应用本发明所示实施例，先确定待处理视频中的每个视频图像组，其中，同一个视频图像组中的视频图像为属于同一组镜头的图像；分别确定每个视频图像组中的参考图像与模糊图像；利用去模糊模型，将参考图像特征与模糊图像特征进行特征融合，得到融合特征；根据融合特征重建图像。可见，本方案中，利用属于同一组镜头的视频图像作为模糊图像的参考图像，使得参考图像选取得更为合理，优化了视频去模糊的效果。
图3为本发明实施例提供的视频处理方法的第二种流程示意图，包括：
S301：获取已分组的样本图像；在属于同一组的样本图像中，任选两帧样本图像，对其中任一帧样本图像进行模糊处理，得到模糊样本图像，将另一帧样本图像确定为参考样本图像。
获取参考样本图像与模糊样本图像的具体方式不做限定。
举例来说，可以将同一场景的图像划分为同一组，也可以为将属于同一组镜头的图像划分为同一组，等等，具体分组方式不做限定。每组中可以包含预设数量帧样本图像，如每组中可以有7帧样本图像，预设数量可以为7、8，等等，具体预设数量不做限定。
举例来说，若每组中包含7帧样本图像，那么，针对每组样本图像，可以任选两帧样本图像，如选择样本图像1和样本图像2，对样本图像1进行模糊处理，例如对样本图像1进行高斯模糊处理，将经过高斯模糊处理的样本图像1确定为模糊样本图像，将样本图像2确定为参考样本图像。其中，对样本图像进行模糊处理的方法可以为对样本图像进行高斯模糊处理、对样本图像添加椒盐噪声，等等，具体对样本图像进行模糊处理的方法不做限定。
S302：将参考样本图像和模糊样本图像输入至去模糊模型中，利用去模糊模型提取参考样本图像的图像特征，得到参考特征；提取模糊样本图像的图像特征，得到模糊特征；将参考特征与模糊特征进行特征融合，得到融合特征；利用融合特征进行图像重建，得到重建图像。
举例来说，可以将参考样本图像和模糊样本图像输入至去模糊模型中，利用去模糊模型先对图像进行多层卷积，再对经过多层卷积的图像进行下采样，来提取图像的图像特征；或者，也可以利用去模糊模型提取图像的特征金字塔，将特征金字塔作为图像的图像特征，等等，具体利用去模糊模型提取图像特征的方法不做限定。其中，利用去模糊模型提取参考样本图像的图像特征的过程与利用去模糊模型提取模糊样本图像的图像特征的过程可以相同。
举例来说，将参考特征与模糊特征进行特征融合，得到融合特征可以包括：分别对参考特征与模糊特征进行通道压缩，得到压缩参考特征与压缩模糊特征；对压缩参考特征与压缩模糊特征进行逻辑回归处理，得到压缩参考特征与压缩模糊特征之间的相似性矩阵；基于压缩参考特征与相似性矩阵，得到拟模糊特征；将拟模糊特征与压缩模糊特征进行特征融合，得到融合特征。
举例来说，可以利用点卷积，分别对参考特征与模糊特征进行通道压缩，例如参考特征的尺寸可以为C×H×W，模糊特征的尺寸可以为C×H×W，点卷积可以为1×1×C’，那么得到的压缩参考特征的尺寸为C’×HW，压缩模糊特征的尺寸为C’×HW；将压缩参考特征转置后与压缩模糊特征相乘并经过Softmax逻辑回归处理，得到尺寸为HW×HW的相似矩阵S；将压缩参考特征与相似矩阵S相乘，得到了与压缩模糊特征相似的拟模糊特征；将拟模糊特征与压缩模糊特征相加，得到融合特征；对融合特征进行多层上采样后，再进行卷积，得到重建图像。其中C的取值可以为256、128，等等，具体C的取值不做限定；C’的取值可以为32、16，等等，具体C’的取值不做限定；C’的取值可以小于C的取值；H表示高度，H的取值可以为64、32，等等，具体H的取值不做限定；W表示宽度，W的取值可以为64、32，等等，具体W的取值不做限定。
S303：基于参考样本图像与重建图像的清晰度差异，判断去模糊模型的损失函数是否收敛。若否，则执行S304；若是，则执行S305。
举例来说，可以利用上述一种实施方式中的清晰度计算方法，计算参考样本图像与重建图像的清晰度，利用清晰度差异判断去模糊模型的损失函数L1loss是否收敛；若否，则执行S304；若是，则执行S305。
S304：对去模糊模型中的参数进行调整。
可以利用优化器算法对去模糊模型中的参数进行调整，如利用随机梯度下降算法(SGD，Stachastic gradient desent)对去模糊模型中的参数进行调整、利用Adam优化器算法对去模糊模型中的参数进行调整，等等，具体优化器算法不做限定。
S305：得到训练完成的去模糊模型。
对去模糊模型的训练过程可以理解为对去模糊模型中的参数进行迭代调整的过程。
若去模糊模型的损失函数收敛，则训练完成，得到用于对待处理视频进行去模糊处理的去模糊模型。
S306：获取待处理视频。
待处理视频可以理解为需要进行去模糊处理的视频。待处理视频中可以包括一些模糊的视频图像，模糊的视频图像可以为由于拍摄设备的抖动而引起模糊的视频图像、由于被拍摄目标的运动而引起模糊的视频图像，等等，具体引起待处理视频中的视频图像模糊的原因不做限定。
S307：按照待处理视频的帧序号，依次确定待处理视频的当前帧视频图像；计算当前帧视频图像与其上一帧视频图像的相似度。
举例来说，可以计算当前帧视频图像与其上一帧视频图像的结构相似度(SSIM，Structural SIMilarity)。可以按照待处理视频的帧序号，将第一帧视频图像确定为当前帧视频图像，将第一帧视频图像确定为视频图像组1；将第二帧视频图像确定为当前视频图像，计算第二帧视频图像与第一帧视频图像的相似度，例如可以计算第二帧视频图像与第一帧视频图像的结构相似度。
S308：判断相似度是否满足预设相似度条件。若是，则执行S309；若否，则执行S310。
其中，预设相似度条件可以为相似度大于第一预设阈值、相似度与预设值的差值小于第二预设阈值，等等，具体预设条件不做限定；第一预设阈值可以为0.4、0.5，等等，具体不做限定；预设值可以为1、0.5，等等，具体不做限定；第二预设阈值可以为0.2、0.3，等等，具体不做限定；第二预设阈值可以小于第一预设阈值。
举例来说，若预设相似度条件为相似度大于第一预设阈值0.4。若计算得到第二帧视频图像与第一帧视频图像的结构相似度为0.7，则满足预设相似度条件，可以执行S309；若计算得到的结构相似度为0.3，则不满足预设相似度条件，可以执行S310。
S309：确定当前帧视频图像与其上一帧视频图像属于同一组镜头的视频图像组。
上述一种实施方式中，第二帧视频图像与第一帧视频图像的结构相似度满足预设相似度条件，可以确定第二帧视频图像与第一帧视频图像属于同一组镜头的视频图像组，也就是说，第二帧视频图像也属于视频图像组1。
S310：确定当前帧视频图像属于新一组镜头的视频图像组。
上述一种实施方式中，第二帧视频图像与第一帧视频图像的结构相似度不满足预设相似度条件，可以确定第二帧视频图像属于新一组镜头的视频图像组，例如第二帧视频图像可以属于视频图像组2。
S311：针对每个视频图像组中的每帧视频图像，对该帧视频图像进行高斯模糊处理，得到高斯模糊图像；对高斯模糊图像进行拉普拉斯边缘处理，得到拉普拉斯边缘图像；计算拉普拉斯边缘图像的方差，得到该帧视频图像的清晰度。
举例来说，可以利用如下算式，计算该帧视频图像的清晰度得分：
清晰度得分＝var(Laplacian(GaussianBlur(视频图像)))
其中，GaussianBlur表示对该帧视频图像进行高斯模糊处理，Laplacian表示对高斯模糊图像进行拉普拉斯边缘处理，var表示计算拉普拉斯边缘图像的方差。
一些相关方案中，对于不同画面内容的图像，利用边缘纹理变化程度来进行清晰度计算。这就导致了计算得到的清晰度无法真实体现图像的清晰程度，这是由于图像的边缘纹理变化程度与图像的复杂度是相关的，可以理解为无论简单图像的清晰程度是否高于复杂图像的清晰程度，计算得到的简单图像的清晰度都会高于复杂图像的清晰度。举例来说，一张图像是清晰的白色平滑墙面，另一张图像是模糊的人像，利用图像的边缘纹理变化程度，计算这两张图像的清晰度，得到的模糊的人像的清晰度高于清晰的白色平滑墙面的清晰度；但是从真实的清晰程度来看，清晰的白色平滑墙面比模糊的人像更为清晰。
而本实施方式中，先将待处理视频中的各帧视频图像进行分组，将属于同一组镜头的视频图像分为同一组视频图像，再对每个视频图像组中的每帧视频图像，利用视频图像的边缘纹理变化程度，计算视频图像的清晰度。属于同一组镜头的视频图像画面内容类似，也就是说，本实施方式中，是对画面内容相似的图像，利用边缘纹理变化程度来进行清晰度计算。相比于对不同画面内容的图像也利用边缘纹理变化程度来进行清晰度计算而言，本实施方式可以在复杂度近似的图像中比较边缘纹理变化程度，使得该计算清晰度的方法更为合理。
S312：将同一视频图像组中的每帧视频图像的清晰度由高到低进行排序，将清晰度最高的视频图像确定为参考图像；基于参考图像的清晰度，确定清晰度阈值。
其中，基于参考图像的清晰度，确定清晰度阈值，可以利用如下算式计算清晰度阈值：
清晰度阈值＝参考图像的清晰度×权重
其中，权重的数值可以为0.5、0.6，等等，具体权重的数值不做限定。
举例来说，一个视频图像组中包含视频图像A、视频图像B、视频图像C和视频图像D，其中，视频图像A的清晰度得分为25、视频图像B的清晰度得分为30、视频图像C的清晰度得分为10、视频图像D的清晰度得分为13；那么，将清晰度由高到低进行排序，可以将清晰度最高的视频图像B确定为参考图像。假设权重的数值为0.5，那么计算得到清晰度阈值为15(30×0.5＝15)。
S313：针对同一视频图像组中的每帧视频图像，判断该视频图像的清晰度是否大于清晰度阈值。若否，则执行S314。
上述一种实施方式中，确定了清晰度阈值为15；一个视频图像组中包含视频图像A、视频图像B、视频图像C和视频图像D，其中，视频图像A的清晰度得分为25、视频图像B的清晰度得分为30、视频图像C的清晰度得分为10、视频图像D的清晰度得分为13；可以判定视频图像C的清晰度和视频图像D的清晰度不大于清晰度阈值，可以执行S314。
S314：将该帧视频图像确定为模糊图像。
上述一种实施方式中，判定视频图像C的清晰度和视频图像D的清晰度不大于清晰度阈值，则可以确定视频图像C和视频图像D为模糊图像。
S315：将参考图像与模糊图像输入至预先建立的去模糊模型，得到去模糊后的模糊图像。
下面介绍一种具体实施方式，参考图4所示：
获取待处理视频；确定所述待处理视频中的每个视频图像组；针对每个视频图像组中的每帧视频图像，计算该帧视频图像的清晰度，基于清晰度，将该帧视频图像确定为参考图像或模糊图像；将所述参考图像与所述模糊图像输入至预先建立的去模糊模型，得到去模糊后的模糊图像。
举例来说，可以按照待处理视频的帧序号，依次确定待处理视频的当前帧视频图像；将第一帧视频图像确定为当前帧视频图像，将第一帧视频图像确定为视频图像组1；将第二帧视频图像确定为当前帧视频图像，计算当前帧视频图像与其上一帧视频图像的结构相似度；判断相似度是否满足预设相似度条件；若是，则确定第二帧视频图像属于视频图像组1；若否，则确定第二帧视频图像属于视频图像组2。
以此类推，可以按照待处理视频的帧序号，依次确定待处理视频的当前帧视频图像；计算当前帧视频图像与其上一帧视频图像的相似度；判断相似度是否满足预设相似度条件；若是，则确定当然帧视频图像与其上一帧视频图像属于同一组镜头的视频图像组；若否，则确定当前帧视频图像属于新一组镜头的视频图像组。
针对每个视频图像组中的每帧视频图像，计算该帧视频图像的清晰度；基于清晰度，判断该帧视频图像是否为参考图像或模糊图像。
举例来说，可以计算该帧视频图像的清晰度可以包括：针对每个视频图像组中的每帧视频图像，对该帧视频图像进行高斯模糊处理，得到高斯模糊图像；对高斯模糊图像进行拉普拉斯边缘处理，得到拉普拉斯边缘图像；计算拉普拉斯边缘图像的方差，得到该帧视频图像的清晰度。
举例来说，可以将同一视频图像组中的每帧视频图像的清晰度由高到低进行排序，将清晰度最高的视频图像确定为参考图像；基于参考图像的清晰度，确定清晰度阈值；针对同一视频图像组中的每帧视频图像，判断该帧视频图像的清晰度是否大于清晰度阈值；若否，则将该帧视频图像确定为模糊图像。
将待处理视频逐帧分解，计算当前帧视频图像与其上一帧视频图像的相似度，由于相同镜头的图像内容相似，因此，若相邻两帧视频图像的相似度满足预设相似度条件，那么可以确定其属于同一组镜头，可以将这相邻的两帧视频图像分为同一个视频图像组。基于相似度，确定待处理视频中的N个视频图像组：视频图像组1……视频图像组K……视频图像组N。以视频图像组K为例来说，计算视频图像组K中的每帧视频图像的清晰度；对清晰度由高到低进行排序，将清晰度最高的视频图像确定为参考图像；基于参考图像的清晰度，确定清晰度阈值；针对同一视频图像组中的每帧视频图像，判断该帧视频图像的清晰度是否大于清晰度阈值；若否，则将该帧视频图像确定为模糊图像。确定出视频图像组K中的模糊图像为模糊图像1……模糊图像i……模糊图像n；以模糊图像i为例来说，将模糊图像i与参考图像输入至去模糊模型，得到去模糊后的模糊图像i。具体过程上述内容已详细介绍，这里不做赘述。其他模糊图像的处理方式类似，不再赘述。其他视频图像组处理过程类似，不再赘述。其中，N表示任意正整数，K表示1～N中的任意正整数，K小于等于N；n表示任意正整数，i表示1～n中的任意正整数，i小于等于n。
下面参考图5，介绍一种利用去模糊模型进行去模糊处理的流程示意图：
将模糊图像与参考图像输入至去模糊模型中，在去模糊模型中进行如下处理：提取参考图像的图像特征，得到尺寸为C×H×W的参考特征；提取模糊图像的图像特征，得到尺寸为C×H×W的模糊特征。对模糊特征进行通道压缩，得到尺寸为C’×HW的压缩模糊特征；对参考特征进行通道压缩与矩阵转置，得到尺寸为HW×C’的压缩参考特征；将压缩参考特征与压缩模糊特征相乘后通过Softmax进行逻辑回归处理，得到压缩参考特征与压缩模糊特征之间的尺寸为HW×HW的相似性矩阵；将压缩参考特征与相似性矩阵相乘，得到尺寸为C×H×W的拟模糊特征；将拟模糊特征与压缩模糊特征相加，得到尺寸为C×H×W的融合特征；利用融合特征进行图像重建，得到重建图像，重建图像可以理解为去模糊后的模糊图像。
应用本发明所示实施例，先确定待处理视频中的每个视频图像组，其中，同一个视频图像组中的视频图像为属于同一组镜头的图像；分别确定每个视频图像组中的参考图像与模糊图像；利用去模糊模型，将参考图像特征与模糊图像特征进行特征融合，得到融合特征；根据融合特征重建图像。可见，本方案中，利用属于同一组镜头的视频图像作为模糊图像的参考图像，使得参考图像选取得更为合理，优化了视频去模糊的效果。
与上述方法实施例相对应，本发明实施例还提供了一种视频处理装置，如图6所示，包括：
第一获取模块601，用于获取待处理视频；
第一确定模块602，用于确定所述待处理视频中的每个视频图像组，其中，同一个视频图像组中的视频图像为属于同一组镜头的图像；
第二确定模块603，用于针对每个视频图像组，分别确定该视频图像组中的参考图像与模糊图像；
去模糊模块604，用于利用所述参考图像对所述模糊图像进行去模糊处理。
一种实施方式中，所述去模糊模块604，具体用于：将所述参考图像与所述模糊图像输入至预先建立的去模糊模型，得到去模糊后的模糊图像；
所述装置还包括：第二获取模块、第一提取模块、融合模块、重建模块、更新模块(图中未示出)，其中，
第二获取模块，用于获取参考样本图像与模糊样本图像；
第一提取模块，用于将所述参考样本图像和所述模糊样本图像输入至去模糊模型中，利用所述去模糊模型提取所述参考样本图像的图像特征，得到参考特征；提取所述模糊样本图像的图像特征，得到模糊特征；
融合模块，用于将所述参考特征与所述模糊特征进行特征融合，得到融合特征；
重建模块，用于利用所述融合特征进行图像重建，得到重建图像；
更新模块，用于基于所述参考样本图像与所述重建图像的清晰度差异，判断所述去模糊模型的损失函数是否收敛，若否，则对所述去模糊模型中的参数进行调整，并触发所述第一提取模块；若是，则得到训练完成的去模糊模型。
一种实施方式中，所述第一确定模块602，包括：确定子模块、第一计算子模块、第一判断子模块(图中未示出)，其中，
确定子模块，用于按照所述待处理视频的帧序号，依次确定所述待处理视频的当前帧视频图像；
第一计算子模块，用于计算所述当前帧视频图像与其上一帧视频图像的相似度；
第一判断子模块，用于判断所述相似度是否满足预设相似度条件；若是，则确定所述当然帧视频图像与其上一帧视频图像属于同一组镜头的视频图像组；若否，则确定所述当前帧视频图像属于新一组镜头的视频图像组。
一种实施方式中，所述第二确定模块603，包括：第二计算子模块、第二判断子模块(图中未示出)，其中，
第二计算子模块，用于针对每个视频图像组中的每帧视频图像，计算该帧视频图像的清晰度；
第二判断子模块，用于基于所述清晰度，判断该帧视频图像是否为参考图像或模糊图像。
一种实施方式中，所述第二计算子模块，具体用于：
针对每个视频图像组中的每帧视频图像，对该帧视频图像进行高斯模糊处理，得到高斯模糊图像；
对所述高斯模糊图像进行拉普拉斯边缘处理，得到拉普拉斯边缘图像；
计算所述拉普拉斯边缘图像的方差，得到该帧视频图像的清晰度。
一种实施方式中，所述第二判断子模块，具体用于：
将同一视频图像组中的每帧视频图像的清晰度由高到低进行排序，将清晰度最高的视频图像确定为参考图像；
基于所述参考图像的清晰度，确定清晰度阈值；
针对所述同一视频图像组中的每帧视频图像，判断该帧视频图像的清晰度是否大于所述清晰度阈值；若否，则将该帧视频图像确定为模糊图像。
一种实施方式中，所述第二获取模块，具体用于：
获取已分组的样本图像；
在属于同一组的样本图像中，任选两帧样本图像，对其中任一帧样本图像进行模糊处理，得到模糊样本图像，将另一帧样本图像确定为参考样本图像。
一种实施方式中，所述融合模块，具体用于：
分别对所述参考特征与所述模糊特征进行通道压缩，得到压缩参考特征与压缩模糊特征；
对所述压缩参考特征与所述压缩模糊特征进行逻辑回归处理，得到所述压缩参考特征与所述压缩模糊特征之间的相似性矩阵；
基于所述压缩参考特征与所述相似性矩阵，得到拟模糊特征；
将所述拟模糊特征与所述压缩模糊特征进行特征融合，得到融合特征。
一种实施方式中，所述去模糊模块604，具体用于：
按照预设的划分方式，对所述模糊图像进行划分，得到所述模糊图像中的每个图像块，作为第一图像块；
针对每个第一图像块，确定所述参考图像中与该第一图像块相匹配的图像块，作为第二图像块；利用所述第二图像块对该第一图像块进行去模糊处理。
应用本发明所示实施例，先确定待处理视频中的每个视频图像组，其中，同一个视频图像组中的视频图像为属于同一组镜头的图像；分别确定每个视频图像组中的参考图像与模糊图像；利用去模糊模型，将参考图像特征与模糊图像特征进行特征融合，得到融合特征；根据融合特征重建图像。可见，本方案中，利用属于同一组镜头的视频图像作为模糊图像的参考图像，使得参考图像选取得更为合理，优化了视频去模糊的效果。
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701和存储器702，
存储器702，用于存放计算机程序；
处理器701，用于执行存储器702上所存放的程序时，实现上述任意一种视频处理方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一视频处理方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一视频处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、设备实施例、计算机可读存储介质实施例、以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种视频处理方法，其特征在于，包括：
获取待处理视频；
确定所述待处理视频中的每个视频图像组，其中，同一个视频图像组中的视频图像为属于同一组镜头的图像；
针对每个视频图像组，分别确定该视频图像组中的参考图像与模糊图像；
利用所述参考图像对所述模糊图像进行去模糊处理；
所述确定所述待处理视频中的每个视频图像组，包括：
按照所述待处理视频的帧序号，依次确定所述待处理视频的当前帧视频图像；
计算所述当前帧视频图像与其上一帧视频图像的相似度；
判断所述相似度是否满足预设相似度条件；若是，则确定所述当前帧视频图像与其上一帧视频图像属于同一组镜头的视频图像组；若否，则确定所述当前帧视频图像属于新一组镜头的视频图像组。
2.根据权利要求1所述的方法，其特征在于，所述利用所述参考图像对所述模糊图像进行去模糊处理，包括：
将所述参考图像与所述模糊图像输入至预先建立的去模糊模型，得到去模糊后的模糊图像；
其中，建立所述去模糊模型的过程包括：
获取参考样本图像与模糊样本图像；
将所述参考样本图像和所述模糊样本图像输入至去模糊模型中，利用所述去模糊模型提取所述参考样本图像的图像特征，得到参考特征；提取所述模糊样本图像的图像特征，得到模糊特征；将所述参考特征与所述模糊特征进行特征融合，得到融合特征；利用所述融合特征进行图像重建，得到重建图像；
基于所述参考样本图像与所述重建图像的清晰度差异，判断所述去模糊模型的损失函数是否收敛，若否，则对所述去模糊模型中的参数进行调整，并返回所述将所述参考样本图像和所述模糊样本图像输入至去模糊模型中的步骤；若是，则得到训练完成的去模糊模型。
3.根据权利要求1所述的方法，其特征在于，所述针对每个视频图像组，分别确定该视频图像组中的参考图像与模糊图像，包括：
针对每个视频图像组中的每帧视频图像，计算该帧视频图像的清晰度；
基于所述清晰度，判断该帧视频图像是否为参考图像或模糊图像。
4.根据权利要求3所述的方法，其特征在于，所述针对每个视频图像组中的每帧视频图像，计算该帧视频图像的清晰度，包括：
针对每个视频图像组中的每帧视频图像，对该帧视频图像进行高斯模糊处理，得到高斯模糊图像；
对所述高斯模糊图像进行拉普拉斯边缘处理，得到拉普拉斯边缘图像；
计算所述拉普拉斯边缘图像的方差，得到该帧视频图像的清晰度。
5.根据权利要求3所述的方法，其特征在于，所述基于所述清晰度，判断该帧视频图像是否为参考图像或模糊图像，包括：
将同一视频图像组中的每帧视频图像的清晰度由高到低进行排序，将清晰度最高的视频图像确定为参考图像；
基于所述参考图像的清晰度，确定清晰度阈值；
针对所述同一视频图像组中的每帧视频图像，判断该帧视频图像的清晰度是否大于所述清晰度阈值；若否，则将该帧视频图像确定为模糊图像。
6.根据权利要求2所述的方法，其特征在于，所述获取参考样本与模糊样本，包括：
获取已分组的样本图像；
在属于同一组的样本图像中，任选两帧样本图像，对其中任一帧样本图像进行模糊处理，得到模糊样本图像，将另一帧样本图像确定为参考样本图像。
7.根据权利要求2所述的方法，其特征在于，所述将所述参考特征与所述模糊特征进行特征融合，得到融合特征，包括：
分别对所述参考特征与所述模糊特征进行通道压缩，得到压缩参考特征与压缩模糊特征；
对所述压缩参考特征与所述压缩模糊特征进行逻辑回归处理，得到所述压缩参考特征与所述压缩模糊特征之间的相似性矩阵；
基于所述压缩参考特征与所述相似性矩阵，得到拟模糊特征；
将所述拟模糊特征与所述压缩模糊特征进行特征融合，得到融合特征。
8.根据权利要求1所述的方法，其特征在于，所述利用所述参考图像对所述模糊图像进行去模糊处理，包括：
按照预设的划分方式，对所述模糊图像进行划分，得到所述模糊图像中的每个图像块，作为第一图像块；
针对每个第一图像块，确定所述参考图像中与该第一图像块相匹配的图像块，作为第二图像块；利用所述第二图像块对该第一图像块进行去模糊处理。
9.一种视频处理装置，其特征在于，包括：
第一获取模块，用于获取待处理视频；
第一确定模块，用于确定所述待处理视频中的每个视频图像组，其中，同一个视频图像组中的视频图像为属于同一组镜头的图像；
第二确定模块，用于针对每个视频图像组，分别确定该视频图像组中的参考图像与模糊图像；
去模糊模块，用于利用所述参考图像对所述模糊图像进行去模糊处理；
所述第一确定模块，具体用于按照所述待处理视频的帧序号，依次确定所述待处理视频的当前帧视频图像；计算所述当前帧视频图像与其上一帧视频图像的相似度；判断所述相似度是否满足预设相似度条件；若是，则确定所述当前帧视频图像与其上一帧视频图像属于同一组镜头的视频图像组；若否，则确定所述当前帧视频图像属于新一组镜头的视频图像组。
10.一种电子设备，其特征在于，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110024907.1A CN112801890B (zh) | 2021-01-08 | 2021-01-08 | 一种视频处理方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110024907.1A CN112801890B (zh) | 2021-01-08 | 2021-01-08 | 一种视频处理方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112801890A CN112801890A (zh) | 2021-05-14 |
| CN112801890B true CN112801890B (zh) | 2023-07-25 |
Family
ID=75809452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110024907.1A Active CN112801890B (zh) | 2021-01-08 | 2021-01-08 | 一种视频处理方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112801890B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230090716A (ko) * | 2021-12-15 | 2023-06-22 | 삼성전자주식회사 | 연사 영상 기반의 영상 복원 방법 및 장치 |
| CN114283091B (zh) * | 2021-12-27 | 2022-08-09 | 国网黑龙江省电力有限公司伊春供电公司 | 基于视频融合的电力设备图像恢复*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228514A (zh) * | 2016-07-11 | 2016-12-14 | 北京大学 | 一种消除压缩视频噪声的方法 |
| CN106686214A (zh) * | 2016-12-02 | 2017-05-17 | 努比亚技术有限公司 | 一种终端及图像降噪方法 |
| CN111275626A (zh) * | 2018-12-05 | 2020-06-12 | 深圳市炜博科技有限公司 | 一种基于模糊度的视频去模糊方法、装置及设备 |
| CN111833285A (zh) * | 2020-07-23 | 2020-10-27 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置及终端设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8532421B2 (en) * | 2010-11-12 | 2013-09-10 | Adobe Systems Incorporated | Methods and apparatus for de-blurring images using lucky frames |
| US9875528B2 (en) * | 2013-05-29 | 2018-01-23 | Adobe Systems Incorporated | Multi-frame patch correspondence identification in video |
| US9224194B2 (en) * | 2014-01-21 | 2015-12-29 | Adobe Systems Incorporated | Joint video deblurring and stabilization |
-
2021
- 2021-01-08 CN CN202110024907.1A patent/CN112801890B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228514A (zh) * | 2016-07-11 | 2016-12-14 | 北京大学 | 一种消除压缩视频噪声的方法 |
| CN106686214A (zh) * | 2016-12-02 | 2017-05-17 | 努比亚技术有限公司 | 一种终端及图像降噪方法 |
| CN111275626A (zh) * | 2018-12-05 | 2020-06-12 | 深圳市炜博科技有限公司 | 一种基于模糊度的视频去模糊方法、装置及设备 |
| CN111833285A (zh) * | 2020-07-23 | 2020-10-27 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置及终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112801890A (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898567B (zh) | 图像降噪方法、装置及*** | |
| US20150254814A1 (en) | Globally dominant point spread function estimation | |
| CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
| CN112837245B (zh) | 一种基于多模态融合的动态场景去模糊方法 | |
| CN112801890B (zh) | 一种视频处理方法、装置及设备 | |
| EP3132418A1 (en) | Non local image denoising | |
| CN112200887B (zh) | 一种基于梯度感知的多聚焦图像融合方法 | |
| US11741579B2 (en) | Methods and systems for deblurring blurry images | |
| CN110809126A (zh) | 一种基于自适应可变形卷积的视频帧插值方法及*** | |
| CN110796624A (zh) | 一种图像生成方法、装置及电子设备 | |
| CN109934789A (zh) | 图像去噪方法、装置及电子设备 | |
| Zhang et al. | Deep motion blur removal using noisy/blurry image pairs | |
| CN110580696A (zh) | 一种细节保持的多曝光图像快速融合方法 | |
| Xiong et al. | Hierarchical fusion for practical ghost-free high dynamic range imaging | |
| CN111539913A (zh) | 一种移动设备拍照清晰度质量评价方法、***和终端 | |
| CN110895801A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113014928B (zh) | 一种补偿帧生成方法及装置 | |
| CN106897975B (zh) | 一种超立方体粒计算的图像去噪方法 | |
| Carbajal et al. | Single image non-uniform blur kernel estimation via adaptive basis decomposition | |
| Singh et al. | Comparative analysis of image deblurring techniques | |
| CN113935910A (zh) | 一种基于深度学习的图像模糊长度测量方法 | |
| CN114742774A (zh) | 融合局部和全局特征的无参考图像质量评价方法及*** | |
| Komatsu et al. | Effectiveness of u-net in denoising rgb images | |
| CN109727193B (zh) | 图像虚化方法、装置及电子设备 | |
| Li et al. | Joint motion deblurring with blurred/noisy image pair |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |