CN114679519B - 视频处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种视频处理方法、装置、电子设备及存储介质。所述方法包括：采用预部署的2D卷积网络对待处理视频帧进行空域降噪得到第一降噪视频帧；以及对待处理视频帧进行时域降噪得到第二降噪视频帧；对第一降噪视频帧进行运动目标检测，得到第一降噪视频帧的目标运动强度图；依据目标运动强度图，将第一降噪视频帧和第二降噪视频帧进行融合，得到待处理视频帧的融合降噪视频帧。采用本申请方案，能够在强噪声情况下保持有效的运动检测效果，提高运动物体的降噪效果，以及能够解决因为2D卷积网络仅针对单帧图像的独立处理，无法有效利用视频帧间的相关性进行视频降噪的问题，实现在保证视频降噪效果的前提下有效控制视频降噪的复杂度。

Description

视频处理方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种视频处理方法、装置、电子设备及存储介质。

背景技术

随着视频监控的高清化以及全天候发展，在低照度场景下的有效监控日益成为一个核心需求。提升低照度场景下的成像质量，成为视频监控的核心难点和瓶颈。视频降噪是视频监控中应对低照度场景的核心降噪技术，是保证画面信噪比和可见性的基础。但是，现有传统的视频降噪方法，如3D降噪方法，在强噪声情况下降噪效果不佳，导致运动物体的降噪效果不理想；并且对于强噪声情况，为了抑制跳动噪点，需要增强时域滤波强度，会导致严重的运动拖影问题。因此如何提高视频降噪效果成为迫切需要解决的问题。

发明内容

本发明实施例中提供了一种视频处理方法、装置、电子设备及存储介质，以解决在强噪声情况下视频降噪效果不佳问题，且能够有效兼顾视频降噪效果与算法复杂度。

第一方面，本发明实施例中提供了一种视频处理方法，所述方法包括：

采用预部署的2D卷积网络对待处理视频帧进行空域降噪得到第一降噪视频帧；以及，对所述待处理视频帧进行时域降噪得到第二降噪视频帧；

对所述第一降噪视频帧进行运动目标检测，得到所述第一降噪视频帧的目标运动强度图；

依据所述目标运动强度图，将所述第一降噪视频帧和所述第二降噪视频帧进行融合，得到所述待处理视频帧的融合降噪视频帧。

第二方面，本发明实施例中还提供了一种视频处理装置，所述装置包括：

视频降噪预处理模块，用于采用预部署的2D卷积网络对待处理视频帧进行空域降噪得到第一降噪视频帧；以及，对所述待处理视频帧进行时域降噪得到第二降噪视频帧；

运动目标检测模块，用于对所述第一降噪视频帧进行运动目标检测，得到所述第一降噪视频帧的目标运动强度图；

视频降噪融合模块，用于依据所述目标运动强度图，将所述第一降噪视频帧和所述第二降噪视频帧进行融合，得到所述待处理视频帧的融合降噪视频帧。

第三方面，本发明实施例中还提供了一种电子设备，包括：

一个或多个处理装置；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现本发明实施例中任一所述的视频处理方法。

第四方面，本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现本发明实施例中任一所述的视频处理方法。

本发明实施例中提供了一种视频处理方法，采用预部署的2D卷积网络对待处理视频帧进行空域降噪得到第一降噪视频帧，以及对待处理视频帧进行时域降噪得到第二降噪视频帧，能够有效控制视频降噪的复杂度；对第一降噪视频帧进行运动目标检测，得到第一降噪视频帧的目标运动强度图，能够在强噪声情况下保持有效的运动检测效果，提高运动物体的降噪效果；并且，依据目标运动强度图，对第一降噪视频帧和第二降噪视频帧进行融合，得到待处理视频帧的融合降噪视频帧，能够解决因为2D卷积网络仅针对单帧图像的独立处理，无法有效利用视频帧间的相关性进行视频降噪的问题，实现在保证视频降噪效果的前提下有效控制视频降噪的复杂度。

上述发明内容仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例中提供的一种视频处理方法的流程图；

图2是本发明实施例中提供的另一种视频处理方法的流程图；

图3是本发明实施例中提供的一种去闪烁的具体流程图；

图4是本发明实施例中提供的一种视频处理装置的结构框图；

图5是本发明实施例中提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

为了更好地理解本申请方案，下面针对传统视频降噪方案的具体内容以及可能造成的一些缺陷进行简述。传统视频降噪方案具体包括：通过运动检测算法检测画面中的运动区域和静止区域；对运动区域采用空域降噪技术，以防止运动拖影；对静止区域采用时域滤波技术，以更好的保留细节。

但是，在环境照度较低时，传统3D降噪方法效果较差，具体原因如下：运动检测的效果易受噪声影响，容易把跳动噪点误判为运动物体；在强噪声情况下导致运动物体的降噪效果不理想；对于强噪声的情况，为了抑制跳动噪点需要增强时域滤波强度，这样就导致严重的运动拖影问题。因此，如何对视频进行有效降噪变得尤为重要。

下面通过各实施例及各实施例的可选方案，对本发明实施例中提供的视频处理方法、装置、电子设备及存储介质进行详细阐述。

图1是本发明实施例中提供的一种视频处理方法的流程图。本实施例可适用于对不同监控场景下的视频进行有效降噪的情况，尤其是在低照度监控场景情况下也能对视频进行有效降噪的情形。该方法可由视频处理装置执行，该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图1所示，本实施例中提供的视频处理方法，可包括以下S110-S130：

S110、采用预部署的2D卷积网络对待处理视频帧进行空域降噪得到第一降噪视频帧；以及，对待处理视频帧进行时域降噪得到第二降噪视频帧。

在本实施例中，针对视频降噪，通常需要基于视频帧内的相关性、帧间的相关性，对视频流中每帧视频图像进行降噪，同时保证降噪结果在时域上的连续性，避免闪烁等问题。可见，在视频降噪时，需要关注视频降噪的效果，同时还需要关注降噪结果在时域上的连续性，避免出现闪烁。

在本实施例中，现有视频降噪方案中，基于3D卷积网络原则上适用于视频降噪，因为其可以充分利用帧间的相关性信息，更好地解决画面闪烁问题，因此采用3D卷积网络的预去噪子网络、运动补偿子网络、图像增强子网络，能够实现端到端的视频降噪处理。但是，3D卷积网络无论是时间复杂度还是空间复杂度，都会成倍的增加，导致极高的视频降噪成本，很难进行普及。可见，在进行视频降噪时不仅要保证降噪效果同时还要有效控制视频降噪复杂度。

在本实施例中，传统空域降噪方法，如常规的双边滤波法，在强噪声下空域降噪效果较差，因此本申请可预先训练并部署一个2D卷积网络，通过预先部署的2D卷积网络来实现对待处理视频帧进行空域降噪。相比传统的空域降噪技术，基于2D卷积网络的空域降噪方案在降噪效果上有明显优势，且基于2D卷积网络的空域降噪方案不会过多增加降噪算法复杂度。其中，本申请方案中的2D卷积网络可以采用但不限于以下网络进行设计：U-Net、DnCNN等网络，或者是基于上述U-Net和DnCNN等网络基础网络的改进版本。

在本实施例中，可选地，在对待处理视频帧进行空域降噪前，还需要从时间位于待处理视频帧之前的视频帧中选择一个或多个在前视频帧，以此得到参考视频帧，进而可基于输入的参考视频帧来对待处理视频帧进行时域降噪处理以及对空域降噪结果进行运动检测。可选地，在选取参考视频帧时，参考视频帧可为视频流中时间位于当前的待处理视频帧之前的某一视频帧或某几个视频帧的降噪结果，而不是原始帧数据，尽可能避免参考视频帧中的噪声对当前待处理视频帧的降噪效果带来的负面影响。

在本实施例中，针对视频降噪过程，如果只进行空域降噪，由于空域降噪算法都是基于当前的视频帧，不考虑前后的视频帧，因此很有可能会发生一些噪点抖动。因此，在对待处理视频帧进行空域降噪的情况下，还需要集合得到的参考视频帧对待处理视频帧进行时域降噪滤波，以便通过时域降噪滤波把视频中整个时间段的噪点统一处理，消除帧与帧之间的噪点抖动。可选地，上述时域降噪滤波的方式可包括但不限于以下：均值滤波、中值滤波、递归滤波等。

需要说明的是，对待处理视频帧进行时域降噪并不一定需要和对待处理视频帧进行空域降噪同步进行，对待处理视频帧进行时域降噪可以发生在依据目标运动强度图将第一降噪视频帧和第二降噪视频帧进行融合之前的任意时段。

S120、对第一降噪视频帧进行运动目标检测，得到第一降噪视频帧的目标运动强度图。

在本实施例中，虽然基于2D卷积网络的空域降噪方案在降噪效果上有明显优势，但是纯粹的2D卷积网络不适合于视频降噪，主要因为2D卷积网络实现的是对单个视频帧图像的独立处理，无法有效利用视频帧间的相关性，而且容易存在画面闪烁问题。为此，在得到第一降噪视频帧后，会在此基础上对第一降噪视频帧进行运动目标检测，得到对应的目标运动强度图。本申请不会直接对待处理视频帧进行运动目标检测，而是对第一降噪视频帧进行运动目标检测，通过对降噪后的结果进行运动检测，可以有效避免噪声对运动检测的影响，提升运动检测的精度，并且还能避免后续在使用运动强度图对时域降噪和空域降噪结果进行融合时由于将跳动噪点误判为运动物体，而影响总体的降噪效果。

在本实施例中，对第一降噪视频帧进行运动目标检测的常用算法可包括但不限于以下：帧差法、高斯背景建模法、光流法、机器学习方法。其中，运动强度图能够反映待处理视频帧或者第一降噪视频帧中各个像素属于运动目标像素的机率；例如运动强度图中包括用于指示待处理视频帧或者第一降噪视频帧中各个像素的运动矢量大小的像素值。

S130、依据目标运动强度图，将第一降噪视频帧和第二降噪视频帧进行融合，得到待处理视频帧的融合降噪视频帧。

在本实施例中，前述已经指出通过时域降噪滤波把视频中整个时间段的噪点统一处理，消除帧与帧之间的噪点抖动，因此可基于第一降噪视频帧的目标运动强度图，来对第一降噪视频帧和第二降噪视频帧进行融合，即利用目标运动强度图实现对空域降噪结果和时域降噪结果的融合。这样，既能抑制跳动噪点，同时也不再单独增强时域滤波强度，避免出现严重的运动拖影。

本发明实施例中提供了一种视频处理方法，采用预部署的2D卷积网络进行空域降噪能够有效控制视频降噪的复杂度；对空域降噪后的第一降噪视频帧进行运动目标检测，能够在强噪声情况下保持有效的运动检测效果，提高运动物体的降噪效果；并且，依据目标运动强度图、第一降噪视频帧和第二降噪视频帧，确定待处理视频帧的融合降噪视频帧，能够解决因为2D卷积网络仅针对单帧图像的独立处理，无法有效利用视频帧间的相关性进行视频降噪的问题，实现在保证视频降噪效果的前提下有效控制视频降噪的复杂度。

图2是本发明实施例中提供的另一种视频处理方法的流程图，本实施例在上述实施例的基础上进行进一步优化，本实施例可以与上述一个或者多个实施例中各个可选方案结合。如图2所示，本实施例中提供的视频处理方法，可包括以下S210-S240：

S210、采用预部署的2D卷积网络对待处理视频帧进行空域降噪得到第一降噪视频帧；以及，对所述待处理视频帧进行时域降噪得到第二降噪视频帧。

在本实施例的一种可选方案中，可以与上述一个或者多个实施例中各个可选方案结合。其中，预部署的2D卷积网络通过用于保持网络输入与输出平均亮度一致的平均亮度损失项进行训练确定。

在本实施例中，在预部署的2D卷积网络集成亮度保持性能，可以让预部署的2D卷积网络在对待处理视频帧进行空域降噪处理时具备亮度保持性能，一定程度上可避免由噪声带来的输入视频帧的亮度波动，在经过2D卷积网络空域降噪处理后被放大，从而引起视频画面闪烁导致画面不连续。

在本实施例中，本申请可通过改进损失函数，使预部署的2D卷积网络具备亮度保持性能，即保持2D卷积网络的输入与输出的平均亮度一致，通过这样的设计能够避免输入帧的亮度波动在网络处理后被放大。可选地，在对预部署的2D卷积网络进行训练时，除常规的MAE或MSE损失项外，本申请方案会额外加入一个平均亮度损失项，改进后的损失函数如下式：

其中，I代表2D卷积网络的输入，P代表2D卷积网络的预测结果，Y代表对应的标签结果，i代表像素序号，N为图像中的总像素数；上式第一项为常规的MAE损失项，第二项为额外加入的平均亮度损失项，系数λ用于控制两个损失项的侧重性。例如，如果改进后的损失函数更侧重亮度保持能力，可适当增大系数λ的取值；如果改进后的损失函数不过于侧重亮度保持能力，可适当减小系数λ的取值，比如在具体使用过程中，可以取λ＝0.5。

采用上述方式，在2D卷积网络的损失函数中加入平均亮度损失项，维持网络处理前后的亮度一致性，解决了视频画面闪烁以及画面不连续的问题。

S220、对第一降噪视频帧进行运动目标检测，得到第一降噪视频帧的目标运动强度图。

S230、依据目标运动强度图，对第一降噪视频帧进行去闪烁处理。

在本实施例中，为了保证在画面背景区域不变的情况下，消除由于随机噪声导致的视频画面出现亮度闪烁现象，可以在得到第一降噪视频帧之后，基于目标运动强度图指示的亮度信息对去闪烁处理。

在本实施例的一种可选方案中，可以与上述一个或者多个实施例中各个可选方案结合。其中，依据第一降噪视频帧的目标运动强度图，对第一降噪视频帧进行去闪烁处理，可包括以下步骤A1-A2：

步骤A1、确定第一降噪视频帧的当前背景亮度。

步骤A2、若确定当前背景亮度与标准背景亮度均值之间亮度差绝对值小于标准背景亮度标准差的预设倍数，则启动并对第一降噪视频帧进行去闪烁处理。

在本实施例中，关于对去闪烁处理存在以下情况：一是背景区域的亮度本身不变，由于噪声导致画面亮度的波动；二是背景区域本身发生变化，如环境照度发生了改变，或者场景发生了切换等。通常，只有在第一种情况下才需要启用去闪烁处理，因此需要及时判别是背景区域的亮度引起闪烁，还是由于噪声导致画面亮度波动引起闪烁。

在本实施例中，为了更精准地进行去闪烁处理，可采用高斯建模法对背景区域的标准亮度进行建模，具体参见图3中示出的流程。在首次运行去闪烁流程时，先初始化标准背景亮度均值μ和标准差σ；其中初始化标准背景亮度设置依据经验，例如μ初始化为当前第一降噪视频帧的当前背景亮度值，对应标准差初始化为0.1μ。采用上述可选方案，通过引入去闪烁设计，采用高斯建模法对标准背景亮度建模，实现精准的去闪烁控制，避免随机噪声导致的画面亮度波动问题。

在本实施例中，可基于当前第一降噪视频帧的背景亮度L、标准背景亮度均值μ和标准差σ，来判断是否启用对第一降噪视频帧的去闪烁流程。具体判断策略为：统计第一降噪视频帧的当前背景亮度，并计算当前背景亮度与标准背景亮度均值之间亮度差绝对值。若上述亮度差绝对值小于标准背景亮度标准差的预设倍数，即第一降噪视频帧的背景亮度L足够接近标准背景亮度均值μ，说明第一降噪视频帧中不太可能出现背景区域的照度突变或场景切换情况，因此可以启用去闪烁流程对第一降噪视频帧进行去闪烁处理；反之，则不启用去闪烁，具体的判断公式如图3所示，其中参数γ的设置依据经验，如γ＝1。

在本实施例中，对当前的第一降噪视频帧(即可为对待处理视频帧图像进行空域去噪后的视频帧图像)去闪烁处理，可是对第一降噪视频帧的背景亮度调整，使得调整后的第一降噪视频帧的背景亮度与标准背景亮度均值保持一致。例如，采用如下公式：S2＝S1·μ/L，对第一降噪视频帧进行背景亮度调整，以实现去闪烁效果。其中，S1为原始的第一降噪视频帧，S2为去闪烁处理后的第一降噪视频帧，μ为上一次设置的标准背景亮度均值，L为去闪烁处理前的第一降噪视频帧的背景亮度值。

在本实施例中，参见图3，在启动并对第一降噪视频帧进行去闪烁处理之后，可判断视频流是否结束，如果未结束则可从视频流中获取下一待处理视频帧的第一降噪视频帧进入下一个去闪烁流程。可选地，参见图3，在启动并对第一降噪视频帧进行去闪烁处理之后，对上一次设置的标准背景亮度均值μ和标准差σ进行更新，例如按下式进行更新：

μ'＝(1-α)·μ+α·L

其中，μ’、σ’分别为更新后的标准背景亮度均值和标准差；α为更新率，可以固定取值或者按一定规律自适应调整，本文取α＝0.1。

在本实施例中，可选地，上述确定第一降噪视频帧中背景区域的当前背景亮度，可包括：将第一降噪视频帧的目标运动强度图中运动强度阈值小于预设阈值的区域作为背景区域；统计背景区域的平均亮度作为所述第一降噪视频帧的当前背景亮度。例如，获取第一降噪视频帧的目标运动强度图M，设定某一阈值th，将目标运动强度图M中低于阈值th的区域作为背景区域，统计背景区域的平均亮度，作为当前的第一降噪视频帧的背景亮度值L；其中，阈值th的设置依据经验，如设为M最大值的0.1倍。

S240、依据目标运动强度图，将去闪烁处理后的第一降噪视频帧与第二降噪视频帧进行融合处理，得到待处理视频帧的融合降噪视频帧。

在本实施例中，由于得到加入去闪烁功能对第一降噪视频帧进行去闪烁，在将去闪烁处理后的第一降噪视频帧与第二降噪视频帧进行融合处理后，最后的降噪视频帧闪烁现象已经进行了处理，从而解决视频画面不连续问题。

在本实施例的一种可选方案中，可以与上述一个或者多个实施例中各个可选方案结合。其中，依据目标运动强度图，将去闪烁处理后的第一降噪视频帧与所述第二降噪视频帧进行融合处理，可包括以下步骤B1-B2：

步骤B1、依据目标运动强度图中各个像素点的运动强度值，确定去闪烁处理后的第一降噪视频帧与第二降噪视频帧之间的权重关系。

步骤B2、基于去闪烁处理后的第一降噪视频帧与第二降噪视频帧之间的权重关系，将同属一个位置的去闪烁处理后的第一降噪视频帧的像素点与第二降噪视频帧中像素点进行加权平均，以得到待处理视频帧的融合降噪视频帧。

在本实施例中，结合目标运动强度图M，对闪烁处理后的第一降噪视频帧和时域滤波后得到的第二降噪视频帧进行融合，得到最终待处理视频帧的融合降噪视频帧。此处，融合可采用加权平均的方法，其中去闪烁处理后的第一降噪视频帧与第二降噪视频帧权重系数与目标运动强度M值相关联，当目标运动强度M中各个像素的运动强度值越大，则闪烁处理后的第一降噪视频帧的权重越大，反之则第二降噪视频帧的权重越大。例如，可按下式计算融合结果：

其中th1和th2为M的两个阈值，需满足th1<th2；两个阈值的具体取值依据经验，如可取th1、th2分别为M最大值的0.1倍和0.3倍

本发明实施例中提供了一种视频处理方法，能够有效控制视频降噪的复杂度；对空域降噪后的第一降噪视频帧进行运动目标检测，能够在强噪声情况下保持有效的运动检测效果，提高运动物体的降噪效果；并且，依据目标运动强度图，对第一降噪视频帧和第二降噪视频帧进行融合，确定待处理视频帧的融合降噪视频帧，能够解决因为2D卷积网络仅针对单帧图像的独立处理，无法有效利用视频帧间的相关性进行视频降噪的问题，实现在保证视频降噪效果的前提下有效控制视频降噪的复杂度。可见，用效果更好的2D卷积网络实现图像帧的空域降噪，在空域降噪结果的基础上进行运动检测，避免噪声对运动检测精度的影响，结合去闪烁设计，有效提升了视频降噪效果。

图4是本发明实施例中提供的一种视频处理装置的结构框图。本实施例可适用于对不同监控场景下的视频进行有效降噪的情况，尤其是在低照度监控场景情况下也能对视频进行有效降噪的情形。该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图4所示，本实施例中提供的视频处理装置，可包括以下：视频降噪预处理模块410、运动目标检测模块420和视频降噪融合模块430。其中：

视频降噪预处理模块410，用于采用预部署的2D卷积网络对待处理视频帧进行空域降噪得到第一降噪视频帧；以及，对所述待处理视频帧进行时域降噪得到第二降噪视频帧；

运动目标检测模块420，用于对所述第一降噪视频帧进行运动目标检测，得到所述第一降噪视频帧的目标运动强度图；

视频降噪融合模块430，用于依据目标运动强度图，将所述第一降噪视频帧和所述第二降噪视频帧进行融合，得到所述待处理视频帧的融合降噪视频帧。

在上述实施例的基础上，可选地，所述预部署的2D卷积网络通过用于保持网络输入与输出平均亮度一致的平均亮度损失项进行训练确定。

在上述实施例的基础上，可选地，视频降噪融合模块430包括：

依据所述目标运动强度图，对所述第一降噪视频帧进行去闪烁处理；

依据所述目标运动强度图，将去闪烁处理后的第一降噪视频帧与所述第二降噪视频帧进行融合处理，得到所述待处理视频帧的融合降噪视频帧。

在上述实施例的基础上，可选地，依据所述目标运动强度图，对所述第一降噪视频帧进行去闪烁处理，包括：

确定所述第一降噪视频帧的当前背景亮度；若确定当前背景亮度与标准背景亮度均值之间亮度差绝对值小于标准背景亮度标准差的预设倍数，则启动并对所述第一降噪视频帧进行去闪烁处理。

在上述实施例的基础上，可选地，确定所述第一降噪视频帧中背景区域的当前背景亮度，包括：

将所述第一降噪视频帧的目标运动强度图中运动强度阈值小于预设阈值的区域作为背景区域；统计背景区域的平均亮度作为所述第一降噪视频帧的当前背景亮度。

在上述实施例的基础上，可选地，依据所述目标运动强度图，将去闪烁处理后的第一降噪视频帧与所述第二降噪视频帧进行融合处理，包括：

依据所述目标运动强度图中各个像素点的运动强度值，确定去闪烁处理后的第一降噪视频帧与所述第二降噪视频帧之间的权重关系；基于去闪烁处理后的第一降噪视频帧与所述第二降噪视频帧之间的权重关系，将同属一个位置的去闪烁处理后的第一降噪视频帧的像素点与所述第二降噪视频帧中像素点进行加权平均。

本发明实施例中所提供的视频处理装置可执行上述本发明任意实施例中所提供的视频处理方法，具备执行该视频处理方法相应的功能和有益效果，详细过程参见前述实施例中视频处理方法的相关操作。

图5是本发明实施例中提供的一种电子设备的结构示意图。如图5所示结构，本发明实施例中提供的电子设备包括：一个或多个处理器510和存储装置520；该电子设备中的处理器510可以是一个或多个，图5中以一个处理器510为例；存储装置520用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器510执行，使得所述一个或多个处理器510实现如本发明实施例中任一项所述的视频处理方法。

该电子设备还可以包括：输入装置530和输出装置540。

该电子设备中的处理器510、存储装置520、输入装置530和输出装置540可以通过总线或其他方式连接，图5中以通过总线连接为例。

该电子设备中的存储装置520作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的视频处理方法对应的程序指令/模块。处理器510通过运行存储在存储装置520中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中提供的视频处理方法。

存储装置520可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置520可进一步包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置530可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。

并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器510执行时，程序进行如下操作：

采用预部署的2D卷积网络对待处理视频帧进行空域降噪得到第一降噪视频帧；以及，对所述待处理视频帧进行时域降噪得到第二降噪视频帧；

对所述第一降噪视频帧进行运动目标检测，得到所述第一降噪视频帧的目标运动强度图；

依据所述目标运动强度图，将所述第一降噪视频帧和所述第二降噪视频帧进行融合，得到所述待处理视频帧的融合降噪视频帧。

当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器510执行时，程序还可以进行本发明任意实施例中所提供的视频处理方法中的相关操作。

本发明实施例中提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时用于执行视频处理方法，该方法包括：

采用预部署的2D卷积网络对待处理视频帧进行空域降噪得到第一降噪视频帧；以及，对所述待处理视频帧进行时域降噪得到第二降噪视频帧；

对所述第一降噪视频帧进行运动目标检测，得到所述第一降噪视频帧的目标运动强度图；

依据所述目标运动强度图，将所述第一降噪视频帧和所述第二降噪视频帧进行融合，得到所述待处理视频帧的融合降噪视频帧。

可选的，该程序被处理器执行时还可以用于执行本发明任意实施例中所提供的视频处理方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种视频处理方法，其特征在于，所述方法包括：

采用预部署的2D卷积网络对待处理视频帧进行空域降噪得到第一降噪视频帧；以及，对所述待处理视频帧进行时域降噪得到第二降噪视频帧；

对所述第一降噪视频帧进行运动目标检测，得到所述第一降噪视频帧的目标运动强度图；

依据所述目标运动强度图，将所述第一降噪视频帧和所述第二降噪视频帧进行融合，得到所述待处理视频帧的融合降噪视频帧；

所述依据所述目标运动强度图，将所述第一降噪视频帧和所述第二降噪视频帧进行融合，得到所述待处理视频帧的融合降噪视频帧，包括：

依据所述目标运动强度图，对所述第一降噪视频帧进行去闪烁处理；

依据所述目标运动强度图，将去闪烁处理后的第一降噪视频帧与所述第二降噪视频帧进行融合处理，得到所述待处理视频帧的融合降噪视频帧。

2.根据权利要求1所述的方法，其特征在于，所述预部署的2D卷积网络通过用于保持网络输入与输出平均亮度一致的平均亮度损失项进行训练确定。

3.根据权利要求1所述的方法，其特征在于，依据所述目标运动强度图，对所述第一降噪视频帧进行去闪烁处理，包括：

确定所述第一降噪视频帧的当前背景亮度；

若确定当前背景亮度与标准背景亮度均值之间亮度差绝对值小于标准背景亮度标准差的预设倍数，则启动并对所述第一降噪视频帧进行去闪烁处理。

4.根据权利要求3所述的方法，其特征在于，确定所述第一降噪视频帧中背景区域的当前背景亮度，包括：

将所述第一降噪视频帧的目标运动强度图中运动强度阈值小于预设阈值的区域作为背景区域；

统计背景区域的平均亮度作为所述第一降噪视频帧的当前背景亮度。

5.根据权利要求1所述的方法，其特征在于，依据所述目标运动强度图，将去闪烁处理后的第一降噪视频帧与所述第二降噪视频帧进行融合处理，包括：

依据所述目标运动强度图中各个像素点的运动强度值，确定去闪烁处理后的第一降噪视频帧与所述第二降噪视频帧之间的权重关系；

基于去闪烁处理后的第一降噪视频帧与所述第二降噪视频帧之间的权重关系，将同属一个位置的去闪烁处理后的第一降噪视频帧的像素点与所述第二降噪视频帧中像素点进行加权平均。

6.一种视频处理装置，其特征在于，所述装置包括：

视频降噪预处理模块，用于采用预部署的2D卷积网络对待处理视频帧进行空域降噪得到第一降噪视频帧；以及，对所述待处理视频帧进行时域降噪得到第二降噪视频帧；

运动目标检测模块，用于对所述第一降噪视频帧进行运动目标检测，得到所述第一降噪视频帧的目标运动强度图；

视频降噪融合模块，用于依据所述目标运动强度图，将所述第一降噪视频帧和所述第二降噪视频帧进行融合，得到所述待处理视频帧的融合降噪视频帧；

所述视频降噪融合模块，具体用于：

依据所述目标运动强度图，对所述第一降噪视频帧进行去闪烁处理；

依据所述目标运动强度图，将去闪烁处理后的第一降噪视频帧与所述第二降噪视频帧进行融合处理，得到所述待处理视频帧的融合降噪视频帧。

7.根据权利要求6所述的装置，其特征在于，所述预部署的2D卷积网络通过用于保持网络输入与输出平均亮度一致的平均亮度损失项进行训练确定。

8.一种电子设备，其特征在于，包括：

一个或多个处理装置；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现权利要求1-5中任一所述的视频处理方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-5中任一所述的视频处理方法。