CN110689496A - 降噪模型的确定方法、装置、电子设备和计算机存储介质 - Google Patents

Abstract

本发明提供了一种降噪模型的确定方法、装置、电子设备和计算机存储介质，包括：获取待降噪视频流；在多帧待降噪图像中，确定当前帧待降噪图像中的当前待降噪图像块的噪声级和图像属性；基于当前待降噪图像块的噪声级和图像属性确定目标降噪模型，以通过目标降噪模型对下一帧待降噪图像中的与当前待降噪图像块的位置对应的待降噪图像块或当前待降噪图像块进行降噪处理。该方法能够为待降噪视频流中的每个待降噪图像块都提供合适的目标降噪模型，这样，在对视频流中的图像帧进行降噪处理时，能够最大限度的减少计算量，降低功耗，缓解了现有技术确定的降噪模型对视频流中的图像帧进行降噪处理时，计算量浪费，功耗严重的技术问题。

Description

降噪模型的确定方法、装置、电子设备和计算机存储介质

技术领域

本发明涉及图像处理的技术领域，尤其是涉及一种降噪模型的确定方法、装置、电子设备和计算机存储介质。

背景技术

图像降噪是ISP(Image Signal Processing，图像信号处理)流程中非常重要的一个环节，且图像的噪声级与当前的成像参数(例如，ISO(感光度)、曝光时间、是否打开红外过滤、环境光照)强相关。

现有技术在对视频流中的图像帧进行降噪时，一般是通过确定的一种降噪模型对视频流中的每一图像帧进行降噪。而为了确保所有图像帧的降噪效果，降噪模型的计算量往往很大，而实际上，对于有些图像帧(例如，背景图像)来讲，在进行降噪时，完全不需要上述计算量很大的降噪模型，即可达到很好的降噪效果。

综上，现有技术确定的降噪模型对视频流中的图像帧进行降噪处理时，存在计算量浪费，功耗严重的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种降噪模型的确定方法、装置、电子设备和计算机存储介质，以缓解现有技术确定的降噪模型对视频流中的图像帧进行降噪处理时，计算量浪费，功耗严重的技术问题。

第一方面，本发明实施例提供了一种降噪模型的确定方法，包括：获取待降噪视频流；所述待降噪视频流中包含多帧待降噪图像，且每帧待降噪图像中包含多个待降噪图像块；在多帧所述待降噪图像中，确定当前帧待降噪图像中的当前待降噪图像块的噪声级和图像属性；所述图像属性包括以下任一种：前景属性和背景属性；基于所述当前待降噪图像块的噪声级和图像属性确定目标降噪模型，以通过所述目标降噪模型对下一帧待降噪图像中的与所述当前待降噪图像块的位置对应的待降噪图像块或所述当前待降噪图像块进行降噪处理。

进一步的，在通过所述目标降噪模型对下一帧待降噪图像中的与所述当前待降噪图像块的位置对应的待降噪图像块进行降噪处理的情况下，在基于所述当前待降噪图像块的噪声级和图像属性确定目标降噪模型时，所述方法还包括：基于目标待降噪图像块的噪声级和图像属性确定的目标降噪模型对所述当前待降噪图像块进行降噪处理；所述目标待降噪图像块为上一帧待降噪图像中的与所述当前待降噪图像块的位置对应的待降噪图像块。

进一步的，在通过所述目标降噪模型对下一帧待降噪图像中的与所述当前待降噪图像块的位置对应的待降噪图像块进行降噪处理的情况下，且当所述当前帧待降噪图像为所述待降噪视频流中的第一帧待降噪图像或第二帧待降噪图像时，所述方法还包括：采用预设初始降噪模型对所述第一帧待降噪图像或所述第二帧待降噪图像中的各待降噪图像块进行降噪处理。

进一步的，在通过所述目标降噪模型对所述当前待降噪图像块进行降噪处理的情况下，且当所述当前帧待降噪图像为所述待降噪视频流中的第一帧待降噪图像时，所述方法还包括：采用预设初始降噪模型对所述第一帧待降噪图像中的各待降噪图像块进行降噪处理。

进一步的，在多帧所述待降噪图像中，确定当前帧待降噪图像中的当前待降噪图像块的噪声级和图像属性的步骤包括：采用噪声级预测模型对所述当前待降噪图像块进行噪声级预测，得到所述当前待降噪图像块的噪声级；基于所述当前待降噪图像块和所述目标待降噪图像块确定所述当前待降噪图像块的图像属性。

进一步的，基于所述当前待降噪图像块和所述目标待降噪图像块确定所述当前待降噪图像块的图像属性的步骤包括：根据所述当前待降噪图像块和所述目标待降噪图像块中对应像素点的像素值，计算所述当前待降噪图像块相对于所述目标待降噪图像块的像素值变化度；根据所述像素值变化度确定所述当前待降噪图像块的图像属性。

进一步的，根据所述当前待降噪图像块和所述目标待降噪图像块中对应像素点的像素值，计算所述当前待降噪图像块相对于所述目标待降噪图像块的像素值变化度的步骤包括：根据像素值变化度计算算式

计算所述当前待降噪图像块相对于所述目标待降噪图像块的像素值变化度；C表示所述像素值变化度，

表示所述当前待降噪图像块i的第j个像素点的像素值，

表示所述目标待降噪图像块i-1的第j个像素点的像素值，N表示所述当前待降噪图像块中像素点的总数。

进一步的，根据所述像素值变化度确定所述当前待降噪图像块的图像属性的步骤包括：如果所述像素值变化度与第一预设阈值之间的距离小于所述像素值变化度与第二预设阈值之间的距离，则确定所述当前待降噪图像块的图像属性为背景属性；所述第一预设阈值小于所述第二预设阈值；如果所述像素值变化度与所述第一预设阈值之间的距离大于所述像素值变化度与所述第二预设阈值之间的距离，则确定所述当前待降噪图像块的图像属性为前景属性。

进一步的，基于所述当前待降噪图像块的噪声级和图像属性确定目标降噪模型的步骤包括：在预设降噪模型查找表中查找与所述当前待降噪图像块的噪声级和图像属性所对应的降噪模型，并将查找得到的降噪模型作为所述目标降噪模型。

进一步的，所述预设降噪模型查找表为：噪声级和图像属性与降噪模型之间的对应关系表；预先通过相同噪声级和相同图像属性的待降噪图像样本对原始降噪模型进行训练后，得到所述噪声级和图像属性与降噪模型之间的对应关系表。

进一步的，所述方法还包括：获取噪声级图像样本集合；所述噪声级图像样本集合中包含：多张噪声级图像样本和每张噪声级图像样本对应的噪声级；基于所述噪声级图像样本集合对原始噪声级预测模型进行训练，得到所述噪声级预测模型。

第二方面，本发明实施例还提供了一种降噪模型的确定装置，包括：获取单元，用于获取待降噪视频流；所述待降噪视频流中包含多帧待降噪图像，且每帧待降噪图像中包含多个待降噪图像块；第一确定单元，用于在多帧所述待降噪图像中，确定当前帧待降噪图像中的当前待降噪图像块的噪声级和图像属性；所述图像属性包括以下任一种：前景属性和背景属性；第二确定单元，用于基于所述当前待降噪图像块的噪声级和图像属性确定目标降噪模型，以通过所述目标降噪模型对下一帧待降噪图像中的与所述当前待降噪图像块的位置对应的待降噪图像块进行降噪处理。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。

第四方面，本发明实施例提供了一种计算机存储介质，其上存储有计算机程序，所述计算机运行所述计算机程序时执行执行上述第一方面任一项所述的方法的步骤。

在本发明实施例中，先获取待降噪视频流；然后，在待降噪视频流的多帧待降噪图像中，确定当前帧待降噪图像中的当前待降噪图像块的噪声级和图像属性；最后，基于当前待降噪图像块的噪声级和图像属性确定目标降噪模型，以通过目标降噪模型对下一帧待降噪图像中的与当前待降噪图像块的位置对应的待降噪图像块或当前待降噪图像块进行降噪处理。通过上述描述可知，该方法能够基于当前待降噪图像块的噪声级和图像属性确定目标降噪模型，也就是，该方法综合考虑了当前待降噪图像块的噪声级和图像属性，进而确定得到既能够满足该当前待降噪图像块计算量要求，又不会造成计算量浪费的目标降噪模型，这样通过目标降噪模型执行降噪处理时，能够节省计算量，降低功耗，即该方法能够为待降噪视频流中的每个待降噪图像块都提供合适的目标降噪模型，这样，在对视频流中的图像帧进行降噪处理时，能够最大限度的减少计算量，降低功耗，缓解了现有技术确定的降噪模型对视频流中的图像帧进行降噪处理时，计算量浪费，功耗严重的技术问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的电子设备的示意图；

图2为本发明实施例提供的降噪模型的确定方法的流程图；

图3为本发明实施例提供的确定当前帧待降噪图像中的当前待降噪图像块的噪声级和图像属性的方法流程图；

图4为本发明实施例提供的基于当前待降噪图像块和目标待降噪图像块确定当前待降噪图像块的图像属性的方法流程图；

图5为本发明实施例提供的降噪模型的确定装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的降噪模型的确定方法。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及摄像机110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP，Digital Signal Processing)、现场可编程门阵列(FPGA，Field－Programmable Gate Array)、可编程逻辑阵列(PLA，Programmable Logic Array)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU，Central ProcessingUnit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述摄像机110用于进行待降噪视频流的采集，其中，摄像机所采集的待降噪视频流经过所述降噪模型的确定方法进行处理之后得到目标降噪模型，例如，摄像机可以拍摄用户期望的图像(例如照片、视频等)，然后，将该图像经过所述降噪模型的确定方法进行处理之后得到目标降噪模型，摄像机还可以将所拍摄的图像存储在所述存储器104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的降噪模型的确定方法的电子设备可以被实现为诸如智能手机、平板电脑等智能移动终端，还可以被实现为具备计算能力的摄像机设备。

实施例2：

根据本发明实施例，提供了一种降噪模型的确定方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种降噪模型的确定方法的流程图，如图2所示，该方法包括如下步骤：

步骤S202，获取待降噪视频流。

其中，待降噪视频流中包含多帧待降噪图像，且每帧待降噪图像中包含多个待降噪图像块。

在本发明实施例中，上述待降噪视频流可以为摄像机实时拍摄得到的视频流，还可以为预先存储的视频流，还可以是从目标位置中下载得到的视频流，本实施例对上述待降噪视频流的获取方式不做具体限定。

另外，本发明实施例中的降噪模型的确定方法可以应用于摄像机中的硬件处理器，当上述降噪模型的确定方法应用于摄像机中的硬件处理器时，该硬件处理器能够实时对摄像机拍摄的视频流中的待降噪图像的待降噪图像块进行处理；当然，上述降噪模型的确定方法还可以用于其它具备计算能力的设备(例如，计算机、手机、平板电脑等)，当上述降噪模型的确定方法应用于其它具备计算能力的设备时，该设备可以对视频流中的待降噪图像的待降噪图像块进行后处理，本发明实施例对上述实现过程不进行具体限定。

需要说明的是，每帧待降噪图像中的多个待降噪图像块为预先对每帧待降噪图像按照图像块划分策略划分得到的，上述图像块划分策略可以根据硬件设备的处理能力确定。如果硬件设备的处理能力很强，那么划分得到的待降噪图像块可以比较大；而如果硬件设备的处理能力较差，那么划分得到的待降噪图像块可以比较小。

步骤S204，在多帧待降噪图像中，确定当前帧待降噪图像中的当前待降噪图像块的噪声级和图像属性。

其中，图像属性包括以下任一种：前景属性和背景属性。

下文中再对该步骤进行详细介绍，在此不再赘述。

步骤S206，基于当前待降噪图像块的噪声级和图像属性确定目标降噪模型，以通过目标降噪模型对下一帧待降噪图像中的与当前待降噪图像块的位置对应的待降噪图像块或当前待降噪图像块进行降噪处理。

可见，本发明中的方法是对每帧待降噪图像中的每个待降噪图像块确定合适的目标降噪模型，进而通过目标降噪模型对待降噪图像块进行降噪。也就是该方法采用的是分块降噪的模式，即针对每个待降噪图像块的噪声级和图像属性分别针对性的选择目标降噪模型。采用这样的方式是因为在同一帧待降噪图像中，不同位置的图像块的噪声级和图像属性可能不同，这就导致不同位置的图像块所对应的目标降噪模型可能不同，而为了能够最大限度的减少降噪的计算量，所以发明人设计了上述分块降噪的方式。

另外，在本发明实施例中，进行图像降噪时，提供了两种模式的图像降噪方法，一种是串行模式的图像降噪方法，另一种是并行模式的图像降噪方法，下面分别对这两种模式的图像降噪方法进行介绍：

一、串行模式的图像降噪方法

在该种模式下，基于当前待降噪图像块的噪声级和图像属性确定目标降噪模型后，通过确定得到的目标降噪模型对当前待降噪图像块进行降噪处理。也就是，根据每一个待降噪图像块的噪声级和图像属性确定的目标降噪模型都用于自身待降噪图像块的降噪处理，即确定目标降噪模型的过程和降噪处理的过程是串行的方式。

二、并行模式的图像降噪方法

在该种模式下，基于当前待降噪图像块的噪声级和图像属性确定目标降噪模型后，通过确定得到的目标降噪模型对下一帧待降噪图像中的与当前待降噪图像块的位置对应的待降噪图像块进行降噪处理，而在基于当前待降噪图像块的噪声级和图像属性确定目标降噪模型的同时，基于上一帧待降噪图像中的与当前待降噪图像块的位置对应的待降噪图像块的噪声级和图像属性确定的目标降噪模型对当前待降噪图像块进行降噪处理，即确定目标降噪模型的过程和降噪处理的过程是并行的方式。在该种模式下，能够节省图像降噪处理的时间。

发明人之所以想到上述并行模式的图像降噪方法是因为：在一个视频流中，一般1秒的时间内，会拍摄得到30帧图像，在1/30的时间内，相邻两帧的图像的对应位置处不管是在图像场景、还是在图像质量方面，都是非常相近的，所以基于当前帧待降噪图像中的当前待降噪图像块确定得到的目标降噪模型与基于下一帧待降噪图像中的对应位置的待降噪图像块(是指与当前待降噪图像的位置对应的位置)确定得到的目标降噪模型变化不大，这样，就完全可以基于当前帧待降噪图像中的当前待降噪图像块确定得到的目标降噪模型对下一帧待降噪图像中的对应位置的待降噪图像块进行降噪处理，达到节省图像降噪时间的目的。

为了能够凸显出上述并行模式的图像降噪方法的正确性，下面以一个具体实例进行对比说明：

假设有10张待降噪图像，编号分别为1，2，3，….，10，每张待降噪图像中有10个待降噪图像块，编号分别为X1，X2，X3，…，X10，第1张待降噪图像中的X1待降噪图像块采用预设初始降噪模型(因为无法确定第1张待降噪图像中的X1待降噪图像块的图像属性，所以对于第1张待降噪图像的待降噪图像块默认采用预设初始降噪模型)，根据第2-5张待降噪图像中的X1待降噪图像块的噪声级和图像属性确定的目标降噪模型为a降噪模型，通过后5张待降噪图像中的X1待降噪图像块的噪声级和图像属性确定的目标降噪模型为b降噪模型。

那么，串行模式下的图像降噪时，第1张待降噪图像中的X1待降噪图像块采用预设初始降噪模型，第2-5张待降噪图像中的X1待降噪图像块即采用a降噪模型，后5张待降噪图像中的X1待降噪图像块即采用b降噪模型；

而并行模式下的图像降噪时，第1张待降噪图像中的X1待降噪图像块采用预设初始降噪模型，第2张待降噪图像中的X1待降噪图像块也采用预设初始降噪模型(因为无法根据第1张待降噪图像中的X1待降噪图像块确定出目标降噪模型，默认2张待降噪图像中的X1待降噪图像块也采用预设初始降噪模型)，而第3-6张待降噪图像中的X1待降噪图像块采用根据第2-5张待降噪图像中的X1待降噪图像块的噪声级和图像属性确定的目标降噪模型，即a降噪模型，第7-10张待降噪图像中的X1待降噪图像块采用b降噪模型；

通过两种模式下的降噪结果可知，相较于串行模式下的图像降噪，并行模式下的图像降噪中，只有第2张待降噪图像中的X1待降噪图像块和第6张待降噪图像中的X1待降噪图像块所采用的降噪模型不是其自身所对应的降噪模型，而对于一个包含大量图像帧的视频流来讲，这样的降噪误差完全没有影响，另外，上述并行模式下的降噪方法显然是牺牲了小部分的降噪精度，换取了节省大量降噪时间的效果。

在本发明实施例中，先获取待降噪视频流；然后，在待降噪视频流的多帧待降噪图像中，确定当前帧待降噪图像中的当前待降噪图像块的噪声级和图像属性；最后，基于当前待降噪图像块的噪声级和图像属性确定目标降噪模型，以通过目标降噪模型对下一帧待降噪图像中的与当前待降噪图像块的位置对应的待降噪图像块或当前待降噪图像块进行降噪处理。通过上述描述可知，该方法能够基于当前待降噪图像块的噪声级和图像属性确定目标降噪模型，也就是，该方法综合考虑了当前待降噪图像块的噪声级和图像属性，进而确定得到既能够满足该当前待降噪图像块计算量要求，又不会造成计算量浪费的目标降噪模型，这样通过目标降噪模型执行降噪处理时，能够节省计算量，降低功耗，即该方法能够为待降噪视频流中的每个待降噪图像块都提供合适的目标降噪模型，这样，在对视频流中的图像帧进行降噪处理时，能够最大限度的减少计算量，降低功耗，缓解了现有技术确定的降噪模型对视频流中的图像帧进行降噪处理时，计算量浪费，功耗严重的技术问题。

上述内容对本发明的降噪模型的确定方法进行了简要介绍，下面对其中涉及到的其它内容进行详细介绍。

在本发明的一个可选实施例中，在通过目标降噪模型对下一帧待降噪图像中的与当前待降噪图像块的位置对应的待降噪图像块进行降噪处理的情况下，在基于当前待降噪图像块的噪声级和图像属性确定目标降噪模型时，该方法还包括：

基于目标待降噪图像块的噪声级和图像属性确定的目标降噪模型，对当前待降噪图像块进行降噪处理。

其中，目标待降噪图像块为上一帧待降噪图像中的与当前待降噪图像块的位置对应的待降噪图像块。

该过程可以参考上述步骤S206下方的对10张待降噪图像的介绍，在此不再赘述。

在本发明的一个可选实施例中，在通过目标降噪模型对下一帧待降噪图像中的与当前待降噪图像块的位置对应的待降噪图像块进行降噪处理的情况下，且当当前帧待降噪图像为待降噪视频流中的第一帧待降噪图像或第二帧待降噪图像时，该方法还包括：

采用预设初始降噪模型对第一帧待降噪图像或第二帧待降噪图像中的各待降噪图像块进行降噪处理。

同理，该过程可以参考上述步骤S206下方的对10张待降噪图像的介绍，在此不再赘述。

在本发明的一个可选实施例中，在通过目标降噪模型对当前待降噪图像块进行降噪处理的情况下，且当当前帧待降噪图像为待降噪视频流中的第一帧待降噪图像时，该方法还包括：

采用预设初始降噪模型对第一帧待降噪图像中的各待降噪图像块进行降噪处理。

同理，该过程可以参考上述步骤S206下方的对10张待降噪图像的介绍，在此不再赘述。

上述内容介绍了图像降噪的整体过程，下面对其中的具体内容进行详细介绍：

在本发明的一个可选实施例中，参考图3，在多帧待降噪图像中，确定当前帧待降噪图像中的当前待降噪图像块的噪声级和图像属性的步骤包括：

步骤S301，采用噪声级预测模型对当前待降噪图像块进行噪声级预测，得到当前待降噪图像块的噪声级。

上述噪声级预测模型为预先训练得到的模型。具体训练过程如下：

(1)获取噪声级图像样本集合；其中，噪声级图像样本集合中包含：多张噪声级图像样本和每张噪声级图像样本对应的噪声级；

(2)基于噪声级图像样本集合对原始噪声级预测模型进行训练，得到噪声级预测模型。

在对原始噪声级预测模型进行训练时，将噪声级图像样本输入至原始噪声级预测模型，输出得到该噪声级图像样本所对应的噪声级，将模型输出的噪声级与噪声级图像样本集合中的噪声级图像样本对应的噪声级进行比较，如果对于同一张噪声级图像样本，模型输出的噪声级与噪声级图像样本对应的噪声级不一致，则对原始噪声级预测模型进行调节，如此，进行多次调节后，便训练得到了噪声级预测模型。

步骤S302，基于当前待降噪图像块和目标待降噪图像块确定当前待降噪图像块的图像属性。

参考图4，基于当前待降噪图像块和目标待降噪图像块确定当前待降噪图像块的图像属性的步骤包括：

步骤S401，根据当前待降噪图像块和目标待降噪图像块中对应像素点的像素值，计算当前待降噪图像块相对于目标待降噪图像块的像素值变化度。

具体的，根据像素值变化度计算算式计算当前待降噪图像块相对于目标待降噪图像块的像素值变化度；C表示像素值变化度，

表示当前待降噪图像块i的第j个像素点的像素值，

表示目标待降噪图像块i-1的第j个像素点的像素值，N表示当前待降噪图像块中像素点的总数。

其中，上述目标待降噪图像块为上一帧待降噪图像中的与当前待降噪图像块的位置对应的待降噪图像块。

步骤S402，根据像素值变化度确定当前待降噪图像块的图像属性。

具体的：如果像素值变化度与第一预设阈值之间的距离小于像素值变化度与第二预设阈值之间的距离，则确定当前待降噪图像块的图像属性为背景属性；如果像素值变化度与第一预设阈值之间的距离大于像素值变化度与第二预设阈值之间的距离，则确定当前待降噪图像块的图像属性为前景属性。

其中，第一预设阈值小于第二预设阈值。上述第一预设阈值可以为0，第二预设阈值可以为1，本实施例对上述第一预设阈值和上述第二预设阈值不进行限定。

下面对确定目标降噪模型的过程进行详细介绍：

在本发明的一个可选实施例中，基于当前待降噪图像块的噪声级和图像属性确定目标降噪模型的步骤包括：

在预设降噪模型查找表中查找与当前待降噪图像块的噪声级和图像属性所对应的降噪模型，并将查找得到的降噪模型作为目标降噪模型。

其中，预设降噪模型查找表为：噪声级和图像属性与降噪模型之间的对应关系表。

具体的，预先通过相同噪声级和相同图像属性的待降噪图像样本对原始降噪模型进行训练后，得到噪声级和图像属性与降噪模型之间的对应关系表。

例如，待降噪图像样本都是噪声级为2的前景图像，通过该种待降噪图像样本对原始降噪模型进行训练后，得到的降噪模型即为噪声级为2、图像属性为前景属性的所对应的降噪模型。

为了更好的理解本发明的上述图像降噪的方法，下面以伪代码的形式对并行模式的图像降噪方法进行介绍：

input set frames＝{frame0,frame1,frame2,…}(frame0＝{patch0,patch1,...}),denoise network set N＝{n0,n1,n2,…}；//视频流frames，其中每个frame由一系列的patch构成(分块降噪)，降噪网络集合N；

Denoise_network＝[n0,n0,…,n0]；//初始化降噪网络为n0；

For i in len(frames)://遍历每一帧图像；

For j in len(frames[i])://遍历该帧的每一个patch；

Res＝Denoise_network[j](frames[i][j])//通过上一帧对应的patch预测的denoise_network[j]处理图像，得到降噪后的图像Res；

Noise_rank＝evaluate_noise_rank(frame[i][j])//通过当前帧的块预测下一帧同样位置块的噪声级；

Is_back_ground＝0else 1if threshold(|frame[i][j]-frame[i-1][j]|)//通过当前帧和上一帧的差距判断是否是背景；

Denoise_network[j]＝predict(Noise_rank,Is_back_ground)//通过查表获得下一帧对应位置的降噪网络。

本发明的降噪模型的确定方法能够为视频流中的每帧待降噪图像中的每个待降噪图像块都能提供既能够满足其计算量要求，又不会造成计算量浪费的目标降噪模型，这样，在进行降噪处理时，能够最大限度的减少计算量，降低功耗，另外，并行模式的图像降噪方法还能够提高并行度，大量节省图像降噪的时间。

实施例3：

本发明实施例还提供了一种降噪模型的确定装置，该降噪模型的确定装置主要用于执行本发明实施例上述内容所提供的降噪模型的确定方法，以下对本发明实施例提供的降噪模型的确定装置做具体介绍。

图5根据本发明实施例的一种降噪模型的确定装置的示意图，如图5示，该降噪模型的确定装置主要包括：获取单元10、第一确定单元20和第二确定单元30，其中：

获取单元，用于获取待降噪视频流；待降噪视频流中包含多帧待降噪图像，且每帧待降噪图像中包含多个待降噪图像块；

第一确定单元，用于在多帧待降噪图像中，确定当前帧待降噪图像中的当前待降噪图像块的噪声级和图像属性；图像属性包括以下任一种：前景属性和背景属性；

第二确定单元，用于基于当前待降噪图像块的噪声级和图像属性确定目标降噪模型，以通过目标降噪模型对下一帧待降噪图像中的与当前待降噪图像块的位置对应的待降噪图像块或当前待降噪图像块进行降噪处理。

在本发明实施例中，先获取待降噪视频流；然后，在待降噪视频流的多帧待降噪图像中，确定当前帧待降噪图像中的当前待降噪图像块的噪声级和图像属性；最后，基于当前待降噪图像块的噪声级和图像属性确定目标降噪模型，以通过目标降噪模型对下一帧待降噪图像中的与当前待降噪图像块的位置对应的待降噪图像块或当前待降噪图像块进行降噪处理。通过上述描述可知，该方法能够基于当前待降噪图像块的噪声级和图像属性确定目标降噪模型，也就是，该方法综合考虑了当前待降噪图像块的噪声级和图像属性，进而确定得到既能够满足该当前待降噪图像块计算量要求，又不会造成计算量浪费的目标降噪模型，这样通过目标降噪模型执行降噪处理时，能够节省计算量，降低功耗，即该方法能够为待降噪视频流中的每个待降噪图像块都提供合适的目标降噪模型，这样，在对视频流中的图像帧进行降噪处理时，能够最大限度的减少计算量，降低功耗，缓解了现有技术确定的降噪模型对视频流中的图像帧进行降噪处理时，计算量浪费，功耗严重的技术问题。

可选地，在通过目标降噪模型对下一帧待降噪图像中的与当前待降噪图像块的位置对应的待降噪图像块进行降噪处理的情况下，在基于当前待降噪图像块的噪声级和图像属性确定目标降噪模型时，该装置还用于：基于目标待降噪图像块的噪声级和图像属性确定的目标降噪模型，对当前待降噪图像块进行降噪处理；目标待降噪图像块为上一帧待降噪图像中的与当前待降噪图像块的位置对应的待降噪图像块。

可选地，在通过目标降噪模型对下一帧待降噪图像中的与当前待降噪图像块的位置对应的待降噪图像块进行降噪处理的情况下，且当当前帧待降噪图像为待降噪视频流中的第一帧待降噪图像或第二帧待降噪图像时，该装置还用于：采用预设初始降噪模型对第一帧待降噪图像或第二帧待降噪图像中的各待降噪图像块进行降噪处理。

可选地，在通过目标降噪模型对当前待降噪图像块进行降噪处理的情况下，且当当前帧待降噪图像为待降噪视频流中的第一帧待降噪图像时，该装置还用于：采用预设初始降噪模型对第一帧待降噪图像中的各待降噪图像块进行降噪处理。

可选地，第一确定单元还用于：采用噪声级预测模型对当前待降噪图像块进行噪声级预测，得到当前待降噪图像块的噪声级；基于当前待降噪图像块和目标待降噪图像块确定当前待降噪图像块的图像属性。

可选地，第一确定单元还用于：根据当前待降噪图像块和目标待降噪图像块中对应像素点的像素值，计算当前待降噪图像块相对于目标待降噪图像块的像素值变化度；根据像素值变化度确定当前待降噪图像块的图像属性。

可选地，第一确定单元还用于：根据像素值变化度计算算式计算当前待降噪图像块相对于目标待降噪图像块的像素值变化度；C表示像素值变化度，

表示当前待降噪图像块i的第j个像素点的像素值，

表示目标待降噪图像块i-1的第j个像素点的像素值，N表示当前待降噪图像块中像素点的总数。

可选地，第一确定单元还用于：如果像素值变化度与第一预设阈值之间的距离小于像素值变化度与第二预设阈值之间的距离，则确定当前待降噪图像块的图像属性为背景属性；第一预设阈值小于第二预设阈值；如果像素值变化度与第一预设阈值之间的距离大于像素值变化度与第二预设阈值之间的距离，则确定当前待降噪图像块的图像属性为前景属性。

可选地，第二确定单元还用于：在预设降噪模型查找表中查找与当前待降噪图像块的噪声级和图像属性所对应的降噪模型，并将查找得到的降噪模型作为目标降噪模型。

可选地，预设降噪模型查找表为：噪声级和图像属性与降噪模型之间的对应关系表；预先通过相同噪声级和相同图像属性的待降噪图像样本对原始降噪模型进行训练后，得到噪声级和图像属性与降噪模型之间的对应关系表。

可选地，该装置还用于：获取噪声级图像样本集合；噪声级图像样本集合中包含：多张噪声级图像样本和每张噪声级图像样本对应的噪声级；基于噪声级图像样本集合对原始噪声级预测模型进行训练，得到噪声级预测模型。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

在本发明的另一个实施中，还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机运行所述计算机程序时执行上述方法实施例2中任一项所述的方法的步骤。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种降噪模型的确定方法，其特征在于，包括：

获取待降噪视频流；所述待降噪视频流中包含多帧待降噪图像，且每帧待降噪图像中包含多个待降噪图像块；

在多帧所述待降噪图像中，确定当前帧待降噪图像中的当前待降噪图像块的噪声级和图像属性；所述图像属性包括以下任一种：前景属性和背景属性；

基于所述当前待降噪图像块的噪声级和图像属性确定目标降噪模型，以通过所述目标降噪模型对下一帧待降噪图像中的与所述当前待降噪图像块的位置对应的待降噪图像块或所述当前待降噪图像块进行降噪处理。

2.根据权利要求1所述的方法，其特征在于，在通过所述目标降噪模型对下一帧待降噪图像中的与所述当前待降噪图像块的位置对应的待降噪图像块进行降噪处理的情况下，在基于所述当前待降噪图像块的噪声级和图像属性确定目标降噪模型时，所述方法还包括：

基于目标待降噪图像块的噪声级和图像属性确定的目标降噪模型对所述当前待降噪图像块进行降噪处理；所述目标待降噪图像块为上一帧待降噪图像中的与所述当前待降噪图像块的位置对应的待降噪图像块。

3.根据权利要求1所述的方法，其特征在于，在通过所述目标降噪模型对下一帧待降噪图像中的与所述当前待降噪图像块的位置对应的待降噪图像块进行降噪处理的情况下，且当所述当前帧待降噪图像为所述待降噪视频流中的第一帧待降噪图像或第二帧待降噪图像时，所述方法还包括：

采用预设初始降噪模型对所述第一帧待降噪图像或所述第二帧待降噪图像中的各待降噪图像块进行降噪处理。

4.根据权利要求1所述的方法，其特征在于，在通过所述目标降噪模型对所述当前待降噪图像块进行降噪处理的情况下，且当所述当前帧待降噪图像为所述待降噪视频流中的第一帧待降噪图像时，所述方法还包括：

采用预设初始降噪模型对所述第一帧待降噪图像中的各待降噪图像块进行降噪处理。

5.根据权利要求2所述的方法，其特征在于，在多帧所述待降噪图像中，确定当前帧待降噪图像中的当前待降噪图像块的噪声级和图像属性的步骤包括：

采用噪声级预测模型对所述当前待降噪图像块进行噪声级预测，得到所述当前待降噪图像块的噪声级；

基于所述当前待降噪图像块和所述目标待降噪图像块确定所述当前待降噪图像块的图像属性。

6.根据权利要求5所述的方法，其特征在于，基于所述当前待降噪图像块和所述目标待降噪图像块确定所述当前待降噪图像块的图像属性的步骤包括：

根据所述当前待降噪图像块和所述目标待降噪图像块中对应像素点的像素值，计算所述当前待降噪图像块相对于所述目标待降噪图像块的像素值变化度；

根据所述像素值变化度确定所述当前待降噪图像块的图像属性。

7.根据权利要求6所述的方法，其特征在于，根据所述当前待降噪图像块和所述目标待降噪图像块中对应像素点的像素值，计算所述当前待降噪图像块相对于所述目标待降噪图像块的像素值变化度的步骤包括：

根据像素值变化度计算算式

计算所述当前待降噪图像块相对于所述目标待降噪图像块的像素值变化度；C表示所述像素值变化度，

表示所述当前待降噪图像块i的第j个像素点的像素值，

表示所述目标待降噪图像块i-1的第j个像素点的像素值，N表示所述当前待降噪图像块中像素点的总数。

8.根据权利要求6所述的方法，其特征在于，根据所述像素值变化度确定所述当前待降噪图像块的图像属性的步骤包括：

如果所述像素值变化度与第一预设阈值之间的距离小于所述像素值变化度与第二预设阈值之间的距离，则确定所述当前待降噪图像块的图像属性为背景属性；所述第一预设阈值小于所述第二预设阈值；

如果所述像素值变化度与所述第一预设阈值之间的距离大于所述像素值变化度与所述第二预设阈值之间的距离，则确定所述当前待降噪图像块的图像属性为前景属性。

9.根据权利要求1所述的方法，其特征在于，基于所述当前待降噪图像块的噪声级和图像属性确定目标降噪模型的步骤包括：

在预设降噪模型查找表中查找与所述当前待降噪图像块的噪声级和图像属性所对应的降噪模型，并将查找得到的降噪模型作为所述目标降噪模型。

10.根据权利要求9所述的方法，其特征在于，所述预设降噪模型查找表为：噪声级和图像属性与降噪模型之间的对应关系表；预先通过相同噪声级和相同图像属性的待降噪图像样本对原始降噪模型进行训练后，得到所述噪声级和图像属性与降噪模型之间的对应关系表。

11.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取噪声级图像样本集合；所述噪声级图像样本集合中包含：多张噪声级图像样本和每张噪声级图像样本对应的噪声级；

基于所述噪声级图像样本集合对原始噪声级预测模型进行训练，得到所述噪声级预测模型。

12.一种降噪模型的确定装置，其特征在于，包括：

获取单元，用于获取待降噪视频流；所述待降噪视频流中包含多帧待降噪图像，且每帧待降噪图像中包含多个待降噪图像块；

第一确定单元，用于在多帧所述待降噪图像中，确定当前帧待降噪图像中的当前待降噪图像块的噪声级和图像属性；所述图像属性包括以下任一种：前景属性和背景属性；

第二确定单元，用于基于所述当前待降噪图像块的噪声级和图像属性确定目标降噪模型，以通过所述目标降噪模型对下一帧待降噪图像中的与所述当前待降噪图像块的位置对应的待降噪图像块或所述当前待降噪图像块进行降噪处理。

13.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至11中任一项所述的方法。

14.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机运行所述计算机程序时执行上述权利要求1至11中任一项所述的方法的步骤。

Images