CN108174057B - 一种利用视频图像帧间差异对画面快速降噪的方法及装置 - Google Patents

Abstract

本发明提供了一种利用视频图像帧间差异对画面快速降噪的方法，包括：在夜间低亮度环境下采集视频流，所述视频流包含多帧连续图像；以视频流的关键帧为起点，对视频流的非关键帧进行检测，获取所述非关键帧中像素点与周围相邻像素点的最大亮度值，将该像素点的亮度值与该像素点周围邻近点的最大亮度值进行比较；若该像素点的亮度值为所述最大亮度值，则计算所述最大亮度值与该像素点与周围相邻像素点中的次大亮度值之差，若所述亮度差值大于亮度阈值，则确定该像素点为疑似噪点；对所述疑似噪点的亮度值进行替换。相应地本发明还提供了一种利用视频图像帧间差异对画面快速降噪的装置。解决了现有技术中传统降噪算法速度与效果不能兼备的问题。

Description

一种利用视频图像帧间差异对画面快速降噪的方法及装置

技术领域

本发明属于视频图像处理技术领域，更具体地，涉及一种利用视频图像帧间差异对画面快速降噪的方法及装置。

背景技术

现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，称为含噪图像或噪声图像。减少数字图像中噪声的过程称为图像降噪,有时候又称为图像去噪。噪声是图像干扰的重要原因。一幅图像在实际应用中可能存在各种各样的噪声,这些噪声可能在传输中产生,也可能在量化等处理中产生。根据噪声和信号的关系可将其主要分为三种形式:加性噪声、乘性噪声和量化噪声等。

传统处理噪声的方法包括有均值滤波器、自适应维纳滤波器、中值滤波器、形态学噪声滤除器和小波去噪等方法。传统的降噪算法只利用了静止图片，在进行视频降噪的时候，有实时性要求，然而，传统算法处理速度快会牺牲一定的效果，而效果好则会牺牲一定的速度，导致速度和处理效果不能兼备。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种利用视频图像帧间差异对画面快速降噪的方法及装置，解决了现有技术中传统降噪算法速度与效果不能兼备的问题。

为了实现上述目的，按照本发明的一个方面，提供了一种利用视频图像帧间差异对画面快速降噪的方法，包括：

确定待降噪视频流的第一帧关键帧，以所述第一帧关键帧为起点，对所述视频流的非关键帧进行检测，直到遇到下一帧关键帧，再以所述下一帧关键帧为起点，对所述视频流的非关键帧进行检测并替换，重复上述处理过程直到完成所有非关键帧的检测；其中对所述视频流的非关键帧进行检测并替换包括：

判断所述非关键帧中每个像素点是否为该像素点及该像素点周围相邻像素点的最大亮度值或最小亮度值；如果否则确定该像素点为非噪点；

如果是最大亮度值，则计算该像素点的亮度值与该像素点及该像素点周围相邻像素点的次大亮度值的差值；如果所述差值小于预设亮度阈值，则确定该像素点为非噪点，如果否则计算该像素点的亮度值与上一帧中相同位置像素点及该像素点周围相邻像素点的最大亮度值的差值；如果所述差值小于预设亮度阈值，则确定该像素点为非噪点，如果否则确定该像素点为噪点；

如果是最小亮度值，则计算该像素点的亮度值与该像素点及该像素点周围相邻像素点的次小亮度值的差值；如果所述差值小于预设亮度阈值，则确定该像素点为非噪点，如果否则计算该像素点的亮度值与上一帧中相同位置像素点及该像素点周围相邻像素点的最小亮度值的差值；如果所述差值小于预设亮度阈值，则确定该像素点为非噪点，如果否则确定该像素点为噪点；

对噪点的亮度值进行替换。

在本发明的一个实施例中，所述对噪点的亮度值进行替换，包括：

将所述噪点的亮度值替换为该噪点周围相邻像素点的平均值；或者，

若所述噪点具有最大亮度值，则将所述噪点的亮度值替换为该像素点及该像素点周围相邻像素点的最大亮度值与次大亮度值的加权平均值，若所述噪点具有最小亮度值，则将所述噪点的亮度值替换为该像素点及该像素点周围相邻像素点的最小亮度值与次小亮度值的加权平均值。

在本发明的一个实施例中，所述预设亮度阈值为：

最大亮度误差值，所述亮度误差为肉眼看不出和黑色差别的最大画面亮度值；或者，

若所述噪点具有最大亮度值，则为该像素点及该像素点周围相邻像素点的次大亮度值的1/N；若所述噪点具有最小亮度值，则为该像素点及该像素点周围相邻像素点的次小亮度值的1/N，N为周围相邻像素点的数量；或者，

若所述噪点具有最大亮度值，则为该像素点的亮度值与最大亮度误差值的几何平均值；若所述噪点具有最小亮度值，则为该像素点的亮度值与最小亮度误差值的几何平均值。

在本发明的一个实施例中，所述方法还包括对图像进行色彩噪点矫正，包括：

将所述视频流的图像帧转换到HSI色彩空间；

若像素点的色度值和该像素点周围相邻像素点及上一帧中相同像素点的色度值相差大于色度阈值，且该像素点的亮度值小于前述预设亮度阈值，该像素点的色饱和度大于色饱和度阈值时，则确定所述像素点为色彩噪点；

对所述色彩噪点进行色彩矫正。

在本发明的一个实施例中，所述对所述色彩噪点进行色彩矫正为：

将所述色彩噪点的色度值替换为所述色彩噪点周围相邻像素点和前一帧相同位置像素点中与所述色彩噪点的色度值最接近的色度值。

在本发明的一个实施例中，所述色度阈值取π/2，色饱和度阈值取0.5。

在本发明的一个实施例中，对所述视频流的非关键帧进行检测并替换采用如下算法：

获取所述关键帧的每个像素点及该像素点周围相邻像素点的最大亮度值，将所述最大亮度值及对应坐标存入第一个二维数组；

计算所述非关键帧中每个像素点及该像素点周围相邻像素点的最大亮度值及次大亮度值，将所述最大亮度值及对应坐标存入第二个二维数组；

判断所述非关键帧中每个像素点的亮度值是否等于所述像素点及该像素点周围相邻像素点的最大亮度值，若相等则判断所述非关键帧中该像素点周围相邻像素点最大亮度值与次大亮度值之差是否大于亮度阈值，若大于则确定该像素点为噪点；

交换第一个二维数组及第二个二维数组的指针。

在本发明的一个实施例中，对所述视频流的非关键帧进行检测并替换采用如下算法：

获取所述关键帧的每个像素点及该像素点周围相邻像素点的最小亮度值，将所述最小亮度值及对应坐标存入第一个二维数组；

计算所述非关键帧中每个像素点及该像素点周围相邻像素点的最小亮度值及次小亮度值，将所述最小亮度值及对应坐标存入第二个二维数组；

判断所述非关键帧中每个像素点的亮度值是否等于所述像素点及该像素点周围相邻像素点的最小亮度值，若相等则判断所述非关键帧中该像素点周围相邻像素点最小亮度值与次小亮度值之差是否大于亮度阈值，若大于则确定该像素点为噪点；

交换第一个二维数组及第二个二维数组的指针。

在本发明的一个实施例中，所述周围相邻像素点为相邻8邻域像素点。

按照本发明的另一方面，还提供了一种利用视频图像帧间差异对画面快速降噪的装置，所述装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行上述利用视频图像帧间差异对画面快速降噪的方法。

与现有技术相比，本发明具有如下有益效果：

(1)不同于传统的降噪方法，本发明通过视频图像前后的依赖关系，考虑视频图像的相似性，可以快速高效的识别噪点，大幅度提高降噪的速度和效率；

(2)此外对于低亮度环境下，尤其容易出现噪点，本发明专门针对该场景进行了算法优化，效果明显；

(3)一般的降噪需要依靠光学硬件，而本发明则基于数字图像处理，不需要依靠光学硬件，可极大降低成本。

附图说明

图1是本发明实施例中一种利用视频图像帧间差异对画面快速降噪方法的流程示意图；

图2是本发明实施例中一种利用视频图像帧间差异对画面快速降噪装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例提供了一种利用视频图像帧间差异对画面快速降噪的方法，如图1所示，该方法具体为：

S101.在夜间低亮度环境下采集视频流，所述视频流包含多帧连续图像；

本发明适用于夜间低亮度环境下的视频采集，在夜间低亮度的环境下，其噪点较多，使用本发明针对性的算法，可有效而快速的解决噪点问题。

S102.以所述视频流的关键帧为起点，对所述视频流的非关键帧进行检测，获取所述非关键帧中像素点与该像素点周围相邻像素点的最大亮度值，将该像素点的亮度值与所述最大亮度值进行比较；

本发明实施例从视频流的关键帧开始，仅仅检查非关键帧的噪点，因为关键帧和上一帧不一定存在类似关系。

获取非关键帧像素点与周围相邻像素点的最大亮度值，可使用冒泡算法来获取该最大亮度值，本发明实施例中周围相邻像素点可以为以该像素点为中心的周围8个点。对于噪点而言，其亮度值有可能比周围的亮度值大得多，故需要依次遍历非关键帧图像中每一点的亮度值与周围相邻像素点最大亮度值的比较，从而确定该点是否疑似噪点。

反之，若该像素点的亮度值并非亮度最大值，则可排除该点并非疑似噪点。

S103.若该像素点的亮度值为所述最大亮度值，则计算所述最大亮度值与该像素点与周围相邻像素点中的次大亮度值之差，若所述亮度差值大于亮度阈值，则确定该像素点为疑似噪点；

S103具体可以为：

获取所述关键帧的每一点与周围8个相邻点的最大亮度值，将所述最大亮度值及对应坐标存入第一个二维数组，记为lumax[width][height]，其中width和height分别是视频的宽和高。；

使用冒泡算法计算所述非关键帧中该像素点与周围8个相邻点的最大亮度值max及次大值next，将所述最大亮度值及对应坐标存入第二个二维数组，记为lumaxtemp[x][y]，其中x,y为点坐标；

判断所述非关键帧中该像素点的亮度值是否等于所述最大亮度值，若想等，则判断所述非关键帧中该像素点周围相邻像素点最大亮度值与次大亮度值之差是否大于亮度阈值，若大于，则确定该像素点为疑似噪点；即，判断(max-next)<threshold&&(max-lumax[x][y])<threshhold是否为真，如果为真，替换当前亮度值为周围八个点亮度的平均值。threshhold为亮度阈值。

交换第一个二维数组及第二个二维数组的指针，并重复所述冒泡算法计算步骤及亮度阈值判断步骤。

其中，所述亮度阈值可以取固定值或浮动值。固定值可以为最大亮度误差值(所述亮度误差为肉眼看不出和黑色差别的最大画面亮度值)，浮动值可以取该像素点亮度值的1/8，或该像素点亮度值与最大亮度值误差的几何平均值(二者相乘的平方根)。

如果该像素点与次大亮度值之差小于或等于亮度阈值，则也不认为该点为疑似噪点，则继续进行下一个点的亮度判别，直到所有点均遍历完全。

S104.对所述疑似噪点的亮度值进行替换。

步骤S104具体可以为：将所述疑似噪点的亮度值替换为周围相邻像素点的平均值，或，将所述疑似噪点的亮度值替换为所述最大亮度值与所述次大亮度值的加权平均值。对于夜景，要考虑背景单独亮点快速移动造成亮点总是移出我们检测范围(仅仅一个像素宽)的场合，比如远处汽车灯光，或者远处路灯光。考虑到远处汽车对驾驶影响不大，大多灯光也不可能总是只有1个像素宽，可以忽略，若一定要考虑此种情况，可以将疑似噪点替换为最亮点和次亮点的加权平均值。

进一步地，在所述步骤s103中，若所述亮度差值大于亮度阈值，还可以包括：计算该像素点的亮度值与上一帧中相同位置像素点及该像素点周围相邻像素点的最大亮度值的差值；如果所述差值小于预设亮度阈值，则确定该像素点为非噪点，如果否则确定该像素点为噪点；

即在同一帧中与邻域像素点进行对比后，还与上一帧相同位置像素点的亮度值进行对比，以进一步确定是否为噪点。

进一步可选地，对于低亮度视频增亮图像，还可以做色彩噪点矫正。则所述方法还包括：

将所述视频帧图像转换为HSI色彩空间；

若该像素点的色度值H和周围8个点相差大于色度阈值，且该像素点和上一帧相同位置点色度差大于所述色度阈值，且该像素点亮度值I小于前述预设亮度阈值，色饱和度S大于色饱和度阈值时，确定该像素点为色彩噪点。其中，色度阈值可以取π/2，色饱和度阈值可以取0.5；

将所述色彩噪点的色度值替换为该像素点周围8个点和前一帧相同位置点中，与当前色度值最接近的点的色度值。

进一步地，上述实施例中仅描述了噪点为最大亮度值的情况，对于最小亮度值，可以对应的依此类推即可，即以最小亮度值为标准来进行对比判断。

不同于传统的降噪方法，本发明通过视频图像前后的依赖关系，考虑视频图像的相似性，可以快速高效的识别噪点，大幅度提高降噪的速度和效率，此外，对于低亮度环境下，尤其容易出现噪点，本发明专门针对该场景进行了算法优化，效果明显。同时，一般的降噪需要依靠光学硬件，而本发明则基于数字图像处理，不需要依靠光学硬件，可极大降低成本。

本发明实施例还提供了一种利用视频图像帧间差异对画面快速降噪的装置，该装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时执行上述利用视频图像帧间差异对画面快速降噪的方法。

本发明实施例还提供了一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述利用视频图像帧间差异对画面快速降噪的方法。

图2是本发明实施例提供的一种服务器结构示意图。该服务器200可以包括一个或一个以***处理器(central processing units，CPU)210(例如，一个或一个以上处理器)和存储器220，一个或一个以上存储应用程序232或数据234的存储介质230(例如一个或一个以上海量存储设备)。其中，存储器220和存储介质230可以是短暂存储或持久存储。存储在存储介质230的程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器210可以设置为与存储介质230通信，在服务器200上执行存储介质230中的一系列指令操作。服务器200还可以包括一个或一个以上电源240，一个或一个以上有线或无线网络接口250，一个或一个以上输入输出接口260，和/或，一个或一个以上操作***270，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。上述方法实施例所执行的步骤可以基于该图2所示的服务器结构。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置和***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。

最后，需要说明的是：以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。显然，本领域技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种利用视频图像帧间差异对画面快速降噪的方法，其特征在于，包括：

确定待降噪视频流的第一帧关键帧，以所述第一帧关键帧为起点，对所述视频流的非关键帧进行检测，直到遇到下一帧关键帧，再以所述下一帧关键帧为起点，对所述视频流的非关键帧进行检测并替换，重复上述处理过程直到完成所有非关键帧的检测；其中对所述视频流的非关键帧进行检测并替换包括：

判断所述非关键帧中每个像素点是否为该像素点及该像素点周围相邻像素点的最大亮度值或最小亮度值；如果否则确定该像素点为非噪点；

如果是最大亮度值，则计算该像素点的亮度值与该像素点及该像素点周围相邻像素点的次大亮度值的差值；如果所述差值小于预设亮度阈值，则确定该像素点为非噪点，如果否则计算该像素点的亮度值与上一帧中相同位置像素点及该像素点周围相邻像素点的最大亮度值的差值；如果所述差值小于预设亮度阈值，则确定该像素点为非噪点，如果否则确定该像素点为噪点；

如果是最小亮度值，则计算该像素点的亮度值与该像素点及该像素点周围相邻像素点的次小亮度值的差值；如果所述差值小于预设亮度阈值，则确定该像素点为非噪点，如果否则计算该像素点的亮度值与上一帧中相同位置像素点及该像素点周围相邻像素点的最小亮度值的差值；如果所述差值小于预设亮度阈值，则确定该像素点为非噪点，如果否则确定该像素点为噪点；

对噪点的亮度值进行替换。

2.根据权利要求1所述的利用视频图像帧间差异对画面快速降噪的方法，其特征在于，所述对噪点的亮度值进行替换，包括：

将所述噪点的亮度值替换为该噪点周围相邻像素点的平均值；或者，

若所述噪点具有最大亮度值，则将所述噪点的亮度值替换为该像素点及该像素点周围相邻像素点的最大亮度值与次大亮度值的加权平均值，若所述噪点具有最小亮度值，则将所述噪点的亮度值替换为该像素点及该像素点周围相邻像素点的最小亮度值与次小亮度值的加权平均值。

3.根据权利要求1或2所述的利用视频图像帧间差异对画面快速降噪的方法，其特征在于，所述预设亮度阈值为：

最大亮度误差值，所述亮度误差为肉眼看不出和黑色差别的最大画面亮度值；或者，

若所述噪点具有最大亮度值，则为该像素点及该像素点周围相邻像素点的次大亮度值的1/N；若所述噪点具有最小亮度值，则为该像素点及该像素点周围相邻像素点的次小亮度值的1/N，N为周围相邻像素点的数量；或者，

若所述噪点具有最大亮度值，则为该像素点的亮度值与最大亮度误差值的几何平均值；若所述噪点具有最小亮度值，则为该像素点的亮度值与最小亮度误差值的几何平均值。

4.根据权利要求1或2所述的利用视频图像帧间差异对画面快速降噪的方法，其特征在于，所述方法还包括对图像进行色彩噪点矫正，包括：

将所述视频流的图像帧转换到HSI色彩空间；

若像素点的色度值和该像素点周围相邻像素点及上一帧中相同像素点的色度值相差大于色度阈值，且该像素点的亮度值小于预设亮度阈值，该像素点的色饱和度大于色饱和度阈值时，则确定所述像素点为色彩噪点；

对所述色彩噪点进行色彩矫正。

5.根据权利要求4所述的利用视频图像帧间差异对画面快速降噪的方法，其特征在于，所述对所述色彩噪点进行色彩矫正为：

将所述色彩噪点的色度值替换为所述色彩噪点周围相邻像素点和前一帧相同位置像素点中与所述色彩噪点的色度值最接近的色度值。

6.根据权利要求4所述的利用视频图像帧间差异对画面快速降噪的方法，其特征在于，所述色度阈值取π/2，色饱和度阈值取0.5。

7.根据权利要求1或2所述的利用视频图像帧间差异对画面快速降噪的方法，其特征在于，对所述视频流的非关键帧进行检测并替换采用如下算法：

获取所述关键帧的每个像素点及该像素点周围相邻像素点的最大亮度值，将所述最大亮度值及对应坐标存入第一个二维数组；

计算所述非关键帧中每个像素点及该像素点周围相邻像素点的最大亮度值及次大亮度值，将所述最大亮度值及对应坐标存入第二个二维数组；

判断所述非关键帧中每个像素点的亮度值是否等于所述像素点及该像素点周围相邻像素点的最大亮度值，若相等则判断所述非关键帧中该像素点周围相邻像素点最大亮度值与次大亮度值之差是否大于亮度阈值，若大于则确定该像素点为噪点；

交换第一个二维数组及第二个二维数组的指针。

8.根据权利要求1或2所述的利用视频图像帧间差异对画面快速降噪的方法，其特征在于，对所述视频流的非关键帧进行检测并替换采用如下算法：

获取所述关键帧的每个像素点及该像素点周围相邻像素点的最小亮度值，将所述最小亮度值及对应坐标存入第一个二维数组；

计算所述非关键帧中每个像素点及该像素点周围相邻像素点的最小亮度值及次小亮度值，将所述最小亮度值及对应坐标存入第二个二维数组；

判断所述非关键帧中每个像素点的亮度值是否等于所述像素点及该像素点周围相邻像素点的最小亮度值，若相等则判断所述非关键帧中该像素点周围相邻像素点最小亮度值与次小亮度值之差是否大于亮度阈值，若大于则确定该像素点为噪点；

交换第一个二维数组及第二个二维数组的指针。

9.根据权利要求1或2所述的利用视频图像帧间差异对画面快速降噪的方法，其特征在于，所述周围相邻像素点为相邻8邻域像素点。

10.一种利用视频图像帧间差异对画面快速降噪的装置，其特征在于，所述装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行权利要求1至9任一项所述的利用视频图像帧间差异对画面快速降噪的方法。

Images