CN116523765B - 一种实时视频图像降噪方法、装置及存储器 - Google Patents
一种实时视频图像降噪方法、装置及存储器 Download PDFInfo
- Publication number
- CN116523765B CN116523765B CN202310235443.8A CN202310235443A CN116523765B CN 116523765 B CN116523765 B CN 116523765B CN 202310235443 A CN202310235443 A CN 202310235443A CN 116523765 B CN116523765 B CN 116523765B
- Authority
- CN
- China
- Prior art keywords
- motion
- current frame
- module
- noise reduction
- motion coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000012937 correction Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 7
- 238000004590 computer program Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/911—Television signal processing therefor for the suppression of noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
本发明提供了一种实时视频图像降噪方法、装置及存储器,其方法包括:S1,获取实时视频;S2,对所述实时视频进行运动系数计算,获取当前帧的运动系数;S3,根据当前帧的前4帧图像的运动系数对所述当前帧的运动系数进行校正获取校正后的当前帧运动系数;S4,根据校正后的当前帧运动系数对当前帧进行降噪处理。本发明先对实时视频图像进行运动系数计算,并根据当前帧的前4帧图像的运动系数对当前帧的运动系数进行校正,能够较大程度提高运动物体判断的准确程度,提高降噪后图像的效果。
Description
技术领域
本发明涉及图像处理技术领域,具体来说,涉及一种实时视频图像降噪方法、装置及存储器。
背景技术
随着科技和社会的发展,实时视频处理装置得到了广泛的应用,也对其性能提出了更高的要求。在视频的采集、处理过程中,不可避免得会引入噪声,噪声会大大降低视频的质量,影响观看者的感受和增大后续处理的难度。为了降低噪声对视频的影响,通常会加入视频降噪装置。目前常用的视频降噪装置分为时域降噪和空域降噪两种。空域降噪只使用单帧图像,利用图像像素空间域的相关性进行降噪处理,优点是不需要对视频图像进行存储,缺点是去噪效果有限。时域降噪不仅使用当前帧图像,还会使用到相邻若干帧图像,利用图像像素时间域的相关性进行降噪处理,其去噪效果相较于空域降噪更优。
时域降噪由于使用到了多帧图像,而每帧图像的采样时间各不相同。如果场景中存在运动物体,直接对多帧图像进行简单的算术平均,就会产生运动物体的模糊和“拖尾”现象。所以在时域降噪中必须进行运动物体的判断,对运动物体判断的准确与否,决定了视频降噪装置的最终效果。
本文提供的背景描述用于总体上呈现本公开的上下文的目的。除非本文另外指示,在该章节中描述的资料不是该申请的权利要求的现有技术并且不要通过包括在该章节内来承认其成为现有技术。
发明内容
针对相关技术中的上述技术问题,本发明提出了一种实时视频图像降噪方法,其包括如下步骤:
S1,获取实时视频;
S2,对所述实时视频进行运动系数计算,获取当前帧的运动系数;
S3,根据当前帧的前4帧图像的运动系数对所述当前帧的运动系数进行校正获取校正后的当前帧运动系数;
S4,根据校正后的当前帧运动系数对当前帧进行降噪处理。
具体的,所述步骤S2具体包括如下步骤:
S21,计算当前帧以及参考帧的绝对差和SAD,其中参考帧为当前帧的上一帧,并且参考帧已进行降噪处理过的帧;
S22,计算当前像素位置的参考亮度值L;
S23,根据亮度值L计算运动阈值门限Thr;
S24、计算运动系数 d,
。
具体的,所述步骤3具体包括:
S31,将当前帧和前4帧的运动系数按照大小进行排序,丢弃其中最大值;
S32,将剩余的运动系数进行算术平均,得到校正后的当前帧运动系数D。
具体的,所述步骤S4具体为:
如果 D > , 判定当前像素点为运动物体,在该情况下则直接将当前帧像素点作为时域滤波器模块的输出:
如果 D <= ,判断当前像素点为静止物体,在该情况下按照如下公式计算时域滤波器模块的输出:
其中, 表示当前帧宏块中对应位置像素的像素值, /> 表示参考帧中对应位置像素的像素值,/> 表示降噪后的计算输出结果, />为运动判断参数。
具体的,所述步骤S1还包括:对所述实时视频进行低通滤波。
第二方面,本发明的另一个实施例公开了一种实时视频图像降噪装置,其包括如下模块:视频图像获取模块、时域降噪模块、运动系数存储模块和参考帧存储模块;
所述视频图像获取模块,用于获取实时视频;
所述运动系数存储模块连接于所述的时域降噪模块,用于存储时域降噪模块计算生成的运动系数,一共存储当前帧图像之前4帧图像的运动系数;
所述参考帧存储模块连接于所述的时域降噪模块,用于存储时域降噪模块处理后生成的图像;
时域降噪模块,用于根据参考帧存储模块提供的参考帧和运动系数存储模块提供的运动系数,对输入视频图像进行降噪处理并输出;同时,将新计算生成的运动系数存储到运动系数存储模块,将降噪后图像存储到参考帧存储模块;
所述时域降噪模块包括:运动系数计算模块、运动系数校正模块、时域滤波器模块;
运动系数计算模块,对所述实时视频进行运动系数计算,获取当前帧的运动系数;
运动系数校正模块,用于根据当前帧的前4帧图像的运动系数对所述当前帧的运动系数进行校正获取校正后的当前帧运动系数;
时域滤波器模块,用于根据校正后的当前帧运动系数对当前帧进行降噪处理。
具体的,所述运动系数计算模块包括如下模块:
绝对差和计算模块,用于计算当前帧以及参考帧的绝对差和SAD,其中参考帧为当前帧的上一帧,并且参考帧已进行降噪处理过的帧;
参考亮度值计算模块,用于计算当前像素位置的参考亮度值L;
运动阈值门限计算模块,用于根据亮度值L计算运动阈值门限Thr;
运动系数计算模块,用于计算运动系数 d,
。
具体的,所述运动系数校正模块包括如下模块:
排序模块,用于将当前帧和前4帧的运动系数按照大小进行排序,丢弃其中最大值;
平均单元,用于将剩余的运动系数进行算术平均,得到校正后的运动系数 D;
具体的,所述时域滤波器模块具体为:
如果 D > , 判定当前像素点为运动物体,在该情况下则直接将当前帧像素点作为时域滤波器模块的输出:
如果 D <= ,判断当前像素点为静止物体,在该情况下按照如下公式计算时域滤波器模块的输出:
其中, 表示当前帧宏块中对应位置像素的像素值, /> 表示参考帧中对应位置像素的像素值,/> 表示降噪后的计算输出结果, />为运动判断参数。
具体的,所述时域降噪模块包括一低通滤波器,所述低通滤波器用于对所述实时视频进行低通滤波。
第三方面,本发明的另一个实施例公开了一种非易失性存储器,所述非易失性存储器上存储有指令,所述指令被处理器执行时,用于实现上述的一种实时视频图像降噪方法。
本发明的实时视频图像降噪方法,先对实时视频图像进行运动系数计算,并根据当前帧的前4帧图像的运动系数对当前帧的运动系数进行校正,能够较大程度提高运动物体判断的准确程度,提高降噪后图像的效果。在运动物体判断中,使用了多帧图像的运动系数。进一步的,在进行降噪时,只需要存储一帧的参考帧和4帧的运动系数,使用的存储空间也较小。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种实时视频图像降噪方法流程图;
图2是本发明实施例提供的一种实时视频图像降噪装置示意图;
图3是本发明实施例提供时域降噪模块示意图;
图4是本发明实施例提供的种实时视频图像降噪设备示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
参考图1,本实施例公开了一种实时视频图像降噪方法,其包括如下步骤:
S1,获取实时视频;
具体的,本实施例获取实时视频可以是从视频图像采集装置处获取,例如摄像头等。
在另一个实施方式中,也可以从图像传感器获取,例如图像传感器获取实时视频,并将实施视频送给图像处理单元(image Signal Processor ,ISP)或者是中央处理器进行处理,进而本实施例的实施视频图像降噪方法运行在ISP或中央处理中,以对接收到的实时视频进行处理。
进一步的,本实施例可以对获取的实时视频进行噪声处理。本实施例采用低通滤波器对实时视频进行降噪处理。本实施例采用高斯或双边滤波对实时视频进行降噪处理。低通滤波可以抑制输入图像的噪声,去除单个的异常坏点。防止在后续的运动系数计算时,将静止的像素点误判为运动物体。
视频图像采集装置工作时,会连续对场景进行拍摄。现在常用的视频图像采集装置工作帧率大于30fps(帧每秒)。即每秒至少或获取30帧图像,本实施例的实时视频图像降噪方法是对视频中的每一帧图像进行处理。
S2,对所述实时视频进行运动系数计算,获取当前帧的运动系数;
具体的,本实施例从所述实时视频中获取待处理的视频帧图像,即当前帧,一般当前帧是正在进行降噪处理的帧,从当前帧来计算运动系数。
具体的,所述步骤S2包括如下步骤:
S21,计算当前帧以及参考帧的绝对差和SAD,其中参考帧为当前帧的上一帧,并且参考帧已进行降噪处理过的帧;
在当前帧取当前像素为中心的7x7像素宏块,同时在参考帧相应位置也取7x7像素宏块。采用如下公式计算:
其中, 表示当前帧宏块中对应位置像素的像素值, /> 表示参考帧中对应位置像素的像素值。
S22,计算当前像素位置的参考亮度值L;
本实施例采用如下公式计算当前像素位置的参考亮度值L:
其中, 表示当前帧宏块中对应位置像素的像素值。
S23,根据亮度值L计算运动阈值门限Thr;
其中,Thr表示计算得到的运动阈值门限,L表示上面步骤S22计算得到的参考亮度值。slope和base用于调整Thr的起始值和斜率,这两个参数跟视频图像采集装置的性能有关,在具体实际应用中,需要根据视频图像采集装置的特性进行参数调整。
S24、计算运动系数 d,
重复执行步骤S21-S24直至获取当前帧中每一个每个像素点的运动系数。
由上述步骤 S21计算得到的SAD,和步骤S23计算得到的Thr,可以计算出当前像素点位置的运动系数d;
运动系数d表示当前位置像素点是运动物体的可能性,该值越小,表示为运动物体的概率越低;该值越大,表示为运动物体的概率越高。
对一帧图像中每个像素点都进行运动系数d的计算,每个像素点都得到单独的运动系数d。
S3,根据当前帧的前4帧图像的运动系数对所述当前帧的运动系数进行校正获取校正后的当前帧运动系数;
当前帧的前4帧计算得到的运动系数,以符号 、/> 、/> 和/> 表示,当前帧的运动系数以符号/> 表示。
按照以下步骤计算校正后的运动系数:
S31,将当前帧和前4帧的运动系数按照大小进行排序,丢弃其中最大值;
S32,将剩余的运动系数进行算术平均,得到校正后的运动系数 D;
在视频图像采集装置工作时,会连续对场景进行拍摄。现在常用的视频图像采集装置工作帧率大于30fps(帧每秒),所以在连续的前后两帧图像之间时间间隔很小。在实际的场景中,在如此小的时间间隔内,运动物体必定会连续出现在连续的多帧图像中。根据该原理,在校正运动系数时,采用多帧的运动系数并丢弃其中最大值,可以避免运动物体的误判;将剩余的多帧的运动系数进行算术平均,可以得到更准确的运动系数;经过校正的运动系数,在前后帧之间也更平滑,对抑制噪声也有一定的帮助。
S4,根据校正后的当前帧运动系数对当前帧进行降噪处理;
输入的当前像素点校正后的运动系数为D,设置运动判断参数 。
如果 D > , 判定当前像素点为运动物体,在该情况下则直接将当前帧像素点作为时域滤波器模块的输出。
如果 D <= ,判断当前像素点为静止物体,在该情况下按照如下公式计算时域滤波器模块的输出。
其中, 表示当前帧宏块中对应位置像素的像素值, /> 表示参考帧中对应位置像素的像素值。/> 表示降噪后的计算输出结果。
同时,降噪后的计算输出结果同时输出到参考帧存储模块,以提供给后续的视频图像处理时使用。
本实施例的实时视频图像降噪方法,先对实时视频图像进行运动系数计算,并根据当前帧的前4帧图像的运动系数对当前帧的运动系数进行校正,能够较大程度提高运动物体判断的准确程度,提高降噪后图像的效果。在运动物体判断中,使用了多帧图像的运动系数。进一步的,在进行降噪时,只需要存储一帧的参考帧和4帧的运动系数,使用的存储空间也较小。
实施例二
参考图2-3,本实施例公开了一种实时视频图像降噪装置,其包括如下模块:视频图像获取模块、时域降噪模块、运动系数存储模块和参考帧存储模块。
运动系数存储模块连接于所述的时域降噪模块,用于存储时域降噪模块计算生成的运动系数,一共存储当前帧图像之前4帧图像的运动系数。并在降噪装置工作时,同时向时域降噪模块输出前4帧图像对应像素的运动系数。
参考帧存储模块连接于所述的时域降噪模块,用于存储时域降噪模块处理后生成的图像。并在降噪装置工作时,向时域降噪模块输出前一帧的时域降噪结果作为参考帧。
视频图像获取模块,用于获取实时视频;
具体的,本实施例获取实时视频可以是从视频图像采集装置处获取,例如摄像头等。
在另一个实施方式中,也可以从图像传感器获取,例如图像传感器获取实时视频,并将实施视频送给图像处理单元(image Signal Processor ,ISP)或者是中央处理器进行处理,进而本实施例的实施视频图像降噪方法运行在ISP或中央处理中,以对接收到的实时视频进行处理。
时域降噪模块,用于视频图像采集装置获取图像数据,根据参考帧存储模块提供的参考帧和运动系数存储模块提供的运动系数,对输入视频图像进行降噪处理并输出。同时,将新计算生成的运动系数存储到运动系数存储模块,将降噪后图像存储到参考帧存储模块;
具体的所述时域降噪模块,包括:运动系数计算模块、运动系数校正模块、时域滤波器模块;
运动系数计算模块,对所述实时视频进行运动系数计算,获取当前帧的运动系数;
具体的,本实施例从所述实时视频中获取待处理的视频帧图像,即当前帧,一般当前帧是正在进行降噪处理的帧,从当前帧来计算运动系数。
具体的,所述运动系数计算模块包括如下模块:
绝对差和计算模块,用于计算当前帧以及参考帧的绝对差和SAD,其中参考帧为当前帧的上一帧,并且参考帧已进行降噪处理过的帧;
在当前帧取当前像素为中心的7x7像素宏块,同时在参考帧相应位置也取7x7像素宏块。采用如下公式计算:
其中,表示当前帧宏块中对应位置像素的像素值, /> 表示参考帧中对应位置像素的像素值。
参考亮度值计算模块,用于计算当前像素位置的参考亮度值L;
本实施例采用如下公式计算当前像素位置的参考亮度值L:
其中, 表示当前帧宏块中对应位置像素的像素值。
运动阈值门限计算模块,用于根据亮度值L计算运动阈值门限Thr;
其中,Thr表示计算得到的运动阈值门限,L表示上面步骤S22计算得到的参考亮度值。slope和base用于调整Thr的起始值和斜率,这两个参数跟视频图像采集装置的性能有关,在具体实际应用中,需要根据视频图像采集装置的特性进行参数调整。
运动系数计算模块,用于计算运动系数 d,
进一步的,本实施例还包括一低通滤波模块,用于对获取的实时视频进行噪声处理。本实施例采用低通滤波器对实时视频进行降噪处理。本实施例采用高斯或双边滤波对实时视频进行降噪处理。低通滤波可以抑制输入图像的噪声,去除单个的异常坏点。防止在后续的运动系数计算时,将静止的像素点误判为运动物体。
运动系数校正模块,用于根据当前帧的前4帧图像的运动系数对所述当前帧的运动系数进行校正获取校正后的当前帧运动系数;
当前帧的前4帧计算得到的运动系数,以符号 、/> 、/> 和/> 表示,当前帧的运动系数以符号/> 表示。
运动系数校正模块包括如下模块:
排序模块,用于将当前帧和前4帧的运动系数按照大小进行排序,丢弃其中最大值;
平均单元,用于将剩余的运动系数进行算术平均,得到校正后的运动系数 D;
在视频图像采集装置工作时,会连续对场景进行拍摄。现在常用的视频图像采集装置工作帧率大于30fps(帧每秒),所以在连续的前后两帧图像之间时间间隔很小。在实际的场景中,在如此小的时间间隔内,运动物体必定会连续出现在连续的多帧图像中。根据该原理,在校正运动系数时,采用多帧的运动系数并丢弃其中最大值,可以避免运动物体的误判;将剩余的多帧的运动系数进行算术平均,可以得到更准确的运动系数;经过校正的运动系数,在前后帧之间也更平滑,对抑制噪声也有一定的帮助。
时域滤波器模块,用于根据校正后的当前帧运动系数对当前帧进行降噪处理;
输入的当前像素点校正后的运动系数为D,设置运动判断参数 。
如果 D > , 判定当前像素点为运动物体,在该情况下则直接将当前帧像素点作为时域滤波器模块的输出。
如果 D <= ,判断当前像素点为静止物体,在该情况下按照如下公式计算时域滤波器模块的输出。
其中, 表示当前帧宏块中对应位置像素的像素值, /> 表示参考帧中对应位置像素的像素值。/> 表示降噪后的计算输出结果。
同时,降噪后的计算输出结果同时输出到参考帧存储模块,以提供给后续的视频图像处理时使用。
本实施例的实时视频图像降噪装置,先对实时视频图像进行运动系数计算,并根据当前帧的前4帧图像的运动系数对当前帧的运动系数进行校正,能够较大程度提高运动物体判断的准确程度,提高降噪后图像的效果。在运动物体判断中,使用了多帧图像的运动系数。进一步的,在进行降噪时,只需要存储一帧的参考帧和4帧的运动系数,使用的存储空间也较小。
实施例三
参考图4,图4是本实施例的一种实时视频图像降噪设备的结构示意图。该实施例的实时视频图像降噪设备20包括处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述方法实施例中的步骤。或者,所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器22中,并由所述处理器21执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述实时视频图像降噪设备20中的执行过程。例如,所述计算机程序可以被分割成实施例二中的各个模块,各模块具体功能请参考上述实施例所述的装置的工作过程,在此不再赘述。
所述实时视频图像降噪设备20可包括,但不仅限于,处理器21、存储器22。本领域技术人员可以理解,所述示意图仅仅是实时视频图像降噪设备20的示例,并不构成对实时视频图像降噪设备20的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述实时视频图像降噪设备20还可以包括输入输出设备、网络接入设备、总线等。
所述处理器21可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器21是所述实时视频图像降噪设备20的控制中心,利用各种接口和线路连接整个实时视频图像降噪设备20的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块,所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块,以及调用存储在存储器22内的数据,实现所述实时视频图像降噪设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中,所述实时视频图像降噪设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器21执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种实时视频图像降噪方法,其特征在于:包括如下步骤:
S1,获取实时视频;
S2,对所述实时视频进行运动系数计算,获取当前帧的运动系数;所述步骤S2具体包括如下步骤:
S21,计算当前帧以及参考帧的绝对差和SAD,其中参考帧为当前帧的上一帧,并且参考帧已进行降噪处理过的帧;
S22,计算当前像素位置的参考亮度值L;
S23,根据参考亮度值L计算运动阈值门限Thr;
S24、计算运动系数 d,
;
S3,根据当前帧的前4帧图像的运动系数对所述当前帧的运动系数进行校正获取校正后的当前帧运动系数D;
S4,根据校正后的当前帧运动系数对当前帧进行降噪处理;所述步骤S4具体为:
如果 D > , 判定当前像素点为运动物体,在该情况下则直接将当前帧像素点作为时域滤波器模块的输出:
,
如果 D <= ,判断当前像素点为静止物体,在该情况下按照如下公式计算时域滤波器模块的输出:
,
其中, 表示当前帧宏块中对应位置/>像素的像素值, />表示参考帧中对应位置/>像素的像素值,/> 表示降噪后的计算输出结果, />为运动判断参数。
2.根据权利要求1所述的方法,其特征在于:所述步骤3具体包括:
S31,将当前帧和前4帧的运动系数按照大小进行排序,丢弃其中最大值;
S32,将剩余的运动系数进行算术平均,得到校正后的当前帧运动系数D。
3.根据权利要求1所述的方法,其特征在于:所述步骤S1还包括:对所述实时视频进行低通滤波。
4.根据权利要求1所述的方法,其特征在于:所述步骤S21具体为:
在当前帧取当前像素为中心的7x7像素宏块,同时在参考帧相应位置也取7x7像素宏块,采用如下公式计算:
。
5.根据权利要求1所述的方法,其特征在于:所述步骤S23具体为:采用如下公式计算运动阈值门限Thr:
,
其中,Thr表示计算得到的运动阈值门限,slope和base用于调整Thr的起始值和斜率。
6.一种实时视频图像降噪装置,其特征在于:包括视频图像获取模块、时域降噪模块、运动系数存储模块和参考帧存储模块;
所述视频图像获取模块,用于获取实时视频;
所述运动系数存储模块连接于所述的时域降噪模块,用于存储时域降噪模块计算生成的运动系数,一共存储当前帧图像之前4帧图像的运动系数;
所述参考帧存储模块连接于所述的时域降噪模块,用于存储时域降噪模块处理后生成的图像;
时域降噪模块,用于根据参考帧存储模块提供的参考帧和运动系数存储模块提供的运动系数,对输入视频图像进行降噪处理并输出;同时,将新计算生成的运动系数存储到运动系数存储模块,将降噪后图像存储到参考帧存储模块;
所述时域降噪模块包括:运动系数计算模块、运动系数校正模块、时域滤波器模块;
运动系数计算模块,对所述实时视频进行运动系数计算,获取当前帧的运动系数;所述运动系数计算模块包括如下模块:
绝对差和计算模块,用于计算当前帧以及参考帧的绝对差和SAD,其中参考帧为当前帧的上一帧,并且参考帧已进行降噪处理过的帧;
参考亮度值计算模块,用于计算当前像素位置的参考亮度值L;
运动阈值门限计算模块,用于根据亮度值L计算运动阈值门限Thr;
运动系数计算模块,用于计算运动系数 d,
;
运动系数校正模块,用于根据当前帧的前4帧图像的运动系数对所述当前帧的运动系数进行校正获取校正后的当前帧运动系数D;
时域滤波器模块,用于根据校正后的当前帧运动系数对当前帧进行降噪处理;所述时域滤波器模块具体为:
如果 D > , 判定当前像素点为运动物体,在该情况下则直接将当前帧像素点作为时域滤波器模块的输出:
;
如果 D <= ,判断当前像素点为静止物体,在该情况下按照如下公式计算时域滤波器模块的输出:
;
其中, 表示当前帧宏块中对应位置/>像素的像素值, /> 表示参考帧中对应位置/>像素的像素值,/>表示降噪后的计算输出结果, />为运动判断参数。
7.根据权利要求6所述的装置,其特征在于:所述运动系数校正模块包括如下模块:
排序模块,用于将当前帧和前4帧的运动系数按照大小进行排序,丢弃其中最大值;
平均单元,用于将剩余的运动系数进行算术平均,得到校正后的当前帧运动系数 D。
8.根据权利要求6所述的装置,其特征在于:所述绝对差和计算模块具体为:
在当前帧取当前像素为中心的7x7像素宏块,同时在参考帧相应位置也取7x7像素宏块,采用如下公式计算:
。
9.根据权利要求6所述的装置,其特征在于:所述参考亮度值计算模块具体为:采用如下公式计算运动阈值门限Thr:
;
其中,Thr表示计算得到的运动阈值门限,slope和base用于调整Thr的起始值和斜率。
10.一种非易失性存储器,所述非易失性存储器上存储有指令,其特征在于:所述指令被处理器执行时,用于实现如权利要求1-5中任一项所述的一种实时视频图像降噪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310235443.8A CN116523765B (zh) | 2023-03-13 | 2023-03-13 | 一种实时视频图像降噪方法、装置及存储器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310235443.8A CN116523765B (zh) | 2023-03-13 | 2023-03-13 | 一种实时视频图像降噪方法、装置及存储器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116523765A CN116523765A (zh) | 2023-08-01 |
CN116523765B true CN116523765B (zh) | 2023-09-05 |
Family
ID=87391053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310235443.8A Active CN116523765B (zh) | 2023-03-13 | 2023-03-13 | 一种实时视频图像降噪方法、装置及存储器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116523765B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0610972D0 (en) * | 2006-06-02 | 2006-07-12 | Tandberg Television Asa | Recursive filtering of a video image |
CN101853489A (zh) * | 2009-04-02 | 2010-10-06 | 深圳艾科创新微电子有限公司 | 一种视频图像降噪装置及方法 |
KR20130105316A (ko) * | 2012-03-14 | 2013-09-25 | 삼성테크윈 주식회사 | 비디오의 잡음 제거 방법 및 장치 |
CN103369209A (zh) * | 2013-07-31 | 2013-10-23 | 上海通途半导体科技有限公司 | 视频降噪装置及方法 |
WO2016165112A1 (zh) * | 2015-04-16 | 2016-10-20 | 中国科学院自动化研究所 | 一种对比度自适应的视频去噪*** |
CN109639929A (zh) * | 2019-01-11 | 2019-04-16 | 珠海全志科技股份有限公司 | 图像降噪方法、计算机装置及计算机可读存储介质 |
CN111583151A (zh) * | 2020-05-09 | 2020-08-25 | 浙江大华技术股份有限公司 | 一种视频降噪方法及设备、计算机可读存储介质 |
CN112311962A (zh) * | 2019-07-29 | 2021-02-02 | 深圳市中兴微电子技术有限公司 | 一种视频去噪方法和装置、计算机可读存储介质 |
CN115546047A (zh) * | 2022-09-02 | 2022-12-30 | 合肥埃科光电科技股份有限公司 | 基于改进局部滤波算法的视频图像降噪方法、装置及介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9374506B2 (en) * | 2013-01-04 | 2016-06-21 | Qualcomm Incorporated | Method and apparatus of reducing random noise in digital video streams |
CN109859126B (zh) * | 2019-01-17 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种视频降噪方法、装置、电子设备及存储介质 |
-
2023
- 2023-03-13 CN CN202310235443.8A patent/CN116523765B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0610972D0 (en) * | 2006-06-02 | 2006-07-12 | Tandberg Television Asa | Recursive filtering of a video image |
CN101853489A (zh) * | 2009-04-02 | 2010-10-06 | 深圳艾科创新微电子有限公司 | 一种视频图像降噪装置及方法 |
KR20130105316A (ko) * | 2012-03-14 | 2013-09-25 | 삼성테크윈 주식회사 | 비디오의 잡음 제거 방법 및 장치 |
CN103369209A (zh) * | 2013-07-31 | 2013-10-23 | 上海通途半导体科技有限公司 | 视频降噪装置及方法 |
WO2016165112A1 (zh) * | 2015-04-16 | 2016-10-20 | 中国科学院自动化研究所 | 一种对比度自适应的视频去噪*** |
CN109639929A (zh) * | 2019-01-11 | 2019-04-16 | 珠海全志科技股份有限公司 | 图像降噪方法、计算机装置及计算机可读存储介质 |
CN112311962A (zh) * | 2019-07-29 | 2021-02-02 | 深圳市中兴微电子技术有限公司 | 一种视频去噪方法和装置、计算机可读存储介质 |
CN111583151A (zh) * | 2020-05-09 | 2020-08-25 | 浙江大华技术股份有限公司 | 一种视频降噪方法及设备、计算机可读存储介质 |
CN115546047A (zh) * | 2022-09-02 | 2022-12-30 | 合肥埃科光电科技股份有限公司 | 基于改进局部滤波算法的视频图像降噪方法、装置及介质 |
Non-Patent Citations (1)
Title |
---|
结合运动补偿的球体双边滤波视频降噪算法;谭洪涛;田逢春;张莎;张静;邱宇;;***工程与电子技术(第12期);215-220 * |
Also Published As
Publication number | Publication date |
---|---|
CN116523765A (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8243150B2 (en) | Noise reduction in an image processing method and image processing apparatus | |
US9202263B2 (en) | System and method for spatio video image enhancement | |
KR101041366B1 (ko) | 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법 | |
US9514525B2 (en) | Temporal filtering for image data using spatial filtering and noise history | |
US20150310594A1 (en) | Method for imaging processing, and image processing device | |
CN110263699B (zh) | 视频图像处理方法、装置、设备及存储介质 | |
US9558395B2 (en) | Image correction device, image correction method, and imaging device | |
TWI382754B (zh) | 調整模糊影像的方法 | |
WO2011011445A1 (en) | System and method for random noise estimation in a sequence of images | |
KR100793284B1 (ko) | 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체 | |
KR20120074960A (ko) | 노이즈 변화와 움직임 감지를 고려한 영상 노이즈 필터링 방법 및 장치 | |
CN111127347A (zh) | 降噪方法、终端及存储介质 | |
CN114586337B (zh) | 视频防抖优化处理方法和装置、电子设备 | |
US20230069014A1 (en) | Method and apparatus for generating low bit width hdr image, storage medium, and terminal | |
US9014503B2 (en) | Noise-reduction method and apparatus | |
WO2023273868A1 (zh) | 图像降噪方法、装置、终端、存储介质 | |
JP2012199774A (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
JP2003134385A (ja) | 画像合成装置 | |
CN113379702B (zh) | 一种微循环图像的血管路径提取方法及装置 | |
CN113905185A (zh) | 图像处理方法和装置 | |
JP2006325274A (ja) | 撮像装置 | |
EP3001669B1 (en) | Image processing apparatus, image processing method and program | |
JP2005150903A (ja) | 画像処理装置、ノイズ除去方法及びノイズ除去プログラム | |
JP2024037722A (ja) | コンテンツに基づく画像処理 | |
JP2008288947A (ja) | 画像処理装置及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |