CN111784603B - 一种raw域图像去噪方法、计算机装置及计算机可读存储介质 - Google Patents
一种raw域图像去噪方法、计算机装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111784603B CN111784603B CN202010606247.3A CN202010606247A CN111784603B CN 111784603 B CN111784603 B CN 111784603B CN 202010606247 A CN202010606247 A CN 202010606247A CN 111784603 B CN111784603 B CN 111784603B
- Authority
- CN
- China
- Prior art keywords
- chromaticity
- subgraph
- brightness
- pixel
- denoising
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001914 filtration Methods 0.000 claims abstract description 89
- 238000004364 calculation method Methods 0.000 claims abstract description 41
- 238000004590 computer program Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 11
- 230000009467 reduction Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种RAW域图像去噪方法、计算机装置及计算机可读存储介质,该方法包括获取初始图像,根据初始图像的各像素的色度值计算各像素的亮度值,获取初始亮度图;提取初始图像各颜色的色度子图以及对应的亮度子图;以亮度子图作为引导图对各色度子图进行引导滤波,获取初次去噪亮度子图以及初次去噪色度子图;对初次去噪亮度子图及对应的初次去噪色度子图进行联合滤波,获取二次去噪色度子图;应用二次去噪色度子图的各像素色度值计算各像素的输出色度值,基于各像素的输出色度值对多张色度子图进行反插值计算,获取输出图像。本发明还提供实现上述方法的计算机装置及计算机可读存储介质。本发明能够提高去噪图像的质量。
Description
技术领域
本发明涉及图像处理的技术领域,具体地,是一种RAW域图像去噪方法以及实现这种方法的计算机装置、计算机可读存储介质。
背景技术
现有很多智能电子设备具有图像拍摄的功能,例如智能手机、平板电脑、行车记录仪等均设置有摄像装置,摄像装置通常设置有CMOS传感器来获取图像。通常,一张图像包括大量的像素,每一个像素的色彩信息可以通过RGB数值或者YUV数值表示。
当前,常见的图像传感器例如CCD传感器和CMOS传感器所直接采集的图像格式称为RAW格式(或Bayer格式),需要将输出的图像经过图像信号处理器(ISP)处理后,转变为色彩域图像格式(RGB或YUV格式)进行输出。图像传感器在图像采集和传输过程中易受多种因素影响从而产生噪声,使得通过图像传感器直接获取的图像通常是含有噪声的图像。由于噪声信号与图像信号混合在一起,使得存在图像特征不明显、清晰度低的问题,所以通常需要进行降噪处理以提升图像的信噪比。
图像噪声通常可分为亮度噪声和色彩噪声,从频率上来看,亮度噪声通常是高频噪声,而色彩噪声通常是低频噪声。在低亮度环境下,色彩噪声尤为明显,这是由于人眼对于色彩噪声比亮度噪声更为敏感。
由于RAW域的Bayer图像是经图像传感器直接采集后输出,每一个像素单元仅包含红、绿、蓝三原色中的一种颜色的数据,在经过图像信号处理器的处理后,如去马赛克、自动曝光、去暗角等一系列操作会改变原始的噪声特性,使得去噪过程变得更加复杂。因而,现有技术中,通常会在RAW域先进行一次亮度去噪,再到色彩域进行色彩去噪,但通常存在以下问题:第一,去除色彩噪声的同时,会影响亮度信息,造成亮度信息的模糊;第二,会产生色彩混叠现象/产生偏色/或导致图像饱和度降低;第三,无法在RAW域进行去色噪,导致色彩噪声经过图像信号处理器的处理后被放大的问题。
例如,现有技术中存在将原始图像按照各个像素的颜色提取出各个颜色的色度子图,并且对色度子图进行去噪计算,但是这种方案并没有考虑亮度噪声与色彩噪声的差异,在去除色彩噪声的同时还会对亮度噪声造成影响,容易导致亮度信息模糊。并且,现有技术对图像的去噪处理通常是进行一级滤波,容易产生结构性噪声。
发明内容
本发明的主要目的是提供一种能够去除亮度噪声以及色彩噪声且避免产生结构性噪声的RAW域图像去噪方法。
本发明的另一目的是提供一种实现上述RAW域图像去噪方法的计算机装置。
本发明的再一目的是提供一种实现上述RAW域图像去噪方法的计算机可读存储介质。
为实现本发明的主要目的,本发明提供的RAW域图像去噪方法包括获取初始图像,根据初始图像的各像素的色度值计算各像素的亮度值,获取初始亮度图;提取初始图像各颜色的色度子图以及对应的亮度子图;以亮度子图作为引导图对各色度子图进行引导滤波,获取初次去噪亮度子图以及初次去噪色度子图;对初次去噪亮度子图及对应的初次去噪色度子图进行联合滤波,获取二次去噪色度子图;应用二次去噪色度子图的各像素色度值计算各像素的输出色度值,基于各像素的输出色度值对多张色度子图进行反插值计算,获取输出图像。
由上述方案可见,首先以亮度子图为引导图对各色度子图进行引导滤波,引导滤波主要是去除初始图像中的亮度噪声,避免后续去除色彩噪声的时候对亮度噪声造成干扰而影响亮度噪声的去除。并且,通过对各个颜色进行分通道处理,能够避免去噪过程中各个颜色的噪声相互干扰,避免产生色彩混叠或者产生色偏,也能够避免结构性噪声的问题。此外,由于通过两级滤波,第一级滤波是引导滤波,第二级滤波是联合滤波,联合滤波以亮度子图与色度子图同时作为参考,由于引导滤波时已经将亮度噪声去除,因此,联合滤波时在对色彩噪声过滤的过程中能够避免因亮度噪声过大而导致色偏严重,能够去除大部分色彩噪声。
一个优选的方案是,获取初次去噪亮度子图以及初次去噪色度子图后,还执行:对初次去噪亮度子图以及初次去噪色度子图进行下采样插值计算;对初次去噪亮度子图及对应的初次去噪色度子图进行联合滤波包括:应用下采样后的初次去噪亮度子图以及初次去噪色度子图进行联合滤波。
由此可见,通过对初次去噪亮度子图以及初次去噪色度子图进行下采样插值计算,可以进一步滤除初次去噪亮度子图以及初次去噪色度子图的高频特征,由于亮度噪声主要是高频特征,因此通过下采样能够进一步过滤亮度噪声,避免对色彩噪声过滤时因亮度噪声的存在而干扰色彩噪声的去除。
进一步的方案是,获取二次去噪色度子图包括:对应用下采样后的初次去噪亮度子图以及初次去噪色度子图进行联合滤波的图像进行上采样插值计算,获得二次去噪色度子图。
这样,通过上采样后可以确保二次去噪色度子图与初次去噪色度子图的像素点的总数量相等,有利于计算各个像素的输出色度值。
更进一步的方案是,应用二次去噪色度子图的各像素色度值计算各像素的输出色度值包括:应用二次去噪色度子图、一次去噪色度子图以及初始图像的各像素色度值计算各像素的输出色度值。
更优选的,应用二次去噪色度子图的各像素色度值计算各像素的输出色度值包括:应用二次去噪色度子图、一次去噪色度子图以及初始图像的各像素色度值按照预设的权重值进行融合计算获得各像素的输出色度值。
由此可见,根据二次去噪色度子图、一次去噪色度子图以及初始图像的各像素色度值计算各像素的输出色度值,可以确保所计算的各个像素的输出色度值更加接近于真实的颜色,使得去噪后的图像色彩更加逼真。
一个优选的方案是,以亮度子图作为引导图对各色度子图进行引导滤波包括:获取亮度子图的第一亮度搜索窗口以及各色度子图的第一色度搜索窗口,遍历第一亮度搜索窗口的每一像素并对每一像素进行匹配窗口的匹配计算,计算第一亮度搜索窗口内所有满足匹配要求的像素的亮度值的平均值作为当前像素的引导滤波亮度值,计算第一色度搜索窗口内所有满足匹配要求的像素的色度值的平均值作为当前像素的引导滤波色度值;其中,满足匹配要求为匹配窗口内像素的亮度值满足预设亮度阈值要求。
由此可见,以亮度子图作为引导图对各色度子图进行引导滤波的过程中,仅判断匹配窗口内像素的亮度值是否满足预设亮度阈值要求,也就是仅仅以亮度信息作为滤波器的主要参数,因此,引导滤波后的图像能够保留色彩噪声,在联合滤波时所使用的初始去噪色度子图依然保留色彩噪声,避免去除亮度噪声的时候就将色彩噪声去除。
更进一步的方案是,匹配窗口内像素的亮度值满足预设亮度阈值要求包括:匹配窗口内各像素的亮度值的预设误差算术值小于预设亮度阈值。
可见,通过预先设定的亮度阈值来确定当前的匹配窗口是否满足预设的要求,计算量减少,在通过硬件电路实现本发明的算法时,硬件电路简单,降低本发明的实现成本。
更进一步的方案是,对初次去噪亮度子图及对应的初次去噪色度子图进行联合滤波包括:获取初次去噪亮度子图的第二亮度搜索窗口以及各初次去噪色度子图的第二色度搜索窗口,遍历第二亮度搜索窗口以及对应的第二色度搜索窗口的每一像素并对每一像素进行匹配窗口的匹配计算,计算第二亮度搜索窗口及对应的第二色度搜索窗口内所有满足匹配要求的像素的亮度值的平均值作为当前像素的联合滤波亮度值,计算第二亮度搜索窗口及对应的第二色度搜索窗口内所有满足匹配要求的像素的色度值的平均值作为当前像素的联合滤波色度值;其中,满足匹配要求为:匹配窗口内像素的亮度值满足预设亮度阈值要求,并且匹配窗口内像素的色度值满足预设的色度阈值要求。
可见,在联合滤波的过程中,同时考虑各像素的亮度值以及色度值的情况,也就是以亮度值以及色度值共同作为滤波器的主要参数进行滤波,能够同时对各像素的亮度噪声以及色彩噪声进行过滤。由于引导滤波时已经过滤了亮度噪声,因此,联合滤波时能够避免亮度噪声对色彩噪声的影响。
为实现上述的另一目的,本发明提供的计算机装置包括处理器以及存储器,存储器存储有计算机程序,计算机程序被处理器执行时实现上述RAW域图像去噪方法的各个步骤。
为实现上述的再一目的,本发明提供计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述RAW域图像去噪方法的各个步骤。
附图说明
图1是本发明RAW域图像去噪方法实施例的流程图。
图2是初始图像的各像素色度值的排列示意图。
图3是初始图像中多个邻域窗口的示意图。
图4是从初始图像提取多个色度子图的示意图。
图5是从初始图像提取多个亮度子图的示意图。
图6是搜索窗口与匹配窗口的示意图。
图7是本发明RAW域图像去噪方法实施例中进行下采样的示意图。
以下结合附图及实施例对本发明作进一步说明。
具体实施方式
本发明的RAW域图像去噪方法应用在智能电子设备上,优选的,智能电子设备设置有摄像装置,如摄像头等,摄像装置具有诸如CMOS等图像传感器,智能电子设备利用摄像装置获取初始图像,本方法就是对图像传感器获取的初始图像进行色彩噪声、亮度噪声的处理方法。优选的,智能电子设备设置有处理器以及存储器,存储器上存储有计算机程序,处理器通过执行该计算机程序实现上述的RAW域图像去噪方法。
RAW域图像去噪方法实施例:
本实施例主要是针对图像传感器获取的初始图像进行去噪方法,参见图1,首先执行步骤S1,获取初始图像,具体的,获取有CCD传感器或者CMOS传感器输出的初始图像。通常,初始图像的色彩信息是RGB信息。以Bayer图像为例,Bayer图像格式如图2所示,初始图像具有大量的像素,每一个像素具有一种色彩信息,例如第一行像素的色彩信息是红色R或者绿色Gr的色彩信息,红色R像素与绿色Gr像素是间隔布置的,第二行像素的色彩信息是绿色Gb或者蓝色B的色彩信息,绿色Gb像素与蓝色B像素是间隔布置的。每一个像素的色彩信息为色度值,色度值通常是0至255的二进制数。
然后,执行步骤S2,计算各像素的亮度值,并形成初始亮度图。具体的,针对每一像素,对该像素邻域3×3像素进行插值计算。如图3所示,如果某一像素的中心像素为红色R,则该像素的邻域3×3像素的结构如图3(a)所示,红色R像素的亮度值可以通过下面的公式计算获得:
Y=(4×R+2×∑G+∑B)/16 (式1)
如果某一像素的中心像素为蓝色B,则该像素的邻域3×3像素的结构如图3(d)所示,蓝色B像素的亮度值可以通过下面的公式计算获得:
Y=(4×B+2×∑G+∑R)/16 (式2)
相应的,如果某一像素的中心像素为绿色Gr或者Gb,则该像素的邻域3×3像素的结构如图3(b)或者如图3(c)所示,绿色Gr或者Gb像素的亮度值可以通过下面的公式计算获得:
Y=(4×G0+2×∑R+2×∑B)/8 (式3)
上述公式1、公式2、公式3中,∑R是3×3邻域内所有红色R像素的色度值之和,∑B是3×3邻域内所有绿色B像素的色度值之和,∑G是3×3邻域内所有绿色Gr以及Gb像素的色度值之和,而G0是中心像素为绿色Gr或者绿色Gb像素时,中心像素的色度值。
在计算各像素的亮度值后,初始图像中的每一个像素将具有对应的亮度值,将每一像素以亮度值表示,即形成初始亮度图。
接着,执行步骤S3,提取各颜色的色度子图,并提取各色度子图对应的亮度子图。具体的,将初始图像中所有红色R像素提取形成一张红色R像素的色度子图,将初始图像中所有蓝色B像素提取形成一张蓝色B像素的色度子图,将初始图像中所有绿色Gr像素提取形成一张绿色Gr像素的色度子图,将初始图像中所有绿色Gb像素提取形成一张绿色Gb像素的色度子图,从而形成四张色度子图,图4显示了四种色度子图的结构。
在提取各色度子图时是依据各像素的色彩通道决定的,相应的,根据各像素的色彩通道从初始亮度图中提取各颜色通道对应的亮度子图,如图5所示,针对红色R像素,提取所有红色R像素的亮度值并形成红色R像素的亮度子图,提取所有蓝色B像素的亮度值并形成蓝色B像素的亮度子图,提取所有绿色Gr像素的亮度值并形成绿色Gr像素的亮度子图,提取所有绿色Gb像素的亮度值并形成绿色Gb像素的亮度子图,从而形成四张亮度子图。可见,本实施例的每一张亮度子图对应于一张色度子图,即红色R像素的色度子图对应于红色R像素的亮度子图,如此类推。
由于初始图像中,红色R像素的数量为初始图像的1/4,因此,提取获得的红色R像素的色度子图、对应的红色R像素的亮度子图的宽与高均为初始图像的宽与高的1/2。相同的,对于蓝色B像素、绿色Gr像素、绿色Gb像素,所提取的色度子图与亮度子图的宽、高均为初始图像的宽、高的1/2。
然后,执行步骤S4,以亮度子图作为引导图,对其对应的色度子图进行引导滤波,得到初次去噪亮度子图和初次去噪色度子图。本实施例中,引导滤波是用引导图像进行滤波降噪时,计算出的滤波器参数直接用于引导对应的色度子图进行滤波运算,并且,在计算滤波器参数时,仅仅使用亮度子图的数据,即以亮度子图中各像素的亮度值作为滤波的参考基准,这样,所计算的初次去噪亮度子图和初次去噪色度子图是针对亮度进行去噪的图像,即引导滤波主要是去除图像中的亮度噪声,尽量保留图像中的色彩噪声,色彩噪声将在后续的联合滤波中滤除。
下面详细介绍引导滤波的具体步骤。本实施例引导滤波是针对亮度子图以及色度子图的每一个像素进行的操作,即针对每一个像素,都需要计算初次去噪后的色度值以及亮度值。首先,针对一个待计算的像素,以当前像素为中心,提取邻域大小为9×9的搜索窗口,如果是在亮度子图下提取的搜索窗口,则该搜索窗口为第一亮度搜索窗口。图6所示的是从亮度子图中提取一个大小为9×9的第一亮度搜索窗口10。
然后,设定以当前像素为中心的大小为3×3的匹配窗口11,接着,遍历搜索窗口10内所有像素,取搜索窗口10内各像素的邻域窗口(邻域窗口的大小也是3×3)作为匹配窗口,例如匹配窗口12,匹配窗口12的中心像素为待匹配像素,将各像素的匹配窗口12与当前像素的匹配窗口11进行匹配运算。本实施例的匹配运算是采用绝对误差和算法(SAD算法)进行的。具体的,计算当前像素的匹配窗口11内各像素的亮度值与匹配窗口12中对应的像素的亮度值的差值的绝对值,例如,计算匹配窗口11左上角的像素的亮度值与匹配窗口12左上角的像素的亮度值的差值的绝对值,并依次计算其他八个像素对应的亮度值的差值的绝对值,然后计算九个像素的亮度值的差值的绝对值之和,判断九个像素的亮度值的差值的绝对值之和是否大于预设的亮度阈值,如果不大于预设的亮度阈值,则认为匹配窗口12的中心像素与当前像素的匹配窗口11的中心像素相似,即认为待匹配像素与当前的像素相似。
在遍历当前搜索窗口10所有像素后,确定与当前像素相似的所有待匹配像素,并且将所有相似的待匹配像素的亮度值进行累加,并计算所有相似的待匹配像素的亮度值的平均值,以该平均值作为当前像素初次滤波后的亮度值。在计算各像素初次滤波后的亮度值后,可以获得一张初次去噪后的亮度子图。
并且,针对色度子图,提取第一色度搜索窗口,第一色度搜索窗口的每一像素与第一亮度搜索窗口的每一像素是一一对应的关系。然后,在确定与当前像素相似的所有待匹配像素后,计算所有相似的待匹配像素的色度值的平均值,以该色度值的平均值作为当前像素初次滤波后的色度值。在计算各像素初次滤波后的色度值后,可以获得一张初次去噪后的色度子图。需要说明的是,确定某一像素与当前像素是否相似的标准是匹配窗口中的九个像素的亮度值的差值的绝对值之和不大于预设的亮度阈值,即判断的标准是以亮度值为依据,而不是以色度值为依据,因此,引导滤波是以亮度子图为引导图进行的滤波,滤波器的参数与亮度值相关,而与像素的色度值无关。这样,进行引导滤波后,能够去除图像中大部分亮度噪声,也就是进行了一次亮度噪声的去噪操作。
通过上述操作,可以获得四种色彩的四张初次去噪色度子图以及对应的四张初次去噪色度子图。然后,执行步骤S5,对每一张初次去噪色度子图及其对应的初次去噪亮度子图进行下采样插值计算。具体的,下采样计算可采用Binning方式实现,如图7所示为2倍下采样插值计算的示意图,以间隔2个像素对图像进行采样,即将相邻的2×2像素求平均值得到下采样后的值,例如,针对2×2的像素窗口15,求取该窗口15内四个像素的色度值的平均值作为下采样后的像素16的色度值,相同的,求取该窗口15内四个像素的亮度值的平均值作为下采样后的像素16的亮度值。
这样,对初次去噪色度子图进行2倍下采样插值计算之后,所得下采样图像的分辨率为初次去噪色度子图的1/2;同理,若进行4倍下采样插值计算,得到的图像分辨率为初次去噪色度子图的1/4。对亮度子图进行下采样插值计算,也是对像素的亮度值进行滤波,即使用四个像素的亮度值的平均值来替代该四个像素的亮度值。
接着,执行步骤S6,对下采样后的各通道色度子图与其对应的亮度子图进行联合滤波,得到二次去噪色度子图。本实施例中,联合滤波的计算与引导滤波计算类似,不同之处在于计算滤波器系数时,需同时依据各像素的亮度值和色度值进行运算,而不是仅仅依赖于亮度值的数据进行计算。
下面详细介绍联合滤波的具体步骤。首先,针对一个待计算的像素,以当前像素为中心,从下采样后的初次去噪亮度子图中提取邻域大小为9×9的搜索窗口,该搜索窗口为第二亮度搜索窗口,并且,从下采样后的初次去噪色度子图中提取邻域大小为9×9的搜索窗口,该搜索窗口为第二色度搜索窗口。
然后,针对第二亮度搜索窗口,设定以当前像素为中心的大小为3×3的匹配窗口,接着,遍历第二亮度搜索窗口内所有像素,取第二亮度搜索窗口内各像素的邻域窗口(邻域窗口的大小也是3×3)作为待匹配像素的匹配窗口,然后,将当前像素的匹配窗口与待匹配像素的匹配窗口进行匹配运算,例如进行绝对误差和算法(SAD算法)的匹配运算,绝对误差和算法的匹配运算不再赘述。
并且,针对第二色度搜索窗口,设定以当前像素为中心的大小为3×3的匹配窗口,接着,遍历第二色度搜索窗口内所有像素,取第二色度搜索窗口内各像素的邻域窗口(邻域窗口的大小也是3×3)作为待匹配像素的匹配窗口,然后,将当前像素的匹配窗口与待匹配像素的匹配窗口进行匹配运算,例如进行绝对误差和算法(SAD算法)的匹配运算。针对第二色度搜索窗口,进行绝对误差和算法的匹配运算时,使用的数据时各像素的色度值,而不是亮度值。
在联合滤波计算时,需要同时考虑亮度值与色度值的因素,即确认某一待匹配像素与当前像素相似,需要满足以下条件:在下采样的初次去噪亮度子图下,当前像素的匹配窗口与待匹配像素的匹配窗口的匹配运算结果不大于亮度阈值,并且,在下采样的初次去噪色度子图下,当前像素的匹配窗口与待匹配像素的匹配窗口的匹配运算结果不大于色度阈值。如果某一待匹配像素满足上述条件,则认为该待匹配像素与当前像素相似,否则,不认为该待匹配像素与当前像素相似。
在遍历第二亮度搜索窗口以及第二色度搜索窗口的所有像素后,确定与当前像素相似的所有待匹配像素,并且将所有相似的待匹配像素的色度值进行累加,并计算所有相似的待匹配像素的色度值的平均值,以该平均值作为当前像素二次滤波后的色度值。在计算各像素二次滤波后的色度值后,可以获得一张二次去噪后的色度子图。
由于联合滤波降噪计算过程中,滤波器的参数设计是同时参考亮度值和色度值的数据,且在联合滤波降噪前已去除了主要的亮度噪声,且还对亮度子图进行了下采样插值计算,所以通过联合滤波降噪可去除大多数的色彩噪声,且亮度噪声对色彩噪声的干扰非常少。
然后,执行步骤S7,对联合滤波获得的二次去噪色度子图进行上采样插值计算。由于步骤S5对初次去噪色度子图进行了下采样插值计算,步骤S7按照相同的倍率进行上采样插值计算,经过上采样插值计算后,获得的二次去噪色度子图的像素与初次去噪色度子图的像素相同。本实施例中,上采样插值计算可以有多种方法,例如双线性插值、双三次插值、Cubic插值算法,本实施例并不做限制。
接着,执行步骤S8,应用经过上采样插值计算的二次去噪色度子图的各像素色度值计算各个像素的输出色度值,具体的,本实施例应用上采样的二次去噪色度子图、初次去噪色度子图以及初始图像中各像素的色度值按照一定的权重进行融合计算,获取各像素的输出色度值,以尽可能的保持原图细节,减少因降噪算法对初始图像带来的影响。具体的,融合计算是根据设定的融合权重对两次的滤波结果与初始图像进行加权融合计算,例如使用下面的公式进行计算:
Pout=w2×Pfilt2+(1-w2)×(w1×Pfilt1+(1-w1)×Pori) (式4)
其中,Pout为像素的输出色度值,w1为初次去噪色度子图的权重,w2为二次去噪色度子图的权重,Pfilt1为初次去噪色度子图中该像素的色度值,Pfilt2为经过上采样的二次去噪色度子图中该像素的色度值,Pori为初始图像中该像素的色度值。可以理解,上述公式是示例性的公式,实际应用时上述公式可以有其他变化,本实施例并不做限定。
最后,执行步骤S9,依据多张色度子图进行反插值计算,并输出去噪计算的图像。由于步骤S3是从初始图像中提取了各颜色通道的色度子图,即将初始图像按照每一像素的颜色划分为四张色度子图,因此,步骤S9是根据初始图像的Bayer格式,以步骤S3相反的过程恢复各像素在初始图像中位置,从而形成一张输出图像,输出图像的每一像素的色度值是步骤S8所计算的输出色度值。
本发明首先按照各像素的颜色提取了各颜色通道的色度子图以及对应的亮度子图,并且进行引导滤波、联合滤波,因此滤波过程中不同颜色的像素之间的色度值、亮度值不会相互干扰,避免了滤波后的图像出现色彩混叠以及产生色偏的情况,也能够避免结构性噪声的问题,提高滤波后的图像质量。
并且,由于对色彩噪声进行滤波前,首先进行一次亮度噪声的滤波,本发明是进行两级滤波,相比起现有技术中仅通过一级滤波的方式,本发明能够避免亮度噪声信息模糊的问题发生,图像的去噪效果更好。此外,本发明的计算量不大,应用硬件实现本发明的算法时,硬件电路并不复杂,能够降低本发明的实现成本。
当然,上述实施例是本发明优选的实施方式,实际应用过程中,还可以有以下的变化:
在引导滤波和联合滤波降噪过程中,所使用的匹配算法并不限定使用绝对误差和算法来计算像素相似性,还可采用其他方式计算以实现类似效果,如使用平均绝对差算法(MAD)、绝对误差和算法(SAD)、误差平方和算法(SSD)、平均误差平方和算法(MSD)、归一化积相关算法(NCC)、序贯相似性检测算法(SSDA)、hadamard变换算法(SATD)等。
另外,在引导滤波和联合滤波降噪过程中,不限定使用均值滤波器对相似像素进行滤波,也可采用其他滤波降噪算法均可实现类似效果,如非局部均值(NLM)、双边滤波、高斯滤波方法。此外,联合滤波降噪过程也不限定通过相似性像素进行滤波降噪,也可采用导向滤波或频域滤波实现类似效果。
最后,引导滤波与联合滤波的滤波窗口大小也可以调节,上述实施例以9×9的邻域作为搜索窗口,以3×3的邻域作为匹配窗口,但以其他尺寸也可实现类似效果,例如以5×5、7×7、11×11的邻域作为搜索窗口,以5×5、7×7的邻域作为匹配窗口。
计算机装置实施例:
本实施例的计算机装置可以是智能电子设备,该计算机装置包括有处理器、存储器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述RAW域图像去噪方法的各个步骤。当然,智能电子设备还包括摄像装置,用于获取初始图像。
例如,计算机程序可以被分割成一个或多个模块,一个或者多个模块被存储在存储器中,并由处理器执行,以完成本发明的各个模块。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在终端设备中的执行过程。
本发明所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是终端设备的控制中心,利用各种接口和线路连接整个终端设备的各个部分。
存储器可用于存储计算机程序和/或模块,处理器通过运行或执行存储在存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现终端设备的各种功能。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
计算机可读存储介质实施例:
上述计算机装置所存储的计算机程序如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述RAW域图像去噪方法的各个步骤。
其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
最后需要强调的是,本发明不限于上述实施方式,例如滤波模板的变化,或者进行均值滤波的具体算法的变化等,这些改变也应该包括在本发明权利要求的保护范围内。
Claims (10)
1.一种RAW域图像去噪方法,包括:
获取初始图像,根据所述初始图像的各像素的色度值计算各像素的亮度值,获取初始亮度图;
提取所述初始图像各颜色的色度子图以及对应的亮度子图;
其特征在于:
以所述亮度子图作为引导图对各所述色度子图进行引导滤波,获取初次去噪亮度子图以及初次去噪色度子图;
对所述初次去噪亮度子图及对应的所述初次去噪色度子图进行联合滤波,获取二次去噪色度子图;
应用所述二次去噪色度子图的各像素色度值计算各像素的输出色度值,基于各像素的输出色度值对多张所述色度子图进行反插值计算,获取输出图像;
其中,以所述亮度子图作为引导图对各所述色度子图进行引导滤波包括:获取所述亮度子图的第一亮度搜索窗口以及各所述色度子图的第一色度搜索窗口,遍历所述第一亮度搜索窗口的每一像素并对每一像素进行匹配窗口的匹配计算,计算所述第一亮度搜索窗口内所有满足匹配要求的像素的亮度值的平均值作为当前像素的引导滤波亮度值,计算所述第一色度搜索窗口内所有满足匹配要求的像素的色度值的平均值作为当前像素的引导滤波色度值;
对所述初次去噪亮度子图及对应的所述初次去噪色度子图进行联合滤波包括:获取所述初次去噪亮度子图的第二亮度搜索窗口以及各所述初次去噪色度子图的第二色度搜索窗口,遍历所述第二亮度搜索窗口以及对应的第二色度搜索窗口的每一像素并对每一像素进行匹配窗口的匹配计算,计算所述第二亮度搜索窗口及对应的所述第二色度搜索窗口内所有满足匹配要求的像素的亮度值的平均值作为当前像素的联合滤波亮度值,计算所述第二亮度搜索窗口及对应的所述第二色度搜索窗口内所有满足匹配要求的像素的色度值的平均值作为当前像素的联合滤波色度值。
2.根据权利要求1所述的RAW域图像去噪方法,其特征在于:
获取所述初次去噪亮度子图以及所述初次去噪色度子图后,还执行:对所述初次去噪亮度子图以及所述初次去噪色度子图进行下采样插值计算;
对所述初次去噪亮度子图及对应的所述初次去噪色度子图进行联合滤波包括:应用下采样后的所述初次去噪亮度子图以及所述初次去噪色度子图进行联合滤波。
3.根据权利要求2所述的RAW域图像去噪方法,其特征在于:
获取所述二次去噪色度子图包括:对应用下采样后的所述初次去噪亮度子图以及所述初次去噪色度子图进行联合滤波的图像进行上采样插值计算,获得所述二次去噪色度子图。
4.根据权利要求1至3任一项所述的RAW域图像去噪方法,其特征在于:
应用所述二次去噪色度子图的各像素色度值计算各像素的输出色度值包括:应用所述二次去噪色度子图、一次去噪色度子图以及所述初始图像的各像素色度值计算各像素的输出色度值。
5.根据权利要求4所述的RAW域图像去噪方法,其特征在于:
应用所述二次去噪色度子图的各像素色度值计算各像素的输出色度值包括:应用所述二次去噪色度子图、所述一次去噪色度子图以及所述初始图像的各像素色度值按照预设的权重值进行融合计算获得各像素的输出色度值。
6.根据权利要求1至3任一项所述的RAW域图像去噪方法,其特征在于:
计算所述第一亮度搜索窗口内所有满足匹配要求的像素的亮度值的平均值作为当前像素的引导滤波亮度值时,满足匹配要求为所述匹配窗口内像素的亮度值满足预设亮度阈值要求。
7.根据权利要求6所述的RAW域图像去噪方法,其特征在于:
所述匹配窗口内像素的亮度值满足预设亮度阈值要求包括:所述匹配窗口内各像素的亮度值的预设误差算术值小于所述预设亮度阈值。
8.根据权利要求1至3任一项所述的RAW域图像去噪方法,其特征在于:
计算所述第二亮度搜索窗口及对应的所述第二色度搜索窗口内所有满足匹配要求的像素的亮度值的平均值作为当前像素的联合滤波亮度值时,满足匹配要求为:所述匹配窗口内像素的亮度值满足预设亮度阈值要求,并且所述匹配窗口内像素的色度值满足预设的色度阈值要求。
9.计算机装置,其特征在于,包括处理器以及存储器,所述存储器存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述RAW域图像去噪方法的各个步骤。
10.计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述RAW域图像去噪方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010606247.3A CN111784603B (zh) | 2020-06-29 | 2020-06-29 | 一种raw域图像去噪方法、计算机装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010606247.3A CN111784603B (zh) | 2020-06-29 | 2020-06-29 | 一种raw域图像去噪方法、计算机装置及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111784603A CN111784603A (zh) | 2020-10-16 |
CN111784603B true CN111784603B (zh) | 2024-01-26 |
Family
ID=72760787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010606247.3A Active CN111784603B (zh) | 2020-06-29 | 2020-06-29 | 一种raw域图像去噪方法、计算机装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111784603B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112446848A (zh) * | 2020-12-18 | 2021-03-05 | 维沃移动通信有限公司 | 图像处理方法、装置及电子设备 |
CN114723613A (zh) * | 2021-01-05 | 2022-07-08 | 北京小米移动软件有限公司 | 图像处理方法及装置、电子设备、存储介质 |
CN112862717B (zh) * | 2021-02-10 | 2022-09-20 | 山东英信计算机技术有限公司 | 一种图像的去噪模糊化方法、***及介质 |
CN113284065A (zh) * | 2021-05-26 | 2021-08-20 | Oppo广东移动通信有限公司 | 视频图像的去噪方法、装置、电子设备和可读存储介质 |
CN113240607A (zh) * | 2021-05-26 | 2021-08-10 | Oppo广东移动通信有限公司 | 图像去噪方法、装置、电子设备及存储介质 |
CN115908210A (zh) * | 2021-08-05 | 2023-04-04 | 中兴通讯股份有限公司 | 图像处理方法、电子设备、计算机可读存储介质 |
CN115988311A (zh) * | 2021-10-14 | 2023-04-18 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
CN114331899A (zh) * | 2021-12-31 | 2022-04-12 | 上海宇思微电子有限公司 | 一种图像降噪方法及装置 |
CN116912132B (zh) * | 2023-09-11 | 2023-12-26 | 归芯科技(深圳)有限公司 | Bayer域3DNR图像去噪方法及其装置 |
CN117376485B (zh) * | 2023-10-23 | 2024-04-23 | 上海为旌科技有限公司 | 一种yuv联合去除图像色度噪声的方法和滤波器 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7983511B1 (en) * | 2010-11-29 | 2011-07-19 | Adobe Systems Incorporated | Methods and apparatus for noise reduction in digital images |
CN105430357A (zh) * | 2015-11-26 | 2016-03-23 | 上海富瀚微电子股份有限公司 | 图像传感器的去马赛克方法及装置 |
CN106027854A (zh) * | 2016-06-22 | 2016-10-12 | 凌云光技术集团有限责任公司 | 一种应用于相机中适于fpga实现的联合滤波降噪方法 |
CN111161188A (zh) * | 2019-12-30 | 2020-05-15 | 珠海全志科技股份有限公司 | 一种降低图像色彩噪声的方法、计算机装置及计算机可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8488031B2 (en) * | 2011-01-14 | 2013-07-16 | DigitalOptics Corporation Europe Limited | Chromatic noise reduction method and apparatus |
-
2020
- 2020-06-29 CN CN202010606247.3A patent/CN111784603B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7983511B1 (en) * | 2010-11-29 | 2011-07-19 | Adobe Systems Incorporated | Methods and apparatus for noise reduction in digital images |
CN105430357A (zh) * | 2015-11-26 | 2016-03-23 | 上海富瀚微电子股份有限公司 | 图像传感器的去马赛克方法及装置 |
CN106027854A (zh) * | 2016-06-22 | 2016-10-12 | 凌云光技术集团有限责任公司 | 一种应用于相机中适于fpga实现的联合滤波降噪方法 |
CN111161188A (zh) * | 2019-12-30 | 2020-05-15 | 珠海全志科技股份有限公司 | 一种降低图像色彩噪声的方法、计算机装置及计算机可读存储介质 |
Non-Patent Citations (3)
Title |
---|
RGBX格式图像传感器的去马赛克算法;董鹏宇;;集成电路应用(第05期);全文 * |
基于多引导滤波的图像增强算法;刘杰;张建勋;代煜;;物理学报(第23期);全文 * |
基于轮廓波变换的图像混合噪声去除算法研究;许友雷;舒忠;;现代计算机(第33期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111784603A (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111784603B (zh) | 一种raw域图像去噪方法、计算机装置及计算机可读存储介质 | |
US8363123B2 (en) | Image pickup apparatus, color noise reduction method, and color noise reduction program | |
CN111784605B (zh) | 一种基于区域指导的图像降噪方法、计算机装置及计算机可读存储介质 | |
EP2089848B1 (en) | Noise reduction of panchromatic and color image | |
CN110246087B (zh) | 参考多通道的多分辨率去除图像色度噪声的***和方法 | |
CN111260580B (zh) | 图像去噪方法、计算机装置及计算机可读存储介质 | |
JP2020166628A (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
CN111161188B (zh) | 降低图像色彩噪声的方法、计算机装置及可读存储介质 | |
EP3891693A1 (en) | Image processor | |
US8520099B2 (en) | Imaging apparatus, integrated circuit, and image processing method | |
JP2020144488A (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
CN110852953B (zh) | 图像插值方法及装置、存储介质、图像信号处理器、终端 | |
US8471933B2 (en) | Image processing apparatus, image processing method and computer program | |
US8189066B2 (en) | Image processing apparatus, image processing method, and computer-readable medium | |
CN113168669A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
EP3275169B1 (en) | Downscaling a digital raw image frame | |
KR101600312B1 (ko) | 영상처리장치 및 영상처리방법 | |
JP5291788B2 (ja) | 撮像装置 | |
CN112907468A (zh) | 图像降噪方法、设备及计算机存储介质 | |
KR100869134B1 (ko) | 이미지 처리장치 및 방법 | |
WO2014115453A1 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
US9007494B2 (en) | Image processing apparatus, method for controlling the same and storage medium | |
KR101327790B1 (ko) | 영상 보간 방법 및 장치 | |
CN108810320B (zh) | 图像质量提升方法和装置 | |
CN112907653B (zh) | 一种图像处理方法、摄像装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |