CN115334294B - 一种本地自适应力度的视频降噪方法 - Google Patents

Abstract

本发明属于图像信号处理技术领域，具体为一种本地自适应力度的视频降噪方法。本发明方法包括：生成本地增益地图；配合本地亮度以及BW0、BW1带宽曲线，生成本地带宽；把本地带宽作为3dB带宽控制点，通过相似度转权重曲线，得出最后的权重值；最后，进行加权、限位和原始图做融合，得到最后的降噪结果。本发明可以精准的得到本地增益地图，配合亮度噪声曲线，得到本地带宽，从根本上模拟出各级受数字增益影响的噪声模型，并适配到同一帧每一个像素用不同的降噪策略，达到更精准、更好的本地降噪效果。

Description

一种本地自适应力度的视频降噪方法

技术领域

本发明属于图像信号处理技术领域，具体涉及一种本地自适应力度的视频降噪方法。

背景技术

原始图像传感器送出的裸数据，会包含各种噪声，可以分为随机噪声和固定噪声，随机噪声和周期、位置无关，固定噪声因为像素的特性不一致，在图像的固定位置出现。这些噪声会使得图像质量恶化，同时也决定了图像传感器的灵敏度。针对不同的噪声类型，需要相应的降噪方法，视频降噪的主要技术有空域降噪、时域降噪、变换域降噪等。

常用的视频降噪在拜耳域或者YUV域进行，拜耳域一般采用空域降噪。拜耳域降噪在流水线上的位置一般在拜耳线性域，比如在Tonemapping之前。在拜耳域进行降噪最大程度的保留了原始噪声的模型，会有更好的降噪效果，同时拜耳域降噪付出的成本会更高一些，技术上也会更难一些。然而，拜耳线性域也不是完全线性的，因为各种数字增益的存在，会不同程度的破坏噪声分布，而且往往这些数字增益都是根据不同区域、不同场景在变化的。常见的拜耳域降噪算法比如基于双边滤波、基于传统非局部均值算法，都没办法解决如上问题。

本发明提出了一种本地自适应力度的视频降噪方法，取代传统的拟合方式，从根本上模拟出各种受数字增益破坏了的噪声模型，并适配到同一帧中不同的像素用不同的降噪策略。把影响噪声形态的因素作为输入，输出本地的降噪带宽，这个带宽配合相似度转权重曲线一起决定了当前像素参与降噪的权重，最后体现在当前像素的降噪效果上，实现了本地自适应降噪力度。

发明内容

本发明的目的在于针对拜耳域线性降噪遇到的噪声模型破坏问题，提出一种本地自适应力度的视频降噪方法。

本发明提供的本地自适应力度的视频降噪方法，采用本地自适应力度的方法，取代传统的拟合方式，从根本上模拟出各种受数字增益破坏了的噪声模型，并适配到同一帧中不同的像素用不同的降噪策略。把影响噪声形态的因素作为输入，输出本地的降噪带宽，这个带宽配合相似度转权重曲线一起决定当前像素参与降噪的权重，最后体现在当前像素的降噪效果上，实现本地自适应降噪力度。

本发明提供本地自适应力度的视频降噪方法，具体步骤为：

(1)生成本地增益地图；

(2)配合本地亮度以及BW0、BW1带宽曲线，生成本地带宽；

(3)把本地带宽作为3dB带宽控制点，通过相似度转换为权重曲线，得出最后的权重值；

(4)最后，进行加权、限位和原始图做融合，得到最后的降噪结果。

步骤(1)所述生成本地增益地图，具体流程为：把自动曝光控制的数字增益、自动白平衡通道增益、镜头阴影矫正通道增益、高动态范围融合中使用的通道增益(包括运动区域、过曝区域)等各种数字增益信号逐点相乘汇聚在一起，汇聚的过程需要进行存储、同步等功能，把每一个像素都完全对齐，最后生成本地增益地图。

步骤(2)所述配合本地亮度以及BW0、BW1带宽曲线，生成本地带宽，具体流程为：

(2.1)对原始拜耳图像，抽取同通道的像素，以当前像素为中心的7x7亮度窗口，通过一个低通滤波器，得到中心像素的亮度即：本地亮度；

(2.2)将步骤(1)得到的本地增益地图送给本地带宽0曲线(BW0)模块(图3)，本地亮度除以本地增益地图，然后送给本地带宽1曲线(BW1)模块(图4)；本地带宽0曲线(BW0)输入本地增益，输出Local_BW0,这里本地带宽0曲线采用16段拟合曲线(图3)，曲线控制点系数根据不同的图像传感器(CMOS sensor)标定完成，不同增益对应不同的降噪带宽。本地带宽1曲线(BW1)输入像素原始亮度(本地亮度除以本地增益得到原始亮度)，输出Local_BW1,这里本地带宽1曲线采用16段拟合曲线(图4)，曲线控制点系数根据不同的图像传感器(CMOSSensor)标定完成，不同感光亮度对应不同的降噪带宽。最后本地带宽0和本地带宽1相乘得到最后的本地带宽。

步骤(3)中，相似度值越小，相应的权重应该越大，步骤(3)所述把本地带宽作为3dB带宽控制点，通过相似度转权重曲线(图5)，得出最后的权重值；具体流程为：以当前像素为中心的7x7窗口中每个点和中心点的相似度表，记为S[7，7]，有49个点相似度，将这49个点的相似度转换成相应的49个权重值，记为权重表W[7，7]；具体采用图5描述的一个低通滤波器来拟合，分成9阶，该低通滤波器的3dB带宽由步骤(2)得到的本地带宽来控制。这样就实现了每一个像素的降噪带宽，每个像素都根据自身的情况得到最合适的降噪力度。同理根据相似度转权重曲线，可以把S[7，7]49个点相应的都转换成W[7，7]权重表，如图6所示。至此得到了降噪求权所需的每一个7x7相邻像素的权重，可以开始当前像素的降噪过程。

步骤(4)所述进行加权、限位和原始图做融合，得到最后的降噪结果，具体流程为：有了步骤(3)产生的7x7的权重表W[7，7]降噪过程相对就简单了，只要加权、限位、和原始图做融合就可以得到最后降噪输出的结果，如图7所示。具体公式如下：

Fusion_o＝NR_o*alpha+raw[24]*(1-alpha)，其中alpha＝[0～1]；

其中，NR_o为当前像素降噪后的结果，Fusion_o为当前像素降噪后的结果和原始降噪之前像素融合之后的输出；Clip表示截位操作，这里，小于0限制到0，大于4095限制到4095；raw[24]表示以当前像素为中心的7×7个原始裸数据，w[i]表示以当前像素为中心的7×7个像素对应的权重，即W[7，7]。

本发明的具体收益效果是：提出了一种本地自适应力度的视频降噪方法，可以精准的得到本地增益地图，配合亮度噪声曲线，得到本地带宽，从根本上模拟出各级受数字增益影响的噪声模型，并适配到同一帧每一个像素用不同的降噪策略，达到更精准、更好的本地降噪效果。

附图说明

图1为本地自适应降噪力度的本地带宽生成流程图。

图2为本地增益地图生成。

图3为本地带宽0曲线。

图4为本地带宽1曲线。

图5为相似度转权重曲线。

图6为7x7权重表生成。

图7为降噪融合过程。

图8本发明方法在视频降噪参考流程中的位置。

具体实施方式

本发明的本地自适应力度的降噪方法，嵌入在具体的降噪算法当中，比如视频降噪RawNR(裸图降噪)中本地增益和权重计算部分，如图8所示。输入裸视频图像输出降噪好的融合视频。本发明的具体实施方式如下：

图1是本地带宽生成图，首先需要生成本地增益地图，在本地增益模块中完成，本地增益是把自动曝光控制的数字增益、自动白平衡通道增益、镜头阴影矫正通道增益、高动态范围融合中使用的通道增益，等各种数字增益信号都汇聚在一起，汇聚的过程需要行存储、同步等功能把每一个像素都完全对齐，最后生成本地增益地图。同时通道窗口送过来的7x7亮度窗口，可以通过一个低通滤波器得到中心的本地亮度，本地增益地图送给本地带宽0曲线模块，本地亮度除以本地增益地图后送给本地带宽1曲线模块。本地带宽0曲线根据输入本地增益送出本地带宽0,16段拟合曲线根据不同传感器标定完成，不同增益对应不同的降噪带宽。本地带宽1曲线根据输入本地亮度除以本地增益后的原始亮度送出本地带宽1,16段拟合曲线根据不同传感器标定完成，不同感光亮度对应不同的降噪带宽。最后本地带宽0和本地带宽1相乘得到最后的本地带宽。

图2是本地增益地图生成的详细过程，由于一般流水线设计在RawNR之前有WBG(白平衡增益)、LSC(镜头阴影矫正)、HDRFusion(高动态范围)等模块，其中WBG中包含全局的自动白平衡增益和自动曝光数字增益、LSC包含本地的镜头阴影矫正亮度阴影和色彩阴影的通道增益、HDRFusion包含融合过程中选择不同区域使用了长/中/短曝光的增益不同，等等信息，这些不同的增益最后都会改变每一个像素的噪声形态。上图的本地增益地图，就是把所有这些相关的数字增益融合到一起，形成一张完整的本地增益地图，精确到每一个像素。

图3是本地带宽0曲线，由本地增益作为输入，根据16段虚线拟合而成，不同本地增益对应不同的本地带宽0(噪声的强弱)，通过对特定使用的图像传感器进行标定得到。

图4是本地带宽1曲线，由本地亮度除以本地增益的原始本地亮度作为输入，根据16段虚线拟合而成，不同本地原始亮度对应不同的本地带宽1(噪声的强弱)，通过对特定使用的图像传感器进行标定得到。

上面两个曲线的输出做相乘得到最后的本地带宽，作为参数送给相似度转权重曲线，如图5所示。

S值越小相应的权重应该越大，这里就用图5描述这个低通滤波器来拟合，分成9阶，该低通滤波器的3dB带宽由上面得到的本地带宽来控制。这样就实现了每一个像素的降噪带宽，每个像素都根据自身的情况得到最合适的降噪力度。

根据相似度转权重曲线，可以把S[7][7]49个点相应的都转换成W[7][7]权重表，如图6所示。至此得到了降噪求权所需的每一个7x7相邻像素的权重，可以开始当前像素的降噪过程。

有了7x7的权重降噪过程相对就简单了，只要加权、限位、和原始图做融合就可以得到最后降噪输出的结果。

Claims (1)

1.一种本地自适应力度的视频降噪方法，其特征在于，具体步骤为：

(1)生成本地增益地图；

(2)配合本地亮度以及BW0、BW1带宽曲线，生成本地带宽；

(3)把本地带宽作为3dB带宽控制点，通过相似度转权重曲线，得出权重值；

(4)最后，进行加权、限位和原始图做融合，得到最后的降噪结果；

步骤(1)所述生成本地增益地图，具体流程为：把自动曝光控制的数字增益、自动白平衡通道增益、镜头阴影矫正通道增益、高动态范围融合中使用的通道增益各种数字增益信号逐点相乘汇聚在一起，汇聚的过程进行存储、同步，把每一个像素都完全对齐，最后生成本地增益地图；

步骤(2)中，BW0带宽曲线也称本地带宽0曲线，BW1带宽曲线也称本地带宽1曲线；所述配合本地亮度以及BW0、BW1带宽曲线，生成本地带宽，具体流程为：

(2.1)对原始拜耳图像，抽取同通道的像素，以当前像素为中心的7x7亮度窗口，通过一个低通滤波器，得到中心像素的亮度，即：本地亮度；

(2.2)将步骤(1)得到的本地增益地图送给本地带宽0曲线模块，本地亮度除以本地增益地图，然后送给本地带宽1曲线模块；

本地带宽0曲线输入本地增益，输出Local_BW0；这里，本地带宽0曲线采用16段拟合曲线，曲线控制点系数根据不同的图像传感器标定完成，不同增益对应不同的降噪带宽；

本地带宽1曲线输入像素原始亮度，原始亮度为本地亮度除以本地增益得到，输出Local_BW1,这里本地带宽1曲线采用16段拟合曲线，曲线控制点系数根据不同的图像传感器标定完成，不同感光亮度对应不同的降噪带宽；

最后本地带宽0和本地带宽1相乘得到最后的本地带宽；

步骤(3)中，相似度值越小，相应的权重应该越大，步骤(3)所述把本地带宽作为3dB带宽控制点，通过相似度转权重曲线，得出最后的权重值；具体流程为：以当前像素为中心的7x7窗口中每个点和中心点的相似度表，记为S[7，7]，有49个点相似度，将其转换成相应的权重表，记为W[7，7]；具体采用一个低通滤波器来拟合，分成9阶，该低通滤波器的3dB带宽由步骤(2)得到的本地带宽来控制，这样就实现了每一个像素的降噪带宽，每个像素都根据自身的情况得到最合适的降噪力度；同理根据相似度转权重曲线，把S[7，7]49个点相应的都转换成W[7，7]权重表，得到降噪求权所需的每一个7x7相邻像素的权重；

步骤(4)所述进行加权、限位和原始图做融合，得到最后的降噪结果，具体公式如下：

Fusion_o＝NR_o*alpha+raw[24]*(1-alpha)，其中alpha＝[0～1]；

其中，NR_o为当前像素降噪后的结果，Fusion_o为当前像素降噪后的结果和原始降噪之前像素融合之后的输出；Clip表示截位操作，这里，小于0限制到0，大于4095限制到4095；raw[24]表示以当前像素为中心的7×7个原始裸数据，w[i]表示以当前像素为中心的7×7个像素对应的权重，即W[7，7]。

Images