CN104112253B - 一种基于自适应多尺度滤波的低照度图像/视频增强方法 - Google Patents

Abstract

本发明提供了基于自适应多尺度滤波的低照度图像/视频增强方法，本发明基于大气光散射模型、基于区域特性的自适应滤波、以及自适应亮度修复理论，在低照度视频以及图像增强领域，提出的自适应的多尺度滤波理论和方法，可以使处理后图像的亮度得到提升，同时提升图像或视频的对比度和清晰度，具有采用经典的均值滤波器，计算复杂度低；自适应地求取内部参数，适应范围较广，可以适用于彩色图像或灰度图像，具有良好的通用性。

Description

一种基于自适应多尺度滤波的低照度图像/视频增强方法

技术领域

本发明属于图像处理技术领域，尤其是涉及可用于单幅图像或连续视频的自适应低照度增强的一种基于区域属性的自适应均值滤波器以及自适应图像亮度修复的图像处理方法。

背景技术

随着信息化建设的发展，视频技术得到大面积推广应用，但是当图像/视频采集场景的照度太低时，视频画面的亮度和清晰度急剧降低，这是由于低照度的视频图像具有的灰度范围比较窄，相邻像素之间的相关性较高，灰度值的变化不明显等特征，导致图像中的有用的信息和无用的噪声都包含在一个非常窄的灰度范围之内，使得人们无法正常的观察低照度下的视频，为了改善低照度情况下的视频质量以及视觉的效果，以便从中获取有用的信息，需要对低照度的视频进行增强的处理。

当前国内外的研究者通过对低照度视频的分析，利用数字图象处理的基本理论，衍生出了许多富有创新性的低照度视频增强算法。国内研究者主要采用局部直方图均衡化、模糊逻辑理论的增强、基于小波变换和数学形态学等方法对低照度图像进行了增强；而国外研究者普遍采用了非线性的色调映射、基于空域和时域的自适应双边滤波以及BP神经网络等方法来对低照度图像进行增强。这些国内外研究者的关于低照度增强的方法提高了增强后图像的质量，但这些方法存在低照度增强算法复杂度高、视觉效果一般、无法根据场景自适应调节亮度等不足之处。

发明内容

本发明的目的在于克服之前方法的不足之处，提出一种实时的自适应的低照度增强算法，该方法利用了大气光散射模型，可以根据不同的场景特征自适应决定相关参数，对于低照度环境的视频和图像有普遍的增强效果，鲁棒性较高，增强后的图像视觉效果较好。

为实现上述目的，本发明提出如下技术方案：

定义如下变量以便于描述：

待处理整幅图像的尺寸为imagesize：即imagesize＝Height*Width，其中Height为图像的高，Width为图像的宽。

均值滤波器为avefilter(N)，其中N是均值滤波的窗口大小。

基础光强A：大气光成分的强度，本发明采用自适应的求取方法，能够根据不同的图像性质判断出不同的值。

亮度修复因子ω：修复透射率分布函数中的亮度，本发明采用自适应的求取方法，能够根据不同的图像的亮度求取不同的值。

透射率分布函数t(x,y)：光线通过大气环境干扰后没有被散射部分的比例，0≤t(x,y)≤1。

原始低照度图像为I_original：若为彩色图像，R、G、B三通道的值分别为I_{original_R}、I_{original_G}、I_{original_B}；若为灰度图像则I_original为单通道。

一种基于自适应多尺度滤波的低照度图像/视频增强方法，按照如下步骤实现：

1)定义低照度图像的光辐射场，取低照度图像每个像素点的三通道的最大值I_original，得到光辐射场初始值w(x，y)；

2)通过对低照度亮度的估测，制备出自适应的亮度修复因子ω：求出w(x,y)的平均值：NA_mean＝mean(w(x,y))，其中，NA_mean为w(x,y)的均值，其公式为其中其中na为图像中像素点的总数；x_i′为图像中某一点的亮度值；w(x,y)为光辐射场的初始值，自适应亮度修复因子ω＝k₀-(NA_mean/k₁)²，其中NA_mean反映了整幅图像的亮度平均值，k₁为设定的控制参数，该参数反映了图像的明暗程度；

3)通过对低照度亮度的估测，制备出基础光强A：定义整幅图像的尺寸为imagesize＝Height*Width，其中Height为图像的高Width为图像的宽，统计光辐射场w(x,y)的直方图Histogram_w；计算直方图的累加和当对应的j₁即为基础光强A，其中k₂为设定的控制参数；

4)制备两个自适应的均值滤波器avefilter1(N，x，y)，avefilter2(N，x，y)，定义局部窗口均值滤波器为avefilter(N,x,y)，其公式为：

其中p，q为二维图像中像素的坐标，正方形窗口的边长N＝2r+1；

逐点计算低照度图像局部窗口内光辐射场的标准差：N_std＝std(w(x,y))，其中，w(x,y)为光辐射场的初始值；std()为求取标准差的操作，其公式为其中n为2r+1边长正方形窗口中像素点的总数；x_i为图像中每一点的像素值；N_mean为2r+1边长正方形窗口内图像亮度平均值；N_std为2r+1边长正方形窗口内图像的标准差，反映了局部窗口内图像的差异；

对光辐射场的标准差做归一化处理：N_std2＝N_std ²/(k₃+N_std ²)，k₃为设定的控制参数，控制归一化曲线的弯曲程度；

求取自适应的窗口大小N：N＝2*floor(k₄*N_std2)+1，其中，floor()为向下取整数的操作，k₄为设定的控制参数，能够控制滤波器的窗口，其值越大，滤波器窗口越大，滤波后的图像越平滑；

5)对低照度图像进行亮度提升处理：

对光辐射场初始值做第一次处理：其中为卷积运算符；avefilter1(N,x,y)为先前制备出的均值滤波器模板；w(x,y)为光辐射场初始值；

对光辐射场初始值做第二次处理，其中为卷积运算符；avefilter2(2*N+1,x,y)为先前制备出的均值滤波模板；w(x,y)为光辐射场初始值：

光辐射场的精确估计值：U(x,y)＝ave1(x,y)*(1-N_std2)+ave2(x,y)*N_std2，其中N_std2为先前制备均值滤波器所求的归一化的光辐射场标准差；ave1(x,y)和ave2(x,y)分别为对光辐射场初始值进行两次滤波求得的值；U(x,y)定义为光辐射场的精确估计值；

透射率分布函数s(x,y)：其中ω为先前制备出的自适应亮度修复因子；B＝255-A；U(x,y)为已计算的光辐射场精确估计值；

根据复原公式J(x,y)＝(I_original(x,y)-A)*s(x,y)+A，将灰度图像亮度值I_original以及基础光强A、透射率分布函数s(x,y)代入计算得到复原后值J(x,y)，即可得到复原后图像J(x,y)。

上述技术方案中，原始低照度图像为彩色图像，计算低照度图像每个像素点的三通道的最大值，即可得到光辐射场初始值w(x,y)＝max(I_{original_R},I_{original_G},I_{original_B})，复原公式J(x,y)＝(I_original(x,y)-A)*s(x,y)+A，分别将三通道的值I_{original_R}(x,y)、I_{original_G}(x,y)、I_{original_B}(x,y)以及基础光强A、透射率分布函数s(x,y)代入计算得到R、G、B三通道的复原值J_R(x,y)、J_G(x,y)、J_B(x,y)，即可得到复原后图像J(x,y)；

上述技术方案中，若图像为灰度图像，光辐射场初始值w(x,y)＝I_original，复原公式J(x,y)＝(I_original(x,y)-A)*s(x,y)+A，将灰度图像亮度值I_original以及基础光强A、透射率分布函数s(x,y)代入计算得到复原后值J(x,y)，即可得到复原后图像J(x,y)；

上述技术方案中，参数k₁：可调控制参数，范围为0.7≤k₁≤0.95，实际值根据图像性质具体决定。

上述技术方案中，参数k₂：可调控制参数，范围为0≤k₂≤0.1，实际值根据图像性质具体决定。

本发明基于大气光散射模型、基于区域特性的自适应滤波、以及自适应亮度修复理论，在低照度视频以及图像增强领域，提出的自适应的多尺度滤波理论和方法，可以使处理后图像的亮度得到提升，同时提升图像或视频的对比度和清晰度，具有采用经典的均值滤波器，计算复杂度低；自适应地求取内部参数，适应范围较广，可以适用于彩色图像或灰度图像，具有良好的通用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法的流程图。

图2为低照度图片。

图3为图2进行增强后效果图。

具体实施方式

下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据图1、图2、图3所示：

首先定义如下变量以便于算法描述：

以待处理图像图2为例，变量imagesize＝Height*Widthian＝600×400＝120000。

见表1选择图2中8个像素RGB分量值作为实施例的数据，表2为处理后的图像8个像素RGB分量值，像素位置为图2、图3的小方框内的位置。

表1为原始低照度图2中8个像素RGB分量值

亮度修复因子ω：修复透射率分布函数中的亮度，本发明采用自适应的求取方法，能够根据不同的图像的亮度求取不同的值，具体见后续步骤(A1)--(A2)。

基础光强A：大气光成分的强度，本发明采用自适应的求取方法，能够根据不同的图像性质判断出不同的值，具体参见后续步骤。

透射率分布函数t(x,y)：光线通过大气环境干扰后没有被散射部分的比例，设定其取值区间为0≤t(x,y)≤1。

原始低照度图像I_original：图2为彩色图像，则R、G、B三通道的值分别定义为I_{original_R}、I_{original_G}、I_{original_B}。

参数k₀：可调控制参数，范围为0.8≤k₀≤1.1，本实施例中取0.95。当取值较大时，亮度提升的处理力度较大，反之亦然。

参数k₁：可调控制参数，范围为100≤k₁≤150，本实施例中取128。当取值较大时，亮度提升的处理力度较大，反之亦然。

参数k₂：可调控制参数，范围为0≤k₂≤0.1，本实施例中取0.1，当取值较大时图像的对比度较强，反之亦然。

参数k₃：可调控制参数，范围为500≤k₃≤1500，本实施例中取1000。

参数k₄：可调控制参数，范围为5≤k₄≤20，本实施例中取11。

一、前期处理步骤如下：

首先计算光辐射场的初始值w(x,y)：

因原始低照度图像为彩色图像，如图2所示，计算低照度图像每个像素点的三通道的最大值，即可得到光辐射场初始值w(x,y)＝max(I_{original_R},I_{original_G},I_{original_B})。

计算自适应的亮度修复因子ω：

(A1)求出w(x,y)的平均值：NA_mean＝mean(w(x,y))，其值的大小反映了整幅图像的亮度信息；mean()为求得整幅图像均值的操作，其公式为(n＝imagesize；x_i′为图像素的亮度值)。

(A2)求出自适应亮度修复因子ω：ω＝k₀-(NA_mean/k₁)²＝0.95-(NA_mean/128)²。其中Nmean是上述步骤中计算的光辐射场平均值。

计算自适应的基础光强A：

(B1)统计光辐射场w(x,y)的直方图Histogram_w。

(B2)计算直方图的累加和计算直方图的累加和j为累加和的上限，对于8bit图像j在[0,255]范围内变化，当累加和刚好满足时记j为j₁，则基础光强A＝j₁，本实施例中k₂＝0.1。

自适应均值滤波，其步骤为：

先定义均值滤波器avefilter(N,x,y)，其公式为：

其中其中p，q为窗口内像素距离中心坐标(x,y)的偏置量，N为窗口大小，r为窗口半径，r＝(N-1)/2。

(C1)计算局部窗口内的光辐射场标准差：N_std＝std(w(x,y))，其中，w(x,y)为前述光辐射场的初始值；std()为求取标准差的操作，其公式为其中n为窗口中像素点的总数；x_i为局部窗口中每一点的数值；N_mean为窗口内光辐射场平均值。本实施例中局部窗口的大小为9x9，因此n＝81。

(C2)标准差归一化处理：N_std2＝N_std ²/(k₃+N_std ²)，k₃为设定的控制参数，控制归一化曲线的弯曲程度，本实施例中k₃＝1000。

(C3)求取自适应的窗口大小N：N＝2*floor(k₄*N_std2)+1，其中，floor()为向下取整数的操作；本实施例中k₄＝11。

二、对低照度图像进行滤波处理以及复原图像。

(D1)对光辐射场初始值做第一次处理

其中为卷积运算符；avefilter1(N,x,y)为先前制备出的均值滤波器模板；w(x,y)为光辐射场初始值；

(D2)对光辐射场初始值做第二次处理

其中为卷积运算符；

avefilter2(2*N+1,x,y)为先前制备出的均值滤波模板；w(x,y)为光辐射场初始值；

(D3)得到光辐射场的精确估计值

U(x,y)＝ave1(x,y)*(1-N_std2)+ave2(x,y)*N_std2，其中N_std2为先前制备均值滤波器所求的归一化的光辐射场标准差；ave1(x,y)和ave2(x,y)分别为对光辐射场初始值进行两次滤波求得的值；U(x,y)定义为光辐射场的精确估计值；

(D4)得到透射率分布函数s(x,y)：

其中ω为先前制备出的自适应亮度修复因子；B＝255-A；U(x,y)为前一步骤中的光辐射场估计值。

(D5)根据大气光散射模型得到复原后图像

因原始低照度图像为彩色图像，如图2，则根据复原公式J(x,y)＝(I_original(x,y)-A)*s(x,y)+A，分别将三通道的值I_{original_R}(x,y)、I_{original_G}(x,y)、I_{original_B}(x,y)以及基础光强A、透射率分布函数s(x,y)代入计算得到R、G、B三通道的复原值J_R(x,y)、J_G(x,y)、J_B(x,y)，即可得到复原后图像J(x,y)；

表2为亮度提升后图2对应的8个像素值

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (2)

1.一种基于自适应多尺度滤波的低照度图像/视频增强方法，其特征在于：按照如下步骤实现：

1)定义低照度图像的光辐射场，取低照度图像每个像素点的三通道的最大值I_original，得到光辐射场初始值w(x,y)；

2)通过对低照度亮度的估测，制备出自适应的亮度修复因子ω：求出w(x,y)的平均值：NA_mean＝mean(w(x,y))，其中，NA_mean为w(x,y)的均值，mean()为求均值的操作，其公式为其中na为图像中像素点的总数；x′_i为图像中某一点的亮度值；w(x,y)为光辐射场的初始值；自适应亮度修复因子ω＝k₀-(NA_mean/k₁)²，其中NA_mean反映了整幅图像的亮度平均值，k₁为设定的控制参数，该参数反映了图像的明暗程度；

3)通过对低照度亮度的估测，制备出基础光强A：定义整幅图像的尺寸为imagesize＝Height*Width，其中Height为图像的高Width为图像的宽，统计光辐射场初始值w(x,y)的直方图Histogram_w；计算直方图的累加和Histogram_w，当对应的j1即为基础光强A，其中k₂为设定的控制参数；

4)制备两个自适应的均值滤波器avefilter1(N，x，y)，avefilter2(N，x，y)，定义局部窗口均值滤波器为avefilter(N,x,y)，其公式为：其中p，q为二维图像中像素的坐标，正方形窗口的边长N＝2r+1；

逐点计算低照度图像局部窗口内光辐射场的标准差：N_std＝std(w(x,y))，其中，w(x,y)为光辐射场的初始值；std()为求取标准差的操作，其公式为其中n为2r+1边长正方形窗口中像素点的总数；x_i为图像中每一点的像素值；N_mean为2r+1边长正方形窗口内图像亮度平均值；N_std为2r+1边长正方形窗口内光辐射场的标准差，反映了局部窗口内图像的差异；

对光辐射场的标准差做归一化处理：N_std2＝N_std ²/(k₃+N_std ²)，k₃为设定的控制参数，控制归一化曲线的弯曲程度；

求取自适应的窗口大小N：N＝2*floor(k₄*N_std2)+1，其中，floor()为向下取整数的操作，k₄为设定的控制参数，能够控制滤波器的窗口，其值越大，滤波器窗口越大，滤波后的图像越平滑；

5)对低照度图像进行亮度提升处理：

对光辐射场初始值做第一次处理：其中为卷积运算符；avefilter1(N,x,y)为先前制备出的均值滤波器模板；w(x,y)为光辐射场初始值；

对光辐射场初始值做第二次处理，其中为卷积运算符；avefilter2(2*N+1,x,y)为先前制备出的均值滤波模板；w(x,y)为光辐射场初始值：

光辐射场的精确估计值：U(x,y)＝ave1(x,y)*(1-N_std2)+ave2(x,y)*N_std2，其中N_std2为先前制备均值滤波器所求的归一化的光辐射场标准差；ave1(x,y)和ave2(x,y)分别为对光辐射场初始值进行两次滤波求得的值；U(x,y)定义为光辐射场的精确估计值；

透射率分布函数s(x,y)：其中ω为先前制备出的自适应亮度修复因子；B＝255-A；U(x,y)为已计算的光辐射场精确估计值；

根据复原公式J(x,y)＝(I_original(x,y)-A)*s(x,y)+A，将灰度图像亮度值I_original以及基础光强A、透射率分布函数s(x,y)代入计算得到复原后值J(x,y)，即可得到复原后图像J(x,y)。

2.根据权利要求1所述的一种基于自适应多尺度滤波的低照度图像/视频增强方法，其特征在于：参数k₁：可调控制参数，范围为0.7≤k₁≤0.95。