CN109685742A - 一种暗光环境下的图像增强方法 - Google Patents

Abstract

一种暗光环境下的图像增强方法属于图像处理领域；存在很严重的增强后表现结果失真，图像轮廓模糊，色彩饱和度低的问题；包括提取暗光图像中HSV中的亮度分量V，进行全局亮度的对数变换，将暗光图像中低照度区域进行整体亮度的提升；利用视网膜神经元的感受野三高斯模型下的双边滤波来获取当前的暗光图像中像素点的邻域平均亮度；利用顶底帽变换处理，实现从图像背景中提取局部较亮部分的功能，再利用顶底帽变换对图像进行明暗提取和降噪；本发明不仅能很好的表现出暗光彩色图像增强后的细节，解决光照分布不均匀的问题，提升图像的整体对比度，使图像细节轮廓清楚，色彩饱和度高。

Description

一种暗光环境下的图像增强方法

技术领域

本发明属于图像处理领域，尤其涉及一种暗光环境下的图像增强方法。

背景技术

众所周知，图像处理中的图像增强技术在图像研究领域一直占据了举足轻重的作用， 近年来伴随图像增强技术的发展，研究学者提出了许多有效的图像增强方法，如小波变换 法等取得了显著的增强效果，但是这些增强方法因为单纯的引入数学方法到图像增强领域 中，没有考虑到人类的视觉感官特性，存在很严重的增强后表现结果失真，图像轮廓模糊， 色彩饱和度低的问题。

发明内容

本发明克服了上述现有技术的不足，提供一种暗光环境下的图像增强方法，将暗光彩 色图像RGB色彩空间转换为HSV空间，对暗光图像进行全局亮度对数变换；其次采用视网 膜神经元感受野三高斯模型来进行对图像局部边缘的对比度调整；最后根据形态学中的顶 帽变换和底帽变换，进行辅佐对光照的背景提取和降噪；本发明不仅能很好的表现出暗光 彩色图像增强后的细节，解决光照分布不均匀的问题，提升图像的整体对比度，使图像细 节轮廓清楚，色彩饱和度高。

本发明的技术方案：

一种暗光环境下的图像增强方法，包括以下步骤：

步骤a、提取暗光图像中HSV中的亮度分量V，进行全局亮度的对数变换，满足人类视觉特性的主观感受，将暗光图像中低照度区域进行整体亮度的提升；

步骤b、利用视网膜神经元的感受野三高斯模型为基础，并进行所述模型下的双边滤 波来获取当前的暗光图像中像素点的邻域平均亮度；

步骤c、根据当前图像中的点的亮度值与其邻域的平均亮度之间的关系，通过人眼的 主观亮度感觉与实际光强的对数的非线性特性来实现步骤a中对整体亮度增强图像的局 部对比度增强；

步骤d、利用顶底帽变换处理，实现从图像背景中提取局部较亮部分的功能，再利用 顶底帽变换对图像进行明暗提取和降噪，得到最终的暗光增强图像。

进一步地，提取暗光图像中HSV中的亮度分量V是将RGB色彩空间转化为HSV空间，得到三个分量，分别是亮度分量V、色调分量H和饱和度分量S；所述色调分量H和饱和 度分量S保持不变，对亮度分量V进行处理。

进一步地，所述将RGB色彩空间转化为HSV空间的公式如下：

其中，R、G、B分别代表原始暗光彩色图像的RGB空间的像素值。

进一步地，所述视网膜神经元的感受野三高斯模型如下：

其中，A₁，A₂，A₃分别表示中央、四周和边缘的峰值系数，σ₁，σ₂，σ₃分别表示 中央、四周和边缘的尺度参数。

进一步地，所述顶底帽变换方法，包括下列步骤：

步骤d1、顶帽变换和底帽变换分别定义为：

I”＝(I·B)-I (6)

其中，I为原始图像，I‘为顶帽变换后图像，I”为底帽变换后的图像，B为结构元素，表示原始暗光图像与结构元素B进行开运算最后得到的结果，即精细的得到背景图像；I·B表示原始暗光图像与结构元素B进行闭运算得到的结果；在原始图像上加上顶 帽变换的结果再减去底帽变换能够提高暗光图像整体的对比度；

步骤d2、选择圆盘形3×3结构元素进行形态学运算；大尺寸结构元素由小尺寸结构 元素多次膨胀而获得，结构元素形状与膨胀运算如下所示；

本发明相对于现有技术具有以下有益效果：

本发明提供了一种暗光环境下的图像增强方法，将暗光彩色图像RGB色彩空间转换为HSV空间，对暗光图像进行全局亮度对数变换；其次采用视网膜神经元感受野三高斯模型 来进行对图像局部边缘的对比度调整；最后根据形态学中的顶帽变换和底帽变换，进行辅 佐对光照的背景提取和降噪；本发明不仅能很好的表现出暗光彩色图像增强后的细节，解 决光照分布不均匀的问题，还能提升图像的整体对比度，使图像细节轮廓清楚，色彩饱和 度高。

附图说明

图1是本发明流程图；

图2是视网膜神经元的感受野三高斯模型对比图；

图3是效果对比图。

具体实施方式

以下将结合附图对本发明进行详细说明。

具体实施方式一

一种暗光环境下的图像增强方法，如图1所示，包括以下步骤：

步骤a、提取暗光图像中HSV中的亮度分量V，对亮度分量进行全局亮度的对数变换， 用于满足人类视觉特性的主观感受，将暗光图像中低照度区域进行整体亮度的提升；

步骤b、利用视网膜神经元的感受野三高斯模型为基础，并进行所述模型下的双边滤 波来获取当前的暗光图像中像素点的邻域平均亮度；

步骤c、根据当前图像中的点的亮度值与其邻域的平均亮度之间的关系，通过人眼的 主观亮度感觉与实际光强的对数的非线性特性来实现步骤a中对整体亮度增强图像的局 部对比度增强；

步骤d、虽然前两个步骤使暗光图像得到了很好的增强效果，但是图像的背景明暗还 是不好，利用顶底帽变换处理，实现从图像背景中提取局部较亮部分的功能，再利用顶底 帽变换对图像进行明暗提取和降噪，得到最终的暗光增强图像。

具体地，由于彩色图像RGB颜色空间具有很高的色彩相关性，本实施方法没有将RGB 三个色彩通道进行各通道的单一处理,是将RGB色彩空间转化为HSV空间，得到三个分量， 分别是亮度分量V、色调分量H和饱和度分量S；所述色调分量H和饱和度分量S保持不变，对亮度分量V进行处理。

具体地，所述将RGB色彩空间转化为HSV空间的公式如下：

其中，R、G、B分别代表原始暗光彩色图像的RGB空间的像素值，θ表示角度的色相角，π表示角度180°。

具体地，生物学研究表明，人眼视觉对亮度的反应具有对数非线性这一特殊性。人眼 会根据周围环境中光照强度的变化做出调整，人眼是不能同时在一个范围内工作的，当人 眼在当前的平均亮度下适应后，视觉的感受范围会有限制。比如在一个黑暗的屋子里中点 亮一盏灯，在该环境下比再点亮十盏灯对人眼的刺激还大。所以在图像中，平均亮度大的 区域范围内的灰度误差，人眼的视觉感受并不敏感。人眼会在当前的这一光照强度上适应 该强度的主观亮度的范围。但是在这种光照强度下，人眼对该范围具有限制作用，使其在 一定的亮度范围以下，导致对所有的刺激亮度都有不可辨别的黑色来理解。

具体地，所述全局亮度的对数变换方法包括暗光彩色图像整体的暗度较低，图像中的 物体大部分被阴暗遮蔽，人眼主观无法看出物体的轮廓。对亮度分量V进行对数变换，可 以满足人眼视觉对光照强度的主观感受，同时完成了对图像明暗的调整，动态范围的压缩。 其公式如下。

I_n(x,y)＝log(I(x,y)+1) (11)

式子中，I(x,y)为亮度分量V的值，M为图像动态范围最大值256，I_g(x,y)是对该亮度分量进行归一化处理。

为了准确的描述视网膜神经节细胞感受野的输入-输出表现的功能特性，Rodieck曾 提出了一种双高斯差模型，即DOG模型，该模型能定量描述其功能特性，以大小各异、同心重叠的圆形区来表现出神经节细胞传统感受野的中心区和外周区的分布情况。然而传统感受野外存在着很大范围的去抑制区，Li等在DOG模型的基础上进行深刻分析了其中的 原因，并以此基础上提出了三高斯模型，该模型与同一图像刺激动物的视觉神经元感受野 所得到的结果很吻合。使用这一模型来处理图像，不仅能很好的增强图像的边缘，同时它 还能高效的提升暗光图像中低空间频率的成分，最终满足了传递亮度梯度缓慢变化信息的需要。在DOG模型的基础上，通过添加第3个高斯核用，以此来代表大范围的去抑制区。

具体地，所述视网膜神经元的感受野三高斯模型如下：

其中，A₁，A₂，A₃分别表示中央、四周和边缘的峰值系数，σ₁，σ₂，σ₃分别表示 中央、四周和边缘的尺度参数，(x,y)表示当前位置的像素。

该模型用来处理暗光图像的亮度对比边缘部分时，既可以很好得增强边缘部分的对 比，又可以高效地表现出被传统感受野中心外周拮抗机制所过滤除的区域亮度对比和亮度 梯度信息。在本具体实施方式中采纳了感受野的三高斯模型，其在空间域上的特性用MATLAB仿真结果如图2所示，从该图中可以清晰的体现了中央刺激兴奋突出、四周抑制 和边缘部分兴奋的视网膜神经节的感受特性分布情况，用于暗光图像的增强有显著的效 果。

具体地，双边滤波具有很强的对图像边缘保持的性能，同时还有去噪的能力。该方法 是空间权值和相似权值都考虑的一种非线性滤波方法。由于考虑了像素点的数值及其位置 上两方面的原因：像素间的欧式距离和相似程度。选择三高斯模型下的双边滤波，可以充 分体现出物体边缘部位的信息情况。该方法下获得图像的平均亮度公式如下：

式中，G_R与G_V为空间和数值两方面相似的高斯核函数。

具体地，全局处理图像的亮度后，图像的对比度仍然很差，图像边缘轮廓不清。由当 前的像素亮度值与其邻域范围的平均亮度的关系，进行图像的局部的对比度增强。公式如 下：

I_lin(x,y)＝K(I_g(x,y)-I(x,y))+I(x,y) (17)

式子中，I_g(x,y)为图像全局对数变换，I(x,y)为当前像素点的邻域平均亮度，由三 高斯模型双边滤波获得。K为比例系数。

具体地，暗光彩色图像RGB转化HSV色彩空间后对V亮度分量处理后，经过全局亮度增强和局部亮度增强后，图像的颜色没有复原。采用颜色复元的方法如下公式所示。

式子中，I_j(x,y)分别对应原始暗光图像中的r、g、b三原色分量；S_j(x,y)是增强 后彩色图像对应的r、g、b三原色分量。

顶帽变换是图像分析处理中形态学变换的一种重要方法，能够完成对大面积范围内对 单一较暗背景的提取，从而可以能有效的进一步实现从背景中提取局部较亮区域的功能。 而底帽变换的作用则恰恰相反。具体地，所述顶底帽变换方法，包括下列步骤：

步骤d1、顶帽变换和底帽变换分别定义为：

I”＝(I·B)-I (20)

其中，I为原始图像，I‘为顶帽变换后图像，I”为底帽变换后的图像，B为结构元素，表示原始暗光图像与结构元素B进行开运算最后得到的结果，即精细的得到背景图像；I·B表示原始暗光图像与结构元素B进行闭运算得到的结果；开运算和闭运算的过 程如图4所示；B的选取对图像增强工作产生很重要的作用。顶帽变换具有类似高通滤波 的作用，可以突显出图像细节部分，而底帽变换则具备低通滤波的特色，突出图像相连接 目标部位间的边界，顶底帽变换之间这种特性进行相结合使用于暗光图像增强研究中，可 以将暗光图像的目标与背景得到一定的拉伸，突显出目标与细节部位的信息。在原始图像 上加上顶帽变换的结果再减去底帽变换可以很高效的提高暗光图像整体的对比度；

对于结构元素B的选择，形态学中的运算与结构元素的尺寸和形状都有紧密的关系， 构造不同的结构元素，便可以得到不同的结果，得到的暗光增强图像的效果也不同。结构 元素B在几何上必须比原图像简单，而且要有界。结构元素可以分为不同的形状，有圆盘形、菱形、六边形等。由于圆盘形结构元素具有各向对称特点，而3×3和5×5结构元素 最为常用，其中3×3结构元素的运算速度快，检测结果更加的精细，所以选择圆盘形3×3 结构元素进行形态学运算。结构元素的形状确定了之后，结构元素的尺寸则是起到了增强 结果的重要因素。小尺寸的结构元素对图像的去噪能力偏弱，但是有到好的边缘细节检测 能力。大尺寸的结构元素去噪能力很强，但是所检测的图像边缘显得较粗。

步骤d2、选择圆盘形3×3结构元素进行形态学运算；大尺寸结构元素由小尺寸结构 元素多次膨胀而获得，结构元素形状与膨胀运算如下所示；

其中，b表示结构元素，b_n表示经过n次膨胀得到的大尺寸结构元素。

具体实施方式二

有些研究工作者通过对人类视觉***的生物特征的仔细分析研究，将其应用于图像增 强领域当中，提出了基于Retinex理论的增强方法，该方法能在高动态范围增强图像，近 年来备受瞩目。然而，大部分Retinex方法能够获得较好的图像增强视觉效果，但仍普遍需要对图像中的RGB三个分量分别进行处理，这样既容易导致图像的颜色失真，而且由于同时完成局部对比度增强和动态范围压缩，使得整个图像的增强过程难以控制。通过深入研究了仿生彩色图像增强方法，发现，该图像增强方法有较好的视觉增强效果，但由于其在图像中对一些边界处理效果不佳，使得整体对比度不高，图片显得轮廓模糊。通过研究顶帽变换和底帽变换，发现了它对于细节和背景的明暗提取功能效果十分明显，于是将两种方法相结合，并与当前热门的直方图均衡和Retinex增强算法中的SSR(Single-ScaleRetinx)，MSRCR(Multi-Scale Retinex with Color Restoration)进行对比。

在具体实施方式一的基础上，本实施方式选取了四组对比照片作为测试样本，选取的 照片是暗光条件下拍摄的图片。a组图像为盆栽植物，b组为小猫，c组为湖水，d组为游乐场。与本发明相对比的方法是直方图均衡、Retinex算法中的SSR、Retinex算法中的MSRCR三种方法。四组图像中所采用的图片大小分别为700×500，950×700，400×700， 600×900彩色的jpg格式。测试对比图如图3所示；(a1)是原图及其灰度直方图；(b1) 是原图及其灰度直方图；(c1)是原图及其灰度直方图；(d1)是原图及其的灰度直方图； (a2)是直方图均衡其灰度直方图；(a3)是SSR及其灰度直方图；(a4)是MSRCR及其 灰度直方图；(a5)是本文发明及其灰度直方图；(b2)是直方图均衡其灰度直方图；(b3) 是SSR及其灰度直方图；(b4)是MSRCR及其灰度直方图；(b5)是本发明及其灰度直方 图；(c2)是直方图均衡及其灰度直方图；(c3)是SSR及其灰度直方图；(c4)是MSRCR 及其灰度直方图；(c5)是本文发明及其灰度直方图；(d2)是直方图均衡及其灰度直方图； (d3)是SSR及其灰度直方图；(d4)是MSRCR及其灰度直方图；(d5)是本文发明及其 灰度直方图。

原图像和各种增强方法增强效果的对比，人眼视觉的直观感受为：(a1)、(b1)、(c1)、 (d1)原始图像整体偏暗，图中物体轮廓不清，局部细节无法由人眼直接观察到，图像饱 和度差。(a2)、(b2)、(c2)、(d2)直方图均衡提高了图像的整体对比度，但是图像的细 节部分没有表现出来，图像存在较大噪声，颜色失真，图像饱和度差。(a3)、(b3)、(c3)、 (d3)SSR算法使图像整体偏白，存在过度增强的现象，主观视觉效果差，细节层次不分 明，图像色彩失真。(a4)、(b4)、(c4)、(d4)MSRCR算法对增强图像的色彩有了较好的 保持，图像视觉效果较好，但是图片饱和度低。(a5)、(b5)、(c5)、(d5)本实施方式增 强的暗光图像，图像对比度较高，树叶，猫，椅子等景物的细节清楚，轮廓分明，色彩丰 富，图像生动，清晰度高。通过效果图对比，能够得出本实施方式得到的暗光增强图像与 人眼所能感受到的实景更接近，实物的细节更突出，图片更清楚，图像生动色彩丰富，图 片的质量更好。

由(a2)、(b2)、(c2)、(d2)灰度直方图可以清晰的看出，直方图均衡算法对图像灰度拉伸比较明显，灰度分布覆盖0-255范围，可以使图像灰度级的概率密度分布近似于均匀分布，从而提高图像整体对比度并增强细节。由(a3)、(b3)、(c3)、(d3)、(a4)、(b4)、(c4)、(d4)可以看出SSR、MSRCR算法将灰度值较低的像素增强，增强之后灰度值变大， 使得图像低灰度的像素数量变少。由(a5)、(b5)、(c5)、(d5)的直方图可以看出，对灰 度拉伸比较明显，原直方图中的三个峰保留明显，对一些灰度的信息保留较好。

为了验证本发明的有效性，为此选用亮度均值、对比度提升指数、峰值信噪比PSNR3 个指标来作为本实施方式的评价标准。本发明的亮度均值指标定义为将RGB图像变换到 HIS色彩空间，对其中的亮度分量I进行取均值的操作。

对比度提升指数的定义：

将图像分为3×3小块，C表示为全部的3×3小块图像对比度的均值，小块对比度定义为:

式中，max为小块图像灰度值的最大值；min为小块图像灰度值的最小值。下标中的original和proposed符号分别表示暗光原始图像与其增强后的图像。

基于像素差异的评价标准，峰值信噪比PSNR。MSE表示增强的暗光图像X与输入的原 始暗光图像Y的均方误差，MSE的计算见公式(10)，公式中的H和W分别表示为图像中 的高和宽，(i,j)表示图像中点的像素值。PSNR是由MSE计算而来，它用来一个衡量图像 失真或是噪声水平，PSNR越大，表示失真和噪声越小。PSNR的计算见公式(11)。PSNR 指标是最普遍使用的评鉴画质的一种客观量测方法。

表1数据比较

表2数据比较

表3数据比较

表4数据比较

表1-表4为原始图像和经4种方法增强处理后图像性能的客观指标评价标准。从亮度均值角度来看，4种方法对原始暗光图像都均有显著的增强效果，提升了图像的亮度。 本发明亮度均值数值上低于其他增强算法。从对比度提升指数方面来看实验数据，直方图 均衡化和本发明的对比度提升指数最大，但是直方图均衡直观反映的图像效果并不好，不 适合暗光的增强效果，因为该算法并没有从物体成像的机制和人眼的视觉特性去考虑。而 本发明的对比度提升指数比起SSR和MSRCR算法，其数值较高，有良好的对比度增强效果。

从峰值信噪比PSNR指标可以得到，本发明的数值较大，图像的失真和噪声相比其他 3种算法来说较小。综上对暗光增强的主观评价和对MATLAB平台的测试数据客观对比来说，本发明优于其它几类热门的图像增强方法。

本发明针对暗光低照度图像中对比度低，图像轮廓细节模糊的问题，提出了顶底帽变 换的仿生图像增强算法。本发明引用了神经元感受野三高斯模型，使其增强了图像边缘的 对比度。同时引入了顶底帽变换，来对图像背景的提取以及图像去噪。本发明与直方图均 衡、SSR、MSRCR算法进行实验对比，从客观评价指标亮度均值、对比度提升指数和主观的视觉感受来评价结果。证实，本发明的暗光图像增强方法对图像的对比度提升有更好的效果，图像灰度范围被拉伸，图像轮廓细节部分有更明显的表现，在实际应用中有很强的研究价值。

Claims (5)

1.一种暗光环境下的图像增强方法，其特征在于，包括以下步骤：

步骤a、提取暗光图像中HSV中的亮度分量V，进行全局亮度的对数变换，满足人类视觉特性的主观感受，将暗光图像中低照度区域进行整体亮度的提升；

步骤b、利用视网膜神经元的感受野三高斯模型为基础，并进行所述模型下的双边滤波来获取当前的暗光图像中像素点的邻域平均亮度；

步骤c、根据当前图像中的点的亮度值与其邻域的平均亮度之间的关系，通过人眼的主观亮度感觉与实际光强的对数的非线性特性来实现步骤a中对整体亮度增强图像的局部对比度增强；

步骤d、利用顶底帽变换处理，实现从图像背景中提取局部较亮部分的功能，再利用顶底帽变换对图像进行明暗提取和降噪，得到最终的暗光增强图像。

2.根据权利要求1所述一种暗光环境下的图像增强方法，其特征在于，提取暗光图像中HSV中的亮度分量V是将RGB色彩空间转化为HSV空间，得到三个分量，分别是亮度分量V、色调分量H和饱和度分量S；所述色调分量H和饱和度分量S保持不变，对亮度分量V进行处理。

3.根据权利要求2所述一种暗光环境下的图像增强方法，其特征在于，所述将RGB色彩空间转化为HSV空间的公式如下：

其中，R、G、B分别代表原始暗光彩色图像的RGB空间的像素值。

4.根据权利要求1所述一种暗光环境下的图像增强方法，其特征在于，所述视网膜神经元的感受野三高斯模型如下：

其中，A₁，A₂，A₃分别表示中央、四周和边缘的峰值系数，σ₁，σ₂，σ₃分别表示中央、四周和边缘的尺度参数。

5.根据权利要求1所述一种暗光环境下的图像增强方法，其特征在于，所述顶底帽变换方法，包括下列步骤：

步骤d1、顶帽变换和底帽变换分别定义为：

I”＝(I·B)-I(6)

其中，I为原始图像，I‘为顶帽变换后图像，I”为底帽变换后的图像，B为结构元素，表示原始暗光图像与结构元素B进行开运算最后得到的结果，即精细的得到背景图像；I·B表示原始暗光图像与结构元素B进行闭运算得到的结果；在原始图像上加上顶帽变换的结果再减去底帽变换能够提高暗光图像整体的对比度；

步骤d2、选择圆盘形3×3结构元素进行形态学运算；大尺寸结构元素由小尺寸结构元素多次膨胀而获得，结构元素形状与膨胀运算如下所示；