CN113096033A - 基于Retinex模型自适应结构的低光照图像增强方法 - Google Patents

Abstract

本发明公开了基于Retinex模型自适应结构的低光照图像增强方法，并且根据低光照条件进行了改进，包括以下步骤：提出了对输入图像光照结构和反射纹理提取的TSRI算法。根据低照度图像的特点，引入了反射图L0稀疏，解决了Retinex算法中反射图不够平滑的问题；针对Retinex低照度图像增强算法。将TSRI算法在HSV空间下对亮度分量进行处理。

Description

基于Retinex模型自适应结构的低光照图像增强方法

技术领域

本发明涉及基于Retinex模型自适应结构的低光照图像增强方法，属于图像处理技术领域。

背景技术

随着Facebook和Youtube等社交媒体的蓬勃发展，一些人把自己的日常生活拍下来或录下来，并通过互联网与其他人分享，这几乎成了家常便饭。然而，由于背光、曝光或黑暗环境，很多照片都是在低光环境下拍摄的。尽管技术和设备都有所改进，但拍摄照片的低质量是不可避免的，更不用说大量的照片仍留存过去许多的问题了。

在低光照环境中。首先，这些照片，即低光图像，受到低清晰度，低对比度和很大的噪音影响。需要后期处理技术来提高这些图像的视觉质量。其次，光学成像设备捕获的图像和视频的质量会降低，这同时也会降低特定***的性能，例如用于智能交通分析、视觉监视和消费电子产品的***。夜间环境中的低光照条件可以产生对比度低的图像和视频，降低能见度。虽然专业设备和先进的摄影技术可以在一定程度上缓解这些缺点，但噪音的内在因素是不可避免的，不能在硬件层面加以解决。在没有足够的光量的情况下，相机传感器的输出往往被***的固有噪声所掩盖。虽然较长的曝光时间可以有效地提高信噪比，并且生成无噪声的图像，然而，它滋生了新的问题，如运动模糊。在图像处理和分析中，图像增强扮演着重要的角色。图像增强的主要目的就是处理图像，使之比原始图像更适合于某些特定领域。现如今，图像增强技术被用于各种科学与工程领域。比如大气科学，天体摄影术，生物医学，计算机视觉等等。

因此，软件级的低光图像增强技术在摄影中是非常受欢迎的。此外，这种技术还可以使许多计算机视觉算法(目标检测、跟踪等)受益。因为它们的性能高度依赖于目标场景的清晰度。

低照度图像必须经过增强之后才能使用，现有的增强算法对图像质量提升有限。基于Retinex理论的增强算法，可以同时兼顾亮度提升、细节增强和颜色保真，对图像质量的提升比较全面，是低照度图像增强研究的重点。

在Retinex模型中，图像被分解成两部分，分别是入射分量和反射分量，入射分量是对光源、拍摄环境亮度等信息的描述，反射分量则是对物体表面信息的反馈，刻画了物体的本质属性。根据一幅图像求解入射分量和反射分量是一个问题，无法得到精确解。于是一些学者通过高斯函数和图像卷积来获得入射分量的近似解，进而求出反映图像本质属性的反射分量，达到增强的目的。为了简化计算量和处理方便，同时也更加符合人眼视觉，通常对公式(1)取对数处理，将乘法运算变换成加减运算，即

R(x,y)是Retinex算法的输出结果。随着Retinex算法的不断发展，出现了很多基于Retinex理论的增强算法，代表性的算法有SSR算法、MSR算法和MSRCR算法。

低照度图像一般是指在光线亮度较暗的拍摄环境下获取的图像。典型的低照度图像有两类，一类是图像的整体亮度比较低；另一类图像包含较亮的区域，但感兴趣的目标区域整体亮度非常低。

发明内容

本方法主要的研究内容是提出一种基于Retinex模型自适应结构的低光照图像增强方法。常见的几种Retinex算法应用到低照度图像增强领域都取得了不错的效果，在对比度和细节等方面都有改进。但传统的Retinex算法也有一定的局限性。早期的基于路径的方法，即反射分量可以通过一些随机路径上的比值的乘积来计算。这些方法需要仔细的参数调整，并且会产生很高的计算成本。全变分法将光滑和反射假设引入到变分模型中来估计光照和反射。但是这种方法由于对数变换的副作用，反射率被过度平滑。本方法首先提出了一种自适应结构的加权矩阵Retinex图像增强新算法，即对输入图像光照结构和反射纹理提取的TSRI算法。根据低照度图像的特点，引入了反射图L0稀疏，解决了Retinex算法中反射图不够平滑的问题，同时探究了增加不同加权矩阵和通过对加权矩阵迭代次数的控制对输出结果图的作用。

提出结构和纹理加权矩阵：

Retinex模型将观察到的场景分解为其照明和反射分量。这个问题是高度不适定的，需要考虑适当的光照和反射率的先验来正则化解空间。定性地说，光照应该是平滑的，捕捉场景中物体的结构，而反射率应该呈现被观察场景的物理特征，捕捉其纹理信息。以前的结构-纹理分解方法通常使用TV正则化模型来保持边缘。这些TV正则化模型只是强制场景的梯度相似性并提取对象的结构。结构纹理分解有两种方法。一种是使用结构保持技术直接导出结构，另一种方法是从估计的纹理矩阵中提取结构，然而，这些技术很容易产生振铃效应。为了更好地理解这些技术在结构/纹理提取中的作用，提出了新的滤波器即平均局部方差。

其中，Ω是O的每个像素周围的局部块，其大小在所有的实验中都设置为3x3。但是等式中出现的滤波器无法直接应用到具体问题上，因此，通过指数增长或衰减，提出局部导数将可以提取结构和纹理信息。在滤波器上添加指数，可以更灵活地分离结构和纹理提取。又如Retinex理论所述，较大的导数归因于反射率的变化，而较小的导数出现在平滑照明中。

又如Retinex理论所述，较大的导数归因于反射率的变化，而较小的导数出现在平滑照明中。基于这一观察结果，通过设置I₀＝R₀＝O^0.5，提出

其中γs>1和γt<1是两个指数参数，用于调整照明和反射分解的结构和纹理感知。

提出结构和纹理TSRI目标函数：

提出一个结构和纹理感知的Retinex模型来同时估计观测图像O的光照I和反射率R。为了使模型尽可能简单，采用L2范数对光照和反射率分量进行正则化。

式中，S0和T0是定义的两个矩阵,结构应该足够小以保留场景中对象的边缘，而大到可以抑制细节,纹理图应该足够小以显示细节.但是只是满足对光照和反射图的L2范式的约束，还不足以保证反射图的平滑。所以，加入对反射图的L0稀疏表达，来得到更精确的结果。

用交替方向最小二乘法来优化算法的求解：

由于目标函数是可分离的两个变量I和R，所以问题可以通过交替方向乘数法算法来解决，这两个分离的子问题是凸的，不适定的，交替地求解。初始化矩阵变量I₀＝R₀＝O^0.5。将I_k和R_k分别表示为第k次(k＝0，1，2，…)迭代时的照度和反射率变量，L是迭代次数。通过一次优化一个变量同时固定另一个变量，可以交替地更新这两个变量。本方法在求解过程中遇到L0范式，可以在反射图中用引入辅助变量h_p和v_p的方法来使得R同样转化成交替方向最小二乘法来解决。除此之外，关于对光照图和反射图进行迭代更新时是否应对加权矩阵同时更新，做了验证。

自适应结构的TSRI算法针对低照度图像取得了不错的效果，但在实验中发现，对低照度图像进行增强时的效果还有待改进。传统的增强算法对低照度图像进行反射分量的估计时，很容易降低人眼感知图像的效果，还会造成图像细节的大量损失。为了解决传统运算上述问题，对图像进行处理时，模型通过改变模型中的参数来改善图像的效果，获得了令人满意的结果。

附图说明

图1为Retinex模型图像增强简述图。

图2为方法流程概述图。

图3为结构纹理提取图。

图4为加权矩阵迭代不同次数反射率对比图。

图5与最新的低光增强算法的比较图。

图6是本方法中基于RIST模型的低照度图像增强算法亮度和饱和度对图像视觉效果的影响。

具体实施方式

本方法首先提出了一种针对低照度图像的自适应加权矩阵的Retinex增强算法，该算法引入新的指数局部导数，以更好地利用导数的全局性质，并将相关导数推广到结构和纹理映射中；算法输入图像分别提取光照和反射信息，同时对反射图进行L0稀疏表达；算法采用交替方向最小二乘法以更好的方式求解不适定问题。改进方案如下：

首先，新的新的目标函数会运用到L0平滑的求解，所以在此将L0求解的方法进行详细阐述。

在输入图上，R作为输入图像，W作为输出结果。梯度

计算每个像素p沿x和y方向相邻像素之间的色差。梯度测度则为：

计算P为

不为0的个数。W就可以定义为：

W_p是反射图梯度之和。上式也同时保证了图像结构相似性。(7)式是离散的，求解困难，所以同样采用交替方向最小二乘法。引入辅助变量h_p和v_p，分别对应

重新得到目标函数为：

C(h,v)＝#{P||h_p|+|v_p|≠0}并且

是一个参数来控制(h,v)与其相似梯度之间的相似性。当

足够大的时候，(8)就近似于(7)。用交替方向最小二乘法来解决W和(h,v)。

a)求解W：关于W的子问题最小化(8)式为：

通过省略不涉及W的相，得到(9)式，对其求导，可得到最小解。

b)关于(h,v)的目标函数为：

C(h,v)是(h,v)中非0元素的个数，则(10)可写成：

因为H(|h_p|+|v_p|)是二进制函数，如果H(|h_p|+|v_p|)＝0，则回到1，否则

返回0。所以(11)中的每一个像素p为：

在该条件下达到的最小E_P为：

通过上式推导，可以得出最小值E_P，将所有像素相加，得到最优解。

在固定的最大最小值中自动调整。算法迭代20次。

综上，可以求得输入图R的L0的解。

介绍完L0求解的方法，的框架主要包括结构纹理提取和光照分量迭代优化合成步骤。通过对输入图像采用Retinex模型，增添加权矩阵，提取结构和反射分量，并将这些分量进行反射结构变分约束。对于求解步骤，因为是不适定问题，所以采用最小二乘法，分别固定光照分量求解反射分量和固定反射分量求解光照分量。最后得到输出的低光增强图像。

根据提出的加权矩阵，重新提出一个优化的目标函数：

O是观测到的图像，I表示表示物体亮度的场景照明图，R表示表示场景物理特性的表面反射。S₀和T₀是根据结构应该足够小以保留场景中对象的边缘，而大到可以抑制细节，纹理图应该足够小以显示细节的要求提出的加权矩阵。对反射图进行L0稀疏，保证平滑性。

由于目标函数是可分离的两个变量I和R，所以问题可以通过交替方向乘数法(ADMM)算法来解决。初始化矩阵变量I₀＝R₀＝O^0.5。将I_k和R_k分别表示为第k次(k＝0，1，2，…)迭代时的照度和反射率变量，L是迭代次数。通过一次优化一个变量同时修复另一个变量，可以交替地更新这两个变量。根据每次迭代的光照和反射率，同时可以依次对S₀和T₀进行迭代更新。最后将导数设为零，得到光照和反射率的求解。

算法优化：

a)在第k次迭代中固定I时更新R：：关于R的优化问题变成：

为了解决这个问题，把它转化成向量。为此，使用向量化算子vec(·)，表示向量o＝vec(O)，i＝vec(I)，r_k＝vec(R_k)，s₀＝vec(S₀)，它们的长度为nm。用G表示离散梯度算子的Toeplitz矩阵，得到

。用

表示r_k，s₀位于主对角线上的矩阵。然后，将问题转化为标准最小二乘回归问题：

上式可以转化为：

其中，

将r'_k+1导数设为0，得到求解：

关于||r||₀可知，在实验过程中，注意到在提取光照结构的过程中，光照图的边缘并不十分显著，同时为了去除小的非零梯度，抚平不重要的细节，得到更为光滑的反射图，可以引入L0范式，对反射图进行稀疏表达。有效地通过增加过渡的陡峭度来锐化主要边缘，同时消除了可管理的低振幅结构。

反射图R上进行L0平滑可得：

关于反射图L0平滑的求解，可采用由前文提出的方法。

b)同理，在第k次迭代中固定R时更新I：：得到：

算法为：

针对基于Retinex的TSRI算法，选取了典型的低照度图像进行测试。对图像进行增强的主要步骤为：

步骤1：输入低照度图像，提取R、G、B颜色通道，转化为hsv空间的v通道进行实验；

步骤2：对初始光照图I0增添权重矩阵S0，对初始反射图R0增添权重矩阵R0；

步骤3：对反射图R0进行L0平滑；

步骤4：共轭梯度法求解Ik，共轭梯度法求解Rk，并进行迭代更新；

步骤5：在Ik和Rk基础上迭代K次更新Sk和Tk，K≥20；

步骤6：对光照图进行伽马矫正；

步骤7：得到结果光照图和结果反射图；

步骤8：输出最终的增强结果。

经过验证，发现上述增强算法改善了图像质量，丰富了图像细节信息，表明本方法算法对低照度图像的细节信息增强能力较强。

此外，为了使增强效果更加自然，引入了亮度修正和饱和度修正。

亮度修正：图像的亮度和人眼感知到的亮度不是线性关系，受很多因素的影响，包括物理因素和心理因素。人类视觉***对亮度的感知是有限制的，对视觉的刺激必须达到一定的比例才能被人眼感知到，这个最小比例值称为人眼辨识阈值。根据韦伯-费希纳定律，有如下关系：

其中ΔI是亮度的变化，I是实际的物理亮度，对公式(22)两边同时积分以后可以得到人眼感知的亮度和图像的物理亮度之间的关系：

K＝c₁·log I+c₂ (23)

从公式(23)的表达式可以看出人眼感知亮度的过程是非线性的，满足对数特性。因此在对图像亮度进行调整时，需要进行非线性的调整。在实际观察图像时，人眼对亮度的感受一方面受物体光照强度的影响，另一方面也依赖于图像的结构。图像背景的亮度也会影响到观察者的主观感受。由于人眼视觉特性具有方向性，对竖直方向和水平方向更加敏感，对其他方向上的亮度变化感受要弱一些，因此在估计背景亮度的时候，会选择性的增加竖直方向和水平方向的权重，相应的要减弱倾斜方向上的权重。所以RIST模型下像素点的平均背景强度为：

其中α和β是权值系数，Q和D分别是图像像素点的上下左右4邻域和对角线上的4邻域。

对于背景亮度较高的地方，需要进行亮度增强的限制，避免增强后的图像出现亮度不自然现象。对V分量进行亮度调整后的结果如下：

通过上式的调整，可以有效的改善图像中的亮度增强问题，增强后的图像亮度更加符合人眼的视觉特性。

饱和度修正：在RGB彩色空间，改变颜色通道的值会使图像发生较大的变化，例如增加R分量的值会使图像偏红，增加R分量和G分量的值会使图像偏黄。而在HSV彩色空间下，由于亮度和彩色分量是分离的，增加图像亮度不会使图像色彩往其他色彩偏移。但是高亮度区域的亮度提升会导致饱和度变淡，图像色彩淡化，具体的效果见图6。图(b)显示了增加亮度后图像高亮度区域的色彩淡化现象。对饱和度进行修正之后的结果见图(c)。修正之后的图像效果要比单纯的提升亮度效果更好。

对亮度分量使用Retinex算法增强之后，图像的亮度和饱和度之间的内在关系会发生变化，导致了增强后图像的色彩淡化，因此需要对饱和度分量进行调整，使饱和度跟随亮度分量同步变化。图像亮度和饱和度不是完全独立的，可以根据两者的相关系数进行协同变化。因此采用如下公式如图像的饱和度进行调整：

S′(x,y)＝S(x,y)+t(V′(x,y)-ρ(x,y)×V(x,y)) (26)

其中ρ(x,y)表示图像的相关系数，定义如下：

ω是图像的n*n邻域窗口，在窗口内部定义了亮度均值

和饱和度均值

如下式：

其中，

通过V分量和S分量的相关系数来使S分量随V分量的变化而变化，在亮度调整的同时使饱和度做相应的改变，可以避免图像的色彩淡化，最终的增强结果更加自然。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明；因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内；不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.基于Retinex模型自适应结构的低光照图像增强方法，其特征在于：该方法包括如下步骤：

步骤1：输入低照度图像，提取R、G、B颜色通道，转化为hsv空间的v通道进行实验；

步骤2：对初始光照图I0增添权重矩阵S0，对初始反射图R0增添权重矩阵R0；

步骤3：对反射图R0进行L0平滑；

步骤4：共轭梯度法求解Ik，共轭梯度法求解Rk，并进行迭代更新；

步骤5：在Ik和Rk基础上迭代K次更新Sk和Tk，K≥20；

步骤6：对光照图进行伽马矫正；

步骤7：得到结果光照图和结果反射图；

步骤8：输出最终的增强结果。

2.根据权利要求1所述的基于Retinex模型自适应结构的低光照图像增强方法，其特征在于：输入图像分别提取光照和反射信息，同时对反射图进行L0稀疏表达；采用交替方向最小二乘法。

3.根据权利要求2所述的基于Retinex模型自适应结构的低光照图像增强方法，其特征在于：针对基于TSRI模型下的Retinex低照度图像增强算法；根据人眼视觉特性和图像背景亮度的关系，对增强后的亮度分量进行非线性调整，使增强后图像的视觉效果符合人眼视觉特性；利用亮度和饱和度的相关特性对饱和度进行修正，使图像的色感更加饱满。

Images