CN108876741B - 一种复杂光照条件下的图像增强方法 - Google Patents

Abstract

本发明公开了一种复杂光照条件下的图像增强方法，主要包括初始化阶段、模糊增强阶段，图像重构阶段，首先完成井下视频图像采集，传输，并对视频图像进行小波分解，低频系数直方图均衡化，高频系数进行系数提取；接着设计去噪模型和新的PAL模糊增强算法，实现对高频部分的滤波处理和模糊增强，以及对模糊增强特征图像进行反模糊处理；最后对反模糊处理的高频系数和直方图均衡化的低频系数进行小波重构，并得到图像增强后的效果图。本发明能够有效克服由于井下光照条件复杂所造成的图像阴影、明暗区、暗光、高光导致的图像特征点急剧下降的问题，并促进图像设备在煤矿井下的进一步应用。

Description

一种复杂光照条件下的图像增强方法

技术领域

本发明属于图像识别领域，涉及一种图像增强、图像去噪技术，特别是通过应用于井下的图像预处理方法。

背景技术

当前基于图像增强的煤矿井下目标的探测对于维护矿山安全具有重要意义，但当前图像增强技术在实际复杂环境中应用较为困难。由于井下目标隐身能力强，在井下复杂环境下的目标辐射出的信号微弱且容易受到背景干扰，导致部分目标混杂在背景限以下的杂波之中。在工程上，主要通过加大光电探测器的增益、增加器件的光电转化效率、增大光学透镜焦距等手段增加摄像机的探测能力，但是在井下复杂环境下采集到的视频图像中目标仍然很微弱，仍然难以满足井下实际应用。

当前复杂环境下的图像增强多采用单一的空间域增强或者频域增强，且主要在增强图像对比度，突出图像细节，消除噪声等方面的研究。但是煤矿井下光照条件复杂，存在着光线差、照度不均匀，粉尘多等特殊情况，由光照条件复杂所造成的图像阴影、明暗区、暗光、高光等，这使得采用空间域增强直接处理像素灰度值，以及采用频域滤波器处理频域图像实现增强的方法无法满足井下视频图像既要消除噪声又要增强细节的要求。因此，研究一种适用于煤矿井下复杂光照条件的图像增强方法，是图像设备在煤矿井下应用中急需解决的问题。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种井下图像增强方法，解决现有井下图像识别技术无法满足由井下光照条件复杂所造成的图像阴影、明暗区、暗光、高光导致的图像特征点急剧降低问题。

本发明具体采用以下技术方案解决上述技术问题：

1.一种复杂光照条件下的图像增强方法，其特征在于，所述的图像图像增强方法包括初始化阶段，模糊增强阶段，图像重构阶段；在初始化阶段能够完成井下视频图像采集，传输，并对视频图像进行小波分解，低频系数直方图均衡化；在模糊增强阶段将小波分解后得到的高频系数进行系数提取，通过引入模糊隶属度因子的去噪模型和新的PAL模糊增强算法，实现对高频部分的滤波处理和模糊增强，使得到不同尺度、不同方向下的模糊增强特征图像，并对模糊增强特征图像进行反模糊处理；在图像重构阶段对反模糊处理的高频系数和直方图均衡化的低频系数进行小波重构，并得到图像增强后的效果图。

进一步的，所述初始化阶段包括以下步骤:

(1)可见光摄相机或者红外摄相机对井下复杂环境进行视频图像采集；

(2)将步骤1采集到的视频图像通过摄像机的RJ45接口或USB接口传输到图像处理单元，并进行视频图像存储；

(3)将步骤2传输到图像处理单元的视频图像进行视频图像单帧提取，将获得的单帧彩色图像进行灰度化处理；

(4)将步骤3所述灰度化处理后的图像进行多尺度小波分解，并得到第n个尺度下的低频系数和3n个方向的高频系数；

(5)将步骤4所得到的第n个尺度下的低频系数进行直方图均衡化处理。

进一步的，所述模糊增强阶段包括以下步骤:

(1)将所述的多尺度小波分解后所得到的3n个方向的高频系数，首先提取n＝1时分解的3个方向的高频系数，接着提取n＝2时分解的3个方向的高频系数，然后依次提取到第n个尺度时分解的3个方向的高频系数；

(2)将步骤1中得到的每一个尺度下得到的3个方向的高频系数依次分别采用引入模糊隶属度因子s的去噪模型去除图像高频系数中的噪声；

(3)通过设计模糊隶属度函数，将步骤2中去噪处理后的高频系数依次从空间域变换到模糊集域；

(4)通过设计模糊增强算子，将步骤3得到的模糊集域依次进行模糊集合非线性变换，即在模糊域对高频图像的像素值进行模糊函数计算，使得到不同尺度、不同方向下的模糊增强特征图像；

(5)根据步骤3所设计的模糊隶属度函数，将步骤4处理后的高频系数重新从模糊集域变换到空间域，即对所述的模糊增强特征图像进行反模糊处理。

进一步的，所述重构阶段包括以下步骤:

(1)将反模糊处理后得到的第n个尺度上高频系数和第n个尺度下直方图均衡化处理后的低频系数进行小波重构，重构出第n个尺度上模糊增强后的图像；

(2)将步骤1中得到的所述第n个尺度上模糊增强后图像像素矩阵与反模糊处理后得到的第n-1层高频系数进行图像矩阵构造，并重构出第n-1个尺度上的模糊增强后的图像；

(3)重复步骤1、2，当得到与原始图像同等分辨率的模糊增强处理后图像时，结束重复过程。

进一步的，所述的去噪模型设计主要包括：

(1)在小波阈值去噪模型中，通过引入一种模糊隶属度因子s，能够根据小波分解后图像的高频系数中的噪声分布情况自适应调整小波阈值，其小波去噪模型中的小波阈值函数构造表达式为：

式中，μ_T为小波阈值函数，ω_ij为小波高频系数中(i,j)点的绝对值，sgn(·)为符号函数，s为模糊隶属度因子，T为小波阈值；

(2)所述模型中的模糊隶属度因子s替代小波软阈值中的固定阈值T，所述因子能够根据图像噪声的分布情况自适应调整，大幅度提高了模型的灵活性，所述因子的计算公式为：

式中，a为调节因子，a∈(0,1]，ω_ij为小波高频系数中(i,j)点的绝对值，T为小波阈值；

(3)所述图像高频系数中的噪声信息的系数与图像信息的系数相差较大，通过对多尺度小波分解的高频部分进行均方差计算，得到的均方差就会比较大，然后确定某一个系数值，使大于这个数值的所有系数的均方差达到最小，且效果较好，则所述系数值就是所要选取的阈值，其阈值T计算公式为：

T＝2^-n|ω_ij|σ²/σ'

式中，n为最高小波分解层数，σ为图像噪声方差，且σ＝median(|ω_ij|)/0.6745，σ'为图像小波分解系数标准差，且

M为处理图片的行最大值、N为处理图像的列最大值。

进一步的，所述的PAL模糊增强算法包括：

(1)设计隶属度函数μ_ij：

式中，ω_ij为小波高频系数中(i,j)点的绝对值，ω_max为高频部分中最大系数绝对值；

ω_min为高频部分的最小系数绝对值；

(2)设计模糊增强算子：

式中，t为控制收敛速度的一个参数，t越大，收敛速度越快；可变参数μ_c∈[0,1]。

本发明的有益效果为：

本发明所述的一种复杂光照条件下的图像增强方法，利用小波分解模型的多尺度分解，使得分解后的每个分辨率上将高频和低频信息分开，实现了分别处理图像的高频噪声和图像整体对比度问题；在低频部分经过直方图均衡化处理后，图像灰度对比度得到提高，图像整体亮度有所改善，灰度动态范围扩大，具有较好的增强效果。同时，本算法处理后的图片低频部分并无引入噪声信号，算法能够把噪声信号与图像整体的轮廓信息进行有效分离；在高频部分的每个分辨率上通过设计去噪数学模型，能够有效的去除不同尺度下的高频噪声，在模糊增强图像采用模糊集域的非线性变换处理，能够有效的保留图像的细节信息以及纹理特征信息，低频系数保留原图像的概貌特性特征。

本发明所述的一种复杂光照条件下的图像增强方法，本算法增强后的图像与原始图像相比，图像的对比度明显提高，能够很好的去除在明暗对比强烈处的光晕，图像增强效果自然，而且所述的模糊处理函数很好的保持了井下图像中细节信息的完整度和增强了图像关键特征信息，能够应用于煤矿井下复杂光照环境下的视觉检测。

附图说明

图1为本发明所述一种复杂光照条件下的图像增强的初始化阶段流程图；

图2为本发明所述一种复杂光照条件下的图像增强的模糊增强阶段流程图；

图3为本发明所述一种复杂光照条件下的图像增强的重构阶段流程图。

图4为本发明所述一种复杂光照条件下的图像增强处理效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合说明书附图对本发明技术方案和具体实施方法进行清楚、完整地描述。

A.参照图1对一种复杂光照条件下的图像增强方法的基本流程进行说明，其具体步骤如下:

(1)图像采集(101)所采用的可见光摄相机或者红外摄相机为防爆设计，所述摄像机能够对井下复杂环境中的目标物体进行视频图像采集；

(2)图像传输(102)将步骤1采集到的视频图像通过摄像机的RJ45接口或USB接口传输到图像处理单元，图像处理单元包括DSP图像处理芯片、ISP图像处理芯片、CPU或者GPU；

(3)图像存储(103)将步骤2采集设备传输出来的视频图像进行存储，所用的图像数据存储可采用图像采集卡或者直接将视频图像数据上传到云服务器中；

(4)灰度化(104)将步骤2传输到图像处理单元的视频图像进行视频图像单帧提取，并进行图像保存，对保存后得到的单帧彩色图像进行灰度化处理；

(5)小波分解(105)将步骤4所述灰度化处理后的图像选择相应的小波基函数，并设计小波分解的尺度n的取值，n通常取1、2、3、4，把确定了小波基函数和尺度n后的所述灰度图像进行小波分解，能够得到第n个尺度下的低频系数和3n个方向的高频系数；所述小波基函数主要包括Haar小波基Biorthogonal(biorNr.Nd)小波系、、db系列小波基、Coiflet(coifN)小波系、SymletsA(symN)小波系、Molet(morl)小波、Mexican Hat(mexh)小波、Meyer小波；

(6)低频系数提取(106)将步骤5所得到的第n个尺度下的低频系数通过小波低频获取函数直接获取；

(7)低频处理(107)对获取的图像低频系数进行直方图均衡化处理，使低频系数图像像素均匀的分布在某一图像中，从而增强图像对比度和亮度。

B.参照图2对本发明所述的一种复杂光照条件下的图像增强方法的模糊增强阶段进行说明，其具体步骤如下:

(1)高频系数提取(201)将所述的多尺度小波分解后所得到的3n个方向的高频系数，首先提取n＝1时分解的3个方向的高频系数，接着提取n＝2时分解的3个方向的高频系数，然后依次提取到第n个尺度时分解的3个方向的高频系数；

(2)去噪模型设计(202)将步骤1中得到的每一个尺度下得到的3个方向的高频系数依次采用引入模糊隶属度因子s的小波去噪模型进行去噪处理，其小波去噪模型中的小波阈值函数构造表达式为：

式中，μ_T为小波阈值函数，ω_ij为小波高频系数中(i,j)点的绝对值，sgn(·)为符号函数，s为模糊隶属度因子，T为小波阈值；模型中的模糊隶属度因子s替代小波软阈值中的固定阈值T，所述因子能够根据图像噪声的分布情况自适应调整，大幅度提高了模型的灵活性，所述因子的计算公式为：

式中，a为调节因子，a∈(0,1]，ω_ij为小波高频系数中(i,j)点的绝对值，T为小波阈值；所述图像高频系数中的噪声信息的系数与图像信息的系数相差较大，通过对多尺度小波分解的高频部分进行均方差计算，得到的均方差就会比较大，然后确定某一个系数值，使大于这个数值的所有系数的均方差达到最小，且效果较好，则所述系数值就是所要选取的阈值，其阈值T计算公式为：

T＝2^-n|ω_ij|σ²/σ'

式中，n为最高小波分解层数，σ为图像噪声方差，且σ＝median(|ω_ij|)/0.6745，σ'为

图像小波分解系数标准差，其表达式为：

式中，M为处理图片的行最大值、N为处理图像的列最大值，根据所设计的小波去噪函数对各个尺度下的高频系数进行小波去噪；

(3)设计隶属度函数(203)通过设计模糊隶属度函数μ_ij，其表达式为：

式中，ω_ij为小波高频系数中(i,j)点的绝对值，ω_max为高频部分中最大系数绝对值；ω_min为高频部分的最小系数绝对值；将步骤2中去噪处理后的高频系数依次采用模糊隶属度函数μ_ij，进而实现高频系数从空间域变换到模糊集域；

(4)设计模糊增强算子(204)通过设计模糊增强算子T(μ_ij)，其表达式为：

式中，t为控制收敛速度的一个参数，t越大，收敛速度越快；可变参数μ_c∈[0,1]；将步骤3得到的模糊集域依次进行模糊集合非线性变换处理，即在模糊域对高频图像的像素值进行模糊增强算子计算，进而得到不同尺度、不同方向下的模糊增强特征图像；

(5)反模糊处理(205)根据步骤3所设计的模糊隶属度函数，将步骤4处理后的高频系数重新从模糊集域变换到空间域，即对所述的模糊增强特征图像进行反模糊处理。

C.参照图3对本发明所述的一种复杂光照条件下的图像增强方法的图像重构阶段进行说明，其具体实施步骤如下:

(1)第n层小波系数构造(301)将初始化阶段处理后低频系数和模糊增强阶段处理后的第n层高频系数进行图像矩阵构造；

(2)第n层小波重构(302)对步骤1构造的图像矩阵输入小波重构函数进行重构，并重构出第n个尺度上模糊增强后的图像，所述矩阵的行和列为重构后的图像分辨率；

(3)第m层小波系数构造(303)将步骤2中得到的所述第n个尺度上模糊增强后的图像所对应的像素值与模糊增强阶段处理后的第n-1层高频系数进行图像矩阵构造，所构造出的图像矩阵的行和列是步骤1图像矩阵行和列的2倍；

(4)第m层小波重构(304)对步骤3构造的图像矩阵输入小波重构函数进行重构，并重构出第n-1个尺度上模糊增强后的图像，本次重构后的图像分辨率是第n层重构蚃分辨率的2倍；

(5)判断m是否为0(305)，若m不为0，则返回(303)重复上述步骤(3)和步骤(4)，若m为0，则结束重复过程，并输出与原始图像相同分辨率的模糊增强处理后的增强效果图像。

Claims (5)

1.一种复杂光照条件下的图像增强方法，其特征在于，所述的图像增强方法包括初始化阶段，模糊增强阶段，图像重构阶段；在初始化阶段完成井下视频图像采集，传输，并对视频图像进行n尺度小波分解，对低频系数直方图均衡化；在模糊增强阶段将小波分解后得到的高频系数进行系数提取，在小波软阈值去噪模型中，通过引入模糊隶属度因子，设计引入模糊隶属度因子的小波去噪模型，通过所述小波去噪模型去除系数提取后的高频系数中的噪声；通过新的PAL模糊增强算法将去噪处理后的高频系数从空间域变换到模糊集域，并采用模糊增强算子在模糊集域依次进行模糊集合非线性变换，得到不同尺度、不同方向下的模糊增强特征图像，并对模糊增强特征图像进行反模糊处理，所述新的PAL模糊增强算法包括设计新的隶属度函数和模糊增强算子；在图像重构阶段对反模糊处理的高频系数和直方图均衡化的低频系数进行小波重构，并得到图像增强后的效果图；

所述隶属度函数μ_ij为：

ω_max-ω_min≤D≤2(ω_max-ω_min)；式中，ω_ij为小波高频系数中(i,j)点的绝对值，ω_max为高频部分中最大系数绝对值；ω_min为高频部分的最小系数绝对值；

所述模糊增强算子T(μ_ij)为：

式中，t为控制收敛速度的一个参数，t越大，收敛速度越快；可变参数μ_c∈[0,1]。

2.如权利要求1所述的一种复杂光照条件下的图像增强方法，其特征在于，所述的初始化阶段包括以下步骤:

1)可见光摄相机或者红外摄相机对井下复杂环境进行视频图像采集；

2)将步骤1采集到的视频图像通过摄像机的RJ45接口或USB接口传输到图像处理单元，并进行视频图像存储；

3)将步骤2传输到图像处理单元的视频图像进行视频图像单帧提取，将获得的单帧彩色图像进行灰度化处理；

4)将步骤3所述灰度化处理后的图像进行多尺度小波分解，并得到第n个尺度下的低频系数和3n个方向的高频系数；

5)将步骤4所得到的第n个尺度下的低频系数进行直方图均衡化处理。

3.如权利要求1所述的一种复杂光照条件下的图像增强方法，其特征在于，所述的模糊增强阶段包括以下步骤:

1)将所述n尺度小波分解后所得到的3n个方向的高频系数，首先提取n＝1时分解的3个方向的高频系数，接着提取n＝2时分解的3个方向的高频系数，然后依次提取到第n个尺度时分解的3个方向的高频系数；

2)将步骤1中得到的每一个尺度下得到的3个方向的高频系数依次分别采用引入模糊隶属度因子s的小波去噪模型去除所述高频系数中的噪声；

3)通过设计模糊隶属度函数，将步骤2中去噪处理后的高频系数依次从空间域变换到模糊集域；

4)通过设计模糊增强算子，将步骤3得到的模糊集域依次进行模糊集合非线性变换，即在模糊域对去噪处理后的高频系数的像素值进行模糊函数计算，使得到不同尺度、不同方向下的模糊增强特征图像；

5)根据步骤3所设计的模糊隶属度函数，将步骤4处理后的高频系数重新从模糊集域变换到空间域，即对所述的模糊增强特征图像进行反模糊处理。

4.如权利要求1所述的一种复杂光照条件下的图像增强方法，其特征在于：所述的图像重构阶段包括以下步骤:

1)将反模糊处理后得到的第n个尺度上高频系数和第n个尺度下直方图均衡化处理后的低频系数进行小波重构，重构出第n个尺度上模糊增强后的图像；

2)将步骤1中得到的所述第n个尺度上模糊增强后图像像素矩阵与反模糊处理后得到的第n-1层高频系数进行图像矩阵构造，并重构出第n-1个尺度上的模糊增强后的图像；

3)重复步骤1、2，当得到与原始图像同等分辨率的模糊增强处理后图像时，结束重复过程。

5.如权利要求1所述的一种复杂光照条件下的图像增强方法，其特征在于：所述的小波去噪模型设计主要包括：

1)在小波软阈值去噪模型中，通过引入一种模糊隶属度因子s，使小波阈值根据小波分解后图像的高频系数中的噪声分布情况自适应调整，其小波去噪模型中的小波阈值函数构造表达式为：

式中，μ_T为小波阈值函数，ω_ij为小波高频系数中(i,j)点的绝对值，sgn(·)为符号函数，s为模糊隶属度因子，T为小波阈值；

2)所述小波去噪模型中的模糊隶属度因子s替代小波软阈值中的固定阈值T，并根据图像噪声的分布情况自适应调整，所述模糊隶属度因子的计算公式为：

式中，a为调节因子，a∈(0,1]，ω_ij为小波高频系数中(i,j)点的绝对值，T为小波阈值；

3)通过对多尺度小波分解的高频系数进行均方差计算，然后确定某一个系数值，使大于这个数值的所有系数的均方差达到最小，则所述系数值就是所要选取的阈值，其阈值T计算公式为：

T＝2^-n|ω_ij|σ²/σ'

式中，n为最高小波分解层数，σ为图像噪声方差，且σ＝median(|ω_ij|)/0.6745，σ'为图像小波分解系数标准差，且

M为处理图片的行最大值、N为处理图像的列最大值。

Images