CN114897720A - 一种图像增强装置及其方法 - Google Patents

Abstract

本发明提供一种图像增强装置及其方法，图像增强装置包括：大气光估计单元，用于估计原始图像的RGB三通道大气光值；平滑单元，用于对所述RGB三通道大气光值进行处理，以生成平滑后的大气光值；雾气传输图计算单元，用于根据平滑后的所述大气光值生成雾化传输图；优化评估单元，用于对所述雾气传输图进行空域自适应平滑滤波，以生成增强后的雾气传输图；去雾单元，用于对增强后的所述雾气传输图进行去雾处理，以得到去雾后的输出图像。本发明的图像增强装置使得图像增强方法可以更适合硬件实现，图像增强装置还引入了饱和处理与自适应平滑滤波处理的平滑单元，克服了图像增强在处理视频中常见的偏色以及闪烁等问题。

Description

一种图像增强装置及其方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像增强装置及其方法。

背景技术

在雾、霾等悬浮的大气粒子引起的恶劣天气的影响，光学成像设备在户外的拍摄情况，混浊的媒介对反射光的吸收、散射以及折射致使摄像头获取景物图像的入射光线发生衰减，导致成像画质浑浊不清，严重影响了摄像头对周围环境中有价值信息的提取。在航空摄影、驾驶援助和视觉监视方面，恶劣天气下的图像去雾是一项非常关键的技术问题。图像去雾是为了消除引起空气浑浊的介质，改善模糊图像的对比度并恢复场景的可见性。

近年来，单幅图像的去雾方法得到广泛的研究，汤晓鸥等人发现无雾图像相对于雾化图像具有较高的对比度，通过最大化恢复图像的对比度来实现图像去雾，但由于该方法在图像去雾后有可能出现颜色过饱和失真。Kaiming He提出了一种基于暗通道先验的方法，即在有雾图像的特定窗口中至少有一个颜色分量的值是零，该算法利用最小值滤波估算出介质传播函数，然后利用软抠图算法对估算的介质传播函数进行优化估计，达到了较好的去雾效果。由于软抠图算法涉及到大规模矩阵求逆运算，其需要较高的运算量，很难得到实际应用，即对硬件实现不友好。

发明内容

本发明的目的在于，提供一种适合硬件实现的图像增强装置及其方法，能够在持平甚至优于现有效果的前提下，解决图像增强中存在的运算复杂等问题，同时克服了图像增强在处理视频中常见的偏色以及闪烁等问题。

为了解决上述技术问题，本发明提供一种图像增强装置，包括：

大气光估计单元，用于估计原始图像的RGB三通道大气光值；

平滑单元，用于对所述RGB三通道大气光值进行处理，以生成平滑后的大气光值；

雾气传输图计算单元，用于根据平滑后的所述大气光值生成雾化传输图；

优化评估单元，用于对所述雾气传输图进行空域自适应平滑滤波，以生成增强后的雾气传输图；

去雾单元，用于对增强后的所述雾气传输图进行去雾处理，以得到去雾后的输出图像。

可选的，还包括数据缓存单元、统计单元、深度图计算单元和数据输出单元，

所述数据缓存单元用于缓存原始图像，并输出给所述统计单元、雾气传输图计算单元和去雾单元；

所述统计单元用于根据当前的所述原始图像分三通道得到统计值；所述深度图计算单元用于向所述优化评估单元提供深度图；

所述数据输出单元用于输出去雾后的所述输出图像。

进一步的，还包括场景切换识别单元，用于根据所述原始图像和统计值识别当前的原始图像所对应的当前场景，并与之前的原始图像对应的之前场景进行比较，判断当前场景是否切换，并将判断结果发送给所述平滑单元。

另一方面，本发明还提供一种图像增强方法，采用所述的图像增强装置，包括以下步骤：

步骤S1：大气光估计单元估计原始图像的RGB三通道大气光值；

步骤S2：平滑单元对所述RGB三通道大气光值进行处理，以生成平滑后的大气光值；

步骤S3：雾气传输图计算单元根据平滑后的所述大气光值生成雾化传输图；

步骤S4：优化评估单元对所述雾气传输图进行空域自适应平滑滤波，并生成增强后的雾气传输图；

步骤S5：去雾单元对增强后的所述雾气传输图进行去雾，以得到去雾后的输出图像。

可选的，步骤S1包括：

数据缓存单元缓存所述原始图像；

统计单元根据当前的所述原始图像分三通道统计得到统计值；

所述大气光估计单元根据所述统计值估计RGB三通道大气光值。

进一步的，统计单元根据当前的所述原始图像分三通道统计得到统计值包括：

所述统计单元根据当前的所述原始图像分三通道统计所述原始图像的每块的像素强度，再统计出每块中各通道像素强度的最大值或次大值；并统计出每块的RGB跨通道最小值，以及所述最小值中最大值对应的窗。

进一步的，步骤S2包括：

所述平滑单元对所述RGB三通道大气光值进行处理，以生成平滑后的大气光值Air_U(N)；

同时，场景切换识别单元根据当前的所述原始图像、之前的所述原始图像以及当前的所述统计值，识别当前的所述原始图像对应的当前场景，并将所述当前场景与之前的所述原始图像对应的之前场景进行比较，并判断当前场景是否切换；

接着，根据所述场景切换识别单元的判断结果处理平滑后的大气光值Air_U(N)，以得到输出的大气光值AirS(N)。

进一步的，所述平滑单元对所述RGB三通道大气光值进行处理，以生成平滑后的大气光值Air_U(N)包括：

所述平滑单元读入当前三通道大气光值，并对所述大气光值进行跨通道平滑处理，以生成平滑后的大气光值Air_U(N)，

其中，所述跨通道平滑处理包括取三通道均值、中值或极大、极小值。

进一步的，根据所述场景切换识别单元的判断结果处理平滑后的大气光值Air_U(N)，以得到输出的平滑后的大气光值AirS(N)包括：

若存在当前场景切换，则直接使用所述大气光值Air_U(N)作为所述平滑单元输出的大气光值AirS(N)；

若不存在当前场景切换，读取上一帧输出的大气光值AirS(N-1)和当前帧跨通道平滑后的大气光值Air_U(N)进行时域平滑滤波处理，并生成平滑后的大气光值AirS(N)。

可选的，所述优化评估单元为高速平滑单元，使得步骤S4具体包括以下步骤：

所述高速平滑单元先输入雾气传输图，再对所述雾气传输图从左向右滤波，得到第一中间结果；再对第一中间结果从右向左滤波，并得到第二中间结果；再对第二中间结果从上向下滤波，得到第三中间结果；再对第三中间结果从下向上滤波，最后输出增强后的雾气传输图TS(N)。

可选的，所述优化评估单元为神经网络计算单元，使得步骤S4具体包括以下步骤：

所述神经网络计算单元输入雾气传输图，再采用神经网络运算架构U-Net对雾气传输图进行滤波，最后输出增强后的雾气传输图TS(N)。

可选的，所述优化评估单元为高速平滑单元，所述图像增强装置还包括深度图计算单元，使得步骤S4具体包括以下步骤：

所述高速平滑单元输入同样分辨率的雾气传输图和深度图；再计算当前处理像素坐标对应深度图的水平梯度GHi，根据所述水平梯度GHi调整当前水平滤波参数，对雾气传输图从左向右滤波，得到第一中间结果，对第一中间结果从右向左滤波，得到第二中间结果；再计算当前处理像素坐标对应深度图垂直梯度Gvi，并根据GVi调整当前垂直滤波参数，对第二中间结果从上向下滤波，得到第三中间结果，对第三中间结果从下向上滤波，最后输出增强后的雾气传输图TS(N)图。

进一步的，所述高速平滑单元根据深度图的水平梯度调整滤波参数的方法为：

所述高速平滑单元先分别读取水平梯度GHi、阈值Th以及当前滤波参数S；

若水平梯度GHi小于Th，则滤波参数保持不变；

若水平梯度GHi大于2倍Th，则把水平梯度GHi设置为2倍Th，否则GHi不变，然后使用公式S＝((Th-GHi)*S/(2Th))+S计算并得到新的滤波参数。

进一步的，所述高速平滑单元根据深度图的垂直梯度调整滤波参数的方法为：

所述高速平滑单元先分别读取垂直梯度GVi、阈值Th以及当前滤波参数S；

若垂直梯度GVi小于Th，则滤波参数保持不变；

若垂直梯度GVi大于2倍Th，则把垂直梯度GVi设置为2倍Th，否则GVi不变，然后使用公式S＝((Th-GVi)*S/(2Th))+S计算并得到新的滤波参数。

可选的，所述优化评估单元为神经网络计算单元，所述图像增强装置还包括深度图计算单元，使得步骤S4具体包括以下步骤：

所述神经网络计算单元输入雾气传输图和深度图，其中，所述深度图作为Attention Map注意力图与雾气传输图一起输入；

所述神经网络计算单元采用神经网络运算架构U-Net对雾气传输图进行滤波，并输出增强后的雾气传输图TS(N)。

进一步的，步骤S5包括：

所述去雾单元输入所述原始图像和增强后的雾气传输图TS(N)，并对所述雾气传输图TS(N)进行去雾，得到最终输出图像；

数据输出单元输出所述去雾后的所述输出图像。

与现有技术相比，本发明具有以下有益效果：

本发明提供一种图像增强装置及其方法，图像增强装置包括：大气光估计单元，用于估计原始图像的RGB三通道大气光值；平滑单元，用于对所述RGB三通道大气光值进行处理，以生成平滑后的大气光值；雾气传输图计算单元，用于根据平滑后的所述大气光值生成雾化传输图；优化评估单元，用于对所述雾气传输图进行空域自适应平滑滤波，以生成增强后的雾气传输图；去雾单元，用于对增强后的所述雾气传输图进行去雾处理，以得到去雾后的输出图像。本发明的图像增强装置使得图像增强方法可以更适合硬件实现，图像增强装置还引入了饱和处理与自适应平滑滤波处理的平滑单元，克服了图像增强在处理视频中常见的偏色以及闪烁等问题。

本发明提供的一种图像增强方法，包括以下步骤：步骤S1：大气光估计单元估计原始图像的RGB三通道大气光值；步骤S2：平滑单元对所述RGB三通道大气光值进行处理，以生成平滑后的大气光值；步骤S3：雾气传输图计算单元根据平滑后的所述大气光值生成雾化传输图；步骤S4：优化评估单元对所述雾气传输图进行空域自适应平滑滤波，并生成增强后的雾气传输图；步骤S5：去雾单元对增强后的所述雾气传输图进行去雾，以得到去雾后的输出图像。本发明的图像增强方法具有适合硬件实现的图像增强装置，图像增强方法能够在持平甚至优于现有效果的前提下，解决图像增强中存在的运算复杂等问题。

附图说明

图1为本发明一实施例的第一种图像增强装置的结构示意图；

图2为本发明一实施例的第二种图像增强装置的结构示意图；

图3为本发明一实施例的图像增强方法的运算框图；

图4为本发明一实施例的步骤S2的流程图；

图5-7为本发明一实施例的步骤S4的流程图。

附图标记说明：

11-数据缓存单元；12-统计单元；13-大气光估计单元；14-雾气传输图计算单元；15-去雾单元；16-数据输出单元；

20-场景切换识别单元；30-平滑单元；40-优化评估单元；50-深度图计算单元。

具体实施方式

本发明的核心在于，提供一种图像增强装置包括：大气光估计单元，用于估计原始图像的RGB三通道大气光值；平滑单元，用于对所述RGB三通道大气光值进行处理，以生成平滑后的大气光值；雾气传输图计算单元，用于根据平滑后的所述大气光值生成雾化传输图；优化评估单元，用于对所述雾气传输图进行空域自适应平滑滤波，以生成增强后的雾气传输图；去雾单元，用于对增强后的所述雾气传输图进行去雾处理，以得到去雾后的输出图像。本发明的图像增强装置使得图像增强方法可以通过更适合硬件实现，图像增强装置还引入了饱和处理与自适应平滑滤波处理的平滑单元，克服了图像增强在处理视频中常见的偏色以及闪烁等问题。

本发明提供的一种图像增强方法，包括以下步骤：步骤S1：大气光估计单元估计原始图像的RGB三通道大气光值；步骤S2：平滑单元对所述RGB三通道大气光值进行处理，以生成平滑后的大气光值；步骤S3：雾气传输图计算单元根据平滑后的所述大气光值生成雾化传输图；步骤S4：优化评估单元对所述雾气传输图进行空域自适应平滑滤波，并生成增强后的雾气传输图；步骤S5：去雾单元对增强后的所述雾气传输图进行去雾，以得到去雾后的输出图像。本发明的图像增强方法具有适合硬件实现的图像增强装置，图像增强方法能够在持平甚至优于现有效果的前提下，解决图像增强中存在的运算复杂等问题。

以下将对本发明的一种图像增强装置及其方法作进一步的详细描述。下面将参照附图对本发明进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。

为了清楚，不描述实际实施例的全部特征。在下列描述中，不详细描述公知的功能和结构，因为它们会使本发明由于不必要的细节而混乱。应当认为在任何实际实施例的开发中，必须做出大量实施细节以实现开发者的特定目标，例如按照有关***或有关商业的限制，由一个实施例改变为另一个实施例。另外，应当认为这种开发工作可能是复杂和耗费时间的，但是对于本领域技术人员来说仅仅是常规工作。

为使本发明的目的、特征更明显易懂，下面结合附图对本发明的具体实施方式作进一步的说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用以方便、明晰地辅助说明本发明实施例的目的。

图1为本实施例的第一种图像增强装置的结构示意图。如图1所示，本实施例提供一种图像增强装置，包括数据缓存单元11、统计单元12、大气光估计单元13、平滑单元30、雾气传输图计算单元14、优化评估单元40、去雾单元15、数据输出单元16和场景切换识别单元20。

所述数据缓存单元11输入需要缓存的至少一帧原始图像，并按帧将所述原始图像输出给所述统计单元12、场景切换识别单元20和去雾单元15，其中，所述原始图像的格式为RGB格式，且每个所述原始图像划分为N×M块。

所述统计单元12根据所述原始图像分三通道(即R通道、G通道和B通道)得到统计值，并将所述统计值输出给所述场景切换识别单元20和大气光估计单元13，其中，所述统计值包括第一统计值和第二统计值。详细的，所述统计单元12根据所述原始图像分三通道先统计所述原始图像的每块的像素强度，再统计出第一统计值和第二统计值，再将所述第一统计值和第二统计值输出给所述场景切换识别单元20和大气光估计单元13。其中，所述第一统计值为每块中各通道像素强度的最大值或次大值等，所述第二统计值为每块的RGB跨通道最小值，以及所述最小值中最大值对应的窗。

所述场景切换识别单元20输入原始图像和统计值，识别当前的原始图像所对应的当前场景，并与之前的原始图像对应的之前场景进行比较，判断当前场景是否切换，并将判断结果发送给平滑单元30。

所述大气光估计单元13根据所述统计值估计RGB三通道大气光值Air_R(N)、Air_G(N)和Air_B(N)，也就是说，所述大气光估计单元13根据所述第一统计值和第二统计值估计R通道的大气光值Air_R(N)，G通道的大气光值Air_G(N)，B通道的大气光值Air_B(N)。

所述平滑单元30对所述RGB三通道大气光值Air_R(N)、Air_G(N)和Air_B(N)进行处理，以生成平滑后的大气光值AirS(N)。详细的，所述平滑单元30先读入当前三通道大气光值(即RGB三通道大气光值Air_R(N)、Air_G(N)和Air_B(N))，对所述大气光值进行跨通道平滑处理，以防止RGB三通道大气光值不一致进而破坏白平衡导致偏色，并生成平滑后的大气光值Air_U(N)。其中，所述跨通道平滑处理可以包括取三通道大气光值的均值、中值或极大、极小值等。之后，若存在当前场景切换(如进出隧道等)，则直接使用前一步大气光值Air_U(N)作为所述平滑单元30输出的大气光值AirS(N)，即当所述判断结果为当前场景切换，则直接取值当前大气光值。若不存在当前场景切换，读取上一帧输出的大气光值AirS(N-1)，并和当前帧跨通道平滑后的大气光值Air_U(N)进行时域平滑滤波处理，以生成平滑后的大气光值AirS(N)，即当所述判断结果为当前场景未切换，则对所述大气光值进行时域平滑滤波，以生成平滑后的大气光值AirS(N)。

所述雾气传输图计算单元14根据所述平滑后的输出AirS(N)生成雾化传输图，并将雾化传输图输出给优化评估单元40。

所述优化评估单元40输入原始图像和所述雾气传输图，对所述雾气传输图进行空域自适应平滑滤波，以得到增强后的雾气传输图TS(N)，并将增强后的雾气传输图TS(N)输出给去雾单元15。

详细的，所述优化评估单元40可以为高速平滑单元，所述高速平滑单元输入所述原始图像和雾气传输图，并对所述雾气传输图依次从左向右、从右向左、从上向下和从下向上滤波，并输出增强后的雾气传输图TS(N)。相较于现有技术中的软抠图来说，所述高速平滑单元替代了软抠图，且降低了复杂度，有利于硬件实现。所述优化评估单元40还可以为神经网络计算单元，所述神经网络计算单元输入雾气传输图，采用神经网络运算架构U-Net对雾气传输图进行滤波，并输出增强后的雾气传输图TS(N)。所述神经网络计算单元虽然计算复杂，但是其硬件实现友好。

图2为本实施例的第二种图像增强装置的结构示意图。如图2所示，可选的，所述图像增强装置还包括深度图计算单元50，所述深度图计算单元50向所述优化评估单元40提供深度图。

当所述优化评估单元40为高速平滑单元时，所述深度图计算单元50向所述高速平滑单元提供深度图，所述高速平滑单元输入同样分辨率的雾气传输图和深度图，计算当前处理像素坐标对应深度图的水平梯度GHi，并根据所述水平梯度GHi调整当前水平滤波参数，再并对所述雾气传输图依次从左向右以及从右向左滤波；还计算当前处理像素坐标对应深度图垂直梯度Gvi，并根据所述垂直梯度Gvi调整当前垂直滤波参数，再并对所述雾气传输图依次从上向下和从下向上滤波，并输出增强后的雾气传输图TS(N)。

当所述优化评估单元40为神经网络计算单元，所述深度图计算单元50向所述优化评估单元40提供了深度图，所述深度图作为Attention Map注意力图与雾气传输图计算单元14提供的雾气传输图一起输入，并且所述优化评估单元40采用神经网络运算架构U-Net对雾气传输图进行滤波，并输出增强后的雾气传输图TS(N)。

所述去雾单元15输入原始图像和增强后的雾气传输图TS(N)，并对雾气传输图TS(N)进行去雾，得到最终输出图像，即去雾后清晰的输出图像，并将所述输出图像发送给数据输出单元16。所述数据输出单元16将所述去雾后清晰的输出图像输出。

本实施例提供的图像增强装置，所述数据缓存单元11输入了至少一帧原始图像，并按帧将所述原始图像输出给统计单元12、场景切换识别单元20、雾气传输图计算单元14和去雾单元15，所述统计单元12根据所述原始图像得到统计值，并将所述统计值输出给场景切换识别单元20和大气光估计单元13，所述场景切换识别单元20根据所述统计值和原始图像判断当前场景是否切换，并将判断结果发送给平滑单元30；所述大气光估计单元13根据所述统计值估计RGB三通道大气光值，并将RGB三通道大气光值输出给平滑单元30，所述平滑单元30对所述RGB三通道大气光值Air_R(N)、Air_G(N)和Air_B(N)进行处理，并根据场景切换识别单元20的判断结果对所述RGB三通道大气光值的处理结果进行再处理，以输出平滑后的大气光值AirS(N)给雾气传输图计算单元14；所述雾气传输图计算单元14根据所述平滑后的大气光值AirS(N)生成雾化传输图，并将雾化传输图输出给优化评估单元40；所述优化评估单元40输入原始图像和所述雾气传输图，并对雾气传输图进行空域自适应平滑滤波，并输出平滑后的雾气传输图TS(N)给去雾单元15，所述去雾单元15输入原始图像和增强后的雾气传输图TS(N)，并对雾气传输图TS(N)进行去雾，得到最终输出的输出图像，所述数据输出单元16输出所述去雾后清晰的输出图像。相较于现有技术，本实施例的图像增强装置增加了平滑单元30，可以跨通道平滑操作和滤波操作，以对三通道大气光值进行饱和处理与自适应平滑滤波，从而克服了图像增强在处理视频中常见的偏色以及闪烁等问题；同时，使用优化评估单元40替代了现有技术的软抠图算法，使得硬件实现变得友好，从而有效解决图像增强中存在的运算复杂等问题。

图3为本实施例的图像增强方法的运算框图。如图3所示，同时请参阅图1-2，本实施例还提供一种图像增强方法，包括以下步骤：

步骤S1：大气光估计单元13估计原始图像的RGB三通道大气光值；

步骤S2：平滑单元30对所述RGB三通道大气光值进行处理，以生成平滑后的大气光值；

步骤S3：雾气传输图计算单元14根据平滑后的所述大气光值生成雾化传输图；

步骤S4：优化评估单元40对所述雾气传输图进行空域自适应平滑滤波，并生成增强后的雾气传输图；

步骤S5：去雾单元15对增强后的所述雾气传输图进行去雾，以得到去雾后的输出图像。

以下结合图3-7对本实施例的一种图像增强方法进行详细说明。

首先执行步骤S1，大气光估计单元13估计原始图像的RGB三通道大气光值。

本步骤具体包括以下步骤：

首先，数据缓存单元11缓存至少一帧原始图像，假设数据缓存单元11当前输入了一帧原始图像，且所述图像增强方法对当前帧的原始图像进行图像增强，那么当前的原始图像之前的一帧图像为之前的原始图像。

接着，统计单元12根据所述当前原始图像分三通道得到统计值，所述统计值包括第一统计值和第二统计值。

详细的，所述统计单元12根据所述当前的原始图像分三通道统计所述原始图像的每块的像素强度；再根据以下公式统计出每块中各通道像素强度的最大值或次大值等，且统计出每块中各通道像素强度的最大值或次大值的数据维度最大为N×M×3。具体公式如下：

其中，Ω代表N×M个块统计窗中的任意一个；c代表R,G,B三通道，pix代表原始图像，i代表横座标，j代表纵座标；st_maxRGB_N×M×3代表最大值或次大值。

再根据以下公式统计出每块的RGB跨通道最小值，具体公式如下：

其中，Ω代表N×M个块统计窗中的任意一个；c代表R,G,B三通道，pix代表原始图像，i代表横座标，j代表纵座标；st_min_N×M代表RGB跨通道最小值。

所述统计单元12进一步统计跨通道最小值中最大值对应的窗idx。

接着，所述大气光估计单元13根据所述第一统计值和第二统计值估计RGB三通道大气光值Air_R(N)、Air_G(N)和Air_B(N)，即所述大气光估计单元13根据所述选取所述窗idx对应块的RGB各通道的统计最大值分别作为三通道的大气光估计值，也就是R通道的大气光值Air_R(N)，G通道的大气光值Air_G(N)，B通道的大气光值Air_B(N)。

图4为本实施例的步骤S2的流程图。如图4所示，接着执行步骤S2，所述平滑单元30对所述RGB三通道大气光值进行处理，以生成平滑后的大气光值。

本步骤具体为：

首先，所述平滑单元30对所述RGB三通道大气光值Air_R(N)、Air_G(N)、Air_B(N)进行处理，以生成平滑后的大气光值Air_U(N)。详细的，所述平滑单元30读入当前三通道大气光值(即RGB三通道大气光值Air_R(N)、Air_G(N)和Air_B(N))，并对所述大气光值进行跨通道平滑处理，以防止RGB三通道大气光值不一致进而破坏白平衡导致偏色，并生成平滑后的大气光值Air_U(N)。其中，所述跨通道平滑处理可以包括取三通道均值、中值或极大、极小值等。

同时，所述场景切换识别单元20读入当前的原始图像、之前的原始图像以及当前的所述统计值，并识别当前的原始图像对应的当前场景，并将当前场景与之前的原始图像对应的之前场景进行比较，判断当前场景是否切换。其中，当前场景识别可以采用深度学习等方法实现。

接着，根据场景切换识别单元20的判断结果得到平滑后的大气光值AirS(N)。详细的，若存在当前场景切换(如进出隧道等)，则直接使用前一步大气光值Air_U(N)作为所述平滑单元30输出的大气光值AirS(N)，即当所述判断结果为当前场景切换，则直接取值当前大气光值。若不存在当前场景切换(如进出隧道等)，读取上一帧输出的大气光值AirS(N-1)和当前帧跨通道平滑后的大气光值Air_U(N)进行时域平滑滤波处理，并生成平滑后的大气光值AirS(N)，即当所述判断结果为当前场景未切换，则对所述大气光值进行时域平滑滤波处理，以生成平滑后的大气光值AirS(N)。其中，所述时域平滑滤波可以采用卡尔曼滤波等方法实现。

接着执行步骤S3，所述雾气传输图计算单元14根据平滑后的所述大气光值AirS(N)生成雾化传输图。在本实施例中，本步骤中具体的生成雾化传输图的方法可通过现有技术中论文《Single Image Haze Removal Using Dark Channel Prior》中的雾气传输图的生成方法来实现，在此不予赘述。

接着执行步骤S4，所述优化评估单元40对所述雾气传输图进行空域自适应平滑滤波，并生成增强后的雾气传输图TS(N)。

在第一个实施例中，如图5所示，所述优化评估单元40为高速平滑单元，使得本步骤具体包括以下步骤：

所述高速平滑单元先输入雾气传输图，再对所述雾气传输图从左向右滤波，得到第一中间结果；再对第一中间结果从右向左滤波，并得到第二中间结果；再对第二中间结果从上向下滤波，得到第三中间结果；再对第三中间结果从下向上滤波，最后输出增强后的雾气传输图TS(N)。

在第二个实施例中，所述优化评估单元40为神经网络计算单元，使得本步骤具体包括以下步骤：

所述神经网络计算单元输入雾气传输图，再采用神经网络运算架构U-Net对雾气传输图进行滤波，最后输出增强后的雾气传输图TS(N)。

在第三个实施例中，如图6所示，所述优化评估单元40为高速平滑单元，所述图像增强装置还包括深度图计算单元50，使得本步骤具体包括：

所述高速平滑单元输入同样分辨率的雾气传输图和深度图；再计算当前处理像素坐标对应深度图的水平梯度GHi，再根据所述水平梯度GHi调整当前水平滤波参数，再对雾气传输图从左向右滤波，得到第一中间结果，再对第一中间结果从右向左滤波，得到第二中间结果；再计算当前处理像素坐标对应深度图垂直梯度Gvi，并根据GVi调整当前垂直滤波参数，对第二中间结果从上向下滤波，得到第三中间结果，对第三中间结果从下向上滤波，最后输出增强后的雾气传输图TS(N)图。

如图7所示，所述高速平滑单元根据深度图水平梯度调整滤波参数的方法为：

所述高速平滑单元先分别读取水平梯度GHi、阈值Th以及当前滤波参数S。若水平梯度GHi小于Th，则滤波参数保持不变；若水平梯度GHi大于2倍Th，则把水平梯度GHi设置为2倍Th，否则GHi不变，然后使用公式S＝((Th-GHi)*S/(2Th))+S计算并得到新的滤波参数。

所述高速平滑单元根据深度图垂直梯度调整滤波参数的方法为：

所述高速平滑单元先分别读取垂直梯度GVi、阈值Th以及当前滤波参数S。若垂直梯度GVi小于Th，则滤波参数保持不变；若垂直梯度GVi大于2倍Th，则把垂直梯度GVi设置为2倍Th，否则GVi不变，然后使用公式S＝((Th-GVi)*S/(2Th))+S计算并得到新的滤波参数。

在其他实施例中，所述优化评估单元40还可以使用导向滤波的方法，利用深度图作为导向图对所述雾气传输图进行滤波处理。

在第四个实施例中，所述优化评估单元40为神经网络计算单元，所述图像增强装置还包括深度图计算单元50，使得本步骤具体包括：

首先，所述神经网络计算单元输入雾气传输图和深度图，其中，所述深度图作为Attention Map注意力图与雾气传输图一起输入；

接着，所述神经网络计算单元采用神经网络运算架构U-Net对雾气传输图进行滤波，并输出增强后的雾气传输图TS(N)。

其中，所述神经网络计算单元的参数训练方法举例如下：收集雾气场景的RGB格式图像和对应当前场景的深度图，所述深度图可以通过TOF等深度传感器采集获得，也可以通过双目摄像头通过计算景深得到。其中，在参数训练时可以选取当前雾气场景对应的深度图作为雾气传输图训练的ground truth，并选取二者的亮度和梯度差异的欧氏距离之和作为惩罚函数。

接着执行步骤S5，去雾单元15对增强后的所述雾气传输图进行去雾，以得到去雾后的输出图像。

本步骤具体包括以下步骤：

首先，所述去雾单元15输入原始图像和增强后的雾气传输图TS(N)，并对所述雾气传输图TS(N)进行去雾，得到最终输出图像，即去雾后清晰的输出图像，并将所述图像输出给数据输出单元16。所述去雾单元15的去雾方法可以参考论文《Single Image HazeRemoval Using Dark Channel Prior》中的去雾的方法来实现，在此不进行赘述。

接着，所述数据输出单元16输出所述去雾后清晰的输出图像。

综上所述，本发明提供的图像增强装置及其方法，图像增强方法具有适合硬件实现的图像增强装置，图像增强方法能够在持平甚至优于现有效果的前提下，解决图像增强中存在的运算复杂等问题。同时引入了饱和处理与自适应平滑滤波处理的平滑单元，克服了图像增强在处理视频中常见的偏色以及闪烁等问题。

此外，需要说明的是，除非特别说明或者指出，否则说明书中的术语“第一”、“第二”的描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。

可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (16)

1.一种图像增强装置，其特征在于，包括：

大气光估计单元，用于估计原始图像的RGB三通道大气光值；

平滑单元，用于对所述RGB三通道大气光值进行处理，以生成平滑后的大气光值；

雾气传输图计算单元，用于根据平滑后的所述大气光值生成雾化传输图；

优化评估单元，用于对所述雾气传输图进行空域自适应平滑滤波，以生成增强后的雾气传输图；

去雾单元，用于对增强后的所述雾气传输图进行去雾处理，以得到去雾后的输出图像。

2.如权利要求1所述的图像增强装置，其特征在于，还包括数据缓存单元、统计单元、深度图计算单元和数据输出单元，

所述数据缓存单元用于缓存原始图像，并输出给所述统计单元、雾气传输图计算单元和去雾单元；

所述统计单元用于根据当前的所述原始图像分三通道得到统计值；所述深度图计算单元用于向所述优化评估单元提供深度图；

所述数据输出单元用于输出去雾后的所述输出图像。

3.如权利要求2所述的图像增强装置，其特征在于，还包括场景切换识别单元，用于根据所述原始图像和统计值识别当前的原始图像所对应的当前场景，并与之前的原始图像对应的之前场景进行比较，判断当前场景是否切换，并将判断结果发送给所述平滑单元。

4.一种图像增强方法，采用如权利要求1-3中任一项所述的图像增强装置，其特征在于，包括以下步骤：

步骤S1：大气光估计单元估计原始图像的RGB三通道大气光值；

步骤S2：平滑单元对所述RGB三通道大气光值进行处理，以生成平滑后的大气光值；

步骤S3：雾气传输图计算单元根据平滑后的所述大气光值生成雾化传输图；

步骤S4：优化评估单元对所述雾气传输图进行空域自适应平滑滤波，并生成增强后的雾气传输图；

步骤S5：去雾单元对增强后的所述雾气传输图进行去雾，以得到去雾后的输出图像。

5.如权利要求4所述的图像增强方法，其特征在于，步骤S1包括：

数据缓存单元缓存所述原始图像；

统计单元根据当前的所述原始图像分三通道统计得到统计值；

所述大气光估计单元根据所述统计值估计RGB三通道大气光值。

6.如权利要求5所述的图像增强方法，其特征在于，统计单元根据当前的所述原始图像分三通道统计得到统计值包括：

所述统计单元根据当前的所述原始图像分三通道统计所述原始图像的每块的像素强度，再统计出每块中各通道像素强度的最大值或次大值；并统计出每块的RGB跨通道最小值，以及所述最小值中最大值对应的窗。

7.如权利要求5所述的图像增强方法，其特征在于，步骤S2包括：

所述平滑单元对所述RGB三通道大气光值进行处理，以生成平滑后的大气光值Air_U(N)；

同时，场景切换识别单元根据当前的所述原始图像、之前的所述原始图像以及当前的所述统计值，识别当前的所述原始图像对应的当前场景，并将所述当前场景与之前的所述原始图像对应的之前场景进行比较，并判断当前场景是否切换；

接着，根据所述场景切换识别单元的判断结果处理平滑后的大气光值Air_U(N)，以得到输出的平滑后的大气光值AirS(N)。

8.如权利要求7所述的图像增强方法，其特征在于，所述平滑单元对所述RGB三通道大气光值进行处理，以生成平滑后的大气光值Air_U(N)包括：

所述平滑单元读入当前三通道大气光值，并对所述大气光值进行跨通道平滑处理，以生成平滑后的大气光值Air_U(N)，

其中，所述跨通道平滑处理包括取三通道均值、中值或极大、极小值。

9.如权利要求8所述的图像增强方法，其特征在于，根据所述场景切换识别单元的判断结果处理平滑后的大气光值Air_U(N)，以得到输出的平滑后的大气光值AirS(N)包括：

若存在当前场景切换，则直接使用所述大气光值Air_U(N)作为所述平滑单元输出的大气光值AirS(N)；

若不存在当前场景切换，读取上一帧输出的大气光值AirS(N-1)和当前帧跨通道平滑后的大气光值Air_U(N)进行时域平滑滤波处理，并生成平滑后的大气光值AirS(N)。

10.如权利要求4所述的图像增强方法，其特征在于，所述优化评估单元为高速平滑单元，使得步骤S4具体包括以下步骤：

所述高速平滑单元先输入雾气传输图，再对所述雾气传输图从左向右滤波，得到第一中间结果；再对第一中间结果从右向左滤波，并得到第二中间结果；再对第二中间结果从上向下滤波，得到第三中间结果；再对第三中间结果从下向上滤波，最后输出增强后的雾气传输图TS(N)。

11.如权利要求4所述的图像增强方法，其特征在于，所述优化评估单元为神经网络计算单元，使得步骤S4具体包括以下步骤：

所述神经网络计算单元输入雾气传输图，再采用神经网络运算架构U-Net对雾气传输图进行滤波，最后输出增强后的雾气传输图TS(N)。

12.如权利要求4所述的图像增强方法，其特征在于，所述优化评估单元为高速平滑单元，所述图像增强装置还包括深度图计算单元，使得步骤S4具体包括以下步骤：

所述高速平滑单元输入同样分辨率的雾气传输图和深度图；再计算当前处理像素坐标对应深度图的水平梯度GHi，根据所述水平梯度GHi调整当前水平滤波参数，对雾气传输图从左向右滤波，得到第一中间结果，对第一中间结果从右向左滤波，得到第二中间结果；再计算当前处理像素坐标对应深度图垂直梯度Gvi，并根据GVi调整当前垂直滤波参数，对第二中间结果从上向下滤波，得到第三中间结果，对第三中间结果从下向上滤波，最后输出增强后的雾气传输图TS(N)图。

13.如权利要求12所述的图像增强方法，其特征在于，所述高速平滑单元根据深度图的水平梯度调整滤波参数的方法为：

所述高速平滑单元先分别读取水平梯度GHi、阈值Th以及当前滤波参数S；

若水平梯度GHi小于Th，则滤波参数保持不变；

若水平梯度GHi大于2倍Th，则把水平梯度GHi设置为2倍Th，否则GHi不变，然后使用公式S＝((Th-GHi)*S/(2Th))+S计算并得到新的滤波参数。

14.如权利要求13所述的图像增强方法，其特征在于，所述高速平滑单元根据深度图的垂直梯度调整滤波参数的方法为：

所述高速平滑单元先分别读取垂直梯度GVi、阈值Th以及当前滤波参数S；

若垂直梯度GVi小于Th，则滤波参数保持不变；

若垂直梯度GVi大于2倍Th，则把垂直梯度GVi设置为2倍Th，否则GVi不变，然后使用公式S＝((Th-GVi)*S/(2Th))+S计算并得到新的滤波参数。

15.如权利要求4所述的图像增强方法，其特征在于，所述优化评估单元为神经网络计算单元，所述图像增强装置还包括深度图计算单元，使得步骤S4具体包括以下步骤：

所述神经网络计算单元输入雾气传输图和深度图，其中，所述深度图作为AttentionMap注意力图与雾气传输图一起输入；

所述神经网络计算单元采用神经网络运算架构U-Net对雾气传输图进行滤波，并输出增强后的雾气传输图TS(N)。

16.如权利要求4所述的图像增强方法，其特征在于，步骤S5包括：

所述去雾单元输入所述原始图像和增强后的雾气传输图TS(N)，并对所述雾气传输图TS(N)进行去雾，得到最终输出图像；

数据输出单元输出所述去雾后的所述输出图像。

Images