CN107527325A - 一种基于暗通道优先的单目水下视觉增强方法 - Google Patents

Abstract

本发明公开了一种基于暗通道优先的单目水下视觉增强方法，首先对水下图像的雾化和色偏现象建立退化模型，通过计算亮暗通道的视差获取水下图像的景深信息；其次，通过景深信息估计水体背景颜色；然后根据景深信息获取水下环境的透射图，并通过自适应的方式对透射图中的透射率进行调整；最后对图像进行恢复，并采用颜色校正对图像做后续处理，以去除剩余的色偏，并调整亮度。本发明通过改进的暗通道优先算法有效的解决了水下图像增强的问题。此方法的模型简单，实时性好，避免了复杂的模型计算缺陷，同时该算法对环境的鲁棒性更好，可广泛使用于浅水、净水、富含浮游生物水域等环境，具有广阔的应用前景和良好的经济效益。

Description

一种基于暗通道优先的单目水下视觉增强方法

技术领域

本发明涉及一种基于暗通道优先的单目水下视觉增强方法，该方法是水下机器人视觉应用前的图像处理，其属于水下图像处理、水下机器人等应用领域。

背景技术

随着海洋的开发，水下机器人技术的研究成为当今时代的热点与趋势。目前，水下机器人广泛应用于水下管道检查、船体检修、水下娱乐、水下考古和科研考察等领域。有研究人员针对观测型水下机器人进行研究。水下机器人主要的环境感知手段是图像，但是由于水体会对光会产生散射与吸收的效应，导致水下图像会出现严重的弱化现象，从而严重影响了水下机器人作业任务的顺利开展。水体的散射效应会导致水下图像的对比度下降，即产生类似雾化的现象。吸收效应会使水下图像的亮度下降，当处于深水区时，甚至会出现完全漆黑的现象。此外，水对不同波长的光吸收能力不同，水下图像会产生色偏。其作用如图6所示。面对水体对图像质量的影响，图像增强是水下机器人开发的必要前提。

传统的图像增强算法有，直方图均衡化，对比度限制的直方图均衡化，基于概率的方法等。这些算法对于一般图像的增强很有效，但是对于水下环境，它们会使增强后的图像失真，增强效果不能满足实际要求。

目前已有的一些基于颜色恒常理论的水下图像增强方法。这种算法指出物体的颜色是由物体对长波、中波和短波光线的反射能力决定的，而不是由反射光强度的绝对值决定的且物体的色彩不受光照非均匀性的影响，具有一致性。其常常用于图像的去雾或者光照不足条件下的图像增强。对于水下环境，该算法常常导致增强过度的现象，对水下环境的鲁棒性较差。

还有一些基于暗通道优先算法(DCP)的水下图像增强。DCP算法由于其简单的雾化模型和优异的去雾效果，获得了广泛的应用。但直接将DCP算法应用于水下图像，并不能获得很好的增强效果。一些改进的算法被提出，如Chong-Yi Li等将对比度增强与DCP算法混合来用于水下图像的增强；John Y.Chiang等将波长补偿的方式与DCP相结合增强水下图像；但是这些算法不能兼顾增强效果与处理的实时性，增强效果较好但实时性较差，或者实时性较好但增强效果较差。

发明内容

本发明的目的是为了克服已有的技术缺陷，针对水下图像增强算法对环境的鲁棒性问题和处理实时性的问题，提出了一种基于单目图像暗通道优先处理的水下视觉增强方法。对于环境鲁棒性问题，本算法对透射图进行自适应调整，以适应更多水下环境。对于实时性问题，本算法基于暗通道优先算法进行改进的，该算法具有模型简单，实时性好的特点。从而实现了不同环境下水下图像增强效果适当，且处理时间短。

本发明采用的技术方案为：

一种基于暗通道优先的单目水下视觉增强方法，步骤如下：

(1)对水下图像的雾化和色偏现象建立退化模型，通过计算亮暗通道的视差获取水下图像的景深信息；

(2)通过景深信息估计水体背景颜色；

(3)根据景深信息获取水下环境的透射图，并通过自适应的方式对透射图中的透射率进行调整；

(4)对图像进行恢复，并采用颜色校正对图像做后续处理，以去除剩余的色偏，并调整亮度。

进一步，步骤(1)退化模型建立与景深信息获取：首先仿照暗通道优先算法，建立水下图像的退化模型；考虑到水下环境图像色偏的特点，获取图像中RGB三个通道中均值最大的通道图像和均值最小的通道图像；最后通过均值最大通道图像和均值最小通道图像之差获得景深图像。

进一步，步骤(2)估计水体背景颜色：首先在景深图中寻找到亮度为前0.1％的像素；其次，在原图像中取这些像素所对应的各个通道的均值作为水体的背景颜色。

进一步，步骤(3)透射图的获取与自适应调整：首先对景深图取反，得到透射图；其次，对透射图中各个像素的透射率进行自适应调整，其中自适应调整的部分有水下环境背景部分的透射率调整和最大透射率与最小透射率大小比例的调整。

进一步，步骤(4)图像恢复与颜色校正：首先根据暗通道优先算法对图像进行恢复；然后采用白平衡的方式对图像继续进行颜色校正处理；最后，对增强后图像的各个通道都添加某一个值，以增强图像亮度。

本发明与现有技术相比的有益效果：

本发明通过改进的暗通道优先算法有效的解决了水下图像增强的问题。由于水下图像退化与雾化图像具有相似性，算法利用了传统暗通道优先算法，模型简单，增强效果优异的特点。针对水下环境与雾化环境中的不同之处，对暗通道优先算法进行改进，使其适用于水下环境。同时通过自适应调整的方式，使算法具有更好的环境鲁棒性。此方法的模型简单，实时性好，避免了复杂的模型计算缺陷，同时该算法对环境的鲁棒性更好，可广泛使用于浅水、净水、富含浮游生物水域等环境，具有广阔的应用前景和良好的经济效益。

附图说明

图1为：算法总体框图；

图2为：景深图获取流程图；

图3为：水体颜色计算流程图；

图4为：透射图获取与调整流程图；

图5为：图像恢复与颜色校正流程图；

图6为：水体对光吸收作用图像；

图7为：暗通道图像与景深图像比较(图a为暗通道图像，图b为景深图像)；

具体实施方式

下面结合附图和具体实施方式对本发明做进一步说明，但本发明的保护范围不受实施例任何形式上的限制。

实施例1

一种基于暗通道优先的单目水下视觉增强方法，步骤如下：

(1)对水下图像的雾化和色偏现象建立退化模型，通过计算亮暗通道的视差获取水下图像的景深信息；

(2)通过景深信息估计水体背景颜色；

(3)根据景深信息获取水下环境的透射图，并通过自适应的方式对透射图中的透射率进行调整；

(4)对图像进行恢复，并采用颜色校正对图像做后续处理，以去除剩余的色偏，并调整亮度。

算法的具体步骤如下，总体流程图如图1所示。

1、退化模型建立与景深信息获取

退化模型的建立是图像增强算法的前提，首先仿照暗通道优先算法，建立水下图像的退化模型；考虑到水下环境图像色偏的特点，获取图像中RGB三个通道中均值最大的通道图像和均值最小的通道图像；最后通过均值最大通道图像和均值最小通道图像之差获得景深图像。处理流程如图2所示，具体步骤包括：

第一步：建立退化模型。水下图像退化与空气中的雾化具有相似性，采用暗通道优先算法的图像雾化模型表示水下图像的退化。退化模型的公式如下所示：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

其中，I(x)为原图像，J(x)为增强后的图像，t(x)为透射图，x是图像中的像素，A是水体背景颜色。

第二步：亮暗通道图像的获取。这里获取的亮暗通道是指图像三个通道中均值最高和均值最低的通道图像，其获取是以整幅图像作为操作对象。其定义与暗通道优先算法中的暗通道图像的定义不同，本算法采用的最亮通道和最暗通道的定义为:

其中，公式(1)是最亮通道图像的定义，J^b(x)表示最亮通道图像，J^c(x)表示各个通道的图像，x表示图像中的像素，c表示图像中RGB的三个通道。公式(2)是最暗通道图像的定义，J^d(x)表示最暗通道图像。

第三步：景深图像的获取。为了再现水下景物的景深效果，利用最亮通道图像减去最暗通道图像，得到景深图像。传统暗通道优先算法得到的暗通道图像在水下环境中，几乎完全漆黑，没有景深效果，无法进行后续处理。而本算法得到的景深图像具有景深效果，适用于水下环境。两者比较如图7所示。景深图像的获取如下所示：

J^depth(x)＝(J^b(x)-J^d(x))/255 (3)

其中，J^depth(x)表示景深图像，J^b(x)表示最亮通道图像，J^d(x)表示最暗通道图像，x表示图像中的像素；除以255是为了将景深图像中的值映射到0至1之间，以便于后续透射图的获取。

2、水体背景颜色获取

水体背景颜色获取主要包括两个部分，首先在景深图中寻找到亮度为前0.1％的像素；其次，在原图像中取这些像素所对应的各个通道的均值作为水体的背景颜色。算法的流程图见图3，具体步骤包括：

第一步：水体背景部分估计。水下环境与空气雾化导致的图像退化有所不同，水下图像由于散射会产生色偏。如果直接使用暗通道优先算法中的背景颜色估计方式，就不会产生较好的增强效果。本实施例采用景深图像代替暗通道图像，在景深图像的基础上获得水体背景部分，具体操作为：在景深图像中，取亮度为前0.1％的像素点。

第二步：水体背景颜色的计算。在上一步获得的像素点基础上，在原图中得到相对应的像素，并对所有这些像素的三通道值取均值，以此作为水体颜色的估计。具体计算方式如下:

其中A为水体背景颜色，y为原图中对应景深图亮度为前0.1％的像素点，c表示图像的三个通道。

对于选取像素点的比例是经验值，不一定必须是前0.1％。选取的像素点越多，估计的水体背景颜色更加准确，但是算法的实时性会下降。使用时，可以对不同场景的水下图像，设定不同的比例值。

3、透射图的获取与自适应调整

为了能够恢复出增强后的图像，必须要得到透射图，首先对景深图取反，得到透射图；其次，对透射图中各个像素的透射率进行自适应调整，其中自适应调整的部分有水下环境背景部分的透射率调整和最大透射率与最小透射率大小比例的调整。算法的流程见图4，具体步骤包括：

第一步：首先对景深图像取反得到透射图，由于景深图经过归一化处理，所以这里的取反操作也是1减去景深图。具体如下所示：

其中，是透射图，x是图像中的像素，J^depth(x)表示景深图像，ω是保留景深感的程度因子，该因子在[0,1]区间内取值，ω越接近于1，则越表明不用保留景深效果。

第二步：对透射图进行自适应调整。对于不同场景下的水下图像，为了取得较好的增强效果，透射图需要进行自适应调整。其中自适应调整的部分有水下环境背景部分的透射率调整和最大透射率与最小透射率大小比例的调整。透射率自适应调整公式如下所示：

其中，t(x)是调整后的透射图，是调整前的透射图，x是图像中的像素，t_max和t_min分别代表了中的最大值与最小值，λ表示了对比度调整的系数，其值在0至1范围内，值越大表明对比度越大，值越小表明对比度越小。本算法将λ默认设为0.7，使用时可以进行调整。

自适应调整透射图，是为了使算法可以处理更多的水下场景，具有更高的环境鲁棒性。但是，这并不意味着其可以处理所有的水下场景，对于处理不佳的水下场景，可以对算法中的ω和λ进行手工调整。

4、图像恢复与颜色校正

首先根据暗通道优先算法对图像进行恢复；然后采用白平衡的方式对图像继续进行颜色校正处理；最后，对增强后图像的各个通道都添加某一个值，以增强图像亮度。整个过程的流程图如图5所示，具体如下：

第一步：图像恢复。根据暗通道优先算法，在获得水体背景颜色和透射图后，可以对图像进行恢复。具体恢复公式如下所示：

其中，J(x)表示恢复后的图像，I(x)表示原图像，t(x)表示透射图，x表示图像中的像素；A是水体背景颜色，t₀是一个常量，其作用是防止透射率过小，导致增强后的图像过亮。

第二步：颜色校正。增强后的水下图像依旧存在着一些色偏。为了解决剩余色偏的问题，本实施例利用颜色校正算法对图像做后续处理。

其中，I^c(x)表示校正后各个通道的图像，c表示RGB三个通道，表示c通道的最大值，表示c通道的最小值，和的计算公式如下：

其中,表示c通道图像的均值，表示c通道图像的标准差。

第三步：亮度调整。水对光具有吸收作用，为了对光的亮度进行补偿，对图像中每个像素的每个通道都加上一个常量。

应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (5)

1.一种基于暗通道优先的单目水下视觉增强方法，其特征在于：包括以下步骤：

(1)对水下图像的雾化和色偏现象建立退化模型，通过计算亮暗通道的视差获取水下图像的景深信息；

(2)通过景深信息估计水体背景颜色；

(3)根据景深信息获取水下环境的透射图，并通过自适应的方式对透射图中的透射率进行调整；

(4)对图像进行恢复，并采用颜色校正对图像做后续处理，以去除剩余的色偏，并调整亮度。

2.根据权利要求1所述的方法，其特征在于步骤(1)退化模型建立与景深信息获取：首先仿照暗通道优先算法，建立水下图像的退化模型；考虑到水下环境图像色偏的特点，获取图像中RGB三个通道中均值最大的通道图像和均值最小的通道图像；最后通过均值最大通道图像和均值最小通道图像之差获得景深图像。

3.根据权利要求1所述的方法，其特征在于步骤(2)估计水体背景颜色：首先在景深图中寻找到亮度为前0.1％的像素；其次，在原图像中取这些像素所对应的各个通道的均值作为水体的背景颜色。

4.根据权利要求1所述的方法，其特征在于步骤(3)透射图的获取与自适应调整：首先对景深图取反，得到透射图；其次，对透射图中各个像素的透射率进行自适应调整，其中自适应调整的部分有水下环境背景部分的透射率调整和最大透射率与最小透射率大小比例的调整。

5.根据权利要求1所述的方法，其特征在于步骤(4)图像恢复与颜色校正：首先根据暗通道优先算法对图像进行恢复；然后采用白平衡的方式对图像继续进行颜色校正处理；最后，对增强后图像的各个通道都添加某一个值，以增强图像亮度。