CN103985086A - 图像除雾装置、摄像装置及图像除雾方法 - Google Patents

Abstract

本发明提供一种图像除雾装置、摄像装置及图像除雾方法，针对图像中的各像素设置包含边缘的暗通道窗口，基于这样的暗通道窗口计算像素的暗通道值，并利用暗通道假设进行基于大气模型的图像除雾处理。由此，在现有技术中的暗通道假设不完全适用的情况下，特别是在图像中存在与雾类似的大块浅色对象时，能够充分利用图像的特征信息，提高除雾处理的准确性，防止图像失真，提高除雾后的图像的品质。

Description

图像除雾装置、摄像装置及图像除雾方法

技术领域

本发明涉及一种图像除雾装置、摄像装置及图像除雾方法，尤其涉及基于暗通道进行图像除雾的图像除雾装置、摄像装置及图像除雾方法。

背景技术

中国地理环境复杂，天气多样，雾天在大多数地区经常可见，而且个别地区还会受到沙尘天气的影响。雾与沙尘天气降低了户外视频图像的能见度。另外，在大型城市中，由于空气质量的问题，户外视频图像的能见度也会降低。能见度的降低对于视频图像的质量产生较大影响。特别是对于安防监控领域，影响更加明显。雾化图像清晰化是图像处理领域中的迫切的实用需求。同时最近几年基于单帧图像的除雾技术的突破使得雾化图像除雾处理成为计算机视觉领域越来越重要的研究方向。

目前，雾化图像清晰化方法主要有两个方向：基于一般图像增强方法的除雾算法和基于大气模型的除雾算法。属于基于一般图像增强方法的除雾算法的有直方图均值、空间锐化滤波、高频加强滤波、小波增强、Retinex增强滤波等等。这些算法以增强图像的对比度和能见度为出发点并且与除雾没有直接关系，对于由低照明等原因引起的视频图像能见度降低等问题也可以进行处理。在2002年，由纳拉斯马汉（Narasimahan）等人在非专利文献1中首次提出了基于大气模型的除雾清晰化方法。最近几年，基于大气模型的除雾算法取得突破，这些算法仅需单帧图像作为输入图像就能取得不错的除雾效果，除雾效果远远优于一般图像增强的除雾方法。

其中，非专利文献2在非专利文献1的基础上，提出了一种使用暗通道假设的基于大气模型的除雾方法。暗通道假设是基于对无雾情况下清晰户外图像的观察和统计得到的假设：在大多数非天空的区域，由于阴影、颜色鲜艳的物体和暗的物体的存在，R（红）、G（绿）、B（蓝）三个颜色通道中至少有一个颜色通道在某些像素有很小的值。暗通道定义为min（rgb，local patch），即以当前像素为中心的一个固定窗口大小的正方形窗口内，所有像素的R、G、B最小值的最小值。暗通道假设认为暗通道的值全部由雾贡献，即在清晰无雾的情况下，暗通道的值为0。由此，能够更加简单且有效地基于大气模型进行除雾处理。

但是，在非专利文献2的使用暗通道假设的基于大气模型的除雾方法中，存在以下技术问题。即，由于暗通道假设是基于统计的，在某些情况并不成立。在实际场景中，有与天空类似的大块灰色或白色物体，并且无阴影。这种情况下，暗通道的值也由物体贡献，而现有技术中的暗通道假设不成立。这时如果仍然按照原方法除雾，会导致除雾的结果出现错误，结果图比实际的变暗。

现有技术文献：

非专利文献1：《Vision and the Atmosphere》，Narasimahan等

非专利文献2：《Single image haze removal using dark channelprior》，Kaiming He，Jian Sun，Xiaoou Tang等，2009IEEE，1956－1963

发明内容

本发明针对现有技术中的上述技术问题，其目的在于，提供一种能够在不同的实际场景中确保良好的除雾效果的图像除雾装置、摄像装置及图像除雾方法。

本发明为了达到上述目的，提供一种图像除雾装置，用于对图像进行除雾处理，其特征在于，具备：边缘信息提取部，对图像进行边缘检测，提取表示所述图像所包含的边缘的边缘信息；暗通道窗口设置部，基于由所述边缘信息提取部提取的边缘信息，针对所述图像中的多个像素，分别设置与该多个像素之中的至少一个像素对应的暗通道窗口以使该暗通道窗口中包含边缘；暗通道值计算部，基于由所述暗通道窗口设置部设置的暗通道窗口，计算所述多个像素各自的暗通道值；以及除雾处理部，利用由所述暗通道值计算部计算的暗通道值，对所述图像进行除雾处理，得到除雾后的图像。

根据该图像除雾装置，针对图像中的像素设置包含边缘的暗通道窗口，基于这样的暗通道窗口计算像素的暗通道值并用于图像除雾处理。所谓“边缘（edge）”，指的是图像中亮度值（灰度）在空间方向上变化梯度大的区域。由此，在现有技术中的暗通道假设不完全适用的情况下，特别是在图像中存在与雾类似的大块浅色（例如灰色或白色）对象时，能够充分利用图像的特征信息，提高除雾处理的准确性，防止图像失真，提高除雾后的图像的品质。

另外，在上述图像除雾装置中，也可以是：所述暗通道窗口设置部针对所述多个像素之中的各个像素，分别使与该像素对应的暗通道窗口的大小从初始值逐次以预定比例或预定值扩大，直到该暗通道窗口中包含边缘。

在此，通过使图像中的像素的暗通道窗口的大小从初始值逐次以预定比例或预定值扩大，能够针对图像中的像素设置包含边缘的暗通道窗口。而且，通过以相同的处理设置各像素的暗通道窗口，提供了一种实现暗通道窗口设置处理的简单且容易执行的方式。

另外，在上述图像除雾装置中，也可以是：所述暗通道窗口设置部在设置了与所述多个像素之中的第1像素对应的暗通道窗口的情况下，根据与该第1像素对应的暗通道窗口的大小以及该第1像素与所述多个像素之中的第2像素之间的位置关系，设置与该第2像素对应的暗通道窗口的大小的初始值。

在此，通过根据图像中已设置的像素的暗通道窗口的大小以及该已设置的像素与要设置的像素之间的位置关系（例如距离和方位），能够更有针对性地设置暗通道窗口以使其包含边缘。由此，能够减少暗通道窗口设置处理的运算量，加快暗通道窗口设置过程。

另外，在上述图像除雾装置中，也可以是：所述暗通道窗口设置部基于由所述边缘信息提取部提取的边缘信息，将所述图像划分为分别由至少一个像素构成且分别包含边缘的多个区域，并将各区域设置为与该区域中的像素对应的暗通道窗口。

在此，通过在图像中划分分别包含边缘的多个区域并设置为与该区域中的像素对应的暗通道窗口，能够进一步减少暗通道窗口设置处理的运算量，加快暗通道窗口设置过程。

另外，在上述图像除雾装置中，也可以是：所述除雾处理部利用由所述暗通道值计算部计算的暗通道值，计算所述多个像素各自的距离参数，利用该距离参数对所述图像进行除雾处理。

在此，利用基于包含边缘的暗通道窗口计算出的暗通道值，计算图像中的像素的距离参数并对图像进行除雾处理。由此，能够获得更加准确的距离参数，提高除雾处理的准确性，防止图像失真，提高除雾后的图像的品质。

另外，在上述图像除雾装置中，也可以是：所述除雾处理部利用由所述暗通道值计算部计算的暗通道值，计算所述多个像素各自的粗距离参数，并对该粗距离参数进行精细化而得到精距离参数，利用该精距离参数对所述图像进行除雾处理。

在此，利用基于包含边缘的暗通道窗口计算出的暗通道值，计算图像中的像素的距离参数并对距离参数进行精细化，利用精细化后的距离参数对图像进行除雾处理。由此，能够捕捉图像中锐利的边缘等不连续区域，使图像中的对象物的边缘更加清晰，进一步提高除雾后的图像的品质。

另外，在上述图像除雾装置中，也可以是：所述图像除雾装置还具备深色区域提取部，该深色区域提取部提取所述图像中的预定大小以上的深色区域；所述暗通道窗口设置部针对由所述深色区域提取部提取的所述深色区域内的像素，与所述边缘信息无关地将与该像素对应的暗通道窗口的大小设置为预定值。

在图像中存在较大深色区域时，对该深色区域中的像素而言，即使暗通道窗口不包含边缘，也能够得到较好的除雾效果。因此，通过具备深色区域提取部提取深色区域，并对深色区域中的像素设置预定大小的暗通道窗口，在深色区域中省略了暗通道窗口设置处理中使暗通道窗口包含边缘所需的处理，能够减少暗通道窗口设置处理的运算量，加快暗通道窗口设置过程。

本发明为了达到上述目的，还提供一种摄像装置，用于拍摄图像，其特征在于，具备：拍摄单元，拍摄单帧或多帧的图像；以及上述图像除雾装置，输入由所述拍摄单元拍摄的图像，对该图像进行除雾处理，得到除雾后的图像。

根据该摄像装置，针对由该摄像装置拍摄的图像中的像素设置包含边缘的暗通道窗口，基于这样的暗通道窗口计算像素的暗通道值并用于图像除雾处理。在此，摄像装置既可以是一次拍摄单帧图像的照相机等，也可以是一次拍摄多帧图像的摄像机等。由此，在现有技术中的暗通道假设不完全适用的情况下，特别是在图像中存在与雾类似的大块浅色（例如灰色或白色）对象时，能够充分利用图像的特征信息，提高除雾处理的准确性，防止图像失真，提高由该摄像装置拍摄的图像的品质。

本发明为了达到上述目的，还提供一种图像除雾方法，用于对图像进行除雾处理，其特征在于，包括：边缘信息提取步骤，对图像进行边缘检测，提取表示所述图像所包含的边缘的边缘信息；暗通道窗口设置步骤，基于所述边缘信息提取步骤中提取的边缘信息，针对所述图像中的多个像素，分别设置与该多个像素之中的至少一个像素对应的暗通道窗口以使该暗通道窗口中包含边缘；暗通道值计算步骤，基于所述暗通道窗口设置步骤中设置的暗通道窗口，计算所述多个像素各自的暗通道值；以及除雾处理步骤，利用所述暗通道值计算步骤中计算的暗通道值，对所述图像进行除雾处理，得到除雾后的图像。

根据该图像除雾方法，针对图像中的像素设置包含边缘的暗通道窗口，基于这样的暗通道窗口计算像素的暗通道值并用于图像除雾处理。由此，在现有技术中的暗通道假设不完全适用的情况下，特别是在图像中存在与雾类似的大块浅色（例如灰色或白色）对象时，能够充分利用图像的特征信息，提高除雾处理的准确性，防止图像失真，提高除雾后的图像的品质。

发明效果

根据本发明的图像除雾装置、摄像装置以及图像除雾方法，能够充分利用图像的特征信息，对于图像中存在与雾类似的大块灰色或白色对象时，提高除雾结果的准确性，防止图像失真；而且能够容易地结合到其他的除雾处理中，能够方便地改善其他除雾处理；还能够容易地通过硬件结构或软件程序实现，仅需在用于现有的硬件结构或软件程序的基础上做较小的改动，便于实施；另外，能够灵活地适用于不同的场景，从而在确保除雾效果的情况下自适应地选择不同的解决方案。

附图说明

图1是表示本发明所涉及的基于大气模型的除雾处理中大气模型的示意图。

图2是表示本发明的第一实施方式的图像除雾装置的结构的框图。

图3是表示本发明的第一实施方式的图像除雾装置所执行的图像除雾方法的流程图。

图4是表示本发明的第一实施方式的图像除雾装置所执行的图像除雾方法的一个具体例的流程图。

图5是表示本发明的第二实施方式的图像除雾装置所执行的图像除雾方法的一个具体例的流程图。

图6是表示本发明的摄像装置的结构的框图。

具体实施方式

以下，结合附图详细说明本发明的具体实施方式。其中，以下说明的具体实施方式仅为例示，不用作限定本发明的范围。在这些具体实施方式中，装置所具备的结构和方法所包括的步骤能够按照实际情况适当变更、组合、添加和删除，所列出的数值仅为一例，也能够根据实际情况适当变更。

（基于大气模型的除雾处理的基本原理）

首先，说明本发明所涉及的基于大气模型的除雾处理的基本原理，着重说明利用暗通道假设的基于大气模型的除雾处理的基本原理。

大气模型描述了当大气中具有悬浮颗粒时摄像装置拍摄或人眼观察物体的光学原理。大气模型的公式由下式（1）表示：

I(X)=J(X)t(X)+A(1-t(X))（1）

其中，I（X）代表摄像装置拍摄到的雾化图像或者人眼观察到的雾化图像，X=（m，n）为图像中的像素的坐标。J（X）为物体反射光图像，表示没有雾的图像，或者可以说是除雾处理的结果图像。A为图像中天空的一点（以下也称作“天空点”）的颜色值（RGB值），以下也称作天空点参数。如果当前输入图像中没有天空存在，则将图像中雾浓度最强的点视作天空点。t（X）定义了空气介质的传输函数，描述了物体反射光经过空中悬浮颗粒的散射以后残留下来而达摄像装置的比例。t（X）是一个大于0且小于1的标量数据，图像中每个像素具有一个t（X）。I（X）、J（X）与A均为图像RGB数据。

以下参照图1说明式（1）。图1是表示本发明所涉及的基于大气模型的除雾处理中大气模型的示意图。如图1所示，左侧的图像是人眼或摄像装置观察到的图像I（X）。图像I（X）由两部分组成，其中，第一部分为物体反射光J（X）经过空中悬浮颗粒散射以后存留下来的部分J（X）t（X），第二部分为空中悬浮颗粒散射太阳光所造成的大气环境光A（1－t（X））。式（1）中的t（X）是被摄物体与摄像装置（人眼）之间距离（即物距）的函数，具体由下式（2）表示：

t(X)=e^-βd(X)（2）

其中，d（X）是图像中一物体点与摄像装置（人眼）之间的距离，因此t（X）也称作“距离参数”。β是大气散射系数，是常数。

由式（1）与式（2）可以看出物体反射光到达摄像装置的强度J（X）t（X）和物体与摄像装置之间的距离d（X）之间的关系为距离越远则光线衰减越厉害；大气环境光到达摄像装置的强度A（1－t（X））与距离d（X）之间的关系为距离越远则光线越强，所以在无穷远处呈现出白色。

以下着重说明利用暗通道假设的基于大气模型的除雾处理的基本原理。根据式（1），针对某像素y，在与其对应的暗通道窗口Ω（x）中对雾化图像I（y）的RGB值取最小值，能够得到下式（3）：

$\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(I^c\left(y\right)\right)=\tilde{t}\left(x\right)\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(J^c\left(y\right)\right)+(1-\tilde{t}\left(x\right))A^c---\left(3\right)$

其中，是估计的传输函数（距离参数），c∈{r,g,b}，是颜色通道指数。在此，天空点参数A已知，或者能够按照公知的方法求出（具体可参照非专利文献2）。

接着，在式（3）中，在三个颜色通道（R、G、B）中取最小值，能够得到下式（4）：

$\begin{array}{c}\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)\right)=\tilde{t}\left(x\right)\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{J^c\left(y\right)}{A^c}\right)\right)\\ +(1-\tilde{t}\left(x\right)).\end{array}---\left(4\right)$

基于暗通道假设，该像素y的暗通道窗口Ω（x）内全部像素的三个颜色通道的最小值的最小值即暗通道值全部由雾贡献，即在清晰无雾的情况下，暗通道值为0。即，如下式（5）所示：

$\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(J^c\left(y\right)\right)\right)=0.---\left(5\right)$

根据式（4）和式（5），能够得到下式（6）：

$\tilde{t}\left(x\right)=1-\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)\right)---\left(6\right)$

由式（6）可知，在利用暗通道假设的基于大气模型的除雾处理中，能够根据雾化图像（除雾前的图像）I（y）和暗通道窗口Ω（x）得到雾化图像I（y）的暗通道值，并根据雾化图像I（y）的暗通道值和天空点参数A得到传输函数（距离参数）

最后，根据式（1），利用传输函数（距离参数）雾化图像（除雾前的图像）I（y）和天空点参数A得到除雾图像（除雾后的图像）J（y）。

（第一实施方式）

以下参照附图说明本发明的第一实施方式。其中，本发明的第一实施方式按照以上说明的利用暗通道假设的基于大气模型的除雾处理的基本原理，针对图像中的像素设置包含边缘的暗通道窗口，基于这样的暗通道窗口计算像素的暗通道值并用于图像除雾处理。

图2是表示本发明的第一实施方式的图像除雾装置的结构的框图。如图2所示，本发明的第一实施方式的图像除雾装置200用于对当前图像进行除雾处理（也称为清晰化处理），具备边缘信息提取部20、暗通道窗口设置部30、暗通道值计算部40和除雾处理部50。该图像除雾装置200例如可以通过CPU等处理器执行规定的处理从而实现上述各结构的功能来构成，也可以由集成了与上述各结构相应的电路结构的集成电路构成，还可以由分别实现上述各结构的分布式电路构成。以下具体说明图像除雾装置200的结构。

边缘信息提取部20对输入或读取的当前图像进行边缘检测，提取表示图像所包含的边缘的边缘信息。求取图像边缘信息可以使用现有的图像边缘检测算法，比如canny算法。在此，所谓“边缘”指的是图像中亮度值（灰度）在空间方向上变化梯度大的区域。

暗通道窗口设置部30基于由边缘信息提取部20提取的边缘信息，针对图像中的多个像素，分别设置与该多个像素之中的至少一个像素对应的暗通道窗口以使该暗通道窗口中包含边缘。暗通道窗口设置部30在设置暗通道窗口时只要能够使暗通道窗口中包含边缘即可，具体设置方法留待后文详述。

暗通道值计算部40基于由暗通道窗口设置部30设置的暗通道窗口，计算多个像素各自的暗通道值。具体而言，暗通道值计算部40根据暗通道窗口和当前图像，在与该像素对应的暗通道窗口内，计算窗口内所有像素的颜色值最小值（RGB三个颜色通道最小值）的最小值（参照式（4）、式（5））。

除雾处理部50利用由暗通道值计算部40计算的暗通道值，对图像进行除雾处理，得到除雾后的图像。具体而言，除雾处理部50例如根据式（6），根据当前图像的暗通道值（有时也把每个像素的暗通道值所组成的集合称为暗通道图）和天空点参数得到距离参数，并根据式（1）利用当前图像的像素值、天空点参数和得到的距离参数，计算除雾后的图像（物体反射光图像）的像素值，从而得到除雾图像。

图3是表示本发明的第一实施方式的图像除雾装置所执行的图像除雾方法的流程图。如图3所示，本发明的第一实施方式的图像除雾装置200所执行的图像除雾方法用于对图像进行除雾处理，包括边缘信息提取步骤S301、暗通道窗口设置步骤S302、暗通道值计算步骤S303和除雾处理步骤S304。以下具体说明图像除雾方法的各步骤。

在边缘信息提取步骤S301中，边缘信息提取部20对输入或读取的当前图像进行边缘检测，提取表示图像所包含的边缘的边缘信息。

在暗通道窗口设置步骤S302中，暗通道窗口设置部30基于边缘信息提取步骤S301中提取的边缘信息，针对图像中的多个像素，分别设置与该多个像素之中的至少一个像素对应的暗通道窗口以使该暗通道窗口中包含边缘。

在暗通道值计算步骤S303中，暗通道值计算部40基于暗通道窗口设置步骤S302中设置的暗通道窗口，计算多个像素各自的暗通道值。

在除雾处理步骤S304中，除雾处理部50利用暗通道值计算步骤S303中计算的暗通道值，对图像进行除雾处理，得到除雾后的图像。

在暗通道窗口设置步骤S302中，暗通道窗口设置部30在设置暗通道窗口时例如可以采用以下方法。图4是表示本发明的第一实施方式的图像除雾装置所执行的图像除雾方法的一个具体例的流程图。在图4中，与图3相同的步骤省略说明。而且，在图4中，步骤S401～S404相当于暗通道窗口设置步骤S302。

如图4所示，在边缘信息提取步骤S301中，如上所述，边缘信息提取部20提取图像的边缘信息。

接下来，在步骤S401中，暗通道窗口设置部30使用预先设定的初始值（比如15像素）来设置当前像素的暗通道窗口的大小。窗口可以设置为以当前像素为中心且以窗口大小（即初始值）为边长的正方形。但窗口的设置不限于此，也可以根据实际情况采用例如矩形、多边形等其他形状，另外也可以根据实际情况设定窗口的中心，例如在靠近图像边界的位置可以酌情以当前像素以外的像素为窗口的中心。

在步骤S402中，暗通道窗口设置部30基于边缘信息提取步骤S301中提取的边缘信息，判断当前像素的暗通道窗口内是否包含边缘。

如果在步骤S402中判断为当前像素的暗通道窗口包含边缘，则接下来执行暗通道值计算步骤S303，由暗通道值计算部40根据当前的暗通道窗口（初始值）计算当前像素的暗通道值。

如果在步骤S402中判断为当前像素的暗通道窗口不包含边缘，则接下来执行步骤S403。

在步骤S403中，暗通道窗口设置部30使当前像素的暗通道窗口的大小从初始值逐次以预定比例（比如边长变为1.5倍）或预定值（比如10个像素）扩大。

在步骤S404中，暗通道窗口设置部30判断步骤S403中得到的扩大后的暗通道窗口内是否包含边缘。

如果在步骤S404中判断为扩大后的暗通道窗口仍然不包含边缘，则继续执行步骤S403，直到新的暗通道窗口内包含边缘。

如果在方法步骤S404中判断为扩大后的暗通道窗口已包含边缘，则执行暗通道值计算步骤S303，由暗通道值计算部40根据当前的暗通道窗口（扩大后的暗通道窗口）计算当前像素的暗通道值。

如果在步骤S405中判断为当前像素不是当前图像的最后像素，即还未处理完当前图像中的所有像素，则切换到下一个像素，接下来从步骤S401开始执行。

如果在步骤S405中判断为当前像素是当前图像的最后像素，即已处理完当前图像中的所有像素，则接下来除雾处理部50执行除雾处理步骤S304。

根据本发明的第一实施方式的图像除雾装置以及图像除雾方法，针对图像中的像素设置包含边缘的暗通道窗口，基于这样的暗通道窗口计算像素的暗通道值并用于图像除雾处理。由此，在现有技术中的暗通道假设不完全适用的情况下，特别是在图像中存在与雾类似的大块浅色（例如灰色或白色）对象时，能够充分利用图像的特征信息，提高除雾处理的准确性，防止图像失真，提高除雾后的图像的品质。

另外，根据本发明的第一实施方式的图像除雾装置以及图像除雾方法，通过使图像中的像素的暗通道窗口的大小从初始值逐次以预定比例或预定值扩大，能够针对图像中的像素设置包含边缘的暗通道窗口。而且，通过以相同的处理设置各像素的暗通道窗口，提供了一种实现暗通道窗口设置处理的简单且容易执行的方式。

另外，根据本发明的第一实施方式的图像除雾装置以及图像除雾方法，利用基于包含边缘的暗通道窗口计算出的暗通道值，计算图像中的像素的距离参数并对图像进行除雾处理。由此，能够获得更加准确的距离参数，提高除雾处理的准确性，防止图像失真，提高除雾后的图像的品质。

另外，由于除雾处理中的处理量主要集中于对距离参数的处理（例如距离参数的精细化），因此在执行本发明的暗通道窗口设置处理的情况下，除雾处理所需的全部处理量不会大为增加，能够在较短的处理时间内大幅度提高除雾后的图像的品质。

（第二实施方式）

以下参照附图说明本发明的第二实施方式。本发明的第二实施方式仅暗通道窗口设置处理与第一实施方式不同，因此仍沿用图2～图4说明第二实施方式所涉及的图像除雾装置的结构和图像除雾方法的步骤，着重说明与第一实施方式的不同点，而省略说明与第一实施方式相同或相似的部分。

在本发明的第二实施方式的图像除雾装置中，暗通道窗口设置部30在设置了与图像中的多个像素之中的第1像素对应的暗通道窗口的情况下，根据与该第1像素对应的暗通道窗口的大小以及该第1像素与图像中的多个像素之中的第2像素之间的位置关系，设置与该第2像素对应的暗通道窗口的大小的初始值。

以下具体说明第二实施方式中图像除雾装置所执行的图像除雾方法的具体例。图5是表示本发明的第二实施方式的图像除雾装置所执行的图像除雾方法的具体例的流程图。在图5中，与图3和图4相应的步骤省略说明。而且，在图5中，步骤S401～S404和S501～S504相当于暗通道窗口设置步骤S302。

在步骤S501中，暗通道窗口设置部30判断当前像素是否为当前图像中的第一个像素。在当前像素是当前图像中的第一个像素的情况下，执行步骤S401。在当前像素不是当前图像中的第一个像素的情况下，执行步骤S502。

步骤S401～S406与图4相同，在步骤S404中暗通道窗口设置部30判断为新的暗通道窗口包含边缘的情况下，执行步骤S504。

在步骤S504中，暗通道窗口设置部30记录当前暗通道窗口的大小（N像素）。

另一方面，在步骤S502中，暗通道窗口设置部30判断当前像素是否位于以上一像素为中心且预定大小（M像素）的窗口内。在此，M的值可以根据实际情况设定，例如可以考虑当前像素为上一像素的相邻像素的情况（即M＝1）。在判断为当前像素位于上述窗口内的情况下，执行步骤S503。在判断为当前像素不位于上述窗口内的情况下，执行步骤S401。

在步骤S503中，暗通道窗口设置部30将当前像素的暗通道窗口的大小的初始值设为L。其中，L的值为第一个像素的初始值以上即可，可以根据实际情况设定。其中，在暗通道窗口设置部30使当前像素的暗通道窗口的大小逐次以预定值a（例如10）个像素扩大的情况下，L例如可以考虑设定为N－a（例如N－10）。即，由于上一像素的暗通道窗口大小为N，能够确定在以上一像素为中心且大小N－a（例如为N－10）的窗口内不包含边缘，因此可以考虑在以当前像素（例如为上一像素的相邻像素）为中心且大小小于N－a（例如N－10）的窗口内也不包含边缘，因而暗通道窗口设置部30将当前像素的暗通道窗口的大小的初始值设为N－a（例如N－10）。接下来，暗通道窗口设置部30执行步骤S401。

如上所述，通过考虑已扩大的像素的暗通道窗口的大小以及该已扩大的像素与要设置的像素之间的距离，改变要设置的像素的暗通道窗口的大小的初始值，从而无需进一步扩大暗通道窗口的大小或减少了扩大暗通道窗口的大小的次数，节省了计算时间。

在此具体说明了考虑像素之间的距离的情况，但也可以还考虑像素之间的方位等其他位置关系。通过根据图像中已设置的像素的暗通道窗口以及该已设置的像素与要设置的像素之间的位置关系，能够更有针对性地设置暗通道窗口以使其包含边缘。由此，能够减少暗通道窗口设置处理的运算量，加快暗通道窗口设置过程。

（第三实施方式）

以下参照附图说明本发明的第三实施方式。本发明的第三实施方式仅暗通道窗口设置处理与第一实施方式不同，因此仍沿用图2～图4说明第三实施方式所涉及的图像除雾装置的结构和图像除雾方法的步骤，着重说明与第一实施方式的不同点，而省略说明与第一实施方式相同或相似的部分。

在本发明的第三实施方式的图像除雾装置中，暗通道窗口设置部30基于由边缘信息提取部20提取的边缘信息，将图像划分为分别由至少一个像素构成且分别包含边缘的多个区域，并将各区域设置为与该区域中的像素对应的暗通道窗口。

在除雾处理中与空间精度相比更加要求处理速度的情况下，通过在图像中划分分别包含边缘的多个区域并设置为与该区域中的像素对应的暗通道窗口，节省了按每个像素扩大暗通道窗口的处理，能够进一步减少暗通道窗口设置处理的运算量，加快暗通道窗口设置过程。

（变形例）

以上详细说明了本发明的几个实施方式，但本发明不限于上述实施方式，例如还能够进行以下变形。另外，以下变形例能够相互组合并与上述实施方式进一步组合，组合而成的实施方式也包括在本发明之内。

在第一实施方式～第三实施方式的图像除雾装置中，也可以是除雾处理部50利用由暗通道值计算部40计算的暗通道值，计算图像中的多个像素各自的粗距离参数，并对该粗距离参数进行精细化而得到精距离参数，利用该精距离参数对图像进行除雾处理。关于计算粗距离参数和精距离参数的具体方法，可以参照非专利文献2，在此不做赘述。

根据本变形例，利用基于包含边缘的暗通道窗口计算出的暗通道值，计算图像中的像素的距离参数并对距离参数进行精细化，利用精细化后的距离参数对图像进行除雾处理。由此，能够捕捉图像中锐利的边缘等不连续区域，使图像中的对象物的边缘更加清晰，进一步提高除雾后的图像的品质。

在此，粗距离参数的精细化处理在整个除雾处理中占用较多的运算量，需要较长的处理时间。在除雾处理中与得到的距离参数的空间精度相比更加要求处理速度的情况下，当然也可以在上述变形例中不对粗距离参数进行精细化，而直接使用该粗距离精度。

在第一实施方式～第三实施方式的图像除雾装置中，也可以是图像除雾装置200还具备深色区域提取部，该深色区域提取部提取图像中的预定大小以上的深色区域。暗通道窗口设置部30针对由深色区域提取部提取的深色区域内的像素，与边缘信息无关地将与该像素对应的暗通道窗口的大小设置为预定值。

在此，深色区域能够根据图像的RGB值或亮度值根据实际情况适当定义。例如基于上述定义预先设定适当的阈值，深色区域提取部利用该阈值来提取深色区域。

在图像中存在较大深色区域时，对该深色区域中的像素而言，即使暗通道窗口不包含边缘，也能够得到较好的除雾效果。根据本变形例，通过具备深色区域提取部提取深色区域，并对深色区域中的像素设置预定大小的暗通道窗口，在深色区域中省略了暗通道窗口设置处理中使暗通道窗口包含边缘所需的处理，能够减少暗通道窗口设置处理的运算量，加快暗通道窗口设置过程。

在第一实施方式～第三实施方式的图像除雾装置中，除雾处理部50所利用的天空点参数既可以为预定值，也可以由除雾处理部50根据当前图像提取，在此不做限定。

在第一实施方式～第三实施方式的图像除雾装置中，既可以对当前图像的全部像素进行除雾处理，也可以根据实际情况对当前图像的一部分像素进行除雾处理。

另外，本发明的上述全部实施方式和变形例及其组合都能够适用于摄像装置。图6是表示本发明的摄像装置的结构的框图。如图6所示，摄像装置1000具备拍摄单帧或多帧的图像的拍摄单元100以及上述各实施方式和变形例及其组合中的任一个图像除雾装置200。该图像除雾装置200输入由拍摄单元100拍摄的图像，对该图像进行除雾处理，得到除雾后的图像。

在此，摄像装置1000既可以是一次拍摄单帧图像的照相机等，也可以是一次拍摄多帧图像的摄像机等。该摄像装置还可以具备用于存储各种数据的共享存储器以及用于输出（和/或显示）经图像除雾装置200清晰化处理（除雾处理）的图像输出单元等。

如图6所示，优选由拍摄单元100提供的图像通过拍摄单元100与除雾处理部50之间的连接传输给除雾处理部50。替代地，除雾处理部50也可以从存储器——例如共享存储器中读取当前图像。

根据该摄像装置，针对由该摄像装置拍摄的图像中的像素设置包含边缘的暗通道窗口，基于这样的暗通道窗口计算像素的暗通道值并用于图像除雾处理。由此，在现有技术中的暗通道假设不完全适用的情况下，特别是在图像中存在与雾类似的大块浅色（例如灰色或白色）对象时，能够充分利用图像的特征信息，提高除雾处理的准确性，防止图像失真，提高由该摄像装置拍摄的图像的品质。

本发明的图像除雾装置、图像除雾方法以及摄像装置特别适用于视频监控领域，同时也可以用于任何与图像、视频相关的设备。

Claims (9)

1.一种图像除雾装置，用于对图像进行除雾处理，其特征在于，具备：

边缘信息提取部，对图像进行边缘检测，提取表示所述图像所包含的边缘的边缘信息；

暗通道窗口设置部，基于由所述边缘信息提取部提取的边缘信息，针对所述图像中的多个像素，分别设置与该多个像素之中的至少一个像素对应的暗通道窗口以使该暗通道窗口中包含边缘；

暗通道值计算部，基于由所述暗通道窗口设置部设置的暗通道窗口，计算所述多个像素各自的暗通道值；以及

除雾处理部，利用由所述暗通道值计算部计算的暗通道值，对所述图像进行除雾处理，得到除雾后的图像。

2.如权利要求1所述的图像除雾装置，其特征在于，

所述暗通道窗口设置部针对所述多个像素之中的各个像素，分别使与该像素对应的暗通道窗口的大小从初始值逐次以预定比例或预定值扩大，直到该暗通道窗口中包含边缘。

3.如权利要求2所述的图像除雾装置，其特征在于，

所述暗通道窗口设置部在设置了与所述多个像素之中的第1像素对应的暗通道窗口的情况下，根据与该第1像素对应的暗通道窗口的大小以及该第1像素与所述多个像素之中的第2像素之间的位置关系，设置与该第2像素对应的暗通道窗口的大小的初始值。

4.如权利要求1所述的图像除雾装置，其特征在于，

所述暗通道窗口设置部基于由所述边缘信息提取部提取的边缘信息，将所述图像划分为分别由至少一个像素构成且分别包含边缘的多个区域，并将各区域设置为与该区域中的像素对应的暗通道窗口。

5.如权利要求1所述的图像除雾装置，其特征在于，

所述除雾处理部利用由所述暗通道值计算部计算的暗通道值，计算所述多个像素各自的距离参数，利用该距离参数对所述图像进行除雾处理。

6.如权利要求5所述的图像除雾装置，其特征在于，

所述除雾处理部利用由所述暗通道值计算部计算的暗通道值，计算所述多个像素各自的粗距离参数，并对该粗距离参数进行精细化而得到精距离参数，利用该精距离参数对所述图像进行除雾处理。

7.如权利要求1所述的图像除雾装置，其特征在于，

所述图像除雾装置还具备深色区域提取部，该深色区域提取部提取所述图像中的预定大小以上的深色区域；

所述暗通道窗口设置部针对由所述深色区域提取部提取的所述深色区域内的像素，与所述边缘信息无关地将与该像素对应的暗通道窗口的大小设置为预定值。

8.一种摄像装置，用于拍摄图像，其特征在于，具备：

拍摄单元，拍摄单帧或多帧的图像；以及

权利要求1～7中任一项所述的图像除雾装置，输入由所述拍摄单元拍摄的图像，对该图像进行除雾处理，得到除雾后的图像。

9.一种图像除雾方法，用于对图像进行除雾处理，其特征在于，包括：

边缘信息提取步骤，对图像进行边缘检测，提取表示所述图像所包含的边缘的边缘信息；

暗通道窗口设置步骤，基于所述边缘信息提取步骤中提取的边缘信息，针对所述图像中的多个像素，分别设置与该多个像素之中的至少一个像素对应的暗通道窗口以使该暗通道窗口中包含边缘；

暗通道值计算步骤，基于所述暗通道窗口设置步骤中设置的暗通道窗口，计算所述多个像素各自的暗通道值；以及

除雾处理步骤，利用所述暗通道值计算步骤中计算的暗通道值，对所述图像进行除雾处理，得到除雾后的图像。