CN102654914A - 使用图形处理单元加速图像去雾的方法 - Google Patents

Abstract

公开了一种使用图形处理单元加速图像去雾的方法，包括：获取以有雾图像中的每个像素为中心的局部像素块的最小灰度值；计算暗原色图像中预定大小的最亮区域在有雾图像中所覆盖区域的所有像素的R、G、B通道的灰度值的平均值，并将所述平均值中的最大值作为有雾图像的大气光值；利用大气光值对最小灰度值进行归一化，并利用归一化结果获取粗略的透射图；根据有雾图像中的像素的R通道、G通道、B通道的灰度值构造拉普拉斯矩阵，并利用拉普拉斯矩阵对粗略的透射图进行优化；利用优化的透射图、大气光值、有雾图像中的每个像素的R通道、G通道、B通道的灰度值，获取去雾图像中的每个像素的R通道、G通道、B通道的灰度值。

Description

使用图形处理单元加速图像去雾的方法

技术领域

本发明涉及图形处理领域，更具体地涉及一种使用图形处理单元加速图像去雾(image defogging)的方法。

背景技术

在天气情况较差的情况下，图像的清晰度和色彩常常会被大气中的雾气劣化。在这种天气中捕捉到的图像和视频的质量一般需要通过去雾处理进行改善。去除图像中的雾气效果的过程被称为图像去雾。图像去雾对于在天气情况较差的情况下进行的导航和监视非常有用。

当前存在很多图像去雾方法，其中基于暗原色先验(dark channelprior)的图像去雾方法是效果最好的一种。暗原色先验是通过对户外无雾图像数据库进行统计得出的，即，绝大多数的户外无雾图像的每个局部区域中都存在这样的像素，该像素的至少一个颜色通道的灰度值很低。利用暗原色先验建立的去雾模型可直接估算雾气的浓度并且可将有雾图像复原为高质量的去除雾气干扰后的图像(简称为去雾图像)。

在基于暗原色先验的图像去雾方法中，通过利用输入的有雾图像的灰度值I、大气光值A、和透射图t，根据有雾图像模型I＝Jt+A(1-t)来求解出去雾图像的灰度值J。基于暗原色先验的图像去雾方法的过程相对简单，但是在中央处理单元(CPU)上的运行速度非常慢。例如，在具有3.0GHz的英特尔奔腾4处理器的个人计算机上，处理600×400像素的图像大约需要花费10至20秒的时间。所以，在实时应用中不太可能使用这种图像去雾方法。

发明内容

鉴于以上所述的问题，本发明提出了一种新颖的利用图形处理单元加速图像去雾的方法。

根据本发明的一个实施例的图像去雾方法包括：获取以有雾图像中的每个像素为中心的局部像素块的最小灰度值，即暗原色，并利用对应于有雾图像中的每个像素的暗原色构建暗原色图像；计算暗原色图像中预定大小的最亮区域在有雾图像中所覆盖区域的所有像素的R通道的灰度值的平均值、G通道的灰度值的平均值、以及B通道的灰度值的平均值，并将所述平均值中的最大值作为有雾图像的大气光值；利用大气光值对最小灰度值进行归一化，并利用归一化结果获取粗略的透射图；根据有雾图像中的像素的R通道、G通道、以及B通道的灰度值构造拉普拉斯矩阵，并利用拉普拉斯矩阵对粗略的透射图进行优化；利用优化的透射图、大气光值、以及有雾图像中的每个像素的R通道、G通道、以及B通道的灰度值，获取去雾图像中的每个像素的R通道、G通道、以及B通道的灰度值。

在提出的方法中，以上所有过程都由图形处理单元GPU实现。本发明旨在将串行的CPU执行流程转换为并行的GPU执行流程，从而大大提高运行速度。

附图说明

从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明，其中：

图1示出了GPU的处理流水线的示意图；

图2示出了根据本发明实施例的基于暗原色先验的图像去雾方法的整个处理过程。

具体实施方式

下面将详细描述本发明各个方面的特征和示例性实施例。下面的描述涵盖了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说显而易见的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更清楚的理解。本发明绝不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了相关元素、部件和算法的任何修改、替换和改进。

图形处理单元(GPU)具有强大的并行计算能力，其除了可以用于传统的图形应用以外，还可以用于进行通用目的的计算(即，实现为GPUPU)。本发明试图将基于暗原色先验的图像去雾方法映射到基于OpenGL ES2.0标准的GPU的计算环境中，以实时地实现基于暗原色先验的图像去雾方法。

传统的基于暗原色先验的图像去雾方法包括5个步骤：步骤1，根据等式I^dark＝min_Ω(min_C(I^C))，从有雾图像的灰度值I获取粗略的暗原色，其中Ω是以当前像素为中心的局部像素块(例如，15×15的像素块)，C是颜色通道(例如，R通道、G通道、或者B通道)的表示(即，找出当前像素及以其为中心的像素(它们组成了局部像素块Ω)的R、G、B通道中灰度值最小的一个颜色通道的灰度值，即局部像素块Ω的最小灰度值)；步骤2，找出暗原色图像中0.1％的最亮区域，然后找出该最亮区域在有雾图像中所覆盖区域的所有像素的R、G、B通道中灰度值最高的一个颜色通道的灰度值，即最亮区域的最高灰度值，并将该最高灰度值设置为有雾图像中的每个像素的每个颜色通道的大气光值A；步骤3，计算归一化的暗原色

然后根据

计算粗略的透射图

其中ω是加权因子(通常为0.95)；步骤4，使用软图像抠图(image softmatting)获取优化的透射图t(具体地，使用软图像抠图来求解稀疏线性***其中L是从有雾图像构建的拉普拉斯矩阵，λ是小值参数(例如，10^-4)，U是单位矩阵；步骤5，根据I＝Jt+A(1-t)恢复出去雾图像(即，得出去雾图像中的每个像素的每个颜色通道的灰度值)，其中，J表示去雾图像中的像素的R、G或B通道的灰度值，J＝(I-A)/max(t，t₀)+A，t₀是阈值参数(通常为0.1)。在以上步骤中，步骤4最为复杂且需要进行迭代。

对于包括例如M×N(M行×M列)个像素的有雾图像，通过步骤1可以得出以该有雾图像中的每个像素为中心的局部像素块的最小灰度值(即，可以得出M×N个最小灰度值)，通过步骤2可以得出该有雾图像中0.1％的最亮区域的最大灰度值，通过步骤3和步骤4分别可以得出大小为M×N的粗略的透射图和大小为M×N的优化的透射图，然后可以利用步骤1至4中得出的最小灰度值、最大灰度值、粗略的透射图、以及优化的透射图通过步骤5得出M×N个像素的经过去雾处理后的各个颜色通道的灰度值。

标准OpenGL ES2.0是一种面向嵌入式***上的全功能二维与三维图形的免许可、跨平台的图形应用程序接口(API)。CPU上的应用可以通过调用API来控制GPU。图1示出了GPU的处理流水线。在GPU的处理流水线中，顶点着色器和片断着色器是两个可编程的阶段，而包括图元装配、光栅扫描、以及每片断操作在内的其他阶段是固定的阶段。

顶点着色器实现用于对顶点进行运算的通用可编程方法。其中，顶点是线段、三角形、或者多边形上的端点，对顶点的运算包括位置变换、颜色计算、以及纹理坐标生成等。图元是诸如线段、三角形、以及多边形等的几何对象。在图元装配阶段，顶点将被装配到各个图元，并且GPU将在可能的情况下进行裁剪和剔除。在光栅扫描阶段，图元将被转换为片断。片断代表显示器上描画的像素。片断着色器实现用于对片断进行运算的通用可编程方法。在每片断操作阶段，GPU将进行像素归属测试、截取测试、模版测试、深度测试、混色、以及抖动显示等。遵循OpenGLES2.0标准的GPU由于包括可编程阶段而被称为可编程GPU。一个完整的GPU处理流水线被称为一个渲染过程。由于片断着色器具有对于纹理存储器的更为复杂的访问并且具有更多的计算资源，所以基于暗原色先验的图像去雾方法将主要由片断着色器来实现。

在本发明的一个实施例中，GPU将通过多个渲染过程来实现基于暗原色先验的图像去雾方法。其中，在所有的渲染过程中，顶点着色器用于获取有雾图像(或者经过一个或多个渲染过程得出的图像)的各个顶点的内部位置坐标和内部纹理坐标。具体地，顶点着色器具有以下形式：

Vertex shader

其中，a_position是矩形的顶点的位置坐标(x，y，z)，vec()是结合a_position和1.0得出的向量(x，y，z，1.0)，gl_Position是OpenGL ES背景(即，GPU中)的内部位置坐标，a_texCoord是矩形的顶点的纹理坐标，v_texCoord是OpenGL Es背景(即，GPU中)的内部纹理坐标。片断着色器将使用v_texCoord来在R、G、B通道的纹理中对各个像素的R通道的灰度值、G通道的灰度值、以及B通道的灰度值进行采样。

为了将基于暗原色先验的图像去雾方法映射到基于OpenGL ES 2.0的GPU的计算环境中，根据本发明的一个实施例也进行5个步骤，每个步骤通过一个或多个渲染过程来完成。图2示出了基于暗原色先验的图像去雾方法的整个处理过程(图2中的着色器均由片断着色器实现)。

在进行图2所示的处理过程之前，从CPU输入到GPU的有雾图像(大小为M×N像素)被划分为3个颜色通道(即，R、G、B通道)的纹理(每个纹理的尺寸均为M×N)，并且被存储在图形存储器中。这3个通道的纹理将在图2所示的所有步骤中被使用。有雾图像将被作为尺寸为M×N的矩形进行渲染。

在步骤S202中，片断着色器根据等式I^dark＝min_Ω(min_C(I^C))获取粗略的暗原色I^dark，并将粗略的暗原色I^dark存入具有纹理对象的帧缓存中(在执行此步骤时，片断着色器被称为暗原色着色器)。步骤S202由一个渲染过程完成。在根据本发明的一个实施例中，以当前像素为中心的局部像素块Ω的大小被设置为15×15。在步骤S202中，暗原色着色器在局部像素块Ω中分别搜索R、G、B三个颜色通道中的最小灰度值

然后选择

中最小的一个灰度值作为局部像素块Ω的I^dark。也就是说，暗原色着色器可以获取以有雾图像中的每个像素为中心的局部像素块的最小灰度值。暗原色着色器具有以下形式：

Dark channel fragment shader

其中，v_texCoord是来自顶点着色器的矩形的顶点的内部纹理坐标，texture2D()是采样二维纹理的函数，gl_FragColor是将被渲染到帧缓存的片断颜色值。最小灰度值将被存入帧缓存中。

在步骤S204中，片断着色器计算暗原色图像中的预定比例(例如，0.1％)的最亮区域在有雾图像中所覆盖区域的所有像素的R通道的灰度值的平均值、G通道的灰度值的平均值、以及B通道的灰度值的平均值(在执行此步骤时，片断着色器被称为大气光着色器)。步骤S204由一个渲染过程完成。其中，该最亮区域的尺寸值(例如，H行×V列)作为常数由CPU发送给GPU。大气光着色器将最亮区域中所有像素的R通道的灰度值的平均值、G通道的灰度值的平均值、以及B通道的灰度值的平均值分别设置为最亮区域的中心像素的R、G、B通道的灰度值，并且将最亮区域的该中心像素的R、G、B通道的灰度值存入帧缓存中。然后，CPU找出最亮区域的该中心像素的R、G、B通道的灰度值中的最大值，作为大气光值A发送至GPU。大气光着色器具有以下形式：

Air light fragment shader

其中，vec2()是利用2个元素构建向量的函数。

在走骤S206中，片断着色器根据等式

计算归一化的暗原色，然后根据等式

计算粗略的透射图

(在执行步骤时，片断着色器被称为透射图着色器)。步骤S206由一个渲染过程完成。透射图着色器具有以下形式：

Transmission map fragment shader

其中，omega(通常为0.95)和大气光值A是常数，并且由CPU传送给GPU透射图着色器的计算结果将被存入到帧缓存中。

在步骤S208中，片断着色器对粗略的透射图进行优化。步骤S208由四个渲染过程完成。其中，头两个渲染过程用于构建拉普拉斯矩阵，后两个渲染过程用于求解稀疏线性***。头三个渲染过程是完整的渲染过程，最后一个渲染过程是不固定的(因为迭代取决于初始值和具体图像)。在执行步骤S208时，片断着色器被称为透射图优化着色器。

拉普拉斯矩阵元素可以根据以下等式得出：

$L(i,j)=\underset{k|i,j\∈w_k}{\mathrm{\Σ}}({\mathrm{\δ}}_{i,j}-\frac{1}{9}(1+{(I_i-{\mathrm{\μ}}_k)}^T(C_k+\mathrm{\α}{U}_3)(I_j-{\mathrm{\μ}}_k)))$

其中，δ_i，j是克罗内克函数(Kronecker delta)(当i＝j时，δ_i，j＝1；当i≠j时，δ_i，j＝0)，μ_k和C_k是在有雾图像上滑动的窗口w_k(3×3窗口)中的像素的R、G、B通道的灰度值的平均值矩阵和协方差矩阵，U₃是3×3单位矩阵，α是值为10^-4/9的参数，I_i和I_j是窗口w_k所覆盖的3×3块中的堆叠地址为i和j的像素的R、G、B通道的灰度值(I_i和I_j是包括R、G、B三个通道的灰度值的矩阵)，i，j，k是有雾图像中的像素的按列的堆叠地址，在1到M×N的范围内变化。L(i，j)描述的是图像局部像素之间在某些特征空间上存在的依赖关系。

构建拉普拉斯矩阵的处理通常包括以下两个处理(也就是说，透射图优化着色器通过两个渲染过程从有雾图像构建拉普拉斯矩阵)：

首先，片断着色器通过一个渲染过程根据以下等式计算l_i，j，此时的片断着色器被称为拉普拉斯矩阵元素着色器：

$l_{i,j}={\mathrm{\δ}}_{i,j}-\frac{1}{9}(1+{(I_i-{\mathrm{\μ}}_k)}^T(C_k+\mathrm{\α}{U}_3)(I_j-{\mathrm{\μ}}_k))$

拉普拉斯矩阵元素着色器具有以下形式：

Laplacian matrix element fragment shader

其中，pack用于对3×3块中的像素值打包，mean是μ_k，cov是C_k，pack.i和pack.j是指对3×3块中的所有像素值进行采样，result_pack是将像素i和j共享的值打包得出的数据结构并且被存储在帧缓存中。

接着，片断着色器通过一个渲染过程根据以下等式计算L(i，j)，此时的片断着色器被称为拉普拉斯矩阵求和着色器：

$L(i,j)=\underset{k|i,j\∈w_k}{\mathrm{\Σ}}{l}_{i,j}$

拉普拉斯矩阵求和着色器具有以下形式：

Laplacian matrix summation fragment shader

其中，texCoord是用于对存储l_i，j的纹理中的所有相关元素进行采样的纹理坐标。函数sum()将对相关元素求和，并且结果将被存储到帧缓存中。

共轭梯度(CG)算法被用来求解稀疏线性***。片断着色器通过进行迭代处理，来得出优化后的透射图。

首先，片断着色器通过一个渲染周期根据

得出初始的迭代中间变量d₀和r₀。此时，片断着色器被称为求解器初始化着色器，具有以下形式：

Solver initialization fragment shader

其中，lap_row是从拉普拉斯矩阵纹理采样出来的，tc是从粗略的透射图(步骤S206得出的透射图)纹理采样出来的，并且t0是初始化透射图纹理并且由CPU传送给GPU。t0可以简单地取某些0.0到1.0之间的某个固定值(比如0.0，0.5，1.0或者其他值)，但是为了加快迭代收敛速度，一般可以使用预置条件(Preconditioning)来进行初始化。在计算之后，结果将被打包到透射图的纹理中，并且被存储到帧缓存中。

接着，片断着色器根据以下等式进行迭代处理，直到d_i和r_i达到期望的阈值为止停止迭代，并求出最终的优化后的透射图。

${\mathrm{\α}}_i=r_i^T{r}_i/d_i^T{\mathrm{Ld}}_i,$

t_i+1＝t_i+α_id_i，

r_i+1＝r_i-α_iLd_i，

${\mathrm{\β}}_{i+1}=r_{i+1}^T{r}_{i+1}/r_i^T{r}_i,$

d_i+1＝r_i+1+β_i+1d_i

在进行迭代处理时，片断着色器被称为共轭梯度求解器着色器，具有以下形式：

Conjugate gradient solver fragment shader

其中，pack_t.r、pack_t.d、pack_t.t是来自pack_t的分量，并且pack()是将若干成分打包为一个纹理的函数。

在步骤S210中，片断着色器根据等式J＝(I-A)/max(t，t₀)+A恢复出去雾图像(即，得出去雾图像中每个像素的R、G、B通道的灰度值)。步骤S210由一个渲染过程完成。在执行步骤S210时，片断着色器被称为恢复着色器，具有以下形式：

Restoration fragment shader

其中，t0是从CPU发送给GPU的常数，输出是去雾图像中的每个像素的R、G、B通道的灰度值。

相对于在CPU上实现基于暗原色先验的图像去雾方法，本发明具有以下优点：1)由于GPU能够并行地对有雾图像上的每个像素进行图像去雾处理，所以本发明的实现方式比CPU上的实现方式更快。2)由于本发明是基于来自OpenGL ES 2.0的着色器，所以相比其他GPU通用计算高级编程语言来说很容易使用硬件实现。

以上已经参考本发明的具体实施例来描述了本发明，但是本领域技术人员均了解，可以对这些具体实施例进行各种修改、组合和变更，而不会脱离由所附权利要求或其等同物限定的本发明的精神和范围。

根据需要可以用硬件或软件来执行步骤。注意，在不脱离本发明范围的前提下，可向本说明书中给出的流程图添加步骤、从中去除步骤或修改其中的步骤。一般来说，流程图只是用来指示用于实现功能的基本操作的一种可能的序列。

本发明的实施例可利用编程的通用数字计算机、利用专用集成电路、可编程逻辑器件、现场可编程门阵列、光的、化学的、生物的、量子的或纳米工程的***、组件和机构来实现。一般来说，本发明的功能可由本领域已知的任何手段来实现。可以使用分布式或联网***、组件和电路。数据的通信或传送可以是有线的、无线的或者通过任何其他手段。

还将意识到，根据特定应用的需要，附图中示出的要素中的一个或多个可以按更分离或更集成的方式来实现，或者甚至在某些情况下被去除或被停用。实现可存储在机器可读介质中的程序或代码以允许计算机执行上述任何方法，也在本发明的精神和范围之内。

此外，附图中的任何信号箭头应当被认为仅是示例性的，而不是限制性的，除非另有具体指示。当术语被预见为使分离或组合的能力不清楚时，组件或者步骤的组合也将被认为是已经记载了。

Claims (7)

1.一种使用图形处理单元加速图像去雾的方法，包括以下过程：

获取以有雾图像中的每个像素为中心的局部像素块的最小灰度值，即暗原色，并利用对应于所述有雾图像中的每个像素的暗原色构建暗原色图像；

计算所述暗原色图像中预定大小的最亮区域在所述有雾图像中所覆盖区域的所有像素的R通道的灰度值的平均值、G通道的灰度值的平均值、以及B通道的灰度值的平均值，并将所述平均值中的最大值作为所述有雾图像的大气光值；

利用所述大气光值对所述最小灰度值进行归一化，并利用归一化结果获取粗略的透射图；

根据所述有雾图像中的像素的R通道、G通道、以及B通道的灰度值构造拉普拉斯矩阵，并利用所述拉普拉斯矩阵对所述粗略的透射图进行优化；以及

利用优化的透射图、所述大气光值、以及所述有雾图像中的每个像素的R通道、G通道、以及B通道的灰度值，获取去雾图像中的每个像素的R通道、G通道、以及B通道的灰度值。

2.根据权利要求1所述的使用图形处理单元加速图像去雾的方法，其特征在于，所述方法由图形处理单元与中央处理单元协同完成，其中所述中央处理单元作为主控单元，所述图形处理单元作为加速运算单元。

3.根据权利要求2所述的使用图形处理单元加速图像去雾的方法，其特征在于，所述图形处理单元中的片断着色器计算所述最亮区域在所述有雾图像中所覆盖区域的所有像素的R通道的灰度值的平均值、G通道的灰度值的平均值、以及B通道的灰度值的平均值，所述中央处理单元找出所述平均值中的最大值传送给所述图形处理单元作为所述有雾图像的大气光值。

4.根据权利要求2所述的图像去雾方法，其特征在于，所述图形处理单元中的片断着色器根据等式I^dark＝min_Ω(min_C(I^C))，获取以所述有雾图像中的每个像素为中心的局部像素块的最小灰度值，其中Ω表示以所述有雾图像中的任意一个像素像素j为中心的局部像素块，I^dark表示所述局部像素块Ω的最小灰度值，I^C表示所述像素j的R通道、G通道、或者B通道的灰度值，min()是求最小值函数，j为大于1的整数。

5.根据权利要求2所述的使用图形处理单元加速图像去雾的方法，其特征在于，所述图形处理单元中的片断着色器根据等式

对所述最小灰度值进行归一化，并根据等式

获取所述粗略的透射图，其中Ω表示以所述有雾图像中的任意一个像素j为中心的局部像素块，

表示所述局部像素块Ω的最小灰度值的归一化结果，I^C表示所述像素j的R通道、G通道、或者B通道的灰度值，

表示对应于所述像素j的粗略的透射图，A表示所述大气光值，ω是由所述中央处理单元传送给所述图形处理单元的第一预定值，min()是求最小值函数，j为大于1的整数。

6.根据权利要求2所述的使用图形处理单元加速图像去雾的方法，其特征在于，所述图形处理单元中的片断着色器根据以下等式构造拉普拉斯矩阵，

$l_{i,j}={\mathrm{\δ}}_{i,j}-\frac{1}{9}(1+{(I_i-{\mathrm{\μ}}_k)}^T(C_k+{\mathrm{\αU}}_3)(I_j-{\mathrm{\μ}}_k))$

$L(i,j)=\underset{k|i,j\∈w_k}{\mathrm{\Σ}}{l}_{i,j}$

其中，L(i，j)表示所述拉普拉斯矩阵中的第i行、第j列的元素，δ_i，j是克罗内克函数，μ_k和C_k是在所述有雾图像上滑动的3×3窗口w_k中的像素的R、G、B通道的灰度值的平均值矩阵和协方差矩阵，U₃是由所述中央处理单元传送给所述图形处理单元的3×3单位矩阵，α是由所述中央处理单元传送给所述图形处理单元的值为10^-4/9的参数，I_i和I_j是所述窗口w_k所覆盖的3×3块中的堆叠地址为i和j的像素的R、G、B通道的灰度值组成的矩阵，i，j，k是所述有雾图像中的像素的按列的堆叠地址。

7.根据权利要求5所述的使用图形处理单元加速图像去雾的方法，其特征在于，所述片断着色器根据以下等式利用所述拉普拉斯矩阵和由所述中央处理单元传送给所述图形处理单元的第二预定值t₀来迭代得出所述优化后的透射图t：

t_i+1＝t_i+α_id_i，，

r_i+1＝r_i-α_iLd_i，，

d_i+1＝r_i+1+β_i+1d_i

其中，所述片断着色器在r_i满足预定阈值要求的情况下终止迭代。

Images