CN102903098A - 一种基于图像清晰度差异的深度估计方法 - Google Patents

Abstract

本发明公开了一种基于图像清晰度（Image Definition）差异的深度估计方法，该方法首先将彩色的单视点单幅图像转换为灰度图，然后进行分块并选择一种图像清晰度算法计算出各图像块的清晰度并作为各图像块中像素点的清晰度，这样得到单视点单幅图像的清晰度差异情况。本发明根据摄像机通常聚焦在景物目标的前景上，被聚焦景物比较清晰的实际情况，利用清晰度差异对单视点单幅图像进行深度赋值，得到一副深度图，从而完成单视点单幅图像深度估计。本发明只需要分块计算清晰度，得到单视点单幅图像深度，相对于现有技术计算复杂性低，能够满足图像处理实时性要求。

Description

一种基于图像清晰度差异的深度估计方法

技术领域

本发明属于3D图像处理技术领域，更为具体地讲，涉及一种基于图像清晰度差异的深度估计方法。

背景技术

2010年1月，《阿凡达》等3D电影的全球热播引发了3D技术的研究热潮。2012年1月央视3D频道开播，促进了3D产业的进一步发展。3DTV是继高清电视（HDTV）之后电视技术领域一场新的技术革新。

3DTV作为下一代视频广播***，还有许多问题需要解决，其中深度估计（depth estimation）是其关键技术之一。

深度估计是指从景物的一幅或多幅图像中自动、有效地提取深度信息。根据是否需要人工控制，深度估计可以分为主动（active）深度估计和被动（passive）深度估计两种方式。主动深度估计需要人为的对测量环境进行控制来获取深度，而被动深度估计则不需要控制成像***与环境，常用的被动深度估计有双目（多目）视觉、运动三维检测、单目视觉等方法。

双目视觉将两个或多个摄像机拍摄的物体二维图像进行对比匹配，如果在对比中发现物体上某个特征点存在于图像的相同位置则说明此点位置在两摄像机镜头的轴线交点上，通过找到物体特征的不匹配量即可确定该特征点位置。

运动三维检测则是使用一个摄像机在不同的时间和空间对物体拍摄大量序列图像，利用序列图像的时空变化情况得到物体的信息。与双目视觉类似，这种方法也需要找到序列图像上物体的对应特征点。

以上两种方法均需要提取出图像中的物体特征点，并计算其变化量，而提取物体特征比较复杂且存在蔽塞以及遮挡等难以解决的问题。蔽塞是指目标中的某个特征点检测到在两幅图像中位置是一样的，说明该特征点正好位于两摄像机的中心轴线的交点处，这种情况下立体视觉获取存在局限性；遮挡是指特征点在一个摄像机拍摄的场景中可见，在另个摄像机拍摄的场景中不可见，这时无法找到对应的特征点对，此时无法估计目标的深度。所以这两种方法很难做到实时性，满足实际应用和需求可能行小。

单目视觉有两种测量方法：聚焦法及散焦法。

聚焦法（Depth From Focus，简称DFF）通过摄像机在不同的光学参数下获取大量序列图像，在对图像进行分析后找到清晰度最大的图像，然后根据几何光学中物体成像的模型求取物体的深度信息。此方法测量精确度高，但需要调整摄像机拍摄大量图像，比较费时，不适用于即时深度估计。

散焦法（Depth Form Defocus，简称DFD）则是利用两幅或者多幅散焦程度不同的图像，通过对比图像的模糊程度来求取物体的深度信息，此方法回避了双目视觉中特征点匹配的问题，也不需要对物体拍摄大量的序列图像，使用比较方便。

上述算法均是对于被动视觉的两幅或多幅图像的深度估计，而对于单幅图像，由于无法获取景物目标的视差信息，只能通过图像自身的一些特征和先验知识来获得有限的线索以完成深度估计，因此具有较高的技术难度。各个国家的许多科研人员对此作了大量和深入的研究。

Saxena在Make 3D项目及相关研究中采用了结合了高斯和拉普拉斯算子的MPF（马尔科夫随机场模型）来描述图像中各点的深度及彼此间的深度关系。并通过监督学习方法对场景进行训练和估计，对非结构化、相机参数未知的大范围复杂场景深度估计有相对理想的效果。但是此算法计算复杂耗时，而且每更换一个新的场景，原有的模型将失效，需要重新采集相应的深度数据进行训练，不能满足即时深度估计且硬件实现十分困难。

Hoiem在假设图像场景内的所有景物对象都是垂直直立于地面的基础上，提出一套完整的单幅图像深度估计方法．该方法以像素块为单位提取颜色、纹理等特征，然后使用adboost分类方法将整个图像分解为地面、天空、直立景物等，最后对图像中的地面区域建立3维模型，并依据图像中景物对象和地面的相交位置重构出整个三维场景。

李乐等人通过分析理解街景图像内景物之间的构图关系，依据其中蕴含的深度认知线索估计街景图像的深度信息，对Hoiem的上述算法进行了改进。

以上三种关于被动视觉单视点单幅图像的深度估计均有较好的效果，但其计算复杂，Saxena的算法还需监督学习，现阶段很难做到实时性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于图像清晰度差异的深度估计方法，以降低单视点单幅图像深度估计的计算复杂性，满足图像处理的实时性要求。

为实现上述目的，本发明基于图像清晰度差异的深度估计方法，其特征在于，包括以下步骤：

（1）、将彩色的单视点单幅图像转换为灰度图像；

（2）、首先对灰度图像进行分块，得到多个图像块；然后用图像清晰度算法对每个图像块进行清晰度计算，得到图像块的清晰度；最后各个图像块的清晰度分别作为各自图像块中像素点的清晰度，并对清晰度大于255的像素点赋值为255，得到一副深度图，从而完成单视点单幅图像深度估计。

为消除估计深度图中的孤立点及平滑图像，对步骤（2）得到的深度图还要进行采用中值滤波对其做平滑处理。

本发明的发明目的是这样实现的：

为满足单视点单幅图像深度估计的实时性要求，降低估计计算的复杂性，本发明提出了一种基于图像清晰度（Image Definition）差异的深度估计方法，该方法首先将彩色的单视点单幅图像转换为灰度图，然后进行分块并选择一种图像清晰度算法计算出各图像块的清晰度并作为各图像块中像素点的清晰度，这样得到单视点单幅图像的清晰度差异情况。本发明根据摄像机通常聚焦在景物目标的前景上，被聚焦景物比较清晰的实际情况，利用清晰度差异对单视点单幅图像进行深度赋值，得到一副深度图，从而完成单视点单幅图像深度估计。本发明只需要分块计算清晰度，得到单视点单幅图像深度，相对于现有技术计算复杂性低，能够满足图像处理实时性要求。

附图说明

图1是图像小波分解示意图；

图2是使用TenenGrad函数得到图像清晰度图；

图3是使用Histblock算法函数得到图像清晰度图；

图4是使用小波变换法得到图像清晰度图；

图5是本发明中像素点清晰度计算一种具体实施方式的示意图；

图6是图像块3x3时得到的深度图；

图7是图像块5x5时得到的深度图；

图8是图像块7x7时得到的深度图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

根据摄像机通常聚焦在前景上，而被聚焦景物比较清晰的实际情况，本发明基于图像清晰度差异的深度估计方法先估计出单视点单幅图像中每个像素点的清晰度，然后由像素点的清晰度差异估计出像素点的深度值。

在本实施例中，本文中使用公式将彩色的单视点单幅图像RGB值转换为灰度值Gray：

Gray=(R*38+G*75+B*15)

其中，R、G、B分别为彩色的单视点单幅图像RGB值。

将彩色的单视点单幅图像、转换为灰度图像后，对灰度图像进行分块，在本实施例中，图像块大小为7x7，并用基于图像清晰度算法计算每个图像块的清晰度作为该块内像素的清晰度值。

现有的图像清晰度算法主要用来评价整张图像的清晰度情况或具有相同内容的多张图像的清晰度情况。图像清晰度算法主要可以分为以下几类：

1、基于时域的图像清晰度算法

当图像清晰时，图像细节丰富，在时域表现为相邻像素的特征值（如灰度等）变化较大。设f(x,y)为图像在点(x,y)处的灰度值，N_x,N_y为图像的长和宽。s为整幅图像的清晰度值。

下面介绍几种常用的基于时域特征的图像清晰度算法：

算法1：TenenGrad函数（能量梯度函数）

根据TenenGrad函数计算出图像块的图像清晰度：

$s=\underset{x=1}{\overset{N_x-1}{\mathrm{\Σ}}}\underset{y=1}{\overset{N_y-1}{\mathrm{\Σ}}}\{{\left(f(x+1,y)-f(x,y)\right)}^2+{(f(x,y+1)-f(x,y))}^2\}$

在图像处理中，能量梯度函数常被用来提取边缘信息，对焦良好的图像，边缘更尖锐，有更大的梯度值。该函数采用横纵相邻点的差分计算一个点的梯度值，单峰性好，可靠性高。

算法2：灰度方差函数

对于图像的灰度方差，定义如下：

$\stackrel{\‾}{g}=\frac{1}{N_x\×N_y}\underset{x=1}{\overset{N_x}{\mathrm{\Σ}}}\underset{y=1}{\overset{N_y}{\mathrm{\Σ}}}f(x,y)$

$s=\underset{x=1}{\overset{N_x-1}{\mathrm{\Σ}}}\underset{y=1}{\overset{N_y-1}{\mathrm{\Σ}}}{(f(x,y)-\stackrel{\‾}{g})}^2$

其中是图像的灰度值均值，s是图像的灰度方差。该算法以图像所有像素的灰度平均值为参考，对每个像素点的灰度值求差后求平方和，然后用像素总数标准化，它表征了图像灰度变化的平均程度，灰度变化的平均程度越大，图像越清晰，灰度变化平均程度越小，图像越模糊。该函数对噪声较为敏感，图像画面越纯净，函数值越小。

算法3：Roberts梯度和

定义为相邻四个像素和对角线像素灰度值差的绝对值之和：

$s=\underset{x=1}{\overset{N_x-1}{\mathrm{\Σ}}}\underset{y=1}{\overset{N_y-1}{\mathrm{\Σ}}}\left\{\right|f(x,y)-f(x+1,y+1)|+|f(x,y+1)-f(x,y+1)\left|\right\}$

算法4：Laplacian（4邻域微分）梯度和

用laplacian模板得到每个像素的laplacian梯度，然后用所有像素的laplacian梯度和作为图像清晰度评价值，拉普拉斯模板和清晰度度量如下：

$m=\left[\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right]$

$s=\underset{x=2}{\overset{N_x-1}{\mathrm{\Σ}}}\underset{y=2}{\overset{N_y-1}{\mathrm{\Σ}}}|f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)|-4f(x,y)$

laplacian梯度和算法是一种二阶导数算法，所以它对噪声比较敏感，并且这种方法计算量较大但是非常有效，特别是在焦点附近该方法的灵敏度非常高。

算法5：Histblock算法（基于图像直方图集中度的清晰度评价算法）

完全正确聚焦的图像含有更多可见细节，在直方图上表现为较多的灰度级具有较大的出现概率；而离焦图像含有较少的细节，直方图上表现为：概率较大的灰度级出现在较少的灰度级上。因此可以根据图像直方图的集中程度判断图像的清晰度。

庞胜利对Mendelsohn and Mayall直方图算法进行了改进，得到灵敏性、稳定性更好的Histblock算法。该算法先对图像进行分块，然后计算每块图像的清晰度，最后将所有图像块的评价值之和作为整幅图像的评价值。图像块的清晰度计算公式如下：

$w\left(x_i\right)=\left\{\begin{array}{cc}\frac{x_i}{x_{\mathrm{av}}}& x_i<x_{\mathrm{av}}\\ \frac{255-x_i}{255-x_{\mathrm{av}}}& x_i>x_{\mathrm{av}}\end{array}\right.$

$s=\underset{x_i=0}{\overset{255}{\mathrm{\&Sigma;}}}p\left(x_i\right)w\left(x_i\right)$

其中x_i是图像的灰度级，x_av是图像块的灰度均值，w(x_i)是灰度值x_i在计算集中度时对应的权值，p(x_i)是x_i在图像中出现的概率，对应直方图相应灰度值的纵坐标。

2、基于变换域的图像清晰度算法

衡量一幅图像是否清晰，常根据图像的边缘细节成分来判定，在时域上体现为灰度突变，在频域上表现为高频分量丰富。根据傅里叶光学理论，图像清晰度或聚焦的程度主要由图像中高频分量的多少决定。首先将图像变换到频域，然后提取高频分量作为聚焦评价标准。常用的评价方法有傅里叶变换法及小波变换法。下面将对这两种方法做简单介绍。

算法1：二维傅里叶变换法

图像的二维傅里叶变换系数表示了图像各个频率成分的大小，因此可用傅里叶变换系数的模作为模糊度评价值：

$F(u,v)=\underset{x=1}{\overset{N_x}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N_y}{\mathrm{\&Sigma;}}}f(x,y)e^{[-j2\mathrm{\&pi;}(\mathrm{xu}/N_x+\mathrm{yv}/N_y)]}$

$s={\left[\mathrm{Re}\left(\frac{F(u,v)}{\underset{x=1}{\overset{N_x}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N_y}{\mathrm{\&Sigma;}}}f(x,y)}\right)\right]}^2+{\left[\mathrm{Im}\left(\frac{F(u,v)}{\underset{x=1}{\overset{N_x}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N_y}{\mathrm{\&Sigma;}}}f(x,y)}\right)\right]}^2$

算法2：小波变换法

小波变换能够提取图像多分辨率的高频细节信息，通过选取适当的小波函数，在每个小波尺度上分别将图像信号分解为轮廓低频分量、垂直方向高频分量、水平方向高频分量和对角高频分量，如错误！未找到引用源。所示。

在错误！未找到引用源。中，L表示低频，H表示高频，数字1，2表示一级或者二级分解。对原始图像进行一级小波分解可将其分为低频图像LL₁，高频图像（水平细节HL₁，垂直细节LH₁，对角细节HH₁）；二级小波分解将继续分解一级低频图像LL₁得到二级低频图像LL₂和二级高频图像（水平细节HL₂，垂直细节LH₂，对角细节HH₂）；依次类推，当进行n级小波分解时，将分解前一级低频图像LL_n-1，得到n级低频图像及n级高频图像。在此介绍采用二级小波分解的清晰度算法。

由于图像的清晰度在频域表现为高频分量是否丰富，所以可用小波变换后高频系数的平方和来表示图像的清晰度。

$s=\underset{x=1}{\overset{N_x}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N_y}{\mathrm{\&Sigma;}}}{C}_{h1}{(x,y)}^2+C_{v1}{(x,y)}^2$

C_h1和C_v1为二级小波分解后的二级水平和垂直高频系数。

3、基于统计特征的图像清晰度算法

基于统计特征的图像清晰度算法的评价函数如灰度熵函数，图像的熵值是衡量图像信息丰富程度的一个重要指标。由信息论可知，一幅图像I的信息量是由该图像的信息熵H(I）来度量。

$H\left(I\right)=-\underset{i=1}{\overset{L-1}{\mathrm{\&Sigma;}}}{p}_i\ln p_i$

式中，p_i是图像中灰度值为i的像素出现的概率，L为灰度级总数。根据香农信息理论，信息熵最大时信息量最多。将此原理用于图像清晰度评价可知：信息熵H(I）越大，图像越清晰。熵函数的灵敏度不高，依据图像内容的不同容易出现与真实情况相反的结果。

图像清晰度算法验证（应用范围：一幅图像中不同内容清晰度比较）

现阶段，图像清晰度算法的应用范围均是一幅或多幅内容相同的图像整体清晰度差异比较。本文根据算法能否满足硬件实现及实时性要求，在现有应用于整幅或多幅图像的清晰度评价算法选择了TenenGrad函数、Histblock算法及小波变换法，将其应用于一幅图像中不同内容清晰度评价。实验结果如图2~4所示。

从实验结果可知，小波变换法不能分辨出一幅图像中不同内容（如前景、背景）的清晰度差异。Histblock算法比较简单，但对一幅图像中不同内容的清晰度评价不如TenenGrad函数准确。即在评价一幅图像不同内容的三种算法中TenenGrad函数效果最好。因此，在本实施例中，选择TenenGrad函数作为计算图像块清晰度的算法。

另一方面，TenenGrad函数分块大小的选择也对评价结果影响很大。从实验中可知，分块大小一般选择7x7效果较好。

图5是本发明中像素点清晰度计算一种具体实施方式的示意图，其中，单视点单幅图像的图像分辨率W_i×H_i。

图像块的清晰度计算公式为：

$s=\underset{i=0}{\overset{N_x-2}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N_y-2}{\mathrm{\&Sigma;}}}\{{(f(i+x+1,y+j)-f(x+i,y+j))}^2+{(f(x+i,j+y+1)-f(x+i,y+j))}^2\}$

其中f(x+i，y+j)为图像在点(x+i,y+j)处的灰度值，s为图像块的清晰度值。N_x,N_y为图像块的长和宽。

得到图像块的清晰度分别作为各自图像块中像素点的清晰度，并对清晰度大于255的像素点赋值为255，得到一副深度图，从而完成单视点单幅图像深度估计。

在本实施例中，采用室外场景单视点单幅图像（分辨率640x640）进行实验，实验目的是通过计算单视点单幅图像的清晰度，根据各像素点清晰度差异来估计其深度值，从而得到图像的深度图。

能量梯度函数实际上反映图像细节即边缘信息是否丰富，当边缘信息丰富时，s(能量梯度平方和)值较大，边缘信息不丰富时，s较小。所以图像块的大小对深度图的值影响很大。

图6是图像块3x3的深度图，其中，图6（a）未进行中值滤波，图6（b）进行3x3中值滤波后的的深度图，图6（c）进行5x5中值滤波后的的深度图；其深度图在边缘时值很大（灰度图白色部分），在平滑部分值较小（灰度图黑色部分），只提取出图像的轮廓，不能反映图像目标的深度信息。

图7是图像块5x5的深度图，其中，图7（a）未进行中值滤波，图7（b）进行3x3中值滤波后的的深度图，图7（c）进行5x5中值滤波后的的深度图；此时能大致反映出图像目标的深度情况，但仍存在明显错误，如人物的额头由于图像比较平滑，估计出的深度值较小。采用3x3及5x5中值滤波后效果也不理想。

图8是图像块7x7的深度图，其中，图8（a）未进行中值滤波，图8（b）进行3x3中值滤波后的的深度图，图8（c）进行5x5中值滤波后的的深度图；虽然目标的轮廓不准确，但图像目标整体的深度信息相对图6、图7有明显改善。

通过图6~8的实验结果表明3x3及5x5的中值滤波后的深度图滤波效果相差不大。实验结果表明，本发明对单视点单幅图像能估计出较为准确的深度图。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种基于图像清晰度差异的深度估计方法，其特征在于，包括以下步骤：

（1）、将彩色的单视点单幅图像转换为灰度图像；

（2）、首先对灰度图像进行分块，得到多个图像块；然后用图像清晰度算法对每个图像块进行清晰度计算，得到图像块的清晰度；最后各个图像块的清晰度分别作为各自图像块中像素点的清晰度，并对清晰度大于255的像素点赋值为255，得到一副深度图，从而完成单视点单幅图像深度估计。

2.根据权利要求1所述的深度估计方法，其特征在于，步骤（2）得到的深度图还要进行采用中值滤波对其做平滑处理。

3.根据权利要求1所述的深度估计方法，其特征在于，所述的图像清晰度算法为根据TenenGrad函数计算出图像块的图像清晰度。

4.根据权利要求1所述的深度估计方法，其特征在于，图像块的大小为7x7。

Images