CN101640809A - 一种融合运动信息与几何信息的深度提取方法 - Google Patents

Abstract

本发明公开了一种融合运动信息与几何信息的深度提取方法，包括如下步骤：(1)对每一帧二维视频图像做场景分割，分离静态背景与动态前景；(2)对场景分割图做二值化和滤波处理；(3)基于几何信息产生静态背景的几何深度图；(4)计算前景物体的运动矢量，并换算成运动幅度；(5)根据前景物体所处位置，对其运动幅度做线性变换，得到运动深度图；(6)融合运动深度图和几何深度图，并滤波得到最终深度图。本发明只对分离出的动态前景物体计算运动矢量，消除了背景误匹配点，减少了计算量；同时根据前景物体所处位置线性变换其运动幅度，使之融入到背景深度中，整体提高了深度图的质量。

Description

一种融合运动信息与几何信息的深度提取方法

技术领域

本发明涉及二维视频转换三维视频时深度提取方法，尤其涉及一种融合运动信息与几何信息的深度提取方法。

背景技术

从20世纪40年代电视发明以来，经历了从黑白电视到彩色电视的第一次革命和从模拟电视到数字电视的第二次革命，3DTV将是继数字电视后电视技术的第三次革命。

3DTV的显示离不开合适内容的制作。传统二维视频片源不能适用于立体显示***，需要制作满足显示需要的3D内容。一种方法是用立体相机直接产生3D视频，但是这种方法代价高昂。另一种方法是寻找一种合适的算法将原有的2D视频转换为可以用于立体显示的3D视频。而目前由于大量传统2D视频的存在，2D转3D技术的研究有着更为现实的意义，这一技术的研究不仅可以为立体显示提供丰富的素材，而且能大大节省内容制作的成本。

2D转3D技术过程主要包括：

(1)利用各种深度线索，由原始2D视频产生出密集深度图序列；

(2)运用DIBR(depth image based rendring)技术，利用一路2D视频和它对应的深度图像序列，重构出多路2D视频；

(3)运用图像合成算法，将产生的多路视频合成为一路3D视频，输入到3D显示设备中显示。

如何准确产生密集深度图用于DIBR重构是整个2D转3D技术过程的第一步，也是2D转3D技术研究的核心内容。

研究者在分析人类生理和心理视觉的基础上，寻找到许多深度线索。例如，物体运动信息、场景空间几何信息、物体表面纹理和形状信息、物体成像阴影、物体边缘信息和拍摄相机的聚焦与散焦情况。利用其中某一种深度线索只能处理一类2D视频，普遍适用的深度线索并不存在。然而，由于大多数视频都具有运动的前景物体，结合视频的时间相关性，利用物体的运动信息可以有效地产生出密集深度图。因此，物体运动信息在深度图的产生中一般作为最主要的深度线索。另一方面，在某些特定场合，场景中物体没有运动，这时就需要寻找其他深度线索来代替运动信息线索。不难发现，无论是室内还是室外，场景中常常包含了丰富的几何信息，如室外延伸向远方的道路、室内规则的墙线。空间几何信息对于物体运动信息在深度图的产生当中起到了很好的补充作用，尤其在场景静止的场合。

目前的深度图产生算法多是利用一种深度线索去处理一类视频，而实际视频往往是包含了多种深度线索，利用这些深度线索产生一幅融合的深度图将有效提高深度图的质量。

发明内容

本发明的目的是克服现有技术的不足，融合多种深度线索，提供一种融合运动信息与几何信息的深度提取方法。

融合运动信息与几何信息的深度提取方法包括如下步骤：

(1)对待转换二维视频建立统计背景模型，通过运动目标检测，分离出静止背景部分和运动前景部分；

(2)对分离出静止背景部分和运动前景部分的图像二值化，并进行中值滤波和数学形态学滤波；

(3)对统计背景建模得到的背景图像采用基于场景几何信息的方法产生几何深度图；

(4)通过从原始待转换二维视频在时间上相邻的两帧图像之间寻找匹配，得到运动前景物体的运动矢量，并换算成运动幅度；

(5)根据运动前景部分所处位置，对其运动幅度做线性变换，得到运动深度图；

(6)融合运动深度图和几何深度图，并进行高斯滤波，得到最终深度图，用于三维视频的表达。

所述的对待转换二维视频建立统计背景模型，通过运动目标检测，分离出静止背景部分和运动前景部分步骤：

(a)在待转换的二维视频文件中截取连续的N帧图像，对这N帧图像I_f(x，y)进行时间和空间上的扫描，求得对应于每一个像素坐标位置的N个像素值的均值作为背景图像B(x，y)在这一位置上的像素值，计算公式如下：

$B(x,y)=\frac{1}{N}\underset{f=1}{\overset{N}{\mathrm{\Σ}}}{I}_f(x,y);$

(b)用步骤(a)中得到的背景图像B(x，y)与待转换二维视频的每一帧图像I_f(x，y)做减法，通过与一个预先设定的阈值th进行比较来确定图像中的前景点，表示公式如下：

$I_f(x,y)=\left\{\begin{array}{cc}\mathrm{Background}& |I_f(x,y)-B(x,y)|<\mathrm{th}\\ \mathrm{Foreground}& \mathrm{otherwise}\end{array}\right..$

所述的对分离出静止背景部分和运动前景部分的图像二值化，并进行中值滤波和数学形态学滤波步骤：

(c)利用步骤(b)作出的前后景判断，为视频中每一帧图像I_f(x，y)产生一幅二值图像，其中0值表示背景，255值表示前景，即：

$I_f^1(x,y)=\left\{\begin{array}{ccc}0& \mathrm{if}& I_f(x,y)\mathrm{isBackground}\\ 255& \mathrm{if}& I_f(x,y)\mathrm{isForeground}\end{array}\right.;$

(d)对步骤(c)得到的二值图像进行3×3窗口大小的中值滤波，消除背景噪声；

(e)对步骤(d)得到的中值滤波后的图像进行数学形态学滤波中典型的开运算和闭运算，消除前景图像中小面积的活动区域和空洞，采用3×3方型腐蚀元和膨胀元完成开运算和闭运算。

所述的对统计背景建模得到的背景图像采用基于场景几何信息的方法产生几何深度图步骤：

(f)对步骤(a)得到的背景图像的亮度分量B_y(x，y)用Sobel算子进行边缘检测，得到水平梯度图S_x(x，y)和垂直梯度图S_y(x，y)，将这两幅图相加得到梯度图S(x，y)，与阈值Th做比较，得到二值化的背景边缘检测图，阈值Th的选取按照如下公式计算：

Th＝α[S(x，y)_max-S(x，y)_min]+S(x，y)_min

其中，α是取值在0～1之间的权重系数，S(x，y)_max是梯度图最大像素值，S(x，y)_min是梯度图最小像素值；

(g)采用图像处理中经典的Hough变换对步骤(f)得到的二值化边缘检测图提取其中的主要直线，其结果与原始的二值化边缘检测图做“与”操作，提取出背景中的灭线，灭线交点出现概率最大的区域的中点作为灭点；

(h)以步骤(g)中得到的灭点作为背景中深度最深点，沿灭线往灭点方向深度以级差2的速率逐渐加深，得到背景图像的几何深度图G(x，y)。

所述的通过从原始待转换二维视频在时间上相邻的两帧图像之间寻找匹配，得到运动前景物体的运动矢量，并换算成运动幅度步骤：

(i)扫描待转换二维视频中的当前时刻图像帧I_f(x，y)，根据步骤(e)得到的滤波过的前后景分离二值图像，判断若当前像素点是前景点，则为其在当前时刻的前一时刻图像帧I_f-1(x，y)上寻找最佳匹配像素点，采用在以当前像素点为中心的W×W邻域窗口内计算匹配代价的方法，以提高匹配的精确性，设匹配搜索范围S_N×N大小为N×N，u和v分别是在寻找匹配时当前帧上像素在前一时刻图像帧上的水平偏移量和垂直偏移量，i和j分别是以当前像素点为中心的W×W邻域内的水平偏移量和垂直偏移量，定义匹配代价如下：

$C(x,y;u,v)=\underset{i=-(w-1)/2}{\overset{(w-1)/2}{\mathrm{\&Sigma;}}}\underset{j=-(w-1)/2}{\overset{(w-1)/2}{\mathrm{\&Sigma;}}}|I_{\text{f}}(x+i,y+i)-I_{f-1}(x+u+i,y+v+j)|$

(x,y)∈foreground, (u,v)∈S_N×N，F=1，2，3......

遍历当前像素点搜索范围内的每一个像素点，计算相应的匹配代价，找出其中具有最小匹配代价的水平偏移量和垂直偏移量，以之作为当前像素点的运动矢量，水平MV_x，垂直MV_y，公式表示如下：

C_min(x，y；MV_x，MV_y)＝Min[C(x，y；u，v)]；

(j)设步骤(i)中得到的每一个前景像素点的运动矢量水平方向分量为MV_x(x，y)，垂直方向分量为MV_y(x，y)，运动幅度定义为：

$F(x,y)=\sqrt{{\mathrm{MV}}_x^2(x,y)+{\mathrm{MV}}_y^2(x,y)};$

所述的根据运动前景部分所处位置，对其运动幅度做线性变换，得到运动深度图步骤：

(k)对步骤(j)中得到的运动幅度做线性变换和向下取整运算，确保运动深度图的每一个前景像素点的取值范围在[a，b]，且为整数，线性变换公式如下：

其中，线性变换下限a与上限b取值均在0～255之间，a取运动前景遮挡住的背景部分几何深度图的最小深度值，b取运动前景部分最低点对应背景部分几何深度图的深度值。

所述的融合运动深度图和几何深度图，并进行高斯滤波，得到最终深度图步骤：

(l)根据步骤(e)得到的滤波过的前后景分离二值图像A(x，y)，对步骤(k)得到的运动深度图M(x，y)和步骤(h)得到的几何深度图G(x，y)进行融合，得到融合深度图D(x，y)，融合公式定义如下：

$D(x,y)=\left\{\begin{array}{cc}M(x,y)& A(x,y)=255\\ G(x,y)& A(x,y)=0\end{array}\right.;$

(m)对步骤(l)得到的融合深度图进行高斯滤波，得到最终深度图，用于三维视频的表达。

本发明适用于对动态前景和静态背景的未经压缩的视频文件产生深度图。以往利用物体运动信息产生深度图的方法，一种是基于块的，产生的深度图中物体边缘存在块效应；另一种是基于像素的，虽然物体边缘较基于块的深度图平滑，但是光照条件的细微变化都会带来强烈的背景噪声，本发明结合运动目标检测与基于物体运动信息的像素级深度图产生技术，较好地平滑了物体边缘，同时抑制了背景噪声，而且只对运动前景物体计算运动矢量，大大减少了计算量。另一方面，本发明克服了以往技术中只利用单一深度线索产生深度图的不足，同时融合物体运动信息和场景几何信息产生深度图，扩大了适用范围，提高了深度图的质量。

附图说明

图1是融合深度图产生的流程框图；

图2(a)是Hough变换时图像空间中的一点示意图；

图2(b)是Hough变换时特征空间中的一条正弦曲线示意图；

图2(c)是Hough变换时图像空间中的一条直线示意图；

图2(d)是Hough变换时特征空间中的多条正弦曲线相交于一点的示意图；

图3是产生计算运动矢量时运动估计的示意图；

图4是Hall Monitor视频的截图；

图5是从Hall Monitor视频建模得到的背景图像；

图6是图4视频截图对应的滤波后前后景分离的二值图；

图7是图5背景图像的几何深度图；

图8是图4视频截图对应的运动深度图；

图9是图7几何深度图与图8运动深度图融合并经过高斯滤波处理的最终深度图。

具体实施方式

融合运动信息与几何信息的深度提取方法包括如下步骤(整体流程图如图1所示)：

(1)对待转换二维视频建立统计背景模型，通过运动目标检测，分离出静止背景部分和运动前景部分；

(2)对分离出静止背景部分和运动前景部分的图像二值化，并进行中值滤波和数学形态学滤波；

(3)对统计背景建模得到的背景图像采用基于场景几何信息的方法产生几何深度图；

(4)通过从原始待转换二维视频在时间上相邻的两帧图像之间寻找匹配，得到运动前景物体的运动矢量，并换算成运动幅度；

(5)根据运动前景部分所处位置，对其运动幅度做线性变换，得到运动深度图；

(6)融合运动深度图和几何深度图，并进行高斯滤波，得到最终深度图，用于三维视频的表达。

所述的对待转换二维视频建立统计背景模型，通过运动目标检测，分离出静止背景部分和运动前景部分步骤：

(a)在待转换的二维视频文件中截取连续的N帧图像，对这N帧图像I_f(x，y)进行时间和空间上的扫描，求得对应于每一个像素坐标位置的N个像素值的均值作为背景图像B(x，y)在这一位置上的像素值，计算公式如下：

$B(x,y)=\frac{1}{N}\underset{f=1}{\overset{N}{\mathrm{\&Sigma;}}}{I}_f(x,y);$

(b)用步骤(a)中得到的背景图像B(x，y)与待转换二维视频的每一帧图像I_f(x，y)做减法，通过与一个预先设定的阈值th进行比较来确定图像中的前景点，表示公式如下：

$I_f(x,y)=\left\{\begin{array}{cc}\mathrm{Background}& |I_f(x,y)-B(x,y)|<\mathrm{th}\\ \mathrm{Foreground}& \mathrm{otherwise}\end{array}\right..$

所述的对分离出静止背景部分和运动前景部分的图像二值化，并进行中值滤波和数学形态学滤波步骤：

(c)利用步骤(b)作出的前后景判断，为视频中每一帧图像I_f(x，y)产生一幅二值图像，其中0值表示背景，255值表示前景，即：

$I_f^1(x,y)=\left\{\begin{array}{ccc}0& \mathrm{if}& I_f(x,y)\mathrm{isBackground}\\ 255& \mathrm{if}& I_f(x,y)\mathrm{isForeground}\end{array}\right.;$

(d)对步骤(c)得到的二值图像进行3×3窗口大小的中值滤波，消除背景噪声；

图像的中值滤波一般采用一个含有奇数个点的滑动窗口，用窗口中各点灰度值的中值代替窗口中点的灰度值，采用3×3大小的窗口，更大的滤波窗口虽然可以更有效得滤除噪声，但是会带来过分地平滑，使运动区域细节内容消失，给下面的处理带来困难。

(e)对步骤(d)得到的中值滤波后的图像进行数学形态学滤波中典型的开运算和闭运算，消除前景图像中小面积的活动区域和空洞，采用3×3方型腐蚀元和膨胀元完成开运算和闭运算。

所述的对统计背景建模得到的背景图像采用基于场景几何信息的方法产生几何深度图步骤：

(f)对步骤(a)得到的背景图像的亮度分量B_y(x，y)用Sobel算子进行边缘检测，得到水平梯度图S_x(x，y)和垂直梯度图S_y(x，y)，将这两幅图相加得到梯度图S(x，y)，与阈值Th做比较，得到二值化的背景边缘检测图，阈值Th的选取按照如下公式计算：

Th＝α·[S(x，y)_max-S(x，y)_min]+S(x，y)_min

其中，α是取值在0～1之间的权重系数，S(x，y)_max是梯度图最大像素值，S(x，y)_min是梯度图最小像素值；

α越小，图像的边缘和细节越清晰，反之则图像的边缘和细节就越模糊。图像的边缘越清晰越有利于灭线的提取，但细节清晰则不利于灭线的提取。

(g)采用图像处理中经典的Hough变换对步骤(f)得到的二值化边缘检测图提取其中的主要直线，其结果与原始的二值化边缘检测图做“与”操作，提取出背景中的灭线，灭线交点出现概率最大的区域的中点作为灭点；

Hough变换的原理本质上就是利用点-线之间的对称性。图像空间上的一个点(图2(a))对应着特征空间(r，θ)上的一条正弦曲线(图2(b))，而图像空间(x，y)上的一条直线(图2(c))对应着特征空间(r，θ)上的一个点(图2(d))。直线可以看成是点的集合，因此，图像空间上的一条直线对应着特征空间上的一簇正弦曲线，而这些曲线的交点的坐标就是图像空间中对应直线的特征量。

在实现时，累计特征空间中交于同一点的曲线的条数，如果累计值超过阈值则认为图像空间中存在可用对应的特征空间的交点坐标来表征的直线。

(h)以步骤(g)中得到的灭点作为背景中深度最深点，沿灭线往灭点方向深度以级差2的速率逐渐加深，得到背景图像的几何深度图G(x，y)。

所述的通过从原始待转换二维视频在时间上相邻的两帧图像之间寻找匹配，得到运动前景物体的运动矢量，并换算成运动幅度步骤：

(i)扫描待转换二维视频中的当前时刻图像帧I_f(x，y)，根据步骤(e)得到的滤波过的前后景分离二值图像，判断若当前像素点是前景点，则为其在当前时刻的前一时刻图像帧I_f-1(x，y)上寻找最佳匹配像素点，采用在以当前像素点为中心的W×W邻域窗口内计算匹配代价的方法，以提高匹配的精确性，如图3所示，设匹配搜索范围S_N×N大小为N×N，u和v分别是在寻找匹配时当前帧上像素在前一时刻图像帧上的水平偏移量和垂直偏移量，i和j分别是以当前像素点为中心的W×W邻域内的水平偏移量和垂直偏移量，定义匹配代价如下：

$C(x,y;u,v)=\underset{i=-(w-1)/2}{\overset{(w-1)/2}{\mathrm{\&Sigma;}}}\underset{j=-(w-1)/2}{\overset{(w-1)/2}{\mathrm{\&Sigma;}}}|I_{\text{f}}(x+i,y+i)-I_{f-1}(x+u+i,y+v+j)|$

(x,y)∈foreground，(u,v)∈S_N×N，f=1，2，3......

遍历当前像素点搜索范围内的每一个像素点，计算相应的匹配代价，找出其中具有最小匹配代价的水平偏移量和垂直偏移量，以之作为当前像素点的运动矢量，水平MV_x，垂直MV_y，公式表示如下：

C_min(x，y；MV_x，MV_y)＝Min[C(x，y；u，v)]；

(j)设步骤(i)中得到的每一个前景像素点的运动矢量水平方向分量为MV_x(x，y)，垂直方向分量为MV_y(x，y)，运动幅度定义为：

$F(x,y)=\sqrt{{\mathrm{MV}}_x^2(x,y)+{\mathrm{MV}}_y^2(x,y)};$

所述的根据运动前景部分所处位置，对其运动幅度做线性变换，得到运动深度图步骤：

(k)对步骤(j)中得到的运动幅度做线性变换和向下取整运算，确保运动深度图的每一个前景像素点的取值范围在[a，b]，且为整数，线性变换公式如下：

其中，线性变换下限a与上限b取值均在0～255之间，a取运动前景遮挡住的背景部分几何深度图的最小深度值，b取运动前景部分最低点对应背景部分几何深度图的深度值。

由于在三维空间中，具有相同运动速率而不同深度的物体在二维图像平面上表现出来的运动幅度并不相同，深度小的物体运动幅度大，反之则运动幅度小，所以运动幅度能够用来描述物体的深度。运动深度图是灰度图，因此必须将最初计算得到的运动幅度做线性变换和向下取整操作，才能用来描述物体深度。此外，为了最终更好地将运动深度图融入几何深度图中，线性变换范围的上下限取自运动前景物体周围的背景深度值。

所述的融合运动深度图和几何深度图，并进行高斯滤波，得到最终深度图步骤：

(l)根据步骤(e)得到的滤波过的前后景分离二值图像A(x，y)，对步骤(k)得到的运动深度图M(x，y)和步骤(h)得到的几何深度图G(x，y)进行融合，得到融合深度图D(x，y)，融合公式定义如下：

$D(x,y)=\left\{\begin{array}{cc}M(x,y)& A(x,y)=255\\ G(x,y)& A(x,y)=0\end{array}\right.;$

(m)对步骤(l)得到的融合深度图进行高斯滤波，得到最终深度图，用于三维视频的表达。

运用DIBR技术重构虚拟视点时，要求输入的深度图比较平滑，因此，需要对融合运动深度图和几何深度图得到的融合深度图进行一次高斯滤波。

实施例：

(1)将图像分辨率为352×288的Hall Monitor测试码流作为待产生深度图的2D视频文件。图4即为Hall Monitor视频的截图。

(2)建立统计背景模型，产生背景图像。图5即为Hall Monitor视频建模得到的背景图像。

(3)通过与背景图像比较，检测出Hall Monitor视频的运动前景，二值化分离的前景与背景，并进行中值滤波和数学形态学滤波。图6即为图4视频截图对应的滤波后前后景分离的二值图；

(4)对背景建模得到的背景图像采用基于场景几何信息的方法产生几何深度图。图7即为图5背景图像的几何深度图。

(5)求取Hall Monitor视频文件前景部分的运动矢量，并换算成运动幅度，根据前景物体所处位置，对其运动幅度做线性变换，得到运动深度图。图8即为图4视频截图对应的运动深度图。

(6)融合运动深度图和几何深度图，并进行高斯滤波，得到最终深度图，用于三维视频的表达。图9即为图7几何深度图与图8运动深度图融合并经过高斯滤波处理的最终深度图。

Claims (7)

1.一种融合运动信息与几何信息的深度提取方法，其特征在于包括如下步骤：

(1)对待转换二维视频建立统计背景模型，通过运动目标检测，分离出静止背景部分和运动前景部分；

(2)对分离出静止背景部分和运动前景部分的图像二值化，并进行中值滤波和数学形态学滤波；

(3)对统计背景建模得到的背景图像采用基于场景几何信息的方法产生几何深度图；

(4)通过从原始待转换二维视频在时间上相邻的两帧图像之间寻找匹配，得到运动前景物体的运动矢量，并换算成运动幅度；

(5)根据运动前景部分所处位置，对其运动幅度做线性变换，得到运动深度图；

(6)融合运动深度图和几何深度图，并进行高斯滤波，得到最终深度图，用于三维视频的表达。

2.根据权利要求1所述的一种融合运动信息与几何信息的深度提取方法，其特征在于所述的对待转换二维视频建立统计背景模型，通过运动目标检测，分离出静止背景部分和运动前景部分步骤：

(a)在待转换的二维视频文件中截取连续的N帧图像，对这N帧图像I_f(x，y)进行时间和空间上的扫描，求得对应于每一个像素坐标位置的N个像素值的均值作为背景图像B(x，y)在这一位置上的像素值，计算公式如下：

$B(x,y)=\frac{1}{N}\underset{f=1}{\overset{N}{\mathrm{\&Sigma;}}}{I}_f(x,y);$

(b)用步骤(a)中得到的背景图像B(x，y)与待转换二维视频的每一帧图像I_f(x，y)做减法，通过与一个预先设定的阈值th进行比较来确定图像中的前景点，表示公式如下：

$I_f(x,y)=\left\{\begin{array}{cc}\mathrm{Background}& |I_f(x,y)-B(x,y)|<\mathrm{th}\\ \mathrm{Foreground}& \mathrm{otherwise}\end{array}\right..$

3.根据权利要求1所述的一种融合运动信息与几何信息的深度提取方法，其特征在于所述的对分离出静止背景部分和运动前景部分的图像二值化，并进行中值滤波和数学形态学滤波步骤：

(c)利用步骤(b)作出的前后景判断，为视频中每一帧图像I_f(x，y)产生一幅二值图像，其中0值表示背景，255值表示前景，即：

$I_f^1(x,y)=\left\{\begin{array}{ccc}0& \mathrm{if}& I_f(x,y)\mathrm{is\; Background}\\ 255& \mathrm{if}& I_f(x,y)\mathrm{is\; Foreground}\end{array}\right.;$

(d)对步骤(c)得到的二值图像进行3×3窗口大小的中值滤波，消除背景噪声；

(e)对步骤(d)得到的中值滤波后的图像进行数学形态学滤波中典型的开运算和闭运算，消除前景图像中小面积的活动区域和空洞，采用3×3方型腐蚀元和膨胀元完成开运算和闭运算。

4.根据权利要求1所述的一种融合运动信息与几何信息的深度提取方法，其特征在于所述的对统计背景建模得到的背景图像采用基于场景几何信息的方法产生几何深度图步骤：

(f)对步骤(a)得到的背景图像的亮度分量B_y(x，y)用Sobel算子进行边缘检测，得到水平梯度图S_x(x，y)和垂直梯度图S_y(x，y)，将这两幅图相加得到梯度图S(x，y)，与阈值Th做比较，得到二值化的背景边缘检测图，阈值Th的选取按照如下公式计算：

Th＝α·[S(x，y)_max-S(x，y)_min]+S(x，y)_min

其中，α是取值在0～1之间的权重系数，S(x，y)_max是梯度图最大像素值，S(x，y)_min是梯度图最小像素值；

(g)采用图像处理中经典的Hough变换对步骤(f)得到的二值化边缘检测图提取其中的主要直线，其结果与原始的二值化边缘检测图做“与”操作，提取出背景中的灭线，灭线交点出现概率最大的区域的中点作为灭点；

(h)以步骤(g)中得到的灭点作为背景中深度最深点，沿灭线往灭点方向深度以级差2的速率逐渐加深，得到背景图像的几何深度图G(x，y)。

5.根据权利要求1所述的一种融合运动信息与几何信息的深度提取方法，其特征在于所述的通过从原始待转换二维视频在时间上相邻的两帧图像之间寻找匹配，得到运动前景物体的运动矢量，并换算成运动幅度步骤：

(i)扫描待转换二维视频中的当前时刻图像帧I_f(x，y)，根据步骤(e)得到的滤波过的前后景分离二值图像，判断若当前像素点是前景点，则为其在当前时刻的前一时刻图像帧I_f-1(x，y)上寻找最佳匹配像素点，采用在以当前像素点为中心的W×W邻域窗口内计算匹配代价的方法，以提高匹配的精确性，设匹配搜索范围S_N×N大小为N×N，u和v分别是在寻找匹配时当前帧上像素在前一时刻图像帧上的水平偏移量和垂直偏移量，i和j分别是以当前像素点为中心的W×W邻域内的水平偏移量和垂直偏移量，定义匹配代价如下：

$C(x,y;u,v)=\underset{i=-(w-1)/2}{\overset{(w-1)/2}{\mathrm{\&Sigma;}}}\underset{j=-(w-1)/2}{\overset{(w-1)/2}{\mathrm{\&Sigma;}}}|I_f(x+i,y+i)-I_{f-1}(x+u+i,y+v+j)|$

$(x,y)\&Element;\mathrm{foreground},$ (u，v)∈S_N×N，f＝1，2，3……

遍历当前像素点搜索范围内的每一个像素点，计算相应的匹配代价，找出其中具有最小匹配代价的水平偏移量和垂直偏移量，以之作为当前像素点的运动矢量，水平MV_x，垂直MV_y，公式表示如下：

C_min(x，y；MV_x，MV_y)＝Min[C(x，y；u，v)]；

(j)设步骤(i)中得到的每一个前景像素点的运动矢量水平方向分量为MV_x(x，y)，垂直方向分量为MV_y(x，y)，运动幅度定义为：

$F(x,y)=\sqrt{{\mathrm{MV}}_x^2(x,y)+{\mathrm{MV}}_y^2(x,y)}.$

6.根据权利要求1所述的一种融合运动信息与几何信息的深度提取方法，其特征在于所述的根据运动前景部分所处位置，对其运动幅度做线性变换，得到运动深度图步骤：

(k)对步骤(j)中得到的运动幅度做线性变换和向下取整运算，确保运动深度图的每一个前景像素点的取值范围在[a，b]，且为整数，线性变换公式如下：

其中，线性变换下限a与上限b取值均在0～255之间，a取运动前景遮挡住的背景部分几何深度图的最小深度值，b取运动前景部分最低点对应背景部分几何深度图的深度值。

7.根据权利要求1所述的一种融合运动信息与几何信息的深度提取方法，其特征在于所述的融合运动深度图和几何深度图，并进行高斯滤波，得到最终深度图步骤：

(1)根据步骤(e)得到的滤波过的前后景分离二值图像A(x，y)，对步骤(k)得到的运动深度图M(x，y)和步骤(h)得到的几何深度图G(x，y)进行融合，得到融合深度图D(x，y)，融合公式定义如下：

$D(x,y)=\left\{\begin{array}{cc}M(x,y)& A(x,y)=255\\ G(x,y)& A(x,y)=0\end{array}\right.;$

(m)对步骤(1)得到的融合深度图进行高斯滤波，得到最终深度图，用于三维视频的表达。

Images