CN101720047A - 基于颜色分割的多目摄像立体匹配获取深度图像的方法 - Google Patents

Abstract

本发明公开了一种基于颜色分割的多目摄像立体匹配获取深度图像的方法，它包括步骤：(1)、对所有输入图像进行图像规正；(2)、对参考图像进行颜色分割，提取图像中的颜色一致性区域；(3)、对多幅输入图像分别进行局部窗口匹配得到多幅视差图；(4)、应用双向匹配策略来消除在匹配过程中产生的误匹配点；(5)、将多幅视差图合成为一幅视差图，填充误匹配点的视差信息；(6)、对视差图进行后处理优化，得到一个稠密视差图；(7)、根据视差与深度之间的关系，将视差图转换为深度图。该方法从多个视点图像中获取深度信息，利用多个视点图像提供的图像信息，不仅能解决图像中周期性重复纹理特征、遮挡等带来的误匹配，还能提高匹配精度，得到一个准确的深度图像。

Description

基于颜色分割的多目摄像立体匹配获取深度图像的方法

技术领域

本发明涉及一种深度图像获取方法，特别是基于颜色分割的多目摄像立体匹配获取深度图像的方法。

背景技术

基于深度图像绘制(Depth Image Based Rendering，DIBR)技术是3DTV***在解码端的一项关键技术。DIBR技术通过给源图像中的可见象素引入深度信息利用彩色图像及其对应的深度图像生成新视点图像。由于压缩传输多路视频所需要传输的数据量非常巨大从而导致所要求的带宽会显著增加，尤其如果支持用户选择视点，则需要使用密集型摄像机阵列采集，这样就使得多视点视频数据量急剧增加，严重妨碍了3DTV的应用。因此“单视点视频+深度”的表示方法被作为立体视频的替代方案，在解码端利用DIBR技术，实时生成一个或者多个虚拟视点的3D场景，产生三维视觉效果并满足一定的视点选择的交互性；而“多视点视频+深度”是目前MPEG/JVT拟采用的3D视频表示方法，可用较稀疏的摄像机阵列拍摄3D场景并支持视点选择的交互性。以上利用单路或多路二维彩***加上其相对应的深度信息的3D视频表示方式，能大幅减小3D视频数据量，从而节省传输带宽。然而，用于基于深度图像绘制的深度图的获取是其中的关键技术，也是一个难点。

目前深度获取主要有以下两类方法，一类是利用特殊的硬件设备来主动获取场景中每个点的深度信息。例如3DV***公司开发的Zcam深度相机，它是一种带有测距功能的摄像机，利用红外脉冲光源向场景发射信号，然后用红外传感器来检测场景中物体反射回来的红外光，从而确定场景中物体的每一点到摄像机的距离。由于此类***设备的价格非常昂贵，不适合推广。另一类方法是基于传统的计算机立体视觉方法，利用在两个不同视点获得的同一景物的两幅图像或多个视点图像进行立体匹配来恢复场景物体的深度信息。此类方法一般包含两步：(1)对图像进行立体匹配，得到对应点的视差图像；(2)根据对应点的视差与深度的关系计算出深度，得到深度图像。

立体匹配算法主要可以分为基于区域的立体匹配算法和基于特征的立体匹配算法这两大类。基于区域(窗口)的立体匹配算法，能够很容易地恢复出高纹理区域的视差，但在低纹理区域会造成大量的误匹配，从而导致边界模糊，同时对遮挡的区域也很难进行处理；基于特征的立体匹配方法提取的特征点对噪声不是太敏感，所以能得到比较精准的匹配，但由于图像中的特征点很稀疏，此种方法只能获得一个稀疏的视差图。一种基于分割的立体匹配方法，由于它可以得到稠密的视差图，近来受到了很大程度的关注。这类方法假设场景中物体结构由一组互不重叠的平面组成，每个平面对应着参考图像中的一个颜色分割区域，且单一的颜色区域中视差变化是平滑的。

发明内容

本发明的目的是为了克服现有技术的不足，提供一种基于颜色分割的多目摄像立体匹配获取深度图像的方法。该方法不仅能有效解决图像中周期性重复纹理特征、遮挡等带来的误匹配问题，还能提高匹配精度，从而得到一个准确且稠密的深度图像。

为达到上述目的，本发明的构思是：

根据图像的颜色信息对输入参考图像进行颜色分割；然后利用参考图像与其余输入图像进行局部窗口匹配得到多幅初始视差图，融合多幅初始视差图填充误匹配点的视差信息；最后对得到的视差图进行优化处理后，根据视差与深度之间的关系，将视差图转换为深度图。

根据上述构思，本发明的技术方案是：

上述基于颜色分割的多目摄像立体匹配获取深度图像的方法，其步骤是：

(1)、对所有输入图像进行图像规正，消除因图像噪声、光照条件、遮挡等因素造成对应点在不同视点图像上的颜色差异；

(2)、对参考图像进行颜色分割，提取图像中的颜色一致性区域；

(3)、对多幅输入图像分别进行局部窗口匹配得到多幅视差图；

(4)、应用双向匹配策略来消除在匹配过程中产生的误匹配点，提高视差精度；

(5)、根据融合准则将多幅视差图融合成为一幅视差图，填充误匹配点的视差信息；

(6)、对视差图进行后处理优化，得到一个稠密视差图；

(7)、根据视差与深度之间的关系，将视差图转换为深度图。

本发明的基于颜色分割的多目摄像立体匹配获取深度图像的方法与已有技术相比较，具有如下显而易见的实质性突出特点和显著优点：该方法采用基于分割立体匹配算法从多个视点图像中获取深度信息，合理地利用多个视点图像提供的图像信息，消除由图像中周期性重复纹理特征、遮挡等带来的误匹配，提高了匹配精度，且能得到每个像素的视差，最终能获得一个准确而稠密的深度图，从而满足基于图像绘制技术对深度图像质量的要求，从而可以在基于深度图像绘制的深度获取方面得到应用。

附图说明

图1是本发明的基于颜色分割的多目摄像立体匹配获取深度图像的方法的流程框图；

图2是平行摄像机配置***示意图；

图3是图1中对图像进行颜色规正的流程框图；

图4是目标图像C₁、参考图像C_c、目标图像C_r的不同视点图像间的遮挡关系示意图；

图5是按照本发明所述方法得到的立体匹配结果图。

具体实施方式

以下结合附图对本发明的实施例作进一步的详细说明。本实施例以本发明的技术方案为前提下进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述的实施例。

本发明的实施例是以3幅输入图像为例，其3幅输入图像是由如图2所示的平行摄像机配置***拍摄得到，中间的视点C_c所拍摄的图像为参考图像C_c，其左右两个视点C₁，C_r所拍摄的图像分别为两幅目标图像C₁，C_r。f表示这3个摄像机的焦距，深度值为Z的空间场景点P在这三个图像平面上的投影点分别为(x₁，y)，(x_c，y)和(x_r，y)。

参见图1，本发明的基于颜色分割的多目摄像立体匹配获取深度图像的方法，其步骤是：

(1)、对3幅输入图像进行图像规正，消除因图像噪声、光照条件、遮挡等因素造成对应点在不同视点图像上的颜色差异；

(2)、对参考图像进行颜色分割，提取图像中的颜色一致性区域；

(3)、对3幅输入图像分别进行局部窗口匹配，得到2幅视差图；即参考图像分别与左边目标图像匹配以及参考图像与右边目标图像匹配；

(4)、采用双向匹配来消除在匹配过程中产生的误匹配点；

(5)、根据融合准则将多幅视差图合成为一幅视差图，填充误匹配点的视差信息；

(6)、对视差图进行优化处理，得到一个稠密视差图；

(7)、根据视差与深度之间的关系，计算深度将视差图转换为深度图。

参见图3，上述步骤(1)所述的对输入图像进行图像规正，消除因图像噪声、光照条件、遮挡等因素造成对应点在不同视点图像上的颜色差异，其具体步骤是：

(1-1)、按照像素的亮度值，计算出每幅输入图像的累积直方图；

(1-2)、以C_c视点图像作为参考图像C_c，将累积直方图按像素个数平均分成10段，分别找出每一段的亮度上下边界值，由此确定参考图像C_c与目标图像C₁或目标图像C_r对应段间的线性映射关系；

(1-3)、对目标图像中的每一像素点，求其在累积直方图中的分段号，然后根据相应的映射公式将其亮度值映射为另一个值，对像素进行规正。

上述步骤(2)所述的对参考图像进行颜色分割，提取参考图像中的颜色一致性区域，其具体步骤如下：

采用Mean Shift算法根据图像的颜色信息对参考图像C_c进行颜色分割，利用概率分布的梯度寻找分布峰值，将图像中每一个像素归类到相应的密度模式下，从而实现聚类，使得得到的每一个分割区域内的像素具有相同的颜色值。

上述步骤(3)所述的对多幅输入图像分别进行局部窗口匹配，得到多幅视差图，其具体步骤如下：

(3-1)、确定参考图像C_c与目标图像C₁、目标图像C_r的位置关系；

当在一幅目标图像中找不到匹配点时，在另外一幅目标图像可以找到其相应的匹配点。如图4所示，图中涂黑长条框表示两个场景物体，设定中间的视点C_c所拍摄的图像为参考图像C_c，则取其左右两个视点C₁，C_r所拍摄的图像分别为目标图像C₁和目标图像C_r。场景中P₁P₃线段区域在C₁视点处被遮挡，当立体匹配求参考图像C_c的视差时，该区域的像素点在C₁视点图像中找不到匹配点，但在C_r视点图像中能找到对应匹配点。

(3-2)、分别对参考图像C_c与左边目标图像C₁以及参考图像C_c与右边目标图像C_r进行局部窗口匹配；

以上述参考图像C_c作为基准图像，基准图像中待匹配点为中心像素创建一个大小为5*5窗口，在目标图像中搜索与待匹配点邻域同样大小为5*5的像素邻域，依次与待匹配点的窗口进行比较，其中采用自适应的像素异性测量(self-adapting dissimilarity measure)作为相似度测量函数，如下式，其最大相似性对应的点就是最佳匹配点。

C(x，y，d)＝(1-ω)*C_SAD(x，y，d)+ω*C_GRAD(x，y，d)

$C_{\mathrm{SAD}}(x,y,d)=\underset{(i,j)\∈N(x,y)}{\mathrm{\Σ}}|I_1(i,j)-I_2(i+d,j)|$

$C_{\mathrm{GRAD}}(x,y,d)=\underset{(i,j)\∈N_x(x,y)}{\mathrm{\Σ}}|{\▿}_x{I}_1(i,j)-{\▿}_x{I}_2(i+d,j)|$

$+\underset{(i,j)\∈N_y(x,y)}{\mathrm{\Σ}}|{\▿}_y{I}_1(i,j)-{\▿}_y{I}_2(i+d,j)|$

其中，N(x，y)是以匹配点(x，y)为中心像素的5*5窗口，

表示图像梯度的水平分量，

表示图像梯度的垂直分量，ω表示权重。

通过对C₁视点图像与C_c视点图像(参考图像)匹配，得到视差图I_LI(x，y)。C_r视点图像与C_c视点图像(参考图像)匹配，得到视差图I_RI(x，y)。得到的两幅视差图中包含很多误匹配点。

上述步骤(4)所述的采用双向匹配来消除在匹配过程中产生的误匹配点，它用在参考图像与左边目标图像匹配以及参考图像与右边目标图像匹配这两个相同的匹配过程中，其具体步骤如下：

(4-1)、以左图像作为参考图像，右图像作为目标图像，从左到右进行局部窗口匹配得到从左到右的视差图d_LR；

(4-2)、以右图像作为参考图像，左图像作为目标图像，从右到左进行局部窗口匹配得到从右到左的视差图d_RL；

(4-3)、根据下面公式找出在两幅视差图中视差不一致的对应点，确定为误匹配点。

$d_{\mathrm{LR}}(x_L,y)=d_{\mathrm{RL}}(x_R,y)=\left\{\begin{array}{cc}\frac{d_{\mathrm{LR}}(x_L,y)+d_{\mathrm{RL}}(x_R,y)}{2}& |d_{\mathrm{LR}}(x_L,y)-d_{\mathrm{RL}}(x_R,y)|\≤\mathrm{\λ}\\ 0& \mathrm{else}\end{array}\right.$

其中：λ是误差阈值，左图上的像素(x_L，y)与右图上的像素(x_R，y)是一对匹配点，即x_R＝x_L+d_LR(x_L，y)。

当两幅视差图中对应点的视差误差满足|d_LR(x_L，y)-d_RL(x_R，y)|≤λ(λ为允许的视差误差阈值)时，则表明对应点视差匹配正确。当视差误差不满足|d_LR(x_L，y)-d_RL(x_R，y)|≤λ时，表明该点为误匹配点，将该点赋值为0。

上述步骤(5)所述的将多幅视差图合成为一幅视差图，填充误匹配点的视差信息，其具体步骤如下：

(5-1)、根据相机的外参矩阵中的平移向量t计算比例系数α；

$\mathrm{\α}=\frac{|t_C-t_L|}{|t_C-t_L|+|t_C-t_R|}$

其中，t_L、t_C、t_R分别为左边摄像机、中间摄像机、右边摄像机的外参矩阵中的平移向量。

(5-2)、根据以下的融合准则，将2幅视差图I_LI(x，y)和I_RI(x，y)合成为最终的视差图I(x，y)，填充误匹配点的视差信息。融合方式用公式表示如下：

其中，I(x，y)是参考图像坐标最终合成的视差图。I_LI(x，y)，I_RI(x，y)分别表示参考图像与其邻近的左右两幅图像匹配得到的视差图。δ表示一个误差阈值。

上述步骤(6)所述的对视差图进行优化处理，得到一个稠密视差图，其具体步骤如下：

(6-1)、假设参考图像中的每个颜色分割区域内视差变化是平滑的；

(6-2)、取每个分割区域内的所有像素的中间视差值作为整个分割区域的视差，得到每个像素的视差值，其数学表示形式如下面公式。最后得到了一个高质量稠密的视差图I′(x，y)。

$I_{\mathrm{SEG}}(x,y)=\underset{(x,y)\∈I_{\mathrm{SEG}}(x,y)}{\mathrm{median}}\left(I(x,y)\right)$

其中，I_SEG(x，y)表示分割区域。

上述步骤(7)所述的根据视差与深度之间的关系，计算深度将视差图转换为深度图，其具体是：

平行摄像机配置***中场景的深度值与其视差有如下关系：

$Z=\frac{\mathrm{Bf}}{D}$

其中，Z表示深度值，B表示基线距离(相机间距)，f为相机焦距，D为视差。

根据深度与视差的关系，在视差已知的情况下，计算出每个像素的深度值，从而将视差图I′(x，y)转化为深度图。

图5中图(a)、(b)分别为按照本发明所述方法得到的匹配结果。其中图(a)是对静态场景序列的匹配结果，图(b)是对动态场景序列的匹配结果。从图5中可以看出最后的匹配结果能保持精确的视差图边界，特别一些缺少匹配的遮挡区域的视差也得到了很好的恢复，场景物体的深度层次表现得非常明显。按照本发明所述方法，能得到理想的匹配效果，由此也验证了本发明的有效性。

Claims (8)

1.一种基于颜色分割的多目摄像立体匹配获取深度图像的方法，其特征在于，该方法根据图像的颜色信息对输入参考图像进行颜色分割；然后利用参考图像与其余输入图像进行局部窗口匹配得到多幅初始视差图，融合多幅初始视差图填充误匹配点的视差信息；最后对得到的视差图进行优化处理后，根据视差与深度之间的关系，将视差图转换为深度图，其具体步骤如下：

(1)、对所有输入图像进行图像规正，消除因图像噪声、光照条件、遮挡等因素造成对应点在不同视点图像上的颜色差异；

(2)、对参考图像进行颜色分割，提取图像中的颜色一致性区域；

(3)、对多幅输入图像分别进行局部窗口匹配得到多幅视差图；

(4)、应用双向匹配策略来消除在匹配过程中产生的误匹配点，提高视差精度；

(5)、根据融合准则将多幅视差图合成为一幅视差图，填充误匹配点的视差信息；

(6)、对视差图进行后处理优化，得到一个稠密视差图；

(7)、根据视差与深度之间的关系，将视差图转换为深度图。

2.根据权利要求1所述的基于颜色分割的多目摄像立体匹配获取深度图像的方法，其特征在于，上述步骤(1)所述的所有输入图像进行图像规正，其具体步骤是：

(1-1)、按照像素的亮度值，计算出每幅输入图像的累积直方图；

(1-2)、以C_c视点图像作为参考图像C_c，将累积直方图按像素个数平均分成10段，分别找出每一段的亮度上下边界值，由此确定参考图像C_c与目标图像C₁、目标图像C_r对应段间的线性映射关系；

(1-3)、对目标图像中的每一像素点，求其在累积直方图中的分段号，然后根据相应的映射公式将其亮度值映射为另一个值。

3.根据权利要求2所述的基于颜色分割的多目摄像立体匹配获取深度图像的方法，其特征在于，上述步骤(2)所述的对参考图像进行颜色分割，提取参考图像中的颜色一致性区域，其具体步骤如下：采用Mean Shift算法根据图像的颜色信息对参考图像C_c进行颜色分割，利用概率分布的梯度寻找分布峰值，将图像中每一个像素归类到相应的密度模式下，从而实现聚类，使得得到的每一个分割区域内的像素具有相同的颜色值。

4.根据权利要求3所述的基于颜色分割的多目摄像立体匹配获取深度图像的方法，其特征在于，上述步骤(3)所述的对多幅输入图像分别进行局部窗口匹配，得到多幅视差图，其具体步骤如下：

(3-1)、确定参考图像C_c与目标图像C₁、目标图像C_r的位置关系；

当在一幅目标图像中找不到匹配点时，在另外一幅目标图像可以找到其相应的匹配点，设定中间的视点C_c所拍摄的图像为参考图像C_c，则取其左右两个视点C₁，C_r所拍摄的图像分别为目标图像C₁和目标图像C_r，场景中P₁P₃线段区域在C₁视点处被遮挡，当立体匹配求参考图像C_c的视差时，该区域的像素点在C₁视点图像中找不到匹配点，但在C_r视点图像中能找到对应匹配点；

(3-2)、分别对参考图像C_c与左边目标图像C₁以及参考图像C_c与右边目标图像C_r进行局部窗口匹配；

以上述参考图像C_c作为基准图像，基准图像待匹配点为中心像素创建一个大小为5*5窗口，在目标图像中搜索与待匹配点邻域同样大小为5*5的像素邻域，依次与待匹配点的窗口进行比较，其中采用自适应的像素异性测量(self-adapting dissimilarity measure)作为相似度测量函数，如下式，其最大相似性对应的点就是最佳匹配点，

C(x，y，d)＝(1-ω)*C_SAD(x，y，d)+ω*C_GRAD(x，y，d)

$C_{\mathrm{SAD}}(x,y,d)=\underset{(i,j)\∈N(x,y)}{\mathrm{\Σ}}|I_1(i,j)-I_2(i+d,j)|$

$C_{\mathrm{GRAD}}(x,y,d)=\underset{(i,j)\∈N_x(x,y)}{\mathrm{\Σ}}|{\▿}_x{I}_1(i,j)-{\▿}_x{I}_2(i+d,j)|$

$+\underset{(i,j)\∈N_y(x,y)}{\mathrm{\Σ}}|{\▿}_y{I}_1(i,j)-{\▿}_y{I}_2(i+d,j)|$

其中，N(x，y)是以匹配点(x，y)为中心像素的5*5窗口，

表示图像梯度的水平分量，表示图像梯度的垂直分量，ω表示权重，

通过对C₁视点图像与C_c视点图像(参考图像)匹配，得到视差图I_LI(x，y)，C_r视点图像与C_c视点图像(参考图像)匹配，得到视差图I_RI(x，y)，得到的两幅视差图中包含很多误匹配点。

5.根据权利要求4所述的基于颜色分割的多目摄像立体匹配获取深度图像的方法，其特征在于，上述步骤(4)所述的采用双向匹配来消除在匹配过程中产生的误匹配点，它用在参考图像与左边目标图像匹配以及参考图像与右边目标图像匹配这两个相同的匹配过程中，其具体步骤如下

(4-1)、以左图像作为参考图像，右图像作为目标图像，从左到右进行局部窗口匹配得到从左到右的视差图d_LR；

(4-2)、以右图像作为参考图像，左图像作为目标图像，从右到左进行局部窗口匹配得到从右到左的视差图d_RL；

(4-3)、根据下面公式找出在两幅视差图中视差不一致的对应点，确定为误匹配点，

$d_{\mathrm{LR}}(x_L,y)=d_{\mathrm{RL}}(x_R,y)=\left\{\begin{array}{cc}\frac{d_{\mathrm{LR}}(x_L,y)+d_{\mathrm{RL}}(x_R,y)}{2}& |d_{\mathrm{LR}}(x_L,y)-d_{\mathrm{RL}}(x_R,y)|\≤\mathrm{\λ}\\ 0& \mathrm{else}\end{array}\right.$

其中：λ是误差阈值，左图上的像素(x_L，y)与右图上的像素(x_R，y)是一对匹配点，即x_R＝x_L+d_LR(x_L，y)，

当两幅视差图中对应点的视差误差满足|d_LR(x_L，y)-d_RL(x_R，y)|≤λ(λ为允许的视差误差阈值)时，则表明对应点视差匹配正确，当视差误差不满足|d_LR(x_L，y)-d_RL(x_R，y)|≤λ时，表明该点为误匹配点，将该点赋值为0。

6.根据权利要求5所述的基于颜色分割的多目摄像立体匹配获取深度图像的方法，其特征在于，上述步骤(5)所述的将多幅视差图合成为一幅视差图，填充误匹配点的视差信息，其具体步骤如下：

(5-1)、根据相机的外参矩阵中的平移向量t计算比例系数α；

$\mathrm{\α}=\frac{|t_C-t_L|}{|t_C-t_L|+|t_C-t_R|}$

其中，t_L、t_C、t_R分别为左边摄像机、中间摄像机、右边摄像机的外参矩阵中的平移向量；

(5-2)、根据以下的融合准则，将2幅视差图I_LI(x，y)和I_RI(x，y)合成为最终的视差图I(x，y)，填充误匹配点的视差信息，融合方式用公式表示如下：

其中，I(x，y)是参考图像坐标最终合成的视差图，I_LI(x，y)，I_RI(x，y)分别表示参考图像与其邻近的左右两幅图像匹配得到的视差图，δ表示一个误差阈值。

7.根据权利要求6所述的基于颜色分割的多目摄像立体匹配获取深度图像的方法，其特征在于，上述步骤(6)所述的对视差图进行优化处理，得到一个稠密视差图，其具体步骤如下：

(6-1)、假设参考图像中的每个颜色分割区域内视差变化是平滑的；

(6-2)、取每个分割区域内的所有像素的中间视差值作为整个分割区域的视差，得到每个像素的视差值，其数学表示形式如下面公式，最后得到了一个高质量稠密的视差图I′(x，y)，

$I_{\mathrm{SEG}}(x,y)=\underset{(x,y)\∈I_{\mathrm{SEG}}(x,y)}{\mathrm{median}}\left(I(x,y)\right)$

其中，I_SEG(x，y)表示分割区域。

8.根据权利要求7所述的基于颜色分割的多目摄像立体匹配获取深度图像的方法，其特征在于，上述步骤(7)所述的根据视差与深度之间的关系，计算深度将视差图转换为深度图，其具体是：

平行摄像机配置***中场景的深度值与其视差有如下关系：

$Z=\frac{\mathrm{Bf}}{D}$

其中，Z表示深度值，B表示基线距离(相机间距)，f为相机焦距，D为视差，根据深度与视差的关系，在视差已知的情况下，计算出每个像素的深度值，从而将视差图I′(x，y)转化为深度图。

Images