CN107103620B - 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法 - Google Patents

Abstract

本发明公开了一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，应用于以多深度少纹理为基础的多视点采集和重建架构。本发明从独立的光编码深度相机视角出发，通过对采集场景进行空间分层采样的方式解决多光编码相机***存在相互干扰的问题，从而获得无干扰的场景深度图。本发明与基于结构光及多视点立体的平面扫描方法相比，可有效降低多光编码相机间的干扰，在获得精确深度信息的同时能够更好地保留场景的形状信息，为三维场景重建提供高质量、高精度的深度图像。

Description

一种基于独立相机视角下空间采样的多光编码相机的深度提 取方法

技术领域

本发明属于融合多深度信息的复杂场景采样与重建领域，特别涉及多光编码深度相机间的干扰消除与深度提取。

背景技术

近年来，随着数字电视技术和显示技术的不断发展，从多角度身临其境地观看场景的立体视频正逐渐成为人们的迫切需求。传统的2D视频由于缺少景物的深度信息，剥夺了观察者的视觉立体感受；而且人们不能根据自身的喜好编辑、操作视听对象，使用户失去了交互操作的权利。为了让观察者能够感知立体视觉效果，基于多视点的3D视频应运而生。本质上，2D与3D视频的区别就在于深度信息。由于3D视频蕴含丰富的深度信息，使其在自然场景的表征上更具立体感，进而增强了用户的自然感知能力。

由于深度图获取的难度大、精度差、价格高，传统的多视点数据采集***大都是基于纹理相机的。2008年以前没有深度相机，人们通过立体匹配等估计方法间接地获取场景深度。这些方法不仅计算复杂度高难以实时，而且复杂场景下对于遮挡、纹理重复等区域的匹配结果不准确。2011年微软推出的光编码深度相机Kinect打破了这一格局。它给出了一种实时的场景深度图像提取方法；并且以低廉的价格和可开发性吸引着越来越多的计算机视觉研发人员。随着Kinect深度相机的广泛推广，使基于多深度的多视点视频研究和应用成为可能，并将具有巨大的发展和应用前景。

然而当多台Kinect同时工作在同一场景下时，由于不同红外投影机发射的散斑在空间内叠加，使每台Kinect在匹配时受到来自其它深度相机信号的干扰，无法区分自身的投影散斑，导致深度计算出现错误，从而严重地影响了深度图的进一步应用。这也是目前正在使用的光编码深度相机面临的致命问题。

研究人员在多光编码深度相机的干扰消除上尝试了许多方法。理论上，时分复用与频分复用都可以用来解决信号间干扰，但对于多光编码深度相机并不适用。时分复用需要严格的同步机制，很难被应用在大规模的采集***中，而且对于运动场景的捕捉具有很大的困难；频分复用需要对不同的深度相机进行不同的频率定制，这很难在有限的红外频段下实现。基于结构光及多视点立体的平面扫描方法可以有效地减小多光编码深度相机间的干扰。通过考虑投影机与相机及相机与相机间的光强度相关性，该方法可以恢复任意视点下散斑重叠区域的深度信息，获得无干扰的深度图。但是由于相机约束条件的限制，在某些遮挡情况下被重建物体的形状会产生畸变。被遮挡处的物体深度与背景深度混淆，导致深度提取出现错误。基于以上分析，现有方法或多或少都存在一些不足。

发明内容

本发明的目的是为了解决现有技术的不足，提出一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，目的在于消除多个光编码深度相机间的干扰，同时避免因相机约束条件所导致的被遮挡物体深度与背景深度混淆的问题，可以在多深度相机同时工作的情况下，获得准确的场景深度信息。

一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，包括如下步骤：

(1)将某独立相机视角下的拍摄空间划分为若干深度测试平面；

(2)在某一确定的测试平面下，将该相机成像平面中的某一待测像素点重投影到各投影机的视点下；

(3)分别在各重投影像素点周围取邻域，估算这些邻域的线性组合与相机成像平面中待测像素点邻域相等时的线性权值；

(4)利用已求出的线性权值，计算重投影像素点邻域的线性组合与待测像素点邻域的相似度；

(5)为抵消干扰的影响，遍历所有测试平面，以具有最高相似度的深度为当前待测像素点的深度；

(6)遍历整个相机的成像平面，获得该深度相机视角下的无干扰的深度图。

优选地，所述步骤1)中，深度测试平面与该独立相机的成像平面平行。

优选地，所述步骤2)中，各投影机与相机事先已标定完成。

优选地，所述步骤3)中，利用最小二乘拟合的方法计算各线性权值系数。

优选地，所述步骤4)中，利用去均值互相关准则计算二者的邻域相似性。

本发明的优点在于：

(1)本方法实现的基于独立深度相机视角下空间采样的深度估计，可以正常提取场景的深度信息；

(2)本方法可以去除相机约束条件，避免因被遮挡物体深度与背景深度混淆而产生的深度计算错误；

(3)本方法可利用多组投影散斑获得高质量、高精度的场景深度图像，适用于精确的三维场景重建技术；

(4)本方法中多光编码深度相机间无需通信，降低了计算成本。

附图说明

图1是本发明的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法的原理示意图；

图2是本发明的一种实施例的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法中左相机拍摄到的场景图像；

图3是本发明的一种实施例的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法中某待测像素点在所有深度测试平面下的相似度曲线；

图4是本发明的一种实施例的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法中左相机生成的无干扰的深度图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明是一种基于独立相机视角下空间采样的多光编码相机的深度提取方法：首先将某独立相机视角下的拍摄空间划分为与深度成像平面平行的若干测试平面；其次，依据已知测试平面，将相机中待测像素点重投影到各投影机视点下。通过比较待测像素点邻域与各重投影像素点邻域线性组合的相似度，估计出待测像素点的深度值。其中，以具有最高相似度的深度作为当前待测像素点的深度值，而相似度的计算则采用去均值互相关的方式进行。最后，遍历相机成像平面的所有像素，获得该独立相机视角下的无干扰的深度图。具体实现步骤如下：

步骤一，对拍摄空间进行采样：

假设场景中包含M个红外投影机P₁P₂…P_M及N个相机C₁C₂…C_N。以某独立相机C_i为例，i∈{1,2,…,N}，将该视角下的拍摄空间划分为与其深度成像平面平行的若干测试平面Z₁Z₂…Z_L，其中Z₁距离相机位置最近，Z_L距离相机位置最远，并且这L个深度测试平面按等间隔的顺序排列，如图1所示。

步骤二，依据某一确定的测试平面，将待测像素点重投影到各个投影机视角：

取深度值为Z_h的测试平面并给定相机C_i成像平面上的待测像素点x，h∈{1,2,…,L}。由于各投影机和相机事先已标定完成，它们各自的投影矩阵已知。记第j台投影机的投影矩阵为

第i台相机的投影矩阵为

利用这些已知的投影矩阵，可以将像素点x分别重投影到投影机P₁P₂…P_M视角下。具体的重投影过程分为如下两步：

(1)将x重投影到深度测试平面Z_h

假设X是待测像素点x重投影到深度测试平面Z_h上的空间点的行向量坐标。由相机空间与场景空间的几何投影关系，可以得到空间点X与待测像素点x坐标间的关系(x同样以行向量坐标表示)：

其中：T表示对当前坐标向量进行转置，

表示对矩阵

取逆，通过此公式可以计算出空间点X的坐标。

(2)将深度测试平面Z_h上的点投影到各投影机视角

根据已知的投影机投影矩阵，可以将步骤二(1)中获得的空间点X投影到各个投影机视角下。假设

是X映射到第j台投影机视角的投影点，可以得到：

通过上述公式，可以获得在测试平面Z_h下，深度相机中待测点x重投影到各投影机视角下的像素点的具***置。

步骤三，取像素点周围邻域，估算各投影机内重投影点的线性加权系数：

取待测点x及重投影点周围的邻域，分别记为

及

由于本方法不需要考虑相机约束条件，通过相机直接拍摄到的邻域

可以利用各重投影像素点邻域

的线性组合估计得到，即

其中，

是对

的估计，α_j表示第j台投影机内重投影像素点邻域的加权系数，其值依赖于当前所选定的深度测试平面及待测物体表面取向等因素。注意到对于只被某些投影机所投影的区域来说，该公式同样适用。通过这种方式，可以很好地避免前景物体亮度与背景亮度混淆的问题，消除相机约束条件所带来的歧义性。

实际上，由于α_j未知，使得对

的估计变得十分复杂。这里，采用最小二乘拟合的方法计算α_j的取值：

其中，

表示对α_j取值的估计。该拟合问题可以通过求广义逆的方式解决。

步骤四，计算重投影像素点邻域的线性组合与待测像素点邻域的相似度：

依据步骤三，首先借助

得到在深度测试平面Z_h下，各重投影像素点邻域的最佳线性组合即

其次，利用去均值互相关准则(the mean-removed cross correlation(MRCC))计算

与

之间的相似程度，计算方式如下：

其中，

与

分别代表邻域

与

的平均亮度，将L(Z_h)作为判断Z_h是否为待测像素点x真实深度的依据。

步骤五，逐个扫描所有测试平面，获得深度相机内待测像素点的深度值：

为了消除干扰的影响，遍历所有的测试平面，以具有最高相似度的深度作为相机C_i中待测像素点x的深度值，即：

Z_d＝argmax_h∈L{L(Z_h)}

步骤六，遍历整个相机的成像平面，获得该相机视角下的深度图：

为了获得相机C_i视角下的深度图，需要遍历整个相机成像平面上的像素点，对每一个待测像素点依次重复步骤二到步骤五的操作并将所估算出的深度结果存储起来。最后，通过线性变换将求得的深度值转换为灰度值并生成相机C_i的深度图。

实施例

以下将结合附图，对本发明的一个实施例进行进一步详细说明。该实施例中，利用POV-Ray仿真软件在合成场景前摆放两台投影机与两台相机，它们的图像分辨率均为640*480。每台投影机均被放置在其所属相机左侧7.2cm处，这样的一组投影机相机组合构成一个光编码深度相机。为了简便，将两台光编码深度相机放置在同一水平线上并使它们平行地拍摄场景物体，同时设置这两台光编码深度相机之间的基线距离为25cm。

步骤一，对拍摄空间进行采样：

在具体实施过程中，两台投影机向场景中投射随机、时不变的散斑模板，而两台相机则同时接收被干扰散斑覆盖的场景物体。以左光编码深度相机为例，其相机拍摄到的场景如图2所示。将该相机视角下的拍摄空间划分为与其深度成像平面平行的250个测试平面Z₁Z₂…Z₂₅₀，其中Z₁距离相机为30cm，Z₂₅₀距离相机位置为55cm，并且这250个深度测试平面按0.1cm精度等间隔的排列。

步骤二，依据某一确定的测试平面，将待测像素点重投影到各个投影机视角：

由于两台光编码深度相机事先已通过软件标定完成，它们各自包含的投影机及相机的投影矩阵已知。在软件中，规定仿真投影机与相机的测量单位为unit(1unit＝5cm)，并且它们的焦距均被设置为0.2units(即1cm)。此外，为了对像素坐标进行转换，规定1unit＝3200pixels。

给定左相机成像平面上的某一待测像素点(250,90)(以像素为单位)并选取深度值为Z₁的测试平面。首先通过重投影公式将待测像素点重投影到该深度测试平面下，得到重投影点的3D坐标为(-6.89，7.11，30.22)(以unit为单位)。其次，将该3D坐标分别映射到两台投影机的视角下，得到左投影机的投影点坐标为(280，90)(以像素为单位)，右投影机的投影点坐标为(153，90)(以像素为单位)。这样便得到在测试平面Z₁下，左相机中待测像素点(250,90)重投影到两台投影机视角下的重投影像素点的具***置。

步骤三，取像素点周围邻域，估算各投影机内重投影点的线性加权系数：

分别提取左相机中待测像素点及其两个重投影像素点周围的邻域(分别记为I_C、

)，邻域大小设置为11*11。根据待测点邻域与重投影点邻域线性组合的关系，有

利用最小二乘拟合的方法，可以进一步估算出α₁与α₂的取值，分别记为

和

步骤四，计算重投影像素点邻域的线性组合与待测像素点邻域的相似度：

依据步骤三中求得的

与

的值，得到在深度测试平面Z₁下，两重投影像素点邻域的最佳线性组合利用去均值互相关准则(MRCC)计算

与I_C之间的相似程度，将结果记为L(Z₁)并存储在内存中。L(Z₁)的取值将作为判断Z₁是否为待测像素点(250,90)真实深度的依据。

步骤五，逐个扫描所有测试平面，获得深度相机内待测像素点的深度值：

遍历所有250个深度测试平面，以具有最高MRCC相似度的深度作为待测像素点(250,90)的深度值。图3给出了在该待测点下，所有250个深度测试平面的相似度曲线。可以看出，深度平面Z₂具有最高相似度值，故选取Z₂作为像素点(250,90)的最终深度值。

步骤六，遍历整个相机的成像平面，获得该相机视角下的深度图：

对左相机图像平面内每一个待测像素点依次重复步骤二到步骤五的操作并将所估算出的深度结果存储起来。通过线性变换将求得的深度值转换为灰度值并生成无干扰的深度图，如图4所示。

Claims (7)

1.一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，包括如下步骤：

(1)将某独立相机视角下的拍摄空间划分为若干深度测试平面；

(2)在某一确定的测试平面下，将该相机成像平面中的某一待测像素点重投影到各投影机的视点下；

具体包括：

取深度测试平面Z_h并给定相机C_i成像平面上的待测像素点x，h∈{1,2,…,L}，设各投影机和相机已标定完成，各自的投影矩阵已知，记第j台投影机的投影矩阵为

第i台相机的投影矩阵为

将像素点x分别重投影到投影机P₁P₂…P_M视角下，具体的重投影过程分为如下两步：

(1)将x重投影到深度测试平面Z_h

假设X是待测像素点x重投影到深度测试平面Z_h上的空间点，由相机空间与场景空间的几何投影关系，得到空间点X与待测像素点x坐标间的关系：

其中：T表示对当前坐标向量进行转置，

表示对矩阵

取逆；

通过上式计算出空间点X的坐标；

(2)将深度测试平面Z_h上的点投影到各投影机视角

根据已知的投影机投影矩阵，将(1)中获得的空间点X投影到各个投影机视角下，假设

是X映射到第j台投影机视角的投影点，其坐标记为

得到：

通过上式，获得在测试平面Z_h下，深度相机中待测点x重投影到各投影机视角下的像素点的具***置；

(3)分别在各重投影像素点周围取邻域，估算邻域的线性组合与相机成像平面中待测像素点邻域相等时的线性权值；

(4)利用已求出的线性权值，计算重投影像素点邻域的线性组合与待测像素点邻域的相似度；

(5)遍历所有测试平面，设置最高相似度的深度为当前待测像素点的深度；

(6)遍历整个相机的成像平面，获得该深度相机视角下的无干扰的深度图。

2.根据权利要求1所述的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，所述的步骤(1)中深度测试平面与该独立相机的成像平面平行，具体的：

假设场景中包含M个红外投影机P₁P₂…P_M及N个相机C₁C₂…C_N，对某个独立相机C_i，i∈{1,2,…,N}，将该视角下的拍摄空间划分为与其深度成像平面平行的若干测试平面Z₁Z₂…Z_L，其中Z₁距离相机位置最近，Z_L距离相机位置最远，并且这L个深度测试平面按等间隔的顺序排列。

3.根据权利要求1所述的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，所述的步骤(3)中，利用最小二乘拟合的方法计算各线性权值系数。

4.根据权利要求3所述的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，所述的利用最小二乘拟合的方法计算各线性权值系数具体为：

取待测点x及重投影点

周围的邻域，分别记为

及

不考虑相机约束条件，通过相机直接拍摄到的邻域

利用各重投影像素点邻域

的线性组合估计得到，即

其中，

是对

的估计，α_j表示第j台投影机内重投影像素点邻域的加权系数；

采用最小二乘拟合的方法计算α_j的取值：

其中，

表示对α_j取值的估计。

5.根据权利要求1所述的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，所述的步骤(4)采用去均值互相关准则计算重投影像素点邻域的线性组合与待测像素点邻域的相似度。

6.根据权利要求5所述的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，所述的步骤(4)具体为：

根据

得到在深度测试平面Z_h下，各重投影像素点邻域的最佳线性组合

即

其中，

表示对α_j取值的估计，α_j表示第j台投影机内重投影像素点邻域的加权系数；待测点x及重投影点

周围的邻域，分别记为

及

其次，利用去均值互相关准则计算

与

之间的相似程度，计算方式如下：

其中，

与

分别代表邻域

与的平均亮度，将L(Z_h)作为判断Z_h是否为待测像素点x真实深度的依据。

7.根据权利要求1所述的一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，所述的步骤(5)中，遍历所有的测试平面，以具有最高相似度的深度作为相机C_i中待测像素点x的深度值，即：

Z_d＝argmax_h∈L{L(Z_h)}

其中：Z_d表示令L(Z_h)取得最大值时的深度值，也即待测像素点x的最终深度值；深度测试平面为Z_h。

Images