CN108230381A - 一种结合空间传播和像素级优化的多视图立体视觉方法 - Google Patents

Abstract

本发明公开了一种结合空间传播和像素级优化的多视图立体视觉方法，属于计算机视觉领域，包括：根据场景的多张图片得到相机参数，根据相机参数提取每一张图片的深度图，利用空间传播更新每一张图片的深度图；对更新后的深度图迭代地进行像素级优化和过滤，得到处理后图片；对处理后图片中的每个像素点并行的进行深度图融合，得到场景的三维点云。本发明在初始深度图提取中利用空间传播减少了图像间的冗余计算从而提高了效率，另外通过迭代地深度图优化和过滤减少了噪声点的同时提高了深度图的完整度，最终高效的深度图融合提高效率的同时保证了点云的稠密度。

Description

一种结合空间传播和像素级优化的多视图立体视觉方法

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种结合空间传播和像素级优化的多视图立体视觉方法。

背景技术

过去的几十年，从多幅图像重建场景的稠密三维模型一直是计算机视觉领域的一个热门话题。这个问题的通用技术流程已经很成熟：输入某一场景的一组图片，首先通过标定或运动恢复结构(Structure From Motion，SfM)来得到相机参数；然后使用估计的相机参数来获得场景的稠密三维点云，该技术被称为多视角立体视觉(Multi-View Stereo，MVS)。由此产生的稠密点云可以用于许多领域：分类，基于图像的渲染，定位，考古研究，艺术创作等等。虽然MVS算法已经研究了几十年，但是在实际应用中仍然还有很多问题需要解决。

MVS算法的一个基本问题是稠密像素匹配，即在多个图像之间建立密集的像素对应关系。然而，在实际的处理中几乎不可能得到图像之间完全准确的稠密匹配，主要是由于图像间的各种不确定性：光线和分辨率的变化，遮挡，场景变化，图像失真，相机失准等等。

目前现有技术存在一些问题：(1)存在一些冗余的计算，浪费了很多时间；(2)结果中仍然存在遮挡点，无纹理区域仍然没有得到很好地重建，导致最终得到的三维点云不完整；(3)在深度图提取和优化阶段采用了相同的深度更新策略，导致最终得到的三维点云精确度降低。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种结合空间传播和像素级优化的多视图立体视觉方法，由此解决现有技术存在效率低、最终得到的三维点云不完整且精确度低的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种结合空间传播和像素级优化的多视图立体视觉方法，包括：

(1)根据场景的多张图片得到相机参数，根据相机参数提取每一张图片的深度图，利用空间传播更新每一张图片的深度图；

(2)对更新后的深度图迭代地进行像素级优化和过滤，得到处理后图片；

(3)对处理后图片中的每个像素点并行的进行深度图融合，得到场景的三维点云。

进一步地，步骤(1)包括：

(1-1)将场景的多张图片中的任意一张图片作为参考图片，从场景的多张图片中获取参考图片的邻居图片，通过运动恢复结构或者相机标定得到参考图片的相机参数和邻居图片的相机参数；

(1-2)根据参考图片的相机参数和邻居图片的相机参数，用经典的基于深度图的多视图几何方法提取参考图片的深度图和邻居图片的深度图，并得到参考图片的深度图中的像素点与参考图片的深度图中的像素点在邻居图片的深度图中的投影点之间的三角夹角和入射夹角；

(1-3)当参考图片的深度图中的像素点与邻居图片的深度图中的投影点之间的第一光度一致性满足第一光度一致性约束，且三角夹角和入射夹角满足几何约束时，将参考图片的深度图中的像素点的深度和法向传播给邻居图片的深度图中的投影点，更新邻居图片的深度图；

(1-4)对于场景的多张图片中的每一张图片，重复步骤(1-1)-(1-3)，更新每一张图片的深度图。

进一步地，像素级优化的具体实现方式为：

从更新后的深度图中选取参考图片及其邻居图片，根据参考图片的像素点在邻居图片的投影点之间的投影关系，得到参考图片的像素点的深度调整步长与邻居图片的投影点的坐标移动距离之间的线性关系，根据线性关系自适应地得到参考图片的像素点的深度调整步长，利用深度调整步长使得投影点的坐标移动距离为单位像素，实现对邻居图片的像素级优化。

进一步地，过滤包括过滤不可靠点和过滤遮挡点。

进一步地，过滤不可靠点的具体实现方式为：

当进行像素级优化后的深度图中的参考图片的像素点和邻居图片的投影点之间满足第二光度一致性约束、几何约束和几何一致性约束的像素点的个数大于等于2时，此时，参考图片的像素点为可靠点，否则，参考图片的像素点为不可靠点，过滤掉不可靠点。

进一步地，过滤遮挡点的具体实现方式为：

当对于可靠点，当可靠点在邻居图片中的可靠投影点满足过滤条件时，过滤该可靠点，所述过滤条件为：

(d(x_i)-d^p(x_i))/d(x_i)＞0.02

其中，d(x_i)为可靠投影点的深度，d^p(x_i)为可靠点传播给可靠投影点的深度。

进一步地，所述第一光度一致性约束为：

C_pho(x_r，x₁)＜C_τ1，C_pho(x_r，x₁)＜C_min(x₁)

所述第二光度一致性约束为：C_pho-geo(x_r，x_i)＜C_τ2

其中，C_pho(x_r，x₁)表示参考图片的深度图中的像素点与邻居图片的深度图中的投影点之间的第一光度一致性，C_τ1为第一光度一致性阈值，C_min(x₁)为投影点与邻居图片的邻居图片中的像素点之间的最小光度一致性，C_pho-geo(x_r，x_i)表示进行像素级优化后的深度图中的参考图片的像素点和邻居图片的投影点之间的第二光度一致性，C_τ2为第二光度一致性阈值。

进一步地，几何约束为：3°＜三角夹角＜180°，0°＜入射夹角＜90°。

进一步地，几何一致性约束包括深度一致性约束和法向一致性约束，所述法向一致性约束为：n(x_i)·n^p(x_i)＞0.975，所述深度一致性约束为：其中，n(x_i)为可靠投影点的法向，n^p(x_i)为可靠点传播给可靠投影点的法向，为投影误差，d(x_i)为可靠投影点的深度，d^p(x_i)为可靠点传播给可靠投影点的深度。

进一步地，深度图融合的具体实现方式为：

当处理后图片的像素点是可靠点时，将可靠点和邻居图像的可靠投影点进行融合，对于需要融合的可靠点和可靠投影点，根据可靠点和可靠投影点的深度投影到三维空间中得到三维点，将三维点的位置、法向和颜色的平均值作为场景的三维点云的位置、法向和颜色。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明在初始深度图更新中利用空间传播减少了图像间的冗余计算从而提高了效率，另外通过迭代地深度图优化和过滤减少了噪声点的同时提高了深度图的完整度，最终高效的深度图融合提高效率的同时保证了点云的稠密度。

(2)现有技术存在一些冗余的计算。对每张图片单独提取深度图，这样相同的3D点在不同的图像上会进行重复估计深度和法向，浪费了很多时间。本发明将一个图像上的满足光度一致性约束和满足几何约束时的好的深度-法向信息传播给邻居图像。本发明把空间传播的思想融入到深度图提取中，把好的深度和法向从一张图像传给到邻居图像，减少重复计算，就能加快整体的收敛时间。

(3)现有技术的结果中仍然存在遮挡点。另外，无纹理区域仍然没有得到很好地重建。本发明过滤不可靠点和遮挡点。然后交替地进行深度图的优化和过滤。在优化中，优化现有好的点，并通过类似于增加平滑项的方法来扩展新区域，如无纹理区域。在进行几次迭代最后，可以得到更准确和完整的结果。

(4)现有技术在深度图提取和优化阶段采用了相同的深度更新策略，导致最终得到的三维点云精确度降低。本发明发现经过深度图提取之后的深度和法线接近最优，因此应该在局部范围内用一个更精确的步长来进行深度的调整。因此，本发明提出了一个更准确的像素级优化，其基本思想是当前深度的调整步长要对应于图像平面中的像素级差异。

附图说明

图1为本发明实施例提供的总体流程图；

图2为本发明实施例提供的原理示意图；

图3为本发明实施例提供的像素级局部深度调整策略的简要示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1展示了本发明的总体流程图。该方法涉及到相机参数估计，结合空间传播的深度图提取，一种像素级局部深度调整策略，过滤不可靠点和遮挡点，迭代地优化和过滤策略以及高效并行的深度图融合等技术，结合空间传播的思想提高了初始深度图提取的效率，后续迭代的像素级优化和过滤提高了深度图的精度和完整性，最后并行的深度图融合在提高效率的同时保证了点云的稠密度，最终得到精确、稠密、完整的三维点云。

其具体实施方式如下：

(1)根据场景的多张图片得到相机参数，根据相机参数提取每一张图片的深度图，利用空间传播更新每一张图片的深度图；

(2)对更新后的深度图迭代地进行像素级优化和过滤，得到处理后图片；

(3)对处理后图片中的每个像素点并行的进行深度图融合，得到场景的三维点云。

在本发明的实施例中，如图2所示，所述步骤(1)具体包括：

(1-1)将场景的多张图片中的任意一张图片作为参考图片C_r，从场景的多张图片中获取参考图片的邻居图片C₁，C₂，C₃，通过运动恢复结构或者相机标定得到参考图片的相机参数和邻居图片的相机参数；

(1-2)根据参考图片的相机参数和邻居图片的相机参数，用经典的基于深度图的多视图几何方法提取参考图片的深度图和邻居图片的深度图，并得到参考图片的深度图中的像素点与参考图片的深度图中的像素点在邻居图片的深度图中的投影点之间的三角夹角和入射夹角；

具体地，用x_r表示像素点r在参考图像的深度图中的坐标，给定深度d(x_r)，x_r可以反投影到三维空间中得到一个点p_r，然后p_r被投影到x_r的一个邻居视图的深度图I₁∈N(r)(这里以C₁为例)的x₁处，x_r传播给x₁的深度d^p(x₁)和法线n^p(x₁)可以表示为：d^p(x₁)＝P¹d(x_r)K^-1x_r，n^p(x₁)＝R¹n(x_r)。同时可以得到三角夹角和入射夹角其中c¹＝-(R¹)^Tt¹为I¹的相机光心坐标。P¹，R¹，t¹分别表示参考图像C_r的相机坐标系到邻居图像C₁的相机坐标系的投影变换矩阵、旋转变换矩阵和平移变换矩阵。K为参考图像C_r的相机内参矩阵。为p_r所在面片的法向向量在I¹的相机坐标系下的坐标。

(1-3)当参考图片的深度图中的像素点与邻居图片的深度图中的投影点之间的第一光度一致性满足第一光度一致性约束，且三角夹角和入射夹角满足几何约束时，将参考图片的深度图中的像素点的深度和法向传播给邻居图片的深度图中的投影点，更新邻居图片的深度图；

第一光度一致性约束为：

C_pho(x_r，x₁)＜C_τ1，C_pho(x_r，x₁)＜C_min(x₁)

其中，C_pho(x_r，x₁)表示参考图片的深度图中的像素点与邻居图片的深度图中的投影点之间的第一光度一致性，C_τ1为第一光度一致性阈值，C_τ1为0.3，C_min(x₁)为投影点与邻居图片的邻居图片中的像素点之间的最小光度一致性，C_min(x₁)初始化为一个较大的值100。

几何约束为：3°＜三角夹角＜180°，0°＜入射夹角＜90°。

(1-4)对于场景的多张图片中的每一张图片，重复步骤(1-1)-(1-3)，更新每一张图片的深度图。

在图2中，C₁，C₃上的x₁，x₃满足上面的两个约束条件，将被传播，而C₂上的x₂不满足条件，将不被传播。

在本发明实施例中，所述步骤(2)具体包括：

(2-1)从更新后的深度图中选取参考图片及其邻居图片，根据参考图片的像素点在邻居图片的投影点之间的投影关系，得到参考图片的像素点的深度调整步长与邻居图片的投影点的坐标移动距离之间的线性关系，根据线性关系自适应地得到参考图片的像素点的深度调整步长，利用深度调整步长使得投影点的坐标移动距离为单位像素，实现对邻居图片的像素级优化。图3是一个简单的示意图，当Δx₁很小时，设为1个像素，相应的Δd(x_r)和Δx₁之间近似满足一个线性关系，即Δd(x_r)＝ωΔx₁＝ω。其中ω为线性系数。

(2-2)过滤包括过滤不可靠点和过滤遮挡点。

进一步地，过滤不可靠点的具体实现方式为：

当进行像素级优化后的深度图中的参考图片的像素点和邻居图片的投影点之间满足第二光度一致性约束、几何约束和几何一致性约束的像素点的个数大于等于2时，此时，参考图片的像素点为可靠点，否则，参考图片的像素点为不可靠点，过滤掉不可靠点。

进一步地，过滤遮挡点的具体实现方式为：

当对于可靠点，当可靠点在邻居图片中的可靠投影点满足过滤条件时，过滤该可靠点，所述过滤条件为：

(d(x_i)-d^p(x_i))/d(x_i)＞0.02

其中，d(x_i)为可靠投影点的深度，d^p(x_i)为可靠点传播给可靠投影点的深度。

其中，第二光度一致性约束为：C_pho-geo(x_r，x_i)＜C_τ2，其中，C_pho-geo(x_r，x_i)表示进行像素级优化后的深度图中的参考图片的像素点和邻居图片的投影点之间的第二光度一致性，C_τ2为第二光度一致性阈值，C_τ2为0.5。几何约束为：3°＜三角夹角＜180°，0°＜入射夹角＜90°。几何一致性约束包括深度一致性约束和法向一致性约束，法向一致性约束为：

n(x_i)·n^p(x_i)＞0.975，深度-致性约束为：

其中，n(x_i)为可靠投影点的法向，n^p(x_i)为可靠点传播给可靠投影点的法向，为投影误差，d(x_i)为可靠投影点的深度，d^p(x_i)为可靠点传播给可靠投影点的深度。

通过过滤不可靠点和遮挡点，我们发现这些过滤掉的点大部分位于低纹理区域或者遮挡区域，而这些区域可以通过他们的邻居图片拓展出来，因此对于这些过滤的像素点，在下一步优化步骤中加强了平滑项。

(2-3)迭代循环执行(2-1)和(2-2)三次。

在本发明的实施例中，所述步骤(3)具体包括：

(3-1)深度图融合具体为：当处理后图片的像素点是可靠点时，将可靠点和邻居图像的可靠投影点进行融合，对于需要融合的可靠点和可靠投影点，根据可靠点和可靠投影点的深度投影到三维空间中得到三维点，将三维点的位置、法向和颜色的平均值作为场景的三维点云的位置、法向和颜色。

(3-2)对处理后图片中的每个像素点并行的进行深度图融合，得到场景的三维点云。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种结合空间传播和像素级优化的多视图立体视觉方法，其特征在于，包括：

(1)根据场景的多张图片得到相机参数，根据相机参数提取每一张图片的深度图，利用空间传播更新每一张图片的深度图；

(2)对更新后的深度图迭代地进行像素级优化和过滤，得到处理后图片；

(3)对处理后图片中的每个像素点并行的进行深度图融合，得到场景的三维点云。

2.如权利要求1所述的一种结合空间传播和像素级优化的多视图立体视觉方法，其特征在于，所述步骤(1)包括：

(1-1)将场景的多张图片中的任意一张图片作为参考图片，从场景的多张图片中获取参考图片的邻居图片，通过运动恢复结构或者相机标定得到参考图片的相机参数和邻居图片的相机参数；

(1-2)根据参考图片的相机参数和邻居图片的相机参数，用经典的基于深度图的多视图几何方法提取参考图片的深度图和邻居图片的深度图，并得到参考图片的深度图中的像素点与参考图片的深度图中的像素点在邻居图片的深度图中的投影点之间的三角夹角和入射夹角；

(1-3)当参考图片的深度图中的像素点与邻居图片的深度图中的投影点之间的第一光度一致性满足第一光度一致性约束，且三角夹角和入射夹角满足几何约束时，将参考图片的深度图中的像素点的深度和法向传播给邻居图片的深度图中的投影点，更新邻居图片的深度图；

(1-4)对于场景的多张图片中的每一张图片，重复步骤(1-1)-(1-3)，更新每一张图片的深度图。

3.如权利要求1所述的一种结合空间传播和像素级优化的多视图立体视觉方法，其特征在于，所述像素级优化的具体实现方式为：

从更新后的深度图中选取参考图片及其邻居图片，根据参考图片的像素点在邻居图片的投影点之间的投影关系，得到参考图片的像素点的深度调整步长与邻居图片的投影点的坐标移动距离之间的线性关系，根据线性关系自适应地得到参考图片的像素点的深度调整步长，利用深度调整步长使得投影点的坐标移动距离为单位像素，实现对邻居图片的像素级优化。

4.如权利要求1所述的一种结合空间传播和像素级优化的多视图立体视觉方法，其特征在于，所述过滤包括过滤不可靠点和过滤遮挡点。

5.如权利要求4所述的一种结合空间传播和像素级优化的多视图立体视觉方法，其特征在于，所述过滤不可靠点的具体实现方式为：

当进行像素级优化后的深度图中的参考图片的像素点和邻居图片的投影点之间满足第二光度一致性约束、几何约束和几何一致性约束的像素点的个数大于等于2时，此时，参考图片的像素点为可靠点，否则，参考图片的像素点为不可靠点，过滤掉不可靠点。

6.如权利要求5所述的一种结合空间传播和像素级优化的多视图立体视觉方法，其特征在于，所述过滤遮挡点的具体实现方式为：

当对于可靠点，当可靠点在邻居图片中的可靠投影点满足过滤条件时，过滤该可靠点，所述过滤条件为：

(d(x_i)-d^p(x_i))/d(x_i)＞0.02

其中，d(x_i)为可靠投影点的深度，d^p(x_i)为可靠点传播给可靠投影点的深度。

7.如权利要求5或6所述的一种结合空间传播和像素级优化的多视图立体视觉方法，其特征在于，所述第一光度一致性约束为：

C_pho(x_r，x₁)＜C_τ1，C_pho(x_r，x₁)＜C_min(x₁)

所述第二光度一致性约束为：C_pho-geo(x_r，x_i)＜C_τ2

其中，C_pho(x_r，x₁)表示参考图片的深度图中的像素点与邻居图片的深度图中的投影点之间的第一光度一致性，C_τ1为第一光度一致性阈值，C_min(x₁)为投影点与邻居图片的邻居图片中的像素点之间的最小光度一致性，C_pho-geo(x_r，x_i)表示进行像素级优化后的深度图中的参考图片的像素点和邻居图片的投影点之间的第二光度一致性，C_τ2为第二光度一致性阈值。

8.如权利要求2-6任一所述的一种结合空间传播和像素级优化的多视图立体视觉方法，其特征在于，所述几何约束为：3°＜三角夹角＜180°，0°＜入射夹角＜90°。

9.如权利要求5或6所述的一种结合空间传播和像素级优化的多视图立体视觉方法，其特征在于，所述几何一致性约束包括深度一致性约束和法向一致性约束，所述法向一致性约束为：n(x_i)·n^p(x_i)＞0.975，所述深度一致性约束为：其中，n(x_i)为可靠投影点的法向，n^p(x_i)为可靠点传播给可靠投影点的法向，为投影误差，d(x_i)为可靠投影点的深度，d^p(x_i)为可靠点传播给可靠投影点的深度。

10.如权利要求5或6所述的一种结合空间传播和像素级优化的多视图立体视觉方法，其特征在于，所述深度图融合的具体实现方式为：

当处理后图片的像素点是可靠点时，将可靠点和邻居图像的可靠投影点进行融合，对于需要融合的可靠点和可靠投影点，根据可靠点和可靠投影点的深度投影到三维空间中得到三维点，将三维点的位置、法向和颜色的平均值作为场景的三维点云的位置、法向和颜色。