CN107292956B - 一种基于曼哈顿假设的场景重建方法 - Google Patents

Abstract

本发明公开一种基于曼哈顿假设的场景重建方法。该方法基于曼哈顿假设的方案给出了精确的运动估计；首先估计记录帧的所有3D点的法线方向；然后通过PCA估计出三个主要正交平面的法向量方向。由于是通过所有深度点来估计平面的法向量，随机噪声被极大的滤除，使得估计的法向量十分准确；通过每个像素点在三维坐标中的位置进一步确定主平面坐标；最后，通过由平面坐标和法向量获取的变换矩阵来估计相机的姿态，并利用每一帧图像的相机姿态拼接出场景三维模型。由于本发明的平面信息是由大量点计算得到，因此比只有单个点的特征点方法更具有鲁棒性。

Description

一种基于曼哈顿假设的场景重建方法

技术领域

本发明属于计算机视觉领域，尤其针对场景三维重建，具体涉及一种基于曼哈顿假设的场景重建方法。

背景技术

近年来，随着深度感知技术的发展，实现3D室内场景的实时3D场景扫描成为可能。业界提出了几个***，并产生了有希望的结果。另一方面，随着增强现实(AR)成为学术和行业的热门话题，迫切需要实时3D扫描，因为我们真实场景的3D几何的复原是使虚拟对象无缝对齐的关键。在微软的头戴显示器Hololens中，许多基于AR的应用程序需要扫描当前房间的3D几何。

使用深度相机，直接记录3D信息，实现3D扫描的关键是估计每两个连续输入帧之间的相机运动。首先是使用迭代最近点(ICP)来估计由两个深度帧获得的点云之间的对应关系。然后，两点云可以通过估计的相机运动合并。

然而，在基于ICP的方法中，需要丰富的纹理特征，通过场景中的几何特征，鲁棒地估计正确的相机运动。对于3D空间中的两个纯2D平面，最接近的点可能不是正确的对应关系。在这种情况下，ICP可能会产生错误的相机运动。此外，ICP需要大量采样点，需要迭代才能收敛到最终的对应关系，这意味着相对较重的计算成本。即使一些基于ICP的***使用GPU实现实时性能，但是仍然不适用于许多实际应用，因为GPU可能被其他任务占用，从而导致基于ICP的***无法及时计算。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于曼哈顿假设的场景重建方法。

在对室内场景进行三维重建时，由于大部分的场景结构符合曼哈顿假设，即场景是由多个互相正交的平面组成，如天花板，墙面，地板。当深度相机采集的图像序列包含足够的正交平面时，可能存在大的平面区域，因为平面通常具有一致的颜色(如墙面，天花板等)，所以只能提取很少的特征。在这种情况下，基于曼哈顿假设的方案给出了精确的运动估计。首先估计记录帧的所有3D点的法线方向；然后通过主成分分析(PCA)估计出三个主要正交平面(如墙壁，天花板，地板等场景中大的平面区域)的法向量方向。由于是通过所有深度点来估计平面的法向量，随机噪声被极大的滤除，使得估计的法向量十分准确；通过每个像素点在三维坐标中的位置进一步确定主平面坐标；最后，我们通过由平面坐标和法向量获取的变换矩阵来估计相机的姿态，并利用每一帧图像的相机姿态拼接出场景三维模型。

本发明方法包括以下步骤：

步骤(1)、通过深度相机拍摄采集获得室内场景的图像序列，计算图像中每个像素点法向量，具体是：

首先，将图像序列中记录帧的所有像素点通过深度相机的相机模型转换为3D坐标；然后通过某像素点的相邻4个像素点的3D坐标计算获得该点法向量。

D₁(u,v)＝D(u+k,v)-D(u-k,v) (1)

D₂(u,v)＝D(u,v+k)-D(u,v-k) (2)

其中，k是表示两个像素点之间距离，为可调整参数；D₁、D₂为经过像素点D(u,v)的向量；

将D₁、D₂带入公式(3)中，获得D(u,v)的法向量n(u,v)；

n(u,v)＝ψ(D₁(u,v)×D₂(u,v)) (3)

其中，×是交叉乘积，Ψ是将法线转换为单位向量的函数：ψ(normal)＝normal·||normal||^-1；

步骤(2)、通过建立球面坐标进行法向量统计，从所有像素点的法向量中提取出近似主平面法向量的法向量集合，具体是：

2.1单位球形坐标建立

将步骤(1)获得的法线n＝(x,y,z)转换成球坐标形式n＝(α,β,γ)，其中α是法线n和轴X之间的角度，β是法线n与轴线Y之间的角度，γ是法线n与轴线Z之间的角度。

2.2法向量统计

将单位球形坐标中的每个基细分为180个区间，即每个区间为1度范围；然后将三个分别属于每一个基的区间组合成一个容器，将每个法向量n存入其对应的容器中。

所述的基指代α,β,γ所在的坐标，即α,β,γ为0～180度；

2.3主法向量集合的提取

由于一帧图像中有大量属于某一主平面的像素点，因此该平面法向量对应的容器中法向量数量将远大于其他容器，故将包含法向量数量最多的容器中所有法向量设为第一个主平面的法向量集L₁；

根据主平面的法向量垂直关系，第二个主平面的法向量集L₂见公式(4)：

θ₁＜Θ(α1,α2)+Θ(β1,β2)+Θ(γ1,γ2)＜θ₂ (4)

其中Θ(a,b)＝cos(a)*cos(b)，θ₂＝π*100/180,θ₁＝π*80/180；

第三个主平面的法向量集L₃为同时距离L₁和L₂80°到100°的法向量集；

步骤(3)、主成分分析

将3个法向量集L₁、L₂、L₃中的所有法向量作为PCA的输入，然后PCA提取这些法向量中的主要方向，得到三个相互正交的特征向量，同时将这些向量设置为主平面的法向量n₁、n₂、n₃；其中PCA法输出的最小特征值所对应的特征向量为第一个主平面的法向量，反之最大特征值所对应的特征向量为第三个主平面的法向量。

步骤(4)、首先计算每个3D点在法向量n₁、n₂、n₃上的投影位置，然后利用投影位置提取主平面在法向量上的位置d₁,d₂,d₃,于是每个主平面可以表示成点法向量形式(n,d)，具体是：

4.1通过将深度相机光学中心设置为坐标原点，计算每个像素点3D坐标D(u,v)分别位于三个主平面法向量上的投影位置

i＝1,2,3。

4.2在理想状态，对于法向量为n_i的平面，平面距离相机光学中心的距离d等于平面上点在平面法向量上的投影位置，即D(u,v)·n_i＝d；但是由于深度相机本身噪声与精度的原因，平面上的部分点在平面法向量上的投影位置不等于平面距离相机光学中心的距离,故对所有每个像素点的投影位置使用一维均值漂移算法提取峰值，峰值peak所对应的投影位置正是主平面到相机光学中心的距离d。因此我们通过该步骤得到了三个主平面距离相机光学中心的距离d₁,d₂,d₃。

步骤(5)、通过之前得到的三个主平面的法向量与距离信息，计算相机姿态变换矩阵；并通过每一帧的相机姿态变换矩阵与所有像素的3D坐标进行场景的重建，具体是

第f帧图像到第g帧图像的相机姿态变换矩阵可以表示成如下形式：

其中R是大小为3×3的旋转矩阵，t是大小为3×1的平移向量。

将第一帧的摄像机坐标设置为全局坐标，即场景的世界坐标，使得帧f中的每个像素点3D坐标D_f(u,v)通过相机姿态变换矩阵还原到全局坐标中：

D_f'(u,v)＝T_1,2·T_2,3···T_f-1,f·D_f(u,v) (8)

将所有帧中还原到全局坐标后的像素点3D坐标D_f'(u,v)累加，得到场景的3D点云，并用OpenGL渲染最终得到场景重建后的三维模型。

本发明的有益效果是：

这种基于曼哈顿假设的平面方法，可以在几何和纹理特征较少的情况下重建室内场景且计算量小，这对于基于图像特征的方法和基于ICP的方法来说都是重要且具有挑战性的。本发明的主要思想是涉及曼哈顿假设，其通过建立单位球星坐标高效地估计主平面的法向量，并利用一维均值漂移算法快速且准确地计算得到相机光学中心的距离然后通过3个主平面的信息计算相机运动。由于本发明的平面信息是由大量点计算得到，因此比只有单个点的特征点方法更具有鲁棒性。

附图说明

图1为计算法线的平面模型；

图2为3D笛卡尔坐标系中的单位球体；

图3为l₁,l₂,l₃主轴正交图；

图4为本发明方法流程图。

具体实施方式

下面结合具体实施例对本发明作进一步的分析。

一种基于曼哈顿假设的场景重建方法，如图4所示包括以下步骤：

步骤(1)：通过深度相机采集获得室内场景的图像序列，计算图像中每个像素点法向量。

首先，将图像序列中记录帧的所有像素点通过深度相机的相机模型转换为3D坐标；然后通过某像素点的相邻4个像素点的3D坐标计算获得该点法向量。具体表现形式如图1，其中图1中O-UV是像素坐标系，O-XYZ是相机坐标系。

D₁(u,v)＝D(u+k,v)-D(u-k,v) (1)

D₂(u,v)＝D(u,v+k)-D(u,v-k) (2)

其中，k是表示两个像素之间距离，为可调整参数；D₁，D₂为经过像素点D(u,v)的向量，D(u，v)是像素坐标系(u，v)位置上像素点的D(u，v)的3D坐标。

将D₁，D₂带入公式(3)中，获得法向量

n(u,v)＝ψ(D₁(u,v)×D₂(u,v)) (3)

其中，×是交叉乘积，Ψ是将法线转换为单位向量的函数：ψ(normal)＝normal·||normal||^-1。

步骤(2)：通过建立球面坐标进行法向量统计，从所有像素点的法向量中提取出近似主平面法向量的法向量集合，该步骤的具体表现形式如图2。

2.1单位球形坐标建立

在所拍摄的图像中将有大量属于某一主平面(如墙壁)的点，这些点在步骤1中计算出的法向量方向非常相近，且都与该主平面法向量非常相近。同时，由于不规则物体和传感器本身产生的干扰和噪声，某一帧图像所有像素点计算出的法向量中将有大部分与主平面法向量方向不相近。所以在三维坐标的基础上建立单位球形坐标系。

将计算出的法线n＝(x,y,z)转换成球坐标形式n＝(α,β,γ)，其中α是法线n和轴X之间的角度，β是法线n与轴线Y之间的角度，γ是法线n与轴线Z之间的角度。

2.2法向量统计

首先将单位球形坐标中的每个基细分为180个区间，即每个区间为1度范围，其中此处的基指代α,β,γ所在的坐标，即α,β,γ为0～180度。然后将三个分别属于每一个基的区间组合成一个容器，容器总数量为三个基区间数量的乘积，即5832000，其中每一个容器分别存放属于其区间的法向量，例如某区间存放α在90°～91°，β在90°～91°，γ在90°～91°的法向量。最后将每个法向量n存入其对应的容器中。

2.3主法向量集合的提取

由于一帧图像中有大量属于某一主平面的像素点，因此该平面法向量对应的容器中法向量数量将远大于其他容器。于是本发明将包含最多法向量的容器中所有的法向量设置为第一个主平面的法向量集L₁，根据曼哈顿假设，图像中的主平面是正交关系，即两个主平面的法向量垂直。于是当我们将每一个容器看作一个向量，即将各个容器表示成其对应区间中值角度的向量l＝(α,β,γ)，例如将存放α在90°～91°，β在90°～91°，γ在90°～91°法向量的容器表示为向量l＝(90.5,90.5,90.5)。根据主平面的法向量垂直关系，我们可以判断出第二个主平面的法向量对应的容器L₂，其向量表示l₂与第一个主平面的l₁之间的角度约为90°。考虑到误差范围，我们将距离l₁ 80°到100°范围所有容器中包含最多法向量的容器中所有的法向量设置为第二个主平面的法向量集L₂，其中容器l₂的提取公式见公式(4).。

θ₁＜Θ(α1,α2)+Θ(β1,β2)+Θ(γ1,γ2)＜θ₂ (4)

其中Θ(a,b)＝cos(a)*cos(b)，θ₂＝π*100/180,θ₁＝π*80/180

最后在距离l₁和l₂80°到100°范围内的容器中中寻找l₃。并将l₃中所有的法向量设置为第三个主平面的法向量集L₃

步骤(3)：主成分分析

由于三个主平面的法向量是相互正交的，但仅通过计算3个法向量集L₁，L₂，L₃内法线的平均值来提取主平面的法向量将不能获得最精确的值，并且它们提取的向量互相之间很大概率上不是正交关系。故本发明利用主成分分析法(PCA)中特征向量的线性无关特性，选用PCA法来提取主平面法向量。

将3个法向量集L₁，L₂，L₃中的所有法线量作为PCA的输入，然后PCA将提取这些法向量中的主要方向。最后，我们得到三个相互正交的特征向量，并将这些向量设置为主平面的法向量n₁，n₂，n₃，其中PCA法输出的最小特征值所对应的特征向量为第一个主平面的法向量，反之最大特征值所对应的特征向量为第三个主平面的法向量。

步骤(4)：通过计算每个3D点在法向量n₁，n₂，n₃上的坐标提取主平面在法向量上的位置d₁,,d₂,d₃,于是每个主平面可以表示成点法向量形式(n,d)：

通过将深度相机光学中心设置为坐标原点，计算每个像素点3D坐标D(u,v)分别位于三个主平面法向量上的投影位置

i＝1,2,3；在理想状态，对于法向量为n_i的平面，平面距离摄像机光学中心的距离d等于平面上点在平面法向量上的投影位置，即D(u,v)·n_i＝d；但是由于深度相机本身噪声与精度的原因，平面上的部分点在平面法向量上的投影位置不等于平面距离相机光学中心的距离；故对所有每个像素点的投影位置使用一维均值漂移算法提取峰值，峰值peak所对应的投影位置正是主平面到相机光学中心的距离d。

图3中l₁，l₂，l₃分别为三个正交的主平面法向量，l₁轴上的曲线代表l₁轴上不同投影位置上3D点的数量，其中最高点peak所对应的投影位置正是主平面到相机光学中心的距离d。图3中也可以观察到一些较小的峰，它们表示含有少量样品的簇，并且它们也代表与主平面平行的小平面。然而，本发明只需要主平面的信息即可重建场景，因此通过该步骤得到了三个主平面距离相机光学中心的距离d₁,d₂,d₃。

步骤(5)：该步骤通过之前得到的三个主平面的法向量与距离信息，计算相机的姿态变换矩阵，并通过每一帧的相机姿态变换矩阵与所有像素的3D坐标进行场景的重建。

从帧f到帧g的相机姿态变换矩阵可以表示成如下形式：

其中R是大小为3×3的旋转矩阵，t是大小为3×1的平移向量。。

本发明通过上述1～4步骤获得了三个垂直主平面的信息。在这一步骤中，我们使用平面法向量，即l_i来计算从帧g到f的旋转矩阵R：

并通过计算相邻帧的平面偏移量来获得平移向量t，并将其转换为相机坐标：

本发明将第一帧的摄像机坐标设置为全局坐标，即场景的世界坐标，使得帧f中的每个像素点3D坐标D(u,v)通过相机姿态变换矩阵还原到全局坐标中：

D_f'(u,v)＝T_1,2·T_2,3···T_f-1,f·D_f(u,v) (8)

通过公式(8)计算得到了深度相机拍摄场景的所有图像序列中每一个3D点在世界坐标中的位置，于是通过将所有帧中还原到全局坐标后的像素点3D坐标D_f'(u,v)累加，得到场景的3D点云，并用OpenGL渲染最终得到场景重建后的三维模型。

上述实施例并非是对于本发明的限制，本发明并非仅限于上述实施例，只要符合本发明要求，均属于本发明的保护范围。

Claims (4)

1.一种基于曼哈顿假设的场景重建方法，其特征在于该方法包括以下步骤：

步骤(1)、通过深度相机拍摄采集获得室内场景的图像序列，计算图像中每个像素点法向量；

步骤(2)、通过建立球面坐标进行法向量统计，从所有像素点的法向量中提取出近似主平面法向量的法向量集合；

步骤(3)、根据近似主平面法向量的法向量集合中的所有法向量，利用主成分分析法提取这些法向量中的主要方向，得到相互正交的主平面法向量；

步骤(4)、获取每个像素点3D坐标在上述主平面法向量上的投影位置，然后利用投影位置提取主平面在法向量上的位置；

步骤(5)、根据上述步骤得到的主平面法向量与主平面在法向量上的位置信息，计算得到相机姿态变换矩阵；并通过每一帧的相机姿态变换矩阵与所有像素点的3D坐标进行场景的重建；

步骤(1)、通过深度相机拍摄采集获得室内场景的图像序列，计算图像中每个像素点法向量，具体是：

首先，将图像序列中记录帧的所有像素点通过深度相机的相机模型转换为3D坐标；然后通过某像素点的相邻4个像素点的3D坐标计算获得该点法向量；

D₁(u,v)＝D(u+k,v)-D(u-k,v) (1)

D₂(u,v)＝D(u,v+k)-D(u,v-k) (2)

其中，k是表示两个像素点之间距离，为可调整参数；D₁、D₂为经过像素点D(u,v)的向量；

将D₁、D₂带入公式(3)中，获得D(u,v)的法向量n(u,v)；

n(u,v)＝ψ(D₁(u,v)×D₂(u,v)) (3)

其中，×是交叉乘积，Ψ是将法线转换为单位向量的函数：ψ(normal)＝normal·||normal||^-1；

步骤(2)、通过建立球面坐标进行法向量统计，从所有像素点的法向量中提取出近似主平面法向量的法向量集合，具体是：

2.1单位球形坐标建立

将步骤(1)获得的法线n＝(x,y,z)转换成球坐标形式n＝(α,β,γ)，其中α是法线n和轴X之间的角度，β是法线n与轴线Y之间的角度，γ是法线n与轴线Z之间的角度；

2.2法向量统计

将单位球形坐标中的每个基细分为180个区间，即每个区间为1度范围；然后将三个分别属于每一个基的区间组合成一个容器，将每个法向量n存入其对应的容器中；

所述的基指代α,β,γ所在的坐标，即α,β,γ为0～180度；

2.3主法向量集合的提取

由于一帧图像中有大量属于某一主平面的像素点，因此该平面法向量对应的容器中法向量数量将远大于其他容器，故将包含法向量数量最多的容器中所有法向量设为第一个主平面的法向量集L₁；

根据主平面的法向量垂直关系，第二个主平面的法向量集L₂见公式(4)：

θ₁＜Θ(α1,α2)+Θ(β1,β2)+Θ(γ1,γ2)＜θ₂ (4)

其中Θ(a,b)＝cos(a)*cos(b)，θ₂＝π*100/180,θ₁＝π*80/180；

第三个主平面的法向量集L₃为同时距离L₁和L₂80°到100°的法向量集。

2.如权利要求1所述的一种基于曼哈顿假设的场景重建方法，其特征在于步骤(3)具体是将3个法向量集L₁、L₂、L₃中的所有法向量作为PCA的输入，然后PCA提取这些法向量中的主要方向，得到三个相互正交的特征向量，同时将这些向量设置为主平面的法向量n₁、n₂、n₃；其中PCA法输出的最小特征值所对应的特征向量为第一个主平面的法向量，反之最大特征值所对应的特征向量为第三个主平面的法向量。

3.如权利要求2所述的一种基于曼哈顿假设的场景重建方法，其特征在于步骤(4)首先计算每个像素点3D坐标在法向量n₁、n₂、n₃上的投影位置，然后利用投影位置提取主平面在法向量上的位置d₁,d₂,d₃,于是每个主平面可以表示成点法向量形式(n,d)，具体是：

4.1通过将深度相机光学中心设置为坐标原点，计算每个像素点3D坐标D(u,v)分别位于三个主平面法向量上的投影位置p_i ^f＝D(u,v)·n_i，i＝1,2,3；

4.2在理想状态，对于法向量为n_i的平面，平面距离摄像机光学中心的距离d等于平面上点在平面法向量上的投影位置，即D(u,v)·n_i＝d；但是由于深度相机本身噪声与精度的原因，平面上的部分点在平面法向量上的投影位置不等于平面距离相机光学中心的距离；

故对所有每个像素点的投影位置使用一维均值漂移算法提取峰值，峰值peak所对应的投影位置正是主平面到相机光学中心的距离d。

4.如权利要求3所述的一种基于曼哈顿假设的场景重建方法，其特征在于步骤(5)具体是：

第f帧图像到第g帧图像的相机姿态变换矩阵可以表示成如下形式：

其中R是大小为3×3的旋转矩阵，t是大小为3×1的平移向量；

将第一帧的摄像机坐标设置为全局坐标，即场景的世界坐标，使得帧f中的所有3D点D_f(u,v)通过相机姿态变换矩阵还原到全局坐标P_global中：

D_f'(u,v)＝T_1,2·T_2,3···T_f-1,f·D_f(u,v) (8)

将所有帧的3D点D_f'(u,v)累加，得到场景的3D点云，并用OpenGL渲染最终得到场景重建后的三维模型。

Images