CN107545537A - 一种从稠密点云生成3d全景图片的方法 - Google Patents

Abstract

本发明公开了一种从稠密点云生成3D全景图片的方法，利用一张360度全景图像和对应的360度深度图像，通过对每个方位部署一个虚拟摄像机，渲染出该虚拟摄像机所应看到的正确画面，当获取到一张全景图像和其对应的深度图像后，即可生成一对3D全景图像，对于任意方位均可产生正确的视差关系，景深感不会随着观看角度与原始相机摆放角度的差异而变化，不会产生导致人眼不适的垂直视差，从而可以大幅提高利用VR头戴设备观看全景3D时的沉浸感和舒适度。此外，还可根据拍摄场景大小，调节虚拟相机的基线距离B而达到不同程度的3D感受。

Description

一种从稠密点云生成3D全景图片的方法

技术领域

本发明属于3D全景图像技术领域，具体涉及一种从稠密点云生成3D全景图片的方法。

背景技术

目前，虚拟现实(Virtual Reality)市场火热。其中，全景视频由于其制作成本低，周期短，成为VR市场最快落地的产品之一。全景视频的制作通常是由多个摄像机(大于等于2个)同时对场景进行拍摄，再进行后期拼接，得到一副360x180度的全景画面，用户利用VR头盔进行观看时，可以任意转动头部，以获得整个场景的视觉内容。然而，为了提高VR场景的沉浸感，一种更具备吸引力的内容是360度3D的全景视频，360 3D全景视频在使用户可以任意转动头部的情况下，还提供了景深感，使得用户获得立体的360度视频体验。

目前市面上能够拍摄360 3D的方案中，通常是对同一方向放置2个相机以模拟人体左右眼产生视差信息，从而使得大脑能够获得景深感。然而，这样做会带来两个问题：

1、只有正对相机的部分能够获得景深感，而其余方向的景深感将逐渐消失；

2、当在非相机正对方向上将引入垂直视差时，左右眼图像会在非相机正对方位产生垂直视差，导致人眼不适。

因此，要实现360度方向上的正确3D关系，需要对每个方位，都保证立体相机对正对该方位，即：绕立体相机对基线中心旋转相机，对每一列像素都采用不同方位的图像进行拼接。理论上，对于一副宽为4096个像素的等角投影(Equirectangular)全景图像，需要拍摄4096个方位的立体图像，即每隔都拍摄一对立体照片。这将导致数据量增大，后期拼接工作繁重冗余，无法拍摄视频等弊端。

发明内容

本发明的目的在于提供一种通过获取稠密场景三维结构，来产生在任意方位上具有正确视差关系的3D全景图像的方法，以提高用户在利用头戴式VR 设备观看3D全景内容时的沉浸感和舒适度。

为实现上述目的，本发明提供如下技术方案：一种从稠密点云生成3D全景图片的方法，包括如下步骤：

S1，场景的三维结构获取：其包括主动方式获取和被动方式获取，主动方式获取采用激光雷达、结构光深度相机或ToF深度相机对场景进行扫描，获取其所对应的深度图像；被动方式获取通过摄像机阵列拍摄，利用多视图几何原理直接计算场景中每个像素值的深度，获取其所对应的深度图像；深度图像即代表了场景的稠密三维结构；

S2，生成3D图像：结合全景图像和三维场景结构，利用一张360度全景图像和对应的360度深度图像，通过对每个方位部署一个虚拟摄像机，渲染出该虚拟摄像机所应看到的正确画面，生成具有正确视差信息的360度3D图像；

S3，生成3D全景图像：当S2中出现有多个原始全景图片中的像素投影到虚拟视点中的同一个像素时，表明由于虚拟摄像机的移动，近处的物体遮挡住了背景，此时取距离原点距离更小的像素为最终的像素值；获取到一张全景图像和其对应的深度图像后，即可生成一对3D全景图像。

优选的，所述S2中定义原始全景摄像机为世界坐标系原点，全景图片宽为w，高为则其表示的球面半径为对于全景图像中的像素 p(u,v)，通过查询深度图像中的值，获取其对应的深度值为t；

在等角投影投影模型下，像素p(u,v)对应的三维空间点在世界坐标系下坐标为其中为球坐标系下的两个入射角，以弧度为单位；

设左右眼虚拟摄像机之间的基线距离为B，对应于该像素所表示的相机

方位θ，此时空间点X在虚拟左摄像机下的坐标为虚拟右摄像机下的坐标

对于左摄像机下的空间点X_L＝(x_L,y_L,z_L)，其距离原点的距离为其对应的左眼全景图像下的像素坐标为其中θ_L＝atan2(x_L,z_L)为球坐标系下的两个入射角，以弧度为单位；

对于右摄像机下的空间点X_R＝(x_R,y_R,z_R)，其距离原点的距离为其对应的左眼全景图像下的像素坐标为其中θ_R＝atan2(x_R,z_R)为球坐标系下的两个入射角，以弧度为单位。

本发明的技术效果和优点：

1)当用户转动头部，其视线正面所对应的每一个方位，均是由正确的虚拟相机位置根据场景结构渲染出的虚拟视点图像，因此，具有正确的视差信息，用户能获得更加真实的景深感受。

2)通过调节基线距离B，可以方便的调节生成的3D全景图像的景深感，以适应不同人群的瞳距，获得最优的观看体验。

3)没有垂直视差，不会导致用户眼部不适，通过该方案生成的360度3D 全景照片没有垂直视差。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

一种从稠密点云生成3D全景图片的方法，包括如下步骤：

S1，场景的三维结构获取：其包括主动方式获取和被动方式获取，主动方式获取采用激光雷达、结构光深度相机或ToF深度相机对场景进行扫描，获取其所对应的深度图像；被动方式获取通过摄像机阵列拍摄，利用多视图几何原理直接计算场景中每个像素值的深度，获取其所对应的深度图像；深度图像即代表了场景的稠密三维结构；

S2，生成3D图像：结合全景图像和三维场景结构，利用一张360度全景图像和对应的360度深度图像，通过对每个方位部署一个虚拟摄像机，渲染出该虚拟摄像机所应看到的正确画面，生成具有正确视差信息的360度3D图像；

定义原始全景摄像机为世界坐标系原点，全景图片宽为w，高为则其表示的球面半径为对于全景图像中的像素p(u,v)，通过查询深度图像中的值，获取其对应的深度值为t；

在等角投影投影模型下，像素p(u,v)对应的三维空间点在世界坐标系下坐标为其中为球坐标系下的两个入射角，以弧度为单位；

设左右眼虚拟摄像机之间的基线距离为B，对应于该像素所表示的相机

方位θ，此时空间点X在虚拟左摄像机下的坐标为虚拟右摄像机下的坐标

对于左摄像机下的空间点X_L＝(x_L,y_L,z_L)，其距离原点的距离为其对应的左眼全景图像下的像素坐标为其中θ_L＝atan2(x_L,z_L)为球坐标系下的两个入射角，以弧度为单位；

对于右摄像机下的空间点X_R＝(x_R,y_R,z_R)，其距离原点的距离为其对应的左眼全景图像下的像素坐标为其中θ_R＝atan2(x_R,z_R)为球坐标系下的两个入射角，以弧度为单位；

S3，生成3D全景图像：当S2中出现有多个原始全景图片中的像素投影到虚拟视点中的同一个像素时，表明由于虚拟摄像机的移动，近处的物体遮挡住了背景，此时取距离原点距离更小的像素为最终的像素值；获取到一张全景图像和其对应的深度图像后，即可生成一对3D全景图像。

当用户转动头部，其视线正面所对应的每一个方位，均是由正确的虚拟相机位置根据场景结构渲染出的虚拟视点图像，因此，具有正确的视差信息，用户能获得更加真实的景深感受。通过调节基线距离B，可以方便的调节生成的3D全景图像的景深感，以适应不同人群的瞳距，获得最优的观看体验。没有垂直视差，不会导致用户眼部不适，通过该方案生成的360度3D全景照片没有垂直视差。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种从稠密点云生成3D全景图片的方法，其特征在于，包括如下步骤：

S1，场景的三维结构获取：其包括主动方式获取和被动方式获取，主动方式获取采用激光雷达、结构光深度相机或ToF深度相机对场景进行扫描，获取其所对应的深度图像；被动方式获取通过摄像机阵列拍摄，利用多视图几何原理直接计算场景中每个像素值的深度，获取其所对应的深度图像；深度图像即代表了场景的稠密三维结构；

S2，生成3D图像：结合全景图像和三维场景结构，利用一张360度全景图像和对应的360度深度图像，通过对每个方位部署一个虚拟摄像机，渲染出该虚拟摄像机所应看到的正确画面，生成具有正确视差信息的360度3D图像；

S3，生成3D全景图像：当S2中出现有多个原始全景图片中的像素投影到虚拟视点中的同一个像素时，表明由于虚拟摄像机的移动，近处的物体遮挡住了背景，此时取距离原点距离更小的像素为最终的像素值；获取到一张全景图像和其对应的深度图像后，即可生成一对3D全景图像。

2.根据权利要求1所述的一种从稠密点云生成3D全景图片的方法，其特征在于：所述S2中定义原始全景摄像机为世界坐标系原点，全景图片宽为w，高为则其表示的球面半径为对于全景图像中的像素p(u,v)，通过查询深度图像中的值，获取其对应的深度值为t；

在等角投影投影模型下，像素p(u,v)对应的三维空间点在世界坐标系下坐标为其中 为球坐标系下的两个入射角，以弧度为单位；

设左右眼虚拟摄像机之间的基线距离为B，对应于该像素所表示的相机方位θ，此时空间点X在虚拟左摄像机下的坐标为虚拟右摄像机下的坐标

对于左摄像机下的空间点X_L＝(x_L,y_L,z_L)，其距离原点的距离为其对应的左眼全景图像下的像素坐标为其中θ_L＝atan2(x_L,z_L)为球坐标系下的两个入射角，以弧度为单位；

对于右摄像机下的空间点X_R＝(x_R,y_R,z_R)，其距离原点的距离为其对应的左眼全景图像下的像素坐标为其中θ_R＝atan2(x_R,z_R)为球坐标系下的两个入射角，以弧度为单位。