CN108475327A - 三维采集与渲染 - Google Patents

Abstract

一种使用多个图像相机或多个图像‑深度相机来拍摄目标物体的方法和***。使用拍摄的图像和深度图像重建几何图形和纹理。使用基于几何图形的渲染方法或基于图像的渲染方法渲染新图像。

Description

三维采集与渲染

使用多个相机和光源实现对真实的人和物体的高质量三维(3D)重建已成为新兴消费媒体平台、尤其是虚拟现实和增强现实的流行趋势。这种3D视频旨在通过以高维自由度来显示场景，从而帮助观看者更好地沉浸入场景。在这些视频中，观看者可以在3D环境中四处走动，并从不同的位置和从不同的方向观看3D渲染的人物或物体。然而，传统的图像和视频实时拍摄仅在二维中工作，因此缺乏传达关于人的3D模型、纹理或其他3D方面的信息的能力。

市场上出现的3D拍摄***只能用于固定视角的3D拍摄，因此观看者无法四处移动。当观看者佩戴头戴式显示器(HMD)时，这种限制导致观看者缺乏真实感。需要一种方法和***，其能够产生由多相机阵列拍摄的人、物体或场景的高质量3D图像和视频。然后可以将拍摄的人、物体或场景显示给用户，使得用户可以实时地、从不同的视角观看人、物体或场景。

附图说明

图1a示出了一个示例性的3D拍摄***；

图2a示出了完整的3D拍摄和渲染过程；

图2b示出了基于图像的渲染方法，该方法为图2a的渲染过程2003的具体细节。

图3详细示出了图2a的重建过程2002。

图4示出了图2a的预校准2000、拍摄2001和重建2002的替代示例性方法。

图5示出了3D拍摄***的示例性实施***的配置。

具体实施方式

在本发明的3D拍摄***的示例性实施方式中，在不同位置拍摄人、物体或其所在场景(本文简称为场景)的多个视图，并且利用所述多个视图生成人、物体或场景的3D模型和高分辨率纹理图。该***使得可以创建能够从不同的视图位置复现的场景的3D演示。穿着虚拟现实(VR)头戴式显示器(HMD)的观看者可以实时观看来自场景的复制特征和灯光效果。这有利于在观看者的心目中产生真实的3D感知，从而产生观看者正在观看3D真实场景的印象。此外，所公开的实施方式通过编辑重建的3D模型和纹理能够用于电影特效。

在此可以示出上面的示例性实施方式的详细描述。

图1a描述了一个示例性3D拍摄***。在拍摄***中，存在由示例性相机1002和1003表示的多个相机，这些相机以测地球体1000方式安装，使得目标场景可以位于球体的中心。由于其均匀性和密度，示例性实施方式可以使用从外到内的测地线；然而，在其他示例性实施方式中，可以使用内向外视图或从外向内配置。而且，配置可以是球形、网格、盒的形式或其他形状配置。

球体使得目标场景1001和相机之间的距离几乎相同。在其他例子中，在校准期间可能需要进行调整，因此相机可根据需要以其他方式安装，例如立方体或八角形安装。所有相机可以使用相同尺寸的传感器和镜头(类似的视场(FOV)以及焦距)。但是，出于校准原因，某些相机可能具有不同的传感器和镜头。所有相机可以被服务器或计算硬件同步和连接。每台相机可以具有自己的存储空间，并可以实时进行图像(即JPEG)压缩。在其他示例性实施方式中，相机可能不具有存储空间，而是将原始数据发送到云端进行处理和存储。

关于相机，可以使用任何图像或视频拍摄设备。例如，可以使用数字单镜头反光(DSLR)相机。提供的相机越多，拍摄的图像就越多，因此拍摄和最终渲染的准确性就越高。相机越多，可以使该过程覆盖越多的物体以产生高分辨率的纹理结果。所有相机模块都连接到用于同步所有相机的计算板。相机也连接到通信介质，从而允许传输原始图像拍摄数据。通信介质可以用于以下目的：与单个桌面通信，或者通过互联网、内联网、云或服务器群通信，通过路由器连接的WiFi通信或其他网络通信手段。以使得每个单独的相机都可以进行调整的方式安装所有相机，从而可以根据深度比例和观看空间来增加或减少相机之间的距离。

图2a描述了完整的3D拍摄和渲染过程。

所有相机都被预校准2000，并在拍摄过程中处于固定位置(如果在已知路径上，它们可能会被移动)。所有相机根据需要安装在测地球体或其他形状上。所期望的是所有相机在球体上创建统一的样本，然而，一些相机仍然存在小的位置偏移。对于所有相机位置，通过拟合具有已知半径的球体(或与物体具有已知距离的3D几何图形)来校正该距离差异。所有相机位置都在3D空间中移动到该球体上，并且所有相机视图都以球体中心的方向旋转。因此，所有相机在球体上进行统一的样本，这在渲染过程中是很有用的。还需要校准所有相机的色彩空间，因为所有图像的3D重建需要一致性。为了进行颜色校准，在球体中心放置彩色棋盘，并且所有相机拍摄原始数据。该过程为每台相机拟合颜色匹配曲线。因此，所有拍摄的数据将通过此曲线的投射以进行颜色校准。其他校准方法包括在球体上安装多个光源以创建均匀的照射源。所有光源方向都经过校准，以便基于光线方向从图像中分离镜面高光。为了校准光源，镜球(或其他反射源)被放置在球体的中心，被校准的相机聚焦在镜球上。每个相机每次使用一个使能的光源拍摄图像或视频。基于相机外部参数和来自镜球的反射，可以估计每个图像的入射光方向，然后可以在3D空间中校准光源位置和方向。

在拍摄过程2001中，所有相机拍摄不同位置上的一个或多个物体(可能是人)的不同视角的数百幅图像。所有原始图像可以被存储(本地或者被传送到相机外部以供存储)，图像也可以被压缩(即，以JPEG格式)并且被实时传送，使得其可以适用于视频拍摄。或者，可以实时处理图像，因此不需要进行存储或压缩。

在拍摄之后，应用多视图3D重建过程2002来生成一个或多个目标物体的高质量3D模型。同时，该过程分离出高精度纹理和表面法线。例如，在人的情况下，纹理将是皮肤纹理。重建过程可以分为两部分：3D重建和反照率和镜面反射分离。对于3D重建，传统的多视点3D重建和运动恢复结构(structure from motion)方法可以生成高精度的3D几何模型。对于反照率和镜面反射，使用光度立体方法提取高分辨率法线图，并从反照率部分分离镜面高光，这可用于数字式重光照特效。如果***包含大量具有非常高分辨率的相机，从而导致巨大的总图像数据量，则该过程利用改进的运动恢复结构3D重建方法，可以有效地处理大级别的输入数据。

渲染过程2003被配置为，通过将具有纹理的3D模型实时渲染到显示器、例如HMD上来重新生成一个或多个3D物体。这可以使用基于标准几何图形的技术完成。为了以更现实的方式渲染对象，可以应用如图2b中所描述的改进的基于图像的渲染技术。为了获得一个或多个物体的高质量3D几何图形，采用了与运动恢复结构方法相结合的改进的多视点立体重建。为了减少来自物体纹理的镜面高光，照明***也被安装在拍摄圆顶上，并且所有的光线方向和光强都经过预校准。并且在重建过程中，通过使用自己的校准内部参数，所有图像都不会失真，并且通过它们的外部参数进行校正。在预校准过程中获得内部参数和外部参数。每个图像的颜色也通过颜色校准结果进行校正。

图2b描述了基于图像的渲染方法，该方法是图2a的渲染过程2003的具体细节。根据3D模型和相机外部参数、即相机位置如何相互关联，对每个图像进行深度的预渲染2100。在渲染过程期间，对于每一帧，确定新相机的位置2101(即，x-y-z位置和方向)，可以通过HMD上的位置追踪器、通过鼠标移动确定的位置或者任何其他用于检测新相机位置的方法来确定位置。然后，如图2a的重建过程2002中所解释的，基于重建的3D几何图形来渲染深度图2102。对于每个像素，以来自渲染深度图的长度信息进行光线追踪2103。发现相对于球体上的位置最近的相机2104(例如它可以是四个)，将用于最终图像渲染。基于深度图将3D空间划分为体素。体素相当于图像中的像素，因此光线贯穿体素。在光线与物体的体素相交之后，交叉点从体素追溯到先前确定的最近的相机，然后可以确定哪个相机没有被其他体素遮挡。基于双线性内插，将来自相机的像素、即四个像素进行线性组合2105。上述过程可以利用例如图形处理单元(GPU)实时完成。

图3详细描述了图2a的重建过程2002。在第一阶段，在视点和光照变化下稳定的所有照片中检测到点，并基于每个点的局部邻域为每个点生成描述符3001。为每个图像建立高斯金字塔，然后使用高斯拉普拉斯算子(LoG)作为斑点检测器。之后，设置阈值以滤除低对比度像素，并且仅将高值像素设置为关键点。这些描述符稍后用于检测跨越图像的关系3002。这一步与SIFT和SURF等一些众所周知的方法类似，但通过在描述符中添加非朗伯表面假设得到针对更高对准质量的更可靠的描述符，该描述符包含正常信息和镜面高光信息。尽管***校准良好，但由于每个相机可能具有小的偏移或方向改变，所以在重建步骤之前，使用光束法平差(bundle-adjustment)来细化每个图像的相机的内部参数和外部参数3003。该方法使用贪婪过程来查找近似的相机位置，稍后使用改进的光束法平差对近似的相机位置进行细化。在步骤3004中，使用基于面片的多视点立体图，该立体图用于稠密的点云和多视点的重建(基于PMVS2和/或CMVS)。另外，可以添加用于计算平滑深度图的约束条件。为了处理潜在的大量图像和高分辨率，也可以使用外部存储(out-of-core)方法完成分段重建，分别重建3D物体的每个小块以减少计算期间的存储器使用，然后使用迭代最近点(ICP)方法将所有块融合在一起。这个处理可以在本地完成，也可以通过计算机网络在云中完成。

图4描述了图2a的预校准2000、拍摄2001和重建2002的替代示例性方法。该***结合了多个深度传感器和多个传统RGB彩色相机传感器。所有传感器同时拍摄一个或多个目标物体。通过融合深度结果和颜色信息，获得高精度的3D几何模型和颜色纹理图。

首先预校准4000深度相机，以获得它们相对于彼此的位置和方位。还预校准RGB传感器的相互关系。从不同的方向拍摄棋盘状图案的多个图像。通过计算棋盘的所有特征角的像素位置，获得每个RGB相机的外部和内部参数。在深度传感器(基于结构光的)校准的示例中，IR投影机被遮挡，并用IR平面光源替换IR投影机来照亮场景。类似于RGB相机校准，拍摄棋盘的多个图像以估计内部参数。对于外部参数，将几个辅助相机放置在深度传感器旁边，并使用可见白光来照亮场景，然后应用立体相机标定来计算参数。

所有深度传感器和RGB传感器都安装在网格穹顶(dome)上，将一个或多个目标物体置于中心。覆盖要重建的物体的期望区域，以便在生成点云时不会出现孔洞。使用RGB和深度传感器拍摄目标的图像4001和深度图像4002。

点云是在前一阶段拍摄的一组体素。为了构建点云4003，对深度图像中的每个像素进行背投影。由于每个像素的深度是已知的，所以该点的确切3D位置也是已知的。构建的点云不仅包含物体，还包含背景。假定背景相当远，从而容易根据深度值将背景分割出来。为了更加严谨，假定物体具有一定范围内的深度值。深度传感器容易出现测量错误，导致稀疏的外点(outlier)，从而可能破坏配准过程。在配准过程之前必须从点云中去除这些外点，可以使用基于三维块匹配滤波(BM3D)的平滑约束降噪方法来消除外点。利用从不同视点拍摄的同一物体的许多点云，将离散点云融合以形成最接近的3D模型。使用迭代最近点(ICP)方法对这些点云进行配准。点云重建也可以使用图像和计算机视觉方法进行改进。

基于图像的重建或基于深度的重建输出的是3D空间中的密集点云。使用Delaunay或其他三角测量方法来获取用于渲染的最终几何图形4004。

重建纹理2002、4005包括：参数化几何网格或三角形网格，可能将其切成较小的块；然后混合源照片以形成高分辨率纹理图。前面步骤拍摄到的图像仍然具有比3D重建模型更高的分辨率。将图像重新背投影到模型上，并为每个小块创建新的UV图(纹理图)。

由于所有相机都是同步的，因此可以将移动物体视为针对每一帧的静态物体。相机可以在视频模式下拍摄对象，并逐帧使用上述算法。或者，可以使用标准计算机图形技术将单个纹理和/或几何图形动画化。使用帧间插值生成几何动画。

可以应用渲染2003、4006并且显示来自***的图像的方法。一个示例是将该物体显示在头戴式显示器上。有两种解决方案。第一种是基于标准几何图形的技术，只使用生成的3D模型和纹理图来渲染3D物体。第二种解决方案是基于光场的渲染技术来渲染3D物体，如图2b，通过组合拍摄图像和重建的3D模型可以产生高真实的渲染结果。而且由于使用了光场数据结构，观看者可以通过不同的环境地图动态地改变光照。

图5图示了3D拍摄***的示例性实施***的配置。在测地线的一个示例性实施方式中，存在若干相机5001，每个相机具有可用于拍摄一个或多个图像的板载处理器5000。也可以存在相应的深度相机。图像数据可以通过通信介质5002(诸如总线、wifi或其他网络介质)传输到桌面5003。经由云5005以及通信介质5004传递数据，桌面可以渲染图像并将渲染的图像存储在存储器5006中。云可以是任何网络、互联网、内联网、或路由器和/或处理器的其他网络组。终端用户5009还可以从存储器检索那些图像，并用终端进行显示5008。

这里具体示出和描述了本发明的几个示例性实施方式。本申请的优点和特征仅是实施方式的代表性样本，并且不是穷尽的和/或排他性的。提供它们仅是为了帮助理解和教导所声明的原则。应该理解，它们不代表所有要求保护的发明。而且，它们不限于这里描述的技术或设备。可能没有提供替代实施方式不是这种替代实施方式的免责声明。应该意识并理解的是，可以利用其他实施方式，并且可以在不偏离本文讨论的实施方式(相对于为了不重复的目的而在本文中未讨论的那些实施方式)的范围和/或精神的情况下进行功能、逻辑、组织、结构和/或拓扑修改。例如，要理解的是，任何程序组件(组件集合)、其他组件和/或附图和/或全文中描述的任何当前特征集合的任何组合的逻辑和/或拓扑结构不限于固定的操作次序和/或排列次序，而是，任何公开的次序都是示例性的，并且本公开内容预期所有等同物，而不管其顺序如何。此外，应该理解的是，这些特征不限于串行执行，而是由本公开预期可以异步地、并存地、并行地、同时地、同步地等执行任何数量的线程、进程、服务、服务器等等。因此，这些特征中的一些可能相互矛盾，因为它们不能同时存在于单个实施方式中。类似地，一些特征适用于本发明的一个方面，不适用于其他方面。

另外，本公开包括当前未要求保护的其他发明。申请人保留目前未要求保护的发明的所有权利，包括要求保护这些发明的权利、提交其他申请、延续申请、部分延续申请、分案的权利和/或其他类似权利。因此，应该理解的是，本公开的优点、实施方式、示例、功能、特征、逻辑、组织、结构、拓扑和/或其他方面不应被认为是对由权利要求限定的内容的限制或对权利要求等同物的限制。应该理解的是，取决于个体、实体和/或企业用户、数据库配置和/或关系模型、数据类型、数据传输和/或网络框架、语法结构等等的特定需求和/或特性，可以实现本发明的各种实施方式，以实现很大的灵活性和定制。

Claims (8)

1.一种渲染新图像的方法，包括：

使用一个或多个图像相机获取一组图像，

使用一个或多个深度相机获取一组深度图像，

将所述深度图像转换为表示场景物体的几何模型，

将从所述一个或多个图像相机获取的图像转换为纹理图；以及

使用基于几何图形的渲染技术，从所述几何模型和所述纹理图渲染新图像。

2.根据权利要求1所述的渲染新图像的方法，其特征在于，所述基于几何图形的渲染技术是光栅化。

3.根据权利要求1所述的渲染新图像的方法，其特征在于，所述基于几何图形的渲染技术是光线追踪。

4.根据权利要求1所述的渲染新图像的方法，其特征在于，

所述场景物体是静态的，并且

将该场景物体转换成一个模型和一组纹理。

5.根据权利要求1所述的渲染新图像的方法，其特征在于，所述场景物体被动画化。

6.根据权利要求5所述的渲染新图像的方法，其特征在于，所述动画化的场景的每一帧具有单独的几何模型和纹理图。

7.根据权利要求5所述的渲染新图像的方法，其特征在于，

所述动画化的场景具有单个纹理图，并且

所述动画化的场景的每一帧具有单独的几何模型。

8.一种用于创建图像渲染的***，包括：

一个或多个相机的配置；

用于计算场景的几何图形并渲染图像的处理器；以及

用于存储输入数据的存储介质。