CN108182702A - 基于深度图像采集设备的实时三维建模方法及*** - Google Patents

Abstract

本发明属于三维建模技术领域，具体涉及一种基于深度图像采集设备的实时三维建模方法及***，通过多台深度图像采集设备从多个角度获取物体的图像数据和深度数据，通过空间几何关系确定三维模型的三维空间坐标，通过空间相邻的三点快速重建模型表面，并通过图像数据对模型表面进行贴图，还原物体表面的真实颜色和纹理。本发明提供的基于深度图像采集设备的实时三维建模方法及***，建模过程高效简单，可以实时完成三维建模；通过深度图像采集设备可以实现高精度建模，同时，可以真实还原物体表面颜色和纹理；实现的设备结构简单，大大降低了三维建模的成本。

Description

基于深度图像采集设备的实时三维建模方法及***

技术领域

本发明涉及三维建模技术领域，具体涉及一种基于深度图像采集设备的实时三维建模方法及***。

背景技术

物体三维模型应用领域十分广泛，如设计仿真、虚拟现实、3D电影等领域。现有的三维建模方法有双目立体视觉技术、三维激光扫描仪建模等。基于双目立体视觉技术的三维建模方法，需要对两幅存在视差的图像进行畸变修正、立体匹配等复杂的运算处理，建模速度慢、实时性较差，建模精度较低。基于三维激光扫描仪的建模方法，采用的设备复杂昂贵，成本较高，无法得到广泛的应用。

发明内容

针对现有技术中的缺陷，本发明提供的一种基于深度图像采集设备的实时三维建模方法及***，高效简单、精度高、成本低，并且可以真实还原物体表面颜色和纹理。

第一方面，本发明提供的基于深度图像采集设备的实时三维建模方法，包括：通过多台深度图像采集设备分别从多个角度获取欲重建物体的图像数据和深度数据；根据标定顺序，整合所有深度数据得到第一有序点阵；提取所述第一有序点阵中属于前景图像的点；

根据点的深度数据、点在所述第一有序点阵中的位置信息和通过定标获取的空间几何关系，计算所述第一有序点阵中属于前景图像的点在三维空间坐标系中的坐标；合并三维空间坐标相同的点，根据点合并结果，重新排列所述第一有序点阵得到第二有序点阵；将所述第二有序点阵网格化得到单元面和网格链接数据；根据所述图像数据对所述单元面进行贴图，得到每个单元面的贴图数据和UV布局图；最终确定三维模型数据，所述三维模型数据包括顶点数据、所述网格链接数据、所述UV布局图、所述贴图数据。

本发明提供的基于深度图像采集设备的实时三维建模方法，通过多台深度图像采集设备从多个角度获取物体的图像数据和深度数据，通过空间几何关系确定三维模型的空间坐标，通过点阵数据网格化快速重建模型表面，并通过图像数据对模型表面进行贴图，还原物体表面的真实颜色和纹理。实施例提供的基于深度图像采集设备的实时三维建模方法不存在复杂的计算，高效简单，可以实时完成建模，建模速度高达每秒100次；通过深度图像采集设备可以实现高精度建模，同时，可以真实还原物体表面颜色和纹理；实现的设备结构简单，大大降低了建模的成本；本实施例的方法适用于多种形式的深度图像采集设备，相比一般的建模方法应用范围，深度图像采集设备精度有多高，通过本实施例的方法建立的模型的精度就有多高。

优选地，所述提取所述第一有序点阵中属于前景图像的点，包括：将所述第一有序点阵中的点的深度数据与第一深度阈值和第二深度阈值比较，若所述点的深度数据在所述第一深度阈值与所述第二深度阈值之间，则确定所述点属于前景图像。

优选地，所述将所述第二有序点阵网格化得到单元面和网格链接数据，包括：对所述第二有序点阵中的点进行编号，将所述第二有序点阵中第一行第一列、第一行第二列和第二行第一列的三个点组成一个单元面，并生成所述单元面对应的网格链接数据，所述网格链接数据为组成单元面的三个点的编号按顺序形成的数组，依次类推，完成所述第二有序点阵中所有点的网格化，得到所有单元面对应的网格链接数据。

优选地，所述根据所述图像数据对所述单元面进行贴图，得到每个单元面的贴图数据和UV布局图，包括：根据组成所述单元面的三个点，从所述图像数据中提取相应区域的图像作为所述单元面的贴图数据，并建立所述贴图数据与所述单元面之间的索引关系存入UV布局图。

第二方面，本发明提供的一种基于深度图像采集设备的实时三维建模***包括：已预先完成定标的多台深度图像采集设备、处理单元；多台所述深度图像采集设备均与所述处理单元连接；所述深度图像采集设备用于获取欲重建物体不同角度的图像数据和深度数据，并输出给所述处理单元；所述处理单元用于根据标定顺序，整合所有深度数据得到第一有序点阵；提取所述第一有序点阵中属于前景图像的点；根据点的深度数据、点在所述第一有序点阵中的位置信息和通过定标获取的空间几何关系，计算所述第一有序点阵中属于前景图像的点在三维空间坐标系中的坐标；合并三维空间坐标相同的点，根据点合并结果，重新排列所述第一有序点阵得到第二有序点阵；将所述第二有序点阵网格化得到单元面和网格链接数据；根据所述图像数据对所述单元面进行贴图，得到每个单元面的贴图数据和UV布局图；最终确定三维模型数据，所述三维模型数据包括顶点数据、所述网格链接数据、所述UV布局图、所述贴图数据。

本发明提供的基于深度图像采集设备的实时三维建模******，在建模过程中不需要移动深度图像采集设备，降低了***的复杂性，设备结构简单，大大降低了建模的成本；不存在复杂的计算，高效简单，可以实时完成三维建模，空间内的任何物体在100fps内即可实现三维重建；通过深度图像采集设备可以实现高精度建模，同时，可以真实还原物体表面颜色和纹理。

优选地，所述深度图像采集设备的数量为3N台，N为大于0的自然数，每3台所述深度图像采集设备所在位置组成一正三角形，N组所述深度图像采集设备从不同角度拍摄欲重建物体，3N台所述深度图像采集设备的拍摄方向均指向欲重建物体。

优选地，所述深度图像采集设备的数量为6台，其中3台深度图像采集设备所在位置组成正三角形，另外3台深度图像采集设备分别位于所述正三角形的边的中点，6台所述深度图像采集设备的拍摄方向指向正三角形的几何中心。

优选地，两组深度图像采集设备处于不同的高度。

附图说明

图1为本发明第一实施例所提供的基于深度图像采集设备的实时三维建模方法的流程图；

图2为本发明第三实施例所提供的基于深度图像采集设备的实时三维建模***中深度图像采集设备的分布图；

图3为本发明第四实施例所提供的基于深度图像采集设备的实时三维建模***中深度图像采集设备的分布图；

图4为本发明第一实施例所提供的多组深度数据合并方法的示意图；

图5为本发明第一实施例所提供的第二有序点阵网格化的示意图；

图6为图像数据与深度数据的对应关系示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例一

如图1所示，本实施例提供的一种基于深度图像采集设备的实时三维建模方法，包括：

步骤S1，通过多台深度图像采集设备分别从多个角度获取欲重建物体的图像数据和深度数据。

其中，深度图像采集设备为可以采集图像以及图像对应的深度的设备，可以选用rgb-d摄像头(如Kinect)，rgb-d摄像头可以直接输出图像数据和深度数据。深度图像采集设备也可以采用摄像头和测距装置组合的方式，通过定标就可以获知摄像头输出的图像数据与测距装置输出的深度数据之间的关系，但必须保证通过摄像头采集的图像数据与测距装置输出的深度数据是同比例的。如图4所示，每台深度图像采集设备采集到的深度数据是以矩形点阵的形式进行存储的，每个点存储有深度数据。图像数据和深度数据获取的是同一空间范围内的不同类型的数据。

步骤S2，根据标定顺序，整合所有深度数据得到第一有序点阵。

其中，标定顺序是在对深度图像采集设备进行定标的过程中确定的，以保证在合并的过程中所有深度图像采集设备采集到的深度数据能够按照真实的空间位置进行合并。通过以下例子说明标定顺序，如图2所示，以第一深度图像采集设备、第二深度图像采集设备、第三深度图像采集设备为例，在完成每台设备的定标后，确定以顺时针的定标顺序进行合并，记第一深度图像采集设备采集的为第一深度数据，记第二深度图像采集设备采集的第二深度数据，记第三深度图像采集设备采集的第三深度数据，如图4所示，按从右到左的顺序将第一深度数据依次存入第一有序点阵，接着按从右到左的顺序将第二深度数据依次存入第一有序点阵，最后按从右到左的顺序将第三深度数据依次存入第一有序点阵。

步骤S3，提取第一有序点阵中属于前景图像的点。

其中，前景图像对应的是需要建模的物体。

步骤S4，根据点的深度数据、点在第一有序点阵中的位置信息和通过定标获取的空间几何关系，计算第一有序点阵中属于前景图像的点在三维空间坐标系中的坐标。

其中，三维空间坐标系是建模模型对应的坐标系，空间几何关系是将第一有序点阵中的点映射到三维空间坐标系中的映射关系，一旦深度图像采集设备的空间位置确定后，空间几何关系通过立体几何知识就可以确定，在此不再赘述。位置信息用点在第一有序点阵中的横纵坐标来表示。

步骤S5，合并三维空间坐标相同的点，根据点合并结果，重新排列第一有序点阵得到第二有序点阵。

步骤S6，将第二有序点阵网格化得到单元面和网格链接数据。

步骤S7，根据图像数据对单元面进行贴图，得到每个单元面的贴图数据和UV布局图。

步骤S8，最终确定三维模型数据，三维模型数据包括顶点数据、网格链接数据、UV布局图、贴图数据。

其中，顶点数据为三维模型的所有顶点的三维空间坐标，三维模型的顶点对应第二有序点阵中的点，按一定排序将所有顶点的三维空间坐标存入顶点数据，形成一个数组。网格链接数据存储了所有单元面的三维空间信息。UV布局图为每个单元面与贴图数据的之间的索引关系。贴图数据存储了贴图需要的图像数据。

大部分三维模型软件都可以根据三维模型数据得到重构的三维模型。首先，根据顶点数据确定欲重建物体所有顶点在三维空间中的位置；接着，根据网格链接数据将所有顶点连成面，得到白模；最后，根据UV布局图将贴图数据赋值给白模，这样就可以显示整个三维模型了。

本实施例提供的基于深度图像采集设备的实时三维建模方法，通过多台深度图像采集设备从多个角度获取物体的图像数据和深度数据，通过空间几何关系确定三维模型的空间坐标，通过点阵数据网格化快速重建模型表面，并通过图像数据对模型表面进行贴图，还原物体表面的真实颜色和纹理。实施例提供的基于深度图像采集设备的实时三维建模方法不存在复杂的计算，高效简单，可以实时完成建模，建模速度高达每秒100次；通过深度图像采集设备可以实现高精度建模，同时，可以真实还原物体表面颜色和纹理；实现的设备结构简单，大大降低了建模的成本；本实施例的方法适用于多种形式的深度图像采集设备，相比一般的建模方法应用范围，深度图像采集设备精度有多高，通过本实施例的方法建立的模型的精度就有多高。

通过步骤S3可以实现的具体实现方法包括：将第一有序点阵中的点的深度数据与第一深度阈值和第二深度阈值比较，若点的深度数据在第一深度阈值与第二深度阈值之间，则确定点属于前景图像。在建模过程中，会划定一个拍摄范围，物体必须放置在这个拍摄范围内，第一深度阈值可以取深度图像采集设备到这个拍摄范围最近的距离，第二深度阈值可以取深度图像采集设备到这个拍摄范围最远的距离。

其中，步骤S6的具体实现方法包括：对第二有序点阵中的点进行编号，将第二有序点阵中第一行第一列、第一行第二列和第二行第一列的三个点组成一个单元面，并生成单元面对应的网格链接数据，网格链接数据为组成单元面的三个点的编号按顺序形成的数组，依次类推，完成第二有序点阵中所有点的网格化，得到所有单元面对应的网格链接数据。如图5所示，按从左到右、从上到下的顺序对第二有序点阵中的点进行编号，点0、点1和点4组成单元面A，则单元面A对应的网格链接数据为(0,1,4)，网格链接数据以有序方式存储三个点的编号。由于顶点数据也按第二有序点阵中的点的编号，对顶点的三维空间坐标进行存储的，因此，根据网格链接数据(0,1,4)从顶点数据中提取第0、1、4号位置的三维空间坐标即可复原单元面A。

其中，步骤S7的具体实现方法包括：根据组成单元面的三个点，从图像数据中提取相应区域的图像作为单元面的贴图数据，并建立贴图数据与单元面之间的索引关系存入UV布局图。如图6所示，组成单元面的每个点在图像数据中都有与之对应的数据存在，因此单元面的三个点一旦确定，就可以从从图像数据中定位到单元面对应的图像，根据建模需要的分辨率，采用同比例缩放的方式提取图像作为贴图数据，以满足不同分辨率的要求。图像数据可以通过单独的高清相机进行采集，但必须保证通过高清相机采集的图像数据与测距装置输出的深度数据是同比例的，进一步提高贴图数据的精度，从而使建立的三维模型更加逼真。

实施例二

基于与上述实时三维建模方法相同的发明构思，本实施例提供了一种基于深度图像采集设备的实时三维建模***，包括：已预先完成定标的多台深度图像采集设备、处理单元；多台深度图像采集设备均与处理单元连接；

深度图像采集设备用于获取欲重建物体不同角度的图像数据和深度数据，并输出给处理单元；

处理单元用于根据标定顺序，整合所有深度数据得到第一有序点阵；提取第一有序点阵中属于前景图像的点；根据点的深度数据、点在第一有序点阵中的位置信息和通过定标获取的空间几何关系，计算第一有序点阵中属于前景图像的点在三维空间坐标系中的坐标；合并三维空间坐标相同的点，根据点合并结果，重新排列第一有序点阵得到第二有序点阵；将第二有序点阵网格化得到单元面和网格链接数据；根据图像数据对单元面进行贴图，得到每个单元面的贴图数据和UV布局图；最终确定三维模型数据，三维模型数据包括顶点数据、网格链接数据、UV布局图、贴图数据。

一般通过移动设备进行模型重建的方法，需要不断对已成型的模型进行部分重新计算，设备移动的结构复杂，计算过程也和繁复。而本实施例提供的基于深度图像采集设备的实时三维建模******，在建模过程中不需要移动深度图像采集设备，降低了***的复杂性，设备结构简单，大大降低了建模的成本；不存在复杂的计算，高效简单，可以实时完成三维建模，空间内的任何物体在100fps内即可实现三维重建；通过深度图像采集设备可以实现高精度建模，同时，可以真实还原物体表面颜色和纹理。

实施例三

在拍摄物体时，最少需要3台摄像机就可以获取物体完整的图像，这3台摄像机需以正三角形方式排列。因此，在实施例二的基础上，为了精简***、降低成本，同时保证建模的精度，本实施例提供了另一种基于深度图像采集设备的实时三维建模***，包括已预先完成定标的3N台深度图像采集设备、处理单元。3N台深度图像采集设备均与处理单元连接。N为大于0的自然数，每3台深度图像采集设备所在位置组成一正三角形，N组深度图像采集设备从不同角度拍摄欲重建物体，3N台深度图像采集设备的拍摄方向均指向欲重建物体。每台深度图像采集设备获取数据角度为60度。需要建模的物体就放置在中心处，通过这3N台深度图像采集设备就可以无死角地获取物体的图像。

如图2所示，给出了6台深度图像采集设备的种优选排布方式，这种六芒星的排布方式，减少了深度图像采集设备的数量，降低了处理单元需要处理的数据量，降低了对***的性能要求，进一步提高了建模效率。一组深度图像采集设备可能会存在盲区，通过第二组深度图像采集设备就可以消除盲区，使最终建立的三维模型更加完整和精确。

为了进一步提高采集范围和精度，图2中，两组深度图像采集设备处于不同的高度，一组设备主要用于获取物体上部的数据，另一组设备主要用于获取物体下部的数据。

其中，处理单元用于根据3N台设备的标定顺序，整合所有深度数据得到第一有序点阵；提取第一有序点阵中属于前景图像的点；根据点的深度数据、点在第一有序点阵中的位置信息和通过定标获取的空间几何关系，计算第一有序点阵中属于前景图像的点在三维空间坐标系中的坐标；合并三维空间坐标相同的点，根据点合并结果，重新排列第一有序点阵得到第二有序点阵；将第二有序点阵网格化得到单元面和网格链接数据；根据图像数据对单元面进行贴图，得到每个单元面的贴图数据和UV布局图；最终确定三维模型数据，三维模型数据包括顶点数据、网格链接数据、UV布局图、贴图数据。

实施例四

在实施例二的基础上，为了精简***、降低成本，同时保证建模的精度，如图3所示，本实施例提供了另一种基于深度图像采集设备的实时三维建模***，包括6台深度图像采集设备和处理单元，每台深度图像采集设备均与处理单元连接。其中3台深度图像采集设备所在位置组成正三角形，另外3台深度图像采集设备分别位于正三角形的边的中点，组成内正三角。6台深度图像采集设备的拍摄方向指向正三角形的几何中心，每台深度图像采集设备获取数据角度为60度。

其中，处理单元中的处理步骤如下：

步骤S10，根据处于正三角形顶点上的3台深度图像采集设备采集的图像数据和深度数据完成初步的建模。具体步骤包括：根据据处于正三角形顶点上的3台深度图像采集设备的定标顺序，整合3组深度数据得到第一有序点阵；提取第一有序点阵中属于前景图像的点；根据点的深度数据、点在第一有序点阵中的位置信息和通过定标获取的空间几何关系，计算第一有序点阵中属于前景图像的点在三维空间坐标系中的坐标；合并三维空间坐标相同的点，根据点合并结果，重新排列第一有序点阵得到第二有序点阵。

步骤S20，根据处于正三角形边上的3台深度图像采集设备采集的数据对模型表面的空洞进行补充、完善，提高数据精度。具体步骤包括：

步骤S201，获取处于正三角形边上的3台深度图像采集设备采集的图像数据和深度数据。

步骤S202，分别提取3组深度数据中属于前景图像的点。

步骤S203，根据点的深度数据、点在深度数据中的位置信息和通过定标获取的空间几何关系，计算属于前景图像的点在三维空间坐标系中的坐标。

步骤S204，根据步骤S203得到的点的三维空间坐标，到步骤S10中的第二有序点阵中去匹配是否有相同三维空间坐标的点。

步骤S205，若没有相同坐标的点，则将步骤S203得到的点补充到第二序点阵数据中相应的位置。

步骤S206，若有相同坐标的点，则将该点在第二有序点阵中的深度数据记为depth1，将通过步骤S201获取到的该点的深度数据记为depth2，将depth1与depth2分别与匹配度阈值比较，通过比较结果进行筛选；若筛选结果为选取depth2，则用depth2替换第二序点阵数据中的depth1，否则不修改第二序点阵数据。其中，匹配度阈值和筛选的策略可根据实际需求进行设定。

步骤S30，将第二有序点阵网格化得到单元面和网格链接数据；根据图像数据对单元面进行贴图，得到每个单元面的贴图数据和UV布局图；最终确定三维模型数据，三维模型数据包括顶点数据、网格链接数据、UV布局图、贴图数据。

本实施例提供的基于深度图像采集设备的实时三维建模***在实施例二的基础上，通过处于正三角形顶点上的3台深度图像采集设备建模后，再通过处于正三角形边上的3台深度图像采集设备修补模型表面的空洞，进一步提高了三维模型的精度。

为了进一步提高采集范围和精度，组成外三角的3台设备和组成内三角的3台设备处于不同的高度。例如，组成外三角的3台设备的高度高于组成内三角的3台设备的高度，这样，组成外三角的3台设备主要用于获取物体上部的数据，组成内三角的3台设备主要用于获取物体下部的数据。优选组成外三角的3台设备的高度为组成内三角的3台设备的高度的2倍。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (8)

1.一种基于深度图像采集设备的实时三维建模方法，其特征在于，包括：

通过多台深度图像采集设备分别从多个角度获取欲重建物体的图像数据和深度数据；

根据标定顺序，整合所有深度数据得到第一有序点阵；

提取所述第一有序点阵中属于前景图像的点；

根据点的深度数据、点在所述第一有序点阵中的位置信息和通过定标获取的空间几何关系，计算所述第一有序点阵中属于前景图像的点在三维空间坐标系中的坐标；

合并三维空间坐标相同的点，根据点合并结果，重新排列所述第一有序点阵得到第二有序点阵；

将所述第二有序点阵网格化得到单元面和网格链接数据；

根据所述图像数据对所述单元面进行贴图，得到每个单元面的贴图数据和UV布局图；

最终确定三维模型数据，所述三维模型数据包括顶点数据、所述网格链接数据、所述UV布局图、所述贴图数据。

2.根据权利要求1所述的方法，其特征在于，所述提取所述第一有序点阵中属于前景图像的点，包括：

将所述第一有序点阵中的点的深度数据与第一深度阈值和第二深度阈值比较，若所述点的深度数据在所述第一深度阈值与所述第二深度阈值之间，则确定所述点属于前景图像。

3.根据权利要求1所述的方法，其特征在于，所述将所述第二有序点阵网格化得到单元面和网格链接数据，包括：

对所述第二有序点阵中的点进行编号，将所述第二有序点阵中第一行第一列、第一行第二列和第二行第一列的三个点组成一个单元面，并生成所述单元面对应的网格链接数据，所述网格链接数据为组成单元面的三个点的编号按顺序形成的数组，依次类推，完成所述第二有序点阵中所有点的网格化，得到所有单元面对应的网格链接数据。

4.根据权利要求3所述的方法，其特征在于，所述根据所述图像数据对所述单元面进行贴图，得到每个单元面的贴图数据和UV布局图，包括：

根据组成所述单元面的三个点，从所述图像数据中提取相应区域的图像作为所述单元面的贴图数据，并建立所述贴图数据与所述单元面之间的索引关系存入UV布局图。

5.一种基于深度图像采集设备的实时三维建模***，其特征在于，包括：已预先完成定标的多台深度图像采集设备、处理单元；

多台所述深度图像采集设备均与所述处理单元连接；

所述深度图像采集设备用于获取欲重建物体不同角度的图像数据和深度数据，并输出给所述处理单元；

所述处理单元用于根据标定顺序，整合所有深度数据得到第一有序点阵；提取所述第一有序点阵中属于前景图像的点；根据点的深度数据、点在所述第一有序点阵中的位置信息和通过定标获取的空间几何关系，计算所述第一有序点阵中属于前景图像的点在三维空间坐标系中的坐标；合并三维空间坐标相同的点，根据点合并结果，重新排列所述第一有序点阵得到第二有序点阵；将所述第二有序点阵网格化得到单元面和网格链接数据；根据所述图像数据对所述单元面进行贴图，得到每个单元面的贴图数据和UV布局图；最终确定三维模型数据，所述三维模型数据包括顶点数据、所述网格链接数据、所述UV布局图、所述贴图数据。

6.根据权利要求5所述的***，其特征在于，所述深度图像采集设备的数量为3N台，N为大于0的自然数，每3台所述深度图像采集设备所在位置组成一正三角形，N组所述深度图像采集设备从不同角度拍摄欲重建物体，3N台所述深度图像采集设备的拍摄方向均指向欲重建物体。

7.根据权利要求5所述的***，其特征在于，所述深度图像采集设备的数量为6台，其中3台深度图像采集设备所在位置组成正三角形，另外3台深度图像采集设备分别位于所述正三角形的边的中点，6台所述深度图像采集设备的拍摄方向指向正三角形的几何中心。

8.根据权利要求7所述的***，其特征在于，两组深度图像采集设备处于不同的高度。