CN106981091A - 人体三维建模数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种人体三维建模数据处理方法，包括步骤：S1：投影仪投射可识别的图案到人体表面特征点的位置；S2：对投射有所述图案的人体进行拍摄，获取深度图像和彩色图像；S3：根据所述彩色图像识别并定位所述人体表面的所述图案，得到二维特征点序列；S4：结合所述深度图像将所述二维特征点序列映射为三维空间的点，构成三维特征点序列；S5：将所述三维特征点序列结合标准人体模板进行形变处理获取人体三维模型，实现了快速地建立人体三维模型。

Description

人体三维建模数据处理方法及装置

技术领域

本发明涉及人体测量技术领域，特别是涉及一种人体三维建模数据处理方法及装置。

背景技术

现实生活中，往往需要获取人体身体的尺寸信息，用于诸如量体裁衣、肥胖检测等等。人体测量技术依据是否和人体接触可以分为接触式人体测量和非接触式人体测量。接触式人体测量，传统上采用的是利用测量工具，比如卷尺等等，直接从人体上量取所需要的尺寸信息。这种方式因为和人体是有接触的而不友好，另外在量取所需要的尺寸的耗时上也较长，同时由于是人力操作而不是机器式，效率比较低。非接触式人体测量相比于接触式人体测量，由于采用的是非接触的方式，则在采集友好性上更好。非接触人体测量技术有廓体影像法，三维人体测量法等等。廓体影像法是直接在所拍摄的图片上进行人体测量。三维人体测量法则是一个交叉学科领域，尤其是近年来在3D传感器技术和设备上的快速发展，也使得三维人体测量成为研究热点。

在三维人体测量领域，进行必要的长度和围长测量时所需要的数据主要包括人体骨骼关节点和人体表面特征点。人体骨骼关节点的检测和识别依赖于3D传感器的骨架追踪提取功能，而人体表面特征点的标识和提取较为复杂。目前三维人体测量中在人体表面特征点的标识和提取上主要有三种方法：第一，直接在所获得的三维人体模型上手动标识人体表面特征点；第二，先构造三维人体模型数据库，数据库里的每个三维人体模型都已经手动标记好人体表面特征点，然后通过机器学习方法，训练得到三维人体模型表面特征点与三维人体模型的关系，再将所要进行测量的三维人体模型作为输入，输出的结果就是估测的人体表面特征点；第三，先在人体表面特征点位置印上有特殊标记的图案，然后通过所拍摄图片识别和定位这些图案，之后通过二维空间和三维空间的映射关系，可得到三维空间中的这些图案的坐标位置，即为人体表面特征点的位置。以上的方法中，方法一，由于为手动标识，过程比较繁琐且耗时较长。方法二，需要构建规模比较大的人体模型数据库，同时训练好模型与表面特征点的关系，才能估测出比较准确的人体表面特征点。建立一个规模比较大的人体模型数据库，还需要对每个人体表面特征点进行标识，所需要的工作量相当大，目前一些公开可用的人体模型数据库，如CAESAR等等，所涵盖的种族范围也基本是白人群体，不同种族的人在人体尺寸上具有较大的差别。方法三，在人体表面特征点的位置实际印上特殊图案进而通过图像识别的技术识别并定位这些图案，由于是和人体表面有接触的，是一种介于接触式人体测量和非接触人体测量的方法，在采集数据的友好性上是不良好的。

发明内容

为了解决现有技术中人体三维建模过程繁琐的技术问题，本发明提出一种人体三维建模数据处理方法及***。

本发明的技术问题通过以下的技术方案予以解决：一种人体三维建模数据处理方法，包括以下步骤：

S1：投影仪投射可识别的图案到人体表面特征点的位置；

S2：对投射有所述图案的人体进行拍摄，获取深度图像和彩色图像；

S3：根据所述彩色图像识别并定位所述人体表面的所述图案，得到二维特征点序列；

S4：结合所述深度图像将所述二维特征点序列映射为三维空间的点，构成三维特征点序列；

S5：将所述三维特征点序列结合标准人体模板进行形变处理获取人体三维模型。

具体地，在步骤S1中所述人体表面特征点的获取步骤包括：

T1：采用3D传感器获取人体骨骼及关节点；

T2：根据所述人体骨骼及关节点标定所述人体表面特征点。

具体地，所述深度图像通过3D传感器内置的深度相机获取；所述彩色图像通过摄像机或3D传感器内置的彩色相机获取。

进一步地，在步骤S1之前包括步骤：

S11：对所述深度相机、彩色相机或摄像机进行标定，获取对应的内部参数及外部参数；

S12：根据所述内部参数及外部参数建立所述深度图像与所述彩色图像的映射关系。

更进一步地，所述投影仪的数量至少为1台，所述3D传感器的数量至少为1台，所述摄像机的数量至少为1台。

具体地，所述图案包括二维码和/或条码。

具体地，每一个所述图案用于唯一标识人体表面对应的所述特征点。

具体地，在步骤S4中，还包括通过邻域搜索算法去除冗余的所述三维空间的点。

本发明包括一种采用人体三维建模数据处理方法的装置，包括至少一台3D传感器、至少一台投影仪、计算设备、和/或至少一台摄像机，所述计算设备包含的软件程序利用所述3D传感器、投影仪、和/或摄像机执行上述任一所述的方法。

本发明还包括一种包含计算机程序的计算机可读存储介质，所述计算机程序使计算机执行上述任一所述方法的步骤。

本发明与现有技术对比的有益效果包括：投影仪投射可识别的图案到人体表面特征点的位置，只需要投射一次图案，并准确的定位了人体表面特征点的位置，之后进行拍摄获取深度图像和彩色图像，根据彩色图像识别并定位人体表面的图案，得到二维特征点序列，结合深度图像将二维特征点序列映射为三维空间的点构成了三维特征点序列，再将三维特征点序列结合人体模板形变处理获取人体三维模型，根据人体三维模型测量尺寸数据，实现了快速地建立人体三维模型。

附图说明

图1是本发明实施例1中的人体三维建模数据处理方法的流程图。

图2是本发明实施例1中的获取人体表面特征点的流程图。

图3是本发明实施例1中的建立深度图像与彩色图像映射关系的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

下面对照附图并结合优选的实施方式对本发明作进一步说明。

实施例1

需要说明的是3D传感器内置有深度相机和彩色相机，在本实施例中，采用3D传感器内置的深度相机获取深度图像，但采用高分辨率摄像机获取彩色图像。在其他的实施例中，也可以采用3D传感器内置的彩色相机获取彩色图像。

本实施例中采用的人体三维尺寸测量装置，包括：投影仪，摄像机，3D传感器，计算机。具体地，采用2台投影仪，4台摄像机，4台3D传感器，1台计算机。一台高分辨率摄像机与一台3D传感器合成为一组，4个组合刚好分别对应被拍摄者的前后左右四个方向，且每组的位置相对固定。两台投影仪分别对应于被拍摄者的前后方向。4台摄像机，4个3D传感器，2个投影仪，均直接或间接地通过分线器连接到计算机设备上，所述计算机设备为包含计算机程序的计算机设备。被拍摄者的特征点都能确保被拍摄到，所述被拍摄者是指能直观准确反映其身体轮廓及所投射的可识别图案的被拍摄者，如以穿浅色紧身衣遮盖隐私部位的被拍摄者，采用浅色紧身衣可以有利于图案的显示。所述被拍摄者在拍摄中具有这样一种姿态：笔直站立，双脚张开距离略小于肩宽，双手自然下垂与身体不接触，留有一定距离。所述被拍摄者的姿态，确保了在拍摄中而不会因为人体姿态的问题，比如手臂交叉、双腿并拢等，造成拍摄全方位特征点难，或所拍摄特征点存在大范围缺失的问题。

在本实施例中，3D传感器、摄像机放置在一支撑架上，具体地，所述支撑架为一竖直横杆；3D传感器、摄像机可以在竖直横杆的垂直方向上放置多个这种组合，进一步的，可以在垂直方向上等间距分布。但出于成本、数据计算量等因素考虑，本实施例中每个竖直横杆上只采用一组，优选的，投影仪放置在所述组合的垂直方向之上。3D传感器、摄像机组合的安装高度以能实现对被拍摄者的全身拍摄为准，投影仪的安装高度以能实现将所有图案投射到人体表面为准。

在其他实施例中，所述摄像机的数量也可以为至少1台，3D传感器的数量为至少1台，投影仪的数量为至少1台，以拍摄到被投射有可识别图案的人体的深度图像和彩色图像。

基于上述人体三维建模数据处理装置进行人体三维测量，具体地，如图1所示，人体三维建模数据处理方法包括以下步骤：

S1：投影仪投射可识别的图案到人体表面特征点的位置；可识别的图案为具有特殊规则的可识别图案，在本实施例中所述图案采用二维码，在其他实施例中也可以是有条码，也可以是条码与二维码结合等可识别图案，所采用的每个二维码和信息均不一样，用于唯一标识人体表面每一个特征点，每个二维码对应一个个特征点，具有固定特性的二维码对不同的被拍摄者可重复使用，也有利于后续的图像识别，若所述二维码在人体表面特征点的对应投入位置出现偏差可在计算机上依据前期在原理图上标识好的人体表面特征点进行调整。

如图2所示，所述人体表面特征点的获取步骤包括：

T1：采用3D传感器获取人体骨骼及关节点；

T2：根据所述人体骨骼及关节点标定所述人体表面特征点。

如图3所示，在步骤S1之前还包括步骤：

S11：对每个摄像机和3D传感器内置的深度相机进行相机标定，以获得对应的摄像机的内部参数和外部参数，以及3D传感器的深度相机的内部参数和外部参数；

S12：根据所述内部参数及外部参数建立所述深度图像与所述彩色图像的映射关系。

深度图像上每一个像素的值对应于深度相机与所述目标对象表面每一个采样点的真实距离。对每个3D传感器内置的深度相机和彩色相机进行相机的标定，获取得到深度相机的内部参数，彩色相机的内部参数，深度相机相对于彩色相机的外部参数。深度相机的内部参数主要由f_{x_Depth}，f_{y_Depth}，O_{x_Depth}，O_{y_Depth}组成，其中f_{x_Depth}，f_{y_Depth}分别对应于深度相机的x轴和y轴方向的焦距，O_{x_Depth}，O_{y_Depth}，分别对应于深度相机原点的x轴和y轴坐标。彩色相机的内部参数主要由f_{x_RGB}，f_{y_RGB}，O_{x_RGB}，O_{y_RGB}组成，其中f_{x_RGB}，f_{y_RGB}，分别对应于彩色相机的x轴和y轴方向的焦距，O_{x_RGB}，O_{y_RGB}，分别对应于彩色相机原点的x轴和y轴坐标。深度相机相对于彩色相机的外部参数主要由R，T组成，其中R为旋转矩阵，R_x，R_y，R_z分别为绕x,y,z轴的旋转分量，T为平移矩阵，T_x，T_y，T_z分别为沿x,y,z轴的平移分量。

进一步的，在每个3D传感器对所述目标对象拍摄得到的数据主要由目标对象和背景两部分数据组成。将所述目标对象与背景进行分割从而得到所述目标对象的数据主要可以采用两种方式进行：基于彩色图像、基于深度图像。由于所述目标对象与背景在深度值上相差较大，可通过设定深度阈值将所述目标对象与背景分割出来。进一步的，所述3D传感器有人体骨架识别功能，利用此人体识别功能可将所述目标对象与背景进行分割，得到仅包含所述目标对象的数据。

具体公式如下：

其中Depth(x，y)代表深度图像每一像素的值，x,y代表深度图像上每一像素的x轴，y轴坐标。P_Depth(X_Depth，Y_Depth，Z_Depth)代表深度图像上每一个像素点在三维空间的点。

相对于所述深度相机的三维空间点与相对于所述摄像机的三维空间点具有如下的映射关系：

P_RGB(X_RGB，Y_RGB，Z_RGB)＝R.P_Depth+T (4)

其中P_RGB(X_RGB，Y_RGB，Z_RGB)为每个彩色点在三维空间的坐标；每个三维空间的彩色点与所述彩色图像上的像素点具有如下的映射关系：

经由步骤(1)-(3)可得到不包含颜色信息的三维点云数据；经由步骤(1)-(6)可得到包含颜色信息的三维点云数据。

S2：对投射有所述图案的人体进行拍摄，获取深度图像和彩色图像；所述深度图像通过3D传感器内置的深度相机获取，所述彩色图像通过摄像机获取，在本实施例中所述摄像机采用高分辨率摄像机，所述高分辨率摄像机和3D传感器同步拍摄人体的彩色和深度数据。采用高分辨率摄像机对人体进行拍摄，与3D体感器内置的彩色相机相比，所拍摄到的图片具有更高分辨率，使得二维码具有更高的识别率和更为精确的定位。

S3：根据所述彩色图像识别并定位所述人体表面的所述图案，得到二维特征点序列；

S4：结合所述深度图像将所述二维特征点序列映射为三维空间的点，构成三维特征点序列；在该步骤中，通过邻域搜索算法去除冗余的所述三维空间的点。

S5：将所述三维特征点序列结合标准人体模板进行形变处理获取人体三维模型。根据所述人体三维模型测量尺寸数据，所述尺寸数据包括身高、肩宽、腿长、臂长、腰围、臀围、胸围等。

具体地，根据所述三维特征点序列结合标准人体模板进行形变处理从而获取人体三维模型可采用三维形变算法，如径向基函数。径向基函数用于三维形变处理关键在于找到控制点和目标点。控制点是标准人体模板上的特征点序列，而目标点是被拍摄人体上的特征点序列。所述三维特征点序列即可为目标点。控制点和目标点是一一对应的。利用所述标准人体模板的控制点以及所述被拍摄人体的目标点可建立起径向基函数，基于所述函数可将标准人体目标作形变处理从而获取被拍摄人体的三维模型。

本实施例包括一种采用人体三维建模数据处理方法的装置，所述装置包括至少一台3D传感器、至少一台投影仪、计算设备、和/或至少一台摄像机，所述计算设备包含的软件程序利用所述3D传感器、投影仪、和/或摄像机执行本实施例所述的方法。

本实施例还包括一种包含计算机程序的计算机可读存储介质，所述计算机程序使计算机执行本实施例所述方法的步骤。

实施例2

与实施例1区别在于，本实施例中3D传感器的数量为1台，摄像机的数量为1台，投影仪为1台，所述3D传感器和所述摄像机所在的支撑架放于一圆形导轨上，所述导轨有导轮和电机，所述电机运行可推动所述导轮滚动，从而带动所述支撑架上的所述3D传感器和摄像机绕着以所述被拍摄者为圆心进行同步拍摄，当被拍摄者正面或背面对着3D传感器和摄像机时，投影仪开启，投射图案到人体表面相应的特征点位置，当被拍摄者左右侧面对着3D传感器和投影仪时，投影仪不开启，不投射图案到人体表面。

在其他实施例中，彩色图像也可以采用3D传感器内置的彩色相机获取。

实施例3

与实施例2的区别在于，被拍摄者站在一转盘上，由电机驱动带动被拍摄者转动，3D传感器与摄像机及投影仪不动，同时，为了方便被拍摄者拍摄保持静止，可在转盘上设置两个扶手；控制转盘转动时，当被拍摄者正面或背面对着3D传感器和摄像机时，投影仪开启，投射图案到人体表面相应的特征点位置，当被拍摄者左右侧面对着3D传感器和投影仪时，投影仪不开启，不投射图案到人体表面。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种人体三维建模数据处理方法，其特征在于，包括以下步骤：

S1：投影仪投射可识别的图案到人体表面特征点的位置；

S2：对投射有所述图案的人体进行拍摄，获取深度图像和彩色图像；

S3：根据所述彩色图像识别并定位所述人体表面的所述图案，得到二维特征点序列；

S4：结合所述深度图像将所述二维特征点序列映射为三维空间的点，构成三维特征点序列；

S5：将所述三维特征点序列结合标准人体模板进行形变处理获取人体三维模型。

2.如权利要求1所述的人体三维建模数据处理方法，其特征在于，在步骤S1中所述人体表面特征点的获取步骤包括：

T1：采用3D传感器获取人体骨骼及关节点；

T2：根据所述人体骨骼及关节点标定所述人体表面特征点。

3.如权利要求1所述的人体三维建模数据处理方法，其特征在于，所述深度图像通过3D传感器内置的深度相机获取；所述彩色图像通过摄像机或3D传感器内置的彩色相机获取。

4.如权利要求3所述的人体三维建模数据处理方法，其特征在于，在步骤S1之前包括步骤：

S11：对所述深度相机、彩色相机或摄像机进行标定，获取对应的内部参数及外部参数；

S12：根据所述内部参数及外部参数建立所述深度图像与所述彩色图像的映射关系。

5.如权利要求3所述的人体三维建模数据处理方法，其特征在于，所述投影仪的数量至少为1台，所述3D传感器的数量至少为1台，所述摄像机的数量至少为1台。

6.如权利要求1所述的人体三维建模数据处理方法，其特征在于，所述图案包括二维码和/或条码。

7.如权利要求1所述的人体三维建模数据处理方法，其特征在于，每一个所述图案用于唯一标识人体表面对应的所述特征点。

8.如权利要求1所述的人体三维建模数据处理方法，其特征在于，在步骤S4中，还包括通过邻域搜索算法去除冗余的所述三维空间的点。

9.一种采用人体三维建模数据处理方法的装置，其特征在于，包括至少一台3D传感器、至少一台投影仪、计算设备、和/或至少一台摄像机，所述计算设备包含的软件程序利用所述3D传感器、投影仪、和/或摄像机执行如权利要求1至8任一所述的方法。

10.一种包含计算机程序的计算机可读存储介质，其特征在于，所述计算机程序使计算机执行如权利要求1至8任一所述方法的步骤。