CN111080776A - 人体动作三维数据采集和复现的处理方法及*** - Google Patents

Abstract

本发明涉及一种人体动作三维数据采集和复现的处理方法及***，方法包括步骤：获取包括多个不同角度的人体动作图像；生成贴图信息；对图像数据组进行三维人体模型重建；利用骨骼提取算法，对重建的三维人体模型进行骨骼提取，获得绑定好骨骼的三维人体模型；获取人体运动视频流，经过深度学习算法提取人体动作，将提取的人体动作融入绑定好骨骼的三维人体模型，生成有动作的人体模型；复现三维人体动作。本***包括图像数据采集单元、人体模型三维重建单元、人体动作模型生成单元、人体动作三维模型复现单元和数据存储单元。本发明提高了模型计算人体动作的精确度，为各种人体动作的采集与复现提供了必要的支持。

Description

人体动作三维数据采集和复现的处理方法及***

技术领域

本发明涉及计算机视觉处理技术领域，特别是涉及一种人体动作三维数据采集和复现的处理方法及***。

背景技术

虚拟人物的动态模型是现代产业发展的重要组成部分，例如智慧工厂、电影和游戏视觉效果应用等，对于真实感、沉浸式虚拟和增强现实、临场感以及三维，及自由视点视频都有着不可估量的价值。这种虚拟人物的理想特征是高级的、一体的、密集的形状、运动和变化模型，以及人的外表，而不论其体格或服装风格如何。以高保真度创作此类模型通常需要专业人员数月的工作。为了简化这个过程，我们研究了无标记的人体动作三维数据采集和复现的方法，从真实人体运动的摄像机记录中重建出一部分这样的三维模型。

三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全，因此三维重建需要利用经验知识。而多视图的三维重建(类似人的双目定位)相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图像坐标系与世界坐标系的关系，然后利用多个二维图像中的信息重建出三维信息。

目前，市面上常用的三维重建设备或方法包括三种。第一种是基于激光扫描的方法，其主要是基于激光测距的原理，此类设备的构造一般主要包括一台高速精确的激光测距仪、数码相机、以及引导激光运动的辅助设备。采用激光扫描的方法具有精度高、速度快的优点，然而其设备往往价格昂贵，并且体积等常比较大；第二种方法是基于单摄像机及辅助信息的方法，这类方法需要在物体上打上主动光斑等辅助信息，通过分析纹理光斑的形变等变化来计算出物体的三维位置信息，比如一些设备采用红外投影仪向物体投射结构化的光斑信息。这类方法的缺点在于需要额外的辅助设备，并且在对物体快速运动的场景会遇到困难。而且有一些三维重建的方法，物体轮廓分割不干净，物体轮廓和物体外貌颜色信息获取不准确，计算量大，步骤复杂。第三种方法是基于立体视觉的方法，即通过两台以上摄像机从不同角度对物体进行拍摄，分析获得的图像数据，从中计算出物体各个三维点的空间位置，从而得到三维重建数据，这类方法关键需要解决高精度拍摄物体各个三维点的空间位置，从而得到三维重建数据，然而这类方法需要高精度的恢复出物体三维点云信息，这样又存在很大困难，并且此类方法得到的仅仅是一个静态的人物模型。

发明内容

针对现有技术的不足和缺陷，本发明提出了一种人体动作三维数据采集和复现的处理方法及***，通过对人体动作图像的采集处理，实现快速人体三维模型重建，通过提取骨骼模型，获取绑定好骨骼的三维人体模型，通过拍摄人体运动视频，基于视频信息，再通过深度学习方法进行人体姿态估计，提取人体动作，结合绑定好骨骼的三维人体模型进行三维重建，生成有动作的人体模型，并进行虚拟展示，复现人体运动全过程。

为了实现上述目的，本发明技术方案为：

一种人体动作三维数据采集和复现的处理方法，其特征在于：包括步骤：

S1，获取包括多个不同角度的人体图像；

S2，对多个不同角度的人体图像信息进行空间匹配处理，再将处理后的图像信息融合为一个点云模型，再将图像进行特征匹配和裁剪后生成贴图信息；

S3，对生成的具备贴图信息的点云模型数据进行三角化处理和BA优化后生成图像数据组，对该图像数据组进行三维人体模型重建；

S4，利用骨骼提取算法，对步骤S3中重建的三维人体模型进行骨骼提取，获得绑定好骨骼的三维人体模型；

S5，获取人体运动视频流，经过深度学习算法提取人体动作，将提取的人体动作加入步骤S4中绑定好骨骼的三维人体模型，生成有动作的人体模型；

S6，复现三维人体动作。

进一步地，S1中还需要对获取的人体图像进行畸变校正处理。

进一步地，S1中人体图像是通过多个高清摄像头拍摄获取的。

进一步地，S1中多个高清摄像头在拍摄人体图像时还需要对拍摄终端进行基准点标定，确定拍摄终端的空间方位和内部参数。

进一步地，S4中的骨骼提取算法采用K3M顺序迭代算法。

进一步地，S6中将S5中生成的有动作的人体模型输入至VR复现***，通过VR复现***复现三维人体动作。

进一步地，S1中获取的人体动作图像和S5中获取人体运动视频流可同时通过不同或相同的拍摄设备获得。

一种人体动作三维数据采集和复现的处理***，其特征在于，包括：

图像数据采集单元，用于采集多个不同角度的人体图像；

人体模型三维重建单元，用于对图像数据采集单元采集的人体图像进行三维人体模型重建，并对重建的三维人体模型进行骨骼提取，进而获得绑定好骨骼的三维人体模型；

人体动作模型生成单元，用于获取人体运动视频流，并经过深度学习算法提取人体动作，将提取的人体动作加入绑定好骨骼的三维人体模型，生成有动作的人体动作模型；

人体动作三维模型复现单元，用于对完成人体动作模型后的人体动作的复现；

数据存储单元，用于对图像数据采集单元采集的数据、人体模型三维重建单元、人体动作模型生成单元之间的数据进行存储和交互。

进一步地，所述***中的所述图像数据采集单元包括由多个可同时拍摄的摄像头构成的拍摄终端。

进一步地，所述***中的所述人体动作三维模型复现单元包括VR复现展示***。

上述技术方案具有如下有益效果：相比以往的人体三维建模方法，本发明申请通过多角度人物图像同步采集，集中快速完成人体三维建模，通过拍摄人体运动视频，基于视频信息，通过深度学习进行人体姿态估计，提取人体动作，结合绑定好骨骼的三维人体模型进行三维重建，生成有动作的人体模型，并进行虚拟展示，复现人体运动全过程，并且通过深度学习方法，提高了模型计算人体动作的精确度，为各种人体动作的采集与复现提供了必要的支持。

附图说明

图1为本发明方法流程图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的首选实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的数量词只是举例说明，并不限于该数量。所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

如图1所示，一种人体动作三维数据采集和复现的处理方法，其特征在于：包括步骤：

S1，获取包括多个不同角度的人体图像，多个不同角度的人体图像通过多个高清摄像头拍摄获得，在拍摄的同时，需要获取多个高清摄像头的空间方位和内部参数，空间方位即摄像机在的世界坐标系中的方位，取得摄像机在世界坐标系中的方位信息，用于畸变矫正。内部参数包括摄像机的焦距、摄像机主点坐标以及成像畸变参数。本实施例的多个高清摄像头被搭建在一个三维拍摄空间内，该空间属于一个中空的立体空间，在该空间四周纵横的位置均布有多个高清摄像头，例如在一个圆柱立体空间固定间隔位置安装20根拍摄杆，每根杆上均匀布置5个摄像头，总共安装100个，而且，在立体空间内还可搭建控制照明设备，保证拍摄空间有足够的光源，用于提升拍摄效果。另外，多个摄像头可连接同一控制开关，由一键多摄像头同时拍摄采集图像，需要补充说明的是，在获取到人体图像后还需要对获取的人体图像进行畸变校正处理，畸变过程参照如下：

计算机视觉进行检测识别前均需对相机进行标定，通过Matlab中的cameraCalibrator工具对摄像机进行简单径向畸变和切向畸变的标定，获取相机三个径向畸变参数k1,k2,k3及两个切向畸变参数p1,p2。这五个参数可在后续opencv图像校正中进行使用。

对于径向畸变可以通过下面的泰勒级数展开式进行校正：

x_corrected1＝x(1+k₁r²+k₂r⁴+k₃r⁶)

y_corrected1＝y(1+k₁r²+k₂r⁴+k₃r⁶)

这里的x、y是图像中的畸变后的位置坐标，通过校正得到真实坐标。r是该点距成像中心的距离。

切向畸变可以通过如下公式来矫正：

x_corrected2＝x+[2p₁y+p₂(r²+2x²)]

y_corrected2＝y+[2p₁x+p₂(r²+2y²)]

这里的x、y是图像中的畸变后的位置坐标，通过校正得到真实坐标。r是该点距成像中心的距离。

本实施例采用的是opencv畸变模型进行畸变矫正。

其中径向畸变模型为：由泰勒展式得出，在opencv中K＝1，r²＝x²⁺y²，(x，y)为真实坐标(发生畸变)，(x’，y’)为理想坐标。

δ_xr＝x(k₁r²+k₂r⁴+k₃r⁶+K)

δ_yr＝y(k₁r²+k₂r⁴+k₃r⁶+K)

切向畸变模型为：

δ_xd＝2p₁xy+p₂(r²+2x²)+K

δ_yd＝2p₁(r²+2y²)+2p₂xy+K

理想坐标(x’，y’)与真实坐标(x，y)：

x’＝x+δ_xr+δ_xd

y’＝y+δ_yr+δ_yd

可得：

由公式可得畸变有k1,k2,k3,p1,p2五个参数，对于质量比较好的相机来说，切向畸变很小，可忽略，径向畸变系数k3也可忽略，只计算k1,k2两个参数。

S2，对多个不同角度的人体图像信息进行空间匹配处理，再将处理后的图像信息融合为一个点云模型，再将图像进行特征匹配和裁剪后生成贴图信息；

S3，对生成的具备贴图信息的点云模型数据进行三角化处理和BA优化后生成图像数据组，对该图像数据组进行三维人体模型重建；

S4，利用骨骼提取算法，对步骤S3中重建的三维人体模型进行骨骼提取，获得绑定好骨骼的三维人体模型，其中，骨骼提取算法采用K3M顺序迭代算法，具体的，首先提取目标***轮廓，然后利用轮廓腐蚀目标图像边界(这是一次迭代过程)直至腐蚀到不能再腐蚀。具体算法分为两块：

第一块，不断腐蚀，提取出伪骨架(部分区域有两层像素宽度，但已经很接近真实骨架)。第二块，从伪骨架中提取真实骨架。

其中，第一块：提取出伪骨架中，每次迭代共有6步，不断迭代，直至某次迭代的过程目标边界中没有新的像素被腐蚀，那么此时，剩余的目标图像像素就很接近于真实骨架(称之为伪骨架)。

第一块中的第一步：提取最新目标轮廓(初始为原目标轮廓)并记录这些轮廓点。

第二步，依次检测这些轮廓点的8像素邻域，是否只含有3连通像素，如果有，把此点从轮廓点删除，并在目标图像中删除(腐蚀掉)对应点。

第三步，依次检测第二步中剩余轮廓点的8像素邻域，是否只含有3或4连通像素，如果有，把此点从轮廓点删除，并在目标图像中删除(腐蚀掉)对应点。

第四步，依次检测第三步中剩余轮廓点的8像素邻域，是否只含有3或4或5连通像素，如果有，把此点从轮廓点删除，并在目标图像中删除(腐蚀掉)对应点。

第五步，依次检测第四步中剩余轮廓点的8像素邻域，是否只含有3或4或5或6连通像素，如果有，把此点从轮廓点删除，并在目标图像中删除(腐蚀掉)对应点。

第六步，依次检测第五步中剩余轮廓点的8像素邻域，是否只含有3或4或5或6或7连通像素，如果有，把此点从轮廓点删除，并在目标图像中删除(腐蚀掉)对应点。这是一次迭代过程的最后一步，如果在这步骤中仍有像素被腐蚀，说明除了真实骨架还有“肉”，仍需继续腐蚀边界。这一步骤是算法迭代的终止条件。

第二块，从伪骨架中提取真实骨架，具体算法是根据第一块得到的伪骨架有部分区域是两个像素宽度，而目标骨架是单层像素宽度。所以，通过下面这一步骤提取最终骨架：

依次检测目标图像中，伪骨架的8像素邻域，是否只含有2或3或4或5或6或7连通像素，如果有，把此点从伪骨架中删除(腐蚀)，就得了最终的骨架。

S5，获取人体运动视频流，经过深度学习算法提取人体动作，将提取的人体动作加入步骤S4中绑定好骨骼的三维人体模型，生成有动作的人体模型；本实施例的深度学习(Deep learning)采用一种新的网络结构Stacked Hourglass Networks来对人体的姿态进行识别，这个网络结构能够捕获并整合图像所有尺度的信息。通过Hourglass模块捕捉每个尺度下的信息，比如捕捉像脸、手这些部分的时候需要局部的特征，对人体姿态进行预测的时候需要捕捉整体的信息。为了捕获图片在多个尺度下的特征，通常的做法是使用多个pipeline分别单独处理不同尺度下的信息，然后在网络的后面部分再组合这些特征，具体是用带有skip layers的单个pipeline来保存每个尺度下的空间信息。

S6，将S5中生成的有动作的人体模型输入至VR复现***，通过VR展示***复现三维人体动作。

需要说明的是，S1中获取的人体动作图像和S5中获取人体运动视频流可同时通过不同或相同的拍摄设备获得。

一种人体动作三维数据采集和复现的处理***，包括：

图像数据采集单元，用于采集多个不同角度的人体图像；其中，图像数据采集单元如上述在一个中空的立体空间内的多个高清摄像头实现。

人体模型三维重建单元，用于对图像数据采集单元采集的人体图像进行三维人体模型重建，并对重建的三维人体模型进行骨骼提取，进而获得绑定好骨骼的三维人体模型；

人体动作模型生成单元，用于获取人体运动视频流，并经过深度学习算法提取人体动作，将提取的人体动作加入绑定好骨骼的三维人体模型，生成有动作的人体动作模型；

人体模型三维重建单元和人体动作模型生成单元可由集成有相应处理软件的处理器集中实现，处理器不限于中央处理器、其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是拍摄设备和输出设备的控制中心，利用各种接口和线路连接各终端拍摄设备和输出设备等。

人体动作三维模型复现单元，用于对完成人体动作模型后的人体动作的复现；人体动作三维模型复现单元采用VR展示***，通过对应接口与处理器连接。

数据存储单元，数据存储单元采用与处理器连接的外部存储器或内部存储器，用于对图像数据采集单元采集的数据、人体模型三维重建单元、人体动作模型生成单元之间的数据进行存储和交互，其中，存储器可用于存储计算机程序和/或模块和/或数据，处理器通过运行或执行存储在存储器内的计算机程序和/或模块、以及调用存储在存储器内的数据，实现各功能。此外，存储器可为高速随机存取存储器，还可以是非易失真性存储器，例如硬盘、内存、闪存卡或其他易失性固态存储器件。

以上所属实施例仅表达了本发明的集中实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制，应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人体动作三维数据采集和复现的处理方法，其特征在于：包括步骤：

S1，获取包括多个不同角度的人体图像；

S2，对多个不同角度的人体图像信息进行空间匹配处理，再将处理后的图像信息融合为一个点云模型，再将图像进行特征匹配和裁剪后生成贴图信息；

S3，对生成的具备贴图信息的点云模型数据进行三角化处理和BA优化后生成图像数据组，对该图像数据组进行三维人体模型重建；

S4，利用骨骼提取算法，对步骤S3中重建的三维人体模型进行骨骼提取，获得绑定好骨骼的三维人体模型；

S5，获取人体运动视频流，经过深度学习算法提取人体动作，将提取的人体动作加入步骤S4中绑定好骨骼的三维人体模型，生成有动作的人体模型；

S6，复现三维人体动作。

2.如权利要求1所述的人体动作三维数据采集和复现的处理方法，其特征在于：S1中还需要对获取的人体图像进行畸变校正处理。

3.如权利要求2所述的人体动作三维数据采集和复现的处理方法，其特征在于：S1中人体图像是通过多个高清摄像头拍摄获取的。

4.如权利要求3所述的人体动作三维数据采集和复现的处理方法，其特征在于：S1中多个高清摄像头在拍摄人体图像时还需要对拍摄终端进行基准点标定，确定拍摄终端的空间方位和内部参数。

5.如权利要求1所述的人体动作三维数据采集和复现的处理方法，其特征在于：S4中的骨骼提取算法采用K3M顺序迭代算法。

6.如权利要求1所述的人体动作三维数据采集和复现的处理方法，其特征在于：S6中将S5中生成的有动作的人体模型输入至VR复现***，通过VR复现***复现三维人体动作。

7.如权利要求1所述的人体动作三维数据采集和复现的处理方法，其特征在于：S1中获取的人体图像和S5中获取人体运动视频流可同时通过不同或相同的拍摄设备获得。

8.一种人体动作三维数据采集和复现的处理***，其特征在于，包括：

图像数据采集单元，用于采集多个不同角度的人体图像；

人体模型三维重建单元，用于对图像数据采集单元采集的人体图像进行三维人体模型重建，并对重建的三维人体模型进行骨骼提取，进而获得绑定好骨骼的三维人体模型；

人体动作模型生成单元，用于获取人体运动视频流，并经过深度学习算法提取人体动作，将提取的人体动作加入绑定好骨骼的三维人体模型，生成有动作的人体动作模型；

人体动作三维模型复现单元，用于对完成人体动作模型后的人体动作的复现；

数据存储单元，用于对图像数据采集单元采集的数据、人体模型三维重建单元、人体动作模型生成单元之间的数据进行存储和交互。

9.如权利要求8所述的人体动作三维数据采集和复现的处理***，其特征在于：所述图像数据采集单元包括由多个可同时拍摄的摄像头构成的拍摄终端。

10.如权利要求8所述的人体动作三维数据采集和复现的处理***，其特征在于：所述人体动作三维模型复现单元包括VR复现展示***。

Images