CN110544273A - 运动捕捉方法、装置以及*** - Google Patents

Abstract

本发明公开了一种运动捕捉方法、装置以及***，属于计算机技术领域。方法包括：获取多个目标物在多个图像采集设备当前时刻采集到的各个图像中成像的二维位置信息；根据已知目标物在上一时刻的三维位置信息和速度信息进行预测，得到已知目标物在当前时刻的预测三维位置信息；基于多个图像采集设备的参数信息，将已知目标物在当前时刻的预测三维位置信息转换为预测二维位置信息；将预测二维位置信息与各个图像中各个成像的二维位置信息进行对应，确定已知目标物在各个图像中成像的二维位置信息；将已知目标物在各个图像中成像的二维位置信息，转换为已知目标物在当前时刻的三维位置信息。本发明可以提高***捕捉目标物的准确率。

Description

运动捕捉方法、装置以及***

技术领域

本发明涉及计算机技术领域，尤其涉及一种运动捕捉方法、装置以及***。

背景技术

随着计算机技术的发展，运动捕捉技术日益成熟，运动捕捉技术是基于计算机图形学原理，获取运动物体在不同时间的运动状况，从而达到对运行物体进行定位和跟踪的目的。

目前，相关技术采用的运动捕捉方法如下：首先通过多次拍摄取平均值的方法，提取出运动物体的颜色分量模型[R，G，B]，然后利用各个相机对运动物体进行图像采集，得到包含运动物体的多张待识别图像，对于每张图像，遍历该图像中每个像素的颜色分量[Rp，Gp，Bp]，每遍历到一个像素，则确定该像素与已提取的颜色分量模型是否满足预设条件，该预设条件是指该像素的每个颜色分量与颜色分量模型中对应颜色分量之间的差值均小于或等于门限阈值。如果满足，则认为当前像素属于该运动物体，当从图像中找到该运动物体的所有像素后，根据这些像素的坐标获取运动物体在各个相机中的成像位置坐标(运动物体在各个相机所采集图像中的二维坐标)。遍历完各个相机采集的所有图像后，即得到了运动物体对应的所有二维坐标，进而通过三维坐标定位算法和这些二维坐标，获取目标物的空间三维坐标(空间位置)。

在实现本发明的过程中，发明人发现相关技术至少存在以下问题：

上述技术需采用基于颜色分量模型的目标识别技术，来获取运动物体对应的二维坐标，由于外观相同的物体在图像上具有相同的颜色和形状，不同运动物体的颜色分量模型相同，容易出现图像中的同一个像素与所有运动物体的颜色分量模型均满足预设条件，无法将这些像素一一对应到单个运动物体上，也即是，不能准确地确定图像中的各个像素属于哪一个运动物体，从而不能准确地获取到运动物体对应的二维坐标以及空间位置，运动捕捉的准确率差。

发明内容

本发明实施例提供了一种运动捕捉方法、装置以及***，可以解决相关技术捕捉目标物的准确率差的问题。所述技术方案如下：

第一方面，提供了一种运动捕捉方法，所述方法包括：

基于多个图像采集设备在当前时刻对多个目标物进行图像采集得到的各个图像，获取所述多个目标物在采集到的各个图像中成像的二维位置信息；

根据所述多个目标物中已知目标物在上一时刻的三维位置信息和速度信息进行预测，得到所述已知目标物在所述当前时刻的预测三维位置信息，所述已知目标物为记录了上一时刻的三维位置信息的目标物；

基于所述多个图像采集设备的参数信息，将所述已知目标物在所述当前时刻的预测三维位置信息转换为预测二维位置信息，所述参数信息包括内参和外参；

将所述已知目标物的预测二维位置信息与所述各个图像中各个成像的二维位置信息进行对应，确定所述已知目标物在所述各个图像中成像的二维位置信息，同一个已知目标物在所述各个图像中成像的二维位置信息与预测二维位置信息之间的距离符合预设条件；

将所述已知目标物在所述各个图像中成像的二维位置信息，转换为所述已知目标物在所述当前时刻的三维位置信息。

在一种可能实现方式中，所述基于多个图像采集设备在当前时刻对多个目标物进行图像采集得到的各个图像，获取所述多个目标物在采集到的各个图像中成像的二维位置信息，包括：

确定每个图像采集设备采集到的图像上的亮斑区域，每个亮斑区域对应一个目标物，所述多个目标物为安装在各个运动物体上的反光球；

获取所述亮斑区域的中心的二维位置信息；

将所述各个图像上亮斑区域的中心的二维位置信息作为所述各个图像中成像的二维位置信息。

在一种可能实现方式中，所述确定每个图像采集设备采集到的图像上的亮斑区域，包括：

对所述每个图像采集设备采集到的图像和预先建立的背景图像进行差分运算，得到前景差分图像；

获取所述前景差分图像上亮斑的数量以及对应的区域。

在一种可能实现方式中，所述获取所述亮斑区域的中心的二维位置信息，包括：

根据所述亮斑区域中各个像素的灰度值和二维位置信息，获取所述亮斑区域的中心的二维位置信息。

在一种可能实现方式中，所述根据所述亮斑区域中各个像素的灰度值和二维位置信息，获取所述亮斑区域的中心的二维位置信息，包括：

将所述亮斑区域中各个像素的灰度值作为权重，对所述各个像素的二维位置信息进行加权平均，将加权平均的结果作为所述亮斑区域的中心的二维位置信息。

在一种可能实现方式中，所述基于所述多个图像采集设备的参数信息，将所述已知目标物在所述当前时刻的预测三维位置信息转换为预测二维位置信息，包括：

基于所述多个图像采集设备的参数信息和所述已知目标物的预测三维位置信息，将所述已知目标物反投影到所述多个图像采集设备的成像平面上，得到所述已知目标物的反投影点在所述多个图像采集设备的成像平面上的多个二维位置信息；

将所述反投影点在所述多个图像采集设备的成像平面上的多个二维位置信息作为所述预测二维位置信息。

在一种可能实现方式中，所述将所述已知目标物的预测二维位置信息与所述各个图像中各个成像的二维位置信息进行对应，确定所述已知目标物在所述各个图像中成像的二维位置信息，包括：

从所述各个图像中各个成像的二维位置信息中，选择与同一个已知目标物的多个预测二维位置信息的距离小于预设阈值的多个二维位置信息；

当选择的多个二维位置信息能重构出三维位置信息时，确定选择的多个二维位置信息为所述同一个已知目标物在所述各个图像中成像的二维位置信息。

在一种可能实现方式中，所述将所述已知目标物在所述各个图像中成像的二维位置信息，转换为所述已知目标物在所述当前时刻的三维位置信息，包括：

将所述已知目标物在所述各个图像中成像的二维位置信息重构出的三维位置信息作为所述已知目标物在所述当前时刻的三维位置信息。

在一种可能实现方式中，所述将所述已知目标物在所述各个图像中成像的二维位置信息，转换为所述已知目标物在所述当前时刻的三维位置信息之后，所述方法还包括：

获取所述已知目标物在所述当前时刻的速度信息；

记录所述已知目标物在所述当前时刻的三维位置信息和速度信息。

在一种可能实现方式中，所述获取所述已知目标物在所述当前时刻的速度信息，包括：

根据所述已知目标物在上一时刻的三维位置信息、所述已知目标物在所述当前时刻的三维位置信息以及所述上一时刻和所述当前时刻的时间间隔，获取所述已知目标物在所述当前时刻的速度信息。

在一种可能实现方式中，所述将所述已知目标物在所述各个图像中成像的二维位置信息，转换为所述已知目标物在所述当前时刻的三维位置信息之后，所述方法还包括：

从所述各个图像中各个成像的二维位置信息中，获取除所述已知目标物在所述各个图像中成像的二维位置信息以外的剩余二维位置信息；

将所述剩余二维位置信息中能重构出三维位置信息的多个二维位置信息筛选出来，作为未知目标物在所述各个图像中成像的二维位置信息；

将所述未知目标物在所述各个图像中成像的二维位置信息重构出的三维位置信息作为所述未知目标物在所述当前时刻的三维位置信息；

将所述未知目标物作为一个新的已知目标物，记录所述新的已知目标物在所述当前时刻的三维位置信息。

在一种可能实现方式中，所述方法还包括：

记录所述新的已知目标物在所述当前时刻的速度信息为默认值。

第二方面，提供了一种运动捕捉装置，所述装置包括：

获取模块，用于基于多个图像采集设备在当前时刻对多个目标物进行图像采集得到的各个图像，获取所述多个目标物在采集到的各个图像中成像的二维位置信息；

预测模块，用于根据所述多个目标物中已知目标物在上一时刻的三维位置信息和速度信息进行预测，得到所述已知目标物在所述当前时刻的预测三维位置信息，所述已知目标物为记录了上一时刻的三维位置信息的目标物；

转换模块，用于基于所述多个图像采集设备的参数信息，将所述已知目标物在所述当前时刻的预测三维位置信息转换为预测二维位置信息，所述参数信息包括内参和外参；

确定模块，用于将所述已知目标物的预测二维位置信息与所述各个图像中各个成像的二维位置信息进行对应，确定所述已知目标物在所述各个图像中成像的二维位置信息，同一个已知目标物在所述各个图像中成像的二维位置信息与预测二维位置信息之间的距离符合预设条件；

所述转换模块还用于将所述已知目标物在所述各个图像中成像的二维位置信息，转换为所述已知目标物在所述当前时刻的三维位置信息。

在一种可能实现方式中，所述获取模块用于：

确定每个图像采集设备采集到的图像上的亮斑区域，每个亮斑区域对应一个目标物，所述多个目标物为安装在各个运动物体上的反光球；

获取所述亮斑区域的中心的二维位置信息；

将所述各个图像上亮斑区域的中心的二维位置信息作为所述各个图像中成像的二维位置信息。

在一种可能实现方式中，所述获取模块用于：

对所述每个图像采集设备采集到的图像和预先建立的背景图像进行差分运算，得到前景差分图像；

获取所述前景差分图像上亮斑的数量以及对应的区域。

在一种可能实现方式中，所述获取模块用于根据所述亮斑区域中各个像素的灰度值和二维位置信息，获取所述亮斑区域的中心的二维位置信息。

在一种可能实现方式中，所述获取模块用于将所述亮斑区域中各个像素的灰度值作为权重，对所述各个像素的二维位置信息进行加权平均，将加权平均的结果作为所述亮斑区域的中心的二维位置信息。

在一种可能实现方式中，所述转换模块用于：

基于所述多个图像采集设备的参数信息和所述已知目标物的预测三维位置信息，将所述已知目标物反投影到所述多个图像采集设备的成像平面上，得到所述已知目标物的反投影点在所述多个图像采集设备的成像平面上的多个二维位置信息；

将所述反投影点在所述多个图像采集设备的成像平面上的多个二维位置信息作为所述预测二维位置信息。

在一种可能实现方式中，所述确定模块用于：

从所述各个图像中各个成像的二维位置信息中，选择与同一个已知目标物的多个预测二维位置信息的距离小于预设阈值的多个二维位置信息；

当选择的多个二维位置信息能重构出三维位置信息时，确定选择的多个二维位置信息为所述同一个已知目标物在所述各个图像中成像的二维位置信息。

在一种可能实现方式中，所述转换模块用于将所述已知目标物在所述各个图像中成像的二维位置信息重构出的三维位置信息作为所述已知目标物在所述当前时刻的三维位置信息。

在一种可能实现方式中，所述获取模块还用于获取所述已知目标物在所述当前时刻的速度信息；记录所述已知目标物在所述当前时刻的三维位置信息和速度信息。

在一种可能实现方式中，所述获取模块用于根据所述已知目标物在上一时刻的三维位置信息、所述已知目标物在所述当前时刻的三维位置信息以及所述上一时刻和所述当前时刻的时间间隔，获取所述已知目标物在所述当前时刻的速度信息。

在一种可能实现方式中，所述获取模块还用于：

从所述各个图像中各个成像的二维位置信息中，获取除所述已知目标物在所述各个图像中成像的二维位置信息以外的剩余二维位置信息；

将所述剩余二维位置信息中能重构出三维位置信息的多个二维位置信息筛选出来，作为未知目标物在所述各个图像中成像的二维位置信息；

将所述未知目标物在所述各个图像中成像的二维位置信息重构出的三维位置信息作为所述未知目标物在所述当前时刻的三维位置信息；

将所述未知目标物作为一个新的已知目标物，记录所述新的已知目标物在所述当前时刻的三维位置信息。

在一种可能实现方式中，所述获取模块还用于记录所述新的已知目标物在所述当前时刻的速度信息为默认值。

第三方面，提供了一种运动捕捉***，所述***包括多个图像采集设备和计算机设备：

所述多个图像采集设备用于在当前时刻对多个目标物进行图像采集，获取所述多个目标物在采集到的各个图像中成像的二维位置信息；

所述计算机设备用于根据所述多个目标物中已知目标物在上一时刻的三维位置信息和速度信息进行预测，得到所述已知目标物在所述当前时刻的预测三维位置信息，所述已知目标物为记录了上一时刻的三维位置信息的目标物；

所述计算机设备还用于基于所述多个图像采集设备的参数信息，将所述已知目标物在所述当前时刻的预测三维位置信息转换为预测二维位置信息，所述参数信息包括内参和外参；

所述计算机设备还用于将所述已知目标物的预测二维位置信息与所述各个图像中各个成像的二维位置信息进行对应，确定所述已知目标物在所述各个图像中成像的二维位置信息，同一个已知目标物在所述各个图像中成像的二维位置信息与预测二维位置信息之间的距离符合预设条件；

所述计算机设备还用于将所述已知目标物在所述各个图像中成像的二维位置信息，转换为所述已知目标物在所述当前时刻的三维位置信息。

第四方面，提供了一种计算机设备，包括处理器和存储器；所述存储器，用于存放至少一条指令；所述处理器，用于执行所述存储器上所存放的至少一条指令，实现第一方面任一种实现方式所述的方法步骤。

第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有至少一条指令，所述至少一条指令被处理器执行时实现第一方面任一种实现方式所述的方法步骤。

本发明实施例提供的技术方案带来的有益效果是：

通过利用各个目标物在上一时刻的三维位置信息和速度信息，获取各个目标物在当前时刻的预测三维位置信息。由于预测三维位置信息与目标物在当前时刻的三维位置信息比较接近，因此目标物在当前时刻所采集的各个图像中成像的二维位置信息与预测三维位置信息对应的预测二维位置信息也比较接近，因而利用该预测二维位置信息，可以准确地获取各个目标物在各个图像中成像的二维位置信息，进而将其转换为各个目标物在当前时刻的三维位置信息，提高了***捕捉目标物的准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种运动捕捉***的示意图；

图2是本发明实施例提供的一种运动捕捉***方法的流程图；

图3是本发明实施例提供的一种运动捕捉***方法的流程图；

图4是本发明实施例提供的一种背景差分算法处理后的图像示意图；

图5是本发明实施例提供的一种成像平面的示意图；

图6是本发明实施例提供的一种运动捕捉***方法的流程图；

图7是本发明实施例提供的一种运动捕捉装置的结构示意图；

图8是本发明实施例提供的一种计算机设备800的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1是本发明实施例提供的一种运动捕捉***的示意图，该运动捕捉***可以包括多个图像采集设备101和计算机设备102，还可以包括同步发生器103。

其中，图像采集设备101用于对多个目标物进行图像采集，该多个目标物可以是安装在各个运动物体上的反光球，如红外反光球，红外反光球是指能够在红外灯照射下强烈反射红外光的球体。图像采集设备101还用于对采集到的图像进行处理，得到多个目标物在采集到的各个图像中成像的二维位置信息(如二维坐标)，并将获取的二维位置信息发送给计算机设备102。图像采集设备101包括但不限于智能相机，智能相机是能够高速采集图像并对图像进行处理的设备。

计算机设备102用于根据该多个目标物中已知目标物在上一时刻的三维位置信息(如三维坐标)和速度信息进行预测，得到该已知目标物在该当前时刻的预测三维位置信息，并将预测三维位置信息转换为预测二维位置信息，然后与多个图像采集设备101在每一时刻发送的二维位置信息进行对应，确定已知目标物在该各个图像中成像的二维位置信息。计算机设备102还用于将该已知目标物在该各个图像中成像的二维位置信息，转换为该已知目标物在该当前时刻的三维位置信息，从而达到对目标物进行定位和跟踪的目的。

同步发生器103用于控制多个图像采集设备101同步采集和处理图像，用以控制整个***的工作频率。在同步发生器103的时钟控制下，多个图像采集设备101可以在同一时刻采集到多个图像。

需要说明的是，上述仅以图像采集设备101获取二维位置信息，并将获取的二维位置信息发送给计算机设备102，由计算机设备102获取预测三维位置信息、预测二维位置信息以及在该当前时刻的三维位置信息为例进行说明。在一种可能实现方式中，计算机设备102执行的步骤也可以由图像采集设备101完成，图像采集设备101执行的步骤也可以由计算机设备完成，本发明实施例对此不做限定。

上述运动捕捉***是一种用于精确测量三维空间中物体运动状况的***，它基于计算机图形学原理，通过排布在空间中的数个图像采集设备将物体的运动状况以图像的形式记录下来，然后通过对该图像进行处理，得到不同时间上不同物体的三维位置信息和速度信息。

图2是本发明实施例提供的一种运动捕捉方法的流程图。参见图2，该方法包括：

201、基于多个图像采集设备在当前时刻对多个目标物进行图像采集得到的各个图像，获取该多个目标物在各个图像中成像的二维位置信息。

其中，该二维位置信息可以是二维坐标。该多个目标物可以是安装在各个运动物体上的反光球，如红外反光球，通过在图像采集设备的镜头上添加红外滤光片，使得反光球在采集到的图像中表现为亮斑，相应地，该二维位置信息可以是亮斑中心的二维位置信息。

202、根据该多个目标物中已知目标物在上一时刻的三维位置信息和速度信息进行预测，得到该已知目标物在该当前时刻的预测三维位置信息，该已知目标物为记录了上一时刻的三维位置信息的目标物。

其中，目标物的三维位置信息用于指示目标物在空间中的位置，该三维位置信息可以是三维坐标。由于记录了已知目标物在上一时刻的三维位置信息和速度信息，因此，可以利用这些信息，对已知目标物在当前时刻的三维位置信息进行预测。

203、基于该多个图像采集设备的参数信息，将该已知目标物在该当前时刻的预测三维位置信息转换为预测二维位置信息，该参数信息包括内参和外参。

其中，外参包括旋转向量和平移向量，可用于指示图像采集设备的成像平面和焦点；内参包括内参矩阵，可用于确定图像采集设备的焦点和空间中任一点的连线以及该连线与成像平面的交点或夹角等信息。此外，该参数信息还可以包括非线性畸变系数。这些参数信息可以实现将三维位置信息转换为二维位置信息以及将二维位置信息转换为三维位置信息。

204、将该已知目标物的预测二维位置信息与该各个图像中各个成像的二维位置信息进行对应，确定该已知目标物在该各个图像中成像的二维位置信息，同一个已知目标物在该各个图像中成像的二维位置信息与预测二维位置信息之间的距离符合预设条件。

其中，该预设条件是指距离小于预设阈值。由于预测三维位置与已知目标物的真实三维位置比较接近，因此，已知目标物在图像中成像的二维位置与预测二维位置也比较接近，因而可以利用预测二维位置信息来找到已知目标物在各个图像中成像的真实二维位置。

205、将该已知目标物在该各个图像中成像的二维位置信息，转换为该已知目标物在该当前时刻的三维位置信息。

除了获取该已知目标物在该当前时刻的三维位置信息，还可以获取该已知目标物在该当前时刻的速度信息。对已知目标物在该当前时刻的三维位置信息和速度信息进行记录，便于预测该已知目标物在下一时刻的三维位置信息。

本发明实施例提供的方法，通过利用各个目标物在上一时刻的三维位置信息和速度信息，获取各个目标物在当前时刻的预测三维位置信息。由于预测三维位置信息与目标物在当前时刻的三维位置信息比较接近，因此目标物在当前时刻所采集的各个图像中成像的二维位置信息与预测三维位置信息对应的预测二维位置信息也比较接近，因而利用该预测二维位置信息，可以准确地获取各个目标物在各个图像中成像的二维位置信息，进而将其转换为各个目标物在当前时刻的三维位置信息，提高了***捕捉目标物的准确率。

图3是本发明实施例提供的一种运动捕捉方法的流程图。参见图3，该方法包括：

300、获取多个图像采集设备的参数信息，该参数信息包括内参和外参。

在图像采集以及计算机视觉应用中，为了确定空间中的目标物的三维位置信息与其在图像中成像的二维位置信息之间的对应关系，从而实现将三维位置信息转换为二维位置信息以及将二维位置信息转换为三维位置信息，则必须知道图像采集设备的参数信息。

在一种可能实现方式中，该获取多个图像采集设备的参数信息可以由计算机设备执行，例如，计算机设备可以利用预设参数标定算法，获取该多个图像采集设备的内参和外参等参数信息，当然，还可以获取非线性畸变系数。其中，外参包括旋转向量和平移向量，可用于指示图像采集设备的成像平面和焦点；内参包括内参矩阵，可用于确定图像采集设备的焦点和空间中任一目标物的连线以及该连线与成像平面的交点(目标物在图像采集设备所采集图像中成像的二维位置信息)或夹角等信息。其中，该预设参数标定算法可以是多相机标定算法。当然，该参数信息也可以由***管理员输入该计算机设备，本发明实施例对此不做限定。

需要说明的是，上述实现方式是以计算机设备获取多个图像采集设备的参数信息为例进行说明，在另一种可能实现方式中，该多个图像采集设备的参数信息也可以由图像采集设备获取，例如，利用上述预设参数标定算法来获取，本发明实施例对此不做限定。

该参数信息可以用于将任一目标物在该各个图像中成像的二维位置信息转换为空间中的三维位置信息，例如，将多个图像采集设备的成像平面上的二维位置信息投影到空间中，得到对应的三维位置信息。该参数信息还可以用于将目标物在空间中的三维位置信息转换为图像中对应的二维位置信息，例如，将目标物在空间中的三维位置信息反投影到多个图像采集设备的成像平面上，得到该目标物成像的二维位置信息。

301、获取背景图像。

其中，该背景图像是指不包括待捕捉的目标物的图像。

在一种可能实现方式中，该获取背景图像可以由图像采集设备执行，例如，对于每个图像采集设备，该图像采集设备可以在预设时长内(如一分钟)采集多帧图像，在采集该多帧图像时，场景中的物体几乎是静止的，以尽量保证静态环境的稳定性。通过对采集到的多帧图像进行平均计算，得到该图像采集设备的背景图像，具体地，该图像采集设备计算该多帧图像中各组像素值的平均值，每组像素值包括该多帧图像中像素坐标相同的像素的像素值。进而，图像采集设备可以将各组像素值的平均值作为背景图像中各个像素的像素值，从而得到该背景图像。通过在较长时间内采集多帧图像，平均计算出背景图像，从而增加***对各类复杂静态环境的稳定性。

需要说明的是，上述实现方式是以图像采集设备获取多个图像采集设备的参数信息为例进行说明，在另一种可能实现方式中，该获取背景图像也可以由计算机设备执行，例如，计算机设备通过接收图像采集设备发送的背景图像，来获取背景图像，本发明实施例对此不做限定。

302、建立目标物集合，该目标物集合用于记录目标物的三维位置信息和速度信息。

本发明实施例中，通过新建一个目标物集合，从而利用该目标物集合来维护多个目标物的位置和速度信息。在新建该目标物集合时，由于***还未跟踪任何目标物，并不知道任一目标物的位置和速度信息。因此，在初始化阶段，该目标物集合可以被设置为空集，待后续***跟踪上任一目标物后，也即是，获取该任一目标物的三维位置信息和速度信息后，可以将该目标物作为已知目标物，在该目标物集合中保存该已知目标物的三维位置信息和速度信息。

需要说明的是，该步骤302是可选步骤，该建立目标物集合可以由计算机设备执行，也可以由图像采集设备执行。本发明实施例是以在目标物集合中记录目标物的三维位置信息和速度信息为例进行说明，实际上，也可以不采用目标物集合的方式来对上述信息进行记录，此情况下，则不需要建立该目标物集合。

需要说明的是，本发明实施例仅以获取参数信息作为步骤300，建立背景图像作为步骤301，建立目标物集合作为步骤302为例进行说明，实际上，上述步骤300、步骤301和步骤302没有固定的执行先后顺序。

303、多个图像采集设备分别在该当前时刻对该多个目标物进行图像采集，得到包含该多个目标物的成像的各个图像，该多个目标物为安装在各个运动物体上的反光球。

在一种可能实现方式中，多个图像采集设备可以在同步发生器的时钟控制下，同时对多个目标物进行图像采集，具体地，多个图像采集设备可以从不同方位对多个目标物进行图像采集，这样，在每一采集时刻，每个图像采集设备均可以采集到包含目标物的成像的图像。

在运动捕捉***的运行过程中，每个需定位和跟踪的运动物体上安装有一个红外反光球，该反光球在图像上的投影区域具有较大的灰度值，而图像中其他区域的灰度值几乎为0。通过在图像采集设备的镜头上添加红外滤光片，使得该反光球在图像采集设备采集到的图像中表现为一个亮斑。

304、获取该多个目标物在各个图像中成像的二维位置信息。

在一种可能实现方式中，该获取多个目标物在各个图像中成像的二维位置信息可以包括下述步骤304A至304C:

304A、确定每个图像采集设备采集到的图像上的亮斑区域，每个亮斑区域对应一个目标物，该目标物为安装在运动物体上的反光球。

在一种可能实现方式中，对于每个图像采集设备采集到的图像，该图像上亮斑区域的获取过程包括：利用背景差分算法，对采集到的图像和预先建立的背景图像进行差分运算，得到前景差分图像。进一步地，利用区域生长算法，获取前景差分图像上亮斑的数量以及各个亮斑对应的区域(即亮斑区域)。

其中，区域生长算法是利用区域生长的思想，一次生长过程可以标记一整个连通区域，这样只需对图像进行一次扫描就能标记出所有连通区域。相应地，可以利用区域生长算法，获取图像上的连通区域，将连通区域作为亮斑区域。

参见图4，图4是本发明实施例提供的一种背景差分算法处理后的图像示意图，如图4所示，经过背景差分算法处理得到的前景差分图像中有多个亮斑区域，每个亮斑区域表示一个目标物。

通过在镜头上添加红外滤光片，反光球在图像上的区域非常明显，表现为一个亮斑，而其他区域很暗，再使用背景差分算法将图像的背景去掉，则可以进一步增强亮斑的对比度，更容易区分该亮斑。

304B、获取亮斑区域的中心的二维位置信息。

本发明实施例中，由于亮斑区域代表目标物，因此可以将亮斑区域的中心的位置信息作为目标物在图像采集设备所采集图像中的二维位置信息。

在一种可能实现方式中，获取亮斑区域的中心的二维位置信息的过程可以包括：根据该亮斑区域中各个像素的灰度值和二维位置信息，获取该亮斑区域的中心的二维位置信息。具体地，将亮斑区域中各个像素的灰度值作为权重，对该各个像素的二维位置信息进行加权平均，将加权平均的结果作为该亮斑区域的中心的二维位置信息。由于加权平均的结果可能是小数，因此，该亮斑区域的中心的二维位置信息实际上是亚像素位置信息。通过根据亮斑区域中各个像素的灰度值和像素位置信息确定亮斑区域的中心，提供了一种确定亮斑区域的中心的有效方式。

通过根据其采集到的图像获取相应的二维位置信息。通过在获取二维位置信息时使用背景差分、区域生长等算法，多种优化算法的结合保证了整个***对噪声的容忍度。

304C、将各个图像上亮斑区域的中心的二维位置信息作为多个目标物在各个图像中成像的二维位置信息。

本发明实施例中，根据多个目标物在各个图像中成像的二维位置信息，可以构成二维位置信息集合。

需要说明的是，在一种可能实现方式中，该获取多个目标物在各个图像中成像的二维位置信息的过程可以由图像采集设备执行，例如，每个图像采集设备在采集到图像后，可以通过执行上述步骤304A至304C，来获取上述二维位置信息。在另一种可能实现方式中，该获取多个目标物在各个图像中成像的二维位置信息的过程可以由计算机设备执行，例如，每个图像采集设备在采集到图像后，可以将该图像发送给计算机设备，计算机设备可以通过执行上述步骤304A至304C，来获取上述二维位置信息，或者，每个图像采集设备在获取上述二维位置信息后将其发送给计算机设备，计算机设备接收该二维位置信息，也即是，计算机设备通过该接收过程获取到上述二维位置信息。其中，通过图像采集设备在获取二维位置信息后才将相关数据传输给计算机设备，而不是将采集的图像直接传输给计算机设备，这种做法使得整个***的数据传输更加高效，提高了***的工作帧率，从而支持更多数量的图像采集设备对目标物进行图像采集。

305、从多个目标物在各个图像中成像的二维位置信息中，获取能够重构出三维位置信息的多个二维位置信息。

本发明实施例中，该获取能够重构出三维位置信息的多个二维位置信息的过程可以由计算机设备执行，也可以由图像采集设备执行。步骤304获取到的这些二维位置信息中，有些二维位置信息是多个图像采集设备对同一个目标物进行观测，在该多个图像采集设备的成像平面上形成的观测点的位置信息，这些二维位置信息属于同一个目标物，也即是，这些二维位置信息为同一个目标物在各个图像中成像的二维位置信息，因此，这些二维位置信息可以重构出该同一个目标物的三维位置信息。

在一种可能实现方式中，利用动态规划算法，可以确定各个二维位置信息的匹配关系，也即是，确定能够重构出三维位置信息的多个二维位置信息。该动态规划算法包括：遍历二维位置信息集合中的各个二维位置信息，每次遍历预设数量的二维位置信息，并根据步骤300中的参数信息，验证该预设数量的二维位置信息能否在预设误差范围内重构出三维位置信息，如果能，则确定该预设数量的二维位置信息是相匹配的二维位置信息，并将该预设数量的二维位置信息作为同一个目标物在各个图像中成像的二维位置信息。其中，该预设数量等于多个图像采集设备的数量，该预设数量的二维位置信息中每个二维位置信息来自一个图像采集设备。例如，每次遍历时，从二维位置信息集合中分别获取每个图像采集设备发送的其中一个二维位置信息，从而得到预设数量的二维位置信息。

其中，根据参数信息验证预设数量的二维位置信息能否重构出三维位置信息的过程包括：对于每个图像采集设备采集到的图像中成像的二维位置信息，计算机设备可以根据该图像采集设备的参数信息，对这些二维位置信息进行投影，也即是，获取经过该图像采集设备的焦点与成像平面上该二维位置信息对应点的直线。这样计算机设备可以获取多条直线，然后确定该多条直线是否相交于一点，或，空间中是否存在一点与该多条直线的距离之和小于预设阈值。如果该多条直线相交于一点，则表明匹配关系成立，该预设数量的二维位置信息能够重构出三维位置信息，则把该多条直线的交点的位置信息作为重构出的三维位置信息；或，空间中存在一点与该多条直线的距离之和小于预设阈值，表明匹配关系成立，该预设数量的二维位置信息能够重构出三维位置信息，则把该点的位置信息作为重构出的三维位置信息。

306、将重构出的三维位置信息作为各个目标物在当前时刻的三维位置信息记录至目标物集合，并在目标物集合中将各个目标物的速度信息记录为默认值。

本发明实施例中，该获取能够重构出三维位置信息的多个二维位置信息的过程可以由计算机设备执行，也可以由图像采集设备执行。该多个二维位置信息重构出的三维位置信息可以保存至步骤302建立的目标物集合中。如果是第一次获取目标物的三维位置信息，则只有目标物在当前时刻的三维位置信息，没有其在上一时刻的三维位置信息和速度信息，因而很难计算其在当前时刻的速度信息。这种情况下，可以将其速度信息设置为默认值，如0，本发明实施例对默认值不做具体限定。

相应地，在保存该目标物的三维位置信息时，同时保存该目标物的速度信息。这样后续再获取到目标物的三维位置信息后，可以根据目标物的不同三维位置信息以及不同三维位置信息对应的不同时间，来计算目标物的速度信息，并更新目标物集合中目标物的速度信息。

需要说明的是，本发明实施例仅以将各个目标物在当前时刻的三维位置信息记录至目标物集合中为例进行说明，实际上，也可以采用其他方式记录各个目标物在当前时刻的三维位置信息。

需要说明的是，根据多个二维位置信息获取到目标物的三维位置信息后，达到了对目标物进行定位的目的，因而可以从该二维位置信息集合中删除重构出三维位置信息的多个二维位置信息。如果执行删除操作后二维位置信息集合中还存在剩余的二维位置信息，也即是存在孤立的二维位置信息，这些孤立的二维位置信息对应的目标物只被一个图像采集设备拍摄到，由于无法知道其深度信息，因而无法将这些孤立的二维位置信息重构出三维位置信息，因此，可以将这些孤立的二维位置信息作为噪点进行删除。

307、输出目标物集合中所有目标物的三维位置信息和速度信息。

本发明实施例中，该步骤307可以由计算机设备执行，也可以由图像采集设备执行。每次更新目标物集合后，可以输出更新后的目标物集合中所有目标物的三维位置信息和速度信息。例如，如果设备带有显示屏，则可以显示这些目标物的三维位置信息和速度信息，如果不带有显示屏，则以将这些目标物的三维位置信息和速度信息发送给显示设备进行显示。

需要说明的是，上述步骤300至步骤307是多个图像采集设备第一次采集图像，对该多个图像采集设备采集到的图像进行处理后，根据该多个图像采集设备的参数信息和二维位置信息，获取目标物的三维位置信息和速度信息后更新目标物集合的过程。之后，多个图像采集设备在下一时刻分别采集到下一帧图像，可以对该下一帧图像处理后得到二维位置信息，利用目标物集合中目标物在上一时刻的三维位置信息和速度信息，来获取目标物在当前时刻的三维位置信息，从而达到定位和跟踪目标物的目的，具体过程参见后续步骤308至步骤318。

308、再次执行上述步骤303至步骤304。

需要说明的是，由于第一次执行步骤304时，已经构成了二维位置信息集合，因此再次执行步骤304时，计算机设备可以直接将多个图像采集设备当前发送的二维位置信息直接保存至该二维位置信息集合中。

309、根据该多个目标物中已知目标物在上一时刻的三维位置信息和速度信息进行预测，得到该已知目标物在当前时刻的预测三维位置信息，该已知目标物为记录了上一时刻的三维位置信息的目标物。

其中，该上一时刻是指步骤303中多个图像采集设备采集图像的时刻，当前时刻是指步骤308中多个图像采集设备采集图像的时刻，已知目标物可以是目标物集合中记录了其三维位置信息和速度信息的目标物。

本发明实施例中，该步骤309可以由计算机设备执行，也可以由图像采集设备执行。由于记录了各个目标物在上一时刻的三维位置信息和速度信息，如在步骤302中的目标物集合中保存了上述信息，因此，可以利用这些信息，对各个目标物在当前时刻的三维位置信息进行预测。在一种可能实现方式中，对于每个目标物，可以根据该已知目标物在上一时刻的三维位置信息、速度信息以及该上一时刻和该当前时刻的时间间隔，确定该已知目标物在该当前时刻的预测三维位置信息。例如，目标物在上一时刻的三维位置信息为(x,y,z)、速度为v、时间间隔为t，则目标物在当前时刻的三维位置信息为(x+vt,y+vt,z+vt)。又或，目标物在上一时刻的三维位置信息为(x,y,z)、速度为v、加速度为a、时间间隔为t，则目标物在当前时刻的三维位置信息为(x+vt+0.5at²,y+vt+0.5at²,z+vt+0.5at²)。当然上述仅是一个简单的示例，还可以有其他确定方式。由于整个***的帧率较高，图像设备连续采集两帧图像的时间间隔较短，因此这些预测位置是相对准确的，也即是，这些预测位置比较接近于目标物的真实位置。

310、基于该多个图像采集设备的参数信息，将该已知目标物的预测三维位置信息反投影到该多个图像采集设备的成像平面上，将已知目标物的反投影点在该多个图像采集设备的成像平面上的多个二维位置信息作为预测二维位置信息。

本发明实施例中，该步骤310可以由计算机设备执行，也可以由图像采集设备执行。图像采集设备的参数信息可以指示图像采集设备采集图像时的焦点和成像平面，对于每个目标物，可以根据各个图像采集设备的参数信息，将该目标物对应的预测三维位置信息反投影到每个图像采集设备的成像平面上，得到该已知目标物的反投影点在该多个图像采集设备的成像平面上的多个二维位置信息，将该反投影点在该多个图像采集设备的成像平面上的多个二维位置信息作为该预测二维位置信息。具体地，获取该预测三维位置信息对应的点(预测点)与每个图像采集设备的焦点之间的连线，并将连线与每个图像采集设备的成像平面的交点的位置信息作为预测二维位置信息。

由于目标物的真实位置实际上可以通过多个图像采集设备采集到的图像中成像的二维位置信息重构得到，因此需要找到各个目标物在各个图像中成像的二维位置信息，由于预测三维位置信息的位置与目标物的真实三维位置信息比较接近，因此，目标物在图像中成像的二维位置信息与预测三维位置信息对应的预测二维位置信息也比较接近，因而可以利用预测三维位置信息对应的预测二维位置信息来找到目标物在图像中成像的二维位置信息。

参见图5，图5是本发明实施例提供的一种成像平面的示意图，图5中示出了两个图像采集设备的成像平面e和e’、两个图像采集设备的焦点c和c’，预测点P’的位置信息即为某个目标物的预测三维位置信息，可以获取预测点P’与c的连线，并将该连线与成像平面e的交点作为反投影点，同理，可以获取预测点P’与c’的连线，并将该连线与成像平面e’的交点作为反投影点，反投影点的位置信息即为预测二维位置信息。

需要说明的是，该步骤310是基于该多个图像采集设备的参数信息，将该已知目标物在该当前时刻的预测三维位置信息转换为预测二维位置信息的一种可能实现方式。通过图像采集设备的参数信息，实现了预测三维位置信息到预测二维位置信息的转换，进而可以快速地找到目标物在当前时刻采集到的图像中成像的真实二维位置信息。

311、从该多个目标物在各个图像中成像的二维位置信息中，选择与同一个已知目标物的多个预测二维位置信息的距离小于预设阈值的多个二维位置信息。

本发明实施例中，该步骤311可以由计算机设备执行，也可以由图像采集设备执行。对于每个预测二维位置信息，可以根据该预测二维位置信息所在的成像平面，从多个目标物在当前时刻采集到的各个图像中成像的二维位置信息中，获取该成像平面上与该预测二维位置信息的距离小于预设阈值的二维位置信息。

如果与每个预测二维位置信息的距离小于预设阈值的二维位置信息只有一个，则计算机设备可以初步确定分别与该多个预测二维位置信息的距离小于预设阈值的多个二维位置信息为相匹配的一组二维位置信息，也即是用于表示同一个已知目标物的一组二维位置信息，该组二维位置信息的数量与多个预测二维位置信息的数量相同。进一步，计算机设备可以通过后续步骤315来验证该组二维位置信息的匹配关系是否有效。如果与一个或多个预测二维位置信息的距离小于预设阈值的二维位置信息大于一个，则计算机设备可以将该这些二维位置信息进行组合，得到多组二维位置信息，每组二维位置信息包括与多个预测二维位置信息的数量相同的多个二维位置信息，计算机设备可以初步确定多组二维位置信息为相匹配的多组二维位置信息。进一步地，对于每组二维位置信息，计算机设备可以通过后续步骤312来验证上述匹配关系是否有效。

312、当选择的多个二维位置信息能重构出三维位置信息时，确定选择的多个二维位置信息为同一个已知目标物在该各个图像中成像的二维位置信息。

本发明实施例中，该步骤312可以由计算机设备执行，也可以由图像采集设备执行。当步骤311中获取到的多个二维位置信息为一组二维位置信息，则根据步骤300中多个计算机设备的参数信息，验证这些二维位置信息能否在预设误差范围内重构出三维位置信息，具体过程在步骤305中已有说明，此处不再赘述。

如果不能重构出三维位置信息，说明该组二维位置信息不是相匹配的二维位置信息，初步确定的匹配关系无效，也即是，该组二维位置信息不是一个已知目标物在该各个图像中成像的多个二维位置信息。如果能重构出三维位置信息，说明该组二维位置信息确实是相匹配的二维位置信息，初步确定的匹配关系有效，则可以将该组二维位置信息作为同一个已知目标物在该各个图像中成像的多个二维位置信息。如图5所示，点P’是目标物集合中某个已知目标物的预测三维位置信息对应的点，将该点P’反投影至两个图像采集设备的成像平面(e和e’)后，在二维位置信息集合中寻找与之相近的观测点的位置信息(二维位置信息)，如成像平面e和e’上的两个观测点，判断这两个观测点能否在预设误差范围内重构出投影点P的位置信息(三维位置信息)。如果能，则将图5中的两个观测点的位置信息作为同一个目标物在该各个图像中成像的多个二维位置信息。

当步骤311中获取到的多个二维位置信息为多组二维位置信息，每组二维位置信息包括多个二维位置信息时，可以对该多组二维位置信息进行一一验证，也即是，分别对每组二维位置信息进行投影，确定是否能够重构出三维位置信息。如果任一组二维位置信息能够重构出三维位置信息，则可以将该组二维位置信息作为用于同一个已知目标物在该各个图像中成像的多个二维位置信息。

上述步骤311至步骤312是该已知目标物的预测二维位置信息与该各个图像中各个成像的二维位置信息进行对应，确定该已知目标物在该各个图像中成像的二维位置信息的一种可能实现方式，该方式中，同一个已知目标物在该各个图像中成像的二维位置信息与预测二维位置信息之间的距离符合预设条件，该预设条件是指距离小于预设阈值。由于预测三维位置信息与目标物的真实位置比较接近，因此，目标物在图像中成像的二维位置信息与预测三维位置信息对应的预测二维位置信息也比较接近，因而可以利用预测三维位置信息对应的预测二维位置信息来找到目标物在各个图像中成像的真实二维位置信息，从而确定目标物在当前时刻的真实三维位置信息。

313、将该已知目标物在该各个图像中成像的二维位置信息，转换为该已知目标物在该当前时刻的三维位置信息。

本发明实施例中，该步骤313可以由计算机设备执行，也可以由图像采集设备执行。在一种可能实现方式中，将该已知目标物在该各个图像中成像的二维位置信息重构出的三维位置信息作为该已知目标物在该当前时刻的三维位置信息。

可选地，除了获取该已知目标物在该当前时刻的三维位置信息，还可以获取该已知目标物在该当前时刻的速度信息，例如，根据该已知目标物在上一时刻的三维位置信息、该已知目标物在该当前时刻的三维位置信息以及该上一时刻和该当前时刻的时间间隔，获取该已知目标物在该当前时刻的速度信息。为了便于在下一时刻对目标物进行位置预测，可以记录该已知目标物在该当前时刻的三维位置信息和速度信息。

已知目标物是已经跟踪的目标物，目标物集合中保存了其在上一时刻的三维位置信息和速度信息，因此在获取该目标物在当前时刻的三维位置信息后，可以计算出该目标物在当前时刻的速度信息，从而更新目标物集合中该目标物的速度信息。

以已知目标物的加速度为0为例，可以将上一时刻和当前时刻的三维位置信息之间的距离(变化距离)除以上一时刻与当前时刻的时间间隔，得到已知目标物的速度。当然，上述仅是获取已知目标物的速度的一个简单示例，本发明实施例对速度的具体计算方式不做限定。通过在每次获取目标物最新的三维位置信息和速度信息后，将其进行保存，例如，将获取的三维位置信息和速度信息保存至步骤302建立的目标物集合中，从而方便在下一时刻对目标物进行位置预测。

314、从该多个目标物在各个图像中各个成像的二维位置信息中，获取除该已知目标物在该各个图像中成像的二维位置信息以外的剩余二维位置信息。

本发明实施例中，该步骤314可以由计算机设备执行，也可以由图像采集设备执行。在获取到已知目标物在当前时刻的三维位置信息后，达到了对已知目标物进行定位和跟踪的目的，因而可以删除已知目标物在当前时刻所采集的各个成像中成像的二维位置信息。例如，如果在二维位置信息集合中保存这些二维位置信息，则可以从该二维位置信息集合中删除已知目标物在各个成像中成像的二维位置信息。

315、将该剩余二维位置信息中能重构出三维位置信息的多个二维位置信息筛选出来，作为未知目标物在该各个图像中成像的二维位置信息。

本发明实施例中，该步骤315可以由计算机设备执行，也可以由图像采集设备执行。通过上述步骤312可以确定多个目标物在各个图像中成像的二维位置信息中大部分相匹配的二维位置信息，也即是能够重构出已知目标物的三维位置信息的多个二维位置信息，但是仍然会遗留一些待匹配的二维位置信息。

进一步，确定这些二维位置信息的匹配关系，也即是，确定哪些是相匹配的二维位置信息(能够重构出三维位置信息的多个二维位置信息)，具体确定过程与步骤305同理，此处不再赘述。如图5所示，如果左图右上角和右图左上角的两个点是剩余的二维位置信息，则可以通过参数信息确定这两个二维位置信息的匹配关系是成立的，进而重构出三维位置信息，如图5中的新增点Q的位置信息。

316、将该未知目标物在该各个图像中成像的二维位置信息重构出的三维位置信息作为该未知目标物在该当前时刻的三维位置信息，并将该未知目标物作为一个新的已知目标物。

其中，未知目标物是指未记录其在上一时刻的三维位置信息和速度信息的目标物，如目标物集合中未记录其三维位置信息和速度信息的目标物。

本发明实施例中，该步骤316可以由计算机设备执行，也可以由图像采集设备执行。如果多个图像采集设备的采集范围内出现了新的目标物，当多个图像采集设备在当前时刻采集图像时，该目标物被采集到，则步骤308中多个图像采集设备采集到的图像中包含该目标物，或，多个图像采集设备的采集范围内原本有的目标物由于反光球被遮挡，在上一时刻的图像采集中没有被多个图像采集设备采集到，而当多个图像采集设备在当前时刻采集图像时，该目标物的反光球没有被遮挡，因而该目标物被重新采集到当前时刻的图像中，则步骤308获取到的二维位置信息中包括该目标物在图像中成像的二维位置信息。

上述情况中新的目标物和原本有的目标物均是未知目标物，通过该未知目标物在图像中成像的二维位置信息重构出三维位置信息后，可以将该未知目标物作为一个新的已知目标物，将该新的已知目标物在该当前时刻的三维位置信息记录到目标物集合中，同时也可以在该目标物集合中对该未知目标物的速度信息进行记录。

需要说明的是，上述步骤314至步骤316是可选步骤，由于计算机设备通过执行步骤314至步骤316得到的目标物是***在上一时刻和当前时刻之间新增或重新出现的未知目标物，只获取到该未知目标物在当前时刻的三维位置信息，而没有其在上一时刻的三维位置信息和速度信息，很难计算该未知目标物在当前时刻的速度信息，因而可以记录该新的已知目标物在该当前时刻的速度信息为默认值。

本发明提供的***能定位和跟踪多个目标物，且不需事先给定目标物的数量。通过使用动态规划等算法确定空间中的各个目标物，进而实时输出各目标物的三维位置信息和速度信息。***待定位和跟踪的目标物可以自由进入或离开***的工作区域，并且在有噪声的情况下整个***也能够正常地工作。

317、再次执行步骤307。

需要说明的是，上述步骤308至316所示的过程是多个图像采集设备采集第一帧图像的下一帧图像，并对该下一帧图像进行处理后，得到二维位置信息，利用目标物集合中目标物在上一时刻的三维位置信息和速度信息，来获取目标物在当前时刻的三维位置信息，从而达到定位和跟踪目标物的目的。

在对各目标物进行定位和运动跟踪过程中，若不维护目标物集合，***都需要使用步骤305中的动态规划算法寻找各二维位置信息的匹配关系，对于较多数量的二维位置信息，此算法的时间复杂度非常高。因此，***可以动态维护目标物集合以记录已跟踪目标物的位置和速度信息，方便下一时刻对其进行运动估计。这样***可以跟踪上几乎所有的目标物，通过各目标物在上一时刻的位置和速度信息来预测当前时刻的位置，然后将预测位置投影至各图像采集设备的成像平面上，使得***可以迅速确定各二维位置信息的初步匹配关系，并利用各图像采集设备的参数信息来验证匹配关系是否有效，这步确定匹配关系的时间复杂度低，能够处理大部分的二维位置信息。***接着可以利用动态规划算法确定剩余二维位置信息的匹配关系，由于未匹配的二维位置信息数量较少，此时再利用动态规划算法来确定匹配关系时耗时将大大减少，这步确定匹配关系的速度也非常快。上述两步法可以大大减少二维位置信息匹配的时间，最大程度地提高***的运行帧率。

318、重复执行上述步骤308至步骤317，直至***停止运行。

本发明实施例中，在***运行过程中，多个图像采集设备可以继续进行下一帧图像的采集，也即是，在下一时刻同时进行图像采集，***可以继续通过执行上述步骤308至步骤317来不断更新目标物集合，达到定位和跟踪目标物的目的。

参见图6，图6是本发明实施例提供的一种运动捕捉方法的流程图。如图6所示，以目标物为运动物体、图像采集设备为智能相机、二维位置信息集合表示为集合A、目标物集合表示为集合B、二维位置信息表示为2D点、目标物表示为3D点、三维位置信息为位置、速度信息为状态为例，在各智能相机采集第一帧图像之前，计算机设备可以输入各智能相机的参数信息，各智能相机可以建立各自的背景图像，计算机设备还可以新建集合A以保存已跟踪3D点的位置和状态，初始化时集合A为空。在运动捕捉***运行过程中，各智能相机在同步发生器的时钟控制下，同时拍摄图像。利用背景差分法，各智能相机获取其图像上的亮斑区域，加权平均计算出亮斑中心的位置信息。各智能相机可以将获取到的2D点的位置信息发送给计算机设备，从而构成待匹配的2D点集合B。如果集合A中保存了已跟踪3D点的位置和速度信息，则计算机设备可以利用集合A中各3D点在上一时刻的位置和速度信息，预测各3D点在当前时刻的位置。进而，计算机设备可以将集合A中各3D点的预测位置投影至各相机上，在集合B中寻找与之相近的2D点，并验证这些2D点是否可以在误差范围内重构出3D点，若能重构出3D点，则保存重构出的3D点的位置信息，并将其对应的2D点从集合B中剔除。然后，计算机设备还可以对集合B中剩余2D点，利用动态规划算法寻找其匹配关系，进一步重构空间中的3D点。若存在孤立的2D点，计算机设备可以将其删除。最后，计算机设备可以将上述两步所得的3D点，保存其位置信息和速度信息，构成新的集合A，同时输出新集合A中所有3D点(即观测物体)的位置信息和速度信息。如果***继续运行，则图像采集设备继续采集下一帧图像，***进行上述相同的处理过程。上述运动捕捉***具有定位精度高、***稳定、实时性好等诸多优点。本发明提供的技术方案能够实时对运动捕捉***的捕捉范围内的多个物体进行跟踪和定位。

本发明实施例提供的方法，通过利用各个目标物在上一时刻的三维位置信息和速度信息，获取各个目标物在当前时刻的预测三维位置信息。由于预测三维位置信息与目标物在当前时刻的三维位置信息比较接近，因此目标物在当前时刻所采集的各个图像中成像的二维位置信息与预测三维位置信息对应的预测二维位置信息也比较接近，因而利用该预测二维位置信息，可以准确地获取各个目标物在各个图像中成像的二维位置信息，进而将其转换为各个目标物在当前时刻的三维位置信息，提高了***捕捉目标物的准确率。

图7是本发明实施例提供的一种运动捕捉装置的结构示意图。参照图7，该装置包括：

获取模块701，用于基于多个图像采集设备在当前时刻对多个目标物进行图像采集得到的各个图像，获取该多个目标物在采集到的各个图像中成像的二维位置信息；

预测模块702，用于根据该多个目标物中已知目标物在上一时刻的三维位置信息和速度信息进行预测，得到该已知目标物在该当前时刻的预测三维位置信息，该已知目标物为记录了上一时刻的三维位置信息的目标物；

转换模块703，用于基于该多个图像采集设备的参数信息，将该已知目标物在该当前时刻的预测三维位置信息转换为预测二维位置信息，该参数信息包括内参和外参；

确定模块704，用于将该已知目标物的预测二维位置信息与该各个图像中各个成像的二维位置信息进行对应，确定该已知目标物在该各个图像中成像的二维位置信息，同一个已知目标物在该各个图像中成像的二维位置信息与预测二维位置信息之间的距离符合预设条件；

该转换模块703还用于将该已知目标物在该各个图像中成像的二维位置信息，转换为该已知目标物在该当前时刻的三维位置信息。

在一种可能实现方式中，该获取模块701用于：

确定每个图像采集设备采集到的图像上的亮斑区域，每个亮斑区域对应一个目标物，该多个目标物为安装在各个运动物体上的反光球；

获取该亮斑区域的中心的二维位置信息；

将该各个图像上亮斑区域的中心的二维位置信息作为该各个图像中成像的二维位置信息。

在一种可能实现方式中，该获取模块701用于：

对该每个图像采集设备采集到的图像和预先建立的背景图像进行差分运算，得到前景差分图像；

获取该前景差分图像上亮斑的数量以及对应的区域。

在一种可能实现方式中，该获取模块701用于根据该亮斑区域中各个像素的灰度值和二维位置信息，获取该亮斑区域的中心的二维位置信息。

在一种可能实现方式中，该获取模块用于将该亮斑区域中各个像素的灰度值作为权重，对该各个像素的二维位置信息进行加权平均，将加权平均的结果作为该亮斑区域的中心的二维位置信息。

在一种可能实现方式中，该转换模块703用于：

基于该多个图像采集设备的参数信息和该已知目标物的预测三维位置信息，将该已知目标物反投影到该多个图像采集设备的成像平面上，得到该已知目标物的反投影点在该多个图像采集设备的成像平面上的多个二维位置信息；

将该反投影点在该多个图像采集设备的成像平面上的多个二维位置信息作为该预测二维位置信息。

在一种可能实现方式中，该确定模块704用于：

从该各个图像中各个成像的二维位置信息中，选择与同一个已知目标物的多个预测二维位置信息的距离小于预设阈值的多个二维位置信息；

当选择的多个二维位置信息能重构出三维位置信息时，确定选择的多个二维位置信息为该同一个已知目标物在该各个图像中成像的二维位置信息。

在一种可能实现方式中，该转换模块703用于将该已知目标物在该各个图像中成像的二维位置信息重构出的三维位置信息作为该已知目标物在该当前时刻的三维位置信息。

在一种可能实现方式中，该获取模块701还用于获取该已知目标物在该当前时刻的速度信息；记录该已知目标物在该当前时刻的三维位置信息和速度信息。

在一种可能实现方式中，该获取模块701用于根据该已知目标物在上一时刻的三维位置信息、该已知目标物在该当前时刻的三维位置信息以及该上一时刻和该当前时刻的时间间隔，获取该已知目标物在该当前时刻的速度信息。

在一种可能实现方式中，该获取模块701还用于：

从该各个图像中各个成像的二维位置信息中，获取除该已知目标物在该各个图像中成像的二维位置信息以外的剩余二维位置信息；

将该剩余二维位置信息中能重构出三维位置信息的多个二维位置信息筛选出来，作为未知目标物在该各个图像中成像的二维位置信息；

将该未知目标物在该各个图像中成像的二维位置信息重构出的三维位置信息作为该未知目标物在该当前时刻的三维位置信息；

将该未知目标物作为一个新的已知目标物，记录该新的已知目标物在该当前时刻的三维位置信息。

在一种可能实现方式中，该获取模块701还用于记录该新的已知目标物在该当前时刻的速度信息为默认值。

本发明实施例提供的装置，通过利用各个目标物在上一时刻的三维位置信息和速度信息，获取各个目标物在当前时刻的预测三维位置信息。由于预测三维位置信息与目标物在当前时刻的三维位置信息比较接近，因此目标物在当前时刻所采集的各个图像中成像的二维位置信息与预测三维位置信息对应的预测二维位置信息也比较接近，因而利用该预测二维位置信息，可以准确地获取各个目标物在各个图像中成像的二维位置信息，进而将其转换为各个目标物在当前时刻的三维位置信息，提高了***捕捉目标物的准确率。

需要说明的是：上述实施例提供的运动捕捉装置在进行运动捕捉时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的运动捕捉装置与运动捕捉方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图8是本发明实施例提供的一种计算机设备800的结构示意图，该计算机设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)801和一个或一个以上的存储器802，其中，所述存储器802中存储有至少一条指令，所述至少一条指令由所述处理器801加载并执行以实现上述各个方法实施例提供的运动捕捉方法。当然，该计算机设备800还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备800还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种存储有至少一条指令的计算机可读存储介质，例如存储有至少一条指令的存储器，上述至少一条指令被处理器执行时实现上述实施例中的运动捕捉方法。例如，所述计算机可读存储介质可以是只读内存(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-OnlyMemory，CD-ROM)、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，上述程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (19)

1.一种运动捕捉方法，其特征在于，所述方法包括：

基于多个图像采集设备在当前时刻对多个目标物进行图像采集得到的各个图像，获取所述多个目标物在所述各个图像中成像的二维位置信息；

根据所述多个目标物中已知目标物在上一时刻的三维位置信息和速度信息进行预测，得到所述已知目标物在所述当前时刻的预测三维位置信息，所述已知目标物为记录了上一时刻的三维位置信息的目标物；

基于所述多个图像采集设备的参数信息，将所述已知目标物在所述当前时刻的预测三维位置信息转换为预测二维位置信息，所述参数信息包括内参和外参；

将所述已知目标物的预测二维位置信息与所述各个图像中各个成像的二维位置信息进行对应，确定所述已知目标物在所述各个图像中成像的二维位置信息，同一个已知目标物在所述各个图像中成像的二维位置信息与预测二维位置信息之间的距离符合预设条件；

将所述已知目标物在所述各个图像中成像的二维位置信息，转换为所述已知目标物在所述当前时刻的三维位置信息。

2.根据权利要求1所述的方法，其特征在于，所述基于多个图像采集设备在当前时刻对多个目标物进行图像采集得到的各个图像，获取所述多个目标物在所述各个图像中成像的二维位置信息，包括：

确定每个图像采集设备采集到的图像上的亮斑区域，每个亮斑区域对应一个目标物，所述多个目标物为安装在各个运动物体上的反光球；

获取所述亮斑区域的中心的二维位置信息；

将所述各个图像上亮斑区域的中心的二维位置信息作为所述各个图像中成像的二维位置信息。

3.根据权利要求1所述的方法，其特征在于，所述基于所述多个图像采集设备的参数信息，将所述已知目标物在所述当前时刻的预测三维位置信息转换为预测二维位置信息，包括：

基于所述多个图像采集设备的参数信息和所述已知目标物的预测三维位置信息，将所述已知目标物反投影到所述多个图像采集设备的成像平面上，得到所述已知目标物的反投影点在所述多个图像采集设备的成像平面上的多个二维位置信息；

将所述反投影点在所述多个图像采集设备的成像平面上的多个二维位置信息作为所述预测二维位置信息。

4.根据权利要求1所述的方法，其特征在于，所述将所述已知目标物的预测二维位置信息与所述各个图像中各个成像的二维位置信息进行对应，确定所述已知目标物在所述各个图像中成像的二维位置信息，包括：

从所述各个图像中各个成像的二维位置信息中，选择与同一个已知目标物的多个预测二维位置信息的距离小于预设阈值的多个二维位置信息；

当选择的多个二维位置信息能重构出三维位置信息时，确定选择的多个二维位置信息为所述同一个已知目标物在所述各个图像中成像的二维位置信息。

5.根据权利要求1所述的方法，其特征在于，所述将所述已知目标物在所述各个图像中成像的二维位置信息，转换为所述已知目标物在所述当前时刻的三维位置信息，包括：

将所述已知目标物在所述各个图像中成像的二维位置信息重构出的三维位置信息作为所述已知目标物在所述当前时刻的三维位置信息。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述将所述已知目标物在所述各个图像中成像的二维位置信息，转换为所述已知目标物在所述当前时刻的三维位置信息之后，所述方法还包括：

获取所述已知目标物在所述当前时刻的速度信息；

记录所述已知目标物在所述当前时刻的三维位置信息和速度信息。

7.根据权利要求6所述的方法，其特征在于，所述获取所述已知目标物在所述当前时刻的速度信息，包括：

根据所述已知目标物在上一时刻的三维位置信息、所述已知目标物在所述当前时刻的三维位置信息以及所述上一时刻和所述当前时刻的时间间隔，获取所述已知目标物在所述当前时刻的速度信息。

8.根据权利要求1至5任一项所述的方法，其特征在于，所述将所述已知目标物在所述各个图像中成像的二维位置信息，转换为所述已知目标物在所述当前时刻的三维位置信息之后，所述方法还包括：

从所述各个图像中各个成像的二维位置信息中，获取除所述已知目标物在所述各个图像中成像的二维位置信息以外的剩余二维位置信息；

将所述剩余二维位置信息中能重构出三维位置信息的多个二维位置信息筛选出来，作为未知目标物在所述各个图像中成像的二维位置信息；

将所述未知目标物在所述各个图像中成像的二维位置信息重构出的三维位置信息作为所述未知目标物在所述当前时刻的三维位置信息；

将所述未知目标物作为一个新的已知目标物，记录所述新的已知目标物在所述当前时刻的三维位置信息。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

记录所述新的已知目标物在所述当前时刻的速度信息为默认值。

10.一种运动捕捉装置，其特征在于，所述装置包括：

获取模块，用于基于多个图像采集设备在当前时刻对多个目标物进行图像采集得到的各个图像，获取所述多个目标物在所述各个图像中成像的二维位置信息；

预测模块，用于根据所述多个目标物中已知目标物在上一时刻的三维位置信息和速度信息进行预测，得到所述已知目标物在所述当前时刻的预测三维位置信息，所述已知目标物为记录了上一时刻的三维位置信息的目标物；

转换模块，用于基于所述多个图像采集设备的参数信息，将所述已知目标物在所述当前时刻的预测三维位置信息转换为预测二维位置信息，所述参数信息包括内参和外参；

确定模块，用于将所述已知目标物的预测二维位置信息与所述各个图像中各个成像的二维位置信息进行对应，确定所述已知目标物在所述各个图像中成像的二维位置信息，同一个已知目标物在所述各个图像中成像的二维位置信息与预测二维位置信息之间的距离符合预设条件；

所述转换模块还用于将所述已知目标物在所述各个图像中成像的二维位置信息，转换为所述已知目标物在所述当前时刻的三维位置信息。

11.根据权利要求10所述的装置，其特征在于，所述获取模块用于：

确定每个图像采集设备采集到的图像上的亮斑区域，每个亮斑区域对应一个目标物，所述多个目标物为安装在各个运动物体上的反光球；

获取所述亮斑区域的中心的二维位置信息；

将所述各个图像上亮斑区域的中心的二维位置信息作为所述各个图像中成像的二维位置信息。

12.根据权利要求10所述的装置，其特征在于，所述转换模块用于：

基于所述多个图像采集设备的参数信息和所述已知目标物的预测三维位置信息，将所述已知目标物反投影到所述多个图像采集设备的成像平面上，得到所述已知目标物的反投影点在所述多个图像采集设备的成像平面上的多个二维位置信息；

将所述反投影点在所述多个图像采集设备的成像平面上的多个二维位置信息作为所述预测二维位置信息。

13.根据权利要求10所述的装置，其特征在于，所述确定模块用于：

从所述各个图像中各个成像的二维位置信息中，选择与同一个已知目标物的多个预测二维位置信息的距离小于预设阈值的多个二维位置信息；

当选择的多个二维位置信息能重构出三维位置信息时，确定选择的多个二维位置信息为所述同一个已知目标物在所述各个图像中成像的二维位置信息。

14.根据权利要求10所述的装置，其特征在于，所述转换模块用于将所述已知目标物在所述各个图像中成像的二维位置信息重构出的三维位置信息作为所述已知目标物在所述当前时刻的三维位置信息。

15.根据权利要求10至14任一项所述的装置，其特征在于，所述获取模块还用于获取所述已知目标物在所述当前时刻的速度信息；记录所述已知目标物在所述当前时刻的三维位置信息和速度信息。

16.根据权利要求15所述的装置，其特征在于，所述获取模块用于根据所述已知目标物在上一时刻的三维位置信息、所述已知目标物在所述当前时刻的三维位置信息以及所述上一时刻和所述当前时刻的时间间隔，获取所述已知目标物在所述当前时刻的速度信息。

17.根据权利要求10至14任一项所述的装置，其特征在于，所述获取模块还用于：

从所述各个图像中各个成像的二维位置信息中，获取除所述已知目标物在所述各个图像中成像的二维位置信息以外的剩余二维位置信息；

将所述剩余二维位置信息中能重构出三维位置信息的多个二维位置信息筛选出来，作为未知目标物在所述各个图像中成像的二维位置信息；

将所述未知目标物在所述各个图像中成像的二维位置信息重构出的三维位置信息作为所述未知目标物在所述当前时刻的三维位置信息；

将所述未知目标物作为一个新的已知目标物，记录所述新的已知目标物在所述当前时刻的三维位置信息。

18.根据权利要求17所述的装置，其特征在于，所述获取模块还用于记录所述新的已知目标物在所述当前时刻的速度信息为默认值。

19.一种运动捕捉***，其特征在于，所述***包括多个图像采集设备和计算机设备：

所述多个图像采集设备用于在当前时刻对多个目标物进行图像采集，获取所述多个目标物在采集到的各个图像中成像的二维位置信息；

所述计算机设备用于根据所述多个目标物中已知目标物在上一时刻的三维位置信息和速度信息进行预测，得到所述已知目标物在所述当前时刻的预测三维位置信息，所述已知目标物为记录了上一时刻的三维位置信息的目标物；

所述计算机设备还用于基于所述多个图像采集设备的参数信息，将所述已知目标物在所述当前时刻的预测三维位置信息转换为预测二维位置信息，所述参数信息包括内参和外参；

所述计算机设备还用于将所述已知目标物的预测二维位置信息与所述各个图像中各个成像的二维位置信息进行对应，确定所述已知目标物在所述各个图像中成像的二维位置信息，同一个已知目标物在所述各个图像中成像的二维位置信息与预测二维位置信息之间的距离符合预设条件；

所述计算机设备还用于将所述已知目标物在所述各个图像中成像的二维位置信息，转换为所述已知目标物在所述当前时刻的三维位置信息。