CN111582081A - 一种多Kinect串联的步态数据时空合并方法与测量装置 - Google Patents

Abstract

本发明公开了一种多Kinect串联的步态数据时空合并方法与测量装置，包括至少三台Kinect，其中，一台Kinect设置在步道正对面，其余Kinect设置在步道同一侧，放置在步道右侧的两个相邻Kinect之间的采集范围有交集，每台Kinect均连接有计算机，所述Kinect用于采集人体关节点的三维坐标值；所述计算机用于对Kinect采集到的三维坐标值进行处理，得到合并后的步态数据。不仅可以扩大数据采集范围，增加步态数据序列的长度，而且由于是一种非侵入性、非接触性的数据采集方法，可避免行走有障碍的病人或老年人在跑步机上可能摔倒的潜在安全风险。

Description

一种多Kinect串联的步态数据时空合并方法与测量装置

技术领域

本发明属于步态分析技术领域，具体涉及一种多Kinect串联的步态数据时空合并方法与测量装置。

背景技术

步行是人类与其他动物区别的关键特征之一，正常的步行并不需要思考，然而步行的控制十分复杂，涉及到多个环节的协同运动，任何环节的失调都可能影响到步态。因此，正确有效的步态分析尤为重要。

步态分析是利用力学概念和运动学手段对人体行走功能的状态进行客观的定性分析或定量分析，有助于对神经疾病患者的康复功能状态进行评价，帮助制定康复治疗方案及评定康复疗效。由于步态的远距离非接触可识别特点，步态分析作为一种新兴的生物特征分析识别技术已经成为计算机视觉领域的研究热点。

现阶段，在临床上医生通过使用标准化的量表和测试来评估人体步态，根据病人的结果与匹配的健康样本的结果进行比较得出诊断结果。这种传统的方式易操作、耗时短，但是它们的准确性很差，并受到医生主观因素的影响，无法建立统一的标准。针对这些问题，近几年来，研究者们已经提出了通过步行过程中的地面反作用力来精确估计时空参数的方法，可以完整比较简单的步态时相变化，与此对应的仪器就是步道垫和压力板，然而，估计运动学参数需要在测试过程中跟踪多个关节点的具***置，步道垫无法满足这个要求，因为在运动过程中，摆动相是在悬空进行的，此时无法与地面接触，因此步态垫和压力板无法捕捉完整的步态周期。而且步道垫和压力板捕捉信息单一，无法完整的记录步态信息。所以又间接促进了一些连接到特定身体部位的传感器的发展。其中，光学运动跟踪已成为精确研究运动步态参数的最常见的方法。尽管光学仪器可以进行精确的时空和运动学分析，但是由于成本太高，它们通常都被用在大型实验室或者大型的临床中心，不利于步态分析技术的普及和推广，同时此方法需要在身上粘贴相应的标记点，操作的人需要了解解剖学知识，并且操作过程繁琐。

因此，目前亟待解决的问题主要有以下几点：1、降低测量设备的价格，目前，光学运动跟踪已成为精确研究运动步态参数的最常见的方法。尽管光学仪器可以进行精确的时空和运动学分析，但是由于成本太高，它们通常都被用在大型实验室或者大型的临床中心，因此，降低测量设备的价格是非常必要的，以进一步促进步态分析的广泛应用；2、提高测量精度，这样可以提高步态分析的准确性和可靠性；3、简化实验步骤，提高其可操作性，增加实验的可重复性；4、选择自然平地测量，消除跑步机对老人、儿童、孕妇等人等可能摔倒的安全风险；5、实现长距离的自然步态序列的测量，降低因测量距离过短造成的随机性。

发明内容

本发明提供了一种多Kinect串联的步态数据时空合并方法与测量装置，该测量装置和数据合并方法不仅可以扩大数据采集范围，增加步态数据序列的长度，而且由于是一种非侵入性、非接触性的数据采集方法，避免了在跑步机上行走可能摔倒的安全风险。这将大大提高步态分析和识别的可靠性和准确性，对受测者无特殊限制。

为达到上述目的，本发明所述一种多Kinect串联的步态测量装置，包括至少两台Kinect，其中：一台Kinect设置在步道正对面，其余Kinect设置在步道同一侧；放置在步道右侧的两个相邻Kinect之间的采集范围有交集，每台Kinect均连接有计算机，所述Kinect用于采集人体关节点的三维坐标值；所述计算机用于对Kinect采集到的三维坐标值进行处理，得到合并后的步态数据。

进一步的，放置在步道一侧的Kinect的镜头与步道成45度角。

进一步的，Kinect安装在可调节高度和角度的支撑支架上。

进一步的，连接不同Kinect的计算机通过无线局域网进行通讯。

一种基于上述的步态测量装置的多Kinect串联的步态数据时空合并方法，其特征在于，包括以下步骤：

步骤1，初始化Kinect参数：设置Kinect以30帧/秒的速率采集人体关节点的三维坐标值；

步骤2，使用多个Kinect对同一受测者进行数据采集，获取受测者的步态数据，所述步态数据为人体关节点的三维坐标值；

步骤3，将多个Kinect采集的步态数据进行坐标转换，将多个Kinect采集的步态数据转换至目标坐标系下，得到坐标转换之后的步态数据；

步骤4，将步骤3得到的坐标转换之后的步态数据分为两部分，一部分是只有本Kinect采集到的步态数据，另外一部分是和相邻Kinect同时采集到的步态数据，再将所有和相邻Kinect同时采集到的步态数据进行合并，得到长距离的自然步态数据。

进一步的，步骤3中，选取Kinect的最佳测量范围中的步态数据进行坐标转换，所述最佳测量范围指受测者距离Kinect为1.8m-3.5m。

进一步的，步骤3中，目标坐标系为正对步道的Kinect的坐标系。

进一步的，步骤3中，坐标转换公式为：

R^a,b是Kinect a和Kinect b之间的旋转矩阵，τ^a,b是Kinect a和Kinect b的平移向量，

是Kinect a采集的人体关节点三维坐标值，

是Kinect a采集的人体关节点三维坐标值坐标转换之后的值，j代表帧数,其中，Kinect a和Kinect b相邻。

进一步的，步骤4中，相邻的两个Kinect每一帧的步态数据合并的过程如下：

公式中，

为步态数据合并后重叠区域的一帧步态数据，Z为步态数据合并后的步态数据，v^n-1是Kinect#(n-1)在重叠区域所占的比例，vⁿ是Kinect#(n)在重叠区域所占的比例；为了平衡两个Kinect采集的步态数据；当vⁿ＝v^n-1＝0.5时可以取得良好的效果；

是只有Kinect#(n-1)可以采集到的步态数据，

是Kinect#(n-1)在重叠区域中采集的步态数据，

是只有Kinect#n可以采集的步态数据，

为步态数据合并后重叠区域的步态数据；

是Kinect#n在重叠区域中采集的步态数据，

是Kinect#(n-1)在重叠区域中采集的步态数据。

与现有技术相比，本发明至少具有以下有益的技术效果：

一种多Kinect串联的步态测量装置，可以扩大数据采集范围，增加步态数据序列的长度，最终得到长距离、稳定的、自然的步态数据，这将大大提高步态分析的可靠性和准确性。

扩展性很强。如果在场地和设备不限制的情况下，Kinect的数量可以无限的叠加，也就是其测量距离可以无限延长。且使用的硬件设备价格低廉，使用的主要设备有Kinect，计算机以及Kinect支架，总造价很低，这非常有利于步态分析的推广和普及。

Kinect可直接捕捉到被测对象，因此在进行数据测量时无需粘贴标记物，仍旧可以获取相对准确的人体关节点坐标值，同时消除了粘贴标记物带来的误差；

一种多Kinect串联的步态数据时空合并方法，采集场地选在室内平地上进行步态采集，这是是一种非侵入性、非接触性的数据采集方法，同时也有研究者为了保证受测者一直在Kinect的最佳测量范围内，使用跑步机代替平地，然而跑步机对受测者的要求比较高，适用受测者非常局限，本发明可避免行走障碍的病人或老年人在跑步机上可能摔倒的潜在安全风险，适用各种类型的受测者，例如：老人、孕妇、病人等，适用性广。本发明在坐标转换过程中只使用人体关节点的深度值，无需其他辅助的数据，简化了操作流程，易于实现。

进一步的，在采集步态数据时只选择Kinect最佳测试范围之内的步态数据，有利于提高步态分析的可靠性和准确性；

附图说明

图1为本发明硬件设备摆放关系；

图2为相邻Kinect测量范围的重叠关系；

图3为Kinect测量人体关节点的过程；

图4为相邻Kinect在步态数据合并前的数据流状态；

图5为相邻Kinect在步态数据合并后的数据流状态；

图6为本发明中三个Kinect在步态数据合并前髋关节z轴坐标值；

图7为本发明中三个Kinect在步态数据合并后的髋关节z轴坐标值。

具体实施方式

为了使本发明的目的和技术方案更加清晰和便于理解。以下结合附图和实施例，对本发明进行进一步的详细说明，此处所描述的具体实施例仅用于解释本发明，并非用于限定本发明。

参照图1，一种多Kinect串联的步态测量装置，包括至少两台Kinect，其中，一台Kinect设置在步道正对面，其余Kinect设置在步道同一侧，放置在步道一侧的Kinect的镜头与步道成45度角。放置在步道右侧的两个相邻Kinect之间的采集范围有交集，每台Kinect均连接有计算机，所述Kinect用于采集人体关节点的三维坐标值；所述计算机用于对Kinect采集到的三维坐标值进行处理，得到合并后的步态数据。所述Kinect安装在可调节高度和角度的支撑支架上。连接不同Kinect的计算机通过无线局域网进行通讯。

参照图2至图5，一种多Kinect串联的步态数据时空合并方法，主要包括如下步骤(本发明中Kinect的数量可以无限叠加，由于场地的有限，此处仅以四台Kinect为例)：

步骤1，搭建步态数据采集的硬件环境：

硬件设备主要包括四台Kinect、可调节高度和角度的支撑支架、四台计算机。本实施例硬件的摆放方式如图1所示，每台Kinect都需要连接一台计算机用来测量步态数据，一台Kinect放置在步道正面，其余的Kinect放置在步道的右侧，Kinect的镜头与步道成45度角。因为在45度角时，Kinect能够更好的跟踪正在行走的受测者，并且该位置是捕获矢状面步态数据的最佳位置。同时，Kinect离地面0.8m，距步道中心的垂直距离为1.5m，放置在步道右侧的两个相邻Kinect之间的采集范围有交集，本发明中放置在步道的右侧的两个相邻Kinect之间的水平距离为2m。

同时，为了提高步态数据测量的精度，本发明首次将Kinect的最佳测试范围引入到步态采集环境设计中，根据研究表明，在设计交互环境时，Kinect最佳的采集范围在3.5米范围内，又考虑到受测者身高，本实施例选择被测者距离Kinect距离1.8-3.5米作为步态序列的最佳测量范围，具体的采集范围如图2所示。图2中，L为Kinect的深度识别范围，S1为Kinect#1和Kinect#2的重叠区域，S2为Kinect#2和Kinect#3的重叠区域，S3为Kinect#3和Kinect#4的重叠区域，θ为Kinect水平视角。

步骤2，初始化Kinect参数：设置30帧/秒的测量的速度，在步态数据测量的过程中，Kinect以30帧/秒的速率采集人体关节点的数据。为了不影响受测者的行走状态，实验中不同受测者只需要以不同的速度匀速在步道上行走。

步骤3，使用多个Kinect获取受测者人体关节点的三维坐标值：

Kinect最初是应用在Xbox360的***设备，主要针对体感游戏开发，但因为它们都可以采集实时的彩色数据和深度信息，所以常被用于三维重建、人体骨架提取和步态识别当中，通过Kinect可以得到人体25个关节点的三维坐标值，同时，Kinect以30帧/秒的速率读取人体关节点三维坐标值，来完成步态数据的连续测量；

但是一台Kinect只能连接一台计算机，为了实现三台计算机同时启停，不同计算机之间建立局域网通讯。方法是在同一个无线局域网内建立起TCP/IP协议，利用socket进行通讯。这样就可以多台Kinect同时采集连续的步态数据，Kinect对人体关节点的跟踪状态如图3所示。

本发明测量30个受测者，然后选取Kinect的最佳测量范围中的步态数据，以此构建人体步态数据库，这也是最大程度的保留受测者自然的步态数据。然后将每一个受测者的步态数据，进行步骤4至步骤5的处理，就可以得到每个受测者合并后的步态数据。

步骤4，将多个Kinect采集的步态数据进行坐标转换(完成时间一致性)：

在采集完步态数据以后，为了保持步态数据的空间一致性，其中非常重要的一步就是解决多台Kinect之间的坐标转换的问题。采用多台Kinect对同一目标物体进行数据的采集，每个数据集对应其自身摄像机下的坐标系，因此不能直接对这些数据进行操作，需要将数据转换到某个目标坐标系下。如图1所示，本实施例选择正对步道的Kinect为目标坐标系,其余的Kinect均为源坐标系。即将所有源坐标系下的数据转换指目标坐标系之下。如此选择的原因主要是以下几点：第一，Kinect对正对人体的识别能力较强，当人体正对Kinect时会尽可能的减少自遮挡的限制；第二，面对Kinect行使时采集的步态数据对于步态性质中的对称性参数有更好的体现；第三，在之后进行多台Kinect步态数据拼接时，使用到了延行驶方向的深度值，所以应将所有步态数据的深度值转换至与行驶方向平行。

本发明使用的方法就是直接利用深度信息，也就是在两台Kinect坐标系下人体关节点的三维坐标，根据所采集到的三维坐标信息直接计算其空间变换。计算过程如下式：

公式中

为目标坐标系所采集的步态数据，

为源坐标系采集的步态数据，R为两台Kinect之间的旋转矩阵，τ为平移向量，

是目标坐标系采集的人体关节点三维坐标，本式中i为Kinect的数量。通过上式，坐标转换的问题就可以转化为求解两个三维点集之间的最小二乘变换，通过利用奇异值分解可以快速进行求解，由于最小二乘变换是非常通用的方法，详细的计算过程不再赘述。

因此，在两台Kinect所测得的人体关节点三维坐标已知的情况下，就可以求出两个Kinect坐标系之间的旋转矩阵和平移向量。这种求解方法不受相机深度镜头自标定精度的影响，计算速度相对比较快。在得到相邻Kinect之间的旋转矩阵和平移向量后，通过下式可以得到转换后的步态数据，每两个相邻的Kinect之间的转换关系都相同，因此本发明中只以一组相邻的Kinect为例，具体的转换关系如下：

公式中，R^n,n-1是通过最小二乘法计算得到的第n个Kinect和第n-1个Kinect之间的旋转矩阵，τ^n,n-1是计算得到的平移向量，

是采集的人体关节点三维坐标值，

是坐标转换之后的步态数据，j代表帧数。

步骤5，步态数据合并(完成空间一致性)：

坐标转换后，由于相邻Kinect的采集范围有重合的区域，采集的步态数据在时间上和z轴上都是有重复阶段的，因此为保证数据的时间连续性，在重合区域内必须对相邻的Kinect采集的步态数据进行合并。

具体的方法如图4中所示，由于Kinect可以直接获得深度值，且在采集到的关节点中spineBase(脊柱中心点)是一个在行走过程中较为稳定的关节点，因此使用此关节点的深度值对数据进行划分，根据相邻Kinect的深度值是否重合，将Kinect采集的步态数据分为两部分：一部分是只有本Kinect采集到的步态数据，另外一部分是和相邻Kinect同时采集到的步态数据(即深度值重合的数据)。

步态数据划分结束以后，由于相邻Kinect的收集范围具有重叠区域，因此，如图5所示，为了确保数据的时间连续性，必须在重叠区域合并步态序列以此来得到长距离的自然步态数据。其中每一帧的合并的过程如下：

公式中，

为步态数据合并后重叠区域的第j帧步态数据，Z为步态数据合并后的步态数据，步态数据合并后对应的数据流如图7所示。v^n-1是Kinect#(n-1)在重叠区域所占的比例，vⁿ是Kinect#(n)在重叠区域所占的比例。为了平衡相邻两个Kinect采集的步态数据。当时可以取得良好的效果。

是只有Kinect#(n-1)可以采集到的步态数据，

是Kinect#(n-1)在重叠区域中采集的步态数据，

是只有Kinect#n可以采集的步态数据，

为步态数据合并后重叠区域的步态数据；

是Kinect#n在重叠区域中采集的步态数据，

是Kinect#(n-1)在重叠区域中采集的步态数据。由于所有相邻Kinect之间的合并方法一样，因此只以一组相邻的Kinect为例进行说明。

图6所示为步态数据时空合并之前三台Kinect对应的髋关节z轴坐标值，可以看出是不连续的；通过本发明的方法将Kinect采集的步态数据都可以被合并起来，如图7所示，以此本发明就完成了采集长距离自然步态序列的目的。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种多Kinect串联的步态测量装置，其特征在于，包括至少两台Kinect，其中：一台Kinect设置在步道正对面，其余Kinect设置在步道同一侧；放置在步道右侧的两个相邻Kinect之间的采集范围有交集，每台Kinect均连接有计算机，所述Kinect用于采集人体关节点的三维坐标值；所述计算机用于对Kinect采集的三维坐标值进行处理，得到合并后的步态数据。

2.根据权利要求1所述的一种多Kinect串联的步态测量装置，其特征在于，放置在步道一侧的Kinect的镜头与步道成45度角。

3.根据权利要求1所述的一种多Kinect串联的步态测量装置，其特征在于，所述Kinect安装在可调节高度和角度的支撑支架上。

4.根据权利要求1所述的一种多Kinect串联的步态测量装置，其特征在于，所述连接不同Kinect的计算机通过无线局域网进行通讯。

5.一种基于权利要求1所述的步态测量装置的多Kinect串联的步态数据时空合并方法，其特征在于，包括以下步骤：

步骤1，初始化Kinect参数：设置Kinect以30帧/秒的速率采集人体关节点的三维坐标值；

步骤2，使用多个Kinect对同一受测者进行数据采集，获取受测者的步态数据，所述步态数据为人体关节点的三维坐标值；

步骤3，将多个Kinect采集的步态数据进行坐标转换，将多个Kinect采集的步态数据转换至目标坐标系下，得到坐标转换之后的步态数据；

步骤4，将步骤3得到的坐标转换之后的步态数据分为两部分，一部分是只有本Kinect采集到的步态数据，另外一部分是和相邻Kinect同时采集到的步态数据，再将所有和相邻Kinect同时采集到的步态数据进行合并，得到长距离的自然步态数据。

6.根据权利要求5所述的一种多Kinect串联的步态数据时空合并方法，其特征在于，所述步骤3中，选取Kinect的最佳测量范围中的步态数据进行坐标转换，所述最佳测量范围指受测者距离Kinect为1.8m-3.5m。

7.根据权利要求5所述的一种多Kinect串联的步态数据时空合并方法，其特征在于，所述步骤3中，目标坐标系为正对步道的Kinect的坐标系。

8.根据权利要求5所述的一种多Kinect串联的步态数据时空合并方法，其特征在于，所述步骤3中，坐标转换公式为：

R^a,b是Kinect a和Kinect b之间的旋转矩阵，τ^a,b是Kinect a和Kinect b的平移向量，

是Kinect a采集的人体关节点三维坐标值，

是Kinect a采集的人体关节点三维坐标值坐标转换之后的值，j代表帧数，其中，Kinecta和Kinect b相邻。

9.根据权利要求5所述的一种多Kinect串联的步态数据时空合并方法，其特征在于，所述步骤4中，相邻的两个Kinect每一帧的步态数据合并的过程如下：

公式中，

为步态数据合并后重叠区域的一帧步态数据，Z为步态数据合并后的步态数据，v^n-1是Kinect#(n-1)在重叠区域所占的比例，vⁿ是Kinect#(n)在重叠区域所占的比例；为了平衡两个Kinect采集的步态数据；当vⁿ＝v^n-1＝0.5时可以取得良好的效果；

是只有Kinect#(n-1)可以采集到的步态数据，

是Kinect#(n-1)在重叠区域中采集的步态数据，

是只有Kinect#n可以采集的步态数据，

为步态数据合并后重叠区域的步态数据；

是Kinect#n在重叠区域中采集的步态数据，

是Kinect#(n-1)在重叠区域中采集的步态数据。

Images