CN101452488A - 基于仿生模式识别的人体运动捕捉数据检索方法 - Google Patents

Abstract

本发明公开了一种基于仿生模式识别的人体运动捕捉数据检索方法，该方法涉及人体运动捕捉技术领域，特别涉及光学人体运动捕捉数据中的特征表示、提取、以及检索方法。该方法引入仿生模式识别理论，首先提取运动数据中主要特征以构造特征向量，针对某一类检索条件的特征向量，在对应的高维空间中构造“超香肠”覆盖区域，定义覆盖序列，进而评价覆盖序列的相似度，最终实现运动捕捉数据的检索。本发明中的检索方法经实际测试，适用于人体运动捕捉数据的检索，具有良好的实用性和鲁棒性。

Description

基于仿生模式识别的人体运动捕捉数据检索方法

技术领域

本发明涉及人体运动捕捉技术领域，特别涉及光学人体运动捕捉数据中的特征表示、提取、以及检索方法。

背景技术

随着计算机软硬件技术的发展，人体运动捕捉技术逐渐发展成为虚拟现实、计算机视觉、影视动画制作等领域一种重要的数据获取手段，是数学、计算机图形学、图像处理、数据处理等多个学科相互渗透、相互交叉的新兴学科，拓展了计算机应用领域，丰富了计算机动画、虚拟现实领域研究内容，具有重要的理论价值。人体运动捕捉技术具有广泛的实际应用价值，可应用于工业、农业、交通、文教卫生和体育等许多行业，特别是在医学、体育科学研究、运动训练指导、现代影视、动画和游戏制作等领域的应用，有重要的作用和意义。

人体运动捕捉技术包括数据采集预处理、数据检索、运动重构等若干关键技术，其中人体运动捕捉数据检索与重用逐渐成为近年来的热点问题。随着设备的推广和普及，以及互联网的发展，人们可以从多种途径获取大量运动捕捉数据。然而，缺乏有效的、通用的运动捕捉数据检索方法和***，针对特定目标的运动数据的可重复利用性受到很大限制。这必然造成设备、人力、物力的重复和冗余，从而增加运动捕捉相关产品制作成本。因此，设计有效的、高效的人体运动捕捉数据检索方法、开发实用的、通用的人体运动捕捉数据检索***具有迫切的需求和较为深刻的实际意义。进而降低动漫产品制作成本，对推动影视制作、游戏娱乐、动漫产业的快速发展，构建相互支撑的动漫产业链，促进国家文化产业发展进而带动国民经济增长具有重要的作用和深刻意义。

由于人体自然运动本身所具有的复杂性，以及不同规格、不同标准的运动捕捉数据之间的差异，导致了人体运动捕捉数据检索方法的诸多困难。在传统的方法中，主要有基于运动模版的方法和动态时间弯曲的方法，其中基于模版的方法弊端在于由于人体运动的复杂性，很难用有限个固定的模版来描述某一类运动，因而限制了检索方法的精度和效率。动态时间弯曲的方法是时间序列匹配种经典方法，针对不同长度、频率的人体运动数据应用动态时间弯曲算法，从而实现某类运动的检索。然而这种方法的弊端在于计算效率低下。限制了该方法的推广和应用。

发明内容

本发明的目的在于通过对以上两类方法局限性的分析，引入仿生模式识别理论，首先提取运动数据中主要特征，构造特征向量，针对某一类检索条件(即待检索的目标运动)的特征向量，在对应的高维空间中构造“超香肠”覆盖区域，定义覆盖序列，进而评价覆盖序列的相似度，最终实现运动捕捉数据的检索。附图1所示为本发明方法流程图。实验表明该方法具有高处理效率、良好鲁棒性。

本发明的技术解决方案是这样实现的：

基于仿生模式识别的人体运动捕捉数据检索方法，包括将基于C++程序设计语言和OpenGL图形库开发的人体运动捕捉数据检索***装入计算机和对人体运动捕捉数据库进行构建、初始化的步骤，其特征在于还包括以下步骤：

(1)、本方法中的检索条件为一组同类运动片断，选取关键姿态并以数字序号(1，2，……)作为标记，并称为检索序列，例如某“走”运动检索条件通过关键姿态选取后得到检索序列[1，2，3，4]，如附图2所示；

(2)、针对人体运动数据(包括运动检索数据库和检索条件)，参照BVH运动数据标准格式，以BVH标准格式中的旋转CHANNEL为特征进行特征提取，并构造特征向量，如附图3所示；

(3)、基于仿生模式识别理论，针对检索条件的特征向量，在对应的高维空间中构造“超香肠”覆盖区域，该高维空间的维数与特征向量维数相等，如图4、5所示；

(4)、循环运动数据库，判断库中所有帧所从属的检索条件中的关键姿态类别，并以数字序号(1、2、……)作为标记，不从属于任何检索条件中的关键姿态类别的帧以序号0标记；

(5)、定义覆盖序列，该序列即为运动数据库中某一个运动中所有帧的从属标记的排列，覆盖序列的数量等于数据库中运动的数量；

(6)、评价覆盖序列与检索序列的相似度，首先对覆盖序列进行简化，简化方法为删除序列中的O元素，合并序列中相邻的相同元素，例如：序列[1，1，0，2，0，0，3，3，0，4，4，4，0]简化为[1，2，3，4]，简化后的覆盖序列称为简化覆盖序列，覆盖序列与检索序列的相似度评价标准为判断检索序列是否是覆盖序列的子序列，若是，认为是相似，添加到检索结果中，否则认为不相似，图6所示为使用本发明方法实现的部分检索结果；

与现有技术相比较，本发明的优势主要表现在通过基于仿生模式识别的方法构造覆盖区域，有效的整合了同类运动之间所具有的共同特征；基于覆盖序列的判定标准避免了大量冗余的计算，保证了检索效率；统一的特征表示方法使其获得了良好的鲁棒性。

附图说明

图1本发明的流程框图。

图2检索条件中关键姿态帧的选取。

图3作为特征提取的8个BVH节点。

图4仿生模式识别原理图及其与传统模式识别的比较。

图5基于仿生模式识别的“超香肠”神经元示意图。

图6本发明方法实现的部分检索结果。

具体实施方式

一种基于仿生模式识别的人体运动捕捉数据检索方法，包括将基于C++程序设计语言和OpenGL图形库开发的人体运动捕捉数据检索***装入计算机和对人体运动捕捉数据库进行构建、初始化，所述各步骤的具体实施方式如下：

1.实施本发明方法可以以在线获取的一组共享的BVH格式运动捕捉数据库为平台，在本发明中以下的叙述中，均以此数据库为例。该数据库包括数百个标准BVH格式运动数据，以文件的形式存储在某一特定目录下，文件名按照不同采集者、采集顺序进行标记，例如12_01.bvh表示第12个采集者的第一个动作，该运动数据中不包含对运动内容的文本描述。针对其它格式的运动捕捉数据或用户自行定义获取的运动捕捉数据，可以先将其转化为统一的BVH标准格式运动数据，以构造运动捕捉数据库。

2.选取一组与数据库中数据具有相同BVH结构的运动序列为检索条件，如图2所示。现以“走”动作为例进行说明，选取4个“走”动作序列作为检索条件，并在每一个序列中选取4个“走”动作的关键姿态帧：

07_01.bvh序列中KeyPose1(Frame1)、KeyPose2(Frame30)、KeyPose3(Frame50)、KeyPose4(Frame90)；

07_02.bvh序列中KeyPose1(……)、KeyPose2(……)、KeyPose3(……)、KeyPose4(……)；

……；

然后定义姿态组数据结构，并将对应关键姿态信息存储在计算机上，同时获取如发明内容中定义的检索序列[1，2，3，4]。

3.分别对检索条件和运动捕捉数据库进行基于BVH旋转CHANNEL的特征提取，BVH数据格式中分为HEAD段和MOTION段两部分，HEAD段描述该运动的各节点拓扑结构和CHANNEL，MOTION段记录各节点的运动序列，方式为每行为一帧运动，按HEAD中定义的CHANNEL序列依次记录各节点的运动值(包括平移和旋转)，由于BVH中所记录的某节点的旋转CHANNEL均为以该节点的父节点为原点的局部坐标系旋转，所以可以直接提取关键节点的旋转CHANNEL值以作为运动特征，共选取8个节点的旋转CHANNEL值，分别是左右髋关节、左右膝关节、左右肩关节和左右肘关节，如图3所示。每个节点的CHANNEL值分别为绕Z轴旋转Zrotation、绕Y轴旋转Yrotation和绕X轴旋转Yrotation。所选取8个节点的CHANNEL值共计24个，按照统一的顺序构成一个24维的一维向量：M²⁴＝[Zrot_J1，Yrot_J1，Xrot_J1，Zrot_J2，…，Xrot_J8]，称之为特征向量。为提高检索效率，可以将运动数据库中所有运动数据进行向量提取，并另存为与运动数据文件名对应的特征向量文件(例如12_01.vec)，从而将数据库转化为特征向量数据库。

4.基于仿生模式识别理论以及人体运动数据特征分布，将步骤2中所定义的检索序列，按照步骤3所述方法进行特征向量的提取，获取一组4×4结构的24维的特征向量组，其中每一列具有相同的关键姿态标记(即分别为：关键姿态1、2、3、4)，分别将具有相同标记的特征向量作为一组，在一个维数为24的高维空间中构造基于仿生模式识别理论的“超香肠(HSN)”神经元，神经元构造方法可由如下一组公式实现：

$f_{\mathrm{HSN}}\left(X\right)=\mathrm{sgn}(2^{\frac{d^2(X,\stackrel{\‾}{X_1,X_2})}{r^2}}-0.5)---\left(1\right)$

其中r为神经元半径，d表示高维空间中点X到线段

的距离。

$d^2(X,\stackrel{\&OverBar;}{X_1,X_2})=\left\{\begin{array}{cc}{\left|\right|X-X_1\left|\right|}^2,& q(X,X_1{,X}_2)<0,\\ {\left|\right|X-X_2\left|\right|}^2,& q(X,X_1,X_2)>\left|\right|X_1-X_2\left|\right|,\\ {\left|\right|X-X_1\left|\right|}^2-q^2(X,X_1,X_2),& \mathrm{otherwise}\end{array}\right.---\left(2\right)$

$q(X,X_1,X_2)=(X-X_1)\frac{(X_1-X_2)}{\left|\right|X_1-X_2\left|\right|}---\left(3\right)$

5.对于特征向量数据库中某一帧特征向量而言，可以将其记作高维空间中的一个点X，计算点X到检索条件中具有相同类别标记的特征向量(同一列)的距离，在同一类别检索条件中(例如关键姿态1)，取距离最小的两个特征向量，分别记作X1和X2，按照步骤4所述方法构造覆盖区域，并判别X是否属于X1，X2覆盖之内，若是，认为X为该类别检索条件的同类姿态，以该类别的序号进行标记(例如对应于关键姿态1标记为1)。针对每个特征向量数据文件(*.vec)可以得到一个覆盖序列，如发明内容中所定义。循环步骤3中构造的特征向量数据库中所有特征向量数据文件(*.vec)，得到所有数据文件的覆盖序列。

6.评估覆盖序列与检索序列的相似度。在步骤5中，得到所有数据文件的覆盖序列。例如某“走”动作的覆盖序列Cs＝[1，1，0，2，0，0，3，3，0，4，4，4，0……]，将其按照发明内容中所述的简化方式进行简化，得到简化覆盖序列Csimple＝[1，2，3，4，……]，判断检索序列是否是简化覆盖序列的子序列，步骤2中定义的“走”动作的检索序列[1，2，3，4]是该“走”动作的简化覆盖序列Csimple＝[1，2，3，4，……]的子序列，则认为该运动数据中存在于检索条件类似的运动序列，将该运动加入到检索结果中。对所有覆盖序列进行相似度评价，得到针对以某“走”动作为检索条件的所有检索结果。

Claims (1)

1、一种基于仿生模式识别的人体运动捕捉数据检索方法，包括将基于C++程序设计语言和OpenGL图形库开发的人体运动捕捉数据检索***装入计算机和对人体运动捕捉数据库进行构建、初始化的步骤，其特征在于，还包括以下步骤：

(1)、本方法中的检索条件为一组同类运动片断，选取关键姿态并以数字序号(1，2，……)作为标记，并称为检索序列，例如某“走”运动检索条件通过关键姿态选取后得到检索序列[1，2，3，4]；

(2)、针对人体运动数据(包括运动检索数据库和检索条件)，参照BVH运动数据标准格式，以BVH标准格式中的旋转CHANNEL为特征进行特征提取，并构造特征向量；

(3)、基于仿生模式识别理论及其在人体运动捕捉数据中的应用特征，针对检索条件的特征向量，在对应的高维空间中构造“超香肠”人体运动特征覆盖区域，该高维空间的维数与特征向量维数相等；

(4)、循环运动数据库，判断库中所有帧所从属的检索条件中的关键姿态类别，并以数字序号(1、2、……)作为标记，不从属于任何检索条件中的关键姿态类别的帧以序号0标记；

(5)、定义覆盖序列，该序列即为运动数据库中某一个运动中所有帧的从属标记(1、2、……)的排列，覆盖序列的数量等于数据库中运动的数量；

(6)、评价覆盖序列与检索序列的相似度，首先对覆盖序列进行简化，简化方法为删除序列中的0元素，合并序列中相邻的相同元素，例如：序列[1，1，0，2，0，0，3，3，0，4，4，4，0]简化为[1，2，3，4]，简化后的覆盖序列称为简化覆盖序列，覆盖序列与检索序列的相似度评价标准为判断检索序列是否是覆盖序列的子序列，若是，认为是相似，添加到检索结果中，否则认为不相似；

Images