CN102831380A - 一种基于深度图像感应的肢体动作识别方法及*** - Google Patents

Abstract

本发明涉及一种基于深度图像感应的肢体动作识别方法及***，包括获取用户及其所在环境的深度图像信息；从上述深度图像信息的背景中抽取用户肢体轮廓；分别改变标准人体骨骼框架中各个部分的大小，使其与上述用户肢体轮廓相适应，获得相应于该用户的适配肢体骨骼框架；在深度图像信息中，以适配肢体骨骼框架的格式跟踪、抽取表达用户肢体的运动的数据；根据表达用户肢体的运动的数据识别用户的肢体动作。本发明通过重建用户肢体的骨骼***，再进一步的识别和跟踪用户的肢体动作，较好的解决了现有的动作感应识别解决方案中存在的问题，提高肢体动作识别效率，改善人机交互用户体验。

Description

一种基于深度图像感应的肢体动作识别方法及***

技术领域

本发明涉及人机交互技术，具体地说，本发明涉及一种基于深度图像感应的肢体动作识别方法及***。

背景技术

因为鼠标、键盘等传统人机交互设备在用户体验的自然性和友好性方面都存在一定的局限性，人机交互技术成为近年来非常热门的研究领域，进而出现了越来越多的诸如触控控制、声音控制、手势控制、动作感应等各种新型人机交互方式。特别是以任天堂的Wii和索尼的MOVE为代表的动作感应人机交互方式，通过各类传感器设备，实时的完成对肢体动作，更具体的说是上肢动作的识别过程，并转化为游戏主机等宿主设备能够识别的命令，是目前非常流行的一种人机交互方式。

以Wii的动作感应解决方案为例，其核心是位于特制的用户手持的游戏手柄中的MEMS（Micro Electromechanical System，即微电子机械***）三轴加速度感应芯片，当用户手持手柄做动作时，三轴加速度传感器则能够将用户的手势动作通过该传感器转换为数字信号从而能够被***识别。而MOVE的动作感应解决方案则是基于图像识别的原理，其核心是显示设备上的摄像头对特制的用户手持的游戏手柄上的发光彩球轨迹的识别和跟踪，而且彩球的发光颜色会根据实际环境的光照颜色条件进行自动调节，以保证能被***高效识别。

无论是采用MEMS传感器的方案还是图像识别的方案，都还是需要手持辅助设备，这对于用户体验来说还是有一定的限制。比如，用户动作过大时容易将手持辅助设备扔出，因为MEMS传感器手柄本身价格也比较高，跌落受损的经济损失比较大；MOVE方案中如果用户在强光环境中，则用户的动作识别率会大幅下降，甚至无法识别用户动作，严重影响用户体验。

目前以手势识别为代表的，可以让用户不借助任何外部辅助设备进行人机交互的解决方案，基本上都是基于二维图像处理和模式识别技术，对使用环境光照条件等有较苛刻的要求。从肢体动作识别过程来说，传统的动作识别需要进行动作建模、动作分割、动作分析等多个复杂步骤和过程，特别是对于动态肢体动作来说，不同的用户在进行肢体动作的时候会存在速率差异、轨迹差异等，从而导致动作建模轨迹在时间轴上引起非线性波动，而这种非线性波动的消除非常困难和复杂，所以传统的基于二维图像的肢体动作识别率和识别效率普遍不够高。

另一方面，真实的用户肢体动作都是在三维环境下做出的，而基于二维图像处理的结果是将用户的三维动作映射为二维动作来进行处理，很难获得真实的三维动作信息，也就在很大程度上限制了可以识别的肢体动作的丰富性，限制了手势识别设备的广泛应用。

发明内容

本发明的主要目的在于克服现有技术的不足之处，公开一种基于深度图像感应的肢体动作识别方法及***，识别和跟踪用户的肢体动作，提高肢体动作识别效率。

本发明公开了一种基于深度图像感应的肢体动作识别***，包括：

深度图像信息获取单元：用于获取用户及其所在环境的深度图像信息；

肢体轮廓抽取单元：用于从上述深度图像信息的背景中抽取用户肢体轮廓；

标准骨骼适配单元：用于分别改变标准人体骨骼框架中各个部分的大小，使其与上述用户肢体轮廓相适应，获得相应于该用户的适配肢体骨骼框架；

骨骼运动跟踪单元：用于在深度图像信息中，以适配肢体骨骼框架的格式跟踪、抽取表达用户肢体的运动的数据； 

肢体动作识别单元：用于根据上述表达用户肢体的运动的数据识别用户的肢体动作。

本发明公开的肢体动作识别***中，所述深度图像信息获取单元进一步包括：

深度图像传感单元：用于向用户所在方向发射经过编码的红外结构原始光平面，并接收和感应经由用户及其所在环境反射回来的三维环境对象红外结构光；和

深度图像处理单元：用于通过对比上述三维环境对象红外结构光的编码和原始结构光平面的编码，来获取深度图像信息。

所述肢体轮廓抽取单元是根据连续的深度图像信息中的运动差分分析抽取用户肢体轮廓。

所述标准骨骼适配单元通过缩放、旋转、变形的计算方法对所述标准人体骨骼框架进行适配。

所述标准人体骨骼框架包括按照正常人体结构相互连接的头部、躯干、盆骨、左上臂、左下臂、左手、右上臂、右下臂、右手、左大腿、左小腿、左脚、右大腿、右小腿和右脚。

本发明还公开了一种基于深度图像感应的肢体动作识别方法，包括如下步骤：

A， 获取用户及其所在环境的深度图像信息；

B， 从上述深度图像信息的背景中抽取用户肢体轮廓；

C， 分别改变标准人体骨骼框架中各个部分的大小，使其与上述用户肢体轮廓相适应，获得相应于该用户的适配肢体骨骼框架；

D， 在深度图像信息中，以适配肢体骨骼框架的格式跟踪、抽取表达用户肢体的运动的数据； 

E， 根据表达用户肢体的运动的数据识别用户的肢体动作。 

本发明公开的肢体动作识别方法，所述步骤C中进一步包括如下步骤：

C1，    根据标准人体骨骼框架和步骤B中获取的用户肢体轮廓，保证盆骨的对应位置相一致；

C2，    移动、缩放标准人体骨骼框架的躯干骨骼至合适高度，保证头部骨骼的对应位置相一致；

C3，    移动、缩放标准人体骨骼框架的下肢骨骼至合适位置，保证脚部的对应位置相一致；

C4，    移动、缩放标准人体骨骼框架的上肢骨骼至合适位置，保证双手对应位置相一致；

C5，    检查对比适配骨架关键点位置是否与所述用户肢体轮廓相一致，如果否，则回到上述步骤C1，从盆骨开始重新适配；如果是，则进入下一步。

所述步骤A中可以采用双目视觉技术、或者飞行时间技术、或者结构光编码技术获取用户及其所在环境的深度图像信息。 

所述步骤A采用结构光编码技术获取用户及其所在环境的深度图像信息的方法，进一步包括如下步骤：

A1，    向用户所在方向发射经过编码的红外结构原始光平面，并接收和感应经由用户及其所在环境反射回来的三维环境对象红外结构光；

A2，    通过对比上述三维环境对象红外结构光的编码和原始结构光平面的编码，来获取深度图像信息。 

步骤C中还可以包括：C6，    在用户动作时检查肢体轮廓是否与全身骨骼的实际运动保持一致。

本发明公开的一种基于深度图像感应的肢体动作识别方法及***，基于深度图像传感器和深度图像处理单元，可以将用户肢体图像高效的从复杂背景中分离出来，能够重建用户肢体的骨骼***，进一步的识别和跟踪用户的肢体动作，最终完成用户肢体动作识别过程，从而可以较好的解决现有的动作感应识别解决方案中存在的问题，提高肢体动作识别效率，改善人机交互用户体验。

附图说明

图1为本发明的肢体动作识别***的一个实施例的电路框图。

图2为本发明的肢体动作识别方法的一个实施例的流程图。

图3是本发明的肢体动作识别***采用的肢体骨骼结构示意图。

图4是本发明的标准骨骼适配方法的一个实施例的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细说明。

获取图像深度信息的方式有多种，常见的包括双目视觉技术，飞行时间技术，结构光编码技术等，不失一般性地，本发明以结构光编码技术作为获取图像深度信息的一种手段来描述本发明。

如图1所示为本发明的肢体动作识别***的一个实施例的电气结构框图，本发明的基于深度图像感应的肢体动作识别***主要构成包括：

深度图像传感单元：负责向用户所在方向发射经过编码的结构光平面，并接收和感应经由用户所在环境反射回来的红外结构光。

深度图像处理单元：根据结构光编码技术原理，通过对比三维环境对象结构光编码和原始平面结构光编码，来获取结构光传感器可视范围内的场景深度信息。

肢体轮廓抽取单元：负责从环境背景中抽取用户肢体轮廓，不失一般性，这里假设用户在实际使用环境中相对于其他场景部分是运动的，所以可以根据连续深度图像中的运动差分分析抽取出用户肢体轮廓。

标准骨骼适配单元：负责将标准人体骨骼框架根据实际抽取的用户肢体轮廓进行自动适配，包括缩放、旋转、变形等过程，从而将标准骨骼框架转换为与当前用户肢体轮廓相适应的适配肢体骨骼框架***。

骨骼运动跟踪单元：负责跟踪适配肢体骨骼框架***的运动；

肢体动作识别单元： 负责完成肢体动作识别过程。

图1中的深度图像传感单元和深度图像处理单元，就是采用结构光编码技术作为获取图像深度信息的手段。如果采用双目视觉技术、或者飞行时间技术，采用相应的深度图像传感器单元，再进行相应的深度图像处理技术，也同样可以获得图像深度信息。

如图2所示为本发明的肢体动作识别方法的一个实施例的流程图，主要步骤包括：

1、            深度图像传感单元获取深度图像数据；

2、            深度图像处理单元获取可视范围内的场景深度信息，传给肢体轮廓抽取单元，抽取动态肢体轮廓；

3、            标准骨骼适配单元进行标准人体骨骼适配，获取与当前用户肢体轮廓相适应的适配肢体骨骼框架；

4、            对适配肢体骨骼框架进行骨骼动作跟踪；

5、            肢体工作识别单元进行肢体动作识别。

如图3所示是本发明的肢体动作识别***采用的标准肢体骨骼结构示意图，包括：头部、躯干、盆骨、左上臂、左下臂、左手、右上臂、右下臂、右手、左大腿、左小腿、左脚、右大腿、右小腿和右脚。

如图4所示是本发明的标准骨骼适配方法的一个实施例的流程图，本发明中的标准骨骼适配步骤包括：

1、***提示用户做出标准适配姿态，即竖直站立，双手平伸，且保证肢体在深度图像传感单元的可视范围以内。也可以用户不需要做出特定适配姿态，而是适配***自动去适配。

2、用户按照提示做出标准适配姿态，并保持静止。

3、***从标准人体骨骼框架的盆骨位置开始进行骨骼适配，保证盆骨位置与肢体轮廓对应位置相一致。

4、移动、缩放标准人体骨骼框架的躯干骨骼至合适高度，保证头部骨骼与肢体轮廓对应位置相一致。

5、移动、缩放标准人体骨骼框架的下肢骨骼至合适位置，保证脚部与肢体轮廓对应位置相一致。

6、移动、缩放标准人体骨骼框架的上肢骨骼至合适位置，保证双手与肢体轮廓对应位置相一致。

7、检查获得的适配肢体骨骼框架的全部骨骼是否与实际肢体轮廓匹配。如果否，则回到上述第3步，从盆骨开始重新适配。是，则进入下一步。

这里的检查，是指对比适配骨架关键点位置是否与用户肢体轮廓相一致，比如骨骼上的头部关键点是否在用户轮廓的头部位置等。

8、***提示用户开始做任意动作。

9、检查全身骨骼是否与实际肢体轮廓的运动动作保持一致。

10、完成骨骼匹配过程。

本发明通过基于深度图像传感器和深度图像处理单元，可以将用户肢体图像高效的从复杂背景中分离出来，并能获得场景图像的深度信息，进而能够重建用户肢体的骨骼***，更进一步的能够识别和跟踪用户的肢体动作，最终完成用户肢体动作识别过程，提高肢体动作识别效率，改善人机交互用户体验。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度图像感应的肢体动作识别***，其特征在于，包括：

深度图像信息获取单元：用于获取用户及其所在环境的深度图像信息；

肢体轮廓抽取单元：用于从上述深度图像信息的背景中抽取用户肢体轮廓；

标准骨骼适配单元：用于分别改变标准人体骨骼框架中各个部分的大小，使其与上述用户肢体轮廓相适应，获得相应于该用户的适配肢体骨骼框架；

骨骼运动跟踪单元：用于在深度图像信息中，以适配肢体骨骼框架的格式跟踪、抽取表达用户肢体的运动的数据； 

肢体动作识别单元：用于根据上述表达用户肢体的运动的数据识别用户的肢体动作。

2.如权利要求1所述的肢体动作识别***，其特征在于，所述深度图像信息获取单元进一步包括：

深度图像传感单元：用于向用户所在方向发射经过编码的红外结构原始光平面，并接收和感应经由用户及其所在环境反射回来的三维环境对象红外结构光；和

深度图像处理单元：用于通过对比上述三维环境对象红外结构光的编码和原始结构光平面的编码，来获取深度图像信息。

3.如权利要求2所述的肢体动作识别***，其特征在于，所述肢体轮廓抽取单元根据连续的深度图像信息中的运动差分分析抽取用户肢体轮廓。

4.如权利要求3所述的肢体动作识别***，其特征在于，所述标准骨骼适配单元通过缩放、旋转、变形的计算方法对所述标准人体骨骼框架进行适配。

5.如权利要求4所述的肢体动作识别***，其特征在于，所述标准人体骨骼框架包括按照正常人体结构相互连接的头部、躯干、盆骨、左上臂、左下臂、左手、右上臂、右下臂、右手、左大腿、左小腿、左脚、右大腿、右小腿和右脚。

6.一种基于深度图像感应的肢体动作识别方法，其特征在于，包括如下步骤：

A、获取用户及其所在环境的深度图像信息；

B、从上述深度图像信息的背景中抽取用户肢体轮廓；

C、分别改变标准人体骨骼框架中各个部分的大小，使其与上述用户肢体轮廓相适应，获得相应于该用户的适配肢体骨骼框架；

D、在深度图像信息中，以适配肢体骨骼框架的格式跟踪、抽取表达用户肢体的运动的数据； 

E、根据表达用户肢体的运动的数据识别用户的肢体动作。

7.如权利要求6所述的肢体动作识别方法，其特征在于，所述步骤C中进一步包括如下步骤：

C1、根据标准人体骨骼框架和步骤B中获取的用户肢体轮廓，保证盆骨的对应位置相一致；

C2、移动、缩放标准人体骨骼框架的躯干骨骼至合适高度，保证头部骨骼的对应位置相一致；

C3、移动、缩放标准人体骨骼框架的下肢骨骼至合适位置，保证脚部的对应位置相一致；

C4、移动、缩放标准人体骨骼框架的上肢骨骼至合适位置，保证双手对应位置相一致；

C5、检查对比适配骨架关键点位置是否与所述用户肢体轮廓相一致，如果否，则回到上述步骤C1，从盆骨开始重新适配；如果是，则进入下一步。

8.如权利要求6所述的肢体动作识别方法，其特征在于，所述步骤A中采用双目视觉技术、或者飞行时间技术、或者结构光编码技术获取用户及其所在环境的深度图像信息。

9.如权利要求8所述的肢体动作识别方法，其特征在于，所述步骤A采用结构光编码技术获取用户及其所在环境的深度图像信息的方法，进一步包括如下步骤：

A1、向用户所在方向发射经过编码的红外结构原始光平面，并接收和感应经由用户及其所在环境反射回来的三维环境对象红外结构光；

A2、通过对比上述三维环境对象红外结构光的编码和原始结构光平面的编码，来获取深度图像信息。

10.如权利要求7所述的肢体动作识别方法，其特征在于，还包括：

C6、在用户动作时检查肢体轮廓是否与全身骨骼的实际运动保持一致。

Images