CN104700403B - 一种基于kinect的手势控制液压支架的虚拟示教方法 - Google Patents

Abstract

本发明公开了一种基于kinect的手势控制液压支架的虚拟示教***及方法，包括kinect模块、景深数据获取模块、关节点信息处理模块、手势特征匹配模块、控制模块和显示器模块，kinect模块依次与景深数据获取模块、关节点信息处理模块、手势特征匹配模块、控制模块和显示器模块连接。只需操作人员做出特定手势，就可以通过显示器模块观察虚拟液压支架做出相应的动作，便于人们更好的理解液压支架的工作过程。

Description

一种基于 kinect 的手势控制液压支架的虚拟示教方法

技术领域

本发明涉及一种基于kinect的手势控制液压支架的虚拟示教***及方法，属于自动控制技术领域。

背景技术

人机交互技术是指通过计算机的输入和输出设备，实现人与计算机的交流。常见的人机交互方式是采用对人手的位置和位姿进行实时跟踪的***，这类设备有电磁跟踪设备、惯性传感器与数据手套等，这些属于接触式的传感器，需要穿戴额外的设备而使得交互过程不够自然。而微软公司的体感交互设备kinect是非接触式的传感器，可以通过操作者的手部动作来控制电脑，不需要人身上穿戴额外的设备，使得人们能以自然的方式与计算机交互。

液压支架是用来控制采煤工作面矿山压力的结构物，作为综合机械化采煤的必备设备，它为综采工作面采煤机、刮板输送机以及工作人员提供安全的工作空间。但是人们很难形象的学习了解液压支架的工作过程。为了提高人们对液压支架工作过程的交互体验感，需要设计一种人-液压支架虚拟三维环境的交互控制***，使人们更好的理解液压支架的工作过程。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于kinect的手势控制液压支架的虚拟示教***及方法，只需操作人员做出特定手势，就可以通过显示器模块观察虚拟液压支架做出相应的动作，便于人们更好的理解液压支架的工作过程。

为了实现上述目的，本发明采用的技术方案是：该种基于kinect的手势控制液压支架的虚拟示教***，包括kinect模块、景深数据获取模块、关节点信息处理模块、手势特征匹配模块、控制模块和显示器模块，kinect模块依次与景深数据获取模块、关节点信息处理模块、手势特征匹配模块、控制模块和显示器模块连接。

该种基于kinect的手势控制液压支架的虚拟示教方法，其具体步骤是：

(1)预先设定八个不同的标准手势，并将八个手势存储到控制模块中；

(2)控制模块将八个标准手势分别对应液压支架的降柱、移架、升柱、推溜、降护帮板、升护帮板、收前梁和升前梁八个动作的控制信号；

(3)初始化kinect模块，设定摄像机仰角，操作人员站立在距离摄像头1.2米到3.5米范围之间，做出设定的八个标准手势之一；

(4)kinect模块检测操作人员的动作，并从颜色流、深度流和骨架流中获取人体骨骼信息数据帧；

(5)景深数据获取模块分析处理kinect模块传来的人体骨骼信息数据帧，获得图像景深数据，提取出人体骨骼信息，通过建立人体手臂关节的3D坐标系，得到人体手臂关节节点坐标，以识别人体不同的部位；

(6)关节点信息处理模块通过所得到的人体手臂关节的3D坐标，计算得出人体肩关节三个自由度方向上的转动角度，肘关节两个自由度方向上的转动角度；根据人体肩关节和肘关节转动角度信息，识别出人体手臂骨骼节点的转动信息，通过捕捉不同骨骼关节点角度的变化来进行数据处理；

(7)手势特征匹配模块将上述的各个不同的关节角度信息与控制模块中存储的八个标准手势的各个关节角度信息进行特征匹配；若匹配未成功，则返回步骤(3)，若匹配成功，则手势特征匹配模块将数据传递给控制模块；

(8)控制模块接收到手势特征匹配模块传来的匹配成功的数据，分析处理后，发出与该手势相对应的液压支架的动作控制信号，进而控制三维虚拟液压支架动作，并通过显示器模块显示。

与现有技术相比，本发明通过kinect模块进行手势信息的采集，利用可提取骨骼点的三维信息追踪手臂各关节的位置，通过辨认特定的手势，控制虚拟液压支架做出相应的动作，便于人们更好的理解液压支架的工作过程。

附图说明

图1是本发明的电原理框图；

图2是本发明中做出手势时人体手臂运动示意图；

图3是本发明中手臂的D-H坐标系；

图4是本发明的流程图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1和图2所示，该种基于kinect的手势控制液压支架的虚拟示教***，包括kinect模块、景深数据获取模块、关节点信息处理模块、手势特征匹配模块、控制模块和显示器模块，kinect模块依次与景深数据获取模块、关节点信息处理模块、手势特征匹配模块、控制模块和显示器模块连接。

该种基于kinect的手势控制液压支架的虚拟示教方法，其具体步骤是：

(1)预先设定八个不同的标准手势，并将八个手势存储到控制模块中；

(2)控制模块将八个标准手势分别对应液压支架的降柱、移架、升柱、推溜、降护帮板、升护帮板、收前梁和升前梁八个动作的控制信号；

(3)初始化kinect模块，设定摄像机仰角，操作人员站立在距离摄像头1.2米到3.5米范围之间，做出设定的八个标准手势之一；

(4)kinect模块检测操作人员的动作，并从颜色流、深度流和骨架流中获取人体骨骼信息数据帧；

(5)景深数据获取模块分析处理kinect模块传来的人体骨骼信息数据帧，获得图像景深数据，提取出人体骨骼信息，通过建立人体手臂关节的3D坐标系，得到人体手臂关节节点坐标，以识别人体不同的部位；

(6)关节点信息处理模块通过所得到的人体手臂关节的3D坐标，计算得出人体肩关节三个自由度方向上的转动角度，肘关节两个自由度方向上的转动角度；根据人体肩关节和肘关节转动角度信息，识别出人体手臂骨骼节点的转动信息，通过捕捉不同骨骼关节点角度的变化来进行数据处理，具体的过程为：

如图3所示，将人体右臂肩关节的运动分为屈伸运动，展收运动，旋转运动，分别对应角度α₁、β₁、γ₁。人体肘关节运动为屈伸运动，对应角度为δ₁。在人体双肩关节中间点处建立基准坐标系o₀-x₀y₀z₀，设人体右臂肩关节骨骼节点的3D坐标为(x₁,y₁,z₁),右臂肘关节骨骼节点的3D坐标为(x₂,y₂,z₂)，右臂腕关节骨骼节点的3D坐标为(x₃,y₃,z₃)；

右臂肩宽 $L_0=\sqrt{x_1^2+y_1^2+z_1^2}$

右臂大臂长 $L_1=\sqrt{{(x_2-x_1)}^2+{(y_2-y_1)}^2+{(z_2-z_1)}^2}$

右臂小臂长 $L_2=\sqrt{{(x_3-x_2)}^2+{(y_3-y_2)}^2+{(z_3-z_2)}^2}$

对于肩关节屈伸动作,-40°＜α₁＜90°，

${\mathrm{\α}}_1=\arctan \left(\frac{y_2-y_1}{x_2-x_1}\right)$

对于肩展收动作，-90°＜β₁＜20°，

${\mathrm{\β}}_1=\arctan \left(\frac{z_2-z_1}{x_2-x_1}\right)$

对于肘关节屈伸动作，0°＜δ₁＜130°，

${\mathrm{\δ}}_1=\arccos \frac{[(x_1-x_2)\×(x_2-x_3)+(y_1-y_2)\×(y_2-y_3)+(z_1-z_2)\×(z_3-z_2)]}{L_1\×L_2}$

对于肩关节旋转运动，并不能直接由已知坐标求出。这里利用建立人体关节D-H坐标系，根据坐标变换原理得出腕关节节点的坐标表达式，然后根据已知的腕关节节点坐标反推出γ₁。

根据表1中的D-H参数，写出各个关节对应的仿射变换矩阵。

$A_1=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& L_0\\ 0& 0& 0& 1\end{array}\right]$

$A_2=\left[\begin{array}{cccc}\cos {\mathrm{\θ}}_2& 0& \sin {\mathrm{\θ}}_2& 0\\ \sin {\mathrm{\θ}}_2& 0& -\cos {\mathrm{\θ}}_2& 0\\ 0& 1& 0& 0\\ 0& 0& 0& 1\end{array}\right]$

$A_3=\left[\begin{array}{cccc}\cos {\mathrm{\θ}}_3& 0& \sin {\mathrm{\θ}}_3& 0\\ \sin {\mathrm{\θ}}_3& 0& -\cos {\mathrm{\θ}}_3& 0\\ 0& 1& 0& 0\\ 0& 0& 0& 1\end{array}\right]$

$A_4=\left[\begin{array}{cccc}\cos {\mathrm{\θ}}_4& 0& \sin {\mathrm{\θ}}_4& 0\\ \sin {\mathrm{\θ}}_4& 0& -\cos {\mathrm{\θ}}_4& 0\\ 0& 1& 0& L_1\\ 0& 0& 0& 1\end{array}\right]$

$A_5=\left[\begin{array}{cccc}\cos {\mathrm{\θ}}_5& -\sin {\mathrm{\θ}}_5& 0& L_2\cos {\mathrm{\θ}}_5\\ \sin {\mathrm{\θ}}_5& \cos {\mathrm{\θ}}_5& 0& L_2\sin {\mathrm{\θ}}_5\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

得到总的变换矩阵为

$T=A_1{A}_2{A}_3{A}_4{A}_5=\left[\begin{array}{cccc}{n}_x& o_x& a_x& p_x\\ n_y& o_y& a_y& p_y\\ n_z& o_z& a_z& p_z\\ 0& 0& 0& 1\end{array}\right]$

其中

x₃＝p_x＝L₁cosθ₂sinθ₃+L₂cosθ₅(sinθ₂sinθ₄+cosθ₂cosθ₃cosθ₄)+L₂cosθ₂sinθ₃sinθ₅

y₃＝p_x＝L₁sinθ₂sinθ₃-L₂cosθ₅(cosθ₂sinθ₄+cosθ₃cosθ₄sinθ₂)+L₂sinθ₂sinθ₃sinθ₅

z₃＝L₀-L₁cosθ₃-L₂cosθ₃sinθ₅+L₂cosθ₄cosθ₅sinθ₃

其中

$\left\{\begin{array}{c}{\mathrm{\θ}}_2={\mathrm{\α}}_1-\mathrm{\π}/2\\ {\mathrm{\θ}}_3={\mathrm{\β}}_1-\mathrm{\π}/2\\ {\mathrm{\θ}}_4={\mathrm{\γ}}_1-\mathrm{\π}/2\\ {\mathrm{\θ}}_5=\mathrm{\δ}1\end{array}\right.$

根据已知的角度和长度，代入上述公式中，可求出肩关节的旋转运动角度γ₁(-90°<γ₁<45°)；

(7)手势特征匹配模块将上述的各个不同的关节角度信息与控制模块中存储的八个标准手势的各个关节角度信息进行特征匹配；若匹配未成功，则返回步骤(3)，若匹配成功且持续5秒，则手势特征匹配模块将数据传递给控制模块；

(8)控制模块接收到手势特征匹配模块传来的匹配成功的数据，分析处理后，发出与该手势相对应的液压支架的动作控制信号，进而控制三维虚拟液压支架动作，并通过显示器模块显示；表2是每个不同的手势特征对应的液压直接动作。

表1：

i	α	a	d	θ
					1	0	0	L0	0
2	90	0	0	θ2
					3	90	0	0	θ3
4	90	0	L1	θ4
					5	0	L2	0	θ5

表2：

	α1	β1	γ1	δ1	动作
						1	70	-70	0	90	降柱
2	30	0	-90	90	移架
						3	0	-90	0	90	升柱
4	0	-90	-90	90	推溜
						5	0	-90	45	0	降护帮板
6	90	0	45	90	升护帮板
						7	90	0	45	0	收前梁
8	90	-90	0	0	升前梁

Claims (1)

1.一种基于kinect的手势控制液压支架的虚拟示教方法，其特征在于，其具体步骤是：

(1)预先设定八个不同的标准手势，并将八个手势存储到控制模块中；

(2)控制模块将八个标准手势分别对应液压支架的降柱、移架、升柱、推溜、降护帮板、升护帮板、收前梁和升前梁八个动作的控制信号；

(3)初始化kinect模块，设定摄像机仰角，操作人员站立在距离摄像头1.2米到3.5米范围之间，做出设定的八个标准手势之一；

(4)kinect模块检测操作人员的动作，并从颜色流、深度流和骨架流中获取人体骨骼信息数据帧；

(5)景深数据获取模块分析处理kinect模块传来的人体骨骼信息数据帧，获得图像景深数据，提取出人体骨骼信息，通过建立人体手臂关节的3D坐标系，得到人体手臂关节节点坐标，以识别人体不同的部位；

(6)关节点信息处理模块通过所得到的人体手臂关节的3D坐标，计算得出人体肩关节三个自由度方向上的转动角度，肘关节两个自由度方向上的转动角度；根据人体肩关节和肘关节转动角度信息，识别出人体手臂骨骼节点的转动信息，通过捕捉不同骨骼关节点角度的变化来进行数据处理；

(7)手势特征匹配模块将上述的各个不同的关节角度信息与控制模块中存储的八个标准手势的各个关节角度信息进行特征匹配；若匹配未成功，则返回步骤(3)，若匹配成功，则手势特征匹配模块将数据传递给控制模块；

(8)控制模块接收到手势特征匹配模块传来的匹配成功的数据，分析处理后，发出与该手势相对应的液压支架的动作控制信号，进而控制三维虚拟液压支架动作，并通过显示器模块显示。