CN105425954A - 应用于智能家居中的人机交互方法及*** - Google Patents

Abstract

本发明提供了一种应用于智能家居中的人机交互方法及***，该人机交互方法包括：A.***初始化；B.设备识别和空间定位；C.存储设备位置信息；D.设备选择动作识别；E.设备控制动作识别；F.设备执行相应的控制指令。本发明的有益效果是：本发明提出一种应用于智能家居中的人机交互***完整设计方案，使用两台电脑模拟家居环境中的电视机和网络灯，引入深度摄像头对设备进行识别和定位、使用深度摄像头提取人体运动骨架对用户动作进行识别（包括选择设备和控制设备的动作指令），最后设备模拟界面响应控制指令。此方法简化了***控制，可以应用于智能家居等环境中，使人机交互方式更加智能和便捷。

Description

应用于智能家居中的人机交互方法及***

技术领域

本发明涉及人机交互技术领域，尤其涉及应用于智能家居中的人机交互方法及***。

背景技术

智能家居是一个对家庭设备实现智能控制和管理的***。传统家居控制主要采用遥控器和墙壁开关进行设备控制。遥控器按键较多，使设备控制繁琐，开关需要走到相应位置才可以进行控制，若用户由于环境因素(如黑暗)无法确认按键和开关位置，就无法控制设备。有些智能家居交互中，采用用户携带传感器的方式感应用户运动信息，基于此进行动作识别，这无疑增加了生活的不便。

发明内容

为了解决现有技术中的问题，本发明提供了一种应用于智能家居中的人机交互方法。

本发明提供了一种应用于智能家居中的人机交互方法，包括如下步骤：

A.***初始化；

B.设备识别和空间定位；

C.存储设备位置信息；

D.设备选择动作识别，用于选择指定的设备；

E.设备控制动作识别，用于识别用户的动作；

F.设备执行相应的控制指令；

G.判断动作控制是否结束，若是，那么退出，否则进行***重置然后执行步骤A。

作为本发明的进一步改进，在所述步骤B中，设备识别包括如下步骤：

B1.首先要将深度摄像头拍摄的彩色图像转换为二值图像，再进行轮廓查找，找到当前图像中的所有轮廓；

B2.对查找到的轮廓进行多边形近似，以一个多边形来近似表示一个轮廓，减少轮廓的顶点数目；

B3.筛选出轮廊中的所有矩形；

B4.判断图像中的矩形是否为设备。

作为本发明的进一步改进，在所述步骤B3中包括如下步骤：

B31.首先根据多边形逼近的结果判断顶点数目，筛选出所有顶点数目为4的轮廓；

B32.为轮廓构建向量，通过计算向量间夹角的余弦值来判断是否为矩形；

在所述步骤B4中，判断图像中的矩形是否为设备通过如下条件：

矩形的长宽比是否接近设备；

矩形的面积是否在要求范围内；

根据矩形的颜色区分，包括矩形的中心像素值和平均像素值。

作为本发明的进一步改进，在所述步骤D中，设备选择包括如下步骤：

D1.传入设备中心点坐标和手肘、手腕关节点坐标；

D2.计算两台设备中心位置到手臂所在直线距离；

D3.根据两台设备中心分别到手臂所在直线距离判断出用户选择的设备。

作为本发明的进一步改进，在所述步骤F中，首先将深度摄像头所获取的设备信息依次存入存储模块的设备名称列表中，并依次存入其在深度摄像头拍摄范围内的空间坐标；用户选择设备后，根据用户所选择的设备名称获取这一设备所支持的动作名称和对应的控制指令；根据用户的动作名称查询此动作对应的控制命令，将控制命令发送给设备，设备根据相应的指令进行界面切换。

本发明还公开了一种应用于智能家居中的人机交互***，包括：

初始化模块，用于***初始化；

设备识别定位模块，用于设备识别和空间定位；

存储模块，用于存储设备位置信息；

设备选择模块，用于选择指定的设备；

动作识别模块，用于识别用户的动作；

执行模块，用于设备执行相应的控制指令；

判断模块，用于判断动作控制是否结束，若是，那么退出，否则进行***重置然后执行初始化模块。

作为本发明的进一步改进，在所述设备识别定位模块中包括设备识别模块，所述设备识别模块包括：

二值图像转换模块，用于将深度摄像头拍摄的彩色图像转换为二值图像，再进行轮廓查找，找到当前图像中的所有轮廓；

轮廓近似模块，用于对查找到的轮廓进行多边形近似，以一个多边形来近似表示一个轮廓，减少轮廓的顶点数目；

筛选模块，用于筛选出轮廊中的所有矩形；

图像判断模块，用于判断图像中的矩形是否为设备。

作为本发明的进一步改进，在所述筛选模块中包括：

顶点筛选模块，用于根据多边形逼近的结果判断顶点数目，筛选出所有顶点数目为4的轮廓；

矩形判断模块，用于为轮廓构建向量，通过计算向量间夹角的余弦值来判断是否为矩形；

在所述图像判断模块中，判断图像中的矩形是否为设备通过如下条件：

矩形的长宽比是否接近设备；

矩形的面积是否在要求范围内；

根据矩形的颜色区分，包括矩形的中心像素值和平均像素值。

作为本发明的进一步改进，在所述设备选择模块中包括：

坐标模块，用于传入设备中心位置坐标和手肘、手腕关节点坐标；

计算模块，用于计算两台设备中心到手臂所在直线距离；

设备选择判断模块，用于根据两台设备中心分别到手臂所在直线距离判断出用户选择的设备。

作为本发明的进一步改进，在所述执行模块中，首先将深度摄像头所获取的设备信息依次存入存储模块的设备名称列表中，并依次存入其在深度摄像头拍摄范围内的空间坐标；用户选择设备后，根据用户所选择的设备名称获取这一设备所支持的动作名称和对应的控制指令；根据用户的动作名称查询此动作对应的控制命令，将控制命令发送给设备，设备根据相应的指令进行界面切换。

本发明的有益效果是：本发明提出一种应用于智能家居中的人机交互***完整设计方案，使用两台电脑模拟家居环境中的电视和网络灯，引入深度摄像头对设备进行识别和定位、使用深度摄像头提取人体运动骨架对用户动作进行识别(包括选择设备和控制设备的动作指令)，最后设备模拟界面响应控制指令。此方法不需要使用遥控器或传感器，易操作，简化了***控制，可以应用于类似智能家居环境中，使人机交互方式更加智能和便捷。

附图说明

图1是本发明的***架构图。

图2是本发明的方法流程图。

图3是本发明的设备识别流程图。

图4是本发明的设备D的像素位置示意图。

图5是本发明的设备D的空间位置示意图。

图6是本发明的设备选择示意图。

图7是本发明的设备到指向距离示意图。

图8是本发明的设备选择判断流程图。

图9是本发明的动作识别流程图。

图10是本发明的设备信息存储架构图。

具体实施方式

如图1所示，本发明公开了一种应用于智能家居中的人机交互方法及***。

1.随着计算机的普及范围越来越广，传统的人机交互设备如键盘、鼠标、游戏操纵杆等设备给人带来很多不便之处，人们希望人机交互方式能够更符合人类日常交流习惯，比如让计算机仅通过观察人的表情、姿态或者手势就能够理解人的意图，其中应用于智能家居环境中的人机交互最具有应用前景。这种直观的操作方式，突破传统家居的空间限制，使用户能够随心所欲地控制居住环境，为用户的家庭生活提供更为宽广的交互空间和舒适的操作体验。基于此背景，本发明提出一种应用于智能家居中的人机交互***完整设计方案，使用两台电脑模拟家居环境中的电视和网络灯，引入深度摄像头对设备进行识别和定位、使用深度摄像头提取人体运动骨架对用户动作进行识别(包括选择设备和控制设备的动作指令)，最后设备模拟界面响应控制指令。此方法简单易操作，简化了***控制，可以应用于类似智能家居环境中，使人机交互方式更加智能和便捷。

本发明在家居环境中引入深度摄像头，其最重要的特点就是可以感知场景深度信息变化，并且像佩戴式传感器一样精准的釆集人体关节点三维数据，基于此可以获取人体的运动模型。而且此款摄像头采用红外光编码测距获取深度，不受环境光线的变化，基于深度信息可以有效屏蔽复杂背景的干扰，所以在光线较暗或者背景复杂的环境中也可以对设备进行控制。这是单纯的基于视觉的摄像头所不容易实现的。

本发明模拟家居客厅环境，由设备端和控制点端组成局域网，在设备与深度摄像头配合使用过程中，可以完成以不同动作控制设备(计算机模拟)的功能。其中设备端由两台电脑组成，分别模拟电视机和网络灯；控制点端由一台电脑连接深度摄像头组成。

这两部分之间的通信采用UPnP协议，共同实现设备模拟、设备识别及空间定位、动作控制、设备响应功能。***组成架构如图1所示。

该人机交互***实现的功能具体描述如下：

设备端主要是由具有UPnP协议功能的模拟电视机，一个具有UPnP协议功能的模拟网络灯组成，具备以下功能：

(1)在设备端新增控制点动作查询响应功能，响应用户的控制命令。

(2)模拟电视机界面显示，包括开关机、音量控制、频道控制。

(3)模拟网络灯状态界面显示，包括开关灯、亮度调节。

控制点端是一个支持手势识别功能的多设备接入控制点模块，具备以下功能：

(1)设备识别和空间定位功能：能识别摄像头拍摄范围内的具体物理设备名称，给出设备的空间位置。

(2)动作识别功能：提取人体骨架模型，识别基本动作控制指令，包括用户选择的是哪个设备，对该设备做出了哪一种控制动作。将识别的动作控制指令转换成对应设备的控制指令，发送给对应设备，完成设备控制动作。

(3)设备响应功能：存储在网设备的基本信息，包括设备名称、设备空间坐标，设备全球唯一标识符，设备支持的动作与对应的控制指令等，根据用户的动作，在相应设备存储列表中查询控制，界面做出相应变化。

人机交互方法如图2所示，该人机交互方法包括：***初始化、设备识别和空间定位、存储设备位置信息、设备选择动作识别、设备控制动作识别、设备执行相应的控制指令、以及判断动作控制是否结束等。

2.设备识别和空间定位方法：

2.1设备识别方法：

此部分结合深度摄像头所提供的场景距离信息提取目标设备，对RGB彩色图像进行处理，分割设备目标并完成设备识别的功能，能够正确区分出两台设备分别是网络灯还是电视。如图3所示，识别过程分为以下四部分：

(1)首先要将深度摄像头拍摄的彩色图像转换为二值图像，再进行轮廓查找，找到当前图像中的所有轮廓；

(2)对查找到的轮廓进行多边形近似，以一个多边形来近似表示一个轮廓，减少轮廓的顶点数目；

(3)根据以下条件筛选出轮廓中的所有矩形：

首先根据多边形逼近的结果判断顶点数目，筛选出所有顶点数目为4的轮廓；

为轮廓构建向量，通过计算向量间夹角的余弦值来判断是否为矩形。

(4)判断图像中的矩形是否为我们的电视和网络灯设备，主要通过以下几个条件：

矩形的长宽比是否接近设备；

矩形的面积是否在要求范围内；

根据矩形的颜色区分，主要包括矩形的中心像素值和平均像素值。

2.2模拟设备空间定位方法：

本发明可以获取设备的空间位置并存储设备信息，以便用户对设备进行控制判断。

首先在图4和图5中，各个符号说明如下：

(i,j)：在二维平面上，以图像左上角为原点，向右为i方向，向下为j方向建立坐标系，(i,j)是该图像平面上的某一位置；

P(i,j)：二维图像上任意一点的像素坐标；

(X,Y,Z)：在自然空间中，以深度摄像头为原点建立三维坐标系如图5所示，(X,Y,Z)是这个三维空间中的某一位置，其中Z为深度信息，即设备所在平面到深度摄像头所在平面的距离；

D：设备；

D′：设备D在坐标系底面的投影；

D(i,j)：设备D在二维图像上的像素坐标；

D(X,Y,Z)：设备D在三维空间中的位置；

MN,MD′,DD′,MO位置如图5所示，其中MN为设备所在平面与坐标系底平面的交线；

θ_x：深度摄像头成像***自身的水平视角大小；

θ_y：深度摄像头成像***自身的垂直视角大小。

利用深度摄像头可以获得包含设备信息的彩色数据流，每帧数据流可以表示一副包含拍摄环境二维RGB信息的彩色图像，图像上的点可以用一个640*480的二维矩阵表示，其中P(i,j)代表图像上的一个像素点。

对于设备D来说，矩阵包含它所位于二维图像上的像素位置信息D(i,j)，如图4所示，和深度摄像头所提供的设备在三维空间的深度信息Z，这不能构成一个自然的三维坐标点。需要利用上述的三个数据(i,j,Z)，推算出任一点的空间自然坐标(X,Y,Z)。

以深度摄像头为拍摄原点，D在三维空间中的空间位置为D(X,Y,Z)，如图5所示。

作点D(X,Y,Z)在MN上的投影，记为D′(X,0,Z)，在图4中通过简单的几何关系可以得到设备D的三维空间坐标如公式(2-1)所示：

X＝MD′

(2-1)

Y＝DD′

深度摄像头获取的深度数据是以摄像头中心线为法向量的，过摄像头与待测点的两个平面的平面距离。因此，深度可以认为是无需处理的数据，可以直接作为自然坐标使用，如公式(2-2)所示。

Z＝MO(2-2)

所以现在问题解决的关键是获取设备的X,Y坐标。根据深度摄像头设备参数，深度摄像机的视角为固定值(X轴向57.5°，Y轴向43.5°)。即公式(2-3)：

以求设备D在三维空间中的X坐标为例。在ΔMON中，MN的长度可以由公式(2-4)得到：

MN＝MOtanθ_x(2-4)

设备D在三维空间和二维平面的视场相对位置不会变，图5只相当于三维空间的一半，根据比例关系可以得到公式(2-5)：

$\frac{{\mathrm{MD}}^{\′}}{MN}=\frac{i-320}{320}---(2-5)$

将公式(2-1)(2-2)(2-3)(2-4)代入公式(2-5)中可以得到像素坐标到三维空间X坐标的转换方法，如公式(2-6)所示：

同理对Y轴采取相同的处理方式可以得到像素坐标到三维空间Y坐标的转换方法，如公式(2-7)所示：

通过公式(2-6)(2-7)可以推算出设备D的三维空间坐标X、Y的值，由此，我们可以确定两台模拟设备在三维空间中的位置。

3.动作识别：

3.1设备选择方法：

如图6所示，由于人的指向具有模糊性，当两台设备间距较小或者位于身体同侧时，计算机不能很好的分辨用户所选择的设备，因此需要找到一种匹配算法来判断用户的选择。

因此本发明提出可以通过计算用户的指向更倾向于哪台设备来解决。“倾向”可以理解为“用户的指向离哪台设备更近”，因此可以分别计算在三维空间中两台设备的中心点到手臂所在直线的距离，距离最近的设备即为用户所选择的设备。设备到指向的距离如图7所示。

在图7中，各个符号说明如下：

A：节点坐标为用户肘部关节点坐标(A_x,A_y,A_z)；

B：节点坐标为手腕关节点坐标(B_x,B_y,B_z)；

AB：为用户手臂所在直线，此直线由用户肘部和手部所在直线确定；

D：为其中一台设备，位置由设备中心点坐标确定(D_x,D_y,D_z)；

H：为设备D到AB所在直线的距离，垂点为N；

DA：为设备和用户肘部关节点连线；

DB：为设备和用户手腕关节点连线。

根据两点间线段的计算方法，可以得到线段DA、AB、DB的长度如公式(3-1)所示：

$\left\{\begin{array}{c}DA=\sqrt{{(D_x-A_x)}^2+{(D_y-A_y)}^2+{(D_z-A_z)}^2}\\ AB=\sqrt{{(A_x-B_x)}^2+{(A_y-B_y)}^2+{(A_z-B_z)}^2}\\ DB=\sqrt{{(D_x-B_x)}^2+{(D_y-B_y)}^2+{(D_z-B_z)}^2}\end{array}\right.---(3-1)$

根据余弦定理，可以计算∠ABD，记为∠B，如公式(3-2)所示：

$\left\{\begin{array}{c}\cos B=\frac{{\mathrm{AB}}^2+{\mathrm{DB}}^2-{\mathrm{DA}}^2}{2AB\×DA}\\ \sin B=\sqrt{1-{\cos }^{2}B}\end{array}\right.---(3-2)$

在△DBN中，距离H计算如公式(3-3)所示：

H＝DB·sinB(3-3)

根据公式(3-3)可以得到设备中心到用户指向之间的距离。

通过此方法可以判断用户的指向，自动匹配用户对于设备的选择，输出设备选择结果。

3.2设备控制动作判断方法

本发明设计了一套动作列表用于控制设备。设备支持的动作控制指令设计如表3-1所示。当用户按照表3-1所设计的动作控制设备时，通过深度摄像头获取用户的关节点三维信息和运动模型，获取关节点之间的距离，通过和阈值比较，区分用户的动作。

表3-1设备支持的控制指令列表

动作识别方法具体描述：利用深度摄像头获取一帧骨骼数据，此帧数据包含当前状态下人体的关节点空间位置，通过判断关节点空间位置信息的变化情况，可以识别出目标的当前动作，并且可以根据关节点的位置变化绘制出人体骨架实时变化模型。

在此，动作的起始条件设置为：判断手部关节点是否在髋部中心关节点之上，若满足，说明手部开始抬起，有动作迹象。记录此刻为初始时刻，开始进行动作判断。判断在初始时刻后的一段时间内，关节点之间的变化情况。以右手上举为例，以深度摄像头为原点建立三维空间坐标系，判断右手关节点的Y坐标和头部节点的Y坐标的差值是否在某个阈值范围之内，若是，识别此动作为右手上举。

图9是设备控制动作识别流程图。

4.设备匹配动作指令方法

此部分根据用户选择的设备和做出的控制指令，完成对电视机的开关机、音量加减、频道加减和网络灯的开关灯、亮度加减的控制。

首先将深度摄像头所获取的设备信息(包括深度摄像头拍摄范围内所有可识别设备，获取设备名称)依次存入如图10所示的存储模块的设备名称列表中，并依次存入其在深度摄像头拍摄范围内的空间坐标，置匹配字段标记为“等待匹配”。

用户选择设备后，根据用户所选择的设备名称获取这一设备所支持的动作名称和对应的控制指令。

根据用户的动作名称查询此动作对应的控制命令，将控制命令发送给设备，设备根据相应的指令进行界面切换。

本发明提出一种应用于家居环境中的人机交互方法及***。该***基于深度摄像头进行获取人体关节点信息进行骨架模型建立和动作识别，使用两台电脑模拟家居中的电视和网络灯，通过摄像头采集的图像对设备进行识别和空间定位，然后通过动作操控两台设备。本发明实现的***具有以下创新点：

(1)引入深度摄像头，获取人体关节点三维坐标。

(2)使用深度摄像头，摆脱可穿戴式传感设备的束缚，给用户自然的人机交互体验。

(3)本***可以实现对拍摄范围内设备的识别。

(4)本***具有空间定位功能，可以确定设备相对于深度摄像头的三维空间位置。

(5)提出用户选择设备方法，当有多台设备时，判断用户选择哪一台。

(6)提出一套智能家居控制动作。

(7)在设备端增加信息存储结构，存储设备支持的动作列表，用来支持用户的动作查询请求。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种应用于智能家居中的人机交互方法，其特征在于，包括如下步骤：

A.***初始化；

B.设备识别和空间定位；

C.存储设备位置信息；

D.设备选择动作识别，用于选择指定的设备；

E.设备控制动作识别，用于识别用户的动作；

F.设备执行相应的控制指令；

G.判断动作控制是否结束。若是，那么退出；否则进行***重置然后执行步骤A。

2.根据权利要求1所述的人机交互方法，其特征在于，在所述步骤B中，设备识别包括如下步骤：

B1.首先要将深度摄像头拍摄的彩色图像转换为二值图像，再进行轮廓查找，找到当前图像中的所有轮廓；

B2.对查找到的轮廓进行多边形近似，以一个多边形来近似表示一个轮廓，减少轮廓的顶点数目；

B3.筛选出轮廊中的所有矩形；

B4.判断图像中的矩形是否为设备。

3.根据权利要求2所述的人机交互方法，其特征在于，在所述步骤B3中包括如下步骤：

B31.首先根据多边形逼近的结果判断顶点数目，筛选出所有顶点数目为4的轮廓；

B32.为轮廓构建向量，通过计算向量间夹角的余弦值来判断是否为矩形；在所述步骤B4中，判断图像中的矩形是否为设备，可通过如下条件：

矩形的长宽比是否接近设备；

矩形的面积是否在要求范围内；

根据矩形的颜色区分，包括矩形的中心像素值和平均像素值。

4.根据权利要求1所述的人机交互方法，其特征在于，在所述步骤D中，设备选择包括如下步骤：

D1.传入设备中心点坐标和手肘、手腕关节点坐标；

D2.计算两台设备中心位置到手臂所在直线距离；

D3.根据两台设备中心分别到手臂所在直线距离判断出用户选择的设备。

5.根据权利要求1所述的人机交互方法，其特征在于，在所述步骤F中，首先将深度摄像头所获取的设备信息依次存入存储模块的设备名称列表中，并依次存入其在深度摄像头拍摄范围内的空间坐标；用户选择设备后，根据用户所选择的设备名称获取这一设备所支持的动作名称和对应的控制指令；根据用户的动作名称查询此动作对应的控制命令，将控制命令发送给设备，设备根据相应的指令进行界面切换。

6.一种应用于智能家居中的人机交互***，其特征在于，包括：

初始化模块，用于***初始化；

设备识别定位模块，用于设备识别和空间定位；

存储模块，用于存储设备位置信息；

设备选择模块，用于选择指定的设备；

动作识别模块，用于识别用户的动作；

执行模块，用于设备执行相应的控制指令；

判断模块，用于判断动作控制是否结束。若是，那么退出；否则进行***重置然后执行初始化模块。

7.根据权利要求6所述的人机交互***，其特征在于，在所述设备识别定位模块中包括设备识别模块，所述设备识别模块包括：

二值图像转换模块，用于将深度摄像头拍摄的彩色图像转换为二值图像，再进行轮廓查找，找到当前图像中的所有轮廓；

轮廓近似模块，用于对查找到的轮廓进行多边形近似，以一个多边形来近似表示一个轮廓，减少轮廓的顶点数目；

筛选模块，用于筛选出轮廊中的所有矩形；

图像判断模块，用于判断图像中的矩形是否为设备。

8.根据权利要求7所述的人机交互***，其特征在于，在所述筛选模块中包括：

顶点筛选模块，用于根据多边形逼近的结果判断顶点数目，筛选出所有顶点数目为4的轮廓；

矩形判断模块，用于为轮廓构建向量，通过计算向量间夹角的余弦值来判断是否为矩形；

在所述图像判断模块中，判断图像中的矩形是否为设备通过如下条件：

矩形的长宽比是否接近设备；

矩形的面积是否在要求范围内；

根据矩形的颜色区分，包括矩形的中心像素值和平均像素值。

9.根据权利要求6所述的人机交互***，其特征在于，在所述设备选择模块中包括：

坐标模块，用于传入设备中心位置坐标和手肘、手腕关节点坐标；

计算模块，用于计算两台设备中心到手臂所在直线距离；

设备选择判断模块，用于根据两台设备中心分别到手臂所在直线距离判断出用户选择的设备。

10.根据权利要求6所述的人机交互***，其特征在于，在所述执行模块中，首先将深度摄像头所获取的设备信息依次存入存储模块的设备名称列表中，并依次存入其在深度摄像头拍摄范围内的空间坐标；用户选择设备后，根据用户所选择的设备名称获取这一设备所支持的动作名称和对应的控制指令；根据用户的动作名称查询此动作对应的控制命令，将控制命令发送给设备，设备根据相应的指令进行界面切换。