CN104536576A - 基于超声波的同一平面内多媒体设备间手势交互方法 - Google Patents

Abstract

本发明公开了一种简单易用、操作方便的基于超声波的同一平面内设备间手势交互方法，首个进入交互空间内的设备被定义为主设备，主设备通过声波信号查找从设备，从设备收到该信号时产生确认信号回复主设备，主设备计算从设备的距离，当二者间距达到预定距离时进行组网并由用户选择应用程序；主设备产生的声波信号经过手势物体的反射由从设备接收，从设备接收到后进行解析处理，解析出是本机地址的从设备将该声波信号发射出去，经过手势物体的反射返回主设备，h为手势物体到设备平面间的垂直距离，X为主设备到手势物体在设备平面内投影点间的距离，通过判断h与X的变化趋势获得手势物体运动类型；设备依据应用程序中约定执行相应的操作。

Description

基于超声波的同一平面内多媒体设备间手势交互方法

技术领域

本发明涉及一种基于超声波技术多媒体设备之间的控制方法。

背景技术

随着移动设备的功能越来越丰富，多机联动可以实现多屏的互动，如多页浏览、游戏、拍照、支付、设备间数据传输等功能，这将成为多媒体设备未来发展的一个趋势。现在，有些多媒体设备已经开始研发互动功能，如三星手机 S4 已经实现 Group play 功能，可以打开共享照片、文档、音乐和联机游戏对战，最多支持 11 台设备的多人 PK 游戏。然而，三星手机 S4 的 Group play 仍然采用触摸屏的方式，只能当作显示屏的叠加，而且手机的距离非常小，数据传输采用 NFC 。我们期望的多机联动不仅仅是显示屏的叠加，更多的是多个移动设备之间的交互功能，手势识别技术已经广泛应用于多媒体设备，基于手势的多机互动将成为未来的一大特色。

发明内容

本发明的目的是克服现有技术的缺点，提供一种简单易用、操作方便的基于超声波手势识别的多机联动算法与实现方案。

为了实现上述目的，本发明提供了一种基于超声波的同一平面内多媒体设备间手势交互方法，用于对交互空间内的至少两台多媒体设备进行手势交互控制，每台所述的多媒体设备均具有声波发生器、声波接收器以及唯一的 ID 编码，并且各台多媒体设备均位于同一平面内，该方法包括如下步骤：

S1 ：主设备确认步骤，其中一台多媒体设备定义为主设备，其他的定义为从设备；

S2 ：从设备发现步骤，所述的主设备通过声波发生器产生的声波信号查找从设备，当从设备的声波接收器接收到该信号时，通过从设备的声波发生器产生确认信号回复主设备，主设备通过声波发送与接收时间计算从设备的距离，当主设备与从设备之间接近达到预定距离时进行组网，之后由用户选择需要启动的应用程序；

S4 ：手势识别步骤，所述的主设备的声波发生器产生的声波信号经过手势物体的反射由从设备接收，所述的从设备接收到该信号后进行解析处理，解析出是本机地址的从设备将该声波信号发射出去，再经过手势物体的反射返回主设备的声波接收器，定义 h 为手势物体到多媒体设备平面间的垂直距离，定义 X 为主设备到手势物体在多媒体设备平面内投影点间的距离，通过判断数值 h 与 X 的变化趋势获得手势物体运动类型；

S5 ：指令响应步骤，主设备与从设备依据应用程序中约定的手势物体运动类型与数据处理指令对应关系执行相应的操作。

作为本发明进一步的改进，所述的步骤 S2 中，定位时第一方首先通过声波发生器发送带有该设备的 ID 编码的定位信号，经过时间 T 后，第二方通过信号接收器接收到该带有 ID 编码的定位信号、并在处理时间 ∆ T 之后通过声波发生器将接收到的定位信号发送至第一方，经历时间仍为 T ，通过传播时间（ 2T- ∆ T ） /2 计算双方设备之间的距离 a ，由于多台多媒体设备的时钟很难同步，故采用无时钟同步的测距方法。

作为本发明进一步的改进，所述的步骤 S3 中，当多媒体设备的声波发生器和声波接收器的间距小于预定值时，该间距数值被忽略不计， L1 为主设备到手势物体的距离， L2 为从设备到手势物体的距离， a 为设备之间的距离，其中：

主设备发送声波后经手势物体反射回到主设备的声波接收器的时间为 T3 ，得到声波对应行走的距离为 L ′，则有 L1= L ′ /2 ；

主设备发送声波后经手势物体反射到达从设备的波接收器的时间为 T1 ，从设备经过 ∆ T 时间处理后发出声波经手势物体反射到达主设备的声波接收器接收的时间为 T2 ，根据（ T1+T2-- ∆ T ）获得声波对应行走距离为 L ，则有 L2=L /2 -L1 ；

依据 x ² +h ² =L1 ²与 (a-x) ² +h ² =L2 ²，得到 h 、 X 的值，随着手势物体的移动，通过判断数值 h 与 X 的变化趋势获得手势物体运动类型：

X 的值增大时，判定手势物体是向接近从设备的方向移动；

X 的值减小时，判定手势物体是向接近主设备的方向移动；

h 的值增大时，判定手势物体是向远离主设备和从设备所在平面的方向移动；

h 的值减小时，判定手势物体是向接近主设备和从设备所在平面的方向移动。

作为本发明进一步的改进，所述的 ID 编码包括地址编码或者超声编码或者设备用户名称。

作为本发明进一步的改进，所述的声波发生器包括扬声器，所述的声波接收器包括麦克风。

作为本发明进一步的改进，当主设备与从设备之间接近达到预定距离时，主设备对新增的从设备进行身份验证通过后进行组网。

作为本发明进一步的改进，主设备查找从设备时，查找信号具有约定的频率，或者幅度，或者约定的发送周期个数，或者约定的发送时间间隔。

作为本发明进一步的改进，多媒体设备之间的数据传输是通过有线网络或者无线网络实现的。

本发明提出一种多机联动超声手势识别的算法与实现方案设计，该方案设计有如下优势：

1 、多媒体设备配有麦克风和扬声器，麦克风可以作为声波接收器，扬声器可以作为声波发生器，无需给多媒体设备增加电子元器件，无需修改原有的电路设计，对设备硬件成本没有影响。

2 、多个近距离的多媒体设备联合识别手势并进行交互将作为高端多媒体设备的一个标志，是未来智能移动设备发展的一个趋势。

3 、手势识别为非接触式操作，手势简单易用，操作方便。

附图说明

附图 1 所示为根据本发明的两个多媒体设备无同步时钟信号测距方法。

附图 2 所示为根据本发明的手势识别过程，图中多媒体设备声波发生器和声波接收器距离非常接近。

附图 3 为附图 2 中手势识别过程的原理图。

附图 4 所示为根据本发明的手势识别过程，图中多媒体设备声波发生器和声波接收器距离较远无法忽略。

附图 5 所示为根据本发明的手势识别过程，图中多媒体设备声波发生器和声波接收器距离较远时的等效几何图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

实施例一

本发明的基于超声波的同一平面内多媒体设备间手势交互方法，用于对交互空间内的多台多媒体设备进行手势交互控制，多媒体设备包括便携式设备与固定式设备，声波发生器采用扬声器，声波接收器采用麦克风。多个多媒体设备可以识别同一个手势实现多屏显示的互动，如双页浏览、设备间文件传输、游戏、 3D 拍照、转账等功能。例如，双页浏览是两台多媒体设备近距离放置，仿照纸质书本的阅读，一台设备显示书本的奇数页，一台设备显示书本的偶数页，手势识别后进行翻页，类似纸质书本。

各台多媒体设备均位于同一平面内，每台多媒体设备均具有声波发生器、声波接收器以及唯一的 ID 编码， ID 编码包括地址编码或者超声编码或者设备用户名称，各个设备之间可以进行无线通讯或者有线通讯，声波发生器用于发生声波，声波接收器用于接收声波。本方法包括如下步骤。

主设备确认步骤，工作时多媒体的设备一直处于发生超声波和接收超声波状态，该超声波中包含 ID 信号等信息。当两个或两个以上的多媒体设备，其中一台作为主设备，其他作为从设备。

从设备发现步骤，主设备通过声波发生器产生的声波信号查找从设备，查找信号具有约定的频率，或者幅度，或者约定的发送周期个数，或者约定的发送时间间隔。该声波包含了指令信号和定位信号，指令信号中又包含了从设备的 ID ，要求该 ID 的从设备进行测距。当从设备的声波接收器接收到该信号时，识别出该声波信号中包含本机 ID ，处理完后再将该信号由通过从设备的声波发生器产生确认信号回复主设备，若从设备接收到声波中包含的 ID 不是本机 ID ，则无需处理该信号。主设备通过声波发送与接收时间计算从设备的距离，当主设备与从设备之间接近达到预定距离时，本专利中设备间的距离为 0~0.5 米，此时联网成功，设备组网时可以设置密码等安全措施，以保证进入该网的是指定设备。之后由用户选择需要启动的应用程序，如双页浏览、转账、游戏、拍照、设备间文件传输等，然后多媒体设备进入手势识别状态。

手势识别步骤，主设备的声波发生器产生的声波信号经过手势物体的反射由从设备接收，同样，该声波包含了指令信号和定位信号，指令信号中包含了从设备的 ID ，从设备接收到该信号后进行解析处理，解析出是本机地址的从设备将该声波信号发射出去，再经过手势物体的反射返回主设备的声波接收器，定义 h 为手势物体到多媒体设备平面间的垂直距离，定义 X 为主设备到手势物体在多媒体设备平面内投影点间的距离，经过一定时间间隔的采样，通过判断数值 h 与 X 的变化趋势获得手势物体运动类型。

指令响应步骤，主设备与从设备依据应用程序中约定的手势物体运动类型与数据处理指令对应关系执行相应的操作。

参见附图 1 所示，为设备 1 与设备 2 之间的距离测量方法，设备 1 发送超声波，经过时间 T 后，设备 2 接收到该超声波，再经过 ∆ T 时间的处理后再发回设备 1 ，经历时间仍为 T ， ∆ T 为设备 2 处理声波信号时所经历的时间，该时间可以通过检测得出，则设备 1 与设备 2 之间的距离与时间（ 2T- ∆ T ） /2 成正比，该距离标记为常数 a ，由于多台多媒体设备的时钟很难同步，故采用无时钟同步的测距方法。

参见附图 2 所示，当多媒体设备的声波发生器和声波接收器的间距小于预定值时，该间距数值被忽略不计， 200 为主设备， 201 为主设备的声波发生器和声波接收器， 300 为从设备， 301 为从设备的声波发生器和声波接收器， D 为声波在手掌反射点。主设备发送超声波，经手掌折射后，主设备的声波接收器和从设备的声波接收器都能收到该声波。 L1 为主设备到手势物体的距离， L2 为从设备到手势物体的距离， a 为设备之间的距离。

主设备发送声波后经手势物体反射回到主设备的声波接收器的时间为 T3 ，得到声波对应行走的距离为 L ′，则有 L1= L ′ /2 。

主设备发送声波后经手势物体反射到达从设备的波接收器的时间为 T1 ，从设备经过 ∆ T 时间处理后发出声波经手势物体反射到达主设备的声波接收器接收的时间为 T2 ， T1=T2 ，该距离可以根据（ T1+T2-- ∆ T ）获得声波对应行走距离为 L ，则有 L2=L /2 -L1 。

参见附图 3 所示，如图 3 所示，手掌移动时， h 为反射点到设备所在平面的垂直距离。 X 为设备 200 的声波发生器到垂直点的距离，由图 1 可以得到设备 1 到设备 2 的水平距离为 a ，则有如下： x ² +h ² =L1 ²与 (a-x) ² +h ² =L2 ²，其中已知的为 a ， L ′， L ，可以得到 h 、 X 的值，随着手势物体的移动，根据 L 和 h 的变化可以判断手势的类型和方向。

本专利多媒体联动超声识别手势时，多媒体设备间的距离不超过 0.5 米。即 a 小于或等于 0.5 ，由于超声波可识别手势的距离为 0.5 米，则 0 ≤ x ≤ 0.5 ，手移动的过程中，以一定的时间间隔，对 h 和 X 进行计算。

当 h 变化很小， X 变化较大时， L 的曲线为一条抛物线，且当 x=a/2 时， L 值最小：

X 的值增大时，可以判定手是由设备 200 到设备 300 的方向移动；

X 的值减小时，可以判定手是由设备 300 到设备 200 的方向移动。

当 h 变化很大， X 变化较小时：

h 的值增大时，可以判定手势是垂直于设备 200 和设备 300 所在平面的方向向上移动；

X 的值减小时，可以判定手势是垂直于设备 200 和设备 300 所在平面的方向向下移动。

实施例二

如图 4 所示，作为实施例一中情况的变形，当多媒体的超声波接收器和超声波发生器距离较远时，声波接收器与声波发生器之间的距离 d 为已知，两台多媒体设备的距离为 a ， a 可以计算得到。主设备 400 发出的超声波信号为实线，从设备 500 发出的超声波信号为虚线，且主设备 400 的声波发生器 402 发出的超声波经手掌反射后也能由主设备的声波接收器 401 接收，从设备 500 的声波发生器 502 发出的超声波信号经手掌反射后也能由从设备的声波接收器 501 接收。 L1 ′为设备 402 手掌到手掌反射点的距离， L2 ′为手掌反射点到 501 的距离， L3 ′为 502 到手掌反射点的距离、 L4 ′为 501 到手掌反射点的距离， h 为反射到多媒体设备所在平面的距离， x 为设备 400 的声波发生器到垂直点的距离。通过声波发射与接收时间差可以获得 L1 ′、 L2 ′、 L3 ′、 L4 ′的数值，等效几何图如图 5 所示，为一个平行四边形的椎体， L1 ′、 L2 ′、 L3 ′、 L4 ′， a ， d 均为已知，则椎体唯一，反射点到多媒体设备所在平面的距离垂直 h ′可以得到，在直角三角形中可以得到 x ′的值，通过判断数值 h ′与 x ′的变化趋势获得手势物体 600 的运动类型，根据该应用软件程序中的约定，执行约定的操作，如各设备同时进行翻页、滑动等操作。

以上实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所做的等效变化或修饰，都应涵盖在本发明的保护范围。

Claims (8)

1.一种基于超声波的同一平面内多媒体设备间手势交互方法，用于对交互空间内的至少两台多媒体设备进行手势交互控制，其特征在于：每台所述的多媒体设备均具有声波发生器、声波接收器以及唯一的ID编码，并且各台多媒体设备均位于同一平面内，该方法包括如下步骤：

S1：主设备确认步骤，其中一台多媒体设备定义为主设备，其他的定义为从设备；

S2：从设备发现步骤，所述的主设备通过声波发生器产生的声波信号查找从设备，当从设备的声波接收器接收到该信号时，通过从设备的声波发生器产生确认信号回复主设备，主设备通过声波发送与接收时间计算从设备的距离，当主设备与从设备之间接近达到预定距离时进行组网，之后由用户选择需要启动的应用程序；

S4：手势识别步骤，所述的主设备的声波发生器产生的声波信号经过手势物体的反射由从设备接收，所述的从设备接收到该信号后进行解析处理，解析出是本机地址的从设备将该声波信号发射出去，再经过手势物体的反射返回主设备的声波接收器，定义h为手势物体到多媒体设备平面间的垂直距离，定义X为主设备到手势物体在多媒体设备平面内投影点间的距离，通过判断数值h与X的变化趋势获得手势物体运动类型；

S5：指令响应步骤，主设备与从设备依据应用程序中约定的手势物体运动类型与数据处理指令对应关系执行相应的操作。

2.根据权利要求1所述的基于超声波的同一平面内多媒体设备间手势交互方法，其特征在于：所述的步骤S2中，定位时第一方首先通过声波发生器发送带有该设备的ID编码的定位信号，经过时间T后，第二方通过信号接收器接收到该带有ID编码的定位信号、并在处理时间∆T之后通过声波发生器将接收到的定位信号发送至第一方，经历时间仍为T，通过传播时间（2T-∆T）/2 计算双方设备之间的距离a。

3.根据权利要求2所述的基于超声波的同一平面内多媒体设备间手势交互方法，其特征在于：所述的步骤S3中，当多媒体设备的声波发生器和声波接收器的间距小于预定值时，该间距数值被忽略不计，L1为主设备到手势物体的距离，L2为从设备到手势物体的距离，a为设备之间的距离，其中：

主设备发送声波后经手势物体反射回到主设备的声波接收器的时间为T3，得到声波对应行走的距离为L′，则有L1= L′/2 ；

主设备发送声波后经手势物体反射到达从设备的波接收器的时间为T1，从设备经过∆T时间处理后发出声波经手势物体反射到达主设备的声波接收器接收的时间为T2，根据（T1+T2--∆T）获得声波对应行走距离为L，则有L2=L /2 -L1；

依据x²+h²=L1²与(a-x)²+h²=L2²，得到h、X的值，随着手势物体的移动，通过判断数值h与X的变化趋势获得手势物体运动类型：

X的值增大时，判定手势物体是向接近从设备的方向移动；

X的值减小时，判定手势物体是向接近主设备的方向移动；

h的值增大时，判定手势物体是向远离主设备和从设备所在平面的方向移动；

h的值减小时，判定手势物体是向接近主设备和从设备所在平面的方向移动。

4.根据权利要求1所述的基于超声波的同一平面内多媒体设备间手势交互方法，其特征在于：所述的ID编码包括地址编码或者超声编码或者设备用户名称。

5.根据权利要求1所述的基于超声波的同一平面内多媒体设备间手势交互方法，其特征在于：所述的声波发生器包括扬声器，所述的声波接收器包括麦克风。

6.根据权利要求1所述的基于超声波的同一平面内多媒体设备间手势交互方法，其特征在于：当主设备与从设备之间接近达到预定距离时，主设备对新增的从设备进行身份验证通过后进行组网。

7.根据权利要求1所述的基于超声波的同一平面内多媒体设备间手势交互方法，其特征在于：主设备查找从设备时，查找信号具有约定的频率，或者幅度，或者约定的发送周期个数，或者约定的发送时间间隔。

8.根据权利要求1所述的基于超声波的同一平面内多媒体设备间手势交互方法，其特征在于：多媒体设备之间的数据传输是通过有线网络或者无线网络实现的。