CN104182052A - 多媒体设备有效空间范围内快速交互方法 - Google Patents

Abstract

本发明公开了一种多媒体设备有效空间范围内快速交互方法，包括如下步骤：通过同步信号使各台设备同步化；一台设备与每台其它设备之间产生至少三个定位探测信号，每个定位探测信号在接收后被转换为距离信息，通过对距离信息的计算获得该设备实时相对空间坐标，并传输至该台设备；每台设备分别产生动作探测信号，计算动作物体相对于各设备距离，距离最小设备识别交互指令；当一台多媒体设备接收到数据发送指令、另一台多媒体设备接收到数据接收指令时，在该对多媒体设备之间执行相应的数据传输动作。本方法可增大有效距离，设备耗电量较少，手势识别计算量大大减少，交互灵活性提高。

Description

多媒体设备有效空间范围内快速交互方法

技术领域

本发明涉及一种在三维空间内各设备间实现手势识别的方法。

背景技术

随着人机交互技术越来越成熟，手势识别近来备受关注，识别技术也有多种原理方法，基于视觉的手势识别技术目前比较成熟，已应用到某些产品中，而基于声波的手势识别技术也在发展过程中。虽然基于手势识别的多设备间的交互目前应用非常少，但必将在手势识别成熟的基础上快速发展起来。

在人机交互领域，设备手势识别是将手势映射到计算机交互中去以传达人的想法，表达一种简单的命令注意。手势基于某种协定，与设备的交互界面协作。现有的基于手势识别的设备间交互，在各设备共同的有效距离范围内，首先确定需要交互的对象设备，然后共同用声波测距的方式识别判定障碍物（例如该障碍物为手）的运动方式，根据该运动方式与设备中事先约定好的某种动作进行匹配，能匹配上就执行该约定的操作。该技术的缺点是各设备共同的有效范围比较小，交互范围有限，扩大交互范围时，设备耗电量又大大增加，这是因为声波传输的衰减特性，基于声波的手势识别有一定的有效距离，该有效距离与声波的能量成正比关系，声波能量越大，设备的耗电越大，尤其是某些便携式设备，对耗电量是要严格控制的；另外，当多个设备共同识别某一手势时，各设备对接收到的信号进行处理时比较困难，实时性较差，交互速度慢。    

发明内容

本发明的目的是针对上述现有技术的不足，针对多设备间基于声波的手势识别交互时出现的交互距离短、手势识别时计算量大的缺点提出的改进方法。

为了实现上述目的，本技术方案是：一种多媒体设备有效空间范围内快速交互方法，用于对有效空间范围内分布的至少两台多媒体设备间进行交互，每台多媒体设备上均设置有信号发射单元、信号接收单元，该方法包括如下步骤：

S1：设备间同步步骤，通过同步信号使有效空间范围内的多台多媒体设备同步化；

S2：设备间定位步骤，定位时一台多媒体设备与每台其它多媒体设备之间产生至少三个由所述的信号发射单元、信号接收单元间形成的定位探测信号，每个定位探测信号在接收后被转换为一个距离信息，通过对多个距离信息的计算获得该台多媒体设备与每台其它多媒体设备之间的实时相对空间坐标，并传输至该台多媒体设备；

S3：动作识别步骤，识别时每台多媒体设备分别产生动作探测信号，计算每个动作物体分别相对于各个多媒体设备的距离，每台多媒体设备分别识别与自身距离最小的动作物体所表示的交互指令；

S4：指令响应步骤，每台多媒体设备分别根据各自接收的交互指令执行相应的动作，当一台多媒体设备接收到数据发送指令、另一台多媒体设备接收到数据接收指令时，在该对多媒体设备之间执行相应的数据传输动作。

作为本发明进一步的改进，在所述的步骤S2中，所述的定位探测信号具有约定的频率，或者幅度，或者约定的发送周期个数，或者约定的发送时间间隔。

作为本发明进一步的改进，所述的定位探测信号的发送时间短于动作探测信号的发送时间。

作为本发明进一步的改进，所述的定位探测信号的信号能量大于动作探测信号的信号能量。

作为本发明进一步的改进，每台多媒体设备上分布有总数至少为4个的信号接收单元与信号发射单元。 

作为本发明进一步的改进，所述的定位探测信号采用声波信号，所述的信号发射单元包括扬声器部件，所述的信号接收单元包括麦克风部件，本发明基于声波手势识别技术，声波发生器和接收器可以用电子设备本身自带的麦克风和扬声器，可以发送一定频率和周期的声波，耗电量非常低，对电池的续航能力影响非常小，成本低、技术难度不高，能大大提高电子产品在同行产品的竞争力，而且分辨率高、可行性很高。

作为本发明进一步的改进，在所述的步骤S2与S3中，通过测量定位信号接收单元接收到信号的时间差或强度差来计算距离信息。

作为本发明进一步的改进，所述的多媒体设备包括便携式设备或者非便携式设备。

作为本发明进一步的改进，所述的多媒体设备包括智能手机、平板电脑、智能电视机、笔记本电脑中的一种或多种。

作为本发明进一步的改进，所述的多媒体设备之间的数据传输是通过蓝牙、无线局域网、移动蜂窝网络或者近场通讯实现的。

随着手势识别技术越来越广泛的应用，多台电子设备间通过手势识别的交互功能也将步入新的研究领域，本专利提供的方案在不影响耗电量的情况下可以提高设备交互的距离，大大减少运算量，提高设备交互的速度，而且实现难度低，不会增加设备的成本。 

附图说明

图1描述了依据本发明方法的确定各设备相对位置的过程；

图2描述了各设备识别离该设备最近的手势的过程；

图3描述了探测动作时信号处理过程。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

参见附图1与附图2所示，本发明的目的是实现对空间内分布的多台多媒体设备进行同步交互控制，包括两台或两台以上电子设备（可以是便携式，也可以是非便携式设备），例如可以是智能手机、平板电脑（ipad）、智能电视机、笔记本电脑中的一种或多种。随着技术的发展，人们日常生活中的多媒体设备越来越多，经常会遇到同时需要在多个设备之间操作的场景，三维空间内的两台及两台以上的电子设备通过识别手势进行交互时，每台设备则至少需要一个声波发生器，三个声波接收器，或者三个声波发生器，一个声波接收器，或者其他数量的发生器和接收器。

如图1所示，在进行交互之前，首先需要确定交互的对象设备，发送数据的设备需确定接收设备的位置信息，其中一台设备发送同步信号，各设备同步后，再发送定位信号，计算其他各设备与本设备的相对位置关系。在设备有效测距范围内时，设备的声波发生器发射定位探测信号，该声波经过反射回到设备的声波接收器，每个定位探测信号在接收后被转换为一个距离信息，通过对多个距离信息的计算获得该台多媒体设备与每台其它多媒体设备之间的实时相对空间坐标，并传输至该台多媒体设备。因为是三维立体空间，每台设备须具备四个或四个以上的发生器和接收器，例如，一个声波发生器和三个声波接收器，或者其他数量的声波发生器和声波接收器。计算声波从发出到接收的时间可以得到该设备和其他设备的相对位置信息。

在以上步骤中，可以通过一个设备发送配对编码信号（某特殊声波），其他设备接收声波，收到该配对编码信号的匹配的多媒体设备返回确认信号至发送方；该特殊声波是事先约定好的信号，使得接收到该声波的设备就知道该信号为定位信号。例如，该定位声波可以有如下特性：某个特定的频率或幅度，或者，每次发送的周期个数特定，或者每次发送的时间间隔特定等等。其二，该声波信号能量适当增大，以增大声波传输的距离。其三，发送该声波时间短，该时间为：发送信号的设备发送该声波后，接收设备接收到该声波，计算完成后将结果发送回发送定位声波的设备。比如，两台设备相距2米，发送声波到接收声波的时间为5.88ms，计算完成后接收声波的设备可以通过bluetooth、wifi、NFC等信号发送给发送定位声波的设备，整个定位过程时间非常，这短时间的能量增大，耗电不会受到影响。定位结束后，各设备进入手势识别状态。

如图2所示，在动作识别时每台多媒体设备分别由定位信号发射单元产生动作探测信号，通过动作物体的移动方式和移动方向反射由定位信号接收单元接收后识别预定义的交互指令。多台设备同时识别某一手势时，声波信号多次反射和接收，处理起来非常复杂，本专利提供一种三维空间中手势识别的改进方法，各设备分别仅仅识别本台设备上方的手势，而不用识别其他设备上方的手势。在图示的场景中，两只手可以同时在两台设备前操作，或者多人在多台设备前同时操作，这种方式可以大大提高交互速度，这些设备只需处理接收到最强声波信号，其他设备发送的声波信号通过手或者障碍物折射后接收到的信号则为干扰信号，用滤波器过滤掉该干扰信号后，判断该声波信号对应的手势方式，设备根据这些手势进行相应的数据传输处理。图2中，5和6为设备3的声波接收器和声波发生器，7和8为设备4的声波接收器和声波发生器。手1离设备3距离最近，则设备3只需识别手1的动作即可。手2离设备4最近，则设备4只需识别手2的动作即可。设备4接收到经过手1反射回的声波信号相对设备4接收到经过手2反射回的信号要小得多，故设备4接收到经过手1反射回的信号可以作为噪声信号过滤掉。同理对于设备3接收到经过手2反射回的声波信号比经过手1反射回的声波信号要小得多，故经过手2反射回的信号则可以当作噪声过滤掉。设备探测动作时数据处理如附图3所示，手等障碍物移动时，设备上声波发生器发射声波，到声波接收器接收声波，手等障碍物到这些声波接收器间的距离也会发生变化，比较这种变化可以得知手等障碍物的移动方式，计算动作物体相对于各个多媒体设备的距离，距离最小的多媒体设备识别动作物体所表示的交互指令，设备中的应用软件有一个手势识别库，对识别的手势和设备进行相应的操作有一个约定，该移动方式和设备的应用软件的手势库的方式进行匹配，若可以匹配，则设备执行该手势下的对应的操作。

当电子设备识别某特定手势后，每个多媒体设备分别根据各自接收的交互指令执行相应的动作，手势是基于某种协定，与设备的交互界面协作的一种方式。通过识别某些约定的手势，发送数据的设备可以成为接收数据的设备，接收数据的设备也可以成为发送数据的设备，设备之间的数据交换非常灵活。多设备交互时，其中一个设备向其他设备发送数据和指令，其他的设备接收数据或者指令，接收数据或指令的设备的数量可以是一个或多个。比如，游戏时，一个设备识别某一手势后，设备执行相应的操作，接着等待识别下一个手势，其他设备也同时进行手势识别，并执行相应的操作。这就要求设备中的应用软件事先要约定好，多设备交互时，识别何种手势动作设备执行何种操作。当一台多媒体设备接收到数据发送指令、另一台多媒体设备接收到数据接收指令时，在该对多媒体设备之间执行相应的数据传输动作。例如，选择需要传送的文件，选中该文件后，手或者输入物体执行一个特定的动作，如“pick up”，移动到设备2的上方，再执行一个特定的动作，如“put down”，设备2识别该动作的运动方式和方向，定位手或某输入物体的位置，开始传送文件。设备1和设备2之间的数据传输可以通过wifi，bluetooth，mobile network，NFC等方式，由此完成两台或多台电子设备之间某种特定的交互动作。

本发明基于声波手势识别的处在三维空间的两台或两台以上电子设备之间进行交互，定位时，发送一个特殊切能量较大的定位声波。设备交互进入手势识别阶段时，各设备只识别该设备上方的手势，无需识别其他设备的手势。通过识别某些约定的手势，发送数据的设备可以成为接收数据的设备，接收数据的设备也可以成为发送数据的设备。本专利中设备各自识别离本机最近的手势，无需对其他设备上的手势进行分析。如果设备之间距离比较近，在共同的识别范围内，那么，声波信号会有强弱，离本机最近的手势反射回的声波信号较强，离本机较远的手势反射回的声波信号较弱，在各设备声波信号处理过程中，较弱的信号将会被过滤掉，只识别较强的信号。这样，各设备识别手势时处理信号相对比较容易，准确率高，而且实时性更强，交互速度更快。

另外需要指出的是，以上实施例中的定位探测信号采用声音信号或者超声波信号，这是由于目前很多电子设备有麦克风部件与扬声器部件，麦克风部件可以作为声波接收器，而扬声器部件可以作为声波发生器，电子设备装置中不需要增加额外的元器件，不影响设备硬件布局，可以增加产品的稳定可靠性，耗电量非常低，对电池的续航能力影响非常小，成本低、技术难度不高，能大大提高电子产品在同行产品的竞争力，而且分辨率高、可行性很高。需要指出的是，本发明中的定位方式也可以通过其他如光学信号、电磁波信号、声音信号等信号来进行计算。

以上实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所做的等效变化或修饰，都应涵盖在本发明的保护范围。

Claims (10)

1.一种多媒体设备有效空间范围内快速交互方法，用于对有效空间范围内分布的至少两台多媒体设备间进行交互，其特征在于，每台多媒体设备上均设置有信号发射单元、信号接收单元，该方法包括如下步骤：

S1：设备间同步步骤，通过同步信号使有效空间范围内的多台多媒体设备同步化；

S2：设备间定位步骤，定位时一台多媒体设备与每台其它多媒体设备之间产生至少三个由所述的信号发射单元、信号接收单元间形成的定位探测信号，每个定位探测信号在接收后被转换为一个距离信息，通过对多个距离信息的计算获得该台多媒体设备与每台其它多媒体设备之间的实时相对空间坐标，并传输至该台多媒体设备；

S3：动作识别步骤，识别时每台多媒体设备分别产生动作探测信号，计算每个动作物体分别相对于各个多媒体设备的距离，每台多媒体设备分别识别与自身距离最小的动作物体所表示的交互指令；

S4：指令响应步骤，每台多媒体设备分别根据各自接收的交互指令执行相应的动作，当一台多媒体设备接收到数据发送指令、另一台多媒体设备接收到数据接收指令时，在该对多媒体设备之间执行相应的数据传输动作。

2.根据权利1所述的多媒体设备有效空间范围内快速交互方法，其特征在于：在所述的步骤S2中，所述的定位探测信号具有约定的频率，或者幅度，或者约定的发送周期个数，或者约定的发送时间间隔。

3.根据权利1所述的多媒体设备有效空间范围内快速交互方法，其特征在于：所述的定位探测信号的发送时间短于动作探测信号的发送时间。

4.根据权利1所述的多媒体设备有效空间范围内快速交互方法，其特征在于：所述的定位探测信号的信号能量大于动作探测信号的信号能量。

5.根据权利1所述的多媒体设备有效空间范围内快速交互方法，其特征在于：每台多媒体设备上分布有总数至少为4个的信号接收单元与信号发射单元。

6.根据权利5所述的多媒体设备有效空间范围内快速交互方法，其特征在于：所述的定位探测信号采用声波信号，所述的信号发射单元包括扬声器部件，所述的信号接收单元包括麦克风部件。

7.根据权利1所述的多媒体设备有效空间范围内快速交互方法，其特征在于：在所述的步骤S2与S3中，通过测量定位信号接收单元接收到信号的时间差或强度差来计算距离信息。

8.根据权利1所述的多媒体设备有效空间范围内快速交互方法，其特征在于：所述的多媒体设备包括便携式设备或者非便携式设备。

9.根据权利8所述的多媒体设备有效空间范围内快速交互方法，其特征在于：所述的多媒体设备包括智能手机、平板电脑、智能电视机、笔记本电脑中的一种或多种。

10.根据权利1所述的多媒体设备有效空间范围内快速交互方法，其特征在于：所述的多媒体设备之间的数据传输是通过蓝牙、无线局域网、移动蜂窝网络或者近场通讯实现的。