CN102640085B - 用于识别手势的***和方法 - Google Patents

用于识别手势的***和方法 Download PDF

Info

Publication number
CN102640085B
CN102640085B CN201080053760.9A CN201080053760A CN102640085B CN 102640085 B CN102640085 B CN 102640085B CN 201080053760 A CN201080053760 A CN 201080053760A CN 102640085 B CN102640085 B CN 102640085B
Authority
CN
China
Prior art keywords
signal
gesture
module
captured
entity according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080053760.9A
Other languages
English (en)
Other versions
CN102640085A (zh
Inventor
E·德福拉斯
Y·卡里图
N·斯普赖恩斯齐
C·多丹
S·沙博尼耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Movea SA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique CEA
Movea SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique CEA, Movea SA filed Critical Commissariat a lEnergie Atomique CEA
Publication of CN102640085A publication Critical patent/CN102640085A/zh
Application granted granted Critical
Publication of CN102640085B publication Critical patent/CN102640085B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种识别实体,尤其是人的手势的***和方法,任选地,用于控制电气或电子***或设备。本发明使用测量信号的传感器,信号优选表示关于所述实体运动的惯性数据,实施富集所述要识别手势的词典的过程和识别算法,用于在所述词典中手势类别之间进行识别。算法工具优选是动态时间规整类型的。本发明的***执行预处理操作,例如消除在实体不活动期间俘获的信号,对信号进行二次采样,以及通过简化对测量值进行归一化,并为对手势进行分类优先使用具体的距离计算模式和用于在传感器的各种测量值之间合并或投票的模式。

Description

用于识别手势的***和方法
本发明属于手势识别***的领域。更确切地说,本发明适用于结合学习数据库表征手势,尤其是人的手势,学习数据库包括手势类,以便能够可靠地识别所述手势,任选地,使用所述识别结果控制一个或多个装置,尤其是电子装置。这种类型的一种***通常包括若干位置和/或取向传感器,用于采集表示佩戴所述传感器的人做出的手势的多个信号。这些传感器例如可以是加速度计、陀螺仪甚至磁强计。通常提供信号处理模块调节所述信号。另一种模块然后执行对信号分类的方法,以便通过提供识别接受阈值识别学习数据库中的手势。可以使用若干分类方法,尤其是用于语音识别的那些方法,例如以下方法:HMM(隐藏马尔科夫模式);LTW(线性时间规整)和DTW(动态时间规整)。申请EP1335338和公开“GestureRecognitionUsingtheXWand”(D.Wilson,CarnegieMellonUniversityandA.Wilson,Microsoft,2004)公开了用于远程控制电子设备(的XWandTM)的***中采用的DTW手势识别方法。后一公开中援引的识别程度低于72%,不能被工业应用接受,使得这种方法无法使用。
本发明通过提供预处理和后处理流程解决了这个问题,这些流程很大程度上改善了识别程度。
为此目的,本发明公开了一种用于识别实体手势的***,包括用于俘获所述实体的运行产生的信号的模块,用于存储表示已经俘获且按照手势类别组织的信号的数据的模块,用于将在时间窗口上俘获的至少一些信号与所存储信号的所述类别进行比较的模块,所述***还包括用于对在时间窗口上俘获的至少一些所述信号进行预处理的模块,并且其中所述预处理包括从包括如下操作的组中选择的至少一个功能:通过在所述俘获信号之内进行阈值化来消除,以消除与不活动周期对应的那些信号,对俘获的信号执行二次采样功能,以及通过简化俘获的信号执行归一化。
根据本发明的一个实施例,在所选功能是归一化时,在简化之前找所述俘获信号的中心。
有利地,用于俘获所述实体的所述运动产生的信号的模块包括用于沿三个轴进行惯性测量的至少一个传感器。
有利地,用于比较在时间窗口上俘获的信号的模块通过执行动态时间规整算法进行所述比较。
有利地,所述存储模块包括,针对每个信号类别,表示用于属于每个类别的信号的至少一个信号距离测量值的数据矢量。
有利地,表示用于属于每个类别的信号的至少一个信号距离测量值的数据矢量包括:针对存储的每个信号类别,至少一个类内距离测量值、以及所述类别和所存储其他类别的每个之间的距离测量值。
有利地,类内距离测量值等于该类别信号之间成对距离的平均值,计算表示属于该类别的手势的信号之间的每个距离作为DTW型变形路径上信号样品序列之间均方根偏差的最小值。
有利地,所述类间距离测量值等于两个类别的信号之间成对距离的平均值,信号之间的每个距离表示属于被计算为DTW型变形路径上信号样品序列之间均方根偏差的最小值的类别的手势。
有利地,所述动态时间规整算法基于在时间窗口上俘获的所述信号的距离测量值,使用在时间窗口上俘获的所述信号表示的手势识别标准,所述矢量表示所述存储模块中存储的参考信号的类别。
有利地,由类内距离测量值对所述距离测量值进行归一化。
有利地,通过如下方式执行所述距离测量:使用DTW算法,沿着通过分量为至少一个传感器在要分类信号上的轴测量值的矢量和参考信号上相同分量的矢量之间欧几里德距离矩阵的最低成本路径,计算至少一个测量信号和参考信号之间的相似度指数。
有利地,通过如下方式执行所述距离测量:使用DTW算法,沿着通过矩阵元是测量矢量和参考矢量标量积导数的矩阵的最低成本路径,计算至少一个测量信号和参考信号之间的相似度指数。
有利地,用于俘获所述信号的模块包括至少两个传感器。
有利地,本发明的***还包括用于合并来自针对至少两个传感器的比较模块的数据的模块。
有利地,用于合并来自针对至少两个传感器的比较模块的数据的模块能够在来自用于至少两个传感器的比较模块的所述数据之间执行投票功能。
有利地,通过属于包括如下操作的组的操作执行所述距离测量:i)使用DTW算法,沿着通过分量为至少两个传感器在要分类信号上的轴测量值的矢量和参考信号上相同分量的矢量之间欧几里德距离矩阵的最低成本路径,计算构成所述距离测量的所述相似度指数;以及ii)使用DTW算法,针对每个传感器,沿着通过分量为至少两个传感器之一在要分类信号上的轴测量值的矢量和参考信号上相同分量的矢量之间欧几里德距离矩阵的最低成本路径,计算至少一个测量信号和参考信号之间的相似度指数,接着通过对作为所有传感器上计算输出而提供的相似度指数相乘来计算距离测量。
有利地,通过如下方式针对每个传感器执行所述距离测量:使用DTW算法,沿着通过矩阵元是测量矢量和参考矢量标量积导数的矩阵的最低成本路径,计算至少一个测量信号和参考信号之间的相似度指数,接着通过将作为所有传感器上计算输出而提供的相似度指数相乘来计算距离测量。
有利地,通过如下方式执行所述距离测量:使用DTW算法,针对每个传感器,沿着通过由分量为至少两个传感器之一在要分类信号上的轴测量值的矢量和参考信号上相同分量的矢量之间欧几里德距离或由测量矢量和参考矢量标量积导数构成的矩阵的最低成本路径,计算至少一个测量信号和参考信号之间的相似度指数,接着通过将作为所有传感器上计算输出提供的相似度指数相乘来计算距离测量。
有利地,所述预处理模块在所述俘获信号之内执行阈值化消除功能,以通过在类似选择的时间窗口上过滤掉低于所选阈值的信号变化来消除与不活动周期对应的那些信号。
有利地,所述预处理模块通过如下方式对俘获的信号执行二次采样功能:利用选定的压缩比对俘获的信号进行十中抽一,接着在与压缩比匹配的滑动空间或时间窗口上对减小的信号取平均值。
有利地,由所述存储模块存储表示十中抽一的数据并作为比较模块的输入发送。
有利地,所述预处理模块在所述俘获信号之内相继执行消除功能,以消除与不活动周期对应的那些信号,对俘获的信号执行二次采样功能,以及通过简化俘获的信号执行归一化功能。
有利地,可以提供至少一些俘获的信号和比较模块的输出作为存储模块的要在其中处理的输入,由所述比较模块的当前处理操作考虑所述处理操作的结果。
有利地,本发明的***在预处理模块的输出端上还包括能够开始执行比较模块的趋势提取模块。
有利地,在时间窗口上俘获的信号之一的特征量变化超过预定阈值时,所述趋势提取模块开始执行比较模块。
有利地,本发明的***在存储模块的输入侧上还包括类别再分组模块,用于分成表示手势系列的K组类别。
有利地,启动所述比较模块触发执行选择K组中其比较信号最接近的那个组的功能,接着是所述比较信号和所述所选组的手势之间的动态时间规整算法。
本发明还公开了一种用于识别实体手势的方法,包括如下步骤:俘获具有至少三个自由度的所述实体的运动产生的信号,将时间窗口上俘获的至少一些信号与表示实体手势的已经存储并按照类别组织的信号类别进行比较,所述方法在比较步骤之前还包括对在时间窗口上俘获的至少一些所述信号进行预处理的步骤,并且其中所述预处理包括从包括如下操作的组中选择的至少一个功能:通过在所述俘获信号之内进行阈值化来消除,以消除与不活动周期对应的那些信号,对俘获的信号执行二次采样功能,以及通过简化俘获的信号执行归一化。
有利地,所述归一化包括在简化所述俘获信号之前找中心。
可以不求助于诸如图像或语音识别的外部辅助(对于XWandTM就是如此)实施本发明,因此不需要使用复合数据-合并算法和装置。
本发明还具有如下优点,能够使用小巧、轻便、低功耗和廉价的传感器,例如MEMS(微机电***)传感器。
使用惯性和/或磁测量还能够绕过俘获容积极限,该极限表征俘获限于照相机领域的图像处理装置,使用可操纵照相机(仍然可能的话)引入大得多的***复杂性。
此外,本发明提供了通过优化用于合并各种数据的流程来针对各个类别的传感器和使用方案调整处理的能力,使得该***能够非常多用,因此具有非常宽范围的应用。
最后,在本发明的某些实施例中,可以通过仅在运动信号有显著变化时执行比较算法并通过将手势数据库组织成类别组来识别俘获的手势。
这些实施例允许识别长手势或长序列,为其使用预处理操作,利用趋势提取方法对表示所俘获手势的更多信号进行十中抽一,从而能够更多地减少处理时间。
从若干例示性范例和其附图的以下描述,本发明将得到更好理解,其各种特征和优点将变得显而易见,附图中:
-图1示出了将本发明用于其实施例之一中的情形范例;
-图2是本发明的***在其实施例之一中的总体架构图;
-图3是用于在其实施例之一中实施本发明的处理操作的总流程图;
-图4示出了本发明实施例之一中预处理流程步骤之一;
-图5示出了通过应用DTW算法实施对表示手势的信号执行的比较处理操作的准则范例;
-图6示出了根据第一决策准则变体的手势识别***的识别程度;
-图7A和7B分别示出了根据地热决策准则变体的本发明手势识别***的识别程度和假阳性程度;
-图8A和8B分别示出了根据第三和第四决策准则变体的本发明手势识别***的识别程度和假阳性程度;
-图9是在本发明的某些实施例中使用趋势提取和/或特征提取识别手势的情况下应用的处理操作流程图;
-图10示出了本发明某些实施例中的趋势提取原理;以及
-图11示出了本发明某些实施例中使用移动中心算法的原理。
图1示出了将本发明用于其实施例之一中的情形范例。
本发明的***涉及手势俘获和识别的领域。对于人机交互应用或基于手势识别的那些应用(例如,多媒体***、交互式游戏控制台、家中各种电气和/或电子设备的通用遥控器、将移动电话用作遥控器、乐器的控制器等)而言,公众尤其对本领域感兴趣。它还可能涉及专业或半专业性应用,例如笔迹识别或用于训练的模拟,用于体育、飞行,或其他活动。
本发明的***优选使用直接佩带在人身上(他的手腕之一或两者上,他的脚踝之一或两者上,他的躯干上等)或人的手势移动的装置(3D鼠标、遥控器、电话、玩具、手表、附件、衣服等)中的运动敏感传感器。本发明的描述主要提及MEMS型的传感器(陀螺仪和/或加速度计)和磁强计,但可以将本发明的原理推广到其他运动敏感型测量,例如图像采集,可能在红外线、力或压力测量中,光电单元中进行的测量,遥测、雷达或激光雷达测量等中。不过,应用本发明的条件之一是使用的传感器确实提供充分表示要俘获的手势的信号,尤其是为了识别它们而必须要考虑的自由度数量。在说明书稍后将看到,通过具有传感器冗余,有利的是能够通过来自各种源的测量相关组合显著提升识别性能。
举例而言,图1示出了由实体120产生的表示“8”的手势110,在这种情况下实体是手。这个实体装备有对运动130敏感的装置。“8”例如可以是电视频道编号或控制台上的游戏编号。于是,通过在应用特有的代码中用表示所述对象的一个或多个字母或数字来调用,可以支配对象,然后可以用所述代码的第二级的另一字母数字字符调用所述对象可以执行的功能之一。
在个人计算机或房间控制台上的多媒体应用领域中,本发明应用于与3D鼠标(即保持“在空中”)相关联的产品或应用于任何允许进行由控制软件控制的交互的其他敏感周边装置。例如,它可以是包括两个陀螺传感器的AirMouseTM,每个陀螺传感器都具有旋转轴。使用的陀螺仪是EpsonXV3500牌的陀螺仪。它们的轴是正交的,并提供偏航角(绕着平行于面对AirMouse用户的平面的水平轴的轴旋转)和螺距角(绕着平行于面对AirMouse用户的平面的垂直轴的轴旋转)。将两个陀螺自转轴测量的瞬时间距和偏航速度发送到内置于鼠标体内的微控制器并由所述微控制器转换成位移。通过无线电将表示光标在面对用户的屏幕上运动的这个数据发送到计算机或控制屏幕上移动光标的显示的设备。只要在***识别了它们的时候,拿着AirMouse的手执行的手势就采取激励含义。例如,做出十字(或“α”符号)以抑制***集中于其上的项目(计算机语言中的“活动”项目)。
在另一个应用领域中,例如在体育中,能够识别并统计特定的技术手势,例如网球中的正手或反手击球,例如用于统计匹配分析的目的。还能够研究执行的手势相对于理想或模型技术手术的概况并分析差异(尤其是执行的手势偏离模型的手势阶段),以便瞄准或识别手势中的缺陷(例如在击球时的肌肉抽搐)。在这些应用中,运动员将在认真选择的位置佩戴MotionPodTM型传感器。MotionPod包括三轴加速度计、三轴磁强计、用于对来自传感器的信号预成形的预处理能力、用于向处理模块自身发送所述信号的射频发送模块以及电池。这种运动传感器被称为“3A3M”传感器(具有三个加速度计轴和三个磁强计轴)。加速度计和磁强计是体积小、功耗低且成本低的商用微型传感器,例如来自KionixTM和HoneywellTM的KXPA43628三通道加速度计,HMC1041Z(1个垂直通道)和HMC1042L(2个水平通道)型磁强计。仅举几例,其他供应商有:磁强计的MemsicTM或AsahiKaseiTM,加速度计的STMTM、FreescaleTM和AnalogDeviceTM。在MotionPod中,对于6个信号通道,仅有模拟滤波,那么,在模拟-数字(12比特)转换之后,通过针对这种应用中消费而优化的BluetoothTM(2.4GHz)频带中的射频协议发送原始信号。因此,数据以原始状态到达控制器,控制器能够从一组传感器接收数据。由控制器读取数据并由软件对其进行作用。采样率是可调节的。默认地,将采样率设置在200Hz。不过,可以想到更高的值(直到3000Hz,甚至更高),实现例如冲击检测中的更高精度。
上述类型的加速度计对沿其三个轴的纵向位移、角位移(除了关于地球重力场方向)以及相对于三维笛卡尔参考系的取向是敏感的。一组上述类型的磁强计用于测量其固定于上的传感器相对于地球磁场的取向,因此测量其相对于三个参考系轴(除了关于地球磁场的方向)的取向。3A3M组合提供了平滑的补充运动信息。
可以将同一种构造用于另一个应用领域,即在视频游戏中。在这种情况下,手势允许更深的专注,经常需要尽快识别。例如,拳击中的右钩拳将甚至在手势结束之前被识别:游戏将迅速触发在虚拟世界中采取该动作。
MotionPodTM的一个版本还包含两个微型陀螺仪部件(在电路的平面中具有两个旋转轴,一个旋转轴与电路平面正交)。增加这种类型的传感器提供了大量可能性。它允许进行典型的IMU(惯性测量单元)预处理,使其能够提供动态角测量。3A3M3G组合(其中G代表陀螺仪)提供了平滑的补充运动信息,即使对于快速运动或在存在干扰磁场的铁类金属的情况下。对于这种实施方式,有利的预处理由解析传感器取向构成,以便估计运动加速度并通过二重积分回到该位置。这个位置代表手势的轨迹,这种数据更容易分类。
在移动电话世界中,手势较为简单,方便使用。这涉及到:在电话机上轻敲并识别这些识别标志,或者沿各个方向进行平移运动或者识别拿起电话或将其放下的手势。不过,如果移动电话包含这种能够监测点击的传感器,工作模式的描述类似于多媒体应用的领域(参见上文),其中使用移动电话代替遥控器或鼠标。
因此将看出,本发明***的可能应用范围非常宽,可以使用各种传感器。本发明使得能够针对采用的传感器调整处理并考虑到期望的识别精度而使用情景。
图2是本发明实施例之一中其***的总体架构图。
根据本发明的手势识别***包括:
-用于俘获佩戴传感器的实体运动产生的信号的模块210;
-用于存储按照手势类别组织的事先俘获的信号的模块220;
-用于将时间窗口上俘获的至少一些信号与存储的所述信号类别比较的模块230;以及
-用于对时间窗口上俘获的至少一些所述信号进行预处理的模块240。
作为图1中的注释,上文已经给出了与模块210相关的实施例范例,模块210一般包括至少一个敏感装置130。有利地,敏感装置130是3A3G(3轴加速度计和3轴陀螺仪)型或3A3G3M(3轴加速度计、3轴陀螺仪和3轴磁强计)型。一般将通过无线电(Wi-Fi或Bluetooth链路,可能使用为发送运动传感器俘获的信号而优化的特定应用协议层)把信号发送到控制器。
模块220和230是本发明涉及的通过分类来识别的应用类别的特征。具体而言,像语音或笔迹识别那样,手势识别从学习阶段受益,使得能够生成表示给定手势的信号波形类别。应用领域越宽,要识别其手势的用户越多,分类在识别质量方面实现的优点越多。
将能够从预定手势的数据库检测到实体110进行的手势120的发生。将预定参考手势的这种数据库称为“手势词典”或存储模块220。向词典220中输入新手势的动作被称为“富集”。对于识别执行的手势是否出现在词典220中的动作,如果其中存在该手势,被称为“识别”,如果没有该手势,称为“否决”。板上传感器测量表示所执行手势的识别标志。提出的总体技术问题是识别(或分类)的问题。这是将***接收的这种测量信息与所执行手势所属类别相关联的问题。类别可以包括要学习的手势的一次或多次执行。根据上下文或用户,任一类中的执行都可能变化。在希望产生需要分类的***时,可能出现若干具体技术问题:
-输入数据的相关性,为了加以改进,可能需要预处理;
-手势的执行速度,对着每次执行而改变;
-识别鲁棒性,使得能够确保手势词典中出现的手势被清晰地识别并属于正确的类别(低概率未检测或高水平识别),并丢弃未形成所学***假阳性)的手势数量最小化;
-***的响应时间和计算成本;
-要识别的手势数量以及为了富集而提供的这些手势的执行次数;
-用于操纵若干用户的鲁棒性;
-管理给定手势的变体的能力(例如,低幅度的手势和高幅度的相同手势,或在特定方向做出的手势以及在不同方向做出的相同手势);以及
-管理正在进行的手势识别的能力,无需指出开始和/或结束手势的时刻。
从语音识别伊始就研究了识别形状的问题,在原理上讲,形状是在未知的时间内形成的,在语音识别中希望识别音素和发音的单词[参见“Automaticspeakerverification:areview”(AERosenberg,1976)和“Fundamentalsofspeechrecognition”(B-HJuang,1993)]。手势识别承袭了同样的问题:可能以不同速率和不同幅度执行给定的手势。处理方案基于随时间延展和扩展信号的方法,以便使得它们尽快与学习的形状重合。DTW算法形成了这种处理类别的一部分,首先被用于语音识别[参见“Performancetradeoffsindynamictimewarpingalgorithmsforisolatedwordrecognition”(C.Myers,L.Rabiner和A.Rosenberg,1980)]。在20世纪90年代还研究了识别由加速度计类型的传感器探测的手势的可能性[参见“DynamicGestureRecognitionUsingNeuralNetworks;AFundamentforAdvancedInteractionConstruction”,(K.Boehm,W.Broll和M.Sokolewicz,1994)]。稍晚时候还研究了与陀螺仪组合[尤其参见专利EP0666544B1,“Gestureinputmethodandapparatus”(1995年8月公开,2002年7月授权给Canon);国际专利申请WO2003-001340A2,“Gesturerecognitionsystemandmethod”(2003年1月公开,但被放弃,未进入国家阶段);题为“ProjectEMMU:Emotional,MotionalMeasurementUnit”的报告(CSIDCSeoulNationalUniv.,JunKeunChang,2003);出版物“WorkshoponSensingandPerceptionforUbiquitousComputing”(UbiComp,2001的一部分,2001年9月);还有在本描述引言中提到的Microsoft做出的专利和出版物]。Canon专利描述了一种主要佩戴在手上的装置,该装置将实测信号(传感器之间的差异)与参考信号(词典)进行比较。本专利既未公开具体的比较模块,也未公开预处理模块。与Microsoft的XWand相关的出版物和专利研究了DTW方法对建立手势识别函数的适合性。他们描述了最初将XWand用于感知家庭电子应用中的环境(瞄准3D对象)。XWand是包括加速度计、磁强计、陀螺仪、控制按钮、无线发射机、红外线二极管和微控制器的电子“魔杖”。Wilson的出版物解释了诸如DTW的方法可以为手势识别提供解决方案。作者比较了三种具体算法(LTW、DTW和HMM)的性能。结果表明,最有效的方法是HMM方法,识别率为90%,而DTW识别率为72%。
发明人设定要实现的目的是为游戏/多媒体应用实现95%的手势检测概率和3%的假阳性。
在说明书稍后将看到,已经识别了这些目的,包括有几个用户的情况。
此外,使用DTW算法的方法(在特定应用中可能使它们优于HMM方法)优点之一是它们是“自我学习”的,亦即,作为一般规则,无需调节加权就足以富集手势词典。不过,根据应用,使用DTW算法将比使用HMM算法消耗更多计算能力。
将在描述中稍后详细解释模块220和230根据本发明的精确工作。
模块240包括预处理功能,使其能够准备俘获的信号,以便优化识别,所述功能也在其余描述中详细描述。
图3是在其实施例之一中实现本发明的处理操作的总体流程图。
本发明的手势识别***可以,或者根据需要,富集数据库或识别/拒绝手势。用户必须指定他是工作在富集模式还是识别模式。对于某些处在相邻类别边界的手势,还可能设想同时工作在识别模式和富集模式。在这种情况下,有利的是提供并非***管理员的用户可以访问的接口,以便能够在***的操作开发期间容易确认或拒绝分配到类别。
在识别模式RECOG中,完整解决方案是由若干功能块构成的处理操作序列:
-作用于输入信号的预处理模块PRE240。可以针对所有类别以同样方式配置这个模块,或者可以针对一个或多个类别特别配置这个模块;以及
-比较模块COMP230,用于比较预处理的输入信号与经历过相同预处理操作的参考信号。这个模块提供指示符,表示代表要识别的手势的信号和代表参考手势的信号之间的相似性。
这个比较模块比较MERGE块,用于选择最佳解决方案和/或拒绝不形成学习的手势词汇一部分的手势。例如,可以通过计算选择函数,通过优化选择准则,或通过在作为可用传感器的各种操作程序输出的计算出的解决方案之间投票来做出选择。
在富集模式ENRICH中,本发明的***采用了使用各种功能的处理操作序列:
-在要存储的输入信号上执行的预处理模块PRE240的功能;以及
-存储模块MEM220的功能,其中存储预处理的信号SIG(i)和与类别相关联的准则矢量CRIT(i),i是类别的数量。可能存在由新类别对存储的参考进行富集或由新信号对现有类别进行富集。
为了对范例的数据库进行初始化,必须要以人工模式引入第一手势的第一范例。只要数据库中有至少一个手势范例,就可以在自动或半自动模式下操作***。可以将初始拒绝或接受标准固定在认真选择的值,富集模式允许累进地调节这个值。
预处理模块240可以在两种操作模式,ENRICH和RECOG中执行三种信号准备功能。可以根据使用***的上下文实施或不实施这些准备功能的每个。可以想到在特定操作范围之内自动激活或去活这些功能之一:
-消除没有用或对有用信号斩波的信号部分的功能(通过在实际手势之前和之后丢弃不活动期间来有利地增强性能)。可以利用所观测信号的变化识别不活动期间,如果这些变化在充分长时间内足够低,将此视为不活动期间。可以有一种阈值化操作,可以协调地执行这种斩波,以便检测手势的开始和结束(如果手势之间有暂停)并在滑动时窗F上执行:
о如果var(信号)F<Th,其中Th是用户定义的阈值,那么该期间是不活动的,这个期间的信号被消除;
о预处理也可以包括低通信号滤波器,例如巴特沃斯滤波器或滑动平均滤波器,由此使得能够消除由于相对于正常手势的偏差导致的不合时宜的变化;
-对信号二次采样的功能,任选地在消除无用信号部分的功能之后,所述二次采样功能使得能够相当大地减少处理时间,并尤其能够采取如下形式:
о(利用低通前置滤波)对时间信号进行规则的十中抽一:在实践中,由于本发明一个实施例中使用的俘获***是以200Hz采样的,所以有利的是使用段,例如40点上的滤波器平均,以便获得最后的采样信号,在这种情况下以5Hz频率采样,这是尤其适于人手势动态的频率。平均信号(在窗口中心)被表达为:
о S m ( i ) = 2 2 N + 1 &Sigma; k = - N k = N S m ( i + k ) ;
о对从时间信号导出的空间信号进行规则的十中抽一,因此将被不规则地十中抽一,亦即,在图4中所示的可变频率下采样。这种功能进行简化(SIMP),以便针对DTW型的伸展算法调整信号,该简化由沿着输入信号的“轨迹”(例如,如果***具有用于测量信号的三轴加速度计,为3维空间中的轨迹)推进窗口构成。仅用一个位于样本重心(就时间和值而言)的点替代这个可调节窗口中包含的所有点。然后沿着轨迹移动窗口,以便继续“清洁”点的密度;
о在所述十中抽一之后,或者向比较模块230的分类功能发送十中抽一点的序列,或者发送代表信号密度的序列,任选地伴随有十中抽一点的序列(在轨迹上的这个滑动时窗中找到的闭合点产生十中抽一点序列的标本,这些点的数量是信号的密度(参见图4),这可能是要识别的手势的区别因素);
-信号归一化功能(称为通过简化来归一化),任选地可以在二次采样功能之后执行。在执行它时,这种归一化功能由将这种二次采样功能输出的信号除以其能量构成(信号能量是信号平方的均值)。因此这种归一化使得能够根据如下公式克服信号的动态:
Out reduced ( i ) = Out ( i ) 1 N &Sigma; k = 0 k = N [ Out ( k ) ] 2
-根据变体,归一化功能可以由找中心,然后简化加速度计输出的信号构成,亦即,针对每个信号,根据本发明的一个实施例,从其中减去它们的平均值(在表示手势的完整信号的长度上计算),并将这种第一归一化获得的信号除以其标准偏差,以执行第二归一化。因此这些归一化允许根据以下公式使以不同速率进行的相同手势均匀化:
Out centerde ( i ) = Out ( i ) - 1 N + 1 &Sigma; k = 0 k = N Out ( k )
- Out reduced ( i ) = Out centered ( i ) 1 N &Sigma; k = 0 k = N [ Out ( k ) - 1 N + 1 &Sigma; l = 0 l = N Out ( l ) ] 2 .
在向数据库增加手势时,或在希望优化现有数据库时,存储模块MEM220管理参考手势的数据库。
在富集模式ENRICH中,在向现有类别i增加手势时,或在通过增加表示这一新类的一个或多个手势生成新类时,更新针对每个类别i尤其包含如下内容的矢量CRIT(i):
-类内距离等于所述类别i的手势的所有2到2距离的平均值;以及
-一组类间距离,类i和类j之间的每个距离都等于类i的元和类j的元之间的所有距离的平均值。
如针对识别模式RECOG的描述中稍后指出那样计算类内和类间距离。
这些标准的发展提供了关于新手势或新类相对于现有参考手势数据库的质量的信息。如果类内距离增大过多,而同时类间距离变得过小,根据本发明一个实施例,可以通知用户参考手势数据库变得劣化了。
根据本发明的一个实施例,如果希望优化现有数据库,在每个类有很多信号的情况下,可以通过选择最佳代表来减少这些信号的数量:
-计算对应于类中心的一个或多个“平均”代表。新范例相对于类i的平均范例的距离任选地除以关联的类内距离并包含在CRIT(i)中将给出其在类i内出现的相关指示符。如果计算
若干平均代表,可以有利地选择这些以代表执行相同手势的各种方式,尤其是如果希望由几位用户使用时;
-或者计算更好地定义类之间边界的“边界”代表。然后将把新元与发现它的区域的类相关联。在范例的数据库非常充实且在类间的边界复杂时,这种方法是适当的。
在识别模式RECOG中,比较模块220执行如下所述的功能。
比较功能COMP提供要分类的手势和参考手势数据库的信号之间的成本矢量。通过使DTW算法确定的两个信号之间的距离最小化来获得成本,成本根据在对图5解释时下文给出的若干常规公式之一提供均方根偏差或距离,或两个被比较信号之间的成本。这种成本的性质可能根据可支配传感器、MERGE块的处理操作(实际是根据所选的本发明实施例使用的)和优先给出的应用和性能水平(识别水平/假阳性水平):
-如果仅有一个操作程序(三轴加速度计或三轴陀螺仪),就能够计算要分类的三轴信号和来自参考手势数据库的信号之一之间的成本:这个成本涉及到3维欧几里德距离,从而使得仅能够在距离矩阵上工作,由此有利地减少处理时间(与计算每个传感器通道的成本相比,后者增加了运算次数);
-如果可以使用两个操作程序,那么能够:
о计算六维信号的DTW成本(矢量包含与来自陀螺仪三个轴的信息连接的来自加速度计三个轴的信息);
о计算合并的成本:那么最终成本是两个成本之积(每个操作程序一个成本)。这个选项使得能够有利地受益于每个俘获程序的补充特性并组合它们;
о向MERGE块提供一对成本(加速度计成本和陀螺仪成本);
о计算有利于程序之一的成本。例如,针对操作程序(最相关的一个)之一计算DTW路径,在这条路径上计算另一程序的成本(以加强或不加强第一程序的成本)。因此,如前所述,能够提供成本或该对成本之积。
可以通过相同方式组合第三(或第四等)操作程序:可以将上述技术推广到超过两个操作程序。如果有M个操作程序提供的N个信号(在3A3M3G情况下,这为三个操作程序生成九个信号),就能够:
о计算N维信号的DTW成本;
о计算合并的成本:那么最终成本是M个成本之积(每个程序一个成本):这个选项使得能够有利地受益于每个俘获程序的补充特征并组合它们;
о向MERGE块提供该组M个成本;
о计算有利于操作程序之一的成本。例如,针对程序(最相关的一个)之一计算DTW路径,在这条路径上计算另一程序的成本(以加强或不加强第一程序的成本)。因此,如前所述,能够提供成本或该对成本之积。
任选的后处理操作包括根据类标准对获得的成本进行归一化并以如下方式定义:为了计算要分类的手势和类i之间的成本,将相对成本定义为先前计算的绝对成本与类i的类内距离的比例(矢量CRIT(i)中可用)。于是,这个成本考虑了类的几何特性(它们的扩展和它们的元分布)。
为了获取传感器相对于参考场的取向(如果个体加速度小或如果它们在一般参考系中具有相同取向,对于磁强计,相对于北方,对于加速度计,相对于垂直方向),可以选择与要比较的两个信号的标量积导数对应的特定距离。
MERGE或分类功能为被测手势提供分类决策。我们的决策算法仅基于检测到的最近邻居的类(最近邻居是提供最低成本的那个)。一种变化是选择K个最近邻居的类,如果提供了每个类的几个范例并在存储模块MEM中存储,这对DTW情况中的计算时间具有不利影响。根据上文针对COMP块解释的配置变化,有几种实施例是可能的:
-如果有标量成本(仅加速度计的成本、仅陀螺仪的成本或合并成本),那么具有最近邻:
о决定向最近邻的类分配被测手势,无论最佳成本值是什么-因此没有拒绝类。这样允许我们具有最大水平的识别,但具有假警报的补充水平;
о或者开始放置判决阈值:高于这个阈值,向拒绝类分配手势;低于这个阈值,向最近邻的类分配手势。为了调节阈值,那么明智的是使用上文解释的相对成本,能够根据识别水平和假警报水平之间的期望折衷优化这个阈值;以及
-如果有成本对,每个成本具有更接近的类,然后比较获得的类:如果这些是相同的类,向这个类分配手势,否则在拒绝类中放置手势。这种方法能够获得拒绝类而无需阈值参数管理。
图4示出了本发明实施例之一中预处理流程的步骤之一。
已经在前面的描述中评论和解释了在本发明的一个实施例中实施的预处理的这个方面,这个方面与涉及简化功能SIMP的二次采样相关。
图5示出了通过应用DTW算法比较手势的代表信号的处理操作的实施。以下文将解释的方式计算信号样本之间的成本或距离:
令S和T是信号样本的两个时间序列,S例如是测量信号,T是参考信号:
-S=s1,s2,...,si,...sn
-T=t1,t2,...,tj,...tm
通过固定针对每个样本的边界条件(开始日期和终止日期的重合),可以布置序列S和T以形成n乘m网格,其中网格中的每个点(i,j)对应于对(si,tj)。图5中示出了该网格。在网格领域上定义功能w,以便在参考信号的时间尺度上变换测量信号的样本。可以定义几个功能w。尤其可以在如下文献中找到范例:“MinimumPredictionResidualPrincipleAppliedtoSpeechRecognition”-(FumitadaIkatura,IEEETransactionsonAcoustics,SpeechandSignalProcessing,1975年2月)和“ConsiderationsinDynamicTimeWarpingAlgorithmsforDiscreteWordRecognition”-(L.R.Rabiner,A.E.Rosenberg和S.Levinson,IEEETransactionsonAcoustics,SpeechandSignalProcessing,1978年12月)。于是可以将第三序列w定义为:
W=w(s1),w(s2),...,w(sk),...w(sp)。
这涉及找到由对(w(si),tj)形成的路径,使得相似性指示符最大化或两个样本之间的距离最小化。
为了用公式表示最小化问题,可以使用若干用于计算距离的公式,或者是序列S和T的点之间的距离的绝对值,或所述点之间距离的平方:
δ(i,j)=|si-tj|
或者δ(i,j)=(si-tj)2
在描述的其余部分中将看到,还可以定义其他距离测量值。在所有情况下要最小化的公式:
- DTW ( S , T ) = min W [ &Sigma; k = 1 p &delta; ( w ( s k ) , t k ) ]
在本发明的上下文中,将值δ(si,tj)的集合称为DTW算法的距离矩阵,将对应于DTW(S,T)最小值的值的集合称为通过距离矩阵的最低成本路径。
图6示出了根据第一决策准则变体的本发明的手势识别***的识别水平。
在这个例示性范例中,参考手势数据库包括代表数字的手势。有六个不同用户。在描述中上文定义的绝对成本被用作信号间距离的指示符。图6中的曲线示出了作为x轴上绘制的每个类中的测量数目的函数,y轴上绘制的识别水平。三条曲线分别是:
-底部的曲线:仅使用陀螺仪测量值的情况;
-中间的曲线:仅使用加速度计测量值的情况;以及
-顶部的曲线:使用来自两个传感器的测量值的情况。
通过合并传感器,能够适度地改善识别水平。
图7A和7B分别示出了根据第二决策准则变体本发明的手势识别***的识别水平和假阳性水平。
在这个例示性范例中,参考手势数据库也包括表示数字的手势,且同样有六位不同用户。这次,在描述中上文定义的相对成本被用作信号间距离的指示符。图7A和7B在y轴上绘制的曲线分别代表作为x轴上绘制的每个类中的测量数目的函数的识别水平和假阳性水平。每幅图中的各条曲线代表具有拒绝阈值的测量值(图7A中从下到上,图7B中中从上到下),阈值以0.1的步长从1.1到1.5变化(即,如果实例相对于类的相对成本大于K,该实例不属于该类)。
标准偏差小且性能水平相似,由此表明该识别***对不同用户具有良好的鲁棒性。针对各种阈值的曲线间的偏差表明,如果希望减少偏差数量(图7B),必须要取可靠的阈值。不过,也有更低的判决水平(图7A)。这种调节在富集模式中可能是有用的:在不能做出判决时,请求用户人工输入类的数目,以便富集数据库。在优选不执行该动作而是执行误动作时,这也可能是有益的(例如,如果手势用于识别人的识别标志,最好让该人再次做一次,而不是打开应用而不确认这确实是正确的人)。
图8A和8B分别示出了根据第三和第四决策准则变体本发明的手势识别***的识别水平和假阳性水平。
在这个例示性范例中,参考手势数据库也包括表示数字的手势,有六位不同用户。一方面,这次合并来自两个传感器的数据(图8A中顶部曲线和图8B中底部曲线),另一方面,使用传感器之间的投票(图8A中底部曲线和图8B中顶部曲线)。可以看出,投票改善了假阳性的水平,但降低了识别水平,由此表明,投票比在执行这两个操作程序的条件下合并更“严重”。
这些范例例示了根据本发明的使用情形和特许性能类型提供若干实施例的益处。这些各种实施例可以同处于同一个***中,并由根据给定时刻的使用要求进行参数化的软件激活。
可以在商用计算机上毫无困难地实施本发明,将向计算机连接一个模块,用于俘获运动信号,正常情况下提供用于调节所述信号并向计算机发送信号的模块。办公PC的中央处理单元的微处理器足以实施本发明。可以将操作上述算法的软件结合到适用软件包中,该软件包还包括:
-用于控制低水平功能的库,这些功能执行信号的俘获、调节和从运动传感器发送信号;以及
-用于控制功能(自动字符识别)的模块和用于控制电子设备、乐器组、体育训练模拟、游戏等的模块。
当然,中央处理单元的设计将在很大程度上确定***的性能。必须要根据适用水平的预期性能选择设计。在对处理时间有非常高性能约束的情况下,可以想到根据本领域的技术人员所知的操作程序使处理操作并行进行。目标处理器和语言的选择将在很大程度上取决于这一性能要求和成本约束。
还可以想到,对于有限数量的具有低程度模糊性的手势,对于要在佩戴传感器的实体中结合的识别算法,或者本地执行的处理操作。
图9是在使用趋势提取和/或具有特性的提取的本发明某些实施例中识别手势的情况下应用的处理操作的流程图。
在必须要识别手势的特定情况下,尤其是对于控制装置,重要的是在短时间内进行识别。因此必须优化用于与手势类比较的算法执行。在图9中描述了执行这种优化的一种方式。第一处理步骤的目的是在存在无意义手势时避免执行算法。
尤其通过如下方式实现这个目的:分析相继的时域事件,并仅在这些事件包括被视为有意义手势特性的信号参数变化时执行比较模块230的算法。在预处理模块210和比较模块230之间***趋势提取模块910以便执行这个处理步骤。在其余描述中结合图10描述其操作。
可以在预处理模块210之前放置趋势提取模块,以便在向其应用所选的预处理操作之前对表示手势的信号十中抽一。
此外,为了加快比较模块的执行,有利的是利用分组算法对参考手势词典的类别分组,分组算法可以是移动中心算法或k均值算法类型的。这种类型的算法将类别分成群,其特征量是被分组类别的特征量的平均值。分类技术领域的技术人员知道如何执行这种分组并选择特征量,以便使群适于应用。
为此目的,在本发明的***中***类别分组模块920。所述模块还使其能够通过计算群的特征量和被分析信号中相同量的欧几里德距离,对表示被分析手势的信号和所述群进行第一比较。在其余描述中结合图11描述这个模块的操作。
图10示出了本发明某些实施例中趋势提取的原理。
模块910的趋势提取算法从信号提取以开始时刻和停止时刻为特征的时域事件的序列、事件开始和结束的信号值以及关于随时间变化的行为(增大、减小或稳定)的符号信息。在该应用使用希望识别其手势的实体上分布的若干加速度计时,可以对来自测量相同方向的运动的传感器的所有加速度信号应用趋势提取。在这些信号之一的趋势中每次检测到新事件,就在检测新事件之前在持续时间D的时间窗口上对所有所述信号执行比较算法(例如DTW型)的分析。这样能够仅在检测到所述加速度信号之一的显著变化时开始比较分析。
在以下出版物中在不同应用上下文中描述了用于实施本发明的类型的趋势提取算法:S.Charbonnier,“OnLineExtractionofTemporalEpisodesfromICUHigh-FrequencyData:Avisualsupportforsignalinterpretation”,ComputerMethodsandProgramsinBiomedicine,78,115-132,05;以及S.Charbonnier,C.Garcia-Beltan,C.Cadet和S.Gentil“TrendsExtractionandanalysisforcomplexsystemmonitoringanddecisionsupport”,EngineeringApplicationsofArtificialIntelligencevol.18,No.1,pp21-36,05。
这种趋势提取算法提取由下式定义的时域事件系列:{primitive,[td,tf[,[yd,yf[}。这种基元可以是稳定的、增大或减小的:[td,tf[表达信号的时间变化遵循基元的时段,这些值与信号行为发生变化的时刻对应,[yd,yf[表达事件开始和结束时的信号值,所述值与信号值变化,尤其是变化到极值的点对应。
图10示出了在手势期间记录的五个加速度信号(大致对准的十字序列)和提取的对应趋势(连接圆的实曲线)。在本范例中,为实体装备五个加速度计轴,它们在前后或正反方向上基本在同一直线上的。
由三个参数设置趋势提取算法。无论加速度信号是什么,这些参数的值都是相同的。设置参数之一用于定义一个水平,高于这个水平,信号的变化就是显著的。这是由“threshold_variation”表示的。在用于检测拳击中手势的应用的例示范例中,设置该算法,使得仅检测到大于0.6的幅度变动。该趋势不是以大精确度提取的,但这使得能够不检测低幅度变动,从而不过于频繁地触发手势检测。
图11示出了在本发明某些实施例中使用移动中心算法的原理。这个图表示由移动中心算法在其前三个主分量的空间中形成的参考手势(空心圆)和群核心(实心圆)的数据库。将从趋势提取的信号波形的特性提供给确定所做的可能手势的分类算法(移动中心算法)。然后使用比较算法(例如DTW算法),通过比较来自学习数据库的可能手势的信号与实测信号来判断做出什么手势。分类的优点是其将学习数据库中存在的手势数量减小到可与当前手势相比。
通过如下伪代码描述该方法的原理:
令S为要分析的信号,其包含五个前后加速度(在本范例中,为实体装备五个加速度计轴,它们基本沿前后方向在同一直线上),令X(j).App是包含手势期间记录的前后加速度信号范例的数据库文件。
为了执行学习操作:
-提取文件X(j).App的特性
-应用移动中心算法以获得K核心。与每个核心相关联的是可能手势的列表。
为了检测手势:
在每个采样周期并针对每个加速度信号:
提取趋势
如果检测到新事件,
将“要分析的手势”标记设置为1
EndIf
EndFor
如果要分析的手势=1:
对于每个加速度信号,
在检测事件之前在窗口D上提取特性
EndFor
-计算提取的居中减弱特性和K核心之间的欧几里德距离
-选择最近的核心,以提出可能手势的列表。(如果与最近核心的距离大于阈值距离,判决=0)
-计算信号S和对应于可能手势的列表的范例X(j).App之间的DTW距离。
如果该距离大于拒绝阈值,
判决=0
否则
判决=k,其中k是与具有最短DTW距离的文件相关联的手势
数量
EndIf
将“要分析的手势”标记设置为0
EndIf
EndFor
有利地,通过五个采样周期的增量,从平均的二次采样信号计算信号S和范例X(j).App之间的DTW距离。
为了防止在两个过于接近的时刻做出两个决策,可以引入等待时间。如果在加速度信号之一上检测到新事件,如果前一决策之后的时间大于最低时间(等待时间),做出决策。等待时间可以在50和100个采样周期之间变化,即在0.25和0.5秒之间变化,这里采样率为200Hz。引入等待时间以便减轻如下事实:该算法在一个变量上协调地提取趋势,无需考虑其他变量的行为:趋势提取不是同步的。于是,在两个信号相关时,该算法能够检测第一信号上的新事件以及第二信号上短时间后的事件,它们实际上对应于同一现象。通过引入等待时间,有可能避免第二次提取。
因此,本发明的方法使得能够通过如下方式减少比较功能(例如DTW类型)上的调用次数:
-仅在检测到信号时域行为显著变化时才调用它,以及
-将学习数据库中手势范例的数量减小到可与信号相比。
已经通过例示本发明实施例的方式给出了上述实施例,但它们决不限制本发明的范围,范围由以下权利要求界定。

Claims (29)

1.一种用于识别实体的手势的***,包括用于俘获所述实体的运动产生的信号的模块,用于存储表示已经俘获并按照手势类别组织的信号的数据的模块,用于比较在时间窗口上俘获的至少一些信号和所存储信号的类别的模块,所述***还包括用于预处理在时间窗口上俘获的至少一些所述信号的模块,且其中所述预处理包括从包括如下操作的组选择的至少一个功能:通过在所俘获的信号之内进行阈值化来消除与不活动周期对应的那些信号,对所俘获的信号进行二次采样,以及通过简化所述信号进行归一化。
2.根据权利要求1所述的用于识别实体的手势的***,其中所述归一化包括在简化所俘获的信号之前找中心。
3.根据权利要求1所述的用于识别实体的手势的***,其中用于俘获所述实体的所述运动产生的信号的模块包括用于沿三个轴进行惯性测量的至少一个传感器。
4.根据权利要求1所述的用于识别实体的手势的***,其中用于比较在时间窗口上俘获的信号的模块通过执行动态时间规整算法执行所述比较。
5.根据权利要求4所述的用于识别实体的手势的***,其中所述用于存储表示已经俘获并按照手势类别组织的信号的数据的模块包括,针对每个信号类别,表示用于属于每个类别的信号的至少一个信号距离测量值的数据矢量。
6.根据权利要求5所述的用于识别实体的手势的***,其中表示用于属于每个类别的信号的至少一个信号距离测量值的数据矢量包括:针对存储的每个信号类别,至少一个类内距离测量值、以及所述类别和每个所存储的其他类别之间的距离测量值。
7.根据权利要求6所述的用于识别实体的手势的***,其中所述类内距离测量值等于两个类别的信号之间成对距离的平均值,其中,每个属于一类的表示手势的信号之间的距离被计算为DTW型变形路径上信号样品序列之间均方根偏差的最小值。
8.根据权利要求6所述的用于识别实体的手势的***,其中类间距离测量值等于两个类别的信号之间成对距离的平均值,其中,每个属于一类的表示手势的信号之间的距离被计算为DTW型变形路径上信号样品序列之间均方根偏差的最小值。
9.根据权利要求4所述的用于识别实体的手势的***,其中所述动态时间规整算法基于在时间窗口上俘获的所述信号的距离测量值,针对表示所述用于存储表示已经俘获并按照手势类别组织的信号的数据的模块中存储的参考信号的类别的矢量,使用在时间窗口上俘获的所述信号表示的手势识别标准。
10.根据权利要求9所述的用于识别实体的手势的***,其中由类内距离测量值对所述距离测量值进行归一化。
11.根据权利要求9所述的用于识别实体的手势的***,其中通过如下方式执行距离测量:使用DTW算法,沿着沿分量为至少一个传感器在要分类信号上的轴测量值的矢量和参考信号上相同分量的矢量之间欧几里德距离矩阵元的最低成本路径,计算至少一个测量信号和参考信号之间的相似度指数。
12.根据权利要求9所述的用于识别实体的手势的***,其中通过如下方式执行距离测量:使用DTW算法,沿着沿矩阵元是测量矢量和参考矢量标量积导数的矩阵元的最低成本路径,计算至少一个测量信号和参考信号之间的相似度指数。
13.根据权利要求9所述的用于识别实体的手势的***,其中用于俘获所述信号的模块包括至少两个传感器。
14.根据权利要求13所述的用于识别实体的手势的***,还包括用于合并来自针对至少两个传感器的比较模块的数据的模块。
15.根据权利要求14所述的用于识别实体的手势的***,其中用于合并来自针对至少两个传感器的比较模块的数据的模块能够在来自针对至少两个传感器的比较模块的所述数据之间执行投票功能。
16.根据权利要求15所述的用于识别实体的手势的***,其中通过属于包括如下操作的组的操作执行距离测量:i)使用DTW算法,沿着沿分量为至少两个传感器在要分类信号上的轴测量值的矢量和参考信号上相同分量的矢量之间欧几里德距离矩阵元的最低成本路径,计算至少一个测量信号和参考信号之间的相似度指数,其中所述相似度指数构成所述距离测量;以及ii)使用DTW算法,针对每个传感器,沿着通过分量为至少两个传感器之一在要分类信号上的轴测量值的矢量和参考信号上相同分量的矢量之间欧几里德距离矩阵的最低成本路径,计算至少一个测量信号和参考信号之间的相似度指数,接着通过对作为所有传感器上计算输出而提供的相似度指数相乘来计算距离测量。
17.根据权利要求14所述的用于识别实体的手势的***,其中通过如下方式执行距离测量:针对每个传感器,沿着沿矩阵元是测量矢量和参考矢量标量积导数的矩阵元的最低成本路径,计算至少一个测量信号和参考信号之间的相似度指数,接着通过将作为所有传感器上计算输出而提供的相似度指数相乘来计算距离测量。
18.根据权利要求14所述的用于识别实体的手势的***,其中通过如下方式执行距离测量:使用DTW算法,针对每个传感器,沿着沿由分量为至少两个传感器之一在要分类信号上的轴测量值的矢量和参考信号上相同分量的矢量之间欧几里德距离或由测量矢量和参考矢量标量积导数构成的矩阵元的最低成本路径,计算至少一个测量信号和参考信号之间的相似度指数,接着通过将作为所有传感器上计算输出提供的相似度指数相乘来计算距离测量。
19.根据权利要求1所述的用于识别实体的手势的***,其中所述预处理模块在所俘获的信号之内执行阈值化消除功能,以通过在类似选择的时间窗口上过滤掉低于所选阈值的信号变化来消除与不活动周期对应的那些信号。
20.根据权利要求1所述的用于识别实体的手势的***,其中所述预处理模块通过如下方式对俘获的信号执行二次采样功能:利用选定的压缩比对俘获的信号进行十中抽一,接着在与压缩比匹配的滑动空间或时间窗口上对减小的信号取平均值。
21.根据权利要求20所述的用于识别实体的手势的***,其中由所述用于存储表示已经俘获并按照手势类别组织的信号的数据的模块存储表示十中抽一的数据并作为比较模块的输入发送。
22.根据权利要求1所述的用于识别实体的手势的***,其中所述预处理模块在所俘获的信号之内相继执行消除功能,以消除与不活动周期对应的那些信号,对俘获的信号进行二次采样功能,以及通过简化俘获的信号进行归一化功能。
23.根据权利要求1所述的用于识别实体的手势的***,其中能够提供至少一些俘获的信号和比较模块的输出作为存储模块的要在其中处理的输入,由所述比较模块的当前处理操作考虑所述处理操作的结果。
24.根据权利要求1所述的用于识别实体的手势的***,其中在所述预处理模块的输出端上还包括能够启动所述用于比较在时间窗口上俘获的至少一些信号和所存储信号的类别的模块的执行的趋势提取模块。
25.根据权利要求24所述的用于识别实体的手势的***,其中在时间窗口上俘获的信号之一的特征量变化违反预定阈值时,所述趋势提取模块启动比较模块的执行。
26.根据权利要求1所述的用于识别实体的手势的***,其中在所述用于存储表示已经俘获并按照手势类别组织的信号的数据的模块的输入侧上还包括类别再分组模块,用于分成K个表示手势系列的类别组。
27.根据权利要求25所述的用于识别实体的手势的***,其中启动所述比较模块触发执行选择K组中其比较信号最接近的那个组的功能,接着是所述比较信号和所选组的手势之间的动态时间规整算法。
28.一种识别实体的手势的方法,包括如下步骤:俘获具有至少三个自由度的所述实体的运动产生的信号,将在时间窗口上俘获的至少一些信号与表示实体手势的已经存储且按照类别组织的信号类别进行比较,所述方法在比较步骤之前还包括对在时间窗口上俘获的至少一些所述信号进行预处理的步骤,并且其中所述预处理包括从包括如下操作的组中选择的至少一个功能:通过在所俘获的信号之内进行阈值化来消除,以消除与不活动周期对应的那些信号,对所俘获的信号进行二次采样,以及通过简化所述信号进行归一化。
29.根据权利要求28所述的识别实体的手势的方法,其中所述归一化包括在简化所俘获的信号之前找中心。
CN201080053760.9A 2009-09-29 2010-09-29 用于识别手势的***和方法 Expired - Fee Related CN102640085B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0956717 2009-09-29
FR0956717A FR2950713A1 (fr) 2009-09-29 2009-09-29 Systeme et procede de reconnaissance de gestes
PCT/EP2010/064501 WO2011039283A1 (fr) 2009-09-29 2010-09-29 Systeme et procede de reconnaissance de gestes

Publications (2)

Publication Number Publication Date
CN102640085A CN102640085A (zh) 2012-08-15
CN102640085B true CN102640085B (zh) 2016-07-13

Family

ID=42184453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080053760.9A Expired - Fee Related CN102640085B (zh) 2009-09-29 2010-09-29 用于识别手势的***和方法

Country Status (6)

Country Link
US (1) US20120323521A1 (zh)
EP (1) EP2483758B1 (zh)
JP (1) JP6064280B2 (zh)
CN (1) CN102640085B (zh)
FR (1) FR2950713A1 (zh)
WO (1) WO2011039283A1 (zh)

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9737796B2 (en) 2009-07-08 2017-08-22 Steelseries Aps Apparatus and method for managing operations of accessories in multi-dimensions
US8719714B2 (en) 2009-07-08 2014-05-06 Steelseries Aps Apparatus and method for managing operations of accessories
JP5489572B2 (ja) * 2009-07-29 2014-05-14 キヤノン株式会社 加速度検出装置及びその制御方法、プログラム
US8896457B2 (en) * 2010-02-26 2014-11-25 Thl Holding Company, Llc Method, system and wireless device with event detection for monitoring protective headgear
US9323337B2 (en) * 2010-12-29 2016-04-26 Thomson Licensing System and method for gesture recognition
US9110510B2 (en) 2011-06-03 2015-08-18 Apple Inc. Motion pattern classification and gesture recognition
US10223710B2 (en) 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
FR2985583B1 (fr) * 2012-01-06 2014-01-17 Movea Dispositif de commande gestuelle d'un systeme, et procede associe
US20130254152A1 (en) * 2012-03-23 2013-09-26 Palo Alto Research Center Incorporated Distributed system and methods for modeling population-centric activities
CN103455135A (zh) * 2012-06-01 2013-12-18 腾讯科技(深圳)有限公司 控制被控设备的控制方法、***
US9147057B2 (en) 2012-06-28 2015-09-29 Intel Corporation Techniques for device connections using touch gestures
US20140002338A1 (en) * 2012-06-28 2014-01-02 Intel Corporation Techniques for pose estimation and false positive filtering for gesture recognition
US20140045463A1 (en) * 2012-08-10 2014-02-13 Silverplus, Inc. Wearable Communication Device
US9323985B2 (en) * 2012-08-16 2016-04-26 Microchip Technology Incorporated Automatic gesture recognition for a sensor system
US9927876B2 (en) 2012-09-28 2018-03-27 Movea Remote control with 3D pointing and gesture recognition capabilities
US9164622B2 (en) * 2012-10-09 2015-10-20 Facebook, Inc. Denoising touch gesture input
WO2015112108A1 (en) * 2012-11-28 2015-07-30 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
US9746926B2 (en) 2012-12-26 2017-08-29 Intel Corporation Techniques for gesture-based initiation of inter-device wireless connections
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US9604147B2 (en) 2013-03-15 2017-03-28 Steelseries Aps Method and apparatus for managing use of an accessory
US9235338B1 (en) * 2013-03-15 2016-01-12 Amazon Technologies, Inc. Pan and zoom gesture detection in a multiple touch display
US9687730B2 (en) 2013-03-15 2017-06-27 Steelseries Aps Gaming device with independent gesture-sensitive areas
US9423874B2 (en) 2013-03-15 2016-08-23 Steelseries Aps Gaming accessory with sensory feedback device
US9409087B2 (en) * 2013-03-15 2016-08-09 Steelseries Aps Method and apparatus for processing gestures
US9415299B2 (en) 2013-03-15 2016-08-16 Steelseries Aps Gaming device
WO2014186370A1 (en) 2013-05-13 2014-11-20 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
CN104156058B (zh) * 2013-05-14 2018-08-07 研祥智能科技股份有限公司 生成控制指令的方法和***
CN105453128A (zh) 2013-05-30 2016-03-30 阿特拉斯维拉伯斯公司 便携式计算设备以及对从其捕捉的个人数据的分析
JP2014238695A (ja) * 2013-06-07 2014-12-18 セイコーエプソン株式会社 電子機器及びタップ操作検出方法
JP2014238696A (ja) * 2013-06-07 2014-12-18 セイコーエプソン株式会社 電子機器及びタップ操作検出方法
TWI506461B (zh) * 2013-07-16 2015-11-01 Univ Nat Taiwan Science Tech 人體動作的辨識方法與裝置
JP6539272B2 (ja) 2013-08-07 2019-07-03 ナイキ イノベイト シーブイ コンピュータにより実現される方法、非一時的かつコンピュータが読み取り可能な媒体、および単一装置
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
CN114089813A (zh) 2013-11-29 2022-02-25 普罗克西有限公司 穿戴式计算装置
US10281953B2 (en) 2013-11-29 2019-05-07 Motiv Inc. Wearable device and data transmission method
CN104731307B (zh) * 2013-12-20 2019-05-10 孙伯元 一种体感动作识别方法及人机交互装置
CN104216351B (zh) * 2014-02-10 2017-09-29 美的集团股份有限公司 家用电器语音控制方法及***
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
CN104598017A (zh) * 2014-05-15 2015-05-06 电子科技大学 服务于盲人的交互式手势识别***
US9880632B2 (en) * 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
CN104183115B (zh) * 2014-08-28 2017-03-29 北京慧物科联科技有限公司 一种可识别物联网家庭手势操作的遥控器
CN104267835B (zh) * 2014-09-12 2017-08-08 西安闻泰电子科技有限公司 自适应手势识别方法
KR101628482B1 (ko) * 2014-09-18 2016-06-21 현대자동차주식회사 무선신호 분석을 통한 동작 인식 시스템 및 그 방법
US20160091965A1 (en) * 2014-09-30 2016-03-31 Microsoft Corporation Natural motion-based control via wearable and mobile devices
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
US10163000B2 (en) * 2015-01-14 2018-12-25 Samsung Electronics Co., Ltd. Method and apparatus for determining type of movement of object in video
US10078780B2 (en) * 2015-03-27 2018-09-18 Intel Corporation Gesture recognition mechanism
CN104794414B (zh) * 2015-03-31 2017-07-04 浙江水利水电学院 一种基于rfid技术的人体静态姿态识别方法
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
CN105321318A (zh) * 2015-09-29 2016-02-10 王增乾 紧急呼叫信号发送识别装置
CN105193100A (zh) * 2015-09-29 2015-12-30 王增乾 手控式背景音乐播放器
US10156907B2 (en) * 2015-12-14 2018-12-18 Invensense, Inc. Device for analyzing the movement of a moving element and associated method
US20170177929A1 (en) * 2015-12-21 2017-06-22 Intel Corporation Crowd gesture recognition
US10599919B2 (en) * 2015-12-31 2020-03-24 Microsoft Technology Licensing, Llc Detection of hand gestures using gesture language discrete values
US10678337B2 (en) * 2016-01-04 2020-06-09 The Texas A&M University System Context aware movement recognition system
US10579169B2 (en) * 2016-03-08 2020-03-03 Egalax_Empia Technology Inc. Stylus and touch control apparatus for detecting tilt angle of stylus and control method thereof
US10514770B2 (en) * 2016-06-17 2019-12-24 Texas Instruments Incorporated Hidden Markov model-based gesture recognition with FMCW radar
US10747327B2 (en) * 2016-06-28 2020-08-18 Intel Corporation Technologies for adaptive downsampling for gesture recognition
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3487395A4 (en) 2016-07-25 2020-03-04 CTRL-Labs Corporation METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS
WO2018035129A1 (en) * 2016-08-15 2018-02-22 Georgia Tech Research Corporation Electronic device and method of controlling the same
CN106339104B (zh) * 2016-08-24 2019-02-15 广州市香港科大***研究院 智能手表的文本输入方法及装置
US11080591B2 (en) 2016-09-06 2021-08-03 Deepmind Technologies Limited Processing sequences using convolutional neural networks
WO2018048934A1 (en) 2016-09-06 2018-03-15 Deepmind Technologies Limited Generating audio using neural networks
JP6750121B2 (ja) * 2016-09-06 2020-09-02 ディープマインド テクノロジーズ リミテッド 畳み込みニューラルネットワークを使用したシーケンスの処理
KR102359216B1 (ko) 2016-10-26 2022-02-07 딥마인드 테크놀로지스 리미티드 신경망을 이용한 텍스트 시퀀스 처리
KR20180050947A (ko) 2016-11-07 2018-05-16 삼성전자주식회사 대표 파형 제공 장치 및 방법
US11042262B2 (en) * 2017-02-01 2021-06-22 Opentv, Inc. Menu modification based on controller manipulation data
CN107330240A (zh) * 2017-05-22 2017-11-07 华东师范大学 一种基于双手环传感器的智能远程特护监控***及方法
WO2019016764A1 (en) * 2017-07-21 2019-01-24 Sage Senses Inc. METHOD, SYSTEM AND APPARATUS FOR RECOGNIZING GESTURES
CN112040858B (zh) 2017-10-19 2024-06-07 元平台技术有限公司 用于识别与神经肌肉源信号相关的生物结构的***和方法
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
KR102057705B1 (ko) * 2018-01-31 2019-12-19 계명대학교 산학협력단 동작 인식을 위한 지능형 장치 및 그 제어 방법
US20190244062A1 (en) * 2018-02-04 2019-08-08 KaiKuTek Inc. Gesture recognition method, gesture recognition system, and performing device therefore
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US11521740B2 (en) 2018-06-06 2022-12-06 International Business Machines Corporation Natural language processing of a motion alphabet for unsupervised clinical scoring
CN108986777A (zh) * 2018-06-14 2018-12-11 森兰信息科技(上海)有限公司 通过体感进行音乐模拟的方法、体感设备及乐器终端
CN108711029A (zh) * 2018-07-06 2018-10-26 国家电网有限公司 用于机具仓库的物品通道的控制***及物品通道
WO2020047429A1 (en) 2018-08-31 2020-03-05 Ctrl-Labs Corporation Camera-guided interpretation of neuromuscular signals
CN113423341A (zh) 2018-11-27 2021-09-21 脸谱科技有限责任公司 用于可穿戴电极传感器***的自动校准的方法和装置
EP3897890A4 (en) * 2019-02-28 2022-01-12 Facebook Technologies, LLC. METHODS AND APPARATUS FOR UNSUPERVISED MACHINE LEARNING FOR GESTURES CLASSIFICATION AND APPLIED FORCE ESTIMATION
CN110163130B (zh) * 2019-05-08 2021-05-28 清华大学 一种用于手势识别的特征预对齐的随机森林分类***及方法
EP3758023B1 (en) * 2019-06-28 2022-02-09 Associação Fraunhofer Portugal Research Method and device for assessing physical movement of an operator during a work cycle execution on an industrial manufacturing work station
US11227593B2 (en) * 2019-06-28 2022-01-18 Rovi Guides, Inc. Systems and methods for disambiguating a voice search query based on gestures
KR102081854B1 (ko) * 2019-08-01 2020-02-26 전자부품연구원 3d edm을 이용한 수어 또는 제스처 인식 방법 및 장치
CN111240485A (zh) * 2020-01-14 2020-06-05 浙江大学宁波理工学院 基于Kinect骨骼信息的篮球裁判手势识别的方法
CN111580660B (zh) * 2020-05-09 2022-03-18 清华大学 一种操作触发方法、装置、设备及可读存储介质
CN111797777B (zh) * 2020-07-07 2023-10-17 南京大学 基于时空语义特征的手语识别***及方法
FR3112407B1 (fr) * 2020-07-09 2023-11-03 Ippon Innovation Procédé statistique non supervisé de détection multivariée de courbes atypiques
US11109099B1 (en) * 2020-08-27 2021-08-31 Disney Enterprises, Inc. Techniques for streaming a media title based on user interactions with an internet of things device
CN114515146B (zh) * 2020-11-17 2024-03-22 北京机械设备研究所 基于电学测量的智能手势识别方法及***
US11579704B2 (en) * 2021-03-24 2023-02-14 Meta Platforms Technologies, Llc Systems and methods for adaptive input thresholding
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN113129340B (zh) * 2021-06-15 2021-09-28 萱闱(北京)生物科技有限公司 操作设备的运动轨迹分析方法、装置、介质和计算设备
US20220404915A1 (en) * 2021-06-16 2022-12-22 Joshua D. Chapman Human computer interface system that corrects for shaky input
US11829531B2 (en) * 2021-09-13 2023-11-28 Htc Corporation Human-computer interaction method and system and non-transitory computer readable storage medium
CN114647362B (zh) * 2022-03-22 2024-04-12 天马微电子股份有限公司 显示面板的触控算法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0686931A2 (en) * 1994-06-06 1995-12-13 Xerox Corporation Searching and matching unrecognized handwriting
GB2419433A (en) * 2004-10-20 2006-04-26 Glasgow School Of Art Automated Gesture Recognition

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5288938A (en) * 1990-12-05 1994-02-22 Yamaha Corporation Method and apparatus for controlling electronic tone generation in accordance with a detected type of performance gesture
JP3630712B2 (ja) * 1994-02-03 2005-03-23 キヤノン株式会社 ジェスチャー入力方法及びその装置
JP3821558B2 (ja) * 1997-10-27 2006-09-13 日本電信電話株式会社 映像情報一斉付加方法およびその方法を記録した記録媒体
US6565611B1 (en) * 1999-02-26 2003-05-20 Xerox Corporation Automatic index creation for handwritten digital ink notes
GB2367660B (en) * 2000-04-13 2004-01-14 Ibm Methods and apparatus for automatic page break detection
WO2003001340A2 (en) 2001-06-22 2003-01-03 Motion Sense Corporation Gesture recognition system and method
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
EP1408443B1 (en) * 2002-10-07 2006-10-18 Sony France S.A. Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition
JP2004192150A (ja) * 2002-12-09 2004-07-08 National Institute Of Advanced Industrial & Technology 画像認識装置、その特徴抽出方法、記録媒体およびプログラム
DE102004014970B4 (de) * 2003-03-26 2006-12-21 Infineon Technologies Ag Mitgekoppelte Einrichtung zur Rückgewinnung von Takt und Daten
US20040250218A1 (en) * 2003-06-06 2004-12-09 Microsoft Corporation Empathetic human-machine interfaces
FI117308B (fi) * 2004-02-06 2006-08-31 Nokia Corp Eleohjausjärjestelmä
WO2006090197A1 (en) * 2005-02-24 2006-08-31 Nokia Corporation Motion-input device for a computing terminal and method of its operation
US8427426B2 (en) * 2005-05-27 2013-04-23 Sony Computer Entertainment Inc. Remote input device
US7460710B2 (en) * 2006-03-29 2008-12-02 Amazon Technologies, Inc. Converting digital images containing text to token-based files for rendering
EP2098945B1 (en) * 2006-12-06 2016-07-20 Alps Electric Co., Ltd. Motion-sensing program and electronic compass using the same
DE102007016408A1 (de) * 2007-03-26 2008-10-02 Ident Technology Ag Mobiles Kommunikationsgerät und Eingabeeinrichtung hierfür
US8225343B2 (en) * 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0686931A2 (en) * 1994-06-06 1995-12-13 Xerox Corporation Searching and matching unrecognized handwriting
GB2419433A (en) * 2004-10-20 2006-04-26 Glasgow School Of Art Automated Gesture Recognition

Also Published As

Publication number Publication date
JP2013506216A (ja) 2013-02-21
FR2950713A1 (fr) 2011-04-01
US20120323521A1 (en) 2012-12-20
EP2483758A1 (fr) 2012-08-08
EP2483758B1 (fr) 2019-06-26
CN102640085A (zh) 2012-08-15
JP6064280B2 (ja) 2017-01-25
WO2011039283A1 (fr) 2011-04-07

Similar Documents

Publication Publication Date Title
CN102640085B (zh) 用于识别手势的***和方法
Materzynska et al. The jester dataset: A large-scale video dataset of human gestures
Johnston et al. Smartwatch-based biometric gait recognition
CN105929940B (zh) 基于细分特征值法的快速三维动态手势识别方法及***
Nickel et al. Authentication of smartphone users based on the way they walk using k-NN algorithm
Chambers et al. Hierarchical recognition of intentional human gestures for sports video annotation
EP2697665B1 (en) Device position estimates from motion and ambient light classifiers
CN106096662A (zh) 基于加速度传感器的人体运动状态识别
CN106073793B (zh) 基于微惯性传感器的姿态跟踪与识别方法
CN116226691B (zh) 用于手势姿态感知的智能戒指数据处理方法
CN103699795A (zh) 一种运动行为识别方法、装置及运动强度监测***
CN114265498B (zh) 一种多模态手势识别和视觉反馈机制结合的方法
Thiemjarus et al. A study on instance-based learning with reduced training prototypes for device-context-independent activity recognition on a mobile phone
CN205721628U (zh) 一种快速三维动态手势识别***及手势数据采集设备
CN105487644B (zh) 辨识装置、智能装置以及信息提供方法
CN108629170A (zh) 身份识别方法以及相应的装置、移动终端
CN111274998A (zh) 帕金森病手指敲击动作识别方法及***、存储介质及终端
CN109260673A (zh) 一种运动计数方法、装置、设备及存储介质
CN110163264B (zh) 一种基于机器学习的行走模式识别方法
CN108960430A (zh) 为人体运动活动生成个性化分类器的方法和设备
CN106377892A (zh) 一种基于可穿戴设备的飞镖运动识别及训练的方法和***
CN110532898A (zh) 一种基于智能手机多传感器融合的人体活动识别方法
CN108717548B (zh) 一种面向传感器动态增加的行为识别模型更新方法及***
Li et al. Research on basketball players’ action recognition based on interactive system and machine learning
Wang et al. Motion recognition for smart sports based on wearable inertial sensors

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160713