CN113031775B - 手势数据获取方法、装置、终端及存储介质 - Google Patents

手势数据获取方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN113031775B
CN113031775B CN202110316214.XA CN202110316214A CN113031775B CN 113031775 B CN113031775 B CN 113031775B CN 202110316214 A CN202110316214 A CN 202110316214A CN 113031775 B CN113031775 B CN 113031775B
Authority
CN
China
Prior art keywords
gesture
signal
value
stage
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110316214.XA
Other languages
English (en)
Other versions
CN113031775A (zh
Inventor
陈明
曾理
张晓帆
钟卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110316214.XA priority Critical patent/CN113031775B/zh
Publication of CN113031775A publication Critical patent/CN113031775A/zh
Priority to PCT/CN2022/077603 priority patent/WO2022199312A1/zh
Priority to EP22773974.5A priority patent/EP4270156A4/en
Application granted granted Critical
Publication of CN113031775B publication Critical patent/CN113031775B/zh
Priority to US18/231,965 priority patent/US20230384925A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/448Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4498Finite state machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及计算机技术领域,尤其涉及一种手势数据获取方法、装置、终端及存储介质。其中,一种手势数据获取方法,包括:获取传感器采集的手势信号,获取手势信号对应的特征值;基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中;特征点为特征值在手势数据获取阶段中的特征点;在手势信号集合中,获取手势数据获取阶段的手势起始点和手势终止点之间的所有特征值和所有信号状态,基于所有特征值和所有信号状态生成信号变化信息;当信号变化信息满足信号验证信息时,确定信号变化信息为目标手势的信号数据段。采用本申请可以在提高手势数据获取准确性的同时提高手势数据获取的便利性。

Description

手势数据获取方法、装置、终端及存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种手势数据获取方法、装置、终端及存储介质。
背景技术
随着科学技术的发展,终端的发展也越来越迅速,因此提高用户使用终端的便利性成为用户关注的焦点。其中,手势是一种重要的人机交互方式,手势不仅符合人的交互习惯,还具有简洁、高效、直接的特点。用户通常会在终端中输入不同的手势,终端中的传感器可以采集手势操作过程中的手势数据,从而终端可以对手势进行识别并执行与手势对应的操作。
发明内容
本申请实施例提供了一种手势数据获取方法、装置、终端及存储介质,可以在提高手势数据获取准确性的同时提高手势数据获取的便利性,进而可以提高用户的手势操作体验。本申请实施例的技术方案如下:
第一方面,本申请实施例提供了一种手势数据获取方法,所述方法包括:
获取传感器采集的手势信号,获取所述手势信号对应的特征值;
基于所述特征值获取特征点对应的信号状态,将所述特征值和所述信号状态添加至手势信号集合中;所述特征点为所述特征值在手势数据获取阶段中的特征点;
在所述手势信号集合中,获取所述手势数据获取阶段的手势起始点和手势终止点之间的所有特征值和所有信号状态,基于所述所有特征值和所述所有信号状态生成信号变化信息;
当所述信号变化信息满足信号验证信息时,确定所述信号变化信息为目标手势的信号数据段。
第二方面,本申请实施例提供了一种手势数据获取装置,所述装置包括:
信号获取单元,用于获取传感器采集的手势信号,获取所述手势信号对应的特征值;
信号添加单元,用于基于所述特征值获取特征点对应的信号状态,将所述特征值和所述信号状态添加至手势信号集合中;所述特征点为所述特征值在手势数据获取阶段中的特征点;
信息获取单元,用于在所述手势信号集合中,获取所述手势数据获取阶段的手势起始点和手势终止点之间的所有特征值和所有信号状态,基于所述所有特征值和所述所有信号状态生成信号变化信息;
数据段获取单元,用于当所述信号变化信息满足信号验证信息时,确定所述信号变化信息为目标手势的信号数据段。
第三方面,本申请实施例提供一种终端,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
第四方面,本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括:
在本申请一个或多个实施例中,通过获取传感器采集的手势信号,获取手势信号对应的特征值,并基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中,可以在在手势信号集合中,获取手势数据获取阶段的手势起始点和手势终止点之间的所有特征值和所有信号状态,基于所有特征值和所有信号状态生成信号变化信息,在信号变化信息满足信号验证信息时,确定信号变化信息为目标手势的信号数据段。因此在获取手势数据时,无需人为控制,减少基于仅基于门限阈值获取手势数据不准确的情况,无需对模型手动标注手势数据,仅基于传感器采集的目标手势对应的信号变化信息即可获取目标手势的信号数据段,可以在提高手势数据获取准确性的同时提高手势数据获取的便利性,进而可以提高用户的手势操作体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本申请实施例的一种手势数据获取方法的背景示意图;
图2示出本申请实施例的一种手势数据获取方法的背景示意图;
图3示出本申请实施例提供的一种手势数据获取方法的流程示意图;
图4示出本申请实施例的一种手势数据获取方法的***架构图;
图5示出本申请实施例提供的一种手势数据获取方法的流程示意图;
图6示出本申请实施例的一种手势数据获取方法的场景示意图;
图7示出本申请实施例的一种手势数据获取方法中手势数据的举例示意图;
图8示出本申请实施例的一种手势检测状态的切换示意图;
图9示出本申请实施例提供的一种手势数据获取方法的流程示意图;
图10示出本申请实施例提供的一种手势数据获取装置的结构示意图;
图11示出本申请实施例提供的一种手势数据获取装置的结构示意图;
图12示出本申请实施例提供的一种手势数据获取装置的结构示意图;
图13示出本申请实施例提供的一种手势数据获取装置的结构示意图;
图14示出本申请实施例提供的一种手势数据获取装置的结构示意图;
图15是本申请实施例提供的一种终端的结构示意图;
图16是本申请实施例提供的操作***和用户空间的结构示意图;
图17是图15中安卓操作***的架构图;
图18是图15中IOS操作***的架构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本申请的描述中,需要说明的是,除非另有明确的规定和限定,“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
随着物联网技术的日益成熟,人机交互对于终端之间的交互和控制将尤为重要。手势交互是一种重要的人机交互方式。基于传感器的手势交互中,终端可以通过本身的传感器采集手势操作过程中的手势数据,以便用户可以对终端进行手势控制。手势交互的功耗和成本比较低,不受光照条件的影响,可以适用于不同的终端。基于传感器采集数据的精度以及终端本身的计算能力,可以确定终端对手势识别的准确性。基于传感器的手势交互过程主要包括手势检测与分割、手势识别两个阶段。手势检测和分割主要用于如何将手势操作过程中的完整传感器数据从连续的数据流中分割出来。
进一步,终端可以获取手势数据的方法包括手动控制与分割方法、单门限阈值检测方法、多门限阈值检测方法、基于上升下降沿的检测方法、基于模型的检测方法、以及自下而上检测分割法等。其中,手动控制与分割方式是指通过用户的操作来截取和分割手势数据。例如用户通过按压控件可以实现手势起始点的标记,并且在手势操作前后的预设时长内禁止使用终端。终端可以将手势起止点之间的数据作为手势数据。因此手势控制与分割方式需要人为控制,增加了手势数据获取步骤,降低了用户的手势操作体验。
进一步,图1示出本申请实施例的一种手势数据获取方法的背景示意图。如图1所示,终端可以设置起始阈值和结束阈值,采用单门限阈值检测方法获取手势数据。但是阈值设定过小,终端获取的手势数据中会存在噪声数据,阈值设定过大,不能准确确定手势起止点,使得终端获取到手势数据不准确,降低用户的手势操作体验。
进一步,图2示出本申请实施例的一种手势数据获取方法的背景示意图。如图2所示,终端可以采用多门限阈值检测方法获取手势数据。例如终端可以设置起始阈值、结束阈值、手势数据波峰峰值门限阈值和手势数据波谷门限阈值。其中,起始阈值可以和结束阈值相同,也可以不同。图2所示起始阈值和结束阈值相同。当手势起始缓慢时,终端会将手势起始阶段的数据丢弃,不能准确检测到手势起止点。当手势数据波动较为剧烈时,手势数据会被分割为多段数据,不能准确确定手势终止点,使得手势数据获取不准确,降低用户的手势操作体验。
进一步,终端还可以采用上升下降沿检测方法获取手势数据。例如终端可以计算传感器上升沿发生时刻T1和下降沿发生时刻T2,分别以上升沿发生时刻T1和下降沿发生时刻T2作为手势数据的起止点,终端可以获取到手势数据。但是在手势变化幅度较小时,终端采用上升下降沿检测方法无法获取到手势数据的起止点,使得手势数据获取不准确,降低用户的手势操作体验。
进一步,终端采用模型检测方法获取手势数据时,需要手动标注手势数据,并且该方法的计算量较大,降低手势数据获取的便利性,降低用户的手势操作体验。终端还可以采用自上而下的分割法,通过自上而下对手势数据进行合并,可以获取到手势数据。终端采用自上而下的分割法时,需要获取当前手势操作前后的手势数据,得到手势数据和非手势数据,会增加手势数据获取的步骤,降低手势数据获取的便利性,降低用户的手势操作体验。本申请提供一种手势数据获取方法,可以在提高手势数据获取准确性的同时提高手势数据获取的便利性。
下面结合具体的实施例对本申请进行详细说明。
在一个实施例中,如图3所示,提出了一种手势数据获取方法,该方法可依赖于计算机程序实现,可运行于包括传感器的手势数据获取装置上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。
其中,所述手势数据获取装置可以是具有传感器功能的终端,该终端包括但不限于:可穿戴设备、手持设备、个人电脑、平板电脑、车载设备、智能手机、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中终端设备可以叫做不同的名称,例如:用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant,PDA)、5G网络或未来演进网络中的终端设备等。
具体的,该手势数据获取方法包括:
S101,获取传感器采集的手势信号,获取手势信号对应的特征值;
根据一些实施例,传感器(transducer)是一种检测装置,能感受到被测量的信息,并能将感受到的信息,按一定规律变换成为电信号或其他所需形式的信息输出,以满足信息的传输、处理、存储、显示、记录和控制等要求。终端通常可内置的多种传感器,如陀螺传感器、磁力传感器、加速度传感器、方向传感器、压力传感器、温敏传感器、角速度传感器等。在实际应用中,传感器可以监测终端显示屏上是否存在手势输入。当传感器检测到存在手势输入时,传感器可以采集手势操作过程中的手势信号。
可选的,在实际应用中,手势信号的变化会随着用户输入手势的变化而变化。用户在三维空间执行手势操作的手势可以与终端中预先存储的手势一致,以便终端可以在识别到用户输入的手势时执行相应的操作。终端中存储的手势可以基于终端出厂时设置的,还可以是终端基于用户的手势设置指令设置的,还可以是终端基于用户的手势修改指令进行修改的。
易于理解的是,手势信号是指用户在三维空间中执行空间手势操作时传感器采集到的手势信号,该空间手势是指用为执行手势操作时在三维空间中所执行的手势动作。该手势信号与空间手势相对应。该手势信号并不特指某一固定手势信号。当用户输入的空间手势发生变化时,该手势信号也会相应变化。当传感器的类型发生变化时,该手势信号也会相应变化。
可选的,特征值是指与手势信号对应的特征值。特征值是用于表示手势信号的数值。该特征值与手势信号相对应,因此当手势信号发生变化时,该特征值也会相应变化。
根据一些实施例,当用户执行空间手势操作时,传感器可以采集手势操作过程中的手势信号。其中,传感器采集的手势信号的数量至少一个。图4示出本申请实施例的一种手势数据获取方法的***架构图。如图4所示,终端可以获取传感器采集的手势信号,即终端的处理器可以接收传感器采集的手势信号。当终端获取到传感器采集的手势信号时,终端可以获取该手势信号的特征值。终端例如还可以获取到多个传感器采集的手势信号时,终端可以获取到该手势信号对应的特征值。
S102,基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中;
根据一些实施例,信号状态是指与特征点对应的状态,该信号状态用于表示特征点在手势输入过程中的状态。该信号状态包括但不限于初始状态、手势输入状态、手势状态、手势结束状态、噪声状态、手势结束判定状态等。其中,一个特征点对应一种信号状态。
易于理解的是,特征点为特征值在手势数据获取阶段中的特征点。一个特征值对应一个特征点,该特征点包括但不限于时间点、时刻点等。该特征点可以是基于终端自身的时间记录获取的,还可以是终端基于当前绝对时间确定特征值对应的特征点。
可选的,手势信号集合是指特征值和与特征点对应的信号状态汇总而成的集体。该手势信号集合中包括至少一个特征值和特征点对应的信号状态。该手势信号集合并不特指某一固定集合。当手势信号发生变化时,手势信号的特征值也会相应变化,基于特征值获取到的特征点对应的信号状态也会相应变化,因此手势信号集合也会相应变化。
根据一些实施例,当终端获取到传感器采集的手势信号时,终端可以获取手势信号的特征值。当终端获取到手势信号的特征值时,终端可以获取该特征值对应的特征点。当终端获取到该特征点时,终端可以基于特征值获取该特征点对应的信号状态。终端获取到特征点对应的信号状态时,终端可以将特征值和信号状态添加至手势信号集合中。
S103,在手势信号集合中,获取手势数据获取阶段的手势起始点和手势终止点之间的所有特征值和所有信号状态,基于所有特征值和所有信号状态生成信号变化信息;
根据一些实施例,手势数据获取阶段是指终端获取手势数据的阶段。手势信号集合中包括的特征值和信号状态是与传感器采集到的所有手势信号对应的。由于所有的手势信号并不都是目标手势对应的手势信号,因此终端需要获取手势数据获取阶段的手势起始点和手势终止点。
可选的,手势起始点用于表示手势数据获取阶段的起始点,也就是说手势起始点用于表示手势开始输入的点。该手势起始点基于用户的手势输入操作确定的。终端确定手势起始点可以基于手势信号的特征值和特征阈值之间的大小关系确定。
根据一些实施例,手势终止点用于表示手势数据获取阶段的结束点,也就是说手势结束点用于表示手势结束输入的点。该手势终止点并不特指某一固定结束点,该手势结束点基于用户的手势输入操作确定的。
易于理解的是,信号变化信息用于表示手势数据获取阶段的整体的信号变化信息。该信号变化信息与手势数据获取阶段的手势起始点和手势终止点之间的所有特征值和所有信号状态对应的。该信号变化信息并不特指某一固定信号变化信息。当手势起始点或手势终止点发生变化时,该信号变化信息也会相应变化。
根据一些实施例,当终端获取到传感器采集的手势信号时,终端可以获取手势信号的特征值。当终端获取到手势信号的特征值时,终端可以获取该特征值对应的特征点。当终端获取到该特征点时,终端可以基于特征值获取该特征点对应的信号状态。终端获取到特征点对应的信号状态时,终端可以将特征值和信号状态添加至手势信号集合中。终端可以在手势信号集合中获取手势获取阶段的手势起始点和手势终止点,并获取手势起始点和手势终止点之间的所有特征值和所有信号状态。终端可以基于手势起始点和手势终止点之间的所有特征值和所有信号状态,生成信号变化信息,即终端可以获取到手势数据获取阶段的信号变化信息。
S104,当信号变化信息满足信号验证信息时,确定信号变化信息为目标手势的信号数据段。
根据一些实施例,信号验证信息是指用于验证手势数据获取阶段的信号变化信息是否与目标手势的信号信号状态变化一致。该信号验证信息为终端中存储的用于验证信号变化信息的信息。该信号验证信息可以是终端出厂时设置的,还可以是终端基于用户的设置指令设置的,或者是终端基于服务器推送的更新信息设置的。
可选的,终端基于信号变化信息确定用户输入的空间手势为完整手势时,终端可以确定该完整手势为目标手势。该目标手势例如可以是用户肢体按照移动轨迹在三维空间中所形成的手势动作。目标手势并不特指某一固定手势,该目标手势可以基于用户输入的手势确定。
易于理解的是,信号数据段是指手势数据获取的阶段,该信号数据段包括的手势信号即为目标手势对应的手势信号。
根据一些实施例,当终端获取到手势数据获取阶段的信号状态变化信息时,终端可以检测该信号变化信息是否满足信号验证信息。当终端检测到该信号变化信息满足信号验证信息时,终端可以确定信号变化信息为目标手势的信号数据段,即终端可以确定手势数据获取阶段的手势起始点和手势终止点之间的数据为目标手势对应的手势数据。
在本申请一个或多个实施例中,通过获取传感器采集的手势信号,获取手势信号对应的特征值,并基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中,可以在在手势信号集合中,获取手势数据获取阶段的手势起始点和手势终止点之间的所有特征值和所有信号状态,基于所有特征值和所有信号状态生成信号变化信息,在信号变化信息满足信号验证信息时,确定信号变化信息为目标手势的信号数据段。因此在获取手势数据时,无需人为控制,减少基于仅基于门限阈值获取手势数据不准确的情况,无需对模型手动标注手势数据,仅基于传感器采集的目标手势对应的信号变化信息即可获取目标手势的信号数据段,可以在提高手势数据获取准确性的同时提高手势数据获取的便利性,进而可以提高用户的手势操作体验。另外,本申请实施例的方案计算量小,可以减少手势数据获取时长,提高手势数据的获取效率。
请参见图5,图5示出本申请实施例提供的一种手势数据获取方法的流程示意图。具体的:
S201,获取传感器采集的手势信号,获取手势信号对应的特征值;
具体过程如上所述,此处不再赘述。
根据一些实施例,由于不同用户输入手势的差异,因此终端采集手势之前可以接收用户的频率设置指令。终端可以基于该频率设置指令设置采样频率,可以提高手势数据获取的准确性。该频率设置指令包括但不限于语音频率设置指令、点击频率设置指令、定时频率设置指令等等。该频率设置指令例如可以是语音频率设置指令,该语音频率设置指令例如可以是“将传感器的采样频率设置为100MHz”,则终端可以将传感器的采样频率设置为100MHz,即终端的传感器可以每10ms采集一个手势信号。定时频率设置指令例如可以是设置不同的时间段或者不同的时间点对应不同的频率的指令。
易于理解的是,当终端获取手势信号的特征值时,终端可以获取当前时刻手势信号的特征函数,并基于该特征函数获取到当前时刻的手势信号的特征值。因此终端可以获取到传感器采集的所有手势信号对应的特征值。
可选的,图6示出本申请实施例的一种手势数据获取方法的场景示意图。如图6所示,当传感器检测到用户输入目标手势时,传感器可以采集手势信号。终端可以获取到传感器采集的手势信号。该目标手势为空间手势。
S202,当在噪声阶段中检测到存在第一特征值大于或等于第一阈值时,确定由噪声阶段切换至手势数据获取阶段,并将第一特征值对应的第一特征点确定为手势数据获取阶段的手势起始点;
根据一些实施例,图7示出本申请实施例的一种手势数据获取方法中手势数据的举例示意图。噪声阶段是指仅包括噪声数据的阶段。在噪声阶段,传感器采集得到的手势数据例如可以是终端噪声和环境噪声构成。本步骤的噪声阶段可以是指用户输入手势前,传感器采集到的手势信号对应的特征值中仅存在一个第一特征值大于或者等于第一阈值的阶段。
易于理解的是,当在噪声阶段时,终端可以检测第一特征值是否大于或等于第一阈值。第一特征值是指在噪声阶段终端获取到的传感器采集到的手势信号对应的特征值。该第一特征值并不特指某一固定特征值,该第一特征值可以用于表示在噪声阶段获取到的特征值。第一阈值是指与特征值对应的临界值。该第一阈值并不特指某一固定阈值。例如终端可以基于用户的阈值更改指令更改该第一阈值。该阈值更改指令包括但不限于语音阈值更改指令、点击阈值更改指令和定时阈值更改指令等。该阈值更改指令例如可以是用户基于历史手势数据获取结果确定的。例如,当用户基于历史手势数据结果确定第一阈值较大时,用户可以输入“将第一阈值调小至第三阈值”的语音阈值更改指令。终端可以基于该语音阈值更改指令更改第一阈值。其中,第三阈值小于第一阈值。
根据一些实施例,当终端在噪声阶段检测到存在第一特征值大于或者等于第一阈值时,终端可以确定由噪声阶段切换至手势数据获取阶段。终端可以将该第一特征值对应的第一特征点确定为手势数据获取阶段的手势起始点。
易于理解的是,第一阈值例如可以是a阈值。当在噪声阶段终端检测到存在A特征值大于a阈值时,终端可以确定由噪声阶段切换至手势数据获取阶段。终端可以将A特征值对应的A1特征点确定为手势数据获取阶段的手势起始点。
根据一些实施例,当终端在初始阶段检测到存在特征值大于或者等于第一阈值时,终端也可以由初始阶段切换至手势数据获取阶段。初始阶段是指未获取到手势信号的阶段。
根据一些实施例,手势数据获取阶段包括手势起始阶段、手势阶段和手势结束阶段,手势起始点为手势起始阶段的起始点,手势终止点为手势结束阶段的终止点。手势起始阶段用于表示目标手势的起始输入阶段,手势阶段用于表示目标手势的输入阶段,手势结束阶段用于表示目标手势的结束输入阶段。终端中存储的信号验证信息例如可以是由手势起始阶段切换至手势阶段,再由手势阶段切换至手势结束阶段的信息。
易于理解的是,手势起始阶段例如可以是指特征值大于第一阈值,且小于第二阈值的信号数据段。手势阶段例如可以是指特征值在第二阈值上下剧烈波动的信号数据段。手势结束阶段例如可以是指在手势阶段之后,特征值大于第一阈值,且小于第二阈值的信号数据段。需要说明的是,手势数据获取阶段中的任一阶段并不仅仅包括上述限定的特征值,在特征值不满足当前阶段的特征值要求时,终端需要对该特征值进行检测。例如,在手势起始阶段V特征值小于第一阈值时,终端例如可以检测在V1特征点后的预设时长内是否存在X特征值大于第一阈值。若终端检测到存在X特征值大于第一阈值时,终端可以确定V特征值属于手势起始阶段,终端可以将V特征值和V1特征点对应的信号状态添加至手势信号集合。若终端检测到不存在X特征值大于第一阈值时,终端可以确定V特征值不属于手势起始阶段,终端可以清除手势数据集合中的特征值和信号状态。
根据一些实施例,噪声阶段切换至手势数据获取阶段时,当终端在噪声阶段中检测到存在第一特征值大于或等于第一阈值时,可以确定由噪声阶段切换至手势起始阶段,并将第一特征值对应的第一特征点确定为手势起始阶段的起始点。该手势起始阶段的起始点即为手势数据获取阶段的手势起始点。
易于理解的是,第一阈值例如可以是a阈值。当在噪声阶段终端检测到存在A特征值大于a阈值时,终端可以确定由噪声阶段切换至手势起始阶段。终端可以将A特征值对应的A1特征点确定为手势起始阶段的起始点。
根据一些实施例,当在手势起始阶段时,终端可以检测是否存在第四特征值大于或者等于第二阈值。其中,第二阈值大于第一阈值,第一阈值用于检测手势数据获取阶段的起止点,第二阈值用于检测是否有与目标手势对应的手势动作的发生。第二阈值并不特指某一固定阈值。该第二阈值例如可以是基于用户的阈值设置指令变化。当在手势起始阶段中检测到存在第四特征值大于或等于第二阈值时,终端可以确定由手势起始阶段切换至手势阶段,并将第四特征值对应的第四特征点确定为手势阶段的起始点。其中,手势阶段的起始点为手势起始阶段的终止点。第四特征点例如可以是目标手势对应的手势信号采集时,终端基于特征值确定的第一个大于或者等于第二阈值的特征值对应的特征点。
易于理解的是,第二阈值例如可以是b阈值。当在手势起始阶段,且终端检测第四特征值S特征值大于b阈值时,终端可以将手势起始阶段切换至手势阶段,终端可以将S特征值对应的S1特征点设置为手势阶段的起始点,S1特征点还是手势起始阶段的终止点。
S203,当在手势数据获取阶段中检测到持续存在第二特征值小于第一阈值时,确定由手势数据获取阶段切换至噪声阶段,将第三特征值对应的第三特征点确定为手势数据获取阶段的手势终止点;
根据一些实施例,第二特征值是指手势数据获取阶段中持续小于第一阈值的特征值,该第二特征值并不特指某一固定特征值,该第二特征值例如可以包括多个特征值。第三特征值为第二特征值对应的第二特征点之前最后一个大于或等于第一阈值的特征值。该第三特征值并不特指某一固定特征值。例如当用户输入的目标手势发生变化时,该第三特征值也会相应变化。
易于理解的是,当在手势数据获取阶段时,终端可以检测是否持续存在第二特征值小于第一阈值。当终端检测到持续存在第二特征值小于第一阈值时,终端可以确定由手势数据获取阶段切换至噪声阶段。终端可以将第三特征点确定为手势数据获取阶段的手势终止点。其中,第三特征点为第二特征值对应的第二特征点之前,最后一个大于或等于第一阈值的特征值对应的特征点。终端检测是否持续存在第二特征值小于第一阈值,可以减少直接基于门限阈值确定手势终止点不准确的情况,可以提高手势起止点确定的准确性,可以提高手势数据获取的准确性。另外,终端确定手势起止点时无需手动标注,无需人工操作步骤,可以减少手势数据获取步骤,可以提高手势数据获取的便利性。
可选的,第一阈值例如可以是a阈值。在噪声阶段切换至手势数据获取阶段之后,当终端检测到持续存在B特征值小于a阈值时,终端可以确定由手势数据获取阶段切换至噪声阶段。终端可以将W特征值对应的W1特征点确定为手势数据获取阶段的手势终止点。其中,W特征值例如可以为B特征值对应的B1特征点之前最后一个大于a阈值的特征值。
根据一些实施例,当终端由噪声阶段切换至手势数据获取阶段时,终端可以由噪声阶段切换至手势起始阶段。当在手势起始阶段中检测到存在第四特征值大于或等于第二阈值时,终端可以确定由手势起始阶段切换至手势阶段。当在手势阶段中检测到持续存在第六特征值小于第二阈值时,终端确定由手势阶段切换至手势结束阶段,将第五特征值对应的第五特征点确定为手势阶段的终止点。其中,该手势阶段的终止点为手势结束阶段的起始点,第二阈值大于第一阈值。其中,第五特征点为第五特征值对应的特征点,第五特征值为第六特征值对应的第六特征点之前,最后一个大于或等于第二阈值的特征值,即第五特征点为第六特征值对应的第六特征点之前,最后一个大于或等于第二阈值的特征值对应的特征点。
易于理解的是,第二阈值例如可以是b阈值。当在手势起始阶段,且终端检测第四特征值S特征值大于b阈值时,终端可以将手势起始阶段切换至手势阶段。在手势阶段,当终端检测到F特征值持续小于b阈值时,终端可以将手势阶段切换至手势结束阶段。终端可以将E特征值对应的E1特征点确定为手势阶段的终止点。其中,E特征值例如可以为F特征值对应的F1特征点之前最后一个大于b阈值的特征值。
根据一些实施例,当在手势阶段中检测到持续存在第六特征值小于第二阈值时,终端确定由手势阶段切换至手势结束阶段。当在手势结束阶段中检测到持续存在第二特征值小于第一阈值时,终端确定由手势结束阶段切换至噪声阶段,即终端确定由手势数据获取阶段切换至噪声阶段。此时,终端可以将第三特征值对应的第三特征点确定为手势结束阶段的终止点,第三特征点为第二特征值对应的第二特征点之前,最后一个大于或等于第一阈值的特征值对应的特征点。其中,第二特征值所在阶段可以为手势结束状态判定阶段。手势结束状态判定阶段可以是噪声阶段的部分阶段。
S204,基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中;
具体过程如上所述,此处不再赘述。
根据一些实施例,在手势数据获取阶段中任一阶段,终端可以基于特征值获取特征点对应的信号状态,并将特征值和信号状态添加至手势信号集合中,减少基于多门限阈值检测方法对手势数据进行丢弃的情况,可以提高手势数据获取的准确性。
可选的,当终端基于特征值获取到特征点对应的信号状态时,终端可以仅对特征点对应的信号状态进行设置,终端还可以基于相邻两个特征点的信号状态对信号状态进行切换。图8示出本申请实施例的一种手势检测状态的切换示意图。如图8所示,状态0表示初始状态,未检测到手势动作,状态1表示检测到手势起始段数据;状态2表示检测到手势段数据;状态3表示检测到手势结束段数据;状态4表示检测到手势结束状态判定段数据;状态5表示检测到噪声段数据;状态6表示进入检测冻结状态;εlower表示第一阈值;εupper表示第二阈值;Lstable表示手势结束状态判定段数据的持续时长,Lmax_buf表示手势结束段数据的持续时长,Lfreeze表示检测冻结状态的持续时长;Lstart表示起始点对应的起始点调整值;x表示特征值。
根据一些实施例,终端可以基于相邻两个特征点的信号状态对信号状态进行切换。例如O特征点和P特征点为相邻的两个特征点。O特征点对应的信号状态例如可以是手势起始状态。P特征点对应的信号状态例如可以是噪声状态,因此当终端确定P特征点的信号状态时,可以将信号状态由手势起始状态切换为噪声状态。因此在手势数据获取阶段的任一阶段中可以包括至少一中信号状态。
易于理解的是,在处于手势起始阶段中,当终端检测到第一特征值小于第一阈值时,终端将第一特征点对应的信号状态设置为噪声状态。在处于手势起始阶段中,当检测到第一特征值大于或等于第一阈值,且小于第二阈值时,终端将第一特征点对应的信号状态设置为手势起始状态。在处于手势起始阶段中,当检测到第一特征值大于或等于第二阈值时,终端将第一特征点对应的信号状态设置为手势状态,该第一特征值对应的第一特征点即为手势阶段的起始点。当终端获取到手势起始阶段的第一特征点对应的信号状态时,终端可以将第一特征值和第一特征点对应的信号状态添加至手势信号集合中。
可选的,第一阈值例如可以是a阈值。第二阈值例如可以是b阈值。当处于手势起始阶段中,终端检测到第一特征值A特征值小于a阈值时,终端可以将A1特征点对应的信号状态设置为噪声状态,并将A特征值和A1特征点对应的噪声状态添加至手势信号集合中。当处于手势起始阶段中,终端检测到第一特征值A特征值大于a阈值且小于b阈值时,终端可以将A1特征点对应的信号状态设置为手势起始状态,并将A特征值和A1特征点对应的手势起始状态状态添加至手势信号集合中。当处于手势起始阶段中,终端检测到第一特征值A特征值大于b阈值时,终端可以将A1特征点对应的信号状态设置为手势状态,并将A特征值和A1特征点对应的手势状态添加至手势信号集合中。
易于理解的是,在处于手势阶段中,当检测到第三特征值小于第一阈值时,终端可以将第三特征点对应的信号状态设置为噪声状态。在处于手势阶段中,当检测到第三特征值大于或等于第一阈值,且小于第二阈值时,终端可以将第三特征点对应的信号状态设置为手势结束状态。在处于手势阶段中,当检测到第三特征值大于或等于第二阈值时,终端可以将第三特征点对应的信号状态设置为手势状态。当终端获取到手势阶段的第三特征点对应的信号状态时,终端可以将第三特征值和第三特征点对应的信号状态添加至手势信号集合中。
可选的,第一阈值例如可以是a阈值。第二阈值例如可以是b阈值。当处于手势阶段中,终端检测到第三特征值W特征值小于a阈值时,终端可以将W1特征点对应的信号状态设置为噪声状态,并将W特征值和W1特征点对应的噪声状态添加至手势信号集合中。当处于手势阶段中,终端检测到第三特征值W特征值大于a阈值且小于b阈值时,终端可以将W1特征点对应的信号状态设置为手势结束状态,并将W特征值和W1特征点对应的手势起始状态状态添加至手势信号集合中。当处于手势阶段中,终端检测到第三特征值A特征值大于b阈值时,终端可以将W1特征点对应的信号状态设置为手势状态,并将W特征值和W1特征点对应的手势状态添加至手势信号集合中。
易于理解的是,在处于手势结束阶段中,当检测到第六特征值小于第一阈值时,终端可以将第六特征点对应的信号状态设置为噪声状态。在处于手势结束阶段中,当检测到第六特征值大于或等于第一阈值,且小于第二阈值时,终端可以将第六特征点对应的信号状态设置为手势结束状态。在处于手势结束阶段中,当检测到第六特征值大于或等于第二阈值时,终端可以将第六特征点对应的信号状态设置为手势状态,该第六特征值对应的第六特征点即为手势结束阶段的起始点。当终端获取到手势结束阶段的第六特征点对应的信号状态时,终端可以将第六特征值和第六特征点对应的信号状态添加至手势信号集合中。
可选的,第一阈值例如可以是a阈值。第二阈值例如可以是b阈值。当处于手势结束阶段中,终端检测到第六特征值F特征值小于a阈值时,终端可以将F1特征点对应的信号状态设置为噪声状态,并将F特征值和F1特征点对应的噪声状态添加至手势信号集合中。当处于手势结束阶段中,终端检测到第六特征值F特征值大于a阈值且小于b阈值时,终端可以将F1特征点对应的信号状态设置为手势结束状态,并将F特征值和F1特征点对应的手势结束状态添加至手势信号集合中。当处于手势结束阶段中,终端检测到第六特征值A特征值大于b阈值时,终端可以将F1特征点对应的信号状态设置为手势状态,并将F特征值和F1特征点对应的手势状态添加至手势信号集合中。
S205,获取手势数据获取阶段中任一阶段的异常信号状态和正常信号状态;
根据一些实施例,异常信号状态并不特指某一固定信号状态,该异常信号状态为与任一阶段不对应的信号状态,正常信号状态则为与任一阶段对应的信号状态。例如当手势数据获取阶段中任一阶段为手势起始阶段时,手势起始阶段的异常信号状态即为信号状态不为手势起始状态的信号状态,手势起始阶段的正常信号状态即为信号状态为手势起始状态的信号状态。
易于理解的是,当终端基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中之后,终端可以获取手势数据获取阶段中任一阶段的异常信号状态和正常信号状态。
可选的,当终端基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中之后,终端例如可以获取手势起始阶段的异常信号状态噪声状态和正常信号状态手势起始状态。
S206,在异常信号状态的持续时长大于第一时长,或正常信号状态的持续时长大于第二时长时,清除手势信号集合中的所有特征值和所有信号状态;
根据一些实施例,当终端获取到手势数据获取阶段中任一阶段的异常信号状态和正常信号状态时,终端可以获取异常信号状态的持续时长和正常信号状态的持续时长。当终端确定异常信号状态的持续时长大于第一时长,或正常信号状态的持续时长大于第二时长时,终端可以清除手势信号集合中的所有特征值和所有信号状态。终端对手势数据获取阶段中任一阶段的异常信号状态和正常信号状态的持续时长的检测,可以在确定手势数据异常时无需对手势数据进行分割,可以提高手势数据获取的准确性。
易于理解的是,第一时长是与异常信号状态的持续时长对应的时长。第二时长是与正常信号状态的持续时长对应的时长。第一时长和第二时长并不特指某一固定时长,该第一时长和第二时长例如可以基于用户的时长设置指令进行设置。
可选的,各个阶段中第一时长和第二时长的取值可以不一样。例如,手势起始阶段中第一时长可以是0.2秒,手势阶段中第一时长例如可以是0.6秒,手势结束阶段中第一时长例如可以是0.3秒。
根据一些实施例,手势起始阶段中第一时长可以是0.2秒,第二时长例如可以是0.5秒。当终端基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中之后,终端例如可以获取手势起始阶段的异常信号状态噪声状态和正常信号状态手势起始状态。当终端获取到手势起始阶段的异常信号状态噪声状态和正常信号状态手势起始状态时,终端可以获取噪声状态的持续时长和正常信号状态的持续时长。终端获取到噪声状态的持续时长例如可以是0.3秒和正常信号状态的持续时长例如可以是0.4秒。当终端确定异常信号状态的持续时长大于第一时长0.2秒时,终端可以清除手势信号集合中的所有特征值和所有信号状态。
易于理解的是,当终端获取手势信号,且确定手势数据获取阶段中任一阶段的特征点对应的信号状态为异常信号状态时,终端可以直接对该异常信号状态进行计时,即可以获取该异常信号状态的持续时长。在异常信号状态的持续时长大于第一时长,终端可以清除手势信号集合中的所有特征值和所有信号状态;
S207,当信号变化信息满足信号验证信息时,确定信号变化信息为目标手势的信号数据段;
具体过程如上所述,此处不再赘述。
根据一些实施例,由于实际应用中的手势起始点会比传感器采集到的手势信号早一点,因此终端对手势起始点进行调整,可以提高手势数据获取的准确性。当信号变化信息满足信号验证信息时,终端可以获取手势起始点对应的起始点调整值。当终端获取到手势起始点对应的起始点调整值时,终端可以基于起始点调整值,对手势起始点进行调整,得到调整后的手势起始点。终端可以将调整后的手势起始点和手势终止点之间的状态变化信息确定为目标手势的信号数据段。
易于理解的是,手势起始点对应的起始点调整值可以基于用户的调整指令进行设置。例如,在终端确定上一个目标手势的识别准确度低于预设准确度时,终端可以基于用户的调整指令对起始点调整值进行调整。
根据一些实施例,手势起始点例如可以是第3秒,手势终止点例如可以是第4秒。例如当信号变化信息满足由手势起始阶段切换至手势阶段,再由手势阶段切换至手势结束阶段的信息时,终端可以获取手势起始点对应的起始点调整值例如可以是0.08秒。当终端获取到手势起始点对应的起始点调整值时,终端可以基于起始点调整值,对手势起始点进行调整,得到调整后的手势起始点为第2.92秒。终端可以将调整后的手势起始点第2.92秒和手势终止点第4秒之间的状态变化信息确定为目标手势的信号数据段。
根据一些实施例,当信号变化信息满足信号验证信息时,终端还可以对手势终止点进行调整,以便提高手势数据获取的准确性。
在本申请一个或多个实施例中,获取传感器采集的手势信号,获取手势信号对应的特征值,可以在噪声阶段中检测到存在第一特征值大于或等于第一阈值时,确定由噪声阶段切换至手势数据获取阶段,并将第一特征点确定为手势数据获取阶段的起始点,当在手势数据获取阶段中检测到持续存在第二特征值小于第一阈值时,确定由手势数据获取阶段切换至噪声阶段,将第三特征值对应的第三特征点确定为手势数据获取阶段的手势终止点,可以减少直接基于门限阈值确定手势终止点不准确的情况,可以提高手势起止点确定的准确性,可以提高手势数据获取的准确性。另外,终端确定手势起止点时无需手动标注,无需人工操作步骤,可以减少手势数据获取步骤,可以提高手势数据获取的便利性。其次,基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中时,可以对手势数据获取阶段中任一阶段中的特征点的信号状态进行设置,可以减少直接基于门限阈值导致手势数据不完整的情况,可以提高手势数据获取的准确性。另外,终端对手势数据获取阶段中任一阶段的异常信号状态和正常信号状态的持续时长的检测,可以在确定手势数据异常时无需对手势数据进行分割,可以提高手势数据获取的准确性。最后,当信号变化信息满足信号验证信息时,确定信号变化信息为目标手势的信号数据段,可以减少仅基于门限阈值获取手势数据不准确的情况,可以提高手势数据获取的准确性。
请参见图9,图9示出本申请实施例提供的一种手势数据获取方法的流程示意图。具体的:
S301,获取至少一个传感器采集的手势信号;
根据一些实施例,终端中设置的传感器可以是至少一个。其中,至少一个传感器可以是同一类型的传感器,还可以是不同类型的传感器。例如至少一个传感器可以是不同生产商生产的压力传感器。
根据一些实施例,终端的传感器检测到存在空间手势输入时,至少一个传感器可以采集手势信号。终端可以获取至少一个传感器采集的手势信号。具体可以是,至少一个传感器可以将采集的手势信号输出至终端的处理器。终端的处理器可以获取至少一个传感器采集的手势信号。
可选的,终端中的至少一个传感器为T传感器、Y传感器和U传感器时,终端可以获取i传感器、y传感器和u传感器采集的手势信号。终端获取到i传感器在t时刻采集到的手势数据例如可以是公式(1)。
Figure BDA0002991349230000111
其中,Di表示i传感器的数据维度;di(t)为i传感器在t时刻采集到的手势数据。
S302,对至少一个传感器采集的手势信号进行拼接,得到拼接手势信号;
根据一些实施例,终端获取到至少一个传感器采集的手势信号时,终端可以对至少一个传感器采集的手势信号进行拼接,得到拼接手势信号。
易于理解的是,当终端获取到t时刻至少一个传感器采集的手势信号时,对至少一个传感器采集的手势信号进行拼接,得到t时刻的拼接手势信号,即t时刻的拼接手势信号为公式(2)。
Figure BDA0002991349230000112
其中,C表示传感器的个数。
S303,基于平滑窗口的窗口尺寸和平滑窗口对应的权重系数,对拼接手势信号进行平滑滤波处理,得到拼接手势信号对应的特征值;
根据一些实施例,当终端对至少一个传感器采集的手势信号进行拼接,终端可以得到拼接手势信号。基于平滑窗口的窗口尺寸和平滑窗口对应的权重系数,终端可以对拼接手势信号进行平滑滤波处理,终端可以得到拼接手势信号对应的特征值。
易于理解的是,终端可以获取t时刻手势信号的特征,终端可以获取到t时刻手势信号的特征f(t)定义为公式(3)。
Figure BDA0002991349230000121
可选的,终端对f(t)的平滑滤波可以定义为公式(4)。
Figure BDA0002991349230000122
Figure BDA0002991349230000123
其中,L为平滑窗口大小,w为平滑窗口对应权重。
根据一些实施例,终端对拼接手势信号进行平滑滤波处理,可以得到拼接手势信号对应的特征值。
易于理解的是,终端获取手势信号对应的特征值时,终端还可以基于信号能量、信号幅度、信号过零率、信号相关系数计算得到特征值。其中,终端可以对信号能量、信号幅度、信号过零率、信号相关系数进行平滑滤波得到手势信号对应的特征值。
其中,手势信号的能量定义为公式(5)。
Figure BDA0002991349230000124
其中,di(t)表示t时刻手势数据d(t)的第i维数据,D表示手势数据维度。
手势信号幅度定义为公式(6)。
Figure BDA0002991349230000125
手势信号过零率定义为公式(7)。
Figure BDA0002991349230000126
其中,N表示过零率统计数据长度。
手势信号相关系数定义为公式(8)。
Figure BDA0002991349230000127
其中,N表示相关系数统计计算数据长度,k表示数据延迟长度,<·>表示点积。
S304,基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中;
具体过程如上所述,此处不再赘述。
S305,在手势信号集合中,获取手势数据获取阶段的手势起始点和手势终止点之间的所有特征值和所有信号状态,基于所有特征值和所有信号状态生成信号变化信息;
具体过程如上所述,此处不再赘述。
S306,当信号变化信息满足信号验证信息时,确定信号变化信息为目标手势的信号数据段;
具体过程如上所述,此处不再赘述。
根据一些实施例,信号变化信息包括信号变化趋势和信号数据段长度。当终端在手势信号集合中获取手势数据获取阶段的手势起始点和手势终止点之间的所有特征值和所有信号状态时,终端可以基于所有特征值和所有信号状态生成信号变化信息。终端获取到的信号变化信息例如可以包括信号变化趋势和信号数据段长度。当终端确定信号变化趋势满足信号验证趋势,且信号数据段长度满足数据验证长度时,确定信号变化信息为目标手势的信号数据段。终端对信号数据段长度的检测可以减少数据段长度不符合数据验证长度的情况,减少手势数据获取不准确的情况,可以提高手势数据获取的准确性。
易于理解的是,数据验证长度例如可以是0.9秒到1.1秒。当终端获取到的信号数据段长度为1秒时,终端确定信号变化趋势满足信号验证趋势,且信号数据段长度1秒满足数据验证长度0.9秒到1.1秒时,终端确定信号变化信息为目标手势的信号数据段。
S307,将手势数据获取阶段切换为检测冻结阶段;
根据一些实施例,当信号变化信息满足信号验证信息时,终端可以确定信号变化信息为目标手势的信号数据段。当终端确定信号变化信息为目标手势的信号数据段时,终端可以从手势信号集合将目标手势对应的手势数据分割出来,终端可以将手势数据获取阶段切换为检测冻结阶段。检测冻结阶段是为了过滤手势结束后,由于手动的抖动引起的手势信号波动。在一些情况下,在手势输入结束后,由于手部的抖动,传感器会采集到手势信号,终端会基于该手势信号将手部的抖动确定为一个新的目标手势。在实际应用中,每一个目标手势结束后,会有一个短暂的停顿,终端不会立刻执行新的手势动作。因此终端将手势数据获取阶段切换为检测冻结阶段,可以过滤掉手势结束阶段的噪声数据,提高手势数据获取的准确性。
S308,当检测冻结阶段的持续时长达到第三时长时,解除检测冻结阶段。
根据一些实施例,当终端将手势数据获取阶段切换至检测冻结阶段时,终端可以获取检测冻结阶段的持续时长。当终端检测到检测冻结阶段的持续时长达到第三时长时,终端可以解除检测冻结阶段,可以减少检测冻结状态持续时长过长导致下一个手势数据获取不准确的情况,可以提高手势数据获取的准确性。其中,第三时长是指与检测冻结阶段的持续时长对应的时长。该第三时长并不特指某一固定时长,该第三时长可以基于用户的时长设置指令确定。
易于理解的是,第三时长例如可以是0.5秒。当终端将手势数据获取阶段切换至检测冻结阶段时,终端可以获取检测冻结阶段的持续时长。终端获取到的检测冻结阶段的持续。当终端检测到检测冻结阶段的持续时长达到0.5秒时,终端可以解除检测冻结状态。
可选的,当终端将手势数据获取阶段切换至检测冻结阶段时,终端可以开始对检测冻结阶段进行计时。当终端对检测冻结阶段的计时时长达到第三时长时,终端可以直接解除检测冻结状态。
在本申请一个或多个实施例中,获取至少一个传感器采集的手势信号,对至少一个传感器采集的手势信号进行拼接,得到拼接手势信号,基于平滑窗口的窗口尺寸和平滑窗口对应的权重系数,对拼接手势信号进行平滑滤波处理,得到拼接手势信号对应的特征值,可以减少噪声数据导致特征值获取不准确的情况,可以提高特征值获取的准确性,可以提高手势数据获取的准确性。其次,当信号变化信息满足信号验证信息时,确定信号变化信息为目标手势的信号数据段之后,将手势数据获取阶段切换为检测冻结阶段,当检测冻结阶段的持续时长大于第三时长时,解除检测冻结阶段,可以过滤掉手势结束阶段的噪声数据,减少传感器本身波动和环境噪声对手势数据的影响,可以提高手势数据获取的准确性。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参见图10,其示出了本申请一个示例性实施例提供的手势数据获取装置的结构示意图。该手势数据获取装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该手势数据获取装置1000包括信号获取单元1001、信号添加单元1002、信息获取单元1003和数据段获取单元1004,其中:
信号获取单元1001,用于获取传感器采集的手势信号,获取手势信号对应的特征值;
信号添加单元1002,用于基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中;特征点为特征值在手势数据获取阶段中的特征点;
信息获取单元1003,用于在手势信号集合中,获取手势数据获取阶段的手势起始点和手势终止点之间的所有特征值和所有信号状态,基于所有特征值和所有信号状态生成信号变化信息;
数据段获取单元1004,用于当信号变化信息满足信号验证信息时,确定信号变化信息为目标手势的信号数据段。
根据一些实施例,图11示出本申请实施例的一种手势数据获取装置的结构示意图。如图11所示,该手势数据获取装置1000还包括阶段切换单元1005,用于基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中之前,当在噪声阶段中检测到存在第一特征值大于或等于第一阈值时,确定由噪声阶段切换至手势数据获取阶段,并将第一特征值对应的第一特征点确定为手势数据获取阶段的手势起始点;
当在手势数据获取阶段中检测到持续存在第二特征值小于第一阈值时,确定由手势数据获取阶段切换至噪声阶段,将第三特征值对应的第三特征点确定为手势数据获取阶段的手势终止点,第三特征点为第二特征值对应的第二特征点之前,最后一个大于或等于第一阈值的特征值对应的特征点。
根据一些实施例,手势数据获取阶段包括手势起始阶段、手势阶段和手势结束阶段,手势起始点为手势起始阶段的起始点,手势终止点为手势结束阶段的终止点。
根据一些实施例,阶段切换单元1005,用于当在噪声阶段中检测到存在第一特征值大于或等于第一阈值时,确定由噪声阶段切换至手势数据获取阶段,并将第一特征值对应的第一特征点确定为手势数据获取阶段的手势起始点时,具体用于:
当在噪声阶段中检测到存在第一特征值大于或等于第一阈值时,确定由噪声阶段切换至手势起始阶段,并将第一特征值对应的第一特征点确定为手势起始阶段的起始点;
当在手势起始阶段中检测到存在第四特征值大于或等于第二阈值时,确定由手势起始阶段切换至手势阶段,并将第四特征值对应的第四特征点确定为手势阶段的起始点;
其中,手势阶段的起始点为手势起始阶段的终止点,第二阈值大于第一阈值。
根据一些实施例,阶段切换单元1005,用于当在手势数据获取阶段中检测到持续存在第二特征值小于第一阈值时,确定由手势数据获取阶段切换至噪声阶段,将第三特征值对应的第三特征点确定为手势数据获取阶段的手势终止点时,具体用于:
当在手势阶段中检测到持续存在第六特征值小于第二阈值时,确定由手势阶段切换至手势结束阶段,将第五特征值对应的第五特征点确定为手势阶段的终止点,第五特征点为第六特征值对应的第六特征点之前,最后一个大于或等于第二阈值的特征值对应的特征点;
当在手势结束阶段中检测到持续存在第二特征值小于第一阈值时,确定由手势结束阶段切换至噪声阶段,将第三特征值对应的第三特征点确定为手势结束阶段的终止点,第三特征点为第二特征值对应的第二特征点之前,最后一个大于或等于第一阈值的特征值对应的特征点;
其中,手势阶段的终止点为手势结束阶段的起始点,第二阈值大于第一阈值。
根据一些实施例,阶段切换单元1005,用于基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中时,具体用于:
在处于手势起始阶段中,当检测到第一特征值小于第一阈值时,将第一特征点对应的信号状态设置为噪声状态;
当检测到第一特征值大于或等于第一阈值,且小于第二阈值时,将第一特征点对应的信号状态设置为手势起始状态;
当检测到第一特征值大于或等于第二阈值时,将第一特征点对应的信号状态设置为手势状态。
根据一些实施例,信号添加单元1002,用于基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中时,具体用于:
在处于手势阶段中,当检测到第三特征值小于第一阈值时,将第三特征点对应的信号状态设置为噪声状态;
当检测到第三特征值大于或等于第一阈值,且小于第二阈值时,将第三特征点对应的信号状态设置为手势结束状态;
当检测到第三特征值大于或等于第二阈值时,将第三特征点对应的信号状态设置为手势状态。
根据一些实施例,信号添加单元1002,用于基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中时,具体用于:
在处于手势结束阶段中,当检测到第六特征值小于第一阈值时,将第六特征点对应的信号状态设置为噪声状态;
当检测到第六特征值大于或等于第一阈值,且小于第二阈值时,将第六特征点对应的信号状态设置为手势结束状态;
当检测到第六特征值大于或等于第二阈值时,将第六特征点对应的信号状态设置为手势状态。
根据一些实施例,该手势数据获取装置还包括信号清除单元,用于基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中之后,获取手势数据获取阶段中任一阶段的异常信号状态和正常信号状态;
在异常信号状态的持续时长大于第一时长,或正常信号状态的持续时长大于第二时长时,清除手势信号集合中的所有特征值和所有信号状态。
根据一些实施例,图12示出本申请实施例的一种手势数据获取装置的结构示意图。如图12所示数据段获取单元1004还包括调整值获取子单元1014、起始点调整子单元1024和数据段获取子单元1034,数据段获取单元1004用于当信号变化信息满足信号验证信息时,确定信号变化信息为目标手势的信号数据段时:
调整值获取子单元1014,用于当信号变化信息满足信号验证信息时,获取手势起始点对应的起始点调整值;
起始点调整子单元1024,用于基于起始点调整值,对手势起始点进行调整,得到调整后的手势起始点;
数据段获取子单元1034,用于将调整后的手势起始点和手势终止点之间的状态变化信息确定为目标手势的信号数据段。
根据一些实施例,图13示出本申请实施例的一种手势数据获取装置的结构示意图。如图13所示,信号获取单元1001包括信号获取子单元1011、信号拼接子单元1021和特征值获取子单元1031,信号获取单元用于获取传感器采集的手势信号,获取手势信号对应的特征值,包括:
信号获取子单元1011,用于获取至少一个传感器采集的手势信号;
信号拼接子单元1021,用于对至少一个传感器采集的手势信号进行拼接,得到拼接手势信号;
特征值获取子单元1031,用于基于平滑窗口的窗口尺寸和平滑窗口对应的权重系数,对拼接手势信号进行平滑滤波处理,得到拼接手势信号对应的特征值。
根据一些实施例,数据段获取单元1004,用于信号变化信息包括信号变化趋势和信号数据段长度;当信号变化信息满足信号验证信息时,确定信号变化信息为目标手势的信号数据段时,具体用于:
当信号变化趋势满足信号验证趋势,且信号数据段长度满足数据验证长度时,确定信号变化信息为目标手势的信号数据段。
根据一些实施例,根据一些实施例,图14示出本申请实施例的一种手势数据获取装置的结构示意图。如图14所示,该手势数据获取装置1000还包括阶段解除单元1006,用于当信号变化信息满足信号验证信息时,确定信号变化信息为目标手势的信号数据段之后,将手势数据获取阶段切换为检测冻结阶段;
当检测冻结阶段的持续时长达到第三时长时,解除检测冻结阶段。
需要说明的是,上述实施例提供的手势数据获取装置在执行手势数据获取方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的手势数据获取装置与手势数据获取方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请实施例中,通过获取传感器采集的手势信号,获取手势信号对应的特征值,并基于特征值获取特征点对应的信号状态,将特征值和信号状态添加至手势信号集合中,可以在在手势信号集合中,获取手势数据获取阶段的手势起始点和手势终止点之间的所有特征值和所有信号状态,基于所有特征值和所有信号状态生成信号变化信息,在信号变化信息满足信号验证信息时,确定信号变化信息为目标手势的信号数据段。因此在获取手势数据时,无需人为控制,减少基于仅基于门限阈值获取手势数据不准确的情况,无需对模型手动标注手势数据,仅基于传感器采集的目标手势对应的信号变化信息即可获取目标手势的信号数据段,可以在提高手势数据获取准确性的同时提高手势数据获取的便利性,进而可以提高用户的手势操作体验。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图3-图9所示实施例的所述手势数据获取方法,具体执行过程可以参见图3-图9所示实施例的具体说明,在此不进行赘述。
本申请还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,所述至少一条指令由所述处理器加载并执行如上述图3-图9所示实施例的所述手势数据获取方法,具体执行过程可以参见图3-图9所示实施例的具体说明,在此不进行赘述。
请参考图15,其示出了本申请一个示例性实施例提供的终端的结构方框图。本申请中的终端可以包括一个或多个如下部件:处理器110、存储器120、输入装置130、输出装置140和总线150。处理器110、存储器120、输入装置130和输出装置140之间可以通过总线150连接。所述处理器加载并执行如上述图3-图9所示实施例的所述手势数据获取方法,具体执行过程可以参见图3-图9所示实施例的具体说明,在此不进行赘述。
处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个终端内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行终端100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(digital signal processing,DSP)、现场可编程门阵列(field-programmable gate array,FPGA)、可编程逻辑阵列(programmable logicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(centralprocessing unit,CPU)、图像处理器(graphics processing unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(random Access Memory,RAM),也可以包括只读存储器(read-only memory,ROM)。可选地,该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等,该操作***可以是安卓(Android)***,包括基于Android***深度开发的***、苹果公司开发的IOS***,包括基于IOS***深度开发的***或其它***。存储数据区还可以存储终端在使用中所创建的数据比如电话本、音视频数据、聊天记录数据,等。
参见图16所示,存储器120可分为操作***空间和用户空间,操作***即运行于操作***空间,原生及第三方应用程序即运行于用户空间。为了保证不同第三方应用程序均能够达到较好的运行效果,操作***针对不同第三方应用程序为其分配相应的***资源。然而,同一第三方应用程序中不同应用场景对***资源的需求也存在差异,比如,在本地资源加载场景下,第三方应用程序对磁盘读取速度的要求较高;在动画渲染场景下,第三方应用程序则对GPU性能的要求较高。而操作***与第三方应用程序之间相互独立,操作***往往不能及时感知第三方应用程序当前的应用场景,导致操作***无法根据第三方应用程序的具体应用场景进行针对性的***资源适配。
为了使操作***能够区分第三方应用程序的具体应用场景,需要打通第三方应用程序与操作***之间的数据通信,使得操作***能够随时获取第三方应用程序当前的场景信息,进而基于当前场景进行针对性的***资源适配。
以操作***为Android***为例,存储器120中存储的程序和数据如图17所示,存储器120中可存储有Linux内核层320、***运行时库层340、应用框架层360和应用层380,其中,Linux内核层320、***运行库层340和应用框架层360属于操作***空间,应用层380属于用户空间。Linux内核层320为终端的各种硬件提供了底层的驱动,如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、Wi-Fi驱动、电源管理等。***运行库层340通过一些C/C++库来为Android***提供了主要的特性支持。如SQLite库提供了数据库的支持,OpenGL/ES库提供了3D绘图的支持,Webkit库提供了浏览器内核的支持等。在***运行时库层340中还提供有安卓运行时库(Android runtime),它主要提供了一些核心库,能够允许开发者使用Java语言来编写Android应用。应用框架层360提供了构建应用程序时可能用到的各种API,开发者也可以通过使用这些API来构建自己的应用程序,比如活动管理、窗口管理、视图管理、通知管理、内容提供者、包管理、通话管理、资源管理、定位管理。应用层380中运行有至少一个应用程序,这些应用程序可以是操作***自带的原生应用程序,比如联系人程序、短信程序、时钟程序、相机应用等;也可以是第三方开发者所开发的第三方应用程序,比如游戏类应用程序、即时通信程序、相片美化程序、手势数据获取程序等。
以操作***为IOS***为例,存储器120中存储的程序和数据如图18所示,IOS***包括:核心操作***层420(Core OS layer)、核心服务层440(Core Services layer)、媒体层460(Media layer)、可触摸层480(Cocoa Touch Layer)。核心操作***层420包括了操作***内核、驱动程序以及底层程序框架,这些底层程序框架提供更接近硬件的功能,以供位于核心服务层440的程序框架所使用。核心服务层440提供给应用程序所需要的***服务和/或程序框架,比如基础(Foundation)框架、账户框架、广告框架、数据存储框架、网络连接框架、地理位置框架、运动框架等等。媒体层460为应用程序提供有关视听方面的接口,如图形图像相关的接口、音频技术相关的接口、视频技术相关的接口、音视频传输技术的无线播放(AirPlay)接口等。可触摸层480为应用程序开发提供了各种常用的界面相关的框架,可触摸层480负责用户在终端上的触摸交互操作。比如本地通知服务、远程推送服务、广告框架、游戏工具框架、消息用户界面接口(User Interface,UI)框架、用户界面UIKit框架、地图框架等等。
在图16所示出的框架中,与大部分应用程序有关的框架包括但不限于:核心服务层440中的基础框架和可触摸层480中的UIKit框架。基础框架提供许多基本的对象类和数据类型,为所有应用程序提供最基本的***服务,和UI无关。而UIKit框架提供的类是基础的UI类库,用于创建基于触摸的用户界面,iOS应用程序可以基于UIKit框架来提供UI,所以它提供了应用程序的基础架构,用于构建用户界面,绘图、处理和用户交互事件,响应手势等等。
其中,在IOS***中实现第三方应用程序与操作***数据通信的方式以及原理可参考Android***,本申请在此不再赘述。
其中,输入装置130用于接收输入的指令或数据,输入装置130包括但不限于键盘、鼠标、摄像头、麦克风或触控设备。输出装置140用于输出指令或数据,输出装置140包括但不限于显示设备和扬声器等。在一个示例中,输入装置130和输出装置140可以合设,输入装置130和输出装置140为触摸显示屏,该触摸显示屏用于接收用户使用手指、触摸笔等任何适合的物体在其上或附近的触摸操作,以及显示各个应用程序的用户界面。触摸显示屏通常设置在终端的前面板。触摸显示屏可被设计成为全面屏、曲面屏或异型屏。触摸显示屏还可被设计成为全面屏与曲面屏的结合,异型屏与曲面屏的结合,本申请实施例对此不加以限定。
除此之外,本领域技术人员可以理解,上述附图所示出的终端的结构并不构成对终端的限定,终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。比如,终端中还包括射频电路、输入单元、传感器、音频电路、无线保真(wirelessfidelity,WiFi)模块、电源、蓝牙模块等部件,在此不再赘述。
在本申请实施例中,各步骤的执行主体可以是上文介绍的终端。可选地,各步骤的执行主体为终端的操作***。操作***可以是安卓***,也可以是IOS***,或者其它操作***,本申请实施例对此不作限定。
本申请实施例的终端,其上还可以安装有显示设备,显示设备可以是各种能实现显示功能的设备,例如:阴极射线管显示器(cathode ray tubedisplay,简称CR)、发光二极管显示器(light-emitting diode display,简称LED)、电子墨水屏、液晶显示屏(liquidcrystal display,简称LCD)、等离子显示面板(plasma display panel,简称PDP)等。用户可以利用终端100上的显示设备,来查看显示的文字、图像、视频等信息。所述终端可以是智能手机、平板电脑、游戏设备、AR(Augmented Reality,增强现实)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如电子手表、电子眼镜、电子头盔、电子手链、电子项链、电子衣物等设备。
本领域的技术人员可以清楚地了解到本申请的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件,其中硬件例如可以是现场可编程门阵列(Field-ProgrammaBLE GateArray,FPGA)、集成电路(Integrated Circuit,IC)等。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
以上所述者,仅为本公开的示例性实施例,不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰,皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的范围和精神由权利要求限定。

Claims (15)

1.一种手势数据获取方法,其特征在于,所述方法包括:
获取传感器采集的手势信号,获取所述手势信号对应的特征值;
当在噪声阶段中检测到存在第一特征值大于或等于第一阈值时,确定由所述噪声阶段切换至手势数据获取阶段,并将所述第一特征值对应的第一特征点确定为所述手势数据获取阶段的手势起始点;
当在所述手势数据获取阶段中检测到持续存在第二特征值小于所述第一阈值时,确定由所述手势数据获取阶段切换至所述噪声阶段,将第三特征值对应的第三特征点确定为所述手势数据获取阶段的手势终止点,所述第三特征点为所述第二特征值对应的第二特征点之前,最后一个大于或等于所述第一阈值的特征值对应的特征点;
基于所述特征值获取特征点对应的信号状态,将所述特征值和所述信号状态添加至手势信号集合中,所述特征点为所述特征值在手势数据获取阶段中的特征点;
在所述手势信号集合中,获取所述手势数据获取阶段的手势起始点和手势终止点之间的所有特征值和所有信号状态,基于所述所有特征值和所述所有信号状态生成信号变化信息;
当所述信号变化信息满足信号验证信息时,确定所述信号变化信息为目标手势的信号数据段。
2.根据权利要求1所述的方法,其特征在于,所述手势数据获取阶段包括手势起始阶段、手势阶段和手势结束阶段,所述手势起始点为所述手势起始阶段的起始点,所述手势终止点为所述手势结束阶段的终止点。
3.根据权利要求2所述的方法,其特征在于,所述当在噪声阶段中检测到存在第一特征值大于或等于第一阈值时,确定由所述噪声阶段切换至手势数据获取阶段,并将所述第一特征值对应的第一特征点确定为所述手势数据获取阶段的手势起始点,包括:
当在噪声阶段中检测到存在第一特征值大于或等于第一阈值时,确定由所述噪声阶段切换至手势起始阶段,并将所述第一特征值对应的第一特征点确定为所述手势起始阶段的起始点;
当在所述手势起始阶段中检测到存在第四特征值大于或等于第二阈值时,确定由所述手势起始阶段切换至手势阶段,并将所述第四特征值对应的第四特征点确定为所述手势阶段的起始点;
其中,所述手势阶段的起始点为所述手势起始阶段的终止点,所述第二阈值大于所述第一阈值。
4.根据权利要求2所述的方法,其特征在于,所述当在所述手势数据获取阶段中检测到持续存在第二特征值小于所述第一阈值时,确定由所述手势数据获取阶段切换至所述噪声阶段,将第三特征值对应的第三特征点确定为所述手势数据获取阶段的手势终止点,包括:
当在所述手势阶段中检测到持续存在第六特征值小于第二阈值时,确定由所述手势阶段切换至手势结束阶段,将第五特征值对应的第五特征点确定为所述手势阶段的终止点,所述第五特征点为所述第六特征值对应的第六特征点之前,最后一个大于或等于所述第二阈值的特征值对应的特征点;
当在所述手势结束阶段中检测到持续存在第二特征值小于第一阈值时,确定由所述手势结束阶段切换至所述噪声阶段,将第三特征值对应的第三特征点确定为所述手势结束阶段的终止点,所述第三特征点为所述第二特征值对应的第二特征点之前,最后一个大于或等于所述第一阈值的特征值对应的特征点;
其中,所述手势阶段的终止点为所述手势结束阶段的起始点,所述第二阈值大于所述第一阈值。
5.根据权利要求3所述的方法,其特征在于,所述基于所述特征值获取特征点对应的信号状态,将所述特征值和所述信号状态添加至手势信号集合中,包括:
在处于所述手势起始阶段中,当检测到所述第一特征值小于所述第一阈值时,将所述第一特征点对应的信号状态设置为噪声状态;
当检测到所述第一特征值大于或等于所述第一阈值,且小于所述第二阈值时,将所述第一特征点对应的信号状态设置为手势起始状态;
当检测到所述第一特征值大于或等于所述第二阈值时,将所述第一特征点对应的信号状态设置为手势状态。
6.根据权利要求3所述的方法,其特征在于,所述基于所述特征值获取特征点对应的信号状态,将所述特征值和所述信号状态添加至手势信号集合中,包括:
在处于所述手势阶段中,当检测到所述第三特征值小于所述第一阈值时,将所述第三特征点对应的信号状态设置为噪声状态;
当检测到所述第三特征值大于或等于所述第一阈值,且小于所述第二阈值时,将所述第三特征点对应的信号状态设置为手势结束状态;
当检测到所述第三特征值大于或等于所述第二阈值时,将所述第三特征点对应的信号状态设置为手势状态。
7.根据权利要求4所述的方法,其特征在于,所述基于所述特征值获取特征点对应的信号状态,将所述特征值和所述信号状态添加至手势信号集合中,包括:
在处于所述手势结束阶段中,当检测到所述第六特征值小于所述第一阈值时,将所述第六特征点对应的信号状态设置为噪声状态;
当检测到所述第六特征值大于或等于所述第一阈值,且小于所述第二阈值时,将所述第六特征点对应的信号状态设置为手势结束状态;
当检测到所述第六特征值大于或等于所述第二阈值时,将所述第六特征点对应的信号状态设置为手势状态。
8.根据权利要求2所述的方法,其特征在于,所述基于所述特征值获取特征点对应的信号状态,将所述特征值和所述信号状态添加至手势信号集合中之后,还包括:
获取所述手势数据获取阶段中任一阶段的异常信号状态和正常信号状态;
在所述异常信号状态的持续时长大于第一时长,或所述正常信号状态的持续时长大于第二时长时,清除所述手势信号集合中的所有特征值和所有信号状态。
9.根据权利要求1所述的方法,其特征在于,所述当所述信号变化信息满足信号验证信息时,确定所述信号变化信息为目标手势的信号数据段,包括:
当所述信号变化信息满足信号验证信息时,获取所述手势起始点对应的起始点调整值;
基于所述起始点调整值,对所述手势起始点进行调整,得到调整后的手势起始点;
将所述调整后的手势起始点和所述手势终止点之间的状态变化信息确定为目标手势的信号数据段。
10.根据权利要求1所述的方法,其特征在于,所述获取传感器采集的手势信号,获取所述手势信号对应的特征值,包括:
获取至少一个传感器采集的手势信号;
对所述至少一个传感器采集的手势信号进行拼接,得到拼接手势信号;
基于平滑窗口的窗口尺寸和所述平滑窗口对应的权重系数,对所述拼接手势信号进行平滑滤波处理,得到所述拼接手势信号对应的特征值。
11.根据权利要求1所述的方法,其特征在于,所述信号变化信息包括信号变化趋势和信号数据段长度;所述当所述信号变化信息满足信号验证信息时,确定所述信号变化信息为目标手势的信号数据段,包括:
当所述信号变化趋势满足信号验证趋势,且所述信号数据段长度满足数据验证长度时,确定所述信号变化信息为目标手势的信号数据段。
12.根据权利要求1所述的方法,其特征在于,所述当所述信号变化信息满足信号验证信息时,确定所述信号变化信息为目标手势的信号数据段之后,还包括:
将所述手势数据获取阶段切换为检测冻结阶段;
当所述检测冻结阶段的持续时长达到第三时长时,解除所述检测冻结阶段。
13.一种手势数据获取装置,其特征在于,所述装置包括:
信号获取单元,用于获取传感器采集的手势信号,获取所述手势信号对应的特征值;
阶段切换单元,用于当在噪声阶段中检测到存在第一特征值大于或等于第一阈值时,确定由所述噪声阶段切换至手势数据获取阶段,并将所述第一特征值对应的第一特征点确定为所述手势数据获取阶段的手势起始点,当在所述手势数据获取阶段中检测到持续存在第二特征值小于所述第一阈值时,确定由所述手势数据获取阶段切换至所述噪声阶段,将第三特征值对应的第三特征点确定为所述手势数据获取阶段的手势终止点,所述第三特征点为所述第二特征值对应的第二特征点之前,最后一个大于或等于所述第一阈值的特征值对应的特征点;
信号添加单元,用于基于所述特征值获取特征点对应的信号状态,将所述特征值和所述信号状态添加至手势信号集合中;所述特征点为所述特征值在手势数据获取阶段中的特征点;
信息获取单元,用于在所述手势信号集合中,获取所述手势数据获取阶段的手势起始点和手势终止点之间的所有特征值和所有信号状态,基于所述所有特征值和所述所有信号状态生成信号变化信息;
数据段获取单元,用于当所述信号变化信息满足信号验证信息时,确定所述信号变化信息为目标手势的信号数据段。
14.一种终端,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~12任意一项的方法步骤。
15.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~12任意一项的方法步骤。
CN202110316214.XA 2021-03-24 2021-03-24 手势数据获取方法、装置、终端及存储介质 Active CN113031775B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110316214.XA CN113031775B (zh) 2021-03-24 2021-03-24 手势数据获取方法、装置、终端及存储介质
PCT/CN2022/077603 WO2022199312A1 (zh) 2021-03-24 2022-02-24 手势数据获取方法、装置、终端及存储介质
EP22773974.5A EP4270156A4 (en) 2021-03-24 2022-02-24 GESTURE DATA ACQUISITION METHOD AND APPARATUS, TERMINAL, AND STORAGE MEDIUM
US18/231,965 US20230384925A1 (en) 2021-03-24 2023-08-09 Method, terminal for acquiring gesture data, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110316214.XA CN113031775B (zh) 2021-03-24 2021-03-24 手势数据获取方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN113031775A CN113031775A (zh) 2021-06-25
CN113031775B true CN113031775B (zh) 2023-02-03

Family

ID=76473508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110316214.XA Active CN113031775B (zh) 2021-03-24 2021-03-24 手势数据获取方法、装置、终端及存储介质

Country Status (4)

Country Link
US (1) US20230384925A1 (zh)
EP (1) EP4270156A4 (zh)
CN (1) CN113031775B (zh)
WO (1) WO2022199312A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031775B (zh) * 2021-03-24 2023-02-03 Oppo广东移动通信有限公司 手势数据获取方法、装置、终端及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094298A (zh) * 2014-05-13 2015-11-25 华为技术有限公司 终端以及基于该终端的手势识别方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
FR3002338A1 (fr) * 2013-02-15 2014-08-22 France Telecom Procede de segmentation temporelle d'un geste instrumente, dispositif et terminal associes
US9389694B2 (en) * 2013-10-22 2016-07-12 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
CN103941866B (zh) * 2014-04-08 2017-02-15 河海大学常州校区 一种基于Kinect深度图像的三维手势识别方法
US9354709B1 (en) * 2014-06-17 2016-05-31 Amazon Technologies, Inc. Tilt gesture detection
US9880632B2 (en) * 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
CN105807903A (zh) * 2014-12-30 2016-07-27 Tcl集团股份有限公司 一种智能设备的控制方法及装置
CN105573545A (zh) * 2015-11-27 2016-05-11 努比亚技术有限公司 一种手势校准方法、装置及手势输入处理方法
EP3388930A4 (en) * 2015-12-31 2018-12-26 Huawei Technologies Co., Ltd. Method and terminal for responding to gesture acting on touch screen
CN108196668B (zh) * 2017-12-05 2021-08-03 重庆中电大宇卫星应用技术研究所 一种便携式手势识别***及方法
CN110266876B (zh) * 2019-04-29 2020-12-29 努比亚技术有限公司 一种压力阈值确定方法、装置及计算机可读存储介质
CN112363622A (zh) * 2020-11-13 2021-02-12 深圳振科智能科技有限公司 字符输入方法、装置、电子设备及存储介质
CN113031775B (zh) * 2021-03-24 2023-02-03 Oppo广东移动通信有限公司 手势数据获取方法、装置、终端及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094298A (zh) * 2014-05-13 2015-11-25 华为技术有限公司 终端以及基于该终端的手势识别方法

Also Published As

Publication number Publication date
EP4270156A4 (en) 2024-04-24
WO2022199312A1 (zh) 2022-09-29
EP4270156A1 (en) 2023-11-01
US20230384925A1 (en) 2023-11-30
CN113031775A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN108228358B (zh) 修正垂直同步信号的方法、装置、移动终端以及存储介质
CN111225138A (zh) 摄像头的控制方法、装置、存储介质及终端
CN111459586B (zh) 远程协助方法、装置、存储介质及终端
CN110702346B (zh) 一种振动测试方法、装置、存储介质及终端
CN109388309B (zh) 菜单的显示方法、装置、终端及存储介质
CN110881104A (zh) 拍照方法、装置、存储介质及终端
CN108289237B (zh) 播放动态图片的方法、装置、终端及计算机可读存储介质
US20230384925A1 (en) Method, terminal for acquiring gesture data, and storage medium
CN111127469A (zh) 缩略图显示方法、装置、存储介质以及终端
CN111918386A (zh) 定位方法、装置、存储介质及电子设备
CN113163055B (zh) 一种震动调节方法、装置、存储介质及电子设备
CN112150983B (zh) 屏幕亮度调节方法、装置、存储介质及电子设备
CN113126859A (zh) 情景模式的控制方法、装置、存储介质以及终端
CN111857480A (zh) 图标对齐方法、装置、存储介质及电子设备
CN113825022B (zh) 一种播放控制状态检测方法、装置、存储介质及电子设备
CN112995562A (zh) 摄像头的调用方法、装置、存储介质及终端
CN111209503A (zh) 网页中弹窗的处理方法、装置、电子设备、及存储介质
CN113450762B (zh) 文字朗读方法、装置、终端及存储介质
CN113595662A (zh) 信号提示方法、装置、终端设备及存储介质
CN113010078A (zh) 触控方法、装置、存储介质及电子设备
CN112256354A (zh) 应用启动方法、装置、存储介质及电子设备
CN111859999A (zh) 消息翻译方法、装置、存储介质及电子设备
CN112328351A (zh) 动画显示方法、动画显示装置及终端设备
CN113692026B (zh) 网络连接方法、装置、终端及存储介质
CN117193539A (zh) 一种指纹检测方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant