CN107704190A - 手势识别方法、装置、终端及存储介质 - Google Patents
手势识别方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN107704190A CN107704190A CN201711076834.0A CN201711076834A CN107704190A CN 107704190 A CN107704190 A CN 107704190A CN 201711076834 A CN201711076834 A CN 201711076834A CN 107704190 A CN107704190 A CN 107704190A
- Authority
- CN
- China
- Prior art keywords
- gesture
- probability
- touch signal
- logic regression
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000001960 triggered effect Effects 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 25
- 238000013139 quantization Methods 0.000 claims description 17
- 241001269238 Data Species 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 10
- 238000007477 logistic regression Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000005055 memory storage Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 abstract description 9
- 230000004069 differentiation Effects 0.000 abstract description 5
- 230000004044 response Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000012092 media component Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种手势识别方法、装置、终端及存储介质，属于终端技术领域。该方法包括：当在屏幕的指定区域上检测到通过多个触摸点触发的滑动操作时，根据滑动轨迹获取触摸信号，基于该触摸信号，通过指定逻辑回归模型确定第一手势概率和第二手势概率，该第一手势概率是指当前的手势为掀开手势的概率，该第二手势概率是指当前的手势为上划手势的概率，基于该第一手势概率和该第二手势概率，对当前的手势进行识别。也即是，本申请通过获取多个触摸点在滑动过程中的触摸信号，并基于该触摸信号，通过指定逻辑回归模型实现了对上划手势和掀开手势的区分和识别，以保证能够正确响应用户的手势操作。
Description
技术领域
本申请涉及终端技术领域，特别涉及一种手势识别方法、装置、终端及存储介质。
背景技术
目前，随着终端技术的快速发展，用户与终端之间的交互方式也变得越来越多样化。譬如，用户可以使用各种手势来操作终端，该手势主要分为静态手势和动态手势。该静态手势包括但不限于点击手势，该动态手势包括但不限于上划手势、掀开手势。其中，该上划手势是指利用手的任一部位从屏幕的下方向屏幕的上方滑动的手势，而该掀开手势通常是指利用手背的边缘区域沿着屏幕的一角向屏幕的对角线方向滑动的手势。
发明内容
本申请实施例提供了一种手势识别方法、装置、终端及存储介质，可以用于对上划和掀开两种手势进行区分和识别。所述技术方案如下：
第一方面，提供了一种手势识别方法，所述方法包括：
当在屏幕的指定区域上检测到通过多个触摸点触发的滑动操作时，根据滑动轨迹获取触摸信号；
基于所述触摸信号，通过指定逻辑回归模型确定第一手势概率和第二手势概率，所述第一手势概率是指当前的手势为掀开手势的概率，所述第二手势概率是指当前的手势为上划手势的概率；
基于所述第一手势概率和所述第二手势概率，对当前的手势进行识别。
可选地，所述基于所述触摸信号，通过指定逻辑回归模型确定第一手势概率和第二手势概率之前，还包括：
多次采集不同手势的触摸信号，得到多个样本数据，所述不同手势包括所述上划手势和所述掀开手势；
基于所述多个样本数据，通过预设训练模型进行训练，得到所述指定逻辑回归模型。
可选地，所述预设训练模型包括损失函数模型和初始化逻辑回归模型；
所述基于所述多个样本数据，通过预设训练模型进行训练，得到所述指定逻辑回归模型，包括：
将所述多个样本数据进行量化，得到样本量化向量；
将所述样本量化向量输入至所述损失函数模型中，并采用梯度下降法通过确定所述损失函数模型的最小值来确定估计权重；
将所述估计权重输入至所述初始化逻辑回归模型中，得到所述指定逻辑回归模型。
可选地，所述基于所述第一手势概率和所述第二手势概率，对当前的手势进行识别，包括：
确定所述第一手势概率和所述第二手势概率中的最大手势概率；
将当前的手势识别为所述最大手势概率对应的手势。
可选地，所述触摸信号包括平均位置信息或位置差信息，所述平均位置信息是指所述滑动轨迹上所有位置信息的平均值，所述位置差信息是指所述滑动轨迹的初始位置与结束位置之间的位置变化量。
第二方面，提供了一种手势识别装置，所述装置包括：
获取模块，用于当在屏幕的指定区域上检测到通过多个触摸点触发的滑动操作时，根据滑动轨迹获取触摸信号；
确定模块，用于基于所述触摸信号，通过指定逻辑回归模型确定第一手势概率和第二手势概率，所述第一手势概率是指当前的手势为掀开手势的概率，所述第二手势概率是指当前的手势为上划手势的概率；
识别模块，用于基于所述第一手势概率和所述第二手势概率，对当前的手势进行识别。
可选地，所述装置还包括：
采集模块，用于多次采集不同手势的触摸信号，得到多个样本数据，所述不同手势包括所述上划手势和所述掀开手势；
训练模块，用于基于所述多个样本数据，通过预设训练模型进行训练，得到所述指定逻辑回归模型。
可选地，所述预设训练模型包括损失函数模型和初始化逻辑回归模型；所述训练模块用于：
将所述多个样本数据进行量化，得到样本量化向量；
将所述样本量化向量输入至所述损失函数模型中，并采用梯度下降法通过确定所述损失函数模型的最小值来确定估计权重；
将所述估计权重输入至所述初始化逻辑回归模型中，得到所述指定逻辑回归模型。
第三方面，一种终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器被配置为执行上述第一方面任一项所述的手势识别方法的步骤。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面任一项所述的手势识别方法的步骤。
本申请实施例提供的技术方案带来的有益效果是：当在屏幕的指定区域上检测到通过多个触摸点触发的滑动操作时，说明可能是用户利用手背的边缘区域触发的滑动操作，此时，根据滑动轨迹获取触摸信号。基于该触摸信号，通过指定逻辑回归模型确定当前手势为掀开手势的概率和当前手势为上划手势的概率，即确定第一手势概率和第二手势概率，之后，基于该第一手势概率和该第二手势概率，对当前的手势进行识别。也即是，本申请通过获取多个触摸点在滑动过程中的触摸信号，并基于该触摸信号，通过指定逻辑回归模型实现了对上划手势和掀开手势的区分和识别，以保证能够正确响应用户的手势操作。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种手势识别方法的流程图；
图2A是根据另一示例性实施例示出的一种手势识别方法的流程图；
图2B是图2A实施例所涉及的一种指定区域的示意图；
图2C是图2A实施例所涉及的一种多个触摸点的示意图；
图2D是图2A实施例所涉及的一种掀开手势的示意图；
图3A是根据一示例性实施例示出的一种手势识别装置的结构框图；
图3B是根据另一示例性实施例示出的一种手势识别装置的结构框图；
图4是根据一示例性实施例示出的一种手势识别装置400的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例提供的手势识别方法进行详细介绍之前，先对本申请实施例涉及的应用场景和实施环境进行简单介绍。
首先，对本申请实施例涉及的应用场景进行简单介绍。
目前，终端能够支持多种手势的操作。譬如，在实际应用场景中，当用户想要向上滑动查看显示内容时，可以使用上划手势，再如，当用户在一些公共场所想要查看一些保密的信息时，可以使用掀开手势，以使终端基于该掀开手势，在屏幕的某一角显示需要显示的内容。但是，由于上划手势和掀开手势比较接近，因此，为了能够正确响应用户的实际操作需求，需要对该两种手势进行区分和识别。为此，本申请实施例提供了一种手势识别方法，该手势识别可以用于对上划和掀开这两种手势进行区分和识别，其具体实现如下文图1和图2A所示的实施例。
其次，对本申请实施例涉及的实施环境进行简单介绍。
本申请提供的手势识别方法可以应用于终端中，该终端可以配置有触摸屏，且该终端能够支持多种手势的操作，该多种手势包括上划手势和掀开手势。在实际应用场景中，该终端具体可以为诸如手机、电脑、计算机之类的设备，本申请实施例对此不做限定。
请参考图1，该图1是根据一示例性实施例示出的一种手势识别方法的流程图，该手势识别方法可以应用于终端中，该方法可以包括如下几个实现步骤：
步骤101：当在屏幕的指定区域上检测到通过多个触摸点触发的滑动操作时，根据滑动轨迹获取触摸信号。
步骤102：基于该触摸信号，通过指定逻辑回归模型确定第一手势概率和第二手势概率，该第一手势概率是指当前的手势为掀开手势的概率，该第二手势概率是指当前的手势为上划手势的概率。
步骤103：基于该第一手势概率和该第二手势概率，对当前的手势进行识别。
在本申请实施例中，当在屏幕的指定区域上检测到通过多个触摸点触发的滑动操作时，说明可能是用户利用手背的边缘区域触发的滑动操作，此时，根据滑动轨迹获取触摸信号。基于该触摸信号，通过指定逻辑回归模型确定当前手势为掀开手势的概率和当前手势为上划手势的概率，即确定第一手势概率和第二手势概率，之后，基于该第一手势概率和该第二手势概率，对当前的手势进行识别。也即是，本申请通过获取多个触摸点在滑动过程中的触摸信号，并基于该触摸信号，通过指定逻辑回归模型实现了对上划手势和掀开手势的区分和识别，以保证能够正确响应用户的手势操作。
可选地，基于该触摸信号，通过指定逻辑回归模型确定第一手势概率和第二手势概率之前，还包括：
多次采集不同手势的触摸信号，得到多个样本数据，该不同手势包括该上划手势和该掀开手势；
基于该多个样本数据，通过预设训练模型进行训练，得到该指定逻辑回归模型。
可选地，该预设训练模型包括损失函数模型和初始化逻辑回归模型；
基于该多个样本数据，通过预设训练模型进行训练，得到该指定逻辑回归模型，包括：
将该多个样本数据进行量化，得到样本量化向量；
将该样本量化向量输入至该损失函数模型中，并采用梯度下降法通过确定该损失函数模型的最小值来确定估计权重；
将该估计权重输入至该初始化逻辑回归模型中，得到该指定逻辑回归模型。
可选地，基于该第一手势概率和该第二手势概率，对当前的手势进行识别，包括：
确定该第一手势概率和该第二手势概率中的最大手势概率；
将当前的手势识别为该最大手势概率对应的手势。
可选地，该触摸信号包括平均位置信息或位置差信息，该平均位置信息是指该滑动轨迹上所有位置信息的平均值，该位置差信息是指该滑动轨迹的初始位置与结束位置之间的位置变化量。
上述所有可选技术方案，均可按照任意结合形成本申请的可选实施例，本申请实施例对此不再一一赘述。
请参考图2A，该图2A是根据另一示例性实施例示出的一种手势识别方法的流程图，该手势识别方法可以应用于终端中，该方法可以包括如下几个实现步骤：
步骤201：多次采集不同手势的触摸信号，得到多个样本数据，该不同手势包括该上划手势和该掀开手势。
为了能够对上划和掀开这两种手势进行区分和识别，预先需要分别基于该两种手势触发的触摸信号进行模型训练，以得到后续能够分别基于这两种手势所触发的触摸信号识别对应手势的指定逻辑回归模型。其中，模型训练的过程如步骤201至步骤202所述。
也即是，首先需要多次采集这两种不同手势的触摸信号，得到多个样本数据，以便于后续基于该多个样本数据进行模型训练。
其中，该触摸信号包括平均位置信息或位置差信息，该平均位置信息是指该滑动轨迹上所有位置信息的平均值，该位置差信息是指该滑动轨迹的初始位置与结束位置之间的位置变化量。
例如，在一种可能的实现方式中，该触摸信号可以包括平均位置信息。当终端基于不同手势采集到触摸信号时，可以基于不同手势的滑动轨迹，获取滑动轨迹上的位置信息，进一步地，每个位置信息可以为该手势接触屏幕时的触摸点在不同时刻对应的触摸坐标。也即是，终端可以以时间为条件获取触摸坐标，譬如，每隔预设时间间隔，获取触摸点的触摸坐标。之后，该终端确定所获取的多个触摸坐标的平均值，得到平均位置信息，并将该平均位置信息确定为样本数据。
其中，该预设时间间隔可以由用户根据实际需求自定义设置，也可以由该终端默认设置，本申请实施例对此不做限定。例如，该预设时间间隔为1毫秒。
需要说明的是，关于坐标系的建立可以是以终端的屏幕中心为原点，或者，也可以是以终端的屏幕的某个顶角为原点，本申请实施例对此不做限定。
再如，在另一种可能的实现方式中，该触摸信号还可以包括位置差信息，也即是，对于不同手势每次所执行的操作，终端可以基于该手势触发的触摸信号，采集滑动轨迹的初始位置对应的位置信息和结束位置对应的位置信息，之后，确定该初始位置对应的位置信息和该结束位置对应的位置信息之间的位置变化量，并将所确定的位置变化量确定为样本数据。
当然，需要说明的是，这里仅是以该触摸信号包括平均位置信息或位置差信息为例进行说明，在实际应用场景中，该触摸信号还可以包括触摸力度等信息，此时，可以通过压力感应器获取该触摸力度信息，本申请实施例对此不做限定。
步骤202：基于该多个样本数据，通过预设训练模型进行训练，得到该指定逻辑回归模型。
得到上述多个样本数据后，即可利用该多个样本数据进行模型训练。在具体实现中，该预设训练模型可以包括损失函数模型和初始化逻辑回归模型，在该种情况下，基于该多个样本数据，通过预设训练模型进行训练，得到该指定逻辑回归模型的具体实现可以包括如下(1)-(3)几个步骤：
(1)将该多个样本数据进行量化，得到样本量化向量。
在具体实现中，可以将该多个样本数据进行量化，譬如，得到的样本量化向量为X＝{xi}，其中i＝1,2,3...n，该n为预设的正整数，可以由用户预先进行设置，譬如，该n可以设置为10。即将该多个样本数据进行量化后，得到n维的样本量化向量。
(2)将该样本量化向量输入至该损失函数模型中，并采用梯度下降法通过确定该损失函数模型的最小值来确定估计权重。
其中，该损失函数模型可以如公式(1)所示：
其中，yj∈{0,1}，j＝1,2，yj代表二分类标签信息，例如，当该yj＝1时，代表分类信息为掀开手势，当该yj＝0时，代表分类信息为上划手势。w为未知评估参数。
之后，通过梯度下降法对L(w)求最小值，当求到L(w)的最小值时，即可得到估计权重w。其中，在通过梯度下降法对L(w)求最小值的过程中，基于该样本数据不断地进行训练，使得该L(w)最小，也即是，通过梯度下降法对L(w)求最小值的过程实际上是不断地进行训练的过程。
(3)将该估计权重输入至该初始化逻辑回归模型中，得到该指定逻辑回归模型。
在具体实现中，该初始化逻辑回归模型可以如公式(2)和(3)所示，终端可以将该估计权重w带入初始化逻辑回归模型(2)和(3)中后，即可得到指定逻辑回归模型如公式(4)和公式(5)所示：
其中，P(Y＝1|x)和P(Y＝0|x)分别代表掀开和上划两种手势对应的手势概率。
进一步地，该终端可以预先对训练完的指定逻辑回归模型进行存储，以便于后续可以通过该指定逻辑回归模型，基于不同手势所触发的触摸信号，对该不同手势进行识别。
还需要说明的是，这里仅是以该终端本身基于不同手势进行模型训练为例，在实际应用场景中，还可以通过其它具有相同功能的终端进行模型训练，之后，将训练好的指定逻辑回归模型移至该终端中。
终端存储有上述指定逻辑回归模型后，终端后续即可进行手势识别，具体可以包括如下步骤203至步骤205。
步骤203：当在屏幕的指定区域上检测到通过多个触摸点触发的滑动操作时，根据滑动轨迹获取触摸信号。
在实际实现中，该指定区域可以由用户根据实际需求自定义进行设置，例如，该指定区域可以为该屏幕的左下方区域、右下方区域、左上方区域、右上方区域等等，本申请实施例对此不做限定。
请参考图2B，这里以该指定区域为屏幕的左下方区域21为例进行说明。也即是，当终端在该屏幕的左下方区域21上检测到通过多个触摸点触发的滑动操作时，说明用户可以通过手背的边缘区域向上滑动，为了能够识别出该手势是掀开手势还是上划手势，终端根据滑动轨迹获取触摸信号。
其中，该多个触摸点可以为用户的手背的边缘区域所在多个关节的触碰屏幕的形成的触摸点。例如，如图2C中的22所示。
步骤204：基于该触摸信号，通过指定逻辑回归模型确定第一手势概率和第二手势概率，该第一手势概率是指当前的手势为掀开手势的概率，该第二手势概率是指当前的手势为上划手势的概率。
在具体实现中，可以将该触摸信号进行量化，得到量化向量，之后，终端可以将得到的该量化向量输入至上述公式(4)和公式(5)所示的指定逻辑回归模型中，以确定两种手势对应的手势概率，分别为第一手势概率P(Y＝1|x)和第二手势概率P(Y＝0|x)。
进一步地，在实际实现中，由于该掀开手势和上划手势均具有向上滑动的特点，因此，在基于该触摸信号，通过指定逻辑回归模型确定第一手势概率和第二手势概率之前，还可以判断当前的手势是否为该掀开手势和上划手势中的一种，也即是，判断该手势是否为向上滑动的手势。
在具体实现中，可以基于滑动轨迹来判断该手势是否为向上滑动的手势，譬如，若该滑动轨迹的初始位置位于屏幕的下方区域，结束位置位于屏幕的上方区域，则可以确定该手势为向上滑动的手势。
当然，需要说明的是，这里仅是以该基于滑动轨迹来判断该手势是否为向上滑动的手势为例进行说明，在另一实施例中，还可以采用其它方式判断该手势是否为向上滑动的手势，例如，还可以基于位置变化量来判断，本申请实施例对此不做限定。
步骤205：基于该第一手势概率和该第二手势概率，对当前的手势进行识别。
在具体实现中，基于该第一手势概率和该第二手势概率，对当前的手势进行识别的具体实现可以包括：确定该第一手势概率和该第二手势概率中的最大手势概率，将当前的手势识别为该最大手势概率对应的手势。
不难理解，手势概率越大，说明当前手势为该最大手势概率对应的手势的可能性越大。譬如，如果该第一手势概率大于该第二手势概率，说明经过上述识别后确定当前的手势为掀开手势的概率大于当前的手势为上划手势的概率，因此，可以将当前的手势识别为掀开手势。反之，如果该第一手势概率小于该第二手势概率，说明经过上述识别后确定当前的手势为掀开手势的概率小于当前的手势为上划手势的概率，因此，可以将当前的手势识别为上划手势。
例如，当该第一手势概率为70％，该第二手势概率为30％时，可以看出，当前手势为掀开手势的概率大于当前手势为上划手势的概率，因此，可以将当前的手势识别为掀开手势，例如，该掀开手势如图2D所示。
在本申请实施例中，当在屏幕的指定区域上检测到通过多个触摸点触发的滑动操作时，说明可能是用户利用手背的边缘区域触发的滑动操作，此时，根据滑动轨迹获取触摸信号。基于该触摸信号，通过指定逻辑回归模型确定当前手势为掀开手势的概率和当前手势为上划手势的概率，即确定第一手势概率和第二手势概率，之后，基于该第一手势概率和该第二手势概率，对当前的手势进行识别。也即是，本申请通过获取多个触摸点在滑动过程中的触摸信号，并基于该触摸信号，通过指定逻辑回归模型实现了对上划手势和掀开手势的区分和识别，以保证能够正确响应用户的手势操作。
参见图3A，该图3A是根据一示例性实施例示出的一种手势识别装置的结构框图，该装置可以由软件、硬件或者两者的结合实现，该装置可以包括：
获取模块301，用于当在屏幕的指定区域上检测到通过多个触摸点触发的滑动操作时，根据滑动轨迹获取触摸信号；
确定模块302，用于基于所述触摸信号，通过指定逻辑回归模型确定第一手势概率和第二手势概率，所述第一手势概率是指当前的手势为掀开手势的概率，所述第二手势概率是指当前的手势为上划手势的概率；
识别模块303，用于基于所述第一手势概率和所述第二手势概率，对当前的手势进行识别。
可选地，请参考图3B，所述装置还包括：
采集模块304，用于多次采集不同手势的触摸信号，得到多个样本数据，所述不同手势包括所述上划手势和所述掀开手势；
训练模块305，用于基于所述多个样本数据，通过预设训练模型进行训练，得到所述指定逻辑回归模型。
可选地，所述预设训练模型包括损失函数模型和初始化逻辑回归模型；所述训练模块305用于：
将所述多个样本数据进行量化，得到样本量化向量；
将所述样本量化向量输入至所述损失函数模型中，并采用梯度下降法通过确定所述损失函数模型的最小值来确定估计权重；
将所述估计权重输入至所述初始化逻辑回归模型中，得到所述指定逻辑回归模型。
在本申请实施例中，当在屏幕的指定区域上检测到通过多个触摸点触发的滑动操作时，说明可能是用户利用手背的边缘区域触发的滑动操作，此时，根据滑动轨迹获取触摸信号。基于该触摸信号，通过指定逻辑回归模型确定当前手势为掀开手势的概率和当前手势为上划手势的概率，即确定第一手势概率和第二手势概率，之后，基于该第一手势概率和该第二手势概率，对当前的手势进行识别。也即是，本申请通过获取多个触摸点在滑动过程中的触摸信号，并基于该触摸信号，通过指定逻辑回归模型实现了对上划手势和掀开手势的区分和识别，以保证能够正确响应用户的手势操作。
图4是根据一示例性实施例示出的一种手势识别装置400的框图。例如，装置400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图4，装置400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。
处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在装置400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件406为装置400的各种组件提供电源。电源组件406可以包括电源管理***，一个或多个电源，及其他与为装置400生成、管理和分配电源相关联的组件。
多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当装置400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。
I/O接口412为处理组件402和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到装置400的打开/关闭状态，组件的相对定位，例如所述组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图1或图2A所示实施例提供的手势识别方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由装置400的处理器420执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述图1或图2A所示实施例提供的手势识别方法。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述图1或图2A所示实施例提供的手势识别方法。
需要说明的是：上述实施例提供的手势识别装置在实现手势识别方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的手势识别装置与手势识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种手势识别方法，其特征在于，所述方法包括：
当在屏幕的指定区域上检测到通过多个触摸点触发的滑动操作时，根据滑动轨迹获取触摸信号；
基于所述触摸信号，通过指定逻辑回归模型确定第一手势概率和第二手势概率，所述第一手势概率是指当前的手势为掀开手势的概率，所述第二手势概率是指当前的手势为上划手势的概率；
基于所述第一手势概率和所述第二手势概率，对当前的手势进行识别。
2.如权利要求1所述的方法，其特征在于，所述基于所述触摸信号，通过指定逻辑回归模型确定第一手势概率和第二手势概率之前，还包括：
多次采集不同手势的触摸信号，得到多个样本数据，所述不同手势包括所述上划手势和所述掀开手势；
基于所述多个样本数据，通过预设训练模型进行训练，得到所述指定逻辑回归模型。
3.如权利要求2所述的方法，其特征在于，所述预设训练模型包括损失函数模型和初始化逻辑回归模型；
所述基于所述多个样本数据，通过预设训练模型进行训练，得到所述指定逻辑回归模型，包括：
将所述多个样本数据进行量化，得到样本量化向量；
将所述样本量化向量输入至所述损失函数模型中，并采用梯度下降法通过确定所述损失函数模型的最小值来确定估计权重；
将所述估计权重输入至所述初始化逻辑回归模型中，得到所述指定逻辑回归模型。
4.如权利要求1所述的方法，其特征在于，所述基于所述第一手势概率和所述第二手势概率，对当前的手势进行识别，包括：
确定所述第一手势概率和所述第二手势概率中的最大手势概率；
将当前的手势识别为所述最大手势概率对应的手势。
5.如权利要求1所述的方法，其特征在于，所述触摸信号包括平均位置信息或位置差信息，所述平均位置信息是指所述滑动轨迹上所有位置信息的平均值，所述位置差信息是指所述滑动轨迹的初始位置与结束位置之间的位置变化量。
6.一种手势识别装置，其特征在于，所述装置包括：
获取模块，用于当在屏幕的指定区域上检测到通过多个触摸点触发的滑动操作时，根据滑动轨迹获取触摸信号；
确定模块，用于基于所述触摸信号，通过指定逻辑回归模型确定第一手势概率和第二手势概率，所述第一手势概率是指当前的手势为掀开手势的概率，所述第二手势概率是指当前的手势为上划手势的概率；
识别模块，用于基于所述第一手势概率和所述第二手势概率，对当前的手势进行识别。
7.如权利要求6所述的装置，其特征在于，所述装置还包括：
采集模块，用于多次采集不同手势的触摸信号，得到多个样本数据，所述不同手势包括所述上划手势和所述掀开手势；
训练模块，用于基于所述多个样本数据，通过预设训练模型进行训练，得到所述指定逻辑回归模型。
8.如权利要求7所述的装置，其特征在于，所述预设训练模型包括损失函数模型和初始化逻辑回归模型；所述训练模块用于：
将所述多个样本数据进行量化，得到样本量化向量；
将所述样本量化向量输入至所述损失函数模型中，并采用梯度下降法通过确定所述损失函数模型的最小值来确定估计权重；
将所述估计权重输入至所述初始化逻辑回归模型中，得到所述指定逻辑回归模型。
9.一种终端，其特征在于，所述终端包括：处理器和存储器，所述存储器存储有一个或多个计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711076834.0A CN107704190B (zh) | 2017-11-06 | 2017-11-06 | 手势识别方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711076834.0A CN107704190B (zh) | 2017-11-06 | 2017-11-06 | 手势识别方法、装置、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107704190A true CN107704190A (zh) | 2018-02-16 |
| CN107704190B CN107704190B (zh) | 2020-07-10 |
Family
ID=61177907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711076834.0A Expired - Fee Related CN107704190B (zh) | 2017-11-06 | 2017-11-06 | 手势识别方法、装置、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107704190B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766043A (zh) * | 2018-12-29 | 2019-05-17 | 华为技术有限公司 | 电子设备的操作方法和电子设备 |
| CN110532755A (zh) * | 2019-08-09 | 2019-12-03 | 北京三快在线科技有限公司 | 一种计算机实现的风险识别的方法及装置 |
| CN110688039A (zh) * | 2019-09-25 | 2020-01-14 | 大众问问(北京)信息科技有限公司 | 一种车载应用的控制方法、装置、设备及存储介质 |
| CN110703919A (zh) * | 2019-10-11 | 2020-01-17 | 大众问问(北京)信息科技有限公司 | 一种车载应用的开启方法、装置、设备及存储介质 |
| CN114578959A (zh) * | 2021-12-30 | 2022-06-03 | 惠州华阳通用智慧车载***开发有限公司 | 一种基于触摸板的手势识别方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120225719A1 (en) * | 2011-03-04 | 2012-09-06 | Mirosoft Corporation | Gesture Detection and Recognition |
| CN103577793A (zh) * | 2012-07-27 | 2014-02-12 | 中兴通讯股份有限公司 | 手势识别方法及装置 |
| CN105988583A (zh) * | 2015-11-18 | 2016-10-05 | 乐视致新电子科技（天津）有限公司 | 手势控制方法及虚拟现实显示输出设备 |
| CN106203380A (zh) * | 2016-07-20 | 2016-12-07 | 中国科学院计算技术研究所 | 超声波手势识别方法及*** |
| CN103870199B (zh) * | 2014-03-31 | 2017-09-29 | 华为技术有限公司 | 手持设备上用户操作模式的识别方法及手持设备 |
-
2017
- 2017-11-06 CN CN201711076834.0A patent/CN107704190B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120225719A1 (en) * | 2011-03-04 | 2012-09-06 | Mirosoft Corporation | Gesture Detection and Recognition |
| CN103577793A (zh) * | 2012-07-27 | 2014-02-12 | 中兴通讯股份有限公司 | 手势识别方法及装置 |
| CN103870199B (zh) * | 2014-03-31 | 2017-09-29 | 华为技术有限公司 | 手持设备上用户操作模式的识别方法及手持设备 |
| CN105988583A (zh) * | 2015-11-18 | 2016-10-05 | 乐视致新电子科技（天津）有限公司 | 手势控制方法及虚拟现实显示输出设备 |
| CN106203380A (zh) * | 2016-07-20 | 2016-12-07 | 中国科学院计算技术研究所 | 超声波手势识别方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 王龙: "特征提取和卷积神经网络在手势识别中的应用研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766043A (zh) * | 2018-12-29 | 2019-05-17 | 华为技术有限公司 | 电子设备的操作方法和电子设备 |
| CN110532755A (zh) * | 2019-08-09 | 2019-12-03 | 北京三快在线科技有限公司 | 一种计算机实现的风险识别的方法及装置 |
| CN110688039A (zh) * | 2019-09-25 | 2020-01-14 | 大众问问(北京)信息科技有限公司 | 一种车载应用的控制方法、装置、设备及存储介质 |
| CN110703919A (zh) * | 2019-10-11 | 2020-01-17 | 大众问问(北京)信息科技有限公司 | 一种车载应用的开启方法、装置、设备及存储介质 |
| CN114578959A (zh) * | 2021-12-30 | 2022-06-03 | 惠州华阳通用智慧车载***开发有限公司 | 一种基于触摸板的手势识别方法及*** |
| CN114578959B (zh) * | 2021-12-30 | 2024-03-29 | 惠州华阳通用智慧车载***开发有限公司 | 一种基于触摸板的手势识别方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107704190B (zh) | 2020-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106951884A (zh) | 采集指纹的方法、装置及电子设备 | |
| CN104503689B (zh) | 应用界面显示方法及装置 | |
| CN107704190A (zh) | 手势识别方法、装置、终端及存储介质 | |
| CN106572299A (zh) | 摄像头开启方法及装置 | |
| CN104036240B (zh) | 人脸特征点的定位方法和装置 | |
| CN107832741A (zh) | 人脸特征点定位的方法、装置及计算机可读存储介质 | |
| CN106547466A (zh) | 显示控制方法及装置 | |
| CN107688781A (zh) | 人脸识别方法及装置 | |
| CN106778531A (zh) | 人脸定位方法及装置 | |
| CN108319886A (zh) | 指纹识别方法及装置 | |
| CN107992257A (zh) | 分屏方法及装置 | |
| CN107562349A (zh) | 一种执行处理的方法和装置 | |
| CN107241495A (zh) | 终端设备的分屏处理方法和装置 | |
| CN106802808A (zh) | 悬浮按钮控制方法及装置 | |
| CN107529699A (zh) | 电子设备控制方法及装置 | |
| CN106201108B (zh) | 手套触控模式控制方法和装置以及电子设备 | |
| CN106527928A (zh) | 一种截屏控制装置、方法及智能终端 | |
| CN107330391A (zh) | 产品信息提示方法及装置 | |
| CN104216969B (zh) | 阅读标记方法及装置 | |
| CN107958239A (zh) | 指纹识别方法及装置 | |
| CN104883603B (zh) | 播放控制方法、***及终端设备 | |
| CN104902318B (zh) | 播放控制方法及终端设备 | |
| CN104240274B (zh) | 人脸图像处理方法及装置 | |
| CN106775210A (zh) | 壁纸更换的方法和装置 | |
| JP2014206837A (ja) | 電子機器、その制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200710 |