CN108960177B - 一种将手势进行数字化处理的方法及装置 - Google Patents
一种将手势进行数字化处理的方法及装置 Download PDFInfo
- Publication number
- CN108960177B CN108960177B CN201810768622.7A CN201810768622A CN108960177B CN 108960177 B CN108960177 B CN 108960177B CN 201810768622 A CN201810768622 A CN 201810768622A CN 108960177 B CN108960177 B CN 108960177B
- Authority
- CN
- China
- Prior art keywords
- state
- gesture
- current
- frame image
- finger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000008859 change Effects 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims description 12
- 230000005057 finger movement Effects 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 abstract description 6
- 210000003811 finger Anatomy 0.000 description 140
- 210000003813 thumb Anatomy 0.000 description 18
- 210000004935 right thumb Anatomy 0.000 description 10
- 230000009471 action Effects 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 210000004247 hand Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种将手势进行数字化处理的方法及装置，该方法包括：利用摄像头实时采集用户手势变化的各帧图像；针对用户的每一个手指：记录当前手指的当前状态的状态开始时间；根据状态开始时间时所采集图像识别出状态开始手势，记录其手势指向对应的数字代码；基于状态开始手势记录当前状态的状态结束时间；根据状态结束时间时所采集图像识别出状态结束手势，记录其手势指向对应的数字代码；根据状态结束手势确定当前手指的下一个状态的状态开始时间，并以该下一个状态作为待处理的当前状态，执行所述记录当前手指的当前状态的状态开始时间，如此循环。本方案仅记录用户手势的各个状态变化，无需逐一记录每一帧图像，故数据存储量小。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种将手势进行数字化处理的方法及装置。
背景技术
手语通过手势比量动作，是特定人群，比如聋哑人的可用交际工具。通常情况下，一般人若想理解手语手势所代表的含义，需要首先进行手语手势学习，但学习手语需耗费大量的时间和精力。
目前，可以通过摄像头采集用户手部变化的每一帧图像，并进行记录。记录的每一帧图像可以通过与标准手势进行匹配，匹配成功则输出标准手势。
可以看出，现有实现方式需要记录用户手部变化的每一帧图像，数据存储量较大。
发明内容
本发明提供了一种将手势进行数字化处理的方法及装置，无需逐一记录用户手部变化的每一帧图像，数据存储量小。
为了达到上述目的，本发明是通过如下技术方案实现的：
一方面，本发明提供了一种将手势进行数字化处理的方法，包括：
利用摄像头实时采集用户手势变化过程中的每一帧图像；
针对用户的每一个手指均执行：
记录当前手指的当前状态的状态开始时间；
根据所述当前状态的状态开始时间时所采集到的那一帧图像，识别出所述当前手指的状态开始手势，并记录所述状态开始手势的手势指向对应的数字代码；
基于所述状态开始手势，记录所述当前状态的状态结束时间；
根据所述当前状态的状态结束时间时所采集到的那一帧图像，识别出所述当前手指的状态结束手势，并记录所述状态结束手势的手势指向对应的数字代码；
根据所述状态结束手势，确定所述当前手指的下一个状态的状态开始时间，并以所述下一个状态作为待处理的当前状态，执行所述记录当前手指的当前状态的状态开始时间。
进一步地，所述基于所述状态开始手势，记录所述当前状态的状态结束时间，包括：以所述当前状态的状态开始时间开始，按照图像采集顺序依次监测采集到的每一帧图像，并在监测到目标帧图像时，记录所述当前状态的状态结束时间为所述目标帧图像的采集时间，
其中，所述目标帧图像满足：与上一帧图像相比，所述目标帧图像中所述当前手指由有效手指转变为辅助手指；或，与所述目标帧图像相比，下一帧图像中所述当前手指未移动；或，与所述目标帧图像相比，下一帧图像中所述当前手指移动方向改变；
其中，所述有效手指包括保持伸出状态的手指，所述辅助手指包括弯曲回掌心的手指。
进一步地，所述根据所述状态结束手势，确定所述当前手指的下一个状态的状态开始时间包括：以所述当前状态的状态结束时间开始，按照图像采集顺序依次监测采集到的每一帧图像，并在监测到目的帧图像时，记录所述当前手指的下一个状态的状态开始时间为所述目的帧图像的采集时间，
其中，所述目的帧图像满足：与所述目的帧图像相比，下一帧图像中所述当前手指由辅助手指转变为有效手指；或，与上一帧图像相比，所述目的帧图像中所述当前手指开始移动；或，与上一帧图像相比，所述目的帧图像中所述当前手指移动方向改变。
进一步地，该方法还包括：设置四个数字代码，所述四个数字代码分别代表向上、向下、向左、向右这四个基准方向；
任一手势指向对应的数字代码包括：手势指向所涉及到的每一个基准方向的数字代码，其中，手势指向与其所涉及到的任一基准方向间的角度差不小于预设角度阈值。
进一步地，该方法还包括：确定每一个标准手势的手势含义，并记录每一个所述标准手势的各个手指的数字化处理信息，所述数字化处理信息包括：状态开始时间、状态开始时间对应的数字代码、状态结束时间、状态结束时间对应的数字代码；
根据记录的每一个状态的状态开始时间，按照时间先后顺序依次执行：根据所执行的当前状态的数字化处理信息，以及与该当前状态的持续时间有同一时间交叉的每一个其他状态的数字化处理信息，查找是否存在与之相匹配的标准手势，若是，将查找到的标准手势的手势含义输出。
另一方面，本发明提供了一种将手势进行数字化处理的装置，包括：
手势图像采集单元，用于利用摄像头实时采集用户手势变化过程中的每一帧图像；
手势图像处理单元，用于针对用户的每一个手指均执行：记录当前手指的当前状态的状态开始时间；根据所述当前状态的状态开始时间时所采集到的那一帧图像，识别出所述当前手指的状态开始手势，并记录所述状态开始手势的手势指向对应的数字代码；基于所述状态开始手势，记录所述当前状态的状态结束时间；根据所述当前状态的状态结束时间时所采集到的那一帧图像，识别出所述当前手指的状态结束手势，并记录所述状态结束手势的手势指向对应的数字代码；根据所述状态结束手势，确定所述当前手指的下一个状态的状态开始时间，并以所述下一个状态作为待处理的当前状态，执行所述记录当前手指的当前状态的状态开始时间。
进一步地，所述手势图像处理单元，具体用于以所述当前状态的状态开始时间开始，按照图像采集顺序依次监测采集到的每一帧图像，并在监测到目标帧图像时，记录所述当前状态的状态结束时间为所述目标帧图像的采集时间，
其中，所述目标帧图像满足：与上一帧图像相比，所述目标帧图像中所述当前手指由有效手指转变为辅助手指；或，与所述目标帧图像相比，下一帧图像中所述当前手指未移动；或，与所述目标帧图像相比，下一帧图像中所述当前手指移动方向改变；
其中，所述有效手指包括保持伸出状态的手指，所述辅助手指包括弯曲回掌心的手指。
进一步地，所述手势图像处理单元，具体用于以所述当前状态的状态结束时间开始，按照图像采集顺序依次监测采集到的每一帧图像，并在监测到目的帧图像时，记录所述当前手指的下一个状态的状态开始时间为所述目的帧图像的采集时间，
其中，所述目的帧图像满足：与所述目的帧图像相比，下一帧图像中所述当前手指由辅助手指转变为有效手指；或，与上一帧图像相比，所述目的帧图像中所述当前手指开始移动；或，与上一帧图像相比，所述目的帧图像中所述当前手指移动方向改变。
进一步地，该装置还包括：设置单元，用于设置四个数字代码，所述四个数字代码分别代表向上、向下、向左、向右这四个基准方向；
任一手势指向对应的数字代码包括：手势指向所涉及到的每一个基准方向的数字代码，其中，手势指向与其所涉及到的任一基准方向间的角度差不小于预设角度阈值。
进一步地，该装置还包括：确定单元，用于确定每一个标准手势的手势含义，并记录每一个所述标准手势的各个手指的数字化处理信息，所述数字化处理信息包括：状态开始时间、状态开始时间对应的数字代码、状态结束时间、状态结束时间对应的数字代码；
手势含义处理单元，用于根据记录的每一个状态的状态开始时间，按照时间先后顺序依次执行：根据所执行的当前状态的数字化处理信息，以及与该当前状态的持续时间有同一时间交叉的每一个其他状态的数字化处理信息，查找是否存在与之相匹配的标准手势，若是，将查找到的标准手势的手势含义输出。
本发明提供了一种将手势进行数字化处理的方法及装置，该方法包括：利用摄像头实时采集用户手势变化的各帧图像；针对用户的每一个手指：记录当前手指的当前状态的状态开始时间；根据状态开始时间时所采集图像识别出状态开始手势，记录其手势指向对应的数字代码；基于状态开始手势记录当前状态的状态结束时间；根据状态结束时间时所采集图像识别出状态结束手势，记录其手势指向对应的数字代码；根据状态结束手势确定当前手指的下一个状态的状态开始时间，并以该下一个状态作为待处理的当前状态，执行所述记录当前手指的当前状态的状态开始时间，如此循环。本发明仅记录用户手势的各个状态变化，无需逐一记录每一帧图像，故数据存储量小。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种将手势进行数字化处理的方法的流程图；
图2是本发明一实施例提供的一种用户各手指状态记录的示意图；
图3是本发明一实施例提供的另一种将手势进行数字化处理的方法的流程图；
图4是本发明一实施例提供的一种将手势进行数字化处理的装置的示意图；
图5是本发明一实施例提供的另一种将手势进行数字化处理的装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种将手势进行数字化处理的方法，可以包括以下步骤：
步骤101：利用摄像头实时采集用户手势变化过程中的每一帧图像。
步骤102：针对用户的每一个手指均执行步骤103。
步骤103：记录当前手指的当前状态的状态开始时间。
步骤104：根据所述当前状态的状态开始时间时所采集到的那一帧图像，识别出所述当前手指的状态开始手势，并记录所述状态开始手势的手势指向对应的数字代码。
步骤105：基于所述状态开始手势，记录所述当前状态的状态结束时间。
步骤106：根据所述当前状态的状态结束时间时所采集到的那一帧图像，识别出所述当前手指的状态结束手势，并记录所述状态结束手势的手势指向对应的数字代码。
步骤107：根据所述状态结束手势，确定所述当前手指的下一个状态的状态开始时间，并以所述下一个状态作为待处理的当前状态，执行步骤103。
本发明实施例提供了一种将手势进行数字化处理的方法，利用摄像头实时采集用户手势变化的各帧图像；针对用户的每一个手指：记录当前手指的当前状态的状态开始时间；根据状态开始时间时所采集图像识别出状态开始手势，记录其手势指向对应的数字代码；基于状态开始手势记录当前状态的状态结束时间；根据状态结束时间时所采集图像识别出状态结束手势，记录其手势指向对应的数字代码；根据状态结束手势确定当前手指的下一个状态的状态开始时间，并以该下一个状态作为待处理的当前状态，执行所述记录当前手指的当前状态的状态开始时间，如此循环。本发明实施例仅记录用户手势的各个状态变化，无需逐一记录每一帧图像，故数据存储量小。
基于上述步骤103～步骤107的循环执行，可以依次记录当前手指的每一个状态。由于这一循环执行是针对各个手指分别执行的，故可以记录用户每一个手指的各个状态。
假设L代表用户左手，R代表用户右手。其中，R1～R5分别代表用户右手大拇指～用户右手小拇指这5根手指，L1～L5分别代表用户左手大拇指～用户左手小拇指这5根手指。请参考图2，图2中记录了用户各个手指已发生的各个状态。
在本发明一个实施例中，可以预先设置***激活手势。当用户做出该***激活手势时，摄像头可以实时采集到这一图像，***即可从该图像中识别到这一***激活手势，从而开始执行上述步骤101至步骤107。
举例来说，假设设置双手握拳为***激活手势，故当用户进入摄像头的图像采集区域内并双手握拳时，***被激活并开始将手势进行数字化处理的操作流程。
以双手握拳为***激活手势为例，在本发明一个实施例中，针对每一个手指：以***被激活时的时间开始，比如请参考图2，这一时间可以对应于图2中t＝0这一时间，按照图像采集顺序依次监测采集到的每一帧图像，并在监测到一帧图像，当前所分析手指在该帧图像中为辅助手指但在下一帧图像中为有效手指时，可以确定该特定帧图像的采集时间为当前所分析手指的初始状态的状态开始时间。然后，即可将该初始状态的状态开始时间作为待处理的当前状态，执行步骤103。
本发明实施例中，当前状态即可以为当前所处理的任一状态。
详细地，保持伸出状态的手指可以为有效手指，弯曲回掌心的手指可以为辅助手指。
举例来说，假设用户双手握拳以激活***后，稍后做出了向上伸出右手大拇指的动作。如此，以右手大拇指为分析对象时，可以监测到右手大拇指伸出时的那一帧图像，故该帧图像的采集时间，如图2中t01s所示，即可以被记录为右手大拇指的初始状态的状态开始时间。其中，t表示时间，t的第一个下标表示相应手指，比如0～9分别表示R1～L5，t的第二个下标表示相应手指的第几个状态，t的第三个下标表示相应手指的状态开始或状态结束，比如s作为start的首字母表示状态开始，e作为end的首字母表示状态结束。
在本发明一个实施例中，可以设定向上的数字代码为00，向下的数字代码为01，向左的数字代码为10，向右的数字代码为11。
基于上述内容，可知步骤103中，当前手指为右手大拇指，当前状态为右手大拇指为辅助手指，状态开始时间为图2中所示的t01s。
然后，在步骤104中，可以识别到右手大拇指的状态开始手势为弯曲回掌心，故可以记录该状态开始手势的手势指向对应的数字代码为空，或者说不记录相应数字代码。
假设用户做出向上伸出右手大拇指这一动作后，稍后再次双手握拳。如此，步骤105中，可以记录当前状态，即初始状态的状态结束时间为右手大拇指向上时的时间，并在该时间后保持暂时静止。请参考图2，记录的这一状态结束时间即可以为t01e。
如此，在步骤106中，状态结束手势即为右手大拇指向上，从而，请参考图2，记录的数字代码即可以为00。
然后，在步骤107中，可以确定下一个状态的状态开始时间，为右手大拇指由向上开始向掌心移动时的时间，如图2中所示的t02s。
如此，完成第一次循环处理后，开始进行第二次循环处理。
针对右手大拇指再次执行步骤103时，即可记录当前所执行状态，即右手大拇指的第二个状态的状态开始时间，即图2中所示的t02s。
步骤104中，由于t02s时右手大拇指向上，故请参考图2，记录的数字代码为00。
然后，步骤105中，可以记录右手大拇指的第二个状态的状态结束时间，为用户双手握拳时的时间，此时右手大拇指由有效手指恢复为辅助手指，即图2中所示的t02e。
进而，步骤106中，请参考图2，记录的数字代码为空。
基于上述内容，假设用户双手握拳后，稍后将右手置于右耳边做出了打电话的手势，即右手大拇指向斜上方伸出，且右手小拇指向斜下方伸出，并短时间内保持不变。如此，可以记录右手大拇指的第三个状态和右手小拇指的第一个状态，记录内容请参考图2。
以右手大拇指为例，由于第三个状态结束时，右手大拇指的指向为向右和向上的结合，则可以同时记录11和00。
由于手语手势通常要比上述举例描述内容更为复杂，故基于同样的实现原理，状态结束时间和状态开始时间的确定应满足所常用的手语手势。
一方面，在本发明的一个实施例中，为了说明一种可能的确定状态结束时间的实现方式，所以，所述基于所述状态开始手势，记录所述当前状态的状态结束时间，包括：以所述当前状态的状态开始时间开始，按照图像采集顺序依次监测采集到的每一帧图像，并在监测到目标帧图像时，记录所述当前状态的状态结束时间为所述目标帧图像的采集时间，
其中，所述目标帧图像满足：与上一帧图像相比，所述目标帧图像中所述当前手指由有效手指转变为辅助手指；或，与所述目标帧图像相比，下一帧图像中所述当前手指未移动；或，与所述目标帧图像相比，下一帧图像中所述当前手指移动方向改变；
其中，所述有效手指包括保持伸出状态的手指，所述辅助手指包括弯曲回掌心的手指。
另一方面，在本发明的一个实施例中，为了说明一种可能的确定状态开始时间的实现方式，所以，所述根据所述状态结束手势，确定所述当前手指的下一个状态的状态开始时间包括：以所述当前状态的状态结束时间开始，按照图像采集顺序依次监测采集到的每一帧图像，并在监测到目的帧图像时，记录所述当前手指的下一个状态的状态开始时间为所述目的帧图像的采集时间，
其中，所述目的帧图像满足：与所述目的帧图像相比，下一帧图像中所述当前手指由辅助手指转变为有效手指；或，与上一帧图像相比，所述目的帧图像中所述当前手指开始移动；或，与上一帧图像相比，所述目的帧图像中所述当前手指移动方向改变。
在本发明的一个实施例中，该方法可以进一步包括：设置四个数字代码，所述四个数字代码分别代表向上、向下、向左、向右这四个基准方向；
任一手势指向对应的数字代码包括：手势指向所涉及到的每一个基准方向的数字代码，其中，手势指向与其所涉及到的任一基准方向间的角度差不小于预设角度阈值。
通常情况下，手势指向并非绝对的朝向某一基准方向，为提高数字代码的记录准确度，可以设定上述角度阈值。若手势指向与一基准方向间的角度差小于角度阈值时，可以忽略不计，即可认为手势指向与该基准方向一致。相反，则要考虑所涉及到的每一个基准方向。
在本发明的一个实施例中，可以通过有效性数据位的转移，以区分动作的连续关系。其中，通过有效性数据位的转移可以很好的区分动作的连续关系，避免歧义的产生。
在本发明的一个实施例中，可以使用有效性辅助数据位进行特殊定义。使用有效性辅助数据位进行特殊定义，可以解决由于平面位移表达方法不能够满足需求的问题。
通常情况下，在对手势进行数字化处理后，可以基于处理结果，以得出手势所代表的手势含义，以方便不懂手势人群快速理解到手势含义。
因此，在本发明的一个实施例中，该方法可以进一步包括：确定每一个标准手势的手势含义，并记录每一个所述标准手势的各个手指的数字化处理信息，所述数字化处理信息包括：状态开始时间、状态开始时间对应的数字代码、状态结束时间、状态结束时间对应的数字代码；
根据记录的每一个状态的状态开始时间，按照时间先后顺序依次执行：根据所执行的当前状态的数字化处理信息，以及与该当前状态的持续时间有同一时间交叉的每一个其他状态的数字化处理信息，查找是否存在与之相匹配的标准手势，若是，将查找到的标准手势的手势含义输出。
比如，无论左手还是右手，只要从握拳变成仅大拇指向上的手势，即可以表示“棒棒的”这一含义。如此，可以预先由工作人员做出各个标准手势，并对各个标准手势进行数字化处理。基于用户手势的数字化处理结果与标准手势的数字化处理结果的对比匹配，即可得知用户手势的含义。本发明实施例中，对比匹配即对比两者的上述数字化处理信息。
请参考图2，存在4个状态，首先分析右手大拇指的第一个状态，该状态的持续时间为t01s～t01e，但不存在与之存在同一时间交叉的其他状态，则仅针对右手大拇指的第一个状态进行匹配查找。可知，可以匹配到与“棒棒的”手势含义对应的标准手势，故可以输出“棒棒的”这一手势含义。
由于用户是按照时间顺序做出手势，故记录的各个状态也是基于时间顺序的，同理，手势含义的查找和输出也是基于时间顺序的。基于顺序输出的各个手势含义，即可了解到用户所表达的意思。
综上所述，本发明实施例中，可以将复杂难解的手语手势进行简单的数字化定义，从而为手语的识别以及人机交互提供了基础支持，也为人机交互提供了一种更加高效、简洁的途径。
如图3所示，本发明一个实施例提供了另一种将手势进行数字化处理的方法，具体包括以下步骤：
步骤301：设置四个数字代码，四个数字代码分别代表向上、向下、向左、向右这四个基准方向。
步骤302：确定每一个标准手势的手势含义，并记录每一个标准手势的各个手指的数字化处理信息，数字化处理信息包括：状态开始时间、状态开始时间对应的数字代码、状态结束时间、状态结束时间对应的数字代码。
步骤303：用户进入摄像头的图像采集区域内并做出***激活手势，以激活***。
步骤304：利用摄像头实时采集用户手势变化过程中的每一帧图像。
步骤305：针对用户的每一个手指均执行步骤306。
步骤306：确定当前手指的初始状态的状态开始时间，将初始状态的状态开始时间作为待处理的当前状态，执行步骤307。
步骤307：记录当前手指的当前状态的状态开始时间。
步骤308：根据当前状态的状态开始时间时所采集到的那一帧图像，识别出当前手指的状态开始手势，并记录状态开始手势的手势指向对应的数字代码，其中，任一手势指向对应的数字代码包括手势指向所涉及到的每一个基准方向的数字代码，手势指向与其所涉及到的任一基准方向间的角度差不小于预设角度阈值。
步骤309：以当前状态的状态开始时间开始，按照图像采集顺序依次监测采集到的每一帧图像，并在监测到目标帧图像时，记录当前状态的状态结束时间为目标帧图像的采集时间。
其中，目标帧图像满足：与上一帧图像相比，目标帧图像中当前手指由有效手指转变为辅助手指；或，与目标帧图像相比，下一帧图像中当前手指未移动；或，与目标帧图像相比，下一帧图像中当前手指移动方向改变；
其中，有效手指包括保持伸出状态的手指，辅助手指包括弯曲回掌心的手指。
步骤310：根据当前状态的状态结束时间时所采集到的那一帧图像，识别出当前手指的状态结束手势，并记录状态结束手势的手势指向对应的数字代码。
步骤311：以当前状态的状态结束时间开始，按照图像采集顺序依次监测采集到的每一帧图像，并在监测到目的帧图像时，记录当前手指的下一个状态的状态开始时间为目的帧图像的采集时间，并以下一个状态作为待处理的当前状态，执行步骤307，以及在不能监测到目的帧图像时，执行步骤312。
其中，目的帧图像满足：与目的帧图像相比，下一帧图像中当前手指由辅助手指转变为有效手指；或，与上一帧图像相比，目的帧图像中当前手指开始移动；或，与上一帧图像相比，目的帧图像中当前手指移动方向改变。
详细地，用户完成手势变化过程时，或，用户做出结束手势时，将不能监测到上述目的帧图像。
步骤312：根据记录的每一个状态的状态开始时间，按照时间先后顺序依次执行：根据所执行的当前状态的数字化处理信息，以及与该当前状态的持续时间有同一时间交叉的每一个其他状态的数字化处理信息，在查找到与之相匹配的标准手势时，将查找到的标准手势的手势含义输出。
如图4所示，本发明一个实施例提供了一种将手势进行数字化处理的装置，包括：
手势图像采集单元401，用于利用摄像头实时采集用户手势变化过程中的每一帧图像；
手势图像处理单元402，用于针对用户的每一个手指均执行：记录当前手指的当前状态的状态开始时间；根据所述当前状态的状态开始时间时所采集到的那一帧图像，识别出所述当前手指的状态开始手势，并记录所述状态开始手势的手势指向对应的数字代码；基于所述状态开始手势，记录所述当前状态的状态结束时间；根据所述当前状态的状态结束时间时所采集到的那一帧图像，识别出所述当前手指的状态结束手势，并记录所述状态结束手势的手势指向对应的数字代码；根据所述状态结束手势，确定所述当前手指的下一个状态的状态开始时间，并以所述下一个状态作为待处理的当前状态，执行所述记录当前手指的当前状态的状态开始时间。
在本发明一个实施例中，所述手势图像处理单元402，具体用于以所述当前状态的状态开始时间开始，按照图像采集顺序依次监测采集到的每一帧图像，并在监测到目标帧图像时，记录所述当前状态的状态结束时间为所述目标帧图像的采集时间，
其中，所述目标帧图像满足：与上一帧图像相比，所述目标帧图像中所述当前手指由有效手指转变为辅助手指；或，与所述目标帧图像相比，下一帧图像中所述当前手指未移动；或，与所述目标帧图像相比，下一帧图像中所述当前手指移动方向改变；
其中，所述有效手指包括保持伸出状态的手指，所述辅助手指包括弯曲回掌心的手指。
在本发明一个实施例中，所述手势图像处理单元402，具体用于以所述当前状态的状态结束时间开始，按照图像采集顺序依次监测采集到的每一帧图像，并在监测到目的帧图像时，记录所述当前手指的下一个状态的状态开始时间为所述目的帧图像的采集时间，
其中，所述目的帧图像满足：与所述目的帧图像相比，下一帧图像中所述当前手指由辅助手指转变为有效手指；或，与上一帧图像相比，所述目的帧图像中所述当前手指开始移动；或，与上一帧图像相比，所述目的帧图像中所述当前手指移动方向改变。
在本发明一个实施例中，请参考图5，该将手势进行数字化处理的装置还可以包括：设置单元501，用于设置四个数字代码，所述四个数字代码分别代表向上、向下、向左、向右这四个基准方向；
任一手势指向对应的数字代码包括：手势指向所涉及到的每一个基准方向的数字代码，其中，手势指向与其所涉及到的任一基准方向间的角度差不小于预设角度阈值。
在本发明一个实施例中，请参考图5，该将手势进行数字化处理的装置还可以包括：确定单元502，用于确定每一个标准手势的手势含义，并记录每一个所述标准手势的各个手指的数字化处理信息，所述数字化处理信息包括：状态开始时间、状态开始时间对应的数字代码、状态结束时间、状态结束时间对应的数字代码；
手势含义处理单元503，用于根据记录的每一个状态的状态开始时间，按照时间先后顺序依次执行：根据所执行的当前状态的数字化处理信息，以及与该当前状态的持续时间有同一时间交叉的每一个其他状态的数字化处理信息，查找是否存在与之相匹配的标准手势，若是，将查找到的标准手势的手势含义输出。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
综上所述，本发明的各个实施例至少具有如下有益效果：
1、本发明实施例中，利用摄像头实时采集用户手势变化的各帧图像；针对用户的每一个手指：记录当前手指的当前状态的状态开始时间；根据状态开始时间时所采集图像识别出状态开始手势，记录其手势指向对应的数字代码；基于状态开始手势记录当前状态的状态结束时间；根据状态结束时间时所采集图像识别出状态结束手势，记录其手势指向对应的数字代码；根据状态结束手势确定当前手指的下一个状态的状态开始时间，并以该下一个状态作为待处理的当前状态，执行所述记录当前手指的当前状态的状态开始时间，如此循环。本发明实施例仅记录用户手势的各个状态变化，无需逐一记录每一帧图像，故数据存储量小。
2、本发明实施例中，可以将复杂难解的手语手势进行简单的数字化定义，从而为手语的识别以及人机交互提供了基础支持，也为人机交互提供了一种更加高效、简洁的途径。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (2)
1.一种将手势进行数字化处理的方法，其特征在于，包括：
利用摄像头实时采集用户手势变化过程中的每一帧图像；
针对用户的每一个手指均执行：
记录当前手指的当前状态的状态开始时间；
根据所述当前状态的状态开始时间时所采集到的那一帧图像，识别出所述当前手指的状态开始手势，并记录所述状态开始手势的手势指向对应的数字代码；
基于所述状态开始手势，记录所述当前状态的状态结束时间；
根据所述当前状态的状态结束时间时所采集到的那一帧图像，识别出所述当前手指的状态结束手势，并记录所述状态结束手势的手势指向对应的数字代码；
根据所述状态结束手势，确定所述当前手指的下一个状态的状态开始时间，并以所述下一个状态作为待处理的当前状态，执行所述记录当前手指的当前状态的状态开始时间；
所述基于所述状态开始手势，记录所述当前状态的状态结束时间，包括：以所述当前状态的状态开始时间开始，按照图像采集顺序依次监测采集到的每一帧图像，并在监测到目标帧图像时，记录所述当前状态的状态结束时间为所述目标帧图像的采集时间，
其中，所述目标帧图像满足：与上一帧图像相比，所述目标帧图像中所述当前手指由有效手指转变为辅助手指；或，与所述目标帧图像相比，下一帧图像中所述当前手指未移动；或，与所述目标帧图像相比，下一帧图像中所述当前手指移动方向改变；
其中，所述有效手指包括保持伸出状态的手指，所述辅助手指包括弯曲回掌心的手指；
所述根据所述状态结束手势，确定所述当前手指的下一个状态的状态开始时间包括：以所述当前状态的状态结束时间开始，按照图像采集顺序依次监测采集到的每一帧图像，并在监测到目的帧图像时，记录所述当前手指的下一个状态的状态开始时间为所述目的帧图像的采集时间，
其中，所述目的帧图像满足：与所述目的帧图像相比，下一帧图像中所述当前手指由辅助手指转变为有效手指；或，与上一帧图像相比，所述目的帧图像中所述当前手指开始移动；或，与上一帧图像相比，所述目的帧图像中所述当前手指移动方向改变；
进一步包括：设置四个数字代码，所述四个数字代码分别代表向上、向下、向左、向右这四个基准方向；
任一手势指向对应的数字代码包括：手势指向所涉及到的每一个基准方向的数字代码，其中，手势指向与其所涉及到的任一基准方向间的角度差不小于预设角度阈值；
进一步包括：确定每一个标准手势的手势含义，并记录每一个所述标准手势的各个手指的数字化处理信息，所述数字化处理信息包括：状态开始时间、状态开始时间对应的数字代码、状态结束时间、状态结束时间对应的数字代码；
根据记录的每一个状态的状态开始时间，按照时间先后顺序依次执行：根据所执行的当前状态的数字化处理信息，以及与该当前状态的持续时间有同一时间交叉的每一个其他状态的数字化处理信息，查找是否存在与之相匹配的标准手势，若是，将查找到的标准手势的手势含义输出。
2.一种将手势进行数字化处理的装置，其特征在于，包括：
手势图像采集单元，用于利用摄像头实时采集用户手势变化过程中的每一帧图像；
手势图像处理单元，用于针对用户的每一个手指均执行：记录当前手指的当前状态的状态开始时间；根据所述当前状态的状态开始时间时所采集到的那一帧图像，识别出所述当前手指的状态开始手势，并记录所述状态开始手势的手势指向对应的数字代码；基于所述状态开始手势，记录所述当前状态的状态结束时间；根据所述当前状态的状态结束时间时所采集到的那一帧图像，识别出所述当前手指的状态结束手势，并记录所述状态结束手势的手势指向对应的数字代码；根据所述状态结束手势，确定所述当前手指的下一个状态的状态开始时间，并以所述下一个状态作为待处理的当前状态，执行所述记录当前手指的当前状态的状态开始时间；
所述手势图像处理单元，具体用于以所述当前状态的状态开始时间开始，按照图像采集顺序依次监测采集到的每一帧图像，并在监测到目标帧图像时，记录所述当前状态的状态结束时间为所述目标帧图像的采集时间，
其中，所述目标帧图像满足：与上一帧图像相比，所述目标帧图像中所述当前手指由有效手指转变为辅助手指；或，与所述目标帧图像相比，下一帧图像中所述当前手指未移动；或，与所述目标帧图像相比，下一帧图像中所述当前手指移动方向改变；
其中，所述有效手指包括保持伸出状态的手指，所述辅助手指包括弯曲回掌心的手指；
所述手势图像处理单元，具体用于以所述当前状态的状态结束时间开始，按照图像采集顺序依次监测采集到的每一帧图像，并在监测到目的帧图像时，记录所述当前手指的下一个状态的状态开始时间为所述目的帧图像的采集时间，
其中，所述目的帧图像满足：与所述目的帧图像相比，下一帧图像中所述当前手指由辅助手指转变为有效手指；或，与上一帧图像相比，所述目的帧图像中所述当前手指开始移动；或，与上一帧图像相比，所述目的帧图像中所述当前手指移动方向改变；
进一步包括：设置单元，用于设置四个数字代码，所述四个数字代码分别代表向上、向下、向左、向右这四个基准方向；
任一手势指向对应的数字代码包括：手势指向所涉及到的每一个基准方向的数字代码，其中，手势指向与其所涉及到的任一基准方向间的角度差不小于预设角度阈值；
进一步包括：确定单元，用于确定每一个标准手势的手势含义，并记录每一个所述标准手势的各个手指的数字化处理信息，所述数字化处理信息包括：状态开始时间、状态开始时间对应的数字代码、状态结束时间、状态结束时间对应的数字代码；
手势含义处理单元，用于根据记录的每一个状态的状态开始时间，按照时间先后顺序依次执行：根据所执行的当前状态的数字化处理信息，以及与该当前状态的持续时间有同一时间交叉的每一个其他状态的数字化处理信息，查找是否存在与之相匹配的标准手势，若是，将查找到的标准手势的手势含义输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810768622.7A CN108960177B (zh) | 2018-07-13 | 2018-07-13 | 一种将手势进行数字化处理的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810768622.7A CN108960177B (zh) | 2018-07-13 | 2018-07-13 | 一种将手势进行数字化处理的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108960177A CN108960177A (zh) | 2018-12-07 |
| CN108960177B true CN108960177B (zh) | 2020-12-22 |
Family
ID=64483310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810768622.7A Active CN108960177B (zh) | 2018-07-13 | 2018-07-13 | 一种将手势进行数字化处理的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108960177B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112364799A (zh) * | 2020-11-18 | 2021-02-12 | 展讯通信（上海）有限公司 | 一种手势识别方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853133A (zh) * | 2010-05-31 | 2010-10-06 | 中兴通讯股份有限公司 | 一种自动识别手势的方法及移动终端 |
| CN103197767A (zh) * | 2013-04-10 | 2013-07-10 | 周可 | 利用手势虚拟键盘输入的方法及装置 |
| CN107578023A (zh) * | 2017-09-13 | 2018-01-12 | 华中师范大学 | 人机交互手势识别方法、装置及*** |
| CN107589848A (zh) * | 2017-09-25 | 2018-01-16 | 京东方科技集团股份有限公司 | 一种交互显示方法、终端及交互显示*** |
| CN107613301A (zh) * | 2017-10-17 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种图像处理方法及装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1408443B1 (en) * | 2002-10-07 | 2006-10-18 | Sony France S.A. | Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition |
| US20150070319A1 (en) * | 2013-09-09 | 2015-03-12 | Timothy R. Pryor | Human interfaces for homes, medical devices and vehicles |
| CN103890695B (zh) * | 2011-08-11 | 2017-10-13 | 视力移动技术有限公司 | 基于手势的接口***和方法 |
| CN103576848B (zh) * | 2012-08-09 | 2016-07-13 | 腾讯科技（深圳）有限公司 | 手势操作方法和手势操作装置 |
| CN105868715B (zh) * | 2016-03-29 | 2020-02-07 | 苏州科达科技股份有限公司 | 一种手势识别方法、装置及手势学习*** |
| CN105975934B (zh) * | 2016-05-05 | 2022-03-04 | 中国人民解放军63908部队 | 一种用于增强现实辅助维修的动态手势识别方法及*** |
| CN107563286B (zh) * | 2017-07-28 | 2020-06-23 | 南京邮电大学 | 一种基于Kinect深度信息的动态手势识别方法 |
-
2018
- 2018-07-13 CN CN201810768622.7A patent/CN108960177B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853133A (zh) * | 2010-05-31 | 2010-10-06 | 中兴通讯股份有限公司 | 一种自动识别手势的方法及移动终端 |
| CN103197767A (zh) * | 2013-04-10 | 2013-07-10 | 周可 | 利用手势虚拟键盘输入的方法及装置 |
| CN107578023A (zh) * | 2017-09-13 | 2018-01-12 | 华中师范大学 | 人机交互手势识别方法、装置及*** |
| CN107589848A (zh) * | 2017-09-25 | 2018-01-16 | 京东方科技集团股份有限公司 | 一种交互显示方法、终端及交互显示*** |
| CN107613301A (zh) * | 2017-10-17 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种图像处理方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 一种实时手势跟踪中的线性预测方法;张秋余等;《兰州理工大学学报》;20100621;第36卷(第2期);第75-78页 * |
| 基于Leap Motion的动态手势识别研究;任磊;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315(第3期);I138-6194 * |
| 基于深度信息的手势识别研究及应用;张中甫;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140215(第2期);I138-531 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108960177A (zh) | 2018-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019120290A1 (zh) | 动态手势识别方法和装置、手势交互控制方法和装置 | |
| KR100978929B1 (ko) | 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말 | |
| Taylor et al. | Type-hover-swipe in 96 bytes: A motion sensing mechanical keyboard | |
| JP2021524951A (ja) | 空中手書きを識別するための方法、装置、デバイス及びコンピュータ読み取り可能な記憶媒体 | |
| CN104090652A (zh) | 一种语音输入方法和装置 | |
| JP2002203208A (ja) | オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム | |
| US9746929B2 (en) | Gesture recognition using gesture elements | |
| WO2013075466A1 (zh) | 一种基于图像传感模块的字符输入方法、装置及终端 | |
| CN105518608A (zh) | 上下文关联的手势分类 | |
| JP2010257458A (ja) | 携帯端末におけるマルチタッチ入力処理方法 | |
| TW201017557A (en) | Video based handwritten character input device and method thereof | |
| CN103248814A (zh) | 运动图像记录设备及其控制方法 | |
| JP2001100878A (ja) | マルチモーダル入出力装置 | |
| CN113961067B (zh) | 基于深度学习的非接触式涂鸦绘制方法与识别交互*** | |
| CN112286360A (zh) | 用于操作移动设备的方法和装置 | |
| CN108960177B (zh) | 一种将手势进行数字化处理的方法及装置 | |
| Sairam et al. | Virtual mouse using machine learning and gui automation | |
| WO2018014570A1 (zh) | 语音转化手写笔迹的方法和装置 | |
| JP6051991B2 (ja) | 信号処理装置、信号処理方法、及び信号処理プログラム | |
| CN103197767B (zh) | 利用手势虚拟键盘输入的方法及装置 | |
| CN111782041A (zh) | 打字方法及装置、设备、存储介质 | |
| Nigam et al. | A complete study of methodology of hand gesture recognition system for smart homes | |
| Robert et al. | A review on computational methods based automated sign language recognition system for hearing and speech impaired community | |
| CN111639318A (zh) | 移动终端上基于手势监测的风控方法及相关装置 | |
| CN108280184B (zh) | 一种基于智能笔的试题摘录方法、***及智能笔 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201127 Address after: Wusong Industrial Park, Wuzhong Development District of Suzhou City, Jiangsu province 215100 Wusong Road No. 818 Applicant after: INSPUR FINANCIAL INFORMATION TECHNOLOGY Co.,Ltd. Address before: 215100 No. 178 Tayun Road, Yuexi Street, Wuzhong District, Suzhou City, Jiangsu Province Applicant before: SUZHOU INSPUR INTELLIGENT SOFTWARE Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |