CN112613384A - 手势识别方法、手势识别装置及交互显示设备的控制方法 - Google Patents

手势识别方法、手势识别装置及交互显示设备的控制方法 Download PDF

Info

Publication number
CN112613384A
CN112613384A CN202011500378.XA CN202011500378A CN112613384A CN 112613384 A CN112613384 A CN 112613384A CN 202011500378 A CN202011500378 A CN 202011500378A CN 112613384 A CN112613384 A CN 112613384A
Authority
CN
China
Prior art keywords
hand
gesture
rgb
picture
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011500378.XA
Other languages
English (en)
Other versions
CN112613384B (zh
Inventor
王翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Hongcheng Opto Electronics Co Ltd
Original Assignee
Anhui Hongcheng Opto Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Hongcheng Opto Electronics Co Ltd filed Critical Anhui Hongcheng Opto Electronics Co Ltd
Priority to CN202011500378.XA priority Critical patent/CN112613384B/zh
Publication of CN112613384A publication Critical patent/CN112613384A/zh
Application granted granted Critical
Publication of CN112613384B publication Critical patent/CN112613384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种手势识别方法，包括：对逐一采集的手势RGB‑D图片依次进行处理，获取手部RGB‑D图片和相应的深度信息；对手部RGB‑D图片和深度信息逐一进行缓存形成第一图片序列；当第一图片序列的数量满足设定的第一阈值时，根据相邻两张手部RGB‑D图片的深度信息之差从所述第一图片序列中提取一组第二图片序列；对第二图片序列进行处理，获得一组手部关键点模型；根据一组手部关键点模型中对应关键点的距离来识别手势类型。通过手部RGB‑D图片的深度信息对图片序列筛选，保证了后续识别过程的数据可靠性；通过关键点之间的距离变化来识别手势，计算量小、实时性强。

Description

手势识别方法、手势识别装置及交互显示设备的控制方法
技术领域
本申请涉及智能交互技术领域，具体涉及一种手势识别方法、手势识别装置、交互显示设备的控制方法、电子设备及计算机可读介质。
背景技术
通过识别用户的手势来对设备进行控制，能够为用户提供一种简便、直接的人机交互方式。目前，手势识别的方式主要是基于手势图片信息，进行一系列的图像处理后，获得手势类型。例如，可以对获取的手势RGB-D图像进行处理。相对于传统的RGB图像，RGB-D图像多出一个D维度，即代表每一个像素点离摄像头的距离的深度信息。在目前的手势识别方法中，根据手势RGB-D图片中的深度信息，提取手部轮廓。接下来，将提取的手部轮廓与建立的手部特征库进行匹配，最终识别手势类型。对手势RGB-D图片进行分割后，在与手势特征库中的手势类型进行对比来识别特征的过程中，需要进行大量的计算、实时性较差。
发明内容
基于此，本申请提供了一种手势识别方法，以解决手势识别过程中计算量大、实时性差的问题。
根据本申请的第一方面，提供一种手势识别方法，包括：
对逐一采集的手势RGB-D图片依次进行处理，获取手部RGB-D图片和相应的深度信息；
对所述手部RGB-D图片和所述深度信息逐一进行缓存形成第一图片序列；
当所述第一图片序列的数量满足设定的第一阈值时，根据相邻两张手部RGB-D图片的深度信息之差从所述第一图片序列中提取一组第二图片序列；
对所述第二图片序列进行处理，获得一组手部关键点模型；
根据所述一组手部关键点模型中对应关键点的距离来识别手势类型。
根据本申请的一些实施例，所述对逐一采集的手势RGB-D图片依次进行处理，获取手部RGB-D图片和相应的深度信息，包括：
使用物体检测AI模型逐一提取所述手势RGB-D图片中的手部位置信息和手部分类标识；
根据所述手部位置信息对所述手势RGB-D图片进行裁剪获取对应的手部RGB-D图片。
根据本申请的一些实施例，所述对逐一采集的手势RGB-D图片依次进行处理，获取手部RGB-D图片和相应的深度信息，还包括：
提取所述手部RGB-D图片中D维度的像素点形成深度图片；
采用轮廓提取算法提取所述深度图片中的所有轮廓；
计算包含像素点数量最多的所述轮廓内部的像素点平均值并作为所述深度信息。
根据本申请的一些实施例，所述当所述第一图片序列的数量满足设定的第一阈值时，根据相邻两张手部RGB-D图片的深度信息之差从所述第一图片序列中提取一组第二图片序列，包括：
提取所述第一图片序列中相邻两张手部RGB-D图片的深度信息之差满足以下条件的手部RGB-D图片，
Δi＜0
∑|Δi|≥D
其中，Δi为当前手部RGB-D图片与前一张手部RGB-D图片的深度信息之差；D为设定的第二阈值。
根据本申请的一些实施例，根据所述一组手部关键点模型中对应关键点的距离来识别手势类型，包括：
根据所述对应关键点的距离变化判断是否符合预定义手势；
当符合预定义手势时，根据所述对应关键点的距离变化值确定手势类型。
根据本申请的一些实施例，所述预定义手势包括：
第一手势，所述手部关键点模型中拇指与食指的对应关键点距离逐渐变大或变小且其他手指的对应关键点距离保持不变；
第二手势，所述手部关键点模型中拇指与食指以及拇指与中指的对应关键点距离逐渐变大或变小且其他手指的对应关键点距离保持不变。
根据本申请的一些实施例，当符合预定义手势时，根据所述对应关键点的距离变化值确定手势类型，包括：
当所述一组手部关键点模型中第一张手部关键点模型中拇指与食指的的对应关键点之间的距离小于最后一张手部关键点模型中拇指与食指对应关键点之间的距离，则判断所述手势类型为第一放大手势；或
当所述一组手部关键点模型中第一张手部关键点模型中拇指与食指的的对应关键点之间的距离大于最后一张手部关键点模型中拇指与食指对应关键点之间的距离，则判断所述手势类型为第一缩小手势；或
当所述一组手部关键点模型中第一张手部关键点模型中拇指与食指以及拇指与中指的对应关键点之间的距离小于最后一张手部关键点模型中拇指与食指以及拇指与中指的对应关键点之间的距离，则判断所述手势类型为第二放大手势；或
当所述一组手部关键点模型中第一张手部关键点模型中拇指与食指以及拇指与中指的对应关键点之间的距离大于最后一张手部关键点模型中拇指与食指以及拇指与中指的对应关键点之间的距离，则判断所述手势类型为第二缩小手势。
根据本申请的第二方面，提供一种手势识别装置，包括：
手部图片获取模块，用于对逐一采集的手势RGB-D图片依次进行处理，获取手部RGB-D图片和相应的深度信息；
手部图片存储模块，用于对所述手部RGB-D图片和所述深度信息逐一进行分类缓存形成第一图片序列；
手部图片提取模块，用于当所述第一图片序列的数量满足设定的第一阈值时，根据相邻两张手部RGB-D图片的深度信息之差从所述第一图片序列中提取一组第二图片序列；
手部关键点提取模块，用于对所述第二图片序列进行处理，获得一组手部关键点模型；
手势识别模块，用于根据所述一组手部关键点模型中对应关键点的距离来识别手势类型。
本申请还提供一种交互显示设备的控制方法，包括：
使用上述手势识别方法获取手势类型；
根据获取的手势类型对显示的内容进行放大或缩小。
本申请还提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个处理程序；当所述一个或多个处理程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的手势识别方法。
本申请还提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的手势识别方法。
本申请提供的手势识别方法及装置，通过TOF摄像头直接采集自带D维度信息的手势RGB-D图片，无需从照片流中进行分割；通过物体检测AI模型识别手势RGB-D图片中的手部RGB-D图片，识别精度可调而且高效；根据手部图片的平均深度信息对缓存的图片序列进行筛选，保证了后续手势识别的数据可靠性；通过关键点定位模型提取手部RGB-D图片中的关键点信息，无需建立特征库；通过计算关键点的距离来判断手势类型，计算方法简单高效。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图，而并不超出本申请要求保护的范围。
图1示出根据本申请第一示例实施例的手势识别方法流程图；
图2示出根据本申请示例实施例的手部位置信息示意图；
图3示出根据本申请示例实施例的手部关键点模型示意图；
图4示出根据本申请第二示例实施例的手势识别方法流程图；
图5示出根据本申请第二示例实施例的手势识别方法执行逻辑示意图；
图6示出根据本申请示例实施例的手势识别装置示意图；
图7示出根据本申请示例实施例的交互显示设备的控制方法流程图；
图8示出根据本申请示例实施例的电子设备组成框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
本领域技术人员可以理解，附图只是示例实施例的示意图，可能不是按比例的。附图中的模块或流程并不一定是实施本申请所必须的，因此不能用于限制本申请的保护范围。
用户对触控设备的使用需求越来越多样化，例如远程控制需求。本发明人发现，在现有的触控设备使用过程中，对于用户手势的识别仅限于直接在触控屏上进行的触控手势，对于远程手势无法识别。由此，限制了触控设备的远程使用。为了触控设备远程控制的需求，本申请提供了一种手势识别方法。以下将结合附图对本申请的方案进行详细介绍。
图1示出根据本申请第一示例实施例的手势识别方法流程图。
根据本申请的第一示例实施例，提供一种手势识别方法，如图1所示。该手势识别方法包括：
在步骤S110，对逐一采集的手势RGB-D图片依次进行处理，获取手部RGB-D图片和相应的深度信息。
在手势识别过程中，采集的图片往往包含复杂的图像信息，例如人像、背景信息等。为了准确识别手势，首先需要将采集图像中的手部图片提取出来。物体检测AI模型是人工智能中目标检测的一个重要工具。通过训练好的物体检测AI模型，可以准确地将图片中的目标物体进行分类并标出需要识别的物体对象位置。
在本申请提供的手势识别方法中，使用训练好的手部物体检测AI模型对逐一采集的手势RGB-D图片依次进行处理，可以提取图片中手部位置信息，例如包容手部位置的矩形角点坐标，如图2中所示的坐标点(X1、Y1)、(X2、Y2)、(X3、Y3)、(X4、Y4)。获取手部位置信息之后，就可以根据四个坐标点对采集的手势RGB-D图片进行裁剪从而获取对应的手部RGB-D图片。通过物体检测AI模型提取采集图片中的手部图片，精度更高、更高效。
此外，通过训练好的手部物体检测AI模型，还可以提取图片中的手部分类标识，例如左手或者右手。在进行手势识别的过程中，必须基于同一只手的手势进行识别。因此，通过物体检测AI模型提取手部分类标识能够确保后续识别过程的数据基础来源为同一只手，从而提高识别结果的可靠性。
根据手部RGB-D图片，可以逐一计算出相应的深度信息。RGB-D图片相对于传统的RGB图片而言，增加了一维深度信息，即D维度。通过判断手部不同位置的深度信息变化情况，就可以识别出手的形状变化情况，进而识别出不同的手势。
在本申请实施例提供的手势识别方法中，首先提取手部RGB-D图片中D维度的所有像素点形成深度图片。接着，采用轮廓提取算法提取深度图片中的所有轮廓，将其中包含像素点最多的轮廓作为手部轮廓。计算手部轮廓内所有像素点的平均值，将其作为深度信息。将手部轮廓的平均深度值作为对应的手部RGB-D图片的深度值，既可以保证数据的合理使用又可以简化计算过程。
在步骤S120，对手部RGB-D图片和所述深度信息逐一进行缓存形成第一图片序列。
对于手势识别而言，需要针对一组图片序列进行识别。因此，前述逐一采集的手势RGB-D图片依次经过处理，提取对应的手部RGB-D图片、手部分类标识并计算出深度信息之后，可以按照手部分类标识，将每一张手势RGB-D图片对应的手部RGB-D图片和深度信息进行分类缓存，形成与手部分类标识对应的第一图片序列。例如，左手第一图片序列或者右手第一图片序列。当第一图片序列的缓存长度，例如手部RGB-D图片的数量满足设定的第一阈值时，可以根据第一图片序列进行手势识别。该第一阈值可以根据实际需求来进行设定。对识别精度要求较高时，可以将该阈值设定为较高的值，例如10张。对识别的实时性要求较高时，可以将该阈值设定为较低的值，例如3张。不同的阈值设定能够满足不同的手势识别需求。
在步骤S130，当第一图片序列的数量满足设定的第一阈值时，根据相邻两张手部RGB-D图片的深度信息之差从第一图片序列中提取一组第二图片序列。
根据本申请的示例实施例，第一图片序列的数量满足设定的第一阈值后，可以对第一图片序列中的图片进行筛选，去除一些误操作产生的手势动作，形成第二图片序列。以筛选后的第二图片序列为数据基础进行手势识别，可以进一步提高手势识别的精度。根据本申请的示例实施例，可以根据相邻两张手部RGB-D图片的深度信息之差来进行筛选，从第一图片序列中提取第二图片序列。例如，当第一图片序列中相邻两张手部RGB-D图片的深度信息之差满足以下条件时，将对应的手部RGB-D图片纳入第二图片序列；不满足以下条件时，删除对应的手部RGB-D图片：
Δi＜0
∑|Δi|≥D
其中，Δi为当前手部RGB-D图片与前一张手部RGB-D图片的深度信息之差；D为设定的第二阈值。第二阈值表示了两张图片中手部位置的最小移动距离。通过设定第二阈值，可以去除一些无意识的微小手部移动图片，避免误操作。当Δi＜0时，表示手在朝着靠近摄像头的方向移动；反之，手朝着远离摄像头的方向移动。下面以靠近摄像头移动的手势为例，对筛选的过程进行详细说明。
步骤S1，对于一组第一图片序列P[i]，从第二张图片P[2]开始，计算当前图片P[2]的深度信息D[2]与前一张图片P[1]的深度信息D[1]之间的差值Δ1。
步骤S2，当差值Δ1大于或者等于0，删除前一张图片P[1]，继续步骤S1；当差值Δ1小于0且绝对值|Δ1|大于或等于设定的第二阈值时，提取前一张图片P[1]和当前图片P[2]，并对后续图片继续执行步骤S1；当差值Δ1小于0且绝对值|Δ1|小于设定的第二阈值时，执行步骤S3；
步骤S3，计算后一张图片P[3]的深度信息D[3]与当前图片P[2]的深度信息D[2]之间的差值Δ2；当差值Δ2大于0，删除前一张图片P[1]、当前图片P[2]、后一张图片P[3]，继续步骤S1；当差值Δ2小于0且|Δ1|和|Δ2|之和大于或等于设定的第二阈值，提取前一张图片P[1]、当前图片P[2]、后一张图片P[3]，并对后续图片继续执行步骤S1；当差值Δ2小于0且|Δ1|和|Δ2|之和小于设定的第二阈值时，对后续图片执行步骤S3，直至Δi小于0且∑|Δi|大于或等于设定的第二阈值。
在步骤S140，对第二图片序列进行处理，获得一组手部关键点模型。
根据本申请的一些实施例，可以使用关键点定位模型对对第二图片序列进行处理，来获得一组手部关键点模型。关键点定位模型是根据预先设定的手部关键点信息训练获得的定位模型。将第二图片序列中的每一张手部RGB-D图片输入关键点定位模型可以获得该图片对应的手部关键点模型。手部关键点模型包括一组手部关键点以及对应的坐标信息。根据本申请的示例实施例，如图3所示，关键点2-4表示拇指，关键点5-8表示食指，关键点9-12表示中指，关键点13-16表示无名指，关键点17-20表示小指。
手势的识别以手部的关键特征点为基础，本申请通过关键点定位模型来提取手部的关键特征点，能够快速、精确的提取信息。此外，为了满足不同精度的需求，关键点的数量可以根据实际需求进行设定，更加柔性化。
在步骤S150，根据一组手部关键点模型中对应关键点的距离来识别手势类型。通常在手势的形成过程中，手部不同手指之间的空间位置会发生连续不断的变化。根据通过不同手指之间的空间位置就可以识别出手势类型。
在手势类型识别之前需要对手势类型进行预先定义。在本申请提供的实施例中，将手部关键点模型中拇指与食指的对应关键点距离逐渐变大或变小且其他手指的对应关键点距离保持不变的情况定义为第一手势即二指放大或缩小手势。例如图3中，特征点2-4与特征点5-8之间的距离逐渐缩小或者放大，特征点9-12、13-16、17-20的距离保持不变。如果需要将第一手势中的中指、无名指和小指的状态定义为蜷缩状态，可以通过特征点9-12、13-16、17-20各自之间的距离关系来进行定义。
在本申请提供的实施例中，将手部关键点模型中拇指与食指以及拇指与中指的对应关键点距离逐渐变大或变小且其他手指的对应关键点距离保持不变的情况定义为第二手势，即三指放大或缩小手势。例如图3中，特征点2-4与特征点5-8之间的距离逐渐缩小或者放大，而且特征点2-4与特征点9-12之间的距离同样逐渐缩小或者放大，特征点13-16、17-20的距离保持不变。类似地，如果需要将第二手势中无名指和小指的状态定义为蜷缩状态，可以通过特征点13-16、17-20各自之间的距离关系来进行定义。
手势类型可以按照实际需求根据手部关键点模型中的关键点进行定义，本申请仅以二指和三指的缩放手势为例，进行示例性的说明，对此不作限制。
在进行手势识别时，首先根据一组手部关键点模型中对应关键点的坐距离变化判断是否符合预定义手势。例如图3中的特征点2-4与特征点5-8之间的距离逐渐变大，特征点9-12、13-16、17-20的距离保持不变，则符合预定义的第一手势。
当符合预定义手势时，根据所述对应关键点的距离变化值确定手势类型。例如，当符合第一手势时，当一组手部关键点模型中第一张手部关键点模型中拇指与食指的的对应关键点之间的距离小于最后一张手部关键点模型中拇指与食指对应关键点之间的距离，则判断该手势类型为第一放大手势。当一组手部关键点模型中第一张手部关键点模型中拇指与食指的的对应关键点之间的距离大于最后一张手部关键点模型中拇指与食指对应关键点之间的距离，则判断所述手势类型为第一缩小手势；或
当符合第二手势时，一组手部关键点模型中第一张手部关键点模型中拇指与食指以及拇指与中指的对应关键点之间的距离小于最后一张手部关键点模型中拇指与食指以及拇指与中指的对应关键点之间的距离，则判断该手势类型为第二放大手势。一组手部关键点模型中第一张手部关键点模型中拇指与食指以及拇指与中指的对应关键点之间的距离大于最后一张手部关键点模型中拇指与食指以及拇指与中指的对应关键点之间的距离，则判断该手势类型为第二缩小手势。
根据本申请的另一些实施例，在识别第一手势和第二手势过程中还可以计算出手势的缩放系数，例如将第一张手部关键点模型中拇指与食指的的对应关键点之间的距离与最后一张手部关键点模型中拇指与食指对应关键点之间的距离的比值作为缩放系数。
在上述计算距离的过程中，由于每个手指的特征点为一组特征点，例如拇指的特征点为2-4、食指的特征点为5-8，因此可以先计算出特征点为2-4的位置平均值以及特征点为5-8的位置平均值，再计算两位置平均值之间的距离。对于特征点数量相同的情况，也可以先计算出每一个对应特征点的距离，再计算距离的平均值。
根据手部特征模型的特征点对应关系来进行手势识别，不仅可以快速的识别出预先定义的手势模型，还可以计算出手势的缩放系数，结果更加直观、准确。
图4示出根据本申请第二示例实施例的手势识别方法示意图。
根据本申请的另一实施例，本申请提供的手势识别方法在步骤S110之前还可以包括：
S100：通过TOF摄像头逐一采集手势RGB-D图片。RGB-D图片的获取有多种方法。本申请的实施例中采用TOF摄像头采集手势RGB-D图片，获得的图片中直接包含深度信息，无需通过RGB-D图像数据流转换成一帧帧的图像，图像处理过程更加直接、高效。
S101：对所述逐一采集的手势RGB-D图片进行预处理。对于采集的手势RGB-D图片，可能存在像素过高、形式不标准等问题。例如，通过预处理将采集的手势RGB-D图片的像素调整至需要的水平。或者，通过归一化处理将采集的手势RGB-D图片转换为标准形式，以便于后续使用物体检测AI模型对其进行信息提取。
图5示出根据本申请第二示例实施例的手势识别方法执行逻辑示意图。
在图4所示的实施例中，手势识别方法的执行逻辑如图5所示：
首先，通过TOF摄像头采集单张的手势RGB-D图片；
接下来，对单张手势RGB-D图片进行预处理，例如归一化等处理；
再通过物体检测模型对单张手势RGB-D图片进行处理，获取手部位置信息和分类标识；
根据手部位置信息从单张手势RGB-D图片裁剪出手部RGB-D图片；
接下来，根据手部RGB-D图片中的D维度信息计算平均深度；
然后，按照不同的分类标识缓存手部RGB-D图片和深度信息；
对缓存的手部RGB-D图片数量进行判断，是否大于设定的第一阈值，不满足判断条件时继续采集单张的手势RGB-D图片；
当满足判断条件时，从缓冲中筛选出符合要求的图片序列，去除一些误操作图片；
然后，通过关键点定位模型对筛选的图片序列进行处理获取图片序列中的手部关键点；
接下来，根据手部关键点信息判断是否符合预定义手势，当不满足判断条件时，更新图片缓存进入下一组图片序列的识别；
当满足判断条件时，计算关键点距离或比值；
最后根据差值、比值输出手势类型、缩放系数，该图片序列识别完毕，更新图片缓存进入下一组图片序列的识别。
图6示出根据本申请示例实施例的手势识别装置示意图。
根据本申请的另一实施例，提供一种手势识别装置600，包括手部图片获取模块610、手部图片存储模块620、手部图片提取模块630、手部关键点提取模块640、手势识别模块650。
手部图片获取模块610，可以用于对逐一采集的手势RGB-D图片依次进行处理，从而获取手部RGB-D图片和相应的深度信息。手部RGB-D图片本身自带D维度信息，可以提取手部RGB-D图片中的手部轮廓，将手部轮廓内部所有像素点的平均深度信息作为对应的深度值。
手部图片存储模块620，可以用于对手部RGB-D图片和深度信息逐一进行缓存形成第一图片序列。例如，将左右的手部RGB-D图片和对应的深度信息进行缓存，形成一组图片序列。
手部图片提取模块630，可以用于当所述第一图片序列的数量满足设定的第一阈值时，根据相邻两张手部RGB-D图片的深度信息之差从所述第一图片序列中提取一组第二图片序列。通过比较相邻两张手部RGB-D图片的深度信息之差，可以去除一些误操作图片或者不符合手势规则的图片。此外，第一阈值可以根据实际需求来设定，对实时性要求高时可以将第一阈值设定为较低的值，对准确度要求较高时可以将第一阈值设定为较高的值。
手部关键点提取模块640，可以用于对第二图片序列进行处理，获得一组手部关键点模型。例如，使用关键点定位模型进行处理。关键点定位模型是预先训练好的AI模型，能够根据设定的规则提取图片中的特征点。
手势识别模块650，可以用于根据一组手部关键点模型中对应关键点的距离来识别手势类型。在满足预先设定手势的情况下，可以根据一组手指的关键点之间的距离变化来识别手势，例如二指缩放手势或三指缩放手势等。
图7示出根据本申请示例实施例的交互显示设备的控制方法流程图。
本申请还提供一种交互显示设备的控制方法，包括：
在步骤S710，使用上述手势识别方法获取手势类型；
在步骤S720，根据获取的手势类型对显示的内容进行放大或缩小。
图8示出根据本申请示例实施例的手势识别电子设备组成框图。
本申请还提供一种手势识别电子设备900。图8显示的手势识别电子设备900仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，手势识别电子设备900以通用计算设备的形式表现。手势识别电子设备900的组件可以包括但不限于：至少一个处理单元910、至少一个存储单元920、连接不同***组件(包括存储单元920和处理单元910)的总线930等。
存储单元920存储有程序代码，程序代码可以被处理单元910执行，使得处理单元910执行本说明书描述的根据本申请各实施例的手势识别方法。
存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM)9203。
存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
手势识别电子设备900也可以与一个或多个外部设备9001(例如触摸屏、键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该手势识别电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器960可以通过总线930与手势识别电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合手势识别电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
根据本申请的一些实施例，本申请还可以提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述手势识别方法。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时，本领域技术人员依据本申请的思想，基于本申请的具体实施方式及应用范围上做出的改变或变形之处，都属于本申请保护的范围。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种手势识别方法，其特征在于，包括：
对逐一采集的手势RGB-D图片依次进行处理，获取手部RGB-D图片和相应的深度信息；
对所述手部RGB-D图片和所述深度信息逐一进行缓存形成第一图片序列；
当所述第一图片序列的数量满足设定的第一阈值时，根据相邻两张手部RGB-D图片的深度信息之差从所述第一图片序列中提取一组第二图片序列；
对所述第二图片序列进行处理，获得一组手部关键点模型；
根据所述一组手部关键点模型中对应关键点的距离来识别手势类型。
2.根据权利要求1所述的手势识别方法，其特征在于，所述对逐一采集的手势RGB-D图片依次进行处理，获取手部RGB-D图片和相应的深度信息，包括：
使用物体检测AI模型逐一提取所述手势RGB-D图片中的手部位置信息和手部分类标识；
根据所述手部位置信息对所述手势RGB-D图片进行裁剪获取对应的手部RGB-D图片。
3.根据权利要求2所述的手势识别方法，其特征在于，所述对逐一采集的手势RGB-D图片依次进行处理，获取手部RGB-D图片和相应的深度信息，还包括：
提取所述手部RGB-D图片中D维度的像素点形成深度图片；
采用轮廓提取算法提取所述深度图片中的所有轮廓；
计算包含像素点数量最多的所述轮廓内部的像素点平均值并作为所述深度信息。
4.根据权利要求1所述的手势识别方法，其特征在于，所述当所述第一图片序列的数量满足设定的第一阈值时，根据相邻两张手部RGB-D图片的深度信息之差从所述第一图片序列中提取一组第二图片序列，包括：
提取所述第一图片序列中相邻两张手部RGB-D图片的深度信息之差满足以下条件的手部RGB-D图片，
Δi＜0
∑|Δi|≥D
其中，Δi为当前手部RGB-D图片与前一张手部RGB-D图片的深度信息之差；D为设定的第二阈值。
5.根据权利要求1所述的手势识别方法，其特征在于，根据所述一组手部关键点模型中对应关键点的距离来识别手势类型，包括：
根据所述对应关键点的距离变化判断是否符合预定义手势；
当符合预定义手势时，根据所述对应关键点的距离变化值确定手势类型。
6.根据权利要求5所述的手势识别方法，其特征在于，所述预定义手势包括：
第一手势，所述手部关键点模型中拇指与食指的对应关键点距离逐渐变大或变小且其他手指的对应关键点距离保持不变；
第二手势，所述手部关键点模型中拇指与食指以及拇指与中指的对应关键点距离逐渐变大或变小且其他手指的对应关键点距离保持不变。
7.根据权利要求6所述的手势识别方法，其特征在于，当符合预定义手势时，根据所述对应关键点的距离变化值确定手势类型，包括：
当所述一组手部关键点模型中第一张手部关键点模型中拇指与食指的的对应关键点之间的距离小于最后一张手部关键点模型中拇指与食指对应关键点的之间的距离，则判断所述手势类型为第一放大手势；或
当所述一组手部关键点模型中第一张手部关键点模型中拇指与食指的的对应关键点之间的距离大于最后一张手部关键点模型中拇指与食指对应关键点的之间的距离，则判断所述手势类型为第一缩小手势；或
当所述一组手部关键点模型中第一张手部关键点模型中拇指与食指以及拇指与中指的对应关键点之间的距离小于最后一张手部关键点模型中拇指与食指以及拇指与中指的对应关键点之间的距离，则判断所述手势类型为第二放大手势；或
当所述一组手部关键点模型中第一张手部关键点模型中拇指与食指以及拇指与中指的对应关键点之间的距离大于最后一张手部关键点模型中拇指与食指以及拇指与中指的对应关键点之间的距离，则判断所述手势类型为第二缩小手势。
8.一种手势识别装置，其特征在于，包括：
手部图片获取模块，用于对逐一采集的手势RGB-D图片依次进行处理，获取手部RGB-D图片和相应的深度信息；
手部图片存储模块，用于对所述手部RGB-D图片和所述深度信息逐一进行缓存形成第一图片序列；
手部图片提取模块，用于当所述第一图片序列的数量满足设定的第一阈值时，根据相邻两张手部RGB-D图片的深度信息之差从所述第一图片序列中提取一组第二图片序列；
手部关键点提取模块，用于对所述第二图片序列进行处理，获得一组手部关键点模型；
手势识别模块，用于根据所述一组手部关键点模型中对应关键点的距离来识别手势类型。
9.一种交互显示设备的控制方法，其特征在于，包括：
使用权利要求1-7中任一所述的手势识别方法获取手势类型；
根据获取的手势类型对显示的内容进行放大或缩小。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个处理程序；
当所述一个或多个处理程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的手势识别方法。
11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的手势识别方法。
CN202011500378.XA 2020-12-18 2020-12-18 手势识别方法、手势识别装置及交互显示设备的控制方法 Active CN112613384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011500378.XA CN112613384B (zh) 2020-12-18 2020-12-18 手势识别方法、手势识别装置及交互显示设备的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011500378.XA CN112613384B (zh) 2020-12-18 2020-12-18 手势识别方法、手势识别装置及交互显示设备的控制方法

Publications (2)

Publication Number Publication Date
CN112613384A true CN112613384A (zh) 2021-04-06
CN112613384B CN112613384B (zh) 2023-09-19

Family

ID=75240436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011500378.XA Active CN112613384B (zh) 2020-12-18 2020-12-18 手势识别方法、手势识别装置及交互显示设备的控制方法

Country Status (1)

Country Link
CN (1) CN112613384B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114063772A (zh) * 2021-10-26 2022-02-18 深圳市鸿合创新信息技术有限责任公司 手势识别方法、装置、设备及介质
CN114581535A (zh) * 2022-03-03 2022-06-03 北京深光科技有限公司 图像中用户骨关键点标注方法、装置、存储介质及设备
CN115826764A (zh) * 2023-02-13 2023-03-21 北京唱吧科技股份有限公司 基于拇指的手势控制方法及***
WO2023116620A1 (zh) * 2021-12-22 2023-06-29 北京字跳网络技术有限公司 一种手势数据的标注方法及装置

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268482A (zh) * 2013-05-31 2013-08-28 清华大学 一种低复杂度的手势提取和手势深度获取方法
CN103679154A (zh) * 2013-12-26 2014-03-26 中国科学院自动化研究所 基于深度图像的三维手势动作的识别方法
CN104182772A (zh) * 2014-08-19 2014-12-03 大连理工大学 一种基于深度学习的手势识别方法
US20160041616A1 (en) * 2013-10-31 2016-02-11 Boe Technology Group Co., Ltd. Display device and control method thereof, and gesture recognition method
CN105893944A (zh) * 2016-03-29 2016-08-24 陕西师范大学 深度信息静态手势分割方法
US20170068849A1 (en) * 2015-09-03 2017-03-09 Korea Institute Of Science And Technology Apparatus and method of hand gesture recognition based on depth image
CN106503626A (zh) * 2016-09-29 2017-03-15 南京信息工程大学 基于深度图像与手指轮廓匹配的并指手势识别方法
CN107808131A (zh) * 2017-10-23 2018-03-16 华南理工大学 基于双通路深度卷积神经网络的动态手势识别方法
CN107967061A (zh) * 2017-12-21 2018-04-27 北京华捷艾米科技有限公司 人机交互方法及装置
CN108776773A (zh) * 2018-05-04 2018-11-09 华南理工大学 一种基于深度图像的三维手势识别方法及交互***
CN109308459A (zh) * 2018-09-05 2019-02-05 南京大学 基于手指注意力模型和关键点拓扑模型的手势估计方法
CN109710071A (zh) * 2018-12-26 2019-05-03 青岛小鸟看看科技有限公司 一种屏幕控制方法和装置
CN110209273A (zh) * 2019-05-23 2019-09-06 Oppo广东移动通信有限公司 手势识别方法、交互控制方法、装置、介质与电子设备
CN111104820A (zh) * 2018-10-25 2020-05-05 中车株洲电力机车研究所有限公司 一种基于深度学习的手势识别方法
CN111124117A (zh) * 2019-12-19 2020-05-08 芋头科技（杭州）有限公司 基于手绘草图的增强现实交互方法和设备
CN111158467A (zh) * 2019-12-12 2020-05-15 青岛小鸟看看科技有限公司 一种手势交互方法和终端
CN111178170A (zh) * 2019-12-12 2020-05-19 青岛小鸟看看科技有限公司 一种手势识别方法和一种电子设备
CN111273778A (zh) * 2020-02-14 2020-06-12 北京百度网讯科技有限公司 基于手势控制电子设备的方法和装置
CN111444764A (zh) * 2020-02-21 2020-07-24 广东工业大学 一种基于深度残差网络的手势识别方法
CN111797709A (zh) * 2020-06-14 2020-10-20 浙江工业大学 一种基于回归检测的实时动态手势轨迹识别方法
US20200372246A1 (en) * 2019-05-21 2020-11-26 Magic Leap, Inc. Hand pose estimation

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268482A (zh) * 2013-05-31 2013-08-28 清华大学 一种低复杂度的手势提取和手势深度获取方法
US20160041616A1 (en) * 2013-10-31 2016-02-11 Boe Technology Group Co., Ltd. Display device and control method thereof, and gesture recognition method
CN103679154A (zh) * 2013-12-26 2014-03-26 中国科学院自动化研究所 基于深度图像的三维手势动作的识别方法
CN104182772A (zh) * 2014-08-19 2014-12-03 大连理工大学 一种基于深度学习的手势识别方法
US20170068849A1 (en) * 2015-09-03 2017-03-09 Korea Institute Of Science And Technology Apparatus and method of hand gesture recognition based on depth image
CN105893944A (zh) * 2016-03-29 2016-08-24 陕西师范大学 深度信息静态手势分割方法
CN106503626A (zh) * 2016-09-29 2017-03-15 南京信息工程大学 基于深度图像与手指轮廓匹配的并指手势识别方法
CN107808131A (zh) * 2017-10-23 2018-03-16 华南理工大学 基于双通路深度卷积神经网络的动态手势识别方法
CN107967061A (zh) * 2017-12-21 2018-04-27 北京华捷艾米科技有限公司 人机交互方法及装置
CN108776773A (zh) * 2018-05-04 2018-11-09 华南理工大学 一种基于深度图像的三维手势识别方法及交互***
CN109308459A (zh) * 2018-09-05 2019-02-05 南京大学 基于手指注意力模型和关键点拓扑模型的手势估计方法
CN111104820A (zh) * 2018-10-25 2020-05-05 中车株洲电力机车研究所有限公司 一种基于深度学习的手势识别方法
CN109710071A (zh) * 2018-12-26 2019-05-03 青岛小鸟看看科技有限公司 一种屏幕控制方法和装置
US20200372246A1 (en) * 2019-05-21 2020-11-26 Magic Leap, Inc. Hand pose estimation
CN110209273A (zh) * 2019-05-23 2019-09-06 Oppo广东移动通信有限公司 手势识别方法、交互控制方法、装置、介质与电子设备
CN111158467A (zh) * 2019-12-12 2020-05-15 青岛小鸟看看科技有限公司 一种手势交互方法和终端
CN111178170A (zh) * 2019-12-12 2020-05-19 青岛小鸟看看科技有限公司 一种手势识别方法和一种电子设备
CN111124117A (zh) * 2019-12-19 2020-05-08 芋头科技（杭州）有限公司 基于手绘草图的增强现实交互方法和设备
CN111273778A (zh) * 2020-02-14 2020-06-12 北京百度网讯科技有限公司 基于手势控制电子设备的方法和装置
CN111444764A (zh) * 2020-02-21 2020-07-24 广东工业大学 一种基于深度残差网络的手势识别方法
CN111797709A (zh) * 2020-06-14 2020-10-20 浙江工业大学 一种基于回归检测的实时动态手势轨迹识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ARIEL CAPUTO等: "SFINGE 3D: A novel benchmark for online detection and recognition of heterogeneous hand gestures from 3D fingers’ trajectories", 《COMPUTERS & GRAPHICS》, pages 232 - 242 *
高晶晶: "基于RGB-D图像的3D手势识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2018, no. 12, pages 138 - 1574 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114063772A (zh) * 2021-10-26 2022-02-18 深圳市鸿合创新信息技术有限责任公司 手势识别方法、装置、设备及介质
CN114063772B (zh) * 2021-10-26 2024-05-31 深圳市鸿合创新信息技术有限责任公司 手势识别方法、装置、设备及介质
WO2023116620A1 (zh) * 2021-12-22 2023-06-29 北京字跳网络技术有限公司 一种手势数据的标注方法及装置
CN114581535A (zh) * 2022-03-03 2022-06-03 北京深光科技有限公司 图像中用户骨关键点标注方法、装置、存储介质及设备
CN115826764A (zh) * 2023-02-13 2023-03-21 北京唱吧科技股份有限公司 基于拇指的手势控制方法及***

Also Published As

Publication number Publication date
CN112613384B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN112613384B (zh) 手势识别方法、手势识别装置及交互显示设备的控制方法
CN107808143B (zh) 基于计算机视觉的动态手势识别方法
RU2711029C2 (ru) Классификация касаний
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN108229324B (zh) 手势追踪方法和装置、电子设备、计算机存储介质
CN109086706B (zh) 应用于人机协作中的基于分割人体模型的动作识别方法
Nair et al. Hand gesture recognition system for physically challenged people using IOT
US20130125069A1 (en) System and Method for Interactive Labeling of a Collection of Images
Wachs et al. A real-time hand gesture interface for medical visualization applications
CN105912126B (zh) 一种手势运动映射到界面的增益自适应调整方法
CN107357414B (zh) 一种点击动作的识别方法及点击动作识别装置
CN109451634B (zh) 基于手势控制电灯的方法及其智能电灯***
WO2023151237A1 (zh) 人脸位姿估计方法、装置、电子设备及存储介质
KR101559502B1 (ko) 실시간 손 포즈 인식을 통한 비접촉식 입력 인터페이스 방법 및 기록 매체
WO2020173024A1 (zh) 面向智能家居场景的多手势精准分割方法
CN111709317B (zh) 一种基于显著性模型下多尺度特征的行人重识别方法
CN115335872A (zh) 目标检测网络的训练方法、目标检测方法及装置
KR20200068083A (ko) 심층 합성곱 신경망을 이용하여 rgb-d 이미지로부터 손 구성요소 및 손가락 끝을 추적하기 위한 방법 및 장치
CN111192312A (zh) 基于深度学习的深度图像获取方法、装置、设备及介质
CN111368674B (zh) 图像识别方法及装置
CN113961067A (zh) 基于深度学习的非接触式涂鸦绘制方法与识别交互***
Chai et al. MSTGAR: Multioperator-based stereoscopic thumbnail generation with arbitrary resolution
Liao et al. Design of real-time face position tracking and gesture recognition system based on image segmentation algorithm
CN109799905B (zh) 一种手部跟踪方法和广告机
CN111913584B (zh) 一种基于手势识别的鼠标光标控制方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant