CN109446994B - 手势关键点检测方法、装置、电子设备及存储介质 - Google Patents

手势关键点检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109446994B
CN109446994B CN201811280155.XA CN201811280155A CN109446994B CN 109446994 B CN109446994 B CN 109446994B CN 201811280155 A CN201811280155 A CN 201811280155A CN 109446994 B CN109446994 B CN 109446994B
Authority
CN
China
Prior art keywords
gesture
key point
image
category
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811280155.XA
Other languages
English (en)
Other versions
CN109446994A (zh
Inventor
董亚娇
刘裕峰
郑文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201811280155.XA priority Critical patent/CN109446994B/zh
Publication of CN109446994A publication Critical patent/CN109446994A/zh
Priority to PCT/CN2019/103119 priority patent/WO2020088069A1/zh
Application granted granted Critical
Publication of CN109446994B publication Critical patent/CN109446994B/zh
Priority to US17/119,975 priority patent/US11514706B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请是关于一种手势关键点检测方法、装置、电子设备及存储介质，其中，该方法包括：获取手势图像及手势图像的手势类别，在预先训练得到的多个关键点检测网络中，确定与手势类别对应的关键点检测网络，将手势图像输入与手势类别对应的关键点检测网络中，得到与手势类别对应的手势关键点以及手势关键点在手势图像中的位置。由于在本申请实施例中，该多个关键点检测网络中的每个关键点检测网络对应一种手势类别，与该手势类别对应的关键点检测网络的参数是针对该手势类别的参数，因此，采用与该手势类别对应的关键点检测网络，检测该手势类别的手势图像中的关键时，可以提高手势关键点检测的准确度。

Description

手势关键点检测方法、装置、电子设备及存储介质
技术领域
本申请涉及手势识别技术领域，特别是涉及手势关键点检测方法、装置、电子设备及存储介质。
背景技术
随着人机交互技术的发展，已经出现了基于识别技术的人机交互技术。例如，在基于手势识别技术的人机交互技术中，手势识别设备可以采集手势的图像，然后计算机对采集到的手势的图像进行手势识别，并转换为对应的命令，然后计算机可以执行该对应的命令，并将执行结果显示在显示器上。
在进行手势识别时，需要检测采集的手势图像中的手势关键点，然后对检测的手势关键点进行识别分析，从而完成手势识别，例如，对图1所示的手势图像进行检测，可以得到21个关键点，然后对检测得到的21个关键点进行识别分析，以完成手势识别。
在相关技术中，在对该21个关键点进行检测时，是首先设计一个深度卷积神经网络，然后采用训练数据对该深度卷积神经网络进行训练，得到一个多层深度卷积神经网络，最后采用该多层深度卷积神经网络对采集的手势图像进行关键点检测。
然而，对于不同的手势，关键点的相对位置存在很大差异，若采用该多层深度卷积神经网络对不同的手势图像进行关键点检测，检测结果的准确度不高。
发明内容
为克服相关技术中存在的问题，本申请实施例的目的在于提供一种手势关键点检测方法、装置、电子设备及存储介质，以提高手势关键点检测的准确度。具体技术方案如下：
根据本公开实施例的第一方面，提供了一种手势关键点检测方法，包括：
获取手势图像及手势图像的手势类别；
在预先训练得到的多个关键点检测网络中，确定与手势类别对应的关键点检测网络，其中，多个关键点检测网络中的每个关键点检测网络对应一种手势类别；
将手势图像输入与手势类别对应的关键点检测网络中，得到与手势类别对应的手势关键点以及手势关键点在手势图像中的位置。
可选的，获取手势图像及手势图像的手势类别，包括：
获取手势图像，采用预先训练得到的目标分类算法确定手势图像的手势类别。
可选的，获取手势图像及手势图像的手势类别，包括：
获取手势图像，采用预先训练得到的目标检测算法，确定手势图像中的手势类别和包含与手势类别对应的手势的第一区域；
可选的，将手势图像输入与手势类别对应的关键点检测网络中，得到与手势类别对应的手势关键点以及手势关键点在手势图像中的位置，包括：
在手势图像中提取第一区域；并将第一区域输入与手势类别对应的关键点检测网络中，得到与手势类别对应的手势关键点、以及与手势类别对应的手势关键点在第一区域中的位置。
可选的，预先训练得到目标检测算法，包括：
获取手势训练图像，手势训练图像包括：预先标记的手势类别和预先标记的手势位置；
将手势训练图像，输入预设的目标检测算法中，得到与手势训练图像对应的手势预测图像，手势预测图像中包括预测的手势类别和预测的手势位置；
基于预先标记的手势类别和预测的手势类别之间的第一损失、预先标记的手势位置和预测的手势位置之间的第二损失，调整预设的目标检测算法的参数。
可选的，预先训练每个关键点检测网络，包括：
获取预设的关键点检测网络和标记有相同手势类别的手势训练图像，手势训练图像中标记有该手势类别对应的手势关键点；
将标记有相同手势类别的手势训练图像输入预设的关键点检测网络中，得到与手势训练图像对应的预测的手势关键点；
基于预测的手势关键点和手势训练图像中标记的手势关键点之间的损失，调整预设的关键点检测网络的参数。
根据本公开实施例的第二方面，提供了一种手势关键点检测装置，包括：
获取模块，被配置为获取手势图像及手势图像的手势类别；
关键点检测网络确定模块，被配置为在预先训练得到的多个关键点检测网络中，确定与手势类别对应的关键点检测网络，其中，多个关键点检测网络中的每个关键点检测网络对应一种手势类别；
检测模块，被配置为将手势图像输入与手势类别对应的关键点检测网络中，得到与手势类别对应的手势关键点以及手势关键点在手势图像中的位置。
可选的，获取模块，具体被配置为：获取手势图像，采用预先训练得到的目标分类算法确定手势图像的手势类别。
可选的，获取模块，具体被配置为：获取手势图像，采用预先训练得到的目标检测算法，确定手势图像中的手势类别和包含与手势类别对应的手势的第一区域；
可选的，检测模块，具体被配置为：在手势图像中提取第一区域；并将第一区域输入与手势类别对应的关键点检测网络中，得到与手势类别对应的手势关键点、以及与手势类别对应的手势关键点在第一区域中的位置。
可选的，本申请实施例的一种手势关键点检测装置，还包括：目标检测算法训练模块，被配置为：
获取手势训练图像，手势训练图像包括：预先标记的手势类别和预先标记的手势位置；
将手势训练图像，输入预设的目标检测算法中，得到与手势训练图像对应的手势预测图像，手势预测图像中包括预测的手势类别和预测的手势位置；
基于预先标记的手势类别和预测的手势类别之间的第一损失、预先标记的手势位置和预测的手势位置之间的第二损失，调整预设的目标检测算法的参数。
可选的，本申请实施例的一种手势关键点检测装置，还包括：关键点检测网络训练模块，被配置为：
获取预设的关键点检测网络和标记有相同手势类别的手势训练图像，手势训练图像中标记有该手势类别对应的手势关键点；
将标记有相同手势类别的手势训练图像输入预设的关键点检测网络中，得到与手势训练图像对应的预测的手势关键点；
基于预测的手势关键点和手势训练图像中标记的手势关键点之间的损失，调整预设的关键点检测网络的参数。
根据本公开实施例的第三方面，提供了一种电子设备，包括处理器和用于存储处理器可执行指令的存储器；
其中，处理器被配置为：
获取手势图像及手势图像的手势类别；
在预先训练得到的多个关键点检测网络中，确定与手势类别对应的关键点检测网络，其中，多个关键点检测网络中的每个关键点检测网络对应一种手势类别；
将手势图像输入与手势类别对应的关键点检测网络中，得到与手势类别对应的手势关键点以及手势关键点在手势图像中的位置。
可选的，处理器，还被配置为：
获取手势图像，采用预先训练得到的目标分类算法确定手势图像的手势类别。
可选的，处理器，具体被配置为：
获取手势图像，采用预先训练得到的目标检测算法，确定手势图像中的手势类别和包含与手势类别对应的手势的第一区域；
处理器，还具体被配置为：
在手势图像中提取第一区域；并将第一区域输入与手势类别对应的关键点检测网络中，得到与手势类别对应的手势关键点、以及与手势类别对应的手势关键点在第一区域中的位置。
可选的，处理器，还被配置为：
获取手势训练图像，手势训练图像包括：预先标记的手势类别和预先标记的手势位置；
将手势训练图像，输入预设的目标检测算法中，得到与手势训练图像对应的手势预测图像，手势预测图像中包括预测的手势类别和预测的手势位置；
基于预先标记的手势类别和预测的手势类别之间的第一损失、预先标记的手势位置和预测的手势位置之间的第二损失，调整预设的目标检测算法的参数。
可选的，处理器，还被配置为：
获取预设的关键点检测网络和标记有相同手势类别的手势训练图像，手势训练图像中标记有该手势类别对应的手势关键点；
将标记有相同手势类别的手势训练图像输入预设的关键点检测网络中，得到与手势训练图像对应的预测的手势关键点；
基于预测的手势关键点和手势训练图像中标记的手势关键点之间的损失，调整预设的关键点检测网络的参数。
根据本公开实施例的第四方面，提供了一种非临时性计算机可读存储介质，当存储介质中的指令由电子设备的处理器执行时，使得处理器能够执行一种手势关键点检测方法，方法包括：
获取手势图像及手势图像的手势类别；
在预先训练得到的多个关键点检测网络中，确定与手势类别对应的关键点检测网络，其中，多个关键点检测网络中的每个关键点检测网络对应一种手势类别；
将手势图像输入与手势类别对应的关键点检测网络中，得到与手势类别对应的手势关键点以及手势关键点在手势图像中的位置。
可选的，获取手势图像及手势图像的手势类别，包括：
获取手势图像，采用预先训练得到的目标分类算法确定手势图像的手势类别。
可选的，获取手势图像及手势图像的手势类别，包括：
获取手势图像，采用预先训练得到的目标检测算法，确定手势图像中的手势类别和包含与手势类别对应的手势的第一区域；
可选的，将手势图像输入与手势类别对应的关键点检测网络中，得到与手势类别对应的手势关键点以及手势关键点在手势图像中的位置，包括：
在手势图像中提取第一区域；并将第一区域输入与手势类别对应的关键点检测网络中，得到与手势类别对应的手势关键点、以及与手势类别对应的手势关键点在第一区域中的位置。
可选的，预先训练得到目标检测算法，包括：
获取手势训练图像，手势训练图像包括：预先标记的手势类别和预先标记的手势位置；
将手势训练图像，输入预设的目标检测算法中，得到与手势训练图像对应的手势预测图像，手势预测图像中包括预测的手势类别和预测的手势位置；
基于预先标记的手势类别和预测的手势类别之间的第一损失、预先标记的手势位置和预测的手势位置之间的第二损失，调整预设的目标检测算法的参数。
可选的，预先训练每个关键点检测网络，包括：
获取预设的关键点检测网络和标记有相同手势类别的手势训练图像，手势训练图像中标记有该手势类别对应的手势关键点；
将标记有相同手势类别的手势训练图像输入预设的关键点检测网络中，得到与手势训练图像对应的预测的手势关键点；
基于预测的手势关键点和手势训练图像中标记的手势关键点之间的损失，调整预设的关键点检测网络的参数。
根据本公开实施例的第五方面，还提供了一种包含指令的程序产品，当其在电子设备上运行时，使得电子设备执行上述第一方面提供的一种手势关键点检测方法步骤。
根据本公开实施例的第六方面，还提供了一种计算机程序，当其在电子设备上运行时，使得电子设备执行上述第一方面提供的一种手势关键点检测方法步骤。
本申请实施例提供的一种手势关键点检测方法、装置、电子设备及存储介质，可以在获取到手势图像及手势图像的手势类别后，在预先训练得到的多个关键点检测网络中，确定与手势类别对应的关键点检测网络，然后将手势图像输入与手势类别对应的关键点检测网络中，从而可以得到与手势类别对应的手势关键点在手势图像中的位置。由于在本申请实施例中，该多个关键点检测网络中的每个关键点检测网络对应一种手势类别，与该手势类别对应的关键点检测网络的参数是针对该手势类别的参数，因此，采用与该手势类别对应的关键点检测网络，检测该手势类别的手势图像中的关键时，可以提高手势关键点检测的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请，实施本申请的任一产品或方法并不一定需要同时达到以上的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为相关技术中的手势中21个关键点的示意图；
图2为根据一示例性实施例示出的一种手势关键点检测方法第一种实施方式的流程图；
图3为根据一示例性实施例示出的一种手势关键点检测装置的结构示意图；
图4为根据一示例性实施例示出的一种手势关键点检测方法第二种实施方式的流程图；
图5是根据一示例性实施例示出的一种移动终端的结构示意图；
图6是根据一示例性实施例示出的一种服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决相关技术存在的问题，本申请实施例提供了一种手势关键点检测方法、装置、电子设备及存储介质，以实现提高手势关键点检测的准确度。下面，首先对本申请实施例的一种手势关键点检测方法进行介绍。
实施例一
如图2所示，为根据一示例性实施例示出的一种手势关键点检测方法第一种实施方式的流程图，该方法可以包括：
S110，获取手势图像及手势图像的手势类别。
在一些示例中，本申请实施例的一种手势关键点检测方法可以应用于一电子设备，该电子设备可以是智能手机、个人电脑或者服务器。
在采用该电子设备对手势的关键点进行检测时，用户可以向上述的电子设备输入待检测的手势图像，以及该手势图像的手势类别，因此，上述的电子设备可以获取到手势图像以及手势图像的手势类别。
在一些示例中，该手势图像中可以标记有对应的手势类别。此时，上述的电子设备可以从该手势图像中提取出该手势图像的手势类别。
在一些示例中，该手势图像中可以是一种手势类别的手势图像。
在一些示例中，上述的电子设备还可以对手势图像进行分类。
在一些示例中，上述的电子设备中可以设置有预先训练得到的目标分类算法，则用户可以向该电子设备中输入手势图像，该电子设备可以采用该预先训练得到的目标分类算法对该手势图像进行分类，确定该手势图像的手势类别。
在一些示例中，可以在上述的电子设备中预先设置一个目标分类算法，该目标分类算法可以是现有技术中的目标分类算法，然后可以向上述的电子设备中输入标记有手势类别的手势训练图像，该电子设备在接收到该手势训练图像后，可以对该设置的目标分类算法进行训练。
例如，该目标分类算法可以是基于神经网络的分类算法，也可以是K最近邻分类算法等。
S120，在预先训练得到的多个关键点检测网络中，确定与手势类别对应的关键点检测网络。
上述的电子设备在获取到手势图像及手势图像的手势类别后，为了实现对不同手势类别，采用对应的关键点检测网络，可以在预先训练得到的多个关键点检测网络中，查找与上述的手势类别对应的关键点检测网络。
其中，该多个关键点检测网络中的每个关键点检测网络对应一种手势类别。
在一些示例中，该多个关键点检测网络可以是采用相同结构的检测网络，也可以采用不同的检测网络，这都是可以的。例如，该关键点检测网络可以是二阶堆叠深度卷积沙漏网络。
当采用相同结构的检测网络时，各个关键点检测网络的参数不同。
在一些示例中，上述的电子设备可以采用如下方式，训练每个手势类别对应的关键点检测网络：
步骤A，获取预设的关键点检测网络和标记有相同手势类别的手势训练图像。
其中，该手势训练图像中标记有该手势类别对应的手势关键点。该标记的手势关键点可以是图1所示的21个关键点中的多个关键点。该标记有手势类别的手势训练图像中可以包括手势关键点的位置。
这样，在通过后续步骤进行训练时，可以使得训练后的手势关键点检测网络能够在识别手势中的关键点时，识别出手势关键点的位置。
步骤B，将标记有相同手势类别的手势训练图像输入预设的关键点检测网络中，得到与手势训练图像对应的预测的手势关键点。
在一些示例中，在将标记有相同手势类别的手势训练图像输入至该预设的关键点检测网络之前，可以采用均值为μ和方差为δ2的高斯分布对该预设的关键点检测网络中的参数进行初始化。
其中，该均值μ和方差δ2可以根据经验设置，例如，该均值可以是0，方差可以是0.01。
步骤C，基于预测的手势关键点和手势训练图像中标记的手势关键点之间的损失，调整预设的关键点检测网络的参数。
在一些示例中，上述的步骤A～C可以是循环迭代进行的。为了降低训练复杂度，减少训练该预设的关键点检测网络的时间开销，在通过步骤B，得到与手势训练图像对应的预测的手势关键点之后，可以基于预测的手势关键点和手势训练图像中标记的手势关键点，计算预测的准确度，当预测的准确度大于或等于预设准确度阈值时，可以将该预设的关键点检测网络，作为与该手势类别对应的训练得到的关键点检测网络。
S130，将手势图像输入与手势类别对应的关键点检测网络中，得到与手势类别对应的手势关键点以及手势关键点在手势图像中的位置。
上述的电子设备在得到与上述的手势图像的手势类别对应的关键点检测网络后，可以将该手势图像输入至该关键点检测网络中，以使得该关键点检测网络检测该手势图像中的手势关键点以及每个手势关键点在手势图像中的位置。
这样，该关键点检测网络输出的检测结果，即为与该手势图像的手势类别对应的手势关键点以及手势关键点在手势图像中的位置。
本申请实施例提供的一种手势关键点检测方法，可以在获取到手势图像及手势图像的手势类别后，在预先训练得到的多个关键点检测网络中，确定与手势类别对应的关键点检测网络，然后将手势图像输入与手势类别对应的关键点检测网络中，从而可以得到与手势类别对应的手势关键点在手势图像中的位置。由于在本申请实施例中，该多个关键点检测网络中的每个关键点检测网络对应一种手势类别，与该手势类别对应的关键点检测网络的参数是针对该手势类别的参数，因此，采用与该手势类别对应的关键点检测网络，检测该手势类别的手势图像中的关键时，可以提高手势关键点检测的准确度。
实施例二
相应于上述的方法实施例，本申请实施例还提供了一种手势关键点检测装置，如图3所示，为根据一示例性实施例示出的一种手势关键点检测装置的结构示意图。参照图3，该装置可以包括获取模块210、关键点检测网络确定模块220和检测模块230。
该获取模块210，被配置为获取手势图像及手势图像的手势类别；
该关键点检测网络确定模块220，被配置为在预先训练得到的多个关键点检测网络中，确定与手势类别对应的关键点检测网络，其中，多个关键点检测网络中的每个关键点检测网络对应一种手势类别；
该检测模块230，被配置为将手势图像输入与手势类别对应的关键点检测网络中，得到与手势类别对应的手势关键点以及手势关键点在手势图像中的位置。
本申请实施例提供的一种手势关键点检测装置，可以在获取到手势图像及手势图像的手势类别后，在预先训练得到的多个关键点检测网络中，确定与手势类别对应的关键点检测网络，然后将手势图像输入与手势类别对应的关键点检测网络中，从而可以得到与手势类别对应的手势关键点在手势图像中的位置。由于在本申请实施例中，该多个关键点检测网络中的每个关键点检测网络对应一种手势类别，与该手势类别对应的关键点检测网络的参数是针对该手势类别的参数，因此，采用与该手势类别对应的关键点检测网络，检测该手势类别的手势图像中的关键时，可以提高手势关键点检测的准确度。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例三
在图2所示的手势关键点检测方法的基础上，本申请实施例还提供了一种可能的实现方式，如图4所示，为根据一示例性实施例示出的一种手势关键点检测方法第二种实施方式的流程图，在图4中，该方法可以包括：
S111，获取手势图像，采用预先训练得到的目标检测算法，确定手势图像中的手势类别和包含与手势类别对应的手势的第一区域。
在一些示例中，上述的手势图像中可以包括一种手势，也可以包括多种手势，当上述的手势图像包括多种手势时，上述的电子设备可以采用预先训练得到的目标检测算法，来检测该手势图像中每种手势的类别，以及与该手势类别的手势在该手势图像中的区域。
在一些示例中，可以通过以下方式训练得到目标检测算法：
步骤D，获取手势训练图像，手势训练图像包括：预先标记的手势类别和预先标记的手势位置。
在一些示例中，用户可以首先人工对该手势训练图像进行标记，标记该手势训练图像中的手势类别以及与每种手势类别对应的手势位置，然后将该手势训练图像输入上述的电子设备中，因此，上述的电子设备可以获取到手势训练图像。
步骤E，将手势训练图像，输入预设的目标检测算法中，得到与手势训练图像对应的手势预测图像，手势预测图像中包括预测的手势类别和预测的手势位置。
上述的电子设备在获取到该手势训练图像后，可以将该手势训练图像输入至预设的目标检测算法中，以使得该预设的目标检测算法对该手势训练图像进行预测。该预设的目标检测算法可以是现有技术中的目标检测算法，例如，该预设的目标检测算法可以是SSD(Single Shot MultiBoxDetector，单层多核检测器)目标检测算法。
步骤F，基于预先标记的手势类别和预测的手势类别之间的第一损失、预先标记的手势位置和预测的手势位置之间的第二损失，调整预设的目标检测算法的参数。
上述的电子设备在通过预设的目标检测算法得到预测的手势类别和预测的手势位置后，可以基于预先标记的手势类别和预测的手势类别，计算预先标记的手势类别和预测的手势类别之间的第一损失，基于预先标记的手势位置和预测的手势位置，计算预先标记的手势位置和预测的手势位置之间的第二损失。
然后基于该第一损失和第二损失，对预设的目标检测算法的参数进行调整。
在一些示例中，上述的步骤D～F可以是循环迭代进行的。为了降低训练复杂度，减少训练该预设的目标检测算法的时间开销，可以在通过步骤F得到第一损失和第二损失后，判断该第一损失是否小于第一损失阈值，且第二损失是否小于第二损失阈值，如果是，则可以将该预设的目标检测算法作为训练得到的目标检测算法。如果否，则基于该第一损失和第二损失，对预设的目标检测算法的参数进行调整。并采用调整后的目标检测算法对该手势训练图像进行预测。
在一些示例中，可以采用该第一区域在手势图像中的位置中的左上角位置和右下角位置来表示该第一区域在手势图像中的位置。也可以采用该第一区域在手势图像中的位置中的任一角的位置和该第一区域的宽度像素值和高度像素值来表示该区域在手势图像中的位置，这都是可以的。
S120，在预先训练得到的多个关键点检测网络中，确定与手势类别对应的关键点检测网络。
需要说明的是，本实施例中的步骤S120与上述实施例一中的步骤相同，可以参考实施例一种的步骤，这里不再赘述。
S131，在手势图像中提取第一区域；并将第一区域输入与手势类别对应的关键点检测网络中，得到与手势类别对应的手势关键点、以及与手势类别对应的手势关键点在第一区域中的位置。
在一些示例中，当手势图像中包含多种手势类别时，采用上述训练得到的目标检测算法，可以识别出每种手势的手势类别，以及每种手势在该手势图像中的位置，即第一区域的位置。
为了实现对每种手势的手势关键点进行检测，上述的电子设备可以从该手势图像中提取出该第一区域，然后将该第一区域输入到与该手势类别对应的关键点检测网络中，以使得该关键点检测网络检测该第一区域中的手势关键点以及每个手势关键点在该第一区域中的位置。
这样，与该手势类别对应的关键点检测网络输出的检测结果，即为与该手势图像的手势类别对应的手势关键点以及手势关键点在第一区域中的位置。
在一些示例中，上述的电子设备在得到每种手势类别对应的手势关键点在第一区域中的位置后，可以结合该第一区域在上述的手势图像中的位置，计算得到每种手势类别对应的手势关键点在该手势图像中的位置。
通过本申请实施例，可以在手势图像中存在多种手势类别时，检测出对每种手势类别对应的手势关键点在该手势图像中的位置。从而可以在提高检测准确率的基础上，实现对包含有多种手势类别的手势图像中的手势关键点进行检测。
相应于上述的方法实施例，本申请实施例提供的一种手势关键点检测装置中的获取模块210，具体被配置为：获取手势图像，采用预先训练得到的目标分类算法确定手势图像的手势类别。
相应于上述的方法实施例，本申请实施例提供的一种手势关键点检测装置中的获取模块210，具体被配置为：获取手势图像，采用预先训练得到的目标检测算法，确定手势图像中的手势类别和包含与手势类别对应的手势的第一区域；
检测模块210，具体被配置为：在手势图像中提取第一区域；并将第一区域输入与手势类别对应的关键点检测网络中，得到与手势类别对应的手势关键点、以及与手势类别对应的手势关键点在第一区域中的位置。
相应于上述的方法实施例，本申请实施例提供的一种手势关键点检测装置，该装置还包括：目标检测算法训练模块，被配置为：
获取手势训练图像，手势训练图像包括：预先标记的手势类别和预先标记的手势位置；
将手势训练图像，输入预设的目标检测算法中，得到与手势训练图像对应的手势预测图像，手势预测图像中包括预测的手势类别和预测的手势位置；
基于预先标记的手势类别和预测的手势类别之间的第一损失、预先标记的手势位置和预测的手势位置之间的第二损失，调整预设的目标检测算法的参数。
相应于上述的方法实施例，本申请实施例提供的一种手势关键点检测装置，该装置还包括：关键点检测网络训练模块，被配置为：
获取预设的关键点检测网络和标记有相同手势类别的手势训练图像，手势训练图像中标记有该手势类别对应的手势关键点；
将标记有相同手势类别的手势训练图像输入预设的关键点检测网络中，得到与手势训练图像对应的预测的手势关键点；
基于预测的手势关键点和手势训练图像中标记的手势关键点之间的损失，调整预设的关键点检测网络的参数。
在一些示例中，本申请实施例的一种手势关键点检测方法可以应用于移动终端，该移动终端可以是移动电话，计算机，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
如图5所示，为根据一示例性实施例示出的一种移动终端的结构示意图。参照图5，该移动终端500可以包括以下一个或多个组件：处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入/输出(I/O)接口512，传感器组件514，以及通信组件516。
处理组件502通常控制移动终端500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。
此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在设备500的操作。这些数据的示例包括用于在移动终端500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件506为移动终端500的各种组件提供电力。电源组件506可以包括电源管理***，一个或多个电源，及其他与为移动终端500生成、管理和分配电源相关联的组件。
多媒体组件508包括在移动终端500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当设备500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当移动终端500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。
I/O接口512为处理组件502和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器，用于为移动终端500提供各个方面的状态评估。例如，传感器组件514可以检测到设备500的打开/关闭状态，组件的相对定位，例如组件为移动终端500的显示器和小键盘，传感器组件514还可以检测移动终端500或移动终端500一个组件的位置改变，用户与移动终端500接触的存在或不存在，移动终端500方位或加速/减速和移动终端500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件516被配置为便于移动终端500和其他设备之间有线或无线方式的通信。移动终端500可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，移动终端500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法的全部或部分步骤。
本申请实施例提供的一种移动终端，可以在获取到手势图像及手势图像的手势类别后，在预先训练得到的多个关键点检测网络中，确定与手势类别对应的关键点检测网络，然后将手势图像输入与手势类别对应的关键点检测网络中，从而可以得到与手势类别对应的手势关键点在手势图像中的位置。由于在本申请实施例中，该多个关键点检测网络中的每个关键点检测网络对应一种手势类别，与该手势类别对应的关键点检测网络的参数是针对该手势类别的参数，因此，采用与该手势类别对应的关键点检测网络，检测该手势类别的手势图像中的关键时，可以提高手势关键点检测的准确度。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由移动终端500的处理器520执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在一些示例中，本申请实施例的一种手势关键点检测方法可以应用于服务器，如图6所示，为根据一示例性实施例示出的一种服务器600的结构示意图。参照图6，服务器600包括处理组件622，其进一步包括一个或多个处理器，以及由存储器632所代表的存储器资源，用于存储可由处理组件622的执行的指令，例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件622被配置为执行指令，以执行上述方法的全部或部分步骤。
服务器600还可以包括一个电源组件626被配置为执行服务器600的电源管理，一个有线或无线网络接口650被配置为将服务器600连接到网络，和一个输入输出(I/O)接口658。服务器600可以操作基于存储在存储器632的操作***，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
本申请实施例提供的一种服务器，可以在获取到手势图像及手势图像的手势类别后，在预先训练得到的多个关键点检测网络中，确定与手势类别对应的关键点检测网络，然后将手势图像输入与手势类别对应的关键点检测网络中，从而可以得到与手势类别对应的手势关键点在手势图像中的位置。由于在本申请实施例中，该多个关键点检测网络中的每个关键点检测网络对应一种手势类别，与该手势类别对应的关键点检测网络的参数是针对该手势类别的参数，因此，采用与该手势类别对应的关键点检测网络，检测该手势类别的手势图像中的关键时，可以提高手势关键点检测的准确度。
本申请实施例还提供了一种包含指令的程序产品，当其在电子设备上运行时，使得电子设备执行上述方法的全部或部分步骤。
本申请实施例还提供了一种计算机程序，当其在电子设备上运行时，使得电子设备执行上述方法的全部或部分步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (20)

1.一种手势关键点检测方法，其特征在于，所述方法包括：
获取手势图像及所述手势图像的手势类别；
在预先训练得到的多个关键点检测网络中，确定与所述手势类别对应的关键点检测网络，其中，所述多个关键点检测网络中的每个关键点检测网络对应一种手势类别，所述与所述手势类别对应的关键点检测网络为所述多个关键点检测网络中对所述手势类别的手势关键点的预测准确度大于或等于预设准确度阈值的关键点检测网络；
将所述手势图像输入与所述手势类别对应的关键点检测网络中，得到与所述手势类别对应的手势关键点以及所述手势关键点在所述手势图像中的位置。
2.根据权利要求1所述的方法，其特征在于，所述获取手势图像及所述手势图像的手势类别，包括：
获取手势图像，采用预先训练得到的目标分类算法确定所述手势图像的手势类别。
3.根据权利要求1所述的方法，其特征在于，所述获取手势图像及所述手势图像的手势类别，包括：
获取手势图像，采用预先训练得到的目标检测算法，确定所述手势图像中的手势类别和包含与所述手势类别对应的手势的第一区域；
所述将所述手势图像输入与所述手势类别对应的关键点检测网络中，得到与所述手势类别对应的手势关键点以及所述手势关键点在所述手势图像中的位置，包括：
在所述手势图像中提取所述第一区域；并将所述第一区域输入与所述手势类别对应的关键点检测网络中，得到与所述手势类别对应的手势关键点、以及与所述手势类别对应的手势关键点在所述第一区域中的位置。
4.根据权利要求3所述的方法，其特征在于，预先训练得到目标检测算法，包括：
获取手势训练图像，所述手势训练图像包括：预先标记的手势类别和预先标记的手势位置；
将所述手势训练图像，输入预设的目标检测算法中，得到与所述手势训练图像对应的手势预测图像，所述手势预测图像中包括预测的手势类别和预测的手势位置；
基于所述预先标记的手势类别和所述预测的手势类别之间的第一损失、所述预先标记的手势位置和所述预测的手势位置之间的第二损失，调整所述预设的目标检测算法的参数。
5.根据权利要求1所述的方法，其特征在于，预先训练每个关键点检测网络，包括：
获取预设的关键点检测网络和标记有相同手势类别的手势训练图像，所述手势训练图像中标记有该手势类别对应的手势关键点；
将所述标记有相同手势类别的手势训练图像输入预设的关键点检测网络中，得到与所述手势训练图像对应的预测的手势关键点；
基于所述预测的手势关键点和所述手势训练图像中标记的手势关键点之间的损失，调整所述预设的关键点检测网络的参数。
6.一种手势关键点检测装置，其特征在于，所述装置包括：
获取模块，被配置为获取手势图像及所述手势图像的手势类别；
关键点检测网络确定模块，被配置为在预先训练得到的多个关键点检测网络中，确定与所述手势类别对应的关键点检测网络，其中，所述多个关键点检测网络中的每个关键点检测网络对应一种手势类别，所述与所述手势类别对应的关键点检测网络为所述多个关键点检测网络中对所述手势类别的手势关键点的预测准确度大于或等于预设准确度阈值的关键点检测网络；
检测模块，被配置为将所述手势图像输入与所述手势类别对应的关键点检测网络中，得到与所述手势类别对应的手势关键点以及所述手势关键点在所述手势图像中的位置。
7.根据权利要求6所述的装置，其特征在于，所述获取模块，具体被配置为：获取手势图像，采用预先训练得到的目标分类算法确定所述手势图像的手势类别。
8.根据权利要求6所述的装置，其特征在于，所述获取模块，具体被配置为：获取手势图像，采用预先训练得到的目标检测算法，确定所述手势图像中的手势类别和包含与所述手势类别对应的手势的第一区域；
所述检测模块，具体被配置为：在所述手势图像中提取所述第一区域；并将所述第一区域输入与所述手势类别对应的关键点检测网络中，得到与所述手势类别对应的手势关键点、以及与所述手势类别对应的手势关键点在所述第一区域中的位置。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：目标检测算法训练模块，被配置为：
获取手势训练图像，所述手势训练图像包括：预先标记的手势类别和预先标记的手势位置；
将所述手势训练图像，输入预设的目标检测算法中，得到与所述手势训练图像对应的手势预测图像，所述手势预测图像中包括预测的手势类别和预测的手势位置；
基于所述预先标记的手势类别和所述预测的手势类别之间的第一损失、所述预先标记的手势位置和所述预测的手势位置之间的第二损失，调整所述预设的目标检测算法的参数。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：关键点检测网络训练模块，被配置为：
获取预设的关键点检测网络和标记有相同手势类别的手势训练图像，所述手势训练图像中标记有该手势类别对应的手势关键点；
将所述标记有相同手势类别的手势训练图像输入预设的关键点检测网络中，得到与所述手势训练图像对应的预测的手势关键点；
基于所述预测的手势关键点和所述手势训练图像中标记的手势关键点之间的损失，调整所述预设的关键点检测网络的参数。
11.一种电子设备，其特征在于，包括处理器和用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取手势图像及所述手势图像的手势类别；
在预先训练得到的多个关键点检测网络中，确定与所述手势类别对应的关键点检测网络，其中，所述多个关键点检测网络中的每个关键点检测网络对应一种手势类别，所述与所述手势类别对应的关键点检测网络为所述多个关键点检测网络中对所述手势类别的手势关键点的预测准确度大于或等于预设准确度阈值的关键点检测网络；
将所述手势图像输入与所述手势类别对应的关键点检测网络中，得到与所述手势类别对应的手势关键点以及所述手势关键点在所述手势图像中的位置。
12.根据权利要求11所述的电子设备，其特征在于，所述处理器，还被配置为：
获取手势图像，采用预先训练得到的目标分类算法确定所述手势图像的手势类别。
13.根据权利要求11所述的电子设备，其特征在于，所述处理器，具体被配置为：
获取手势图像，采用预先训练得到的目标检测算法，确定所述手势图像中的手势类别和包含与所述手势类别对应的手势的第一区域；
所述处理器，还具体被配置为：
在所述手势图像中提取所述第一区域；并将所述第一区域输入与所述手势类别对应的关键点检测网络中，得到与所述手势类别对应的手势关键点、以及与所述手势类别对应的手势关键点在所述第一区域中的位置。
14.根据权利要求13所述的电子设备，其特征在于，所述处理器，还被配置为：
获取手势训练图像，所述手势训练图像包括：预先标记的手势类别和预先标记的手势位置；
将所述手势训练图像，输入预设的目标检测算法中，得到与所述手势训练图像对应的手势预测图像，所述手势预测图像中包括预测的手势类别和预测的手势位置；
基于所述预先标记的手势类别和所述预测的手势类别之间的第一损失、所述预先标记的手势位置和所述预测的手势位置之间的第二损失，调整所述预设的目标检测算法的参数。
15.根据权利要求11所述的电子设备，其特征在于，所述处理器，还被配置为：
获取预设的关键点检测网络和标记有相同手势类别的手势训练图像，所述手势训练图像中标记有该手势类别对应的手势关键点；
将所述标记有相同手势类别的手势训练图像输入预设的关键点检测网络中，得到与所述手势训练图像对应的预测的手势关键点；
基于所述预测的手势关键点和所述手势训练图像中标记的手势关键点之间的损失，调整所述预设的关键点检测网络的参数。
16.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得处理器能够执行一种手势关键点检测方法，所述方法包括：
获取手势图像及所述手势图像的手势类别；
在预先训练得到的多个关键点检测网络中，确定与所述手势类别对应的关键点检测网络，其中，所述多个关键点检测网络中的每个关键点检测网络对应一种手势类别，所述与所述手势类别对应的关键点检测网络为所述多个关键点检测网络中对所述手势类别的手势关键点的预测准确度大于或等于预设准确度阈值的关键点检测网络；
将所述手势图像输入与所述手势类别对应的关键点检测网络中，得到与所述手势类别对应的手势关键点以及所述手势关键点在所述手势图像中的位置。
17.根据权利要求16所述的可读存储介质，其特征在于，所述获取手势图像及所述手势图像的手势类别，包括：
获取手势图像，采用预先训练得到的目标分类算法确定所述手势图像的手势类别。
18.根据权利要求16所述的可读存储介质，其特征在于，所述获取手势图像及所述手势图像的手势类别，包括：
获取手势图像，采用预先训练得到的目标检测算法，确定所述手势图像中的手势类别和包含与所述手势类别对应的手势的第一区域；
所述将所述手势图像输入与所述手势类别对应的关键点检测网络中，得到与所述手势类别对应的手势关键点以及所述手势关键点在所述手势图像中的位置，包括：
在所述手势图像中提取所述第一区域；并将所述第一区域输入与所述手势类别对应的关键点检测网络中，得到与所述手势类别对应的手势关键点、以及与所述手势类别对应的手势关键点在所述第一区域中的位置。
19.根据权利要求18所述的可读存储介质，其特征在于，预先训练得到目标检测算法，包括：
获取手势训练图像，所述手势训练图像包括：预先标记的手势类别和预先标记的手势位置；
将所述手势训练图像，输入预设的目标检测算法中，得到与所述手势训练图像对应的手势预测图像，所述手势预测图像中包括预测的手势类别和预测的手势位置；
基于所述预先标记的手势类别和所述预测的手势类别之间的第一损失、所述预先标记的手势位置和所述预测的手势位置之间的第二损失，调整所述预设的目标检测算法的参数。
20.根据权利要求16所述的可读存储介质，其特征在于，预先训练每个关键点检测网络，包括：
获取预设的关键点检测网络和标记有相同手势类别的手势训练图像，所述手势训练图像中标记有该手势类别对应的手势关键点；
将所述标记有相同手势类别的手势训练图像输入预设的关键点检测网络中，得到与所述手势训练图像对应的预测的手势关键点；
基于所述预测的手势关键点和所述手势训练图像中标记的手势关键点之间的损失，调整所述预设的关键点检测网络的参数。
CN201811280155.XA 2018-10-30 2018-10-30 手势关键点检测方法、装置、电子设备及存储介质 Active CN109446994B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811280155.XA CN109446994B (zh) 2018-10-30 2018-10-30 手势关键点检测方法、装置、电子设备及存储介质
PCT/CN2019/103119 WO2020088069A1 (zh) 2018-10-30 2019-08-28 手势关键点检测方法、装置、电子设备及存储介质
US17/119,975 US11514706B2 (en) 2018-10-30 2020-12-11 Method and device for detecting hand gesture key points

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811280155.XA CN109446994B (zh) 2018-10-30 2018-10-30 手势关键点检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109446994A CN109446994A (zh) 2019-03-08
CN109446994B true CN109446994B (zh) 2020-10-30

Family

ID=65550275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811280155.XA Active CN109446994B (zh) 2018-10-30 2018-10-30 手势关键点检测方法、装置、电子设备及存储介质

Country Status (3)

Country Link
US (1) US11514706B2 (zh)
CN (1) CN109446994B (zh)
WO (1) WO2020088069A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446994B (zh) * 2018-10-30 2020-10-30 北京达佳互联信息技术有限公司 手势关键点检测方法、装置、电子设备及存储介质
CN110084180A (zh) * 2019-04-24 2019-08-02 北京达佳互联信息技术有限公司 关键点检测方法、装置、电子设备及可读存储介质
CN110287891B (zh) * 2019-06-26 2021-11-09 北京字节跳动网络技术有限公司 基于人体关键点的手势控制方法、装置及电子设备
CN111126339A (zh) * 2019-12-31 2020-05-08 北京奇艺世纪科技有限公司 手势识别方法、装置、计算机设备和存储介质
CN111160288A (zh) * 2019-12-31 2020-05-15 北京奇艺世纪科技有限公司 手势关键点检测方法、装置、计算机设备和存储介质
CN111414936B (zh) * 2020-02-24 2023-08-18 北京迈格威科技有限公司 分类网络的确定方法、图像检测方法、装置、设备及介质
CN111625157B (zh) * 2020-05-20 2021-09-17 北京百度网讯科技有限公司 指尖关键点检测方法、装置、设备和可读存储介质
CN113011403B (zh) * 2021-04-30 2023-11-24 恒睿(重庆)人工智能技术研究院有限公司 手势识别方法、***、介质及设备
CN113706606B (zh) * 2021-08-12 2024-04-30 新线科技有限公司 确定隔空手势位置坐标的方法及装置
CN114185429B (zh) * 2021-11-11 2024-03-26 杭州易现先进科技有限公司 手势关键点定位或姿态估计的方法、电子装置和存储介质
CN115525158A (zh) * 2022-10-14 2022-12-27 支付宝(杭州)信息技术有限公司 互动处理方法及装置
CN115661142B (zh) * 2022-12-14 2023-03-28 广东工业大学 一种基于关键点检测的舌诊图像处理方法、设备及介质
CN117115595B (zh) * 2023-10-23 2024-02-02 腾讯科技（深圳）有限公司 姿态估计模型的训练方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103513759A (zh) * 2012-06-21 2014-01-15 富士通株式会社 手势轨迹识别方法和装置
CN106886751A (zh) * 2017-01-09 2017-06-23 深圳数字电视国家工程实验室股份有限公司 一种手势识别方法和***
CN107168527A (zh) * 2017-04-25 2017-09-15 华南理工大学 基于区域卷积神经网络的第一视角手势识别与交互方法
CN108229277A (zh) * 2017-03-31 2018-06-29 北京市商汤科技开发有限公司 手势识别、控制及神经网络训练方法、装置及电子设备
CN108229318A (zh) * 2017-11-28 2018-06-29 北京市商汤科技开发有限公司 手势识别和手势识别网络的训练方法及装置、设备、介质
CN108520251A (zh) * 2018-04-20 2018-09-11 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2659335A4 (en) * 2010-12-29 2016-05-18 Thomson Licensing SYSTEM AND METHOD FOR RECOGNIZING GESTURES
KR101526426B1 (ko) * 2013-12-31 2015-06-05 현대자동차 주식회사 제스처 인식 장치 및 방법
US9552069B2 (en) * 2014-07-11 2017-01-24 Microsoft Technology Licensing, Llc 3D gesture recognition
KR101745406B1 (ko) * 2015-09-03 2017-06-12 한국과학기술연구원 깊이 영상 기반의 손 제스처 인식 장치 및 방법
CN107679512A (zh) * 2017-10-20 2018-02-09 济南大学 一种基于手势关键点的动态手势识别方法
CN108227912B (zh) * 2017-11-30 2021-05-11 北京市商汤科技开发有限公司 设备控制方法和装置、电子设备、计算机存储介质
CN107967061A (zh) * 2017-12-21 2018-04-27 北京华捷艾米科技有限公司 人机交互方法及装置
CN109446994B (zh) * 2018-10-30 2020-10-30 北京达佳互联信息技术有限公司 手势关键点检测方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103513759A (zh) * 2012-06-21 2014-01-15 富士通株式会社 手势轨迹识别方法和装置
CN106886751A (zh) * 2017-01-09 2017-06-23 深圳数字电视国家工程实验室股份有限公司 一种手势识别方法和***
CN108229277A (zh) * 2017-03-31 2018-06-29 北京市商汤科技开发有限公司 手势识别、控制及神经网络训练方法、装置及电子设备
CN107168527A (zh) * 2017-04-25 2017-09-15 华南理工大学 基于区域卷积神经网络的第一视角手势识别与交互方法
CN108229318A (zh) * 2017-11-28 2018-06-29 北京市商汤科技开发有限公司 手势识别和手势识别网络的训练方法及装置、设备、介质
CN108520251A (zh) * 2018-04-20 2018-09-11 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
US11514706B2 (en) 2022-11-29
CN109446994A (zh) 2019-03-08
US20210097270A1 (en) 2021-04-01
WO2020088069A1 (zh) 2020-05-07

Similar Documents

Publication Publication Date Title
CN109446994B (zh) 手势关键点检测方法、装置、电子设备及存储介质
CN106557768B (zh) 对图片中的文字进行识别的方法及装置
CN109871896B (zh) 数据分类方法、装置、电子设备及存储介质
CN107025419B (zh) 指纹模板录入方法及装置
CN106651955B (zh) 图片中目标物的定位方法及装置
US9953506B2 (en) Alarming method and device
CN110827253A (zh) 一种目标检测模型的训练方法、装置及电子设备
EP2977956B1 (en) Method, apparatus and device for segmenting an image
CN108010060B (zh) 目标检测方法及装置
CN107784279B (zh) 目标跟踪方法及装置
CN107480665B (zh) 文字检测方法、装置及计算机可读存储介质
CN108668080B (zh) 提示镜头脏污程度的方法及装置、电子设备
CN107944447B (zh) 图像分类方法及装置
CN106228556B (zh) 图像质量分析方法和装置
CN109934275B (zh) 图像处理方法及装置、电子设备和存储介质
CN110619350B (zh) 图像检测方法、装置及存储介质
CN109360197B (zh) 图像的处理方法、装置、电子设备及存储介质
CN108921178B (zh) 获取图像模糊程度分类的方法、装置、电子设备
CN106409317B (zh) 梦话提取方法、装置及用于提取梦话的装置
CN109034150B (zh) 图像处理方法及装置
CN107133577B (zh) 一种指纹识别方法和装置
EP3098765A1 (en) Method and apparatus for recommending cloud card
CN109766473B (zh) 信息交互方法、装置、电子设备及存储介质
CN112927122A (zh) 水印去除方法、装置及存储介质
CN112948704A (zh) 用于信息推荐的模型训练方法、装置、电子设备以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant