CN112949587A - 基于关键点的手部握姿矫正方法、***及计算机可读介质 - Google Patents
基于关键点的手部握姿矫正方法、***及计算机可读介质 Download PDFInfo
- Publication number
- CN112949587A CN112949587A CN202110345365.8A CN202110345365A CN112949587A CN 112949587 A CN112949587 A CN 112949587A CN 202110345365 A CN202110345365 A CN 202110345365A CN 112949587 A CN112949587 A CN 112949587A
- Authority
- CN
- China
- Prior art keywords
- key point
- key points
- key
- hand
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/11—Hand-related biometrics; Hand pose recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于关键点的手部握姿矫正方法、***及计算机可读介质,其中矫正方法包括:步骤1:采集标准手部姿势图像;步骤2:对图像中的手部姿势进行关键点检测,并储存关键点数据;步骤3:对步骤2获取的关键点数据进行预处理,利用预处理后的数据建立标准手势模型;步骤4:采集新的手部姿势图像,检测其关键点;步骤5:对新图像的关键点数据进行预处理,并输入标准手部姿势模型,判断当前手势是否为标准手势,若是,则输出当前手势无需矫正,否则,执行步骤6;步骤6:判断当前手势需要矫正,同时输出需要矫正的关键点数据,提示用户在相应关键点位置进行姿势矫正。与现有技术相比,本发明具有准确率高、应用成本低等优点。
Description
技术领域
本发明涉及手部检测技术领域,尤其是涉及一种基于关键点的手部握姿矫正方法、***及计算机可读介质。
背景技术
目前基于计算机视觉的手部应用主要集中在手势识别方面。传统的方法,如静态手势识别(也称静态二维手势识别)方法,识别的是比较简单的静态手势动作,例如:握拳或者五指张开,对于复杂的手指动作很难精确识别。
中国专利CN111626135A公开了一种基于深度图的三维手势识别***。该发明采用传感器获取手部深度信息图,经过预处理后将其输入CNN网络模块获得关键关节的三维位置,最后利用得到的关节点建立三维关节模型。重建的三维模型可与数据库中的三维模板进行匹配来完成手势识别。该***不仅需要深度传感器,而且需要神经网络训练重建三维模型,花费代价较高。
中国专利CN111665937A公开了一种一体化自驱动全纺织手势识别数据手套。利用手套基体、自供电应变传感器和柔性弱敏感导电纱线等材料制作而成。该方法成本高、制作难度较大,且前期采集工作较为繁琐。
中国专利CN107443957A公开了一种用于握姿矫正的笔杆组件和笔。该发明通过改进笔的机械结构让使用者通过笔上的小球矫正握姿。该方法存在一定的局限性和主观性,不能做到对于具体手指的矫正,在无他人指导、下使用者无法准确判断自己的握姿是否标准。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种准确率高、应用成本低的基于关键点的手部握姿矫正方法、***及计算机可读介质。
本发明的目的可以通过以下技术方案来实现:
一种基于关键点的手部握姿矫正方法,所述的手部握姿矫正方法包括:
步骤1:利用图像采集设备采集标准手部姿势图像;
步骤2:对图像中的手部姿势进行关键点检测,并储存关键点数据;
步骤3:对步骤2获取的关键点数据进行预处理,利用预处理后的数据建立标准手势模型;
步骤4:采集新的手部姿势图像,检测其关键点;
步骤5:对新图像的关键点数据进行预处理,并输入标准手部姿势模型,判断当前手势是否为标准手势,若是,则输出当前手势无需矫正,否则,执行步骤6;
步骤6:判断当前手势需要矫正,同时输出需要矫正的关键点数据,提示用户在相应关键点位置进行姿势矫正。
优选地,所述的步骤2具体为:
利用OpenPose库对采集到的图像中的手部姿势进行关键点检测,并将关键点数据以json格式存储。
优选地,所述的步骤3具体为:
步骤3-1:在所有关键点中选取两个在各种握姿中相对距离保持不变的关键点;
步骤3-2:以步骤3-1选取的关键点为依据,对所有的关键点数据进行变换处理,获得数据集;
步骤3-3:使用同一个关键点的所有样本数据建立高斯模型;
步骤3-4:利用每个关键点参数对整个握姿建立多维高斯混合模型,即标准手势模型。
更加优选地,所述的步骤3-2具体为:
假设步骤3-1选取的两个关键点为A和B,对所有关键点数据的变换过程为:
完后变换后,构建数据集。
更加优选地,所述的步骤3-3具体为:
对于单个关键点的n个样本进行如下处理:
ki=xi+yi
其中,(xi,yi)为该关键点的第i个样本坐标值;
对于需要检测的握姿是否相同的某一关键点坐标(x,y),计算其概率密度:
s=x+y
该概率密度用于判断单个关键点是否符合标准握姿关键点,从而指出具体的需要矫正的单个手指。
更加优选地,所述的步骤3-4具体为:
μ=(μ0,μ1,…,μn-1)T
其中,n为关键点的数量;μ为由每个关键点均值组成的均值向量;∑为由每个关键点方差组成的协方差矩阵;
对于需要检测的握姿S=(s0,s1,…,sn-1),计算其概率密度:
优选地,所述的步骤5具体为:
对新图像的关键点数据进行预处理,并输入标准手部姿势模型,利用步骤3获取的高斯混合模型计算待测收拾与标准收拾的相似概率密度,判断当前手势是否为标准手势,若是,则输出当前手势无需矫正,否则,执行步骤6。
优选地,所述的步骤6具体为:
步骤6-1:计算每个关键点为标准握姿的概率密度;
步骤6-2:选取概率密度低于预设阈值的关键点;
步骤6-3:输出握姿不标准,反馈需要矫正的手指。
一种基于关键点的手部握姿矫正***,所述的握姿矫正***包括图像采集设备和数据处理终端;所述的图像采集设备与数据处理终端相连;所述的数据处理终端用于执行上述任一项所述基于关键点的手部握姿矫正方法。
一种计算机可读介质,所述的计算机可读介质内存储有上述任一项所述基于关键点的手部握姿矫正方法。
与现有技术相比,本发明具有以下有益效果:
一、准确率高:本发明中的手部握姿矫正方法采用基于关键点的手部检测技术,利用若干个关键点将每个手指关节的信息记录下来可以对手指复杂动作进行记录;针对关键点数据提出的算法可以在各种具有固定握姿的应用场景下更精确的记录比对手指的姿态,从而实现对复杂的手部握姿的检测对比,同时也使得后续的模型建立和检测矫正有更为精确的结果,提高识别的准确率。
二、应用成本低:本发明中的手部握姿矫正方法和矫正***利用计算机视觉技术,仅需图像采集设备和数据处理终端即可实现目的,而传统的方法需要通过数据采集手套等接触式传感器来实现检测目标,有效降低了应用成本。
附图说明
图1为本发明中手部握姿矫正方法的流程示意图;
图2为本发明实施例中手部关键点示意图;
图3为本发明实施例中基于OpenPose对手部关键点进行检测时的示意图;
图4为本发明实施例中关键点握姿数据处理前的示意图;
图5为本发明实施例中关键点握姿数据处理后的示意图;
图6为本发明实施例中算例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
一种基于关键点的手部握姿矫正方法,其流程如图1所示,包括:
步骤1:利用图像采集设备采集标准手部姿势图像;
步骤2:对图像中的手部姿势进行关键点检测,并储存关键点数据;
利用OpenPose库对采集到的图像中的手部姿势进行关键点检测,并将关键点数据以json格式存储,本实施例选取的关键点如图2所示,检测过程如图3所示;
步骤3:对步骤2获取的关键点数据进行预处理,利用预处理后的数据建立标准手势模型;
步骤3-1:在所有关键点中选取两个在各种握姿中相对距离保持不变的关键点;
步骤3-2:以步骤3-1选取的关键点为依据,对所有的关键点数据进行变换处理,获得数据集;
假设步骤3-1选取的两个关键点为A和B,对所有关键点数据的变换过程为:
然后建立数据集;
关键点握姿数据处理前如图4所示,处理后如图5所示;
步骤3-3:使用同一个关键点的所有样本数据建立高斯模型;
步骤3-3具体为:
对于单个关键点的n个样本进行如下处理:
ki=xi+yi
其中,(xi,yi)为该关键点的第i个样本坐标值;
对于需要检测的握姿是否相同的某一关键点坐标(x,y),计算其概率密度:
s=x+y
该概率密度用于判断单个关键点是否符合标准握姿关键点,从而指出具体的需要矫正的单个手指;
步骤3-4:利用每个关键点参数对整个握姿建立多维高斯混合模型,即标准手势模型;
μ=(μ0,μ1,…,μn-1)T
其中,n为关键点的数量;μ为由每个关键点均值组成的均值向量;∑为由每个关键点方差组成的协方差矩阵;
对于需要检测的握姿S=(s0,s1,…,sn-1),计算其概率密度:
步骤4:采集新的手部姿势图像,检测其关键点;
步骤5:对新图像的关键点数据进行预处理,并输入标准手部姿势模型,利用步骤3获取的高斯混合模型计算待测收拾与标准收拾的相似概率密度,判断当前手势是否为标准手势,若是,则输出当前手势无需矫正,否则,执行步骤6;
步骤6:判断当前手势需要矫正,同时输出需要矫正的关键点数据,提示用户在相应关键点位置进行姿势矫正;
步骤6-1:计算每个关键点为标准握姿的概率密度;
步骤6-2:选取概率密度低于预设阈值的关键点;
步骤6-3:输出握姿不标准,反馈需要矫正的手指。
本实施例建立标准手势模型的基本上思路是:集设备采集大量标准握姿的样本并提取关键点信息,利用大量样本关键点的像素坐标数据建立标准握姿的高斯混合模型。
由于关键点信息是以手部21个关节点在图像上的像素坐标存储的,但采集样本过程中每个标准握姿的图像区域、角度和大小不同,无法直接利用这些数据建立模型,故设计相应算法解决这些问题。
算法原理:依据图1关键点示意图可知,手部关键点之间的相对位置是一定的,故可事先确定两个关键点的位置,依据这两个关键点的位置关系对所有的关键点进行整体平移、旋转和缩放,则可解决不同握姿图像区域的位置和尺度不同的问题。
由关键点示意图可知,手部关键点0和关键点9在手上的相对距离相对保持不变,因此确定好这两个关键点的位置即可确定整个手部的位置。
具体变换过程公式如下:
对采集到的大量标准关键点数据采用上述算法进行变化后获得数据集Kt。由于标准握姿有固定的手部姿势,故Kt中不同标准握姿的同一关键点的坐标应当满足高斯分布。针对每一个关键点单独建立高斯混合模型计算其期望和方差,再利用所有关键点的模型参数针对整个握姿建立多元高斯模型。
对单个关键点的n个样本进行如下处理:
ki=xi+yi
其中,(xi,yi)为该关键点的第i个样本坐标值;
对于需要检测的握姿是否相同的某一关键点坐标(x,y),计算其概率密度:
s=x+y
该概率密度用于判断单个关键点是否符合标准握姿关键点,从而指出具体的需要矫正的单个手指。
针对整个握姿利用上述每个关键点的参数计算多维高斯分布概率密度函数的参数如下:
μ=(μ0,μ1,…,μn-1)T
其中,n为关键点的数量;μ为由每个关键点均值组成的均值向量;∑为由每个关键点方差组成的协方差矩阵;
对于需要检测的握姿S=(s0,s1,…,s20),计算其概率密度:
该概率密度可用于判断整个手部握姿是否标准。
下面提供一种算例,利用模型参数计算得出测试手势,并将测试手势关键点与模板关键点进行可视化比对,数据处理后如图6所示,从图中可看出,关键点17、18、20的概率最低,因此认为小拇指偏离程度较大,小拇指姿势需要进行矫正。
本实施例还涉及一种基于关键点的手部握姿矫正***,包括图像采集设备和数据处理终端,图像采集设备与数据处理终端相连,数据处理终端用于执行上述基于关键点的手部握姿矫正方法。
本实施例还涉及一种计算机可读介质,该介质内存储有上述基于关键点的手部握姿矫正方法。
本实施例中的方案能够对不同应用场景下使用者的握姿进行分析,并通过与标准握姿的对比让初学者矫正练习过程中的握姿错误,从而达到提升训练的目的,可用于毛笔握姿、羽毛球拍握姿、高尔夫球杆握姿等手部姿势的对比和矫正。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于关键点的手部握姿矫正方法,其特征在于,所述的手部握姿矫正方法包括:
步骤1:利用图像采集设备采集标准手部姿势图像;
步骤2:对图像中的手部姿势进行关键点检测,并储存关键点数据;
步骤3:对步骤2获取的关键点数据进行预处理,利用预处理后的数据建立标准手势模型;
步骤4:采集实时的手部姿势图像,检测其关键点;
步骤5:对新图像的关键点数据进行预处理,并输入标准手势模型,判断当前手势是否为标准手势,若是,则输出当前手势无需矫正,否则,执行步骤6;
步骤6:判断当前手势需要矫正,同时输出需要矫正的关键点数据,提示用户在相应关键点位置进行姿势矫正。
2.根据权利要求1所述的一种基于关键点的手部握姿矫正方法,其特征在于,所述的步骤2具体为:
利用OpenPose库对采集到的图像中的手部姿势进行关键点检测,并将关键点数据以json格式存储。
3.根据权利要求1所述的一种基于关键点的手部握姿矫正方法,其特征在于,所述的步骤3具体为:
步骤3-1:在所有关键点中选取两个在各种握姿中相对距离保持不变的关键点;
步骤3-2:以步骤3-1选取的关键点为依据,对所有的关键点数据进行变换处理,获得数据集;
步骤3-3:使用同一个关键点的所有样本数据建立高斯模型;
步骤3-4:利用每个关键点参数对整个握姿建立多维高斯混合模型,即标准手势模型。
7.根据权利要求1所述的一种基于关键点的手部握姿矫正方法,其特征在于,所述的步骤5具体为:
对新图像的关键点数据进行预处理,并输入标准手部姿势模型,利用步骤3获取的高斯混合模型计算待测收拾与标准收拾的相似概率密度,判断当前手势是否为标准手势,若是,则输出当前手势无需矫正,否则,执行步骤6。
8.根据权利要求1所述的一种基于关键点的手部握姿矫正方法,其特征在于,所述的步骤6具体为:
步骤6-1:计算每个关键点为标准握姿的概率密度;
步骤6-2:选取概率密度低于预设阈值的关键点;
步骤6-3:输出握姿不标准,反馈需要矫正的手指。
9.一种基于关键点的手部握姿矫正***,其特征在于,所述的握姿矫正***包括图像采集设备和数据处理终端;所述的图像采集设备与数据处理终端相连;所述的数据处理终端用于执行如权利要求1~8中任一项所述基于关键点的手部握姿矫正方法。
10.一种计算机可读介质,其特征在于,所述的计算机可读介质内存储有如权利要求1~8中任一项所述基于关键点的手部握姿矫正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110345365.8A CN112949587B (zh) | 2021-03-31 | 2021-03-31 | 基于关键点的手部握姿矫正方法、***及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110345365.8A CN112949587B (zh) | 2021-03-31 | 2021-03-31 | 基于关键点的手部握姿矫正方法、***及计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112949587A true CN112949587A (zh) | 2021-06-11 |
CN112949587B CN112949587B (zh) | 2023-05-02 |
Family
ID=76231213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110345365.8A Active CN112949587B (zh) | 2021-03-31 | 2021-03-31 | 基于关键点的手部握姿矫正方法、***及计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112949587B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115082957A (zh) * | 2022-05-27 | 2022-09-20 | 中国科学院半导体研究所 | 书写姿态识别方法、装置、电子设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105956523A (zh) * | 2016-04-22 | 2016-09-21 | 广东小天才科技有限公司 | 一种握笔姿势矫正方法及装置 |
CN106344030A (zh) * | 2016-08-30 | 2017-01-25 | 苏州品诺维新医疗科技有限公司 | 一种姿势矫正方法和装置 |
CN106372294A (zh) * | 2016-08-30 | 2017-02-01 | 苏州品诺维新医疗科技有限公司 | 一种姿势矫正方法和装置 |
CN106781327A (zh) * | 2017-03-09 | 2017-05-31 | 广东小天才科技有限公司 | 坐姿矫正方法及移动终端 |
CN109858524A (zh) * | 2019-01-04 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 手势识别方法、装置、电子设备及存储介质 |
CN110147767A (zh) * | 2019-05-22 | 2019-08-20 | 深圳市凌云视迅科技有限责任公司 | 基于二维图像的三维手势姿态预测方法 |
CN110349096A (zh) * | 2019-06-14 | 2019-10-18 | 平安科技(深圳)有限公司 | 手掌图像的校正方法、装置、设备及存储介质 |
CN111347438A (zh) * | 2020-02-24 | 2020-06-30 | 五邑大学 | 一种学习式机器人及基于其的学习矫正方法 |
CN112541382A (zh) * | 2020-04-13 | 2021-03-23 | 深圳优地科技有限公司 | 一种辅助运动的方法、***以及识别终端设备 |
-
2021
- 2021-03-31 CN CN202110345365.8A patent/CN112949587B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105956523A (zh) * | 2016-04-22 | 2016-09-21 | 广东小天才科技有限公司 | 一种握笔姿势矫正方法及装置 |
CN106344030A (zh) * | 2016-08-30 | 2017-01-25 | 苏州品诺维新医疗科技有限公司 | 一种姿势矫正方法和装置 |
CN106372294A (zh) * | 2016-08-30 | 2017-02-01 | 苏州品诺维新医疗科技有限公司 | 一种姿势矫正方法和装置 |
CN106781327A (zh) * | 2017-03-09 | 2017-05-31 | 广东小天才科技有限公司 | 坐姿矫正方法及移动终端 |
CN109858524A (zh) * | 2019-01-04 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 手势识别方法、装置、电子设备及存储介质 |
CN110147767A (zh) * | 2019-05-22 | 2019-08-20 | 深圳市凌云视迅科技有限责任公司 | 基于二维图像的三维手势姿态预测方法 |
CN110349096A (zh) * | 2019-06-14 | 2019-10-18 | 平安科技(深圳)有限公司 | 手掌图像的校正方法、装置、设备及存储介质 |
CN111347438A (zh) * | 2020-02-24 | 2020-06-30 | 五邑大学 | 一种学习式机器人及基于其的学习矫正方法 |
CN112541382A (zh) * | 2020-04-13 | 2021-03-23 | 深圳优地科技有限公司 | 一种辅助运动的方法、***以及识别终端设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115082957A (zh) * | 2022-05-27 | 2022-09-20 | 中国科学院半导体研究所 | 书写姿态识别方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112949587B (zh) | 2023-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108399367B (zh) | 手部动作识别方法、装置、计算机设备及可读存储介质 | |
CN107563494B (zh) | 一种基于卷积神经网络和热图的第一视角指尖检测方法 | |
CN104636725B (zh) | 一种基于深度图像的手势识别方法与*** | |
CN107657241B (zh) | 一种面向签字笔的签名真伪性鉴别*** | |
Cheng et al. | Image-to-class dynamic time warping for 3D hand gesture recognition | |
CN109597485B (zh) | 一种基于双指角域特征的手势交互***及其工作方法 | |
CN105740781B (zh) | 一种三维人脸活体检测的方法和装置 | |
WO2010078698A1 (zh) | 一种手写字符识别方法及*** | |
CN110837792B (zh) | 一种三维手势识别方法及装置 | |
CN108573231B (zh) | 基于运动历史点云生成的深度运动图的人体行为识别方法 | |
CN111414837A (zh) | 手势识别方法、装置、计算机设备及存储介质 | |
Niels et al. | Automatic allograph matching in forensic writer identification | |
CN111444488A (zh) | 一种基于动态手势的身份认证方法 | |
Hu et al. | Trajectory image based dynamic gesture recognition with convolutional neural networks | |
CN112949587B (zh) | 基于关键点的手部握姿矫正方法、***及计算机可读介质 | |
Wang et al. | Hand gesture recognition of Arabic numbers using leap motion via deterministic learning | |
CN110516638B (zh) | 一种基于轨迹和随机森林的手语识别方法 | |
CN109993116B (zh) | 一种基于人体骨骼相互学习的行人再识别方法 | |
CN103310193A (zh) | 一种记录体操视频中运动员重要技术动作时刻的方法 | |
Xu et al. | Using trajectory features for tai chi action recognition | |
CN112883922B (zh) | 基于CNN-BiGRU神经网络融合的手语识别方法 | |
CN110705355A (zh) | 一种基于关键点约束的人脸姿态估计方法 | |
Wang et al. | Contact-free and pose-invariant hand-biometric-based personal identification system using RGB and depth data | |
CN112181145A (zh) | 一种智能手套手语识别方法 | |
CN110046603B (zh) | 一种中国普乐手语编码的手势动作识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |