CN112509668A - 一种识别手部是否在进行抓握的方法 - Google Patents

一种识别手部是否在进行抓握的方法 Download PDF

Info

Publication number
CN112509668A
CN112509668A CN202011484298.XA CN202011484298A CN112509668A CN 112509668 A CN112509668 A CN 112509668A CN 202011484298 A CN202011484298 A CN 202011484298A CN 112509668 A CN112509668 A CN 112509668A
Authority
CN
China
Prior art keywords
hand
thumb
user
index finger
left hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011484298.XA
Other languages
English (en)
Inventor
刘钊
王晓磊
胥鑫
周洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Feiming Technology Co ltd
Original Assignee
Chengdu Feiming Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Feiming Technology Co ltd filed Critical Chengdu Feiming Technology Co ltd
Priority to CN202011484298.XA priority Critical patent/CN112509668A/zh
Publication of CN112509668A publication Critical patent/CN112509668A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种识别手部是否在进行抓握的方法，所述方法包括：建立坐标系，将原点(0,0,0)设置于光学动作捕捉设备处，坐标正X轴朝向设备右方，正Y轴朝下，正Z轴朝向设备前方；持续采集用户全身特征关节点数据在光学动作捕捉空间坐标系下的三维坐标；根据检测用户食指、拇指与手心三点组成的面积变化的连续多帧关节点数据识别判断患者手部是否在持续抓握，并将结果反馈出来以辅助用户进行手部的抓握训练。发明的优点在于：解决手部抓握训练在实际康复场景中需要看护，不能定量分析，不能统计训练量等问题；本发明具有无辐射、识别速度快、识别方式简单易用等优点。

Description

一种识别手部是否在进行抓握的方法
技术领域
本发明涉及计算机视觉和模式识别技术领域，尤其涉及一种识别手部是否进行抓握的方法。
背景技术
计算机视觉，使用计算机模拟人的大脑视觉机理获取和处理信息的能力，例如进行图像目标的检测、识别、跟踪等任务。计算机视觉也是交叉了统计学、计算机科学、神经生物学等学科，最终的目标就是实现计算机对三维现实世界的理解，实现人类视觉***的功能。更抽象的，计算机视觉可以是看作在图像等高维数据中的感知问题，包含了图像处理和图像理解等。
模式识别，寻找数据中的模式问题是一个基本问题，模式识别领域关注的是利用计算机算法自动发现数据中的规律，以及使用这些规律采取将数据分类等行动。
肩周炎的全称叫做肩关节周围炎症,是一类具有粘连特性的移动僵化的发生在上肢的盂肱关节部位的无菌炎症,在放射线的影像下可以只能看到肩关节骨量的减少变化而无其它病理现象；其炎症反应的结果是导致肩关节及其周围组织出现疼痛症状,并且还会影响肩关节的前屈后伸平摆旋转运动。肩周炎的最重要治疗目标就是解决疼痛和治愈关节的僵化。在运动康复领域中，双臂持续在不同角度的持续抓握训练可以很好的锻炼上肢的神经与肌肉，从而达到缓解疼痛、减轻关节僵化的效果。
目前传统的肩周炎的康复训练主要以被动手法与牵引训练为主。主要缺点是只注重肩周关节的活动度的恢复，没有兼顾恢复上肢的神经与肌肉能力，导致康复的效果不全面。
发明内容
本发明的目的在于克服现有技术的缺点，提供了一种识别手部是否在进行抓握的方法，解决了现有康复训练中存在的不足。
本发明的目的通过以下技术方案来实现：一种识别手部是否在进行抓握的方法，所述方法包括：
建立坐标系，将原点(0,0,0)设置于光学动作捕捉设备处，坐标正X轴朝向设备右方，正Y轴朝下，正Z轴朝向设备前方；
持续采集用户全身特征关节点数据在光学动作捕捉设备空间坐标系下的三维坐标；
根据检测用户食指、拇指与手心三点组成的面积变化的连续多帧关节点数据识别判断用户手部是否在持续抓握，并将结果反馈出来以辅助用户进行手部的抓握训练。
所述根据检测用户食指、拇指与手心三点组成的面积变化的连续多帧关节点数据识别判断用户手部是否在持续抓握包括：
采集第i帧数据中，右手或者左手食指(HANDTIP_RIGHT)的空间位置坐标为(xHTR,yHTR,zHTR)，右手或者左手拇指(THUMB_RIGHT)的空间位置坐标为(xTR,yTR,zTR)，右手或者左手手心(HAND_RIGHT)的空间位置坐标为(xHR,yHR,zHR)；
计算得到右手或者左手手心到右手或者左手食指的空间向量的坐标表示为
Figure BDA0002838565430000021
Figure BDA0002838565430000022
右手或者左手手心到右手或者左手拇指的空间向量的坐标表示为
Figure BDA0002838565430000023
进而计算得到两个向量的向量积
Figure BDA0002838565430000024
Figure BDA0002838565430000025
根据向量积
Figure BDA0002838565430000026
计算得到第i帧右手或者左手手心、右手或者左手食指和右手或者左手拇指三点组成的三角形的面积
Figure BDA0002838565430000027
通过上述方法计算出第i+1帧数据中右手或者左手手心、右手或者左手食指和右手或者左手拇指三点组成的三角形的面积为Si+1，进而得到相邻两帧中三角形面积的绝对变化值为ΔS＝|Si-Si+1|；
当所述绝对变化值大于预设值时，则认为用户右手或者左手手心、右手或者左手食指和右手或者左手拇指三点在协同变化，即认为用户的右手或者左手在进行持续抓握。
本发明具有以下优点：一种识别手部是否在进行抓握的方法，解决手部抓握训练在实际康复场景中需要看护，不能定量分析，不能统计训练量等问题；本发明具有无辐射、识别速度快、识别方式简单易用等优点。
附图说明
图1为本发明的流程示意图；
图2为人体全身特征关节点示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。
如图1和图2所示，本发明涉及一种利用光学动作捕捉设备测量识别手部是否在进行抓握的方法，在用户进行抓握训练过程中无感识别手部的抓握状态。实现方式包括以下步骤：
S1、建立坐标系，原点(0,0,0)位于光学动作捕捉设备处，坐标正X轴朝向设备右方；正Y轴朝下；正Z轴朝向设备前方。
S2、持续采集用户特征关节点数据，具体为用户32个关节点(如HEAD、NOSE等)在光学动作捕捉设备空间坐标系下的三维坐标。
S3、根据连续多帧的关节点数据识别用户手部是否在持续抓握。之后将该结果反馈出来，以辅助用户进行手部的抓握训练。
具体为，若用户的手部在持续抓握，则食指(HANDTIP)、拇指(THUMB)和手心(HAND)的空间距离在持续协同变化，即食指与手心距离、拇指与手心距离是共同变大(手掌张开)或变小(手掌握拳)的。因此通过检测用户食指、拇指与手心三点组成的面积变化，可以判断用户的手部是否在进行持续抓握。
第i帧数据中，右手食指(HANDTIP_RIGHT)的空间位置坐标为(xHTR,yHTR,zHTR)，右手拇指(THUMB_RIGHT)的空间位置坐标为(xTR,yTR,zTR)，右手手心(HAND_RIGHT)的空间位置坐标为(xHR,yHR,zHR)。则右手手心到右手食指的空间向量的坐标表示为
Figure BDA0002838565430000031
Figure BDA0002838565430000032
右手手心到右手拇指的空间向量的坐标表示为
Figure BDA0002838565430000033
Figure BDA0002838565430000034
上述两个向量的向量积即为：
Figure BDA0002838565430000035
则第i帧右手手心、右手食指和右手拇指三点组成的三角形的面积Si，等于上述向量积的模长的一半：
Figure BDA0002838565430000036
对应地，第i+1帧数据中右手手心、右手食指和右手拇指三点组成的三角形的面积为Si+1，相邻两帧中三角形面积的绝对变化为ΔS＝|Si-Si+1|。定义当ΔS>1.0时，用户右手手心、右手食指和右手拇指三点在协同变化，即认为用户的右手在进行持续抓握。
左手的判断方式与右手类似，使用左手食指(HANDTIP_LEFT)、左手拇指(THUMB_LEFT)和左手手心(HAND_LEFT)的空间位置坐标进行上述的运算和判断。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (2)

1.一种识别手部是否在进行抓握的方法，其特征在于：所述方法包括：
建立坐标系，将原点(0，0，0)设置于光学动作捕捉设备处，坐标正X轴朝向设备右方，正Y轴朝下，正Z轴朝向设备前方；
持续采集用户全身特征关节点数据在光学动作捕捉设备空间坐标系下的三维坐标；
根据检测用户食指、拇指与手心三点组成的面积变化的连续多帧关节点数据识别判断用户手部是否在持续抓握，并将结果反馈出来以辅助用户进行手部的抓握训练。
2.根据权利要求1所述的一种识别手部是否在进行抓握的方法，其特征在于：所述根据检测用户食指、拇指与手心三点组成的面积变化的连续多帧关节点数据识别判断用户手部是否在持续抓握包括：
采集第i帧数据中，右手或者左手食指(HANDTIP_RIGHT)的空间位置坐标为(xHTR，yHTR，zHTR)，右手或者左手拇指(THUMB_RIGHT)的空间位置坐标为(xTR，yTR，zTR)，右手或者左手手心(HAND_RIGHT)的空间位置坐标为(xHR，yHR，zHR)；
计算得到右手或者左手手心到右手或者左手食指的空间向量的坐标表示为
Figure FDA0002838565420000011
Figure FDA0002838565420000012
右手或者左手手心到右手或者左手拇指的空间向量的坐标表示为
Figure FDA0002838565420000013
进而计算得到两个向量的向量积
Figure FDA0002838565420000014
Figure FDA0002838565420000015
根据向量积
Figure FDA0002838565420000016
计算得到第i帧右手或者左手手心、右手或者左手食指和右手或者左手拇指三点组成的三角形的面积
Figure FDA0002838565420000017
通过上述方法计算出第i+1帧数据中右手或者左手手心、右手或者左手食指和右手或者左手拇指三点组成的三角形的面积为Si+1，进而得到相邻两帧中三角形面积的绝对变化值为ΔS＝|Si-Si+1|；
当所述绝对变化值大于预设值时，则认为用户右手或者左手手心、右手或者左手食指和右手或者左手拇指三点在协同变化，即认为用户的右手或者左手在进行持续抓握。
CN202011484298.XA 2020-12-16 2020-12-16 一种识别手部是否在进行抓握的方法 Pending CN112509668A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011484298.XA CN112509668A (zh) 2020-12-16 2020-12-16 一种识别手部是否在进行抓握的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011484298.XA CN112509668A (zh) 2020-12-16 2020-12-16 一种识别手部是否在进行抓握的方法

Publications (1)

Publication Number Publication Date
CN112509668A true CN112509668A (zh) 2021-03-16

Family

ID=74972446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011484298.XA Pending CN112509668A (zh) 2020-12-16 2020-12-16 一种识别手部是否在进行抓握的方法

Country Status (1)

Country Link
CN (1) CN112509668A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020146672A1 (en) * 2000-11-16 2002-10-10 Burdea Grigore C. Method and apparatus for rehabilitation of neuromotor disorders
US20140204015A1 (en) * 2013-01-23 2014-07-24 Wistron Corporation Gesture recognition module and gesture recognition method
CN106598227A (zh) * 2016-11-15 2017-04-26 电子科技大学 基于Leap Motion和Kinect的手势识别方法
CN108261175A (zh) * 2017-12-26 2018-07-10 上海大学 一种基于人手“柱状抓握”动作的手功能康复定量评估方法
US20190103033A1 (en) * 2017-10-03 2019-04-04 ExtendView Inc. Augmented reality system for providing movement sequences and monitoring performance
CN109634415A (zh) * 2018-12-11 2019-04-16 哈尔滨拓博科技有限公司 一种用于控制模拟量的手势识别控制方法
CN110069133A (zh) * 2019-03-29 2019-07-30 湖北民族大学 基于手势识别的演示***控制方法及控制***
CN110275610A (zh) * 2019-05-27 2019-09-24 山东科技大学 一种基于LeapMotion体感控制器的协同手势控制采煤仿真控制方法
CN111145865A (zh) * 2019-12-26 2020-05-12 中国科学院合肥物质科学研究院 一种基于视觉的手部精细动作训练指导***及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020146672A1 (en) * 2000-11-16 2002-10-10 Burdea Grigore C. Method and apparatus for rehabilitation of neuromotor disorders
US20140204015A1 (en) * 2013-01-23 2014-07-24 Wistron Corporation Gesture recognition module and gesture recognition method
CN106598227A (zh) * 2016-11-15 2017-04-26 电子科技大学 基于Leap Motion和Kinect的手势识别方法
US20190103033A1 (en) * 2017-10-03 2019-04-04 ExtendView Inc. Augmented reality system for providing movement sequences and monitoring performance
CN108261175A (zh) * 2017-12-26 2018-07-10 上海大学 一种基于人手“柱状抓握”动作的手功能康复定量评估方法
CN109634415A (zh) * 2018-12-11 2019-04-16 哈尔滨拓博科技有限公司 一种用于控制模拟量的手势识别控制方法
CN110069133A (zh) * 2019-03-29 2019-07-30 湖北民族大学 基于手势识别的演示***控制方法及控制***
CN110275610A (zh) * 2019-05-27 2019-09-24 山东科技大学 一种基于LeapMotion体感控制器的协同手势控制采煤仿真控制方法
CN111145865A (zh) * 2019-12-26 2020-05-12 中国科学院合肥物质科学研究院 一种基于视觉的手部精细动作训练指导***及方法

Similar Documents

Publication Publication Date Title
CN107301370B (zh) 一种基于Kinect三维骨架模型的肢体动作识别方法
JP6207510B2 (ja) ゴルフ・スイングを分析するための装置および方法
CN104524742A (zh) 一种基于Kinect传感器的脑瘫儿童康复训练方法
CN105832343B (zh) 多维视觉手功能康复定量评估***和评估方法
CN112464918B (zh) 健身动作纠正方法、装置、计算机设备和存储介质
US8900165B2 (en) Balance training system
Ghasemzadeh et al. Wearable coach for sport training: A quantitative model to evaluate wrist-rotation in golf
de San Roman et al. Saliency driven object recognition in egocentric videos with deep CNN: toward application in assistance to neuroprostheses
WO2017161733A1 (zh) 通过电视和体感配件进行康复训练及***
WO2022193425A1 (zh) 运动数据展示方法和***
KR102320960B1 (ko) 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템
CN111883229B (zh) 一种基于视觉ai的智能运动指导方法及***
CN112435731A (zh) 一种判断实时姿势是否满足预设规则的方法
CN113709411A (zh) 一种mr智能眼镜基于眼动追踪技术的体育辅助训练***
CN109126045A (zh) 智能化运动分析和训练***
Krabben et al. How wide should you view to fight? Establishing the size of the visual field necessary for grip fighting in judo
Yang et al. Hand rehabilitation using virtual reality electromyography signals
Sarang et al. A New Learning Control System for Basketball Free Throws Based on Real Time Video Image Processing and Biofeedback.
CN116966056A (zh) 一种脑卒中患者上肢康复评估***
CN112509668A (zh) 一种识别手部是否在进行抓握的方法
CN115761901A (zh) 一种骑马姿势检测评估方法
JP3686418B2 (ja) 計測装置およびその方法
CN116963807A (zh) 运动数据展示方法和***
Gao et al. Research on the usability of hand motor function training based on VR system
Pan et al. Biomechanical analysis of shooting performance for basketball players based on computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination