CN114367091A - 一种面向双人上肢非接触式康复训练的交互方法及装置 - Google Patents

一种面向双人上肢非接触式康复训练的交互方法及装置 Download PDF

Info

Publication number
CN114367091A
CN114367091A CN202210034551.4A CN202210034551A CN114367091A CN 114367091 A CN114367091 A CN 114367091A CN 202210034551 A CN202210034551 A CN 202210034551A CN 114367091 A CN114367091 A CN 114367091A
Authority
CN
China
Prior art keywords
upper limb
patients
grid
patient
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210034551.4A
Other languages
English (en)
Other versions
CN114367091B (zh
Inventor
王俊华
王兆坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaokang Medical Technology Co ltd
Original Assignee
Guangzhou Xiaokang Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaokang Medical Technology Co ltd filed Critical Guangzhou Xiaokang Medical Technology Co ltd
Priority to CN202210034551.4A priority Critical patent/CN114367091B/zh
Publication of CN114367091A publication Critical patent/CN114367091A/zh
Application granted granted Critical
Publication of CN114367091B publication Critical patent/CN114367091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00—Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/12—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0084—Exercising apparatus with means for competitions, e.g. virtual races
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A63B2024/0096—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load using performance related parameters for controlling electronic or video games or avatars
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/065—Visualisation of specific exercise parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/803—Motion sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/807—Photo cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/62—Measuring physiological parameters of the user posture
    • A63B2230/625—Measuring physiological parameters of the user posture used as a control parameter for the apparatus

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明实施例公开了一种面向双人上肢非接触式康复训练的交互方法及装置，包括：通过体感传感器捕捉并返回两患者的骨架数据，通过左右位置关系区分两患者，根据两患者的骨骼数据对人体上肢动作进行重构，并引导两患者进行上肢运动；定义基于区域分格的患者上肢动作，区域中的所有格子与患者对应的数个基本上肢动作相匹配，两患者利用区域分格定位上肢运动轨迹；根据两患者的肢体功能评定结果，分别确定上肢运动辅助支持方式，以及上肢训练时***方式；通过体感传感器和虚拟现实交互***，两患者利用各自的上肢运动，完成包括不同难易程度的上肢互动康复训练方案。本发明不但可以引导患者做上肢动作，增加患者上肢训练的兴趣，而且可以提高设备使用的效率。

Description

一种面向双人上肢非接触式康复训练的交互方法及装置
技术领域
本发明涉及虚拟现实技术领域，尤其涉及到一种面向双人上肢非接触式康复训练的交互方法及装置。
背景技术
众多脑卒中、脑外伤、脊髓损伤的患者都存在上肢运动功能障碍的问题，严重影响了其生活质量；针对这些患者，需要进行积极的康复治疗才能恢复其功能。现有技术中，主要采用单人单项目训练，其占用康复设备多和设备使用率低，而且，由于是单人单设备训练，患者训练中没有竞争和互动，难以提高康复训练的兴趣，从而导致康复过程比较漫长和康复效果不明显。
中国专利申请CN109589557A、CN109589556A提出了一种基于虚拟现实环境双人上肢接触式康复训练***及评估方法，这两件申请专利通过两患者分别手持手柄在同一训练平面上运动，利用两手柄与训练平面上的虚拟场景、虚拟目标之间的接触式交互完成上肢康复训练。显然，这些现有技术是一种与虚拟目标接触式的双人上肢训练方法，训练中需要手持手柄，才能与虚拟目标互动，其现实性受到一定局限，另外两患者立体训练的空间也受到一定局限，不注意时会出现肢体碰撞现象。
发明内容
针对上述技术问题，本发明的目的在于提供一种面向双人上肢非接触式康复训练的交互方法及装置，本发明通过Kinect作为双人上肢动作捕捉输入设备，计算机在接收到由Kinect捕捉到并返回的双人骨骼数据后，根据这些骨骼数据对人体上肢动作进行重构，并利用各自的区域分格定位出的两人各自上肢运动轨迹，以及判断与虚拟目标的关系，来快速判断两人上肢各自动作的有效性，并比较两人动作有效性。
本发明的技术方案如下：
根据本发明的一个具体实施例，本发明公开了一种面向双人上肢非接触式康复训练的交互方法，其特征在于，包括以下步骤：
S1：通过体感传感器捕捉并返回两患者的骨骼数据，通过左右位置关系区分两患者，并根据两患者的骨骼数据对人体上肢动作进行重构；
S2：定义基于区域分格的患者上肢动作，用于两患者利用区域分格定位数个标准上肢动作,以及定位上肢数个标准运动的轨迹，区域中的所有格子对应患者的数个基本上肢动作；
S3：定义基于区域分格的虚拟目标落点，用于引导两患者完成相匹配的上肢动作，区域中的每个格子均是虚拟目标的落点位置；
S4：根据两患者的肢体功能评定结果，分别确定上肢运动辅助支持方式，以及上肢训练时***方式；
S5：两患者利用各自的上肢运动，通过体感传感器和虚拟现实交互***，分别操纵虚拟场景中的各自虚拟替身与虚拟物体进行互动，完成包括不同难易程度的上肢互动康复训练方案；
S6:训练过程中，根据两患者操纵的虚拟替身与虚拟物体互动的准确性，判断两患者上肢动作在规定时间内完成的程度并给予及时反馈；
S7：训练结束后,根据两患者上肢动作完成情况,评估出上肢训练分数,并分析出没有完成的上肢动作及没有完成的上肢动作次数，并对比和分析两患者的上肢康复训练结果。
上述技术方案中，步骤S1中，根据两患者的骨骼数据对人体上肢动作进行重构，是指根据两患者的骨骼数据计算出的上肢腕、肘、肩关节位置关系，重构出患者上肢的上、下、左、右、中、左上、左下、右上、右下共九个位置的九个基本上肢动作，或重构出患者上肢的上、下、左上、左下、右上、右下共六个位置的六个基本上肢动作。
上述技术方案中，步骤S2中，区域分格是指训练患者上肢运动的区域划分为九宫格或六宫格；
九宫格以患者的上、下、左、右、中、左上、左下、右上、右下九个基本上肢运动位置为标志物，其中“左、中、右”是指人的上肢在脐线之上、肩线之下活动的条带形位置；“左上、上、右上”指的是在肩线之上的上肢动作位置；“左下、下、右下”指的是在脐线之下的上肢动作位置，其中患者的九个基本上肢动作与九格宫的九个位置相匹配，复杂的上肢动作由2个或2个以上的基本上肢动作所组成；
六宫格以患者的上、下、左上、左下、右上、右下六个基本上肢运动位置为标志物，上肢运动区域分为上下两部分，其分界线是肩线和脐线之间的中线；“左上、上、右上”指的是在中线之上的上肢动作位置；“左下、下、右下”指的是在中线之下的上肢动作位置，其中患者的六个基本上肢动作与六宫格的六个位置相匹配，复杂的上肢动作由2个或2个以上的基本上肢动作所组成。
上述技术方案中，步骤S3具体包括：
步骤S301：通过九宫格或六宫格提前定位虚拟物体的落点位置；
步骤S302：提前提示落点位置，使患者容易及时完成相应的上肢动作；
步骤S303：患者到达九格宫或六宫格的相应位置，容易成功触到虚拟物体。
上述技术方案中，步骤S5的所述上肢互动康复训练方案的难易程度根据虚拟物体的大小、速度，以及移动距离、移动轨迹的一种或多种因素确定。
上述技术方案中，步骤S6中，判断两患者上肢动作是否及时完成是通过以下方式实现的：当患者进行某一上肢动作时，促使虚拟替身到达所匹配的九格宫或六宫格的某个格子，且当前时刻也是相应虚拟物体到达落点的时刻，则判断患者上肢操作到位；否则反之。
根据本发明的另一具体实施例，本发明公开了一种面向双人上肢非接触式康复训练的交互装置，其特征在于，包括：
捕捉数据重构模块，用于通过体感传感器捕捉并返回两患者的骨骼数据，通过左右位置关系区分两患者，并根据两患者的骨骼数据对人体基本上肢动作进行重构；其中，所述体感传感器采用Kinect深度图像采集设备或者穿戴式人***置***；
区域分格设置模块，用于定义基于九宫格或六格宫的患者基本上肢动作，九宫格或六宫格中的每个格子与患者某个基本上肢动作相匹配，两患者利用九宫格或六格宫可以定位基本上肢动作；
虚拟物体落点设置模块，用于定义基于九宫格或六宫格的虚拟物体落点，引导两患者进行相匹配的基本上肢动作，其中九宫格或六宫格中的每个格子是虚拟物体的落点位置；
上肢训练辅助模块，用于根据两患者的肢体功能评定结果，分别确定上肢运动辅助支持方式，以及上肢训练时***方式；
上肢运动训练模块，用于两患者利用各自的上肢运动，通过体感传感器和虚拟现实交互***，分别操纵虚拟场景中的各自虚拟替身与虚拟物体互动，完成包括不同难易程度的上肢互动康复训练方案；
训练即时反馈模块，用于在训练过程中根据两患者操纵的虚拟替身与虚拟物体互动的准确性，判断两患者上肢动作在规定时间内完成的程度,并给予及时反馈；
康复训练评估分析模块，训练结束后,根据两患者上肢动作完成情况,评估出上肢训练分数,并分析出没有完成的上肢动作及没有完成的上肢动作次数，并对比和分析两患者的上肢康复训练结果。
上述技术方案中，所述捕捉数据重构模块包括动作重构模块，所述动作重构模块根据两患者的骨骼数据计算出的上肢腕、肘、肩关节位置关系，重构出患者上肢的上、下、左、右、中、左上、左下、右上、右下共九个位置的基本上肢动作或重构出患者上肢的上、下、左上、左下、右上、右下共六个位置的基本上肢动作。
上述技术方案中，九宫格以患者的上、下、左、右、中、左上、左下、右上、右下共九个基本上肢运动位置为标志物，其中“左、中、右”是指人的上肢在脐线之上、肩线之下活动的条带形位置；“左上、上、右上”指的是在肩线之上的上肢动作位置；“左下、下、右下”指的是在脐线之下的上肢动作位置；患者的九个基本上肢动作与九格宫的九个位置相匹配，复杂的上肢动作由2个或2个以上的基本上肢动作所组成；
六宫格以患者的上、下、左上、左下、右上、右下共六个基本上肢运动位置为标志物，上肢运动区域分为上下两部分，其分界线是肩线和脐线之间的中线；“左上、上、右上”指的是在中线之上的上肢动作位置；“左下、下、右下”指的是在中线之下的上肢动作位置；患者的六个基本上肢动作与六宫格的六个位置相匹配，复杂的上肢动作由2个或2个以上的基本上肢动作所组成。
上述技术方案中，所述虚拟物体落点设置模块包括：
定位落点位置模块，用于通过九宫格或六宫格提前定位虚拟物体的落点位置；
提示落点位置模块，用于提前提示落点位置，使患者容易及时完成相应的上肢动作；
虚拟模块触碰模块，用于根据患者是否及时到达九格宫或六宫格的每个位置，判断是否成功触到虚拟物体。
上述技术方案中，所述上肢互动康复训练方案的难易程度根据虚拟物体的大小、速度，以及移动距离、移动轨迹的一种或多种因素确定。
上述技术方案中，所述训练即时反馈模块是通过以下方式判断两患者上肢动作在规定时间内完成的程度的：当患者进行某一上肢动作时，虚拟替身到达所匹配的九格宫或六宫格的某个格子，且当前时刻也是相应虚拟物体到达落点的时刻，则判断患者上肢操作到位；否则反之。
与现有技术相比，本发明的具体实施例具有以下有益效果：
1.本发明通过Kinect作为双人上肢动作捕捉输入设备，计算机在接收到由Kinect捕捉到并返回的双人骨架数据后，会根据这些骨架数据对人体上肢动作进行重构。
2.在虚拟现实环境中，远处移动来的目标，因有动态立体定位问题，两患者很难及时准确判断虚拟目标落点的位置，本发明通过九宫格或六宫格定位法，可以提前定位虚拟目标落点的位置，且可以提前提示该位置。
3.本发明重点标注上肢动作，关注手腕关节相对肘关节、肩关节的位置，引导患者手腕运动到九格宫的不同位置。
4.本发明在同一个***、同一个显示屏上，可以同时处理出2个人非接触式各自手腕运动位置以及与虚拟目标交互的情况，完成双人非接触式互动竞赛训练和互动协同训练。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明的上肢关节点定义及其在世界坐标的位置示意图；
图2为本发明的一种面向双人上肢非接触式康复训练的交互方法的示意图；
图3为本发明的九宫格的上肢动作定义示意图；
图4为本发明的基于九宫格的运动轨迹描述示意图；
图5为本发明的六宫格的上肢动作定义示意图；
图6为本发明的基于六宫格的运动轨迹描述示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
由于本发明主要针对两患者上肢运动的情况进行研究，因此如图1所示，在本发明的具体实施例中，本发明将上肢部分的节点主要定义如图1，具体包括患者2：头部A3、右肩A4、左肩A8、脊椎A1、右手A21、右臀A12、臀部中心A0、左臀A16、左手A22、右脚A15,肩膀中心A20；患者1：头部B3、右肩B4、左肩B8、脊椎B1、右手B21、右臀B12、臀部中心B0、左臀B16、左手B22、右脚B15,肩膀中心B20，如图1所示。
针对关节点的坐标表达，两患者的所有关节点在世界坐标系内的坐标值均可通过Kinect装置直接获取到，其坐标符号表达如表1所示。
表1所有关节点的坐标定义
Figure BDA0003467782460000071
Figure BDA0003467782460000081
根据本发明的一个具体实施例，如图2所示，本发明公开了一种面向双人上肢非接触式康复训练的交互方法，包括以下步骤：
S1：通过体感传感器捕捉并返回两患者的骨骼数据，通过左右位置关系区分两患者，并根据两患者的骨骼数据对人体上肢动作进行重构；
在本申请的具体实施例中，体感传感器可以采用Kinect深度图像采集设备，也可以是穿戴式人***置***。
针对患者1与患者2的区别，Kinect深度图像采集设备是按进入的前后顺序来分出两套不同的骨骼坐标体系，但却无法确定患者1与患者2的关系。在本发明中，是利用左右位置关系来确定所进入的人员是患者1还是患者2。
当发现存在两套骨骼坐标体系时，将其中一套命名为J，另外一套为K。当J骨骼中的0点J0点的X轴坐标值J0X，与K骨骼中的0点K0点的X轴坐标值K0X满足式1条件时，则认为J0点及其所在的骨骼是患者2，并把0点标记为A0，另一套骨骼则认为是患者1，其0点标记为B0。
J0X<K0X-0.3(1)
根据两患者的骨骼数据对人体上肢动作进行重构，是指根据两患者的骨骼数据计算出的上肢腕、肘、肩关节位置关系，重构出患者上肢的上、下、左、右、中、左上、左下、右上、右下共九个位置的九个基本上肢动作，或重构出患者上肢的上、下、左上、左下、右上、右下共六个位置的六个基本上肢动作。
S2：定义基于区域分格的患者上肢动作，用于两患者利用区域分格定位数个标准上肢动作,以及定位上肢数个标准运动的轨迹，区域中的所有格子对应患者的数个基本上肢动作。
上肢康复训练时，主要是要引导两患者进行上肢的上下左右摆动。根据这些摆动特点，本发明的具体实施例设计了一种基于九宫格或六宫格的上肢动作描述方法来对两患者的上肢动作进行实时、快速的描述，继而满足两个患者游戏的需求。
步骤S2中，区域分格是指患者上肢运动的区域划分为九宫格或六宫格。
九宫格以患者的上、下、左、右、中、左上、左下、右上、右下九个基本上肢运动位置为标志物，其中“左、中、右”是指人的上肢在脐线之上、肩线之下活动的条带形位置；“左上、上、右上”指的是在肩线之上的上肢动作位置；“左下、下、右下”指的是在脐线之下的上肢动作位置，如图3所示，患者这九个基本上肢动作与九格宫的九个位置相匹配。复杂的上肢动作由2个或2个以上的基本上肢动作所组成，如横切动作，可以通过左-﹥中-﹥右三个基本上肢动作所组成。
六宫格以患者的上、下、左上、左下、右上、右下六个基本上肢运动位置为标志物，上肢运动区域分为上下两部分，其分界线是肩线和脐线之间的中线；“左上、上、右上”指的是在中线之上的上肢动作位置；“左下、下、右下”指的是在中线之下的上肢动作位置，其中患者的六个基本上肢动作与六宫格的六个位置相匹配，复杂的上肢动作由2个或2个以上的基本上肢动作所组成，后面会对六宫格进行详细的描述。
九宫格的上肢动作的物理定义：
患者1与患者2的上肢动作的物理定义及其数学表达相似，差异仅在于是患者1的关节，还是患者2的关节；以下使用患者2作为公式主体：
(1)脐线高度H的定义及其数学表达
H＝(YA1+YA16)/2 (2)
(2)上肢动作的定义及其数学表达
“左、中、右”是指人的上肢在脐线之上，肩线之下活动的条带形中间位置；在肩线之上的上肢动作位置是“左上、上、右上”；在脐线之下的上肢动作位置是“左下、下、右下”。
上肢动作“上”的物理定义是：“上”是指人手在两肩髋线中间及肩线之上活动，即基本保持垂直向上，其数学表达如式3所示。
((YA21＞YA4)∩(XA21＞XA8∩XA21＜XA4))∪((YA22＞YA8)∩(XA22＞XA8∩XA22＜XA4))
(3)
上肢动作“下”的物理定义是：“下”是指人手在两肩髋线中间及脐线之下活动，即基本保持垂直向下活动，其数学表达如式4所示。((YA21＜H)∩(XA21＞XA8∩XA21＜XA4))∪((YA22＞H)∩(XA22＞XA8∩XA22＜XA4))
(4)
上肢动作“左”的物理定义是：“左”是指人手在左肩髋线之外的条带形中间位置活动。其数学表达如式5所示。
((XA21＜XA4)∩(YA21＞H∩YA21＜YA4))∪((XA22＜XA8)∩(YA22＞H∩YA22＜YA8))
(5)
上肢动作“右”的物理定义是：“右”是指人手在右肩髋线之外的条带形中间位置活动，其数学表达如式6所示。
((XA21＞XA4)∩(YA21＞H∩YA21＜YA4))∪((XA22＞XA8)∩(YA22＞H∩YA22＜YA8))
(6)
上肢动作“中”的物理定义是：“中”是指人手在两肩髋线、两肩脐线的交叉部位活动，其数学表达如式7所示。
((YA21＞H)∩(YA21＜YA4∩XA21＞XA8∩XA21＜XA4))∪((YA22＞H)∩(YA22＜YA4∩XA22＞XA8∩XA22＜XA4))
(7)
上肢动作“左上”的物理定义是：“左上”是指人手在左肩髋线与肩线交叉的左上方的扇形部位活动。其数学表达如式8所示。
(YA21＞YA4∩XA21＜XA4)∪(YA22＞YA8∩XA22＜XA8) (8)
上肢动作“左下”的物理定义是：“左下”是指人手在左肩髋线与脐线交叉的左下方的扇形部位活动。其数学表达如式9所示。
(YA21＜H∩XA21＜XA4)∪(YA22＜H∩XA22＜XA8) (9)
上肢动作“右上”的物理定义是：“右上”是指人手在右肩髋线与肩线交叉的右上方的扇形部位活动。其数学表达如式10所示。
(YA21＞YA4∩XA21＞XA4)∪(YA22＞YA8∩XA22＞XA8) (10)
上肢动作“右下”的物理定义是：“右下”是指人手在右肩髋线与脐线交叉的右下方的扇形部位活动。其数学表达如式11所示。
(YA21＜H∩XA21＞XA4)∪(YA22＜H∩XA22＞XA8) (11)
根据实际情况的需要，本申请实施例也可以利用类似的六宫格定位的患者基本上肢动作，下述再做详细介绍。
上述区域分格针对九宫格进行详细说明，本发明的另一具体实施例的区域分格为六宫格，其中，基于六宫格的上肢动作描述方法来对两患者的上肢动作进行实时、快速的描述，继而满足双人游戏的需求。根据六宫格的位置，将上肢动作定义为上、下、左上、左下、右上、右下六类，其中，上半部分与下半部分的分界线是肩线和脐线之间的中线；在中线之上的上肢动作位置是“左上、上、右上”；在中线之下的上肢动作位置是“左下、下、右下”，如图4所示。
六宫格的上肢动作的物理定义为：
患者1与患者2的上肢动作的物理定义及其数学表达相似，差异仅在于是患者1的关节，还是患者2的关节；以下使用患者2作为公式主体：
(1)中线高度H的定义及其数学表达
H＝((YA1+YA16)/2+YA8)/2 (12)
(2)上肢动作的定义及其数学表达：
在中线之上的上肢动作位置是“左上、上、右上”；在中线之下的上肢动作位置是“左下、下、右下”。
上肢动作“上”的物理定义是：“上”是指人手在两肩髋线中间及中线之上活动，即基本保持垂直向上。其数学表达如式13所示。
((YA21＞H)∩(XA21＞XA8∩XA21＜XA4))∪((YA22＞H)∩(XA22＞XA8∩XA22＜XA4))
(13)
上肢动作“下”的物理定义是：“下”是指人手在两肩髋线中间及中线之下活动，即基本保持垂直向下活动。其数学表达如式4所示。
((YA21＜H)∩(XA21＞XA8∩XA21＜XA4))∪((YA22＜H)∩(XA22＞XA8∩XA22＜XA4))
(14)
上肢动作“左上”的物理定义是：“左上”是指人手在左肩髋线与中线交叉的左上方的扇形部位活动。其数学表达如式15所示。
(YA21＞H∩XA21＜XA4)∪(YA22＞H∩XA22＜XA8) (15)
上肢动作“左下”的物理定义是：“左下”是指人手在左肩髋线与中线交叉的左下方的扇形部位活动。其数学表达如式16所示。
(YA21＜H∩XA21＜XA4)∪(YA22＜H∩XA22＜XA8) (16)
上肢动作“右上”的物理定义是：“右上”是指人手在右肩髋线与中线交叉的右上方的扇形部位活动。其数学表达如式17所示。
(YA21＞H∩XA21＞XA4)∪(YA22＞H∩XA22＞XA8) (17)
上肢动作“右下”的物理定义是：“右下”是指人手在右肩髋线与中线交叉的右下方的扇形部位活动。其数学表达如式18所示。
(YA21＜H∩XA21＞XA4)∪(YA22＜H∩XA22＞XA8) (18)
在人体上的上肢活动六宫格定位与虚拟场景中人操作的虚拟物的活动部位的6个宫格定位相匹配。
S3：定义基于区域分格的虚拟目标落点，用于引导两患者完成相匹配的上肢动作，区域中的每个格子均是虚拟目标的落点位置。
步骤S3具体包括：
步骤S301：通过九宫格或六宫格提前定位虚拟物体的落点位置；
步骤S302：提前提示落点位置，使患者容易及时完成相应的上肢动作；
步骤S303：患者到达九宫格或六宫格的相应位置，容易成功触到虚拟物体。
针对九宫格或六宫格的情形，在人体上的上肢活动九宫格或六宫格定位与虚拟场景中人操作的虚拟物的活动部位的9个宫格或6个宫格定位相匹配。本发明能够发生交互的虚拟物体会随机生成并在某一时刻自动归类到用户所属的九宫格或六宫格的其中一个格子上。当双人协同游戏时，共同的虚拟物体与共同九宫格内的其中一个格子绑定；当双人竞赛游戏时，两人分别与各自九宫格内的对应格子进行绑定。不同时刻里，虚拟物体所绑定的格子可发生改变。如图4所示,九宫格每个格子与患者上肢动作相匹配。
当患者进行某一上肢动作时，如果与虚拟物体在当前时刻所归属的格子相匹配，则认定该患者与虚拟物体发生触碰。
除上述的简单触碰方式外，还可通过本发明所定义的九宫格实现较为复杂的动作轨迹描述，以满足划船、摘水果等更为复杂的康复游戏的需求。假设要求用户做出从左上到右下的斜切的动作，如图4的粗斜线轨迹所示，则其描述方法为在有效时间间隔t内，其运动点必定经过：左上-->中-->右下，且除了必经方格外，只能经过上、右两个方格。无论用户实际的斜切动作如何，最终会被校正到标准的左上-->中-->右下轨迹，如图5的细斜线轨迹所示。
轨迹式运动交互与触碰交互方法大致一样，在游戏设计时已经规划好相应的运动轨迹，只要用户的运动轨迹与校正后的轨迹相同，则认为用户的运动与设想相符，则会根据该输入进行下一步的处理。
针对六宫格人机交互的情形，在人体上的上肢活动六格宫定位与虚拟场景中人操作的虚拟物的活动部位的6个宫格定位相匹配。
本发明中的与虚拟物体发生触碰的交互方法，能够发生交互的虚拟物体会随机生成并在某一时刻自动归类到用户所属的六宫格的其中一个格子上。当双人协同游戏时，共同的虚拟物体与共同六宫格内的其中一个格子绑定；当双人竞赛游戏时，两人分别与各自六宫格内的对应格子进行绑定。不同时刻里，虚拟物体所绑定的格子可发生改变。如图6所示,六宫格每个格子与前面所定义的患者上肢动作相匹配。
当患者进行某一上肢动作时，如果与虚拟物体在当前时刻所归属的格子相匹配，则认定该患者与虚拟物体发生触碰。
除上述的简单触碰方式外，还可通过本发明所定义的六宫格实现较为复杂的动作轨迹描述，以满足划船、摘水果等更为复杂的康复游戏的需求。假设要求用户做出从左上到右下的斜切的动作，如图6的粗线轨迹所示，则其描述方法为在有效时间间隔t内，其运动点必定经过：左上-->右下，且除了必经方格外，只能经过上或下一个方格。
轨迹式运动交互与上述的触碰交互方法大致一样，在游戏设计时已经规划好相应的运动轨迹，只要用户的运动轨迹与校正后的轨迹相同，则认为用户的运动与设想相符，则会根据该输入进行下一步的处理。
S4：根据两患者的肢体功能评定结果，分别确定上肢运动辅助支持方式，以及上肢训练时***方式。其中，上肢训练***方式分别包括站姿和坐姿两种方式，其中站姿需要站立架的支持。
S5：两患者利用各自的上肢运动，通过体感传感器和虚拟现实交互***，分别操纵虚拟场景中的各自虚拟替身与虚拟物体进行互动，完成包括不同难易程度的上肢互动康复训练方案。
上肢互动康复训练方案的难易程度根据虚拟物体的大小、速度，以及移动距离、移动轨迹的一种或多种因素确定。
S6:训练过程中，根据两患者操纵的虚拟替身与虚拟物体互动的准确性，判断两患者上肢动作在规定时间内完成的程度并给予及时反馈。
训练过程中，根据两患者操纵的虚拟人或虚拟物与虚拟目标互动的准确性，判断两患者上肢动作是否及时完成并统计得分情况，同时统计两患者没有及时完成的上肢动作以及没有完成的上肢动作次数，其中没有完成的上肢动作指的是患者在九宫格或六宫格中上肢运动不到位的区域。
判断两患者上肢动作是否及时完成是通过以下方式实现的：当患者进行某一上肢动作时，促使虚拟替身到达所匹配的九格宫或六宫格的格子，且当前时刻也是相应虚拟物体到达落点的时刻，则判断患者上肢操作到位；否则反之。
S7：训练结束后,根据两患者上肢动作完成情况,评估出上肢训练分数,并分析出没有完成的上肢动作及没有完成的上肢动作次数，并对比和分析两患者的上肢康复训练结果。
根据本发明的另一具体实施例，本发明还公开了根据本发明的另一具体实施例，本发明公开了一种面向双人上肢非接触式康复训练的交互装置，包括：
捕捉数据重构模块，用于通过体感传感器捕捉并返回两患者的骨骼数据，通过左右位置关系区分两患者，并根据两患者的骨骼数据对人体基本上肢动作进行重构；其中，所述体感传感器采用Kinect深度图像采集设备或者穿戴式人***置***。
区域分格设置模块，用于定义基于九宫格或六格宫的患者基本上肢动作，九宫格或六宫格中的每个格子与患者某个基本上肢动作相匹配，两患者利用九宫格或六格宫可以定位基本上肢动作。
虚拟物体落点设置模块，用于定义基于九宫格或六宫格的虚拟物体落点，引导两患者进行相匹配的基本上肢动作，其中九宫格或六宫格中的每个格子是虚拟物体的落点位置。
上肢训练辅助模块，用于根据两患者的肢体功能评定结果，分别确定上肢运动辅助支持方式，以及上肢训练时***方式。
上肢运动训练模块，用于两患者利用各自的上肢运动，通过体感传感器和虚拟现实交互***，分别操纵虚拟场景中的各自虚拟替身与虚拟物体互动，完成包括不同难易程度的上肢互动康复训练方案；
训练即时反馈模块，用于在训练过程中根据两患者操纵的虚拟替身与虚拟物体互动的准确性，判断两患者上肢动作在规定时间内完成的程度,并给予及时反馈；
康复训练评估分析模块，训练结束后,根据两患者上肢动作完成情况,评估出上肢训练分数,并分析出没有完成的上肢动作及没有完成的上肢动作次数，并对比和分析两患者的上肢康复训练结果。
在本发明的具体实施例中，捕捉数据重构模块包括动作重构模块，所述动作重构模块根据两患者的骨骼数据计算出的上肢腕、肘、肩关节位置关系，重构出患者上肢的上、下、左、右、中、左上、左下、右上、右下共九个位置的基本上肢动作，或重构出患者上肢的上、下、左上、左下、右上、右下共六个位置的基本上肢动作。
在本发明的具体实施例中，九宫格以患者的上、下、左、右、中、左上、左下、右上、右下共九个基本上肢运动位置为标志物，其中“左、中、右”是指人的上肢在脐线之上、肩线之下活动的条带形位置；“左上、上、右上”指的是在肩线之上的上肢动作位置；“左下、下、右下”指的是在脐线之下的上肢动作位置；患者的九个基本上肢动作与九格宫的九个位置相匹配，复杂的上肢动作由2个或2个以上的基本上肢动作所组成，如横切动作，可以通过左--﹥中--﹥右三个基本上肢动作所组成。
六宫格以患者的上、下、左上、左下、右上、右下共六个基本上肢运动位置为标志物，上肢运动区域分为上下两部分，其分界线是肩线和脐线之间的中线；“左上、上、右上”指的是在中线之上的上肢动作位置；“左下、下、右下”指的是在中线之下的上肢动作位置；患者的六个基本上肢动作与六宫格的六个位置相匹配，复杂的上肢动作由2个或2个以上的基本上肢动作所组成。
在本发明的具体实施例中，所述虚拟物体落点设置模块包括：
定位落点位置模块，用于通过九宫格或六宫格提前定位虚拟物体的落点位置；
提示落点位置模块，用于提前提示落点位置，使患者容易及时完成相应的上肢动作；
虚拟模块触碰模块，用于根据患者是否及时到达九格宫或六宫格的每个位置，判断是否成功触到虚拟物体。
在本发明的具体实施例中，上肢互动康复训练方案的难易程度根据虚拟物体的大小、速度，以及移动距离、移动轨迹的一种或多种因素确定。
在本发明的具体实施例中，训练即时反馈模块是通过以下方式判断两患者上肢动作在规定时间内完成的程度的：当患者进行某一上肢动作时，虚拟替身到达所匹配的九格宫或六宫格的某个格子，且当前时刻也是相应虚拟物体到达落点的时刻，则判断患者上肢操作到位；否则反之。
需要指出的是，本发明的交互装置是结合交互方法实现的，交互装置的各模块是根据本发明的交互方法以及上述交互方法描述的内容实现的，在此本发明没有赘述。
本发明通过Kinect作为双人上肢动作捕捉输入设备，计算机在接收到由Kinect捕捉到并返回的双人骨骼数据后，会根据这些骨骼数据对人体上肢动作进行重构，并利用各自的九宫格或1个总九宫格，以及九宫格定位出的两人各自上肢运动轨迹，以及判断与虚拟目标的关系，来快速判断两人上肢各自动作的有效性，并比较两人动作有效性；也可以利用各自的六宫格或1个总六宫格，以及六宫格定位出的两人各自上肢运动轨迹，以及判断与虚拟目标的关系，来快速判断两人上肢各自动作的有效性，并比较两人动作有效性。本发明不但可以引导患者做上肢动作，增加患者上肢训练的兴趣，而且可以提高设备训练的效率。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (12)

1.一种面向双人上肢非接触式康复训练的交互方法，其特征在于，包括以下步骤：
S1：通过体感传感器捕捉并返回两患者的骨骼数据，通过左右位置关系区分两患者，并根据两患者的骨骼数据对人体上肢动作进行重构；
S2：定义基于区域分格的患者上肢动作，用于两患者利用区域分格定位数个标准上肢动作,以及定位上肢数个标准运动的轨迹，区域中的所有格子对应患者的数个基本上肢动作；
S3：定义基于区域分格的虚拟目标落点，用于引导两患者完成相匹配的上肢动作，区域中的每个格子均是虚拟目标的落点位置；
S4：根据两患者的肢体功能评定结果，分别确定上肢运动辅助支持方式，以及上肢训练时***方式；
S5：两患者利用各自的上肢运动，通过体感传感器和虚拟现实交互***，分别操纵虚拟场景中的各自虚拟替身与虚拟物体进行互动，完成包括不同难易程度的上肢互动康复训练方案；
S6:训练过程中，根据两患者操纵的虚拟替身与虚拟物体互动的准确性，判断两患者上肢动作在规定时间内完成的程度并给予及时反馈；
S7：训练结束后,根据两患者上肢动作完成情况,评估出上肢训练分数,并分析出没有完成的上肢动作及没有完成的上肢动作次数，并对比和分析两患者的上肢康复训练结果。
2.根据权利要求1所述的面向双人上肢非接触式康复训练的交互方法，其特征在于，步骤S1中，根据两患者的骨骼数据对人体上肢动作进行重构，是指根据两患者的骨骼数据计算出的上肢腕、肘、肩关节位置关系，重构出患者上肢的上、下、左、右、中、左上、左下、右上、右下共九个位置的九个基本上肢动作，或重构出患者上肢的上、下、左上、左下、右上、右下共六个位置的六个基本上肢动作。
3.根据权利要求2所述的面向双人上肢非接触式康复训练的交互方法，其特征在于，步骤S2中，区域分格是指患者上肢运动的区域划分为九宫格或六宫格；
九宫格以患者的上、下、左、右、中、左上、左下、右上、右下九个基本上肢运动位置为标志物，其中“左、中、右”是指人的上肢在脐线之上、肩线之下活动的条带形位置；“左上、上、右上”指的是在肩线之上的上肢动作位置；“左下、下、右下”指的是在脐线之下的上肢动作位置，其中患者的九个基本上肢动作与九格宫的九个位置相匹配，复杂的上肢动作由2个或2个以上的基本上肢动作所组成；
六宫格以患者的上、下、左上、左下、右上、右下六个基本上肢运动位置为标志物，上肢运动区域分为上下两部分，其分界线是肩线和脐线之间的中线；“左上、上、右上”指的是在中线之上的上肢动作位置；“左下、下、右下”指的是在中线之下的上肢动作位置，其中患者的六个基本上肢动作与六宫格的六个位置相匹配，复杂的上肢动作由2个或2个以上的基本上肢动作所组成。
4.根据权利要求1所述的面向双人上肢非接触式康复训练的交互方法，其特征在于，步骤S3具体包括：
步骤S301：通过九宫格或六宫格提前定位虚拟物体的落点位置；
步骤S302：提前提示落点位置，使患者容易及时完成相应的上肢动作；
步骤S303：患者到达九格宫或六宫格的相应位置，容易成功触到虚拟物体。
5.根据权利要求1所述的面向双人上肢非接触式康复训练的交互方法，其特征在于，步骤S5的所述上肢互动康复训练方案的难易程度根据虚拟物体的大小、速度，以及移动距离、移动轨迹的一种或多种因素确定。
6.根据权利要求1所述的面向双人上肢非接触式康复训练的交互方法，其特征在于，步骤S6中，判断两患者上肢动作是否及时完成是通过以下方式实现的：当患者进行某一上肢动作时，促使虚拟替身到达所匹配的九格宫或六宫格的某个格子，且当前时刻也是相应虚拟物体到达落点的时刻，则判断患者上肢操作到位；否则反之。
7.一种面向双人上肢非接触式康复训练的交互装置，其特征在于，包括：
捕捉数据重构模块，用于通过体感传感器捕捉并返回两患者的骨骼数据，通过左右位置关系区分两患者，并根据两患者的骨骼数据对人体基本上肢动作进行重构；其中，所述体感传感器采用Kinect深度图像采集设备或者穿戴式人***置***；
区域分格设置模块，用于定义基于九宫格或六格宫的患者基本上肢动作，九宫格或六宫格中的所有格子与患者数个基本上肢动作相匹配，两患者利用九宫格或六格宫可以定位基本上肢动作；
虚拟物体落点设置模块，用于定义基于九宫格或六宫格的虚拟物体落点，引导两患者进行相匹配的基本上肢动作，其中九宫格或六宫格中的每个格子是虚拟物体的落点位置；
上肢训练辅助模块，用于根据两患者的肢体功能评定结果，分别确定上肢运动辅助支持方式，以及上肢训练时***方式；
上肢运动训练模块，用于两患者利用各自的上肢运动，通过体感传感器和虚拟现实交互***，分别操纵虚拟场景中的各自虚拟替身与虚拟物体互动，完成包括不同难易程度的上肢互动康复训练方案；
训练即时反馈模块，用于在训练过程中根据两患者操纵的虚拟替身与虚拟物体互动的准确性，判断两患者上肢动作在规定时间内及时完成的程度,并给予及时反馈；
康复训练评估分析模块，训练结束后,根据两患者上肢动作完成情况,评估出上肢训练分数,并分析出没有完成的上肢动作及没有完成的上肢动作次数，并对比和分析两患者的上肢康复训练结果。
8.根据权利要求7所述的面向双人上肢非接触式康复训练的交互装置，其特征在于，所述捕捉数据重构模块包括动作重构模块，所述动作重构模块根据两患者的骨骼数据计算出的上肢腕、肘、肩关节位置关系，重构出患者上肢的上、下、左、右、中、左上、左下、右上、右下共九个位置的基本上肢动作或重构出患者上肢的上、下、左上、左下、右上、右下共六个位置的基本上肢动作。
9.根据权利要求8所述的面向双人上肢非接触式康复训练的交互装置，其特征在于，九宫格以患者的上、下、左、右、中、左上、左下、右上、右下共九个基本上肢运动位置为标志物，其中“左、中、右”是指人的上肢在脐线之上、肩线之下活动的条带形位置；“左上、上、右上”指的是在肩线之上的上肢动作位置；“左下、下、右下”指的是在脐线之下的上肢动作位置；患者的九个基本上肢动作与九格宫的九个位置相匹配，复杂的上肢动作由2个或2个以上的基本上肢动作所组成；
六宫格以患者的上、下、左上、左下、右上、右下共六个基本上肢运动位置为标志物，上肢运动区域分为上下两部分，其分界线是肩线和脐线之间的中线；“左上、上、右上”指的是在中线之上的上肢动作位置；“左下、下、右下”指的是在中线之下的上肢动作位置；患者的六个基本上肢动作与六宫格的六个位置相匹配，复杂的上肢动作由2个或2个以上的基本上肢动作所组成。
10.根据权利要求7所述的面向双人上肢非接触式康复训练的交互装置，其特征在于，所述虚拟物体落点设置模块包括：
定位落点位置模块，用于通过九宫格或六宫格提前定位虚拟物体的落点位置；
提示落点位置模块，用于提前提示落点位置，使患者容易及时完成相应的上肢动作；
虚拟模块触碰模块，用于根据患者是否及时到达九格宫或六宫格的每个位置，判断是否成功触到虚拟物体。
11.根据权利要求7所述的面向双人上肢非接触式康复训练的交互装置，其特征在于，所述上肢互动康复训练方案的难易程度根据虚拟物体的大小、速度，以及移动距离、移动轨迹的一种或多种因素确定。
12.根据权利要求7所述的面向双人上肢非接触式康复训练的交互装置，其特征在于，所述训练即时反馈模块是通过以下方式判断两患者上肢动作在规定时间内完成的程度的：当患者进行某一上肢动作时，虚拟替身到达所匹配的九格宫或六宫格的某个格子，且当前时刻也是相应虚拟物体到达落点的时刻，则判断患者上肢操作到位；否则反之。
CN202210034551.4A 2022-01-13 2022-01-13 一种面向双人上肢非接触式康复训练的交互方法及装置 Active CN114367091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210034551.4A CN114367091B (zh) 2022-01-13 2022-01-13 一种面向双人上肢非接触式康复训练的交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210034551.4A CN114367091B (zh) 2022-01-13 2022-01-13 一种面向双人上肢非接触式康复训练的交互方法及装置

Publications (2)

Publication Number Publication Date
CN114367091A true CN114367091A (zh) 2022-04-19
CN114367091B CN114367091B (zh) 2022-12-06

Family

ID=81143090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210034551.4A Active CN114367091B (zh) 2022-01-13 2022-01-13 一种面向双人上肢非接触式康复训练的交互方法及装置

Country Status (1)

Country Link
CN (1) CN114367091B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109589557A (zh) * 2018-11-29 2019-04-09 广州晓康医疗科技有限公司 基于虚拟现实环境双人竞赛上肢康复训练***及评估方法
CN112617810A (zh) * 2021-01-04 2021-04-09 重庆大学 一种抑制上肢肩肘康复代偿的虚拟场景参数自适应方法
WO2021068542A1 (zh) * 2019-10-12 2021-04-15 东南大学 基于力反馈技术的上肢主被动康复训练机器人***
CN113332668A (zh) * 2021-06-02 2021-09-03 上海市徐汇区中心医院 躯干控制训练装置及其训练方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109589557A (zh) * 2018-11-29 2019-04-09 广州晓康医疗科技有限公司 基于虚拟现实环境双人竞赛上肢康复训练***及评估方法
WO2021068542A1 (zh) * 2019-10-12 2021-04-15 东南大学 基于力反馈技术的上肢主被动康复训练机器人***
CN112617810A (zh) * 2021-01-04 2021-04-09 重庆大学 一种抑制上肢肩肘康复代偿的虚拟场景参数自适应方法
CN113332668A (zh) * 2021-06-02 2021-09-03 上海市徐汇区中心医院 躯干控制训练装置及其训练方法

Also Published As

Publication number Publication date
CN114367091B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
US10058773B2 (en) Man-machine interaction controlling method and applications thereof
CN106485055B (zh) 一种基于Kinect传感器的老年II型糖尿病患者运动训练***
CN108721870B (zh) 一种基于虚拟环境的运动训练评价方法
JP2021524113A (ja) 画像処理方法および装置、画像機器、ならびに記憶媒体
CN106420254A (zh) 多人交互虚拟现实康复训练与评估***
CN110739040A (zh) 一种上下肢康复评定训练***
CN109453509A (zh) 一种基于肌电和运动捕捉的虚拟上肢控制***及其方法
KR101784410B1 (ko) 운동 자세 인식 방법 및 이를 적용하는 시스템
CN108537284A (zh) 基于计算机视觉深度学习算法的姿态评估打分方法和***
CN104524742A (zh) 一种基于Kinect传感器的脑瘫儿童康复训练方法
WO2011009302A1 (zh) 一种基于多跟踪点的人体动作识别方法
CN103019386B (zh) 一种人机互动的控制方法及其运用
KR101317383B1 (ko) 로봇을 이용한 인지 능력 훈련 장치 및 그 방법
CN104353240A (zh) 基于Kinect的跑步机***
CN107293175A (zh) 一种基于体感技术的机车手信号操作训练方法
CN110232963A (zh) 一种基于立体显示技术的上肢运动功能评估***及方法
CN109421052A (zh) 一种基于人工智能的五子棋对弈机器人
CN112076440A (zh) 基于识别屏的双人互动上肢康复***及其训练方法
CN109589557A (zh) 基于虚拟现实环境双人竞赛上肢康复训练***及评估方法
CN107272884A (zh) 一种基于虚拟现实技术的控制方法及其控制***
CN112007343A (zh) 一种双臂型拳击陪练机器人
Zhang et al. Research on volleyball action standardization based on 3D dynamic model
CN102446359A (zh) 一种基于计算机的小球运动处理方法及***
CN114367091B (zh) 一种面向双人上肢非接触式康复训练的交互方法及装置
CN111359159B (zh) 颈椎康复训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 510000 units 403 and 404, plant C, No. 3, Huachuang Animation Industrial Park, No. 22 Huateng Road, Jinshan Village, Shiqi Town, Panyu District, Guangzhou City, Guangdong Province

Applicant after: GUANGZHOU XIAOKANG MEDICAL TECHNOLOGY Co.,Ltd.

Address before: 510000 unit 502, building 6, phase II, Huachuang Animation Industrial Park, Shiqi Town, Panyu District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU XIAOKANG MEDICAL TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant