CN109199417A - 一种用于运动康复治疗的增强现实方法及*** - Google Patents
一种用于运动康复治疗的增强现实方法及*** Download PDFInfo
- Publication number
- CN109199417A CN109199417A CN201811035415.7A CN201811035415A CN109199417A CN 109199417 A CN109199417 A CN 109199417A CN 201811035415 A CN201811035415 A CN 201811035415A CN 109199417 A CN109199417 A CN 109199417A
- Authority
- CN
- China
- Prior art keywords
- treatment
- patient
- data
- joint
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011282 treatment Methods 0.000 title claims abstract description 147
- 238000000034 method Methods 0.000 title claims abstract description 92
- 230000000386 athletic effect Effects 0.000 title claims abstract description 59
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 42
- 238000005259 measurement Methods 0.000 claims abstract description 50
- 230000003387 muscular Effects 0.000 claims abstract description 46
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 230000001225 therapeutic effect Effects 0.000 claims abstract description 20
- 230000001360 synchronised effect Effects 0.000 claims abstract description 18
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 9
- 210000004394 hip joint Anatomy 0.000 claims description 9
- 210000003205 muscle Anatomy 0.000 claims description 9
- 210000000323 shoulder joint Anatomy 0.000 claims description 9
- 210000003857 wrist joint Anatomy 0.000 claims description 9
- 210000002310 elbow joint Anatomy 0.000 claims description 7
- 210000000629 knee joint Anatomy 0.000 claims description 7
- 210000000988 bone and bone Anatomy 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 16
- 238000002560 therapeutic procedure Methods 0.000 abstract description 9
- 238000012549 training Methods 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000013461 design Methods 0.000 abstract description 2
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000000968 medical method and process Methods 0.000 abstract description 2
- 238000013139 quantization Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4528—Joints
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/22—Ergometry; Measuring muscular strength or the force of a muscular blow
- A61B5/224—Measuring muscular strength
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4519—Muscles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Rheumatology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Orthopedic Medicine & Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physical Education & Sports Medicine (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明涉及一种用于运动康复治疗的增强现实方法及***。所述方法包括:实时测量患者治疗过程中的关节活动度/肌力数据;采集治疗人员对患者进行运动康复治疗的同步视频;将采集的同步视频和实时测量的数据进行同步融合显示。本发明将增强现实技术应用到康复医疗领域,可以突破传统康复医疗方法的局限性,利用增强现实***,患者在运动康复治疗过程中的关节活动角度、治疗人员提供的辅助力/阻力能够实时地呈现,使得使用人员既可以接触到虚拟世界提供的多种形式信息反馈,又可以与现实物体进行自然交互,因此具有虚拟康复训练和现实康复训练的双重优点,不仅有助于康复治疗过程的标准化,还为个性化的精准治疗方案的设计提供依据。
Description
技术领域
本发明涉及增强现实技术领域,更具体地,涉及一种用于运动康复治疗的增强现实方法及***。
背景技术
人体的运动功能受损后一般需要较长的时间来进行康复治疗。目前在国内主要的康复治疗手段是以治疗师的手法操作为主,由于康复治疗资源有限,治疗师工作强度高,患者入院时间短,不足以完成整个康复过程,出院后难以继续进行标准化的康复训练,导致康复效果不甚理想。
由虚拟现实技术发展而来的增强现实技术是将虚拟的信息叠加到真实世界中,被人类感官所感知,从而达到超越现实的感官体验。采用增强现实技术用户不仅能够看到由计算机生成的虚拟信息,还能够看到现有世界的真实信息,通过运动跟踪实现虚拟物体与现实世界的无缝拼接,临场感与真实感都更强。增强现实介于虚拟现实和纯粹的现实世界之间,是两者的有机结合。增强现实技术正被用于各个领域中,以解决各个领域存在的一些技术难题。发明内容
本发明的目的在于为克服上述不足之处,提供一种有利于实现精准个性化康复治疗的用于运动康复治疗的增强现实方法和***。
为实现上述目的,本发明是采用以下技术方案实现的:
一种用于运动康复治疗的增强现实方法,包括:
实时测量测量患者治疗过程中的关节活动度/肌力数据;
采集治疗人员对患者进行运动康复治疗的同步视频;
将采集的同步视频和实时测量的数据进行同步融合显示。
进一步的,患者关节活动度数据包括患者肩关节、肘关节、腕关节、髋关节、膝关节、踝关节中一种或多种部位在运动时的关节活动范围数据。
进一步的,肌力数据包括治疗人员对患者进行运动康复治疗时对患者身体部位进行肌群肌力训练时所提供的辅助力/阻力数据。
进一步的,将采集的同步视频和实时测量的数据进行同步融合显示的具体步骤包括:
骨骼点识别步骤,根据同步视频结合机器视觉技术对患者身体关键部位进行骨骼点识别,并获得其空间坐标信息;
***识别步骤,根据识别出来的骨骼点之间的相对关系进行患者***识别;
实时显示步骤,根据同步视频识别出来的骨骼点和***,将采集到的关节活动数据/肌力数据和同步视频的具体骨骼点对应上,实现同步融合显示。
更进一步的,***识别步骤中还包括通过比对***数据库中的信息,对识别出来的***标准性进行评价。
更进一步的,所述方法还包括治疗方法选择步骤,治疗人员在治疗方法数据库中选择运动康复治疗方法。
一种用于运动康复治疗的增强现实***,包括:
实时测量***,用于实时测量患者治疗过程中的关节活动度/肌力数据;
视频信号采集***,用于采集治疗人员对患者进行运动康复治疗的同步视频;
融合显示***,用于将采集的同步视频和实时测量的数据进行同步融合显示。
进一步的,患者关节活动度数据包括患者肩关节、肘关节、腕关节、髋关节、膝关节、踝关节中一种或多种部位在运动时的关节活动范围数据;
肌力数据包括治疗人员对患者进行运动康复治疗时对患者身体部位进行肌群肌力训练时所提供的辅助力/阻力数据。
进一步的,融合显示***具体包括:
骨骼点识别模块,用于根据同步视频结合机器视觉技术对患者身体关键部位进行骨骼点识别,并获得其空间坐标信息;
***识别模块,用于根据识别出来的骨骼点之间的相对关系进行患者***识别;
实时显示模块,用于根据同步视频识别出来的骨骼点和***,将采集到的关节活动数据/肌力数据和同步视频的具体骨骼点对应上,实现同步融合显示。
与现有技术相比,本发明技术方案的有益效果是:
本发明将增强现实技术应用到康复医疗领域,可以突破传统康复医疗方法的局限性,利用增强现实***,患者在运动康复治疗过程中的关节活动角度、治疗人员提供的辅助力和阻力能够实时地呈现,使得使用人员即可以接触到虚拟世界提供的多种形式信息反馈又可以与现实物体进行自然交互,因此具有虚拟康复训练和现实康复训练的双重优点,不仅有助于康复治疗过程的标准化,还为个性化的精准治疗方案的设计提供依据。
附图说明
图1为本发明一种用于运动康复治疗的增强现实方法实施例1的流程图。
图2为本发明一种用于运动康复治疗的增强现实方法实施例2的流程图。
图3为本发明一种用于运动康复治疗的增强现实***的框架图。
图4为本发明一种用于运动康复治疗的增强现实***的具体实施示意图。
图5为本发明中通过显示屏显示同步融合视频的示意图。
具体实施方式
下面结合实际的实施例对本发明作进一步的阐述,但本发明的保护范围并不仅限于此。
实施例1
如图1所示,本具体实施例一种用于运动康复治疗的增强现实方法的具体步骤包括:
S101、实时测量测量患者治疗过程中的关节活动度;其中患者关节活动度数据包括患者肩关节、肘关节、腕关节、髋关节、膝关节、踝关节中一种或多种部位在进行屈/伸、外展、内旋/外旋、侧偏等运动时的关节活动范围数据;具体实现时,治疗人员在运动康复治疗过程中穿戴数据手套,数据手套内设有加速度传感器,治疗人员在治疗过程中利用加速度传感器获取患者的关节活动范围数据;利用加速度传感器采集到的数据可以上传到增强现实的主机中进行下一步的处理和操作。另一种实现方式是,关节活动度数据可以通过具有深度测量功能的视频采集设备采集视频数据后处理计算出来。
S102、采集治疗人员对患者进行运动康复治疗的同步视频;同步视频对应的是治疗人员对患者进行运动康复治疗的过程视频。
S103、将采集的同步视频和实时测量的数据进行同步融合显示。此步骤是利用增强现实技术,将治疗人员和患者运动康复治疗的同步视频和实时测量的数据进行融合,其具体包括如下步骤:
S1031、骨骼点识别步骤,根据同步视频结合机器视觉技术对患者面部、肩关节、肘关节、腕关节、髋关节、膝关节、踝关节、躯干等身体关键部位进行骨骼点识别,并获得其空间坐标信息;
S1032、***识别步骤,根据识别出来的骨骼点之间的相对关系进行患者***识别。特定关节活动度的测量需要在规定的***下进行,执行***识别步骤可以用于自动判断当前测量的是什么关节,便于执行步骤S1033。
实际操作中,如果关节活动度的测量直接利用加速度传感器来测量,可以不进行***的识别,一般需要治疗师手动输入当前训练的关节,并确认患者已经符合***要求,否则,测量的结果会不准确。而如果采用的是摄像头的深度测量功能,则需要利用***识别来自动测量的是什么关节。
S1033、实时显示步骤,根据同步视频识别出来的骨骼点和***,将采集到的关节活动数据和同步视频的具体骨骼点对应上,实现进行同步融合显示。
S104、治疗方法选择步骤,治疗人员在治疗方法数据库中选择运动康复治疗方法。治疗方法数据库将临床常用运动疗法中关节活动范围、肌力分级标准、关节活动治疗方法、肌力治疗方法等进行数据量化的描述,供方法检索和使用。具体实现时,治疗人员可以在治疗过程中通过实时显示步骤所显示出来的运动学和力学数据信息,根据患者康复治疗进展情况,在治疗方法数据库中选择需要进行的运动康复治疗方法。
在具体实施过程中,步骤S101和步骤S102在具体执行过程中实时进行的,不分前后,采集到的数据再通过执行步骤S103将实时采集的数据进行同步融合显示,步骤S104的执行时根据治疗人员的选择进行的。
其中患者进行治疗时可以先通过增强现实的主机选择关节活动度治疗还是肌力治疗。当选择关节活动度治疗时,关节活动度治疗分为单关节治疗和多关节治疗,一般是先进行单关节治疗,治疗目的是维持或增大关节活动范围。在单关节治疗时,一次只针对一个关节进行治疗,患者在治疗师的帮助下活动关节,每个动作重复若干次,每次动作中,关节角度会与患者治疗的同步视频融合,每次动作结束后,该次动作中的最大关节角度会显示出来。若是多关节治疗,那么每次运动结束后,多关节在运动过程中的最大关节角度会显示出来。
所有治疗的每个动作都有标准***,患者开始治疗前,可以先导入或创建治疗方案,即做什么动作,做几遍,比如不同的肌力水平,导入的治疗方案是不同的,最后根据所采集的同步视频来自动识别治疗方案的完成情况,比如自动识别某一动作是否操作了、是否完成规范(通过步骤S1032中的评价实现)以及所完成的次数等。具体实现时可以通过增强显示***的主机来进行这些选择和操作,治疗过程中实际做了多少次动作,也是能够由主机自动识别和计数的。
具体实现时,所采集的同步视频可以通过能够采集彩***信号和深度视频信号的摄像头来采集。摄像头所采集到彩色信号是患者进行运动康复治疗时的彩***信号,利用深度信号可以获得三维空间坐标信息。综合利用彩色信号与深度信号,能够更好地进行骨骼点的识别,同时还可以利用所采集的视频直接完成步骤S101中进行关节活动度的测量。
如图5所示,为将患者进行康复治疗的同步视频与测量数据融合显示的示意图,在该显示屏显示的视频中,患者的骨骼点在视频中被标记出来,还可以将通过自动计算每次运动的最大关节活动角度、过往若干次运动的数据等显示出来,以便为评价患者的康复治疗提供量化的数据。
具体实施过程中,本具体实施的方法还包括对关节活动度的相关信号进行校准。
在具体实现时,本具体实施例的方法还可以对收集到的肌力数据进行计算分析,根据计算结果分级,如肌力为0级时建议采用功能性电刺激的方式进行训练;肌力为1~2级时建议采用被动运动及助力运动;肌力达到3级以上时建议采用主动运动。
本具体实施例通过实施采集患者治疗过程中的关节活动数据,通过增强现实技术,将采集的数据和治疗过程中的同步视频进行融合显示,为治疗人员和患者提供量化的运动康复数据,更好地掌握康复的进程,以实现精准的个性化康复治疗。
实施例2
如图2所示,本具体实施例一种用于运动康复治疗的增强现实方法的具体步骤包括:
S201、实时测量测量患者治疗过程中的肌力数据;肌力数据包括治疗人员对患者进行运动康复治疗时对患者身体部位进行肌群肌力训练时所提供的辅助力/阻力数据。
具体实现时,治疗人员在运动康复治疗过程中穿戴数据手套,数据手套内设有压力传感器,治疗人员在治疗过程中获取治疗人员所提供的辅助力/助力数据。利用压力传感器采集到的数据可以上传到增强现实的主机中进行下一步的处理和操作。
S202、采集治疗人员对患者进行运动康复治疗的同步视频;同步视频对应的是治疗人员对患者进行运动康复治疗的过程视频。
S203、将采集的同步视频和实时测量的数据进行同步融合显示。此步骤是利用增强现实技术,将治疗人员和患者运动康复治疗的同步视频和实时测量的数据进行融合,其具体包括如下步骤:
S2031、骨骼点识别步骤,根据同步视频结合机器视觉技术对患者面部、肩关节、肘关节、腕关节、髋关节、膝关节、踝关节、躯干等身体关键部位进行骨骼点识别,并获得其空间坐标信息;
S2032、***识别步骤,根据识别出来的骨骼点之间的相对关系进行患者***识别。
S2033、实时显示步骤,根据同步视频识别出来的骨骼点和***,将采集到的肌力数据和同步视频的具体骨骼点对应上,实现进行同步融合显示。
S204、治疗方法选择步骤,治疗人员在治疗方法数据库中选择运动康复治疗方法。治疗方法数据库将临床常用运动疗法中关节活动范围、肌力分级标准、关节活动治疗方法、肌力治疗方法等进行数据量化的描述,供方法检索和使用。具体实现时,治疗人员可以在治疗过程中通过实时显示步骤所显示出来的运动学和力学数据信息,根据患者康复治疗进展情况,在治疗方法数据库中选择需要进行的运动康复治疗方法。
在具体实施过程中,步骤S201和步骤S202在具体执行过程中实时进行的,不分前后,采集到的数据再通过执行步骤S203将实时采集的数据进行同步融合显示,步骤S204的执行时根据治疗人员的选择进行的。
其中患者进行治疗时可以先通过增强现实的主机选择关节活动度治疗还是肌力治疗。当选择肌力治疗时,与患者治疗视频同步融合显示的是辅助力/阻力数据;
所有治疗的每个动作都有标准***,患者开始治疗前,可以先导入或创建治疗方案,即做什么动作,做几遍,比如不同的肌力水平,导入的治疗方案是不同的,最后根据所采集的同步视频来自动识别治疗方案的完成情况,比如自动识别某一动作是否操作了、是否完成规范(通过步骤S2032中的评价实现)以及所完成的次数等。具体实现时可以通过增强显示***的主机来进行这些选择和操作,治疗过程中实际做了多少次动作,也是能够由主机自动识别和计数的。
具体实现时,所采集的同步视频可以通过能够采集彩***信号和深度视频信号的摄像头来采集。摄像头所采集到彩色信号是患者进行运动康复治疗时的彩***信号,利用深度信号可以获得三维空间坐标信息。综合利用彩色信号与深度信号,能够更好地进行骨骼点的识别。
如图5所示,为将患者进行康复治疗的同步视频与测量数据融合显示的示意图,在该显示屏显示的视频中,患者的骨骼点被标记出来,还可以将通过自动计算每次运动的肌力数据、最大关节活动角度、过往若干次运动的数据等显示出来,以便为评价患者的康复治疗提供量化的数据。
进一步的,本实施例的方法提供***数据库,***数据库中存储的是患者采用相应治疗方法时对应的标准***数据。识别出***后还可以通过对比***数据库中的信息,对患者***标准性进行评价,评价方式可以采用评分等方式。评分后的数据也可以显示出来。
具体实施过程中,本具体实施的方法还包括对关节活动度和肌力数据的相关信号进行校准。
在具体实现时,本具体实施例的方法还可以对收集到的肌力数据进行计算分析,根据计算结果分级,如肌力为0级时建议采用功能性电刺激的方式进行训练;肌力为1~2级时建议采用被动运动及助力运动;肌力达到3级以上时建议采用主动运动。
本具体实施例通过实施采集患者治疗过程中的肌力数据,通过增强现实技术,将采集的数据和治疗过程中的同步视频进行融合显示,为治疗人员和患者提供量化的运动康复数据,更好地掌握康复的进程,以实现精准的个性化康复治疗。
实施例3
如图3所示,本发明还提供一种用于运动康复治疗的增强现实***,其具体包括:
实时测量***,用于实时测量患者治疗过程中的关节活动度/肌力数据;其中患者关节活动度数据包括患者肩关节、肘关节、腕关节、髋关节、膝关节、踝关节中一种或多种部位在进行屈/伸、外展、内旋/外旋、侧偏等运动时的关节活动范围数据;肌力数据包括治疗人员对患者进行运动康复治疗时对患者身体部位进行肌群肌力训练时所提供的辅助力/阻力数据。
视频信号采集***303 ,用于采集治疗人员对患者进行运动康复治疗的同步视频;同步视频对应的是治疗人员对患者进行运动康复治疗的过程视频。
融合显示***304,用于将采集的同步视频和实时测量的数据进行同步融合显示。
其中,实时测量***包括:
关节活动度测量***301:基于数据手套和设于数据手套上的加速度传感器实现。治疗人员在运动康复治疗过程中穿戴数据手套,治疗人员在治疗过程中利用加速度传感器获取患者的关节活动范围数据;或者,基于具有深度测量功能的视频采集设备实现,由于具备深度测量功能,利用采集视频数据进行处理计算可以得到关节活动度数据。
肌力测量***302:数据手套内还可以设压力传感器,治疗人员在运动康复治疗过程中穿戴数据手套,治疗人员在治疗过程中利用压力传感器获取治疗人员所提供的辅助力/助力数据。在具体实现时,肌力测量***202还可以对收集到的肌力数据进行计算分析,根据计算结果分级,如肌力为0级时建议采用功能性电刺激的方式进行训练;肌力为1~2级时建议采用被动运动及助力运动;肌力达到3级以上时建议采用主动运动。
在具体实施过程中,实时测量***可以同时设置关节活动度测量***301、肌力测量***302,也可以实际的治疗需要设置其中一个测量***。
具体实现时,视频信号采集***303可以通过能够采集彩***信号和深度视频信号的摄像头加相应的视频采集处理软件来实现。摄像头所采集到彩色信号是患者进行运动康复治疗时的彩***信号,利用深度信号可以获得三维空间坐标信息。综合利用彩色信号与深度信号,能够更好地进行骨骼点的识别,同时还可以利用所采集的深度视频信号直接进行关节活动度的测量,也就是将视频信号采集***303和关节活动度测量***301合二为一。
具体实现时,融合显示***304利用增强现实技术,将治疗人员和患者运动康复治疗的同步视频和实时测量的数据进行融合,其具体包括
骨骼点识别模块,用于根据同步视频结合机器视觉技术对患者面部、肩关节、肘关节、腕关节、髋关节、膝关节、踝关节、躯干等身体关键部位进行骨骼点识别,并获得其空间坐标信息;
***识别模块,用于根据识别出来的骨骼点之间的相对关系进行患者***识别,并通过对比***数据库中的信息,对患者***标准性进行评价,评价方式可以采用评分等方式。***数据库中存储的是患者采用相应治疗方法是对应的标准***数据。
具体实施过程中,特定关节活动度的测量需要在规定的***下进行,执行***识别步骤可以用于自动判断当前测量的是什么关节,以便于实时显示模块的执行。
实际操作中,如果关节活动度的测量直接利用加速度传感器来测量,可以不进行***的识别,一般需要治疗师手动输入当前训练的关节,并确认患者已经符合***要求,否则,测量的结果会不准确。而如果采用的是摄像头的深度测量功能,则需要利用***识别来自动测量的是什么关节。
实时显示模块,用于根据同步视频识别出来的骨骼点和***,将采集到的关节活动数据或肌力数据和同步视频的具体骨骼点对应上,实现同步融合和显示。实时显示模块可以直接采用显示屏来将同步融合后的视频进行显示。
治疗方法选择模块,用于治疗人员在治疗方法数据库中选择运动康复治疗方法。治疗方法数据库将临床常用运动疗法中关节活动范围、肌力分级标准、关节活动治疗方法、肌力治疗方法等进行数据量化的描述,供***检索和使用。具体实现时,治疗人员可以在治疗过程中通过实时显示模块所显示出来的运动学和力学数据信息,根据患者康复治疗进展情况,在治疗方法数据库中选择需要进行的运动康复治疗方法。
在具体实施过程中,利用骨骼点识别模块和***识别模块采集到的数据再通过实时显示模块将实时采集的数据进行同步融合显示,最后通过显示屏显示出来,如图5所示。在一种优选的实施方式中,融合显示***204可以带显示屏的增强现实主机实现,骨骼点识别模块、***识别模块、实时显示模块中的同步融合处理、治疗方法选择模块均可以利用增强现实主机的处理能力实现,其他的显示功能通过显示屏实现。
其中患者进行治疗时可以先通过增强现实的主机选择关节活动度治疗还是肌力治疗。当选择关节活动度治疗时,与患者治疗视频同步融合显示的是关节活动度,一般是选择显示每次运动的最大关节角度;
所有治疗的每个动作都有标准***,患者开始治疗前,可以先导入或创建治疗方案,即做什么动作,做几遍,比如不同的肌力水平,导入的治疗方案是不同的,最后根据所采集的同步视频来自动识别治疗方案的完成情况,比如自动识别某一动作是否操作了、是否完成规范(通过步骤S1032中的评价实现)以及所完成的次数等。具体实现时可以通过增强显示***的主机来进行这些选择和操作,治疗过程中实际做了多少次动作,也是能够由主机自动识别和计数的。
具体融合显示时,患者的骨骼点在视频中被标记出来,还可以将通过自动计算每次运动的肌力数据、过往若干次运动的数据等显示出来,以便为评价患者的康复治疗提供量化的数据。
具体实施过程中,本具体实施的***还包括对关节活动度和肌力数据的相关信号进行校准的测量数据校准***。测量数据校准***具体包括校准标尺和定标软件。
一个具体的实施示意图如图4所示,本具体实施例利用各个模块采集患者治疗过程中的关节活动数据、肌力数据、同步视频,并结合增强现实技术,将采集的数据和治疗过程中的同步视频进行融合显示,为治疗人员和患者提供量化的运动康复数据,更好地掌握康复的进程,以实现精准的个性化康复治疗。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种用于运动康复治疗的增强现实方法,其特征在于,包括:
实时测量患者治疗过程中的关节活动度/肌力数据;
采集治疗人员对患者进行运动康复治疗的同步视频;
将采集的同步视频和实时测量的数据进行同步融合显示。
2.根据权利要求1所述的用于运动康复治疗的增强现实方法,其特征在于,患者关节活动度数据包括患者肩关节、肘关节、腕关节、髋关节、膝关节、踝关节中一种或多种部位在运动时的关节活动范围数据。
3.根据权利要求1所述的用于运动康复治疗的增强现实方法,其特征在于,肌力数据包括治疗人员对患者进行运动康复治疗时对患者身体部位进行肌群肌力训练时所提供的辅助力/阻力数据。
4.根据权利要求1所述的用于运动康复治疗的增强现实方法,其特征在于,将采集的同步视频和实时测量的数据进行同步融合显示的具体步骤包括:
骨骼点识别步骤,根据同步视频结合机器视觉技术对患者身体关键部位进行骨骼点识别,并获得其空间坐标信息;
***识别步骤,根据识别出来的骨骼点之间的相对关系进行患者***识别;
实时显示步骤,根据同步视频识别出来的骨骼点和***,将采集到的关节活动数据/肌力数据和同步视频的具体骨骼点对应上,实现同步融合显示。
5.根据权利要求4所述的用于运动康复治疗的增强现实方法,其特征在于,***识别步骤中还包括通过比对***数据库中的信息,对识别出来的***标准性进行评价。
6.根据权利要求4所述的用于运动康复治疗的增强现实方法,其特征在于,所述方法还包括治疗方法选择步骤,治疗人员在治疗方法数据库中选择运动康复治疗方法。
7.一种用于运动康复治疗的增强现实***,其特征在于,包括:
实时测量***,用于实时测量患者治疗过程中的关节活动度/肌力数据;
视频信号采集***,用于采集治疗人员对患者进行运动康复治疗的同步视频;
融合显示***,用于将采集的同步视频和实时测量的数据进行同步融合显示。
8.根据权利要求7所述的用于运动康复治疗的增强现实方法,其特征在于,患者关节活动度数据包括患者肩关节、肘关节、腕关节、髋关节、膝关节、踝关节中一种或多种部位在运动时的关节活动范围数据。
9.根据权利要求7所述的用于运动康复治疗的增强现实方法,其特征在于,肌力数据包括治疗人员对患者进行运动康复治疗时对患者身体部位进行肌群肌力训练时所提供的辅助力/阻力数据。
10.根据权利要求7-9任一项所述的用于运动康复治疗的增强现实方法,其特征在于,融合显示***具体包括:
骨骼点识别模块,用于根据同步视频结合机器视觉技术对患者身体关键部位进行骨骼点识别,并获得其空间坐标信息;
***识别模块,用于根据识别出来的骨骼点之间的相对关系进行患者***识别;
实时显示模块,用于根据同步视频识别出来的骨骼点和***,将采集到的关节活动数据/肌力数据和同步视频的具体骨骼点对应上,实现同步融合显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811035415.7A CN109199417A (zh) | 2018-09-06 | 2018-09-06 | 一种用于运动康复治疗的增强现实方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811035415.7A CN109199417A (zh) | 2018-09-06 | 2018-09-06 | 一种用于运动康复治疗的增强现实方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109199417A true CN109199417A (zh) | 2019-01-15 |
Family
ID=64987693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811035415.7A Pending CN109199417A (zh) | 2018-09-06 | 2018-09-06 | 一种用于运动康复治疗的增强现实方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109199417A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110279991A (zh) * | 2019-06-17 | 2019-09-27 | 河南翔宇医疗设备股份有限公司 | 一种情景运动康复训练*** |
CN111067486A (zh) * | 2019-12-26 | 2020-04-28 | 健而康科技信息服务(广州)有限公司 | 一种中风运动康复平台及*** |
CN112233769A (zh) * | 2020-10-12 | 2021-01-15 | 安徽动感智能科技有限公司 | 一种基于数据采集的患后康复*** |
CN114334082A (zh) * | 2021-12-30 | 2022-04-12 | 北京欧应信息技术有限公司 | 电子设备 |
CN114694798A (zh) * | 2020-12-31 | 2022-07-01 | 浙江凡聚科技有限公司 | 基于虚拟现实的关节损伤康复训练***和方法 |
CN115316982A (zh) * | 2022-09-02 | 2022-11-11 | 中国科学院沈阳自动化研究所 | 一种基于多模态传感的肌肉形变智能检测***及方法 |
TWI799223B (zh) * | 2022-04-01 | 2023-04-11 | 國立臺中科技大學 | 肌力評估教學虛擬實境系統 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101579238A (zh) * | 2009-06-15 | 2009-11-18 | 吴健康 | 人体运动捕获三维再现***及其方法 |
CN102567638A (zh) * | 2011-12-29 | 2012-07-11 | 无锡微感科技有限公司 | 一种基于微型传感器的交互式上肢康复*** |
CN103732297A (zh) * | 2011-06-30 | 2014-04-16 | 奥林奇实验室 | 增强现实活动范围的治疗***及其操作方法 |
CN107115102A (zh) * | 2017-06-07 | 2017-09-01 | 西南科技大学 | 一种骨关节功能评估方法与装置 |
CN107126225A (zh) * | 2017-05-09 | 2017-09-05 | 南方医科大学南方医院 | 一种膝关节远程康复*** |
CN107320285A (zh) * | 2017-07-28 | 2017-11-07 | 上海逸动医学科技有限公司 | 一种多功能智能康复训练与评估*** |
WO2017200593A1 (en) * | 2016-05-17 | 2017-11-23 | Kikkeri Harshavardhana Narayana | Multi -joint tracking combining embedded sensors and an external |
-
2018
- 2018-09-06 CN CN201811035415.7A patent/CN109199417A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101579238A (zh) * | 2009-06-15 | 2009-11-18 | 吴健康 | 人体运动捕获三维再现***及其方法 |
CN103732297A (zh) * | 2011-06-30 | 2014-04-16 | 奥林奇实验室 | 增强现实活动范围的治疗***及其操作方法 |
CN102567638A (zh) * | 2011-12-29 | 2012-07-11 | 无锡微感科技有限公司 | 一种基于微型传感器的交互式上肢康复*** |
WO2017200593A1 (en) * | 2016-05-17 | 2017-11-23 | Kikkeri Harshavardhana Narayana | Multi -joint tracking combining embedded sensors and an external |
CN107126225A (zh) * | 2017-05-09 | 2017-09-05 | 南方医科大学南方医院 | 一种膝关节远程康复*** |
CN107115102A (zh) * | 2017-06-07 | 2017-09-01 | 西南科技大学 | 一种骨关节功能评估方法与装置 |
CN107320285A (zh) * | 2017-07-28 | 2017-11-07 | 上海逸动医学科技有限公司 | 一种多功能智能康复训练与评估*** |
Non-Patent Citations (3)
Title |
---|
张生军 著: "《基于视觉的无标记手势识别》", 30 June 2016, 吉林大学出版社 * |
王珏 主编: "《康复工程基础 辅助技术》", 31 January 2008, 西安交通大学出版社 * |
黄海 编著: "《虚拟现实技术》", 31 January 2014, 北京邮电大学出版社 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110279991A (zh) * | 2019-06-17 | 2019-09-27 | 河南翔宇医疗设备股份有限公司 | 一种情景运动康复训练*** |
CN111067486A (zh) * | 2019-12-26 | 2020-04-28 | 健而康科技信息服务(广州)有限公司 | 一种中风运动康复平台及*** |
CN112233769A (zh) * | 2020-10-12 | 2021-01-15 | 安徽动感智能科技有限公司 | 一种基于数据采集的患后康复*** |
CN114694798A (zh) * | 2020-12-31 | 2022-07-01 | 浙江凡聚科技有限公司 | 基于虚拟现实的关节损伤康复训练***和方法 |
CN114334082A (zh) * | 2021-12-30 | 2022-04-12 | 北京欧应信息技术有限公司 | 电子设备 |
TWI799223B (zh) * | 2022-04-01 | 2023-04-11 | 國立臺中科技大學 | 肌力評估教學虛擬實境系統 |
CN115316982A (zh) * | 2022-09-02 | 2022-11-11 | 中国科学院沈阳自动化研究所 | 一种基于多模态传感的肌肉形变智能检测***及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109199417A (zh) | 一种用于运动康复治疗的增强现实方法及*** | |
CN104382595B (zh) | 一种基于肌电信号与虚拟现实交互技术的上肢康复***及方法 | |
CN102567638B (zh) | 一种基于微型传感器的交互式上肢康复*** | |
CN104107134B (zh) | 基于肌电反馈的上肢训练方法及*** | |
Chang et al. | Towards pervasive physical rehabilitation using Microsoft Kinect | |
CN203149575U (zh) | 一种基于微型传感器的交互式上肢康复设备 | |
CN109350923A (zh) | 一种基于vr及多***传感器的上肢康复训练*** | |
EP3986266A1 (en) | Wearable joint tracking device with muscle activity and methods thereof | |
CN105832343B (zh) | 多维视觉手功能康复定量评估***和评估方法 | |
WO2017161733A1 (zh) | 通过电视和体感配件进行康复训练及*** | |
CN104159644A (zh) | 分析高尔夫挥杆的装置和方法 | |
CN104379056A (zh) | 用于肌肉活动的采集和分析的***及其操作方法 | |
WO2019079489A1 (en) | MEASUREMENT OF BODY MOVEMENT IN A DISEASE OF MOVEMENT DISORDERS | |
CN105943206A (zh) | 一种基于myo臂环的假肢手控制方法 | |
CN103584919A (zh) | 多模态生物信号同步检测***及方法 | |
CN109288651A (zh) | 个性化上肢康复训练机器人***及其康复训练方法 | |
Song et al. | Cellphone-based automated Fugl-Meyer assessment to evaluate upper extremity motor function after stroke | |
CN110232963A (zh) | 一种基于立体显示技术的上肢运动功能评估***及方法 | |
CN116312947B (zh) | 基于上肢运动信号的沉浸式踝足康复训练方法及电子设备 | |
CN109126045A (zh) | 智能化运动分析和训练*** | |
CN110478860B (zh) | 基于手物自然交互的手部功能障碍虚拟康复*** | |
TW201121525A (en) | Training system and upper limb exercise function estimation for hemiplegic stroke patient. | |
CN103777754B (zh) | 基于双目红外视觉的手部运动跟踪装置和方法 | |
Janidarmian et al. | Affordable erehabilitation monitoring platform | |
Xia et al. | Predicting free achilles tendon strain from motion capture data using artificial intelligence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |