CN110826385A - 康复设备及方法 - Google Patents
康复设备及方法 Download PDFInfo
- Publication number
- CN110826385A CN110826385A CN201910496143.9A CN201910496143A CN110826385A CN 110826385 A CN110826385 A CN 110826385A CN 201910496143 A CN201910496143 A CN 201910496143A CN 110826385 A CN110826385 A CN 110826385A
- Authority
- CN
- China
- Prior art keywords
- image
- marker
- point
- points
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000003550 marker Substances 0.000 claims abstract description 205
- 238000004590 computer program Methods 0.000 claims abstract description 5
- 210000000707 wrist Anatomy 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 description 53
- 238000005452 bending Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 210000001142 back Anatomy 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 208000006011 Stroke Diseases 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 241000905957 Channa melasoma Species 0.000 description 3
- 210000000245 forearm Anatomy 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000035876 healing Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000623 ulna Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Rehabilitation Tools (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种用于康复锻炼的康复设备。该设备包括至少一个标记物,其被配置为附接到受试者的至少一个身体部位。该设备包括图像捕获单元,其被配置为捕获至少一个标记物在第一位置的第一图像以及至少一个标记物在第二位置的第二图像。该设备包括处理器,其被配置为进行以下操作:从图像捕获单元接收第一图像和第二图像,识别指示至少一个标记物在第一图像中的位置的第一点,识别指示至少一个标记物在第二图像中的位置的第二点,计算沿着在第一点的坐标与第二点的坐标之间的方向的距离,以及至少基于该距离来输出反映至少一个标记物的取向的旋转角度。提出了一种用于康复锻炼的计算机实现的方法。提出了一种用于操作康复设备的计算机程序产品。
Description
技术领域
本发明涉及用于在进行康复锻炼时对受试者的身体部位的旋转角度进行跟踪的康复设备。本发明还涉及操作康复设备的方法,以及涉及用于操作这种康复设备的计算机程序产品。
背景技术
采用基于相机的中风康复***,以便通过使用算法分析由相机捕获的图像以检测关键关节的移动轨迹来在患者正在进行康复锻炼时给予指导/反馈。
相机连续地捕获标记物的图像,该标记物被放置在例如手部、肘部或者肩部。这些标记物在捕获的图像中很容易被区分,因为反射材料使得这些标记物比其他的身体部位和背景环境更亮。
中风后,手部功能和精细运动技能通常受损。手部康复锻炼(称为手掌弯曲(plamer flexion)和手背弯曲(dorsal flexion))对于改进力量和灵活性是有益的。通过分析捕获的附接到手部的标记物的图像来确定手掌与前臂之间的弯曲/旋转角度,该弯曲/旋转角度限定了手掌弯曲锻炼和手背弯曲锻炼的运动范围。
常规地,应用面积-角度映射表以通过计算捕获的图像中的标记物的对应面积的大小来确定角度。然而,捕获的图像中的手部标记物的面积可能受到下面所示的若干因素的影响。在某些情况下,手部标记物和肩部/肘部标记物可能重叠或者可能彼此干扰。因此,作为目标的手部标记物的面积包括意外的冗余信息。在某些情况下,由于手部标记物的不利的表面条件,意外的孔区域可能分布在捕获的图像中的手部标记物区域中,光线可能没有恰当地或充分地反射到相机上,使得相机可能错过手部标记物的一些信息。
发明内容
本发明的目的是提供一种改进的康复设备和方法,以在康复锻炼期间解决上面提到的问题,以便于改进康复设备的可靠性和准确性并加速康复过程。
出于这个目的,根据本发明的第一方面,提供了一种用于康复锻炼的康复设备,该设备包括:
至少一个标记物,其被配置为附接到受试者的至少一个身体部位;
图像捕获单元,其被配置为捕获至少一个标记物在第一位置的第一图像以及至少一个标记物在第二位置的第二图像;以及
处理器,其被配置为:
从图像捕获单元接收第一图像和第二图像;
在第一图像中识别至少一个标记物的第一感兴趣区域(ROI);
在第二图像中识别至少一个标记物的第二感兴趣区域(ROI);
将第一ROI与第二ROI进行比较;以及
至少基于比较结果来输出数据。
出于这个目的,根据本发明的第二方面,一种用于康复锻炼的计算机实现的方法包括:
接收第一图像和第二图像;
在第一图像中识别至少一个标记物的第一感兴趣区域(ROI);
在第二图像中识别至少一个标记物的第二感兴趣区域(ROI);
将第一ROI与第二ROI进行比较;以及
至少基于比较结果来输出数据。
出于这个目的,根据本发明的第三方面,一种用于操作康复设备的计算机程序产品,该程序可操作以使得处理器执行如上面所描述的方法。
至少一个标记物可以附接到受试者的手部、肘部或肩部。标记物还可以附接到受试者的腿部、膝关节、臀部或者需要确定并跟踪锻炼轨迹的其他身体部位。
第一ROI可以是2D、3D或4D空间中的通过第一图像中的手部标记物的边界的至少一部分确定的点、线或者面。第二ROI可以是2D、3D或4D空间中的通过第二图像中的手部标记物的边界的至少一部分确定的点、线或者面。基于手部标记物的边界来识别第一ROI和第二ROI,而不是基于手部标记物的面积大小来计算第一ROI和第二ROI。以这种方式,与在现有技术中基于面积-角度映射表的计算算法相比,基于通过将第一ROI与第二ROI进行比较获得的比较结果计算的数据(例如,弯曲/旋转角度)是更准确且更可靠的。
在各种实施例中,识别第一ROI的步骤包括在第一图像中计算指示至少一个标记物的位置的第一点。识别第二ROI的步骤包括在第二图像中计算指示至少一个标记物的位置的第二点。将第一ROI与第二ROI进行比较的步骤包括将第一点与第二点进行比较。
在各种实施例中,计算第一点的步骤还包括:
通过从第一图像中移除至少一个标记物的第一点集来导出第一已处理图像;
在第一已处理图像中识别包围第二点集的第一区域;以及
基于第一区域来计算第一点;并且
计算第二点的步骤还包括:
通过从第二图像中移除至少一个标记物的第三点集来导出第二已处理图像;
在第二已处理图像中识别包围第四点集的第二区域;以及
基于第二区域来计算第二点。
至少一个标记物的第一点集是由肘部标记物或肩部标记物带来的意外的、无用的或冗余的信息。因此,放弃至少一个标记物的第一点集。至少一个标记物的第二/第四点集实质上是作为目标的手部标记物的信息。保留至少一个标记物的第二/第四点集用于后续处理。
第一区域可以是第一已处理图像中的可以包围至少一个标记物的第二点集的最小矩形边框。第二区域可以是第二已处理图像中的可以包围至少一个标记物的第四点集的最小矩形边框。最小矩形边框具有与水平轴平行的两个侧边和与垂直轴平行的两个侧边。第一区域和第二区域由手部标记物的边界信息确定。
第一区域还可以是第一已处理图像中的手部标记物的直线边界。第二区域还可以是第二已处理图像中的手部标记物的直线边界。
在各种实施例中,第一点是限定第一区域的中心的中心点,或者是第一区域在手部标记物朝向其移动的侧边处的边界的边缘点,并且第二点是第二区域在手部标记物朝向其移动的侧边处的边界的边缘点。中心点可以是代表第一区域的几何中心的点。第一ROI的边缘点可以是第一区域中的点。第二ROI的边缘点可以是第二区域中的点。第一ROI的边缘点还可以是第一已处理图像中的手部标记物的直线边界处的点。第二ROI的边缘点还可以是第二已处理图像中的手部标记物的直线边界处的点。因此,第一点和第二点两者都是基于手部标记物的边界信息来确定的。
在各种实施例中,将第一ROI(ROI-1)与第二ROI(ROI-2)进行比较的步骤还包括确定沿着第一点与第二点之间的方向的距离。
计算出的距离指代手部标记物在第二图像中的位置与第一图像中的位置之间的位置变化。计算出的距离可以反映当患者正在进行手部康复锻炼时标记物的实际位移。由于第一图像中的ROI和第二图像中的ROI是更准确且更可靠的,因此计算出的距离是更准确且更可靠的。
在各种实施例中,至少基于比较结果来输出数据的步骤还包括基于距离以及链接距离和旋转角度的距离-角度查找表来确定角度。
可以通过这样进行实验来获得距离-角度查找表:通过将手部标记物移动到不同的手掌弯曲角度或手背弯曲角度,使用量角器测量角度的每个值并进行记录,并且基于分别在第一位置和第二位置捕获的第一图像和第二图像计算并记录第二图像与第一图像之间的对应距离中的每一个。距离-角度查找表存储在处理器的存储器中。
在各种实施例中,至少基于比较结果来输出数据的步骤还包括基于以下各项的角度:距离,第一图像中的至少一个标记物的高度,以及链接高度、差和旋转角度的高度-距离-角度查找表。
高度指代在第一图像中标记物的区域沿着该图像中垂直轴方向的高度。通常地,由于手部标记物的区域具有立方体形状,所以至少一个标记物的高度在第一图像中比在第二图像中更准确。
在各种实施例中,输出数据被输出到显示器。输出数据可以包括实时跟踪的弯曲/旋转角度。还可以基于在手掌/掌侧弯曲锻炼和手背弯曲锻炼中的弯曲/旋转角度来获得运动轨迹。
当目标轨迹与运动轨迹两者均显示时,用户可以获得关于他/她表现得如何的信息,这将鼓励她做到最好。这将有助于加速康复过程。
附图说明
根据以下的详细描述,结合附图,本发明的这些以及其他特性、特征和优点将变得显而易见,其中附图通过示例的方式示出了本发明的原理。在不限制本发明的范围的情况下,仅出于示例的目的给出了描述。下面给出的附图标记指代所附附图,在附图中:
图1示出了用于康复锻炼的现有技术康复设备;
图2示出了由康复设备跟踪的手部运动锻炼;
图3示出了由康复设备跟踪的另一手部运动锻炼;
图4示出了由康复设备的相机捕获的手部标记物的第一位置;
图5示出了由康复设备的相机捕获的手部标记物的第二位置;
图6示出了在第一位置由相机捕获的图像;
图7示出了在第二位置由相机捕获的图像;
图8示出了根据本发明的实施例的获得第一区域和第二区域的图像处理方法;
图9示出了根据本发明的实施例的获得第一区域和第二区域的另一图像处理方法;
图10示出了根据本发明的实施例的将第一ROI与第二ROI进行比较的方法;
图11示出了根据本发明的实施例的将第一ROI与第二ROI进行比较的另一方法;
图12示出了根据本发明的实施例的用于确定角度的距离-角度查找表;
图13示出了根据本发明的实施例的用于确定角度的高度-距离-角度查找表;
图14示出了根据本发明的实施例的用于输出运动角度信息的用户界面;
图15示出了根据本发明的实施例的用于实现处理器的计算机;
图16示出了根据本发明的实施例的跟踪康复锻炼的方法的流程图;
图17示出了根据本发明的实施例的存储用于计算机执行图15的方法的指令的计算机可读介质;并且
附图是纯粹图解性的并且不是按照比例绘制的。在附图中,与已经描述的元素相对应的元素可以具有相同的附图标记。
具体实施方式
图1示出了根据实施例的用于在进行康复锻炼时跟踪受试者的身体部位的旋转角度的康复设备100。该康复设备100被放置在中风康复室中,例如,在私人康复医院中、在医院的中风中心中或者在患者的家中。当进行康复锻炼(例如,手部锻炼、上肢锻炼或下肢锻炼)时,受试者站/坐在康复设备100的前面。在这个示出的示例中,受试者是正在进行右手康复锻炼的中风后的患者。在其他实施例中,受试者可以是需要进行康复锻炼的患有其他类型疾病的患者,或者是想要进行锻炼的健康的人。
如图1中所示,患者坐在椅子117上并且支撑台115用于支撑他/她的手部以及患者的前臂的至少一部分。患者可以调整他的坐姿,以便于找到最舒适的姿势。例如,患者可以向前移动他的手部以从支撑台115获得更多支撑。支撑台115还用于支撑康复设备100。可替代地,利用两个支撑机构来分别地支撑患者的手部和康复设备100。
在某些情况下,手部康复锻炼可以包括手掌/掌侧弯曲运动和手背弯曲运动。更具体地,如图2中所示,患者最大程度地伸展他/她的手指,并且将他/她的右手相对于支撑台115的表面垂直地放置,其中手掌朝左并且手背朝右,反之亦然。从第一位置201开始,患者将他/她的手向左屈曲到位置205,该运动称为手掌/掌侧弯曲。手在位置205处与手在位置201处之间的旋转角度称为手掌弯曲角度。与此相反,患者将他/她的手向右屈曲到位置203,该运动称为手背弯曲。手在位置203处与手在位置201处之间的旋转角度称为手背弯曲角度。当进行手掌/掌侧弯曲运动和手背弯曲运动时,患者的腕部207可以静止不动。
在某些情况下,手部康复锻炼可以包括桡骨弯曲运动和尺骨弯曲运动。更具体地,如图3中所示,患者最大程度地伸展他/她的手指,并且将他/她的右手相对于支撑台115的表面水平地放置,其中手掌朝下并且手背朝上。从第一位置301开始,患者将他/她的手向左摆动到位置305,该运动称为桡骨弯曲。手在位置305处与手在位置301处之间的旋转角度称为桡骨弯曲角度。与此相反,患者将他/她的手向右摆动到位置303,该运动称为尺骨弯曲。手在位置303处与手在位置301处之间的旋转角度称为尺骨弯曲角度。当进行桡骨弯曲运动和尺骨弯曲运动时,患者的腕部307可以静止不动。
为了更快地恢复,要求患者进行重复运动并且旨在针对每次运动达到最大的旋转角度。需要评估患者进行每次运动的好坏程度,以便于在旋转角度没有达到预先定义的值时鼓励患者更加努力,或者在旋转角度超过预先定义的值时让患者更加自信。因此,通过精确地确定每次运动的旋转角度并且输出所确定的弯曲/旋转角度(例如,将所确定的旋转角度显示给患者),由于患者将跟随所确定的旋转角度以实现或者超额实现重复运动,可以实现改进的康复锻炼。下面将描述关于如何通过当前发明来实现这样的改进的进一步的解释。
返回参考图1,示出了手掌/掌侧弯曲运动和手背弯曲运动。至少一个标记物101附接到患者的身体部位。在所示出的示例中,至少一个标记物101包括手部标记物,该手部标记物具有立方体形状并且由具有柔性表面的回射材料制成。更具体地,回射材料可以反射来自每个方向的光,并且使得标记物能够比身体的其他部位和背景环境更亮。因此,可以通过诸如相机之类的检测器来跟踪限定手的运动的手部标记物101的运动。
在某些情况下,当佩戴手部标记物101时,还采用单独的夹板(在附图中的任一幅图中均未示出)。患者的手被固定在夹板上,其中手指尽可能地伸直。将带有夹板的固定后的手从手部标记物101的开口***手部标记物101中。以这种方式,手部标记物101可以平稳地且牢固地附接到手上。在一些实施例中,可以由用户以与佩戴手套相同的方式佩戴手部标记物101。在一些实施例中,至少一个标记物101还可以包括分别附接到患者肘部的肘部标记物(未示出)以及附接到患者肩部的肩部标记物(未示出)。肘部标记物和肩部标记物具有不同的形状以分别适合肘部或者肩部的解剖结构。
如图1中所示出的,康复设备100包括处理器109、图像捕获单元105和显示器103。在所示出的示例中,处理器109、图像捕获单元105和显示器103是单独的组件。例如,图像捕获单元105可以包括相机。相机105与处理器109互连。处理器109与显示器103互连。可替代地,相机105与处理器109无线通信并且处理器与显示器103无线通信。在其他实施例中,处理器109、图像捕获单元105和显示器103可以组装为一个设备并且可以通过用于传输电子信号的任何手段来实现彼此通信。
图像捕获单元105包括传感器,该传感器检测并传送构成图像的信息。传感器可以包括CMOS传感器或者CCD传感器。在一些实施例中,图像捕获单元105是用于记录或捕获图像的光学仪器,该图像可以本地存储在处理器109中或传输到远程处理器或者两者均可。
图像捕获单元105可以包括相机,该相机可以捕获至少一个标记物101的2D图像。相机可以是视频相机,即使当标记物移动得非常快时,该视频相机也可以在很短一段时间内(例如,在几毫秒内)捕获至少一个标记物101的多帧2D图像。在某些情况下,图像捕获单元105可以包括两个或更多个相机,并且可以通过处理由两个或更多个相机105捕获的图像来重建3D图像或4D图像。在某些情况下,相机可以是3D相机以捕获至少一个标记物101的运动的3D图像。
在一个实施例中,如图1中所指示的图像捕获设备105与椅子117之间沿着y轴的距离121与如图1中所指示的图像捕获设备105与支撑台115的表面之间沿着z轴的距离123分别是固定的。在所示出的实施例中,通过将距离121和距离123调整到两个合适的固定值,当患者进行手部康复锻炼时,至少一个标记物101可以一直处于可以由图像捕获设备105进行捕获的场内。
在某些情况下,图像捕获单元105可以静止不动,但是可以通过调节相机镜头的移动或通过使用变焦镜头来改变图像捕获单元105的焦距。
在一些实施例中,可以调整距离121和距离123。图像捕获单元105可以向前和向后移动、向上和向下移动、向左和向右移动。
有利的是,可以通过调整要被捕获的目标与图像捕获单元105的镜头之间的距离121或者通过调整镜头的焦点/焦距来捕获高质量且高分辨率的图像。
处理器109可以被包括在瘦客户终端内,例如,平板、电话、膝上型计算机或者任何其他类型的移动设备。处理器109还可以被包括在大型网络***的一部分中,该大型网络***包括诸如云/远程服务器之类的多个计算设备。在一些实施例中,图像捕获单元105可以与处理器109一起集成。在其他实施例中,图像捕获单元105、显示器103和处理器109可以被集成到诸如膝上型计算机之类的设备中。
诸如键盘、鼠标和/或USB闪存盘之类的其他***设备(图1中未示出)可以连接到处理器109。连接可以通过电缆的方式或者可以通过其他手段来实现,例如,如现有技术中已知的无线通信手段。
图4和图5分别示出了由康复设备100的相机105捕获的手部标记物101的第一位置和第二位置。这里,如在图4和图5中分别示出的,XYZ构成的正交坐标系用于进一步的说明。当至少一个标记物101沿着如图4所示的与y轴平行的虚线111的方向被放置在第一位置时,图像捕获单元105可以捕获至少一个标记物101的第一图像。如在本文中所使用的术语“第一位置”通常指代如图2所示的患者开始进行右手康复锻炼的第一位置201。
参考图4,由于手部标记物101的正面朝向图像捕获单元105,所以手部标记物101的正面在第一图像中被捕获。如在本文中所使用的术语“正面”通常指代手部标记物101的外表面,其中手指尖触摸/朝向内部。换言之,如图4所指示的标记物101沿着z轴的正面的中心线和如图4所指示的图像捕获单元105沿着z轴的物理中心在与ZY平面平行的平面中。在这个位置,可以通过在第一图像中识别手部标记物101沿着z轴(如图4所指示的)的中心点/中心线简单地确定第一位置。根据本发明的实施例,将这个第一/初始位置用作进一步使用的参考是可靠的。
当至少一个标记物101沿着如图5所示的虚线113的方向被放置在第二位置时,图像捕获单元105可以捕获至少一个标记物101的第二图像。如在本文中所使用的术语“第二位置”通常指代如图2所示的位置203,患者将他/她的右手屈曲到该位置并且在该时刻由图像捕获单元105捕获第二图像。在所示出的实施例中,图像捕获单元105在患者进行实时锻炼时连续地捕获图像。因此,在第一位置捕获第一图像之后,捕获后续一系列第二图像。
更具体地,当进行手背弯曲运动时,当手部标记物101随着患者的右手而移动时手部标记物101在手掌一侧的表面和手部标记物101的正面在第二图像中被捕获。类似地,当进行手掌/掌侧弯曲运动时,当手部标记物101随着患者的右手而移动时手部标记物101在手背一侧的表面和手部标记物101的正面在第二图像中被捕获。第一位置沿着虚线111的方向与第二位置沿着虚线113的方向之间的弯曲角度107限定了在XY平面中的旋转角度,并且该弯曲角度107被确定为用于在康复锻炼中使用的必要参数。通过分析该一系列第二图像和该第一图像来确定弯曲角度107的一系列的值。确定的弯曲角度107表示实际的手部运动。因此,可以确定并跟踪手部运动的动态轨迹。
图6和图7示出了当至少一个标记物101分别放置在第一位置和第二位置时由康复装置100捕获的两个图像。从两个图像中可以看出,第一图像和第二图像中的至少一个标记物101的面积不能表示手部标记物101的完整信息,或者与其他标记物(如上述的肘部标记物和肩部标记物)的信息混合。
更具体地,在某些情况下,由于标记物材料和表面条件,有时候不是整个手部标记物都可见。因此,捕获的图像的面积/标记物像素的总和可能不对应于整个标记物。换言之,标记物图像内的孔(例如,如图6或图7中所示的元素605、607、707)可能使手部标记物的实际面积减小。
在一些情况下,当患者正在进行上肢康复锻炼时,患者在同一手臂侧佩戴手部标记物101、肘部标记物和/或肩部标记物。尽管手部标记物101是要由图像捕获单元105捕获的目标,但是肘部标记物或肩部标记物可能干扰捕获的图像中的手部标记物101的面积。如图6中所示,手部标记物图像受到肘部标记物的干扰,在第一图像中肘部标记物和手部标记物部分重叠,并且是部分可见的,如在第一位置捕获的第一图像中所示的元素601、603。
在一些情况下,当用右手进行手背弯曲时,手部标记物101从如图4所示的第一位置移动到如图5所示的第二位置,由于手部标记物101与肘部标记物之间的相对位置关系和覆盖的变化,肘部标记物对手部标记物101的影响被改变。如图7所示,在第二位置捕获的第二图像中,肘部标记物的部分(例如,元素701、703、705)是可见的。
因此,由于存在意外的、无用的或冗余的信息601、603、701、703、705,图像中标记物的面积不能表示手部标记物的实际信息。然而,可以看出,手部标记物101的在手部标记物101朝向其移动的一侧(例如,当患者用右手向右屈曲手部时,手部标记物101的右侧)的边界几乎不受影响。弯曲/旋转角度越大,肘部标记物引起的干扰越少,因为从图像捕获单元105的视角来看,在右侧手部标记物101几乎覆盖肘部标记物的整个部分,反之亦然。
因此,根据如下面要示出的实施例采用精确且可靠的方法,以基于边界信息而不是使用面积信息来确定弯曲/旋转角度。
图8示出了根据本发明的实施例的识别第一区域817和第二区域819的图像处理方法。确定第一区域817和第二区域819分别用于计算第一ROI和第二ROI。在步骤810中,处理器109从图像捕获单元105接收第一图像801和第二图像803。
第一图像801可以以二进制图像的形式存储在处理器109的存储器中。因此,二进制图像包括具有值0的点集和具有值1的点集。具有值0的点集表示在第一位置捕获的至少一个标记物101的图像。具有值1的点集表示在图像捕获单元105的场中的其他部分或背景环境。在这种情况下,第一图像中具有值0的第一点集构成元素601和603,其可以反映不与手部标记物的图像区域重叠的肩部标记物或肘部标记物的图像区域,并且第一图像中具有值0的第二点集构成作为目标的手部标记物101在第一位置处的图像区域。换言之,具有值0的第一点集和具有值0的第二点集构成第一图像中的更亮区域。
类似地,第二图像803可以以二进制图像的形式存储在处理器109的存储器中。因此,二进制图像包括具有值0的点集和具有值1的点集。具有值0的点集表示在第二位置捕获的至少一个标记物101的图像。具有值1的点集表示在图像捕获单元105的场中的其他部分或背景环境。在这种情况下,第二图像803中具有值0的第三点集构成元素701、703和705,其可以反映不与手部标记物的图像区域重叠的肩部标记物或肘部标记物的图像区域,并且第二图像803中具有值0的第四点集构成作为目标的手部标记物101在第二位置处的图像区域。换言之,具有值0的第三点集和具有值0的第四点集构成第二图像中的更亮区域。
根据该实施例,处理器109参考步骤820至步骤840来执行对第一区域817和第二区域819的识别。
更具体地,在步骤820和步骤830中,处理器109处理第一图像801和第二图像803,并且分别导出第一已处理图像805和第二已处理图像807。在示出的实施例中,在步骤820中,处理器109通过分别从第一图像801中移除至少一个标记物101的第一点集601、603并且从第二图像803中移除至少一个标记物101的第三点集701、703、705来导出第一已处理图像805和第二已处理图像807。作为示例,处理器109可以分别通过在腐蚀算法之后使用扩展算法来处理第一图像801和第二图像803。在其他实施例中,可以应用实现相同移除效果的其他算法作为替代解决方案。
第一已处理图像805包括第二点集813,且第二已处理图像807包括第四点集815。
因此,通过实现步骤820,分别从第一图像801和第二图像803移除肩部标记物或肘部标记物的意外的、无用的或冗余的信息,例如,元素601和603,元素701、703和705。因此,作为目标的手部标记物101的信息分别如所示出的保留在第一已处理图像805和第二已处理图像807中。
在步骤830中,处理器109分别在第一已处理图像805和第二已处理图像807中执行对第二点集813和第四点集815的检测。更具体地,检测第一已处理图像805中具有值0的第二点集,并且检测第二已处理图像807中具有值0的第四点集。应用一些本领域公知的方法(例如,可以检测连接区域的连接分量标记方法)来分别检测第二点集813和第四点集815。在另一示例中,应用可以检测亮度或颜色不同的区域的斑点(blob)检测方法来分别检测第二点集813和第四点集815。在其他实施例中,可以应用其他检测方法来分别检测第二点集813和第四点集815。
在步骤840中,处理器109分别执行对第一区域817(其反映第一已处理图像805中第二点集813的边缘信息)的识别,并且执行对第二区域819(其反映第二已处理图像807中第四点集815的边缘信息)的识别。在一个实施例中,第一区域817可以是包围第二点集813的最小矩形边框。第二区域819可以是包围第四点集815的最小矩形边框。在一个实施例中,应用一些本领域公知的方法(例如,轴对齐的最小边界框算法)来计算最小矩形边框。更具体地,对于给定的第二点集813或第四点集815,使用最小边界框方法,其受制于框的边缘平行于坐标轴(u轴,v轴)的约束,如图8所示。
图9示出了根据本发明的实施例的识别第一区域917和第二区域919的另一图像处理方法。确定第一区域917和第二区域919分别用于计算第一ROI和第二ROI。步骤810-步骤820可以是与图8中所示的步骤相同或相似的步骤。这里省略了对这些步骤的详细描述。
如图9所示,第一区域917是第一已处理图像805中的第二点集813在手部标记物101朝向其移动的侧边处的边界的直线。第二区域919进一步可以是第二已处理图像807中的第四点集815在手部标记物101朝向其移动的同一侧边处的边界的直线。
更具体地,在步骤930中,当手部标记物101随右手向右移动时,应用边缘点检测方法来在右侧分别检测第二点集813和第四点集815的边界。作为示例,canny边缘检测器可以用于检测边缘点。因此,分别获得第二点集813和第四点集815的边缘信息。
在步骤940中,基于在第一已处理图像805右侧检测到的第二点集813的边缘点计算直线917,并且基于在第二已处理图像807的右侧检测到的点集815的边缘点计算直线919。更具体地,每个检测到的边缘点在u轴的位置用于确定与v轴方向平行的直线917。每个检测到的边缘点在u轴的位置用于确定与v轴方向平行的直线919。
图10示出了根据本发明的实施例的分别基于图8的第一区域817和第二区域819确定的第一ROI和第二ROI。在该实施例中,第一区域817是矩形边框,其具有与u轴方向平行的两个侧边(侧边A1A2和侧边A3A4)以及与v轴方向平行的两个侧边(侧边A2A3和侧边A1A4)。第一区域817包括四个角点A1(u1,v1)、A2(u2,v2)、A3(u3,v3)和A4(u4,v4)。在该实施例中,第二区域819是矩形边框,其具有与u轴方向平行的两个侧边(侧边B1B2和侧边B3B4)以及与v轴方向平行的两个侧边(侧边B2B3和侧边B1B4)。第二区域819包括四个角点B1(u1,v1)、B2(u2,v2)、B3(u3,v3)和B4(u4,v4)。
处理器109还执行在第一图像中对至少一个标记物101的第一感兴趣区域(ROI-1)的识别以及在第二图像中对至少一个标记物101的第二感兴趣区域(ROI-2)的识别。在一个实施例中,第一ROI包括指示至少一个标记物101在第一图像801中的位置的第一点,并且第二ROI包括指示至少一个标记物101在第二图像803中的位置的第二点。处理器109分别执行对第一点和第二点的计算。
在实施例中,第一点可以是中心点,并且第二点可以是边缘点。更具体地,第一ROI中的中心点可以是表示第一区域817的几何中心的点,例如,点A6(u6,v6),其可以基于A1(u1,v1)、A2(u2,v2)、A3(u3,v3)和A4(u4,v4)来确定。第一ROI的中心点还可以是表示第一区域817的中心线(例如,虚线905)的点,例如,点A5(u5,v5),其是A3(u3,v3)和A4(u4,v4)的中点。第二ROI的边缘点可以是第二区域819中的点,例如,在第二区域819的右侧边处的点B3(u3,v3)或点B2(u2,v2)。
在所示实施例中,处理器109还执行对第一ROI和第二ROI的比较。在实施例中,计算当至少一个标记物101从第一位置移动到第二位置时沿着u轴方向的第一距离(△d1)。第一距离(△d1)限定手部标记物101在第二位置在右侧边处的边界与手部标记物101在第一位置沿着u轴方向的中心线905之间的位移。在一个示例中,比较结果△d1=|B2_u2-A5_u5|。如本文使用的术语“B2_u2”通常指代点B2在u轴的位置。在以下描述中使用的与“B2_u2”相同格式的术语具有相同的解释。在另一示例中,比较结果△d1=|B3_u3-A6_u6|。
在另一实施例中,第一点可以是边缘点,并且第二点可以是边缘点。更具体地,第一ROI的边缘点可以是第一区域817中的点,例如,在第一区域817的右侧边处的点A3(u3,v3)或点A2(u2,v2)。第二ROI的边缘点可以是第二区域819中的点,例如,在第二区域819的右侧边处的点B3(u3,v3)或点B2(u2,v2)。
在所示实施例中,处理器109还执行对第一ROI和第二ROI的比较。计算当至少一个标记物101从第一位置移动到第二位置时沿u轴方向的第二距离(△d2)。第二距离(△d2)限定手部标记物101在第二位置在右侧边处的边界与手部标记物101在第一位置在右侧边处的边界之间的位移。在一个示例中,比较结果△d2=|B3_u3-A3_u3|。在另一示例中,比较结果△d2=|B2_u2-A2_u2|。
图11示出了根据本发明的实施例的基于图9的第一区域917和第二区域919确定的第一ROI和第二ROI。第一区域917是沿v轴方向的直线。直线917限定了手部标记物101在第一位置在右侧边处的边界。第二区域919是沿v轴方向的直线。直线919限定了手部标记物101在第二位置在右侧边处的边界。
在一个实施例中,第一ROI包括第一点,并且第二ROI包括第二点。第一点可以是边缘点,并且第二点可以是边缘点。更具体地,第一ROI的边缘点可以是第一区域917中的点,例如,直线边界(例如,直线917)中的点C1(u1,v1)。第二ROI的边缘点可以是第二区域919中的点,例如,直线边界(例如,直线919)中的点D1(u1,v1)。
在所示实施例中,处理器109执行对第一ROI和第二ROI的比较。计算当至少一个标记物101从第一位置移动到第二位置时沿着u轴方向的第三距离(△d3)。第三距离(△d3)限定手部标记物101在第二位置在右侧边处的边界与手部标记物101在第一位置在右侧边处的边界之间的位移。在一个示例中,比较结果△d3=|D1_u1-C1_u1|。
在另一实施例中,第一ROI包括直线边界,例如,直线917,其指示至少一个标记物101在第一图像801中的位置;并且第二ROI包括直线919,其指示至少一个标记物101在第二图像803中的位置。
在所示实施例中,处理器109执行对第一ROI和第二ROI的比较。在实施例中,计算当至少一个标记物101从第一位置移动到第二位置时沿u轴方向的第四距离(△d4)。第四距离(△d4)限定手部标记物101在第二位置在右侧边处的边界与手部标记物101在第一位置在右侧边处的边界之间的位移。在一个示例中,比较结果△d4=|线919_u-线917_u|。如本文使用的术语“线919_u”通常指代直线919在u轴的位置,并且如本文使用的术语“线917_u”通常指代直线917在u轴的位置。
在其他实施例中,第一ROI还可以是如图8所示的第一已处理图像805中的手部标记物的边界上的区域。第二ROI还可以是如图8所示的第二已处理图像807中的手部标记物的边界上的区域。
由于如上所示,右边界信息通常是准确的而没有诸如肘部标记物和肩部标记物之类的其他标记物的干扰。当患者用右手进行手背运动时,使用基于第一/第二图像中标记物的右边界的信息是有利的。类似地,当患者用右手进行手掌/掌侧运动时,使用基于第一/第二图像中标记物的左边界的信息是有利的。类似地,当患者用左手进行手背运动时,使用基于第一/第二图像中标记物的左边界的信息是有利的。类似地,当患者用左手进行手掌/掌侧运动时,使用基于第一/第二图像中标记物的右边界的信息是有利的。
处理器109基于至少一个比较结果(例如,距离△d1、△d2、△d3和△d4)来执行数据输出。更具体地,输出数据包括至少基于距离△d获得的角度。
在一些实施例中,在确定距离△d之后,通过经由链接距离和角度的距离-角度查找表基于距离△d计算角度,处理器109基于比较结果来执行数据输出。如图12所示的距离-角度查找表存储在处理器109的存储器中,并且通过进行实验来获得。
可以通过将手部标记物移动到不同的手掌弯曲角度或手背弯曲角度(θ)来进行实验以获得距离-角度查找表。例如,从第一位置开始,实验者每隔3°将手部标记物移动到一系列第二位置,例如,θ1=3°、θ2=6°、θ3=9°、θ4=12°、θ5=15°等。康复设备100可以捕获在第一位置的第一图像并且捕获在一系列第二位置的一系列第二图像。角度θ可以通过使用量角器来测量并手动记录。基于如图10或图11所示的上面提及的方法来计算与弯曲角度θ的每个值相对应的第二图像与第一图像之间的距离△d的每个值,例如,D1、D2、D3、D4、D5等。因此,获得了距离-角度查找表。
当患者开始进行手掌/掌侧弯曲和手背弯曲锻炼时,处理器109自动地基于如图10或图11所示的上面提及的方法来执行对动态距离△d的计算。可以通过参考图12中所示距离-角度查找表基于计算出的距离来获得实际弯曲角度。
在一些实施例中,在确定距离△d之后,处理器109基于距离、第一图像中的至少一个标记物的高度以及高度-距离-角度查找表(其链接了表观高度、距离和角度)来执行对角度的确定。在一个实施例中,使用沿v轴方向的角点的信息基于如图10所示的第一区域817来计算高度(h)。在示例中,h=|A3_v3-A2_v2|。类似地,如图13所示的高度-距离-角度查找表存储在处理器109的存储器中,并且通过进行实验来获得。
更具体地,佩戴至少一个标记物101的人坐在康复设备100的前面并且进行手掌/掌侧弯曲和手背弯曲运动。在图像捕获单元105与在第一位置的手部标记物101的前侧之间沿着y轴方向的距离(如图1所示)被调整。因此,基于上面所示的计算算法计算第一图像中的不同高度(h1,h2,h3)。在每个高度下,基于图12中所示的方法获得距离-角度查找表。因此,获得高度-距离-角度查找表。
当患者开始进行手掌/掌侧弯曲和手背弯曲运动时,处理器109自动地基于如图10或图11所示的上面提及的方法来执行对动态距离△d的计算。处理器109还通过分析第一图像来执行对第一图像中手部标记物的高度(h)的计算。可以通过参考高度-距离-角度查找表基于计算出的距离和计算出的高度来获得实际弯曲角度。
将第一图像中的至少一个标记物的高度添加作为表的参数的优点在于,如图1所示,在第一图像中标记物的高度是不同的,因为即使当患者佩戴相同的手部标记物时,图像捕获单元105与手部标记物101之间沿着y轴方向的距离(如图1所示)也是不同的,而没有提到不同的患者可能佩戴不同尺寸的标记物。更具体地,因为不同的患者可能具有不同长度的前臂或不同的偏瘫状况,手部标记物的前侧在第一图像中形成不同尺寸的区域。当佩戴相同的手部标记物时,关于第一图像中标记物的不同高度,参考不同的距离-角度查找表。然后可以以更准确且可靠的方式获得角度。
数据可以输出到显示器103、云或控制器。在一个实施例中,显示器103用于显示目标运动轨迹和患者在康复锻炼中的运动轨迹两者。通过本发明中所示的方法获得的角度表示受试者的运动轨迹并且可以实时跟踪该运动轨迹。在一个实施例中,输出数据被发送到云以用于后续处理,例如,输出关于患者在进行手部康复锻炼时表现如何的反馈。在一个实施例中,输出数据可以被发送到控制器。如果运动角度小于某一值,则控制器可以用于控制机构提供动力以帮助患者将手移动到预定范围。
图14示出了用于输出运动角度信息的用户界面1400。处理器109可以被布置为通过在康复训练期间显示目标运动轨迹1401和可选地还显示用户在康复训练中的运动轨迹1403来引导用户。通过在显示器103上显示目标轨迹1401和目标角度1405,将引导和激励用户遵循最佳轨迹。可以显示用户的运动轨迹1403以给予用户直接视觉反馈。诸如动态跟踪的弯曲/旋转角度1407之类的数据用于形成运动轨迹1403。在其他实施例中,动画游戏的用户界面被设计为使用目标角度1405作为游戏的目标来显示运动轨迹1403。为了通过该游戏,运动轨迹1403的实际跟踪的弯曲/旋转角度1407应该超过目标角度。
如果显示目标轨迹和运动轨迹两者,则用户将获得关于她表现如何的信息,这将激励她做到最好。这将有助于加快康复过程。
图15示出了如上所述的康复设备100的示例。康复设备100包括但不限于PC、工作站、膝上型计算机、PDA、掌上设备、服务器、存储装置等。通常,就硬件架构而言,康复设备100可以包括经由本地接口(未示出)通信地耦合的一个或多个处理器1501、存储器1505以及一个或多个I/O设备1503。本地接口可以是例如但不限于一个或多个总线或其他有线或无线连接,如本领域中已知的。本地接口可以具有附加元件,例如,控制器、缓冲器(高速缓存)、驱动器、中继器和接收器,以实现通信。此外,本地接口可以包括地址、控制和/或数据连接,以实现上述组件之间的适当的通信。
处理器1501是用于执行可以存储在存储器1505中的软件的硬件设备。处理单元1501实际上可以是任何定制的或商用的处理器、中央处理单元(CPU)、数字信号处理器(DSP)或者与计算机相关联的若干处理器中的辅助处理器,并且处理单元1501可以是基于半导体的微处理器(以微芯片的形式)或微处理器。
存储器1505可以包括易失性存储器元件(例如,随机存取存储器(RAM),例如,动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等)和非易失性存储器元件(例如,ROM、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁带、光盘只读存储器(CD-ROM)、磁盘、软盘、盒、盒式磁带等)中的任何一个或其组合。此外,存储器1505可以包含电、磁、光和/或其他类型的存储介质。注意,存储器1505可以具有分布式架构,其中各种组件彼此远离,但是可以由处理器1501访问。
存储器1505中的软件可以包括一个或多个单独的程序,其中的每个程序包括用于实现逻辑功能的可执行指令的有序列表。根据示例性实施例,存储器1505中的软件包括合适的操作***(O/S)1507、编译器1511、源代码1513和一个或多个应用程序1509。
应用程序1509包括许多功能组件,例如,计算单元、逻辑、功能单元、进程、操作、虚拟实体和/或模块。应用程序1509可以是用于与编译器1511、源代码1513和合适的操作***1507通信的康复应用程序,用于控制处理单元1501和I/O设备1503执行以下步骤:通过分析在图像捕获单元15的视场中捕获的一组标记物的图像中检测到的位置,使用来自该组标记物的反射光来监测用户身体部位的移动。应用程序1509可以包括代码模块,当所述程序在计算机上运行时,该代码模块适于执行这些步骤。
操作***1507控制计算机程序的执行,并且提供调度、输入-输出控制、文件和数据管理、存储器管理以及通信控制和相关服务。
应用程序1509可以是源程序、可执行程序(目标代码)、脚本或包括待执行的一组指令的任何其他实体。当是源程序时,该程序通常经由编译器(例如,编译器1511)、汇编器、解释器等(其可以包括或不包括在存储器1505中)进行转换,以便与操作***1507结合地适当操作。此外,应用程序1509可以被编写为面向对象的编程语言(其具有数据和方法的类),或者过程编程语言(其具有例程、子例程和/或函数),例如但不限于C、C++、C#、Pascal、BASIC、API调用、HTM、XHTML、XML、ASP脚本、JavaScript、FORTRAN、COBOL、Perl、Java、ADA、NET等。
I/O设备1503可以包括输入设备,例如但不限于鼠标、键盘、扫描仪、麦克风、相机等。此外,I/O设备1503还可以包括输出设备,例如但不限于打印机、显示器等。最后,I/O设备1503还可以包括传送输入和输出两者的设备,例如但不限于网络接口控制器(NIC)或调制器/解调器(用于访问远程设备、其他文件、设备、***或网络)、射频(RF)或其他收发器、电话接口、桥接器、路由器等。I/O设备1503还包括用于通过各种网络(例如,互联网或内联网)通信的组件。
当计算机处于操作中时,处理单元1501被配置为执行存储在存储器1505中的软件,以将数据传送到存储器1505和从存储器1505传送数据,并且通常根据软件来控制计算机的操作。应用程序1509和操作***1507全部地或部分地由处理单元1501读取,可能在处理单元1501中缓冲,然后执行。
当应用程序1509以软件实现时,应该注意,应用程序1509可以存储在几乎任何计算机可读介质上以供任何计算机相关***或方法使用,或与任何计算机相关***或方法结合使用。
该***不限于手部运动。其可以用于全身运动,例如,前后屈曲或左右屈曲。
输出在上面描述为显示。当然,输出可以补充有声音,例如,包括语音生成以提供指令、表现信息或激励鼓励。也可以使用触觉(例如,振动)反馈。
图16示出了跟踪康复训练的方法的流程图。应注意,方法1600可以但不是必须对应于如参考图1等描述的康复设备100的操作。
方法1600包括在名为“接收图像”的操作中,从图像捕获单元105接收1610第一图像和第二图像。第一图像在第一位置由图像捕获单元105捕获并且第二图像在第二位置由图像捕获单元105捕获。
方法1600还包括在名为“识别第一ROI”的操作中,在第一图像中识别1620至少一个标记物的第一感兴趣区域(ROI)。该方法可以包括处理第一图像并且通过从第一图像中移除意外的冗余信息来获得已处理图像。该方法还可以包括检测包围第一已处理图像的标记物信息的矩形边框。第一ROI包括基于矩形区域获得的一个标记物的第一点。第一ROI中的第一点是限定第一已处理图像中的第一区域的中心的点,或者是第一区域在手部标记物朝向其移动的侧边处的边界的点。
方法1600还包括在名为“识别第二ROI”的操作中,在第二图像中识别1630至少一个标记物的第二感兴趣区域(ROI)。该方法可以包括处理第二图像并且通过从第二图像中移除意外的冗余信息来获得已处理图像。该方法还可以包括检测围绕第二已处理图像的标记物信息的矩形边框。第二ROI包括基于矩形区域获得的一个标记物的第二点。第二ROI中的第二点是第二已处理图像中的第二区域在手部标记物朝向其移动的侧边处的边界的点。
方法1600还包括在名为“比较第一ROI和第二ROI”的操作中,比较1640第一图像的第一ROI与第二图像的第二ROI。更具体地,该方法可以包括比较第一ROI和第二ROI沿着u轴方向的位置,如图10所示。更具体地,比较结果可以包括沿着在第一点的坐标与第二点的坐标之间的方向的距离。
方法1600还包括在名为“输出数据”的操作中,基于比较结果来输出1650数据。该方法还包括将数据输出到显示器103或云或可以是控制器。更具体地,数据可以包括反映至少一个标记物的取向的旋转角度。
应当理解,上述操作可以以任何合适的顺序执行,例如,连续地、同时地或其组合,在可适用的情况下,受制于必须以特定顺序执行(例如,按照输入/输出关系)。
方法1600可以在计算机上作为计算机实现的方法、专用硬件或两者的组合而实现。还如图17中所示,用于计算机的指令(例如,可执行代码)可以存储在计算机可读介质1700上,例如,以一系列机器可读物理标记1701的形式和/或作为具有不同的电气(例如,磁或光)性质或值的一系列元件。可执行代码可以以暂时性或非暂时性的方式存储。计算机可读介质的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等,图17示出了光盘1700。
应当理解,为了清楚起见,以上说明书已经参考不同的功能单元和处理器描述了本发明的实施例。然而,显而易见的是,在不脱离本发明的情况下,可以使用功能在不同功能单元或处理器之间的任何合适的分布。例如,示出为由单独的单元、处理器或控制器执行的功能可以由相同的处理器或控制器执行。因此,对特定功能单元的参考仅被视为对用于提供所描述的功能的合适模块的参考,而不是指示严格的逻辑或物理结构或组织。本发明可以以任何合适的形式实现,包括硬件、软件、固件或这些的任何组合。
应注意,在本文件中,词语“包括”不排除存在除列出的那些元件或步骤之外的其他元件或步骤,并且元件之前的词语“一”或“一个”不排除存在多个这样的元件,任何参考记号不限制权利要求的范围,本发明可以通过硬件和软件两者来实现,并且若干“模块”或“单元”可以由相同的硬件或软件项目表示,并且处理器可以实现一个或多个单元的功能,可能与硬件元件协作。此外,本发明不限于这些实施例,并且本发明在于上述的或在相互不同的从属权利要求中引述的每个且每一个新颖特征或特征的组合。
Claims (14)
1.一种用于对执行康复锻炼的受试者的身体部位的旋转角度进行跟踪的康复设备(100),所述设备包括:
至少一个标记物(101),其被配置为附接到受试者的至少一个身体部位;
图像捕获单元(105),其被配置为捕获所述至少一个标记物(101)当被放置在第一位置时的第一图像(801)以及所述至少一个标记物(101)当被放置在第二位置时的第二图像(803);以及
处理器(109),其被配置为:
从所述图像捕获单元(105)接收所述第一图像和所述第二图像;
识别表征所述至少一个标记物(101)在所述第一图像中的位置的第一点;
识别表征所述至少一个标记物(101)在所述第二图像中的位置的第二点;
计算沿着在所述第一点的坐标与所述第二点的坐标之间的方向的距离;以及
至少基于计算出的距离来输出反映所述至少一个标记物(101)的取向的旋转角度。
2.根据权利要求1所述的康复设备,其中,所述至少一个标记物(101)包括被佩戴在所述受试者的一只手上的手部标记物以及被佩戴在所述受试者的同一手臂的肩部或腕部上的肩部标记物或腕部标记物,所述处理器被配置为:
通过从所述第一图像中移除所述至少一个标记物(101)的第一点集(601、603)来导出包括第二点集(813)的第一已处理图像(805);
在所述第一已处理图像(805)中识别反映所述第二点集(813)的边缘信息的第一区域(817);以及
基于所述第一区域(817)来计算所述第一点;以及
通过从所述第二图像中移除所述至少一个标记物(101)的第三点集(701、703、705)来导出包括第四点集(815)的第二已处理图像(807);
在所述第二已处理图像(807)中识别反映所述第四点集(815)的边缘信息的第二区域(819);以及
基于所述第二区域(819)来计算所述第二点。
3.根据权利要求2所述的康复设备,其中,所述第一区域(817)是包围所述第二点集(813)的最小矩形边框,并且所述第二区域(819)是包围所述第四点集(815)的最小矩形边框。
4.根据权利要求3所述的康复设备,其中,所述第一点是所述第一已处理图像(805)中的限定所述第一区域(817)的中心的点或者是所述第一区域(817)在所述手部标记物朝向其移动的侧边处的边界的点,并且其中,所述第二点是所述第二已处理图像(807)中的在所述第二区域(819)的边界处的点。
5.根据权利要求2所述的康复设备,其中,所述第一区域是所述第一已处理图像(805)中的所述第二点集(813)在所述手部标记物朝向其移动的侧边处的边界的直线(917),并且其中,所述第二区域是所述第二已处理图像(807)中的所述第四点集(815)在所述手部标记物朝向其移动的同一侧边处的边界的直线(919)。
6.根据权利要求1所述的康复设备,其中,所述处理器(109)还被配置为经由链接距离和旋转角度的查找表基于所述计算出的距离来输出所述旋转角度。
7.根据权利要求1所述的康复设备,其中,所述处理器(109)还被配置为基于以下各项来输出所述旋转角度:所述计算出的距离,通过分析所述第一图像而计算出的所述第一图像中的所述至少一个标记物的高度,以及链接高度、差和旋转角度的查找表。
8.根据权利要求1所述的康复设备,其中,所述处理器(109)还被配置为将所述旋转角度输出到显示器。
9.一种用于对执行康复锻炼的受试者的身体部位的旋转角度进行跟踪的计算机实现的方法(1600),包括:
接收(1610)第一图像和第二图像;
识别(1620)指示至少一个标记物在所述第一图像中的位置的第一点;
识别(1630)指示所述至少一个标记物在所述第二图像中的位置的第二点;
计算(1640)沿着在所述第一点的坐标与所述第二点的坐标之间的方向的距离;以及
至少基于所述距离来输出(1650)反映所述至少一个标记物(101)的取向的旋转角度。
10.根据权利要求9所述的方法,其中:
识别所述第一点的步骤还包括:
通过从所述第一图像中移除所述至少一个标记物(101)的第一点集(601、603)来导出包括第二点集(813)的第一已处理图像(805);
在所述第一已处理图像(805)中识别反映所述第二点集(813)的边缘信息的第一区域(817);以及
基于所述第一区域(817)来计算所述第一点;并且
其中,识别所述第二点的步骤还包括:
通过从所述第二图像中移除所述至少一个标记物(101)的第三点集(701、703、705)来导出包括第四点集(815)的第二已处理图像(807);
在所述第二已处理图像(807)中识别反映所述第四点集(815)的边缘信息的第二区域(819);以及
基于所述第二区域(819)来计算所述第二点。
11.根据权利要求10所述的方法,其中,所述第一区域(817)是包围所述第二点集(813)的最小矩形边框,并且所述第二区域(819)是包围所述第四点集(815)的最小矩形边框。
12.根据权利要求10所述的方法,其中,所述第一点是限定所述第一区域(817)的中心的点或者是所述第一已处理图像(815)中的所述第一区域(817)在手部标记物朝向其移动的侧边处的边界的点,并且其中,所述第二点是所述第二已处理图像(807)中的所述第二区域(819)在手部标记物朝向其移动的同一侧边处的边界的点。
13.根据权利要求10所述的方法,其中,所述第一区域是所述第一已处理图像(805)中的所述第二点集(813)在所述手部标记物朝向其移动的侧边处的边界的直线(917),并且其中,所述第二区域是所述第二已处理图像(807)中的所述第四点集(815)在所述手部标记物朝向其移动的同一侧边处的边界的直线(919)。
14.一种计算机程序产品,包括用于使得处理器***执行根据权利要求9所述的方法的指令。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2018090223 | 2018-06-07 | ||
CNPCT/CN2018/090223 | 2018-06-07 | ||
EP18193490.2 | 2018-09-10 | ||
EP18193490.2A EP3621083A1 (en) | 2018-09-10 | 2018-09-10 | Rehabilitation device and method |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110826385A true CN110826385A (zh) | 2020-02-21 |
Family
ID=69547652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910496143.9A Pending CN110826385A (zh) | 2018-06-07 | 2019-06-10 | 康复设备及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110826385A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1969748A (zh) * | 2006-11-29 | 2007-05-30 | 华中科技大学 | 一种基于单目视频的计算机辅助步态分析方法 |
CN101033963A (zh) * | 2007-04-10 | 2007-09-12 | 南京航空航天大学 | 基于指端标记的视频手指定位***及其定位方法 |
AU2014100129A4 (en) * | 2014-02-13 | 2014-03-20 | Deakin University | A system for monitoring movement of a hand of a patient during therapeutic treatment and generating data representing phalangeal angles |
CN104023634A (zh) * | 2011-12-30 | 2014-09-03 | 皇家飞利浦有限公司 | 用于追踪正在执行锻炼的用户的手部和/或腕部旋转的方法和设备 |
CN104574396A (zh) * | 2014-12-31 | 2015-04-29 | 深圳大学 | 一种直线检测方法及*** |
CN106017311A (zh) * | 2015-03-31 | 2016-10-12 | 波音公司 | 跟踪测量***和方法 |
CN106537187A (zh) * | 2014-08-01 | 2017-03-22 | 喜利得股份公司 | 跟踪方法和跟踪*** |
CN107025658A (zh) * | 2015-11-13 | 2017-08-08 | 本田技研工业株式会社 | 采用单个相机检测运动物体的方法和*** |
WO2017167813A1 (en) * | 2016-03-30 | 2017-10-05 | Koninklijke Philips N.V. | An arm position tracking system and method for use during a shoulder flexion exercise |
TW201740346A (zh) * | 2016-05-05 | 2017-11-16 | Yun-Hong Shen | 於網路平台上環景影像與留言之間的對應方法及其系統 |
-
2019
- 2019-06-10 CN CN201910496143.9A patent/CN110826385A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1969748A (zh) * | 2006-11-29 | 2007-05-30 | 华中科技大学 | 一种基于单目视频的计算机辅助步态分析方法 |
CN101033963A (zh) * | 2007-04-10 | 2007-09-12 | 南京航空航天大学 | 基于指端标记的视频手指定位***及其定位方法 |
CN104023634A (zh) * | 2011-12-30 | 2014-09-03 | 皇家飞利浦有限公司 | 用于追踪正在执行锻炼的用户的手部和/或腕部旋转的方法和设备 |
AU2014100129A4 (en) * | 2014-02-13 | 2014-03-20 | Deakin University | A system for monitoring movement of a hand of a patient during therapeutic treatment and generating data representing phalangeal angles |
CN106537187A (zh) * | 2014-08-01 | 2017-03-22 | 喜利得股份公司 | 跟踪方法和跟踪*** |
CN104574396A (zh) * | 2014-12-31 | 2015-04-29 | 深圳大学 | 一种直线检测方法及*** |
CN106017311A (zh) * | 2015-03-31 | 2016-10-12 | 波音公司 | 跟踪测量***和方法 |
CN107025658A (zh) * | 2015-11-13 | 2017-08-08 | 本田技研工业株式会社 | 采用单个相机检测运动物体的方法和*** |
WO2017167813A1 (en) * | 2016-03-30 | 2017-10-05 | Koninklijke Philips N.V. | An arm position tracking system and method for use during a shoulder flexion exercise |
TW201740346A (zh) * | 2016-05-05 | 2017-11-16 | Yun-Hong Shen | 於網路平台上環景影像與留言之間的對應方法及其系統 |
Non-Patent Citations (2)
Title |
---|
HOSHINO, K: "Quick and accurate estimation of human 3D hand posture", INTELLIGENT SERVICE ROBOTICS, vol. 3, pages 11 - 19 * |
聂海涛: "基于图像局部特征的康复机器人目标识别方法研究", 中国博士学位论文全文数据库 信息科技辑, no. 09 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101606628B1 (ko) | 포인팅 방향 검출 장치 및 그 방법과, 프로그램 및 컴퓨터 판독가능한 매체 | |
US10817795B2 (en) | Handstate reconstruction based on multiple inputs | |
Cerveri et al. | Finger kinematic modeling and real-time hand motion estimation | |
CN111694429A (zh) | 虚拟对象驱动方法、装置、电子设备及可读存储 | |
JP5697590B2 (ja) | 拡張した被写体深度から抽出した三次元情報を用いたジェスチャ・ベース制御 | |
Takeda et al. | Artificial Intelligence-Assisted motion capture for medical applications: a comparative study between markerless and passive marker motion capture | |
US11164321B2 (en) | Motion tracking system and method thereof | |
KR100361462B1 (ko) | 모션 캡쳐 데이터 획득 방법 | |
JP2004094288A (ja) | 指示位置検出装置及び自律ロボット | |
US20230195234A1 (en) | Gesture acquisition system | |
CN112926423A (zh) | 捏合手势检测识别方法、装置及*** | |
US7377650B2 (en) | Projection of synthetic information | |
US10542916B2 (en) | Method and apparatus for tracking hand and/or wrist rotation of a user performing exercise | |
CN115840502B (zh) | 三维视线追踪方法、装置、设备及存储介质 | |
CN114078278A (zh) | 注视点定位方法与装置、电子设备和存储介质 | |
CN115515487A (zh) | 基于使用多视图图像的3d人体姿势估计的基于视觉的康复训练*** | |
Huang et al. | Image-recognition-based system for precise hand function evaluation | |
CN113033526A (zh) | 基于计算机实现的方法、电子设备和计算机程序产品 | |
CN110826385A (zh) | 康复设备及方法 | |
WO2017167813A1 (en) | An arm position tracking system and method for use during a shoulder flexion exercise | |
JP2017158644A (ja) | 測定装置、測定方法及び測定プログラム | |
EP3621083A1 (en) | Rehabilitation device and method | |
Lu et al. | Kinect-based human finger tracking method for natural haptic rendering | |
EP3971683A1 (en) | Human body portion tracking method and human body portion tracking system | |
Kiran Kumar et al. | 3D motion capture for Indian sign language recognition (SLR) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |