CN107708555A - 测量装置和测量方法 - Google Patents

测量装置和测量方法 Download PDF

Info

Publication number
CN107708555A
CN107708555A CN201680037699.6A CN201680037699A CN107708555A CN 107708555 A CN107708555 A CN 107708555A CN 201680037699 A CN201680037699 A CN 201680037699A CN 107708555 A CN107708555 A CN 107708555A
Authority
CN
China
Prior art keywords
test object
angle
positional information
measurement apparatus
shoulder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680037699.6A
Other languages
English (en)
Other versions
CN107708555B (zh
Inventor
野田尚志
永井克幸
木下友见
寺岛宏纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Electrical Scheme Innovation Corp
Original Assignee
Japan Electrical Scheme Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Electrical Scheme Innovation Corp filed Critical Japan Electrical Scheme Innovation Corp
Publication of CN107708555A publication Critical patent/CN107708555A/zh
Application granted granted Critical
Publication of CN107708555B publication Critical patent/CN107708555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124Determining motor skills
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4884Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09Rehabilitation or training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Rehabilitation Tools (AREA)

Abstract

提供了一种测量装置,所述测量装置包括:获取单元,所述获取单元获取关于测试对象的肢体中的预定部分的位置信息或者方向信息;计算单元,所述计算单元基于所获取的位置信息或者方向信息来计算用作所述测试对象的所述肢体的能力指标的角度或者距离;确定单元,所述确定单元基于所获取的位置信息或者方向信息来确定所述测试对象的姿势是否恰当;以及输出处理单元,所述输出处理单元在与关于所述测试对象的所述姿势是否恰当的确定结果对应的状态下输出计算得到的角度或者距离。

Description

测量装置和测量方法
技术领域
本发明涉及一种用于测量人的肢体的能力的技术。
背景技术
目前,存在用于通过使用运动捕获技术或者三维感测技术并且通过将运动转换成数字数据来三维捕获人的运动的各种应用。例示了用于在电影或者游戏中生成计算机图形(CG)角色并且执行运动分析的应用、用于识别手势操作的应用等。运动捕获方法包括将多个标记或者传感器附接至人体,并且通过检测标记或者传感器的感测将人的运动转换成三维数据的方法。另外,运动捕获方法还包括通过使用从三维传感器获得的三维信息来估计人体的姿势,使得能够在不将标记或者传感器附接至人体的情况下将人的运动转换成三维数据的方法。在估计人体姿势时,从三维信息中识别人的肢体的部分(头、手、手臂、腿等),并且记录这些部分的动作。
下文描述的专利文献1提出了一种每当基于从Kinect(注册商标)获得的信息来获取人的操作信息(彩色图像信息、距离图像信息、框架信息等)时,测量用于估计康复的指标的指标值的装置。在该方案中,测量了肩部的屈曲伸展、肩部的水平屈曲伸展、肩胛带的屈曲伸展、髋部的屈曲伸展、头部的向前屈曲和向后屈曲、胸椎和腰椎的向前屈曲和向后屈曲、以及胸椎和腰椎的旋转运动中的至少一个的指标。
在下文描述的非专利文献1中,确定了一种用于测量关节可移动范围的正确方法。
下文描述的非专利文献2提出了一种通过使用从KINECT(注册商标)获得的框架信息实时测量关节可移动范围的方法。按照这种方法,显示框架信息,并且当鼠标被叠加在待测量的关节上时,显示关节中的测量项。通过选择期望测量项来开始测量。然而,该文档未公开测量的具体方法。
相关文档
专利文献
[专利文献1]日本专利申请公开第2015-61579号
非专利文献
[非专利文献1]“Joint Movable Range Display and MeasurementMethod”,日本骨科协会和日本康复医学协会,康复医学第32卷,第207-217页,1995年
[非专利文献2]Kitsunezaki Naofumi等,“KINECT Applications forthePhysical Rehabilitation”,电子信息和通信工程会协会,IEICE技术报告,IE2012-89(2012-11)
发明内容
技术问题
然而,按照上文提出的方法,可能无法准确地测量用于估计康复的指标值。为了正确地测量指标值,测试对象有必要按照正确的姿势执行所确定的运动。例如,在肩部的屈曲运动期间使脊椎向前后弯曲的状态下进行测量的情况下,不能获得正确的估计结果。
将基于更具体的场景更详细地描述上文描述的问题。例如,假设了使用通过使用上述提出的方法的***由测试对象自动测量的用于估计的指标值的场景。在测试对象不习惯使用***的时间点测试对象不知道要测量的正确的姿势或者运动,因此即使在使用***时也极有可能无法测量正确的值。即使在测试对象在一定程度上记住了正确的姿势或者运动,测试对象在测量期间不总是采取正确的姿势。由于身体习惯等,人会不自觉地倾向于采取方便其自身的姿势或者运动,因此即使在测试对象打算采取正确的姿势或者运动时,测试对象也有可能会不自觉地采取错误的姿势或者动作。另外,仍然在参与的测量人员使用***的场景中,不必然测量正确的值。存在用于确定正确的姿势的多个检查项,并且测量人员在测试对象的姿势不断变化时按顺序检查多个检查项存在巨大的负担。因此,在由测量人员检查姿势或者运动时可能会出现人为误差诸如忽略或者错误确定,并且还包括测量人员的主观性,这可能会导致在评估中发生变化。
鉴于这种情况设计本发明,并且本发明的目的是提供用于准确地测量测试对象的肢体能力的技术。
技术方案
在本发明的各个方面中,采用以下构成以便解决上述问题。
第一方面涉及测量装置。根据第一方面的测量装置包括:获取单元,该获取单元获取关于测试对象的肢体中的预定部分的位置信息或者方向信息;计算单元,该计算单元基于所获取的位置信息或者方向信息来计算用作测试对象的肢体的能力指标的角度或者距离;确定单元,该确定单元基于所获取的位置信息或者方向信息来确定测试对象的姿势是否恰当;以及输出处理单元,该输出处理单元在与关于测试对象的姿势是否恰当的确定结果对应的状态下输出计算得到的角度或者距离。
第二方面涉及由至少一个计算机执行的测量方法。根据第二方面的测量方法包括:获取关于测试对象的肢体中的预定部分的位置信息或者方向信息;基于所获取的位置信息或者方向信息来计算用作测试对象的肢体的能力指标的角度或者距离;基于所获取的位置信息或者方向信息来确定测试对象的姿势是否恰当;以及在与关于测试对象的姿势是否恰当的确定结果对应的状态下输出计算得到的角度或者距离。
同时,本发明的另一方面涉及使至少一个计算机执行第二方面的方法的程序或者可以涉及计算机可读的记录有程序的存储介质。该存储介质包括非暂时性有形介质。
有益效果
根据上述方面,能够提供用于准确地测量测试对象的肢体的能力的技术。
附图说明
上述目的、其它目的、特征和优点将通过下文描述的优选示例实施例和如下附图而变得显而易见。
图1是图示了根据第一示例实施例的测量装置的硬件构成的示例的示意图。
图2是图示了根据第一示例实施例的测量装置的处理构成的示例的示意图。
图3是图示了计算肩部的能力指标的方法的示意图。
图4是图示了在测量肩部的屈曲运动的能力时显示输出的示例的示意图。
图5是图示了在测量肩部的外展运动的能力时显示输出的示例的示意图。
图6是图示了在测量肩部的外旋运动的能力时显示输出的示例的示意图。
图7是图示了在测量肩部的水平屈曲运动的能力时显示输出的示例的示意图。
图8是图示了根据第一示例实施例的测量装置的操作的示例的流程图。
图9是图示了计算与胸椎和腰椎的屈曲运动相关的能力指标的方法的示意图。
图10是图示了在测量胸椎和腰椎的屈曲运动的能力时显示输出的示例的示意图。
图11是图示了在测量胸椎和腰椎的屈曲运动的能力时显示输出的示例的示意图。
图12是图示了根据第二示例实施例的测量装置的操作的示例的流程图。
图13是图示了根据第二示例实施例的测量装置的操作的示例的流程图。
图14是图示了在测量功能性伸展能力测试时显示输出的示例的示意图。
图15是图示了根据第三示例实施例的测量装置的操作的示例的流程图。
图16是图示了根据第三示例实施例的测量装置的操作的示例的流程图。
图17是图示了根据第四示例实施例的测量装置的处理构成的示例的示意图。
图18是图示了计算颈部的能力指标的方法的示意图。
图19是图示了在测量颈部可移动范围时显示输出的示例的示意图。
图20是图示了根据第四示例实施例的测量装置的操作的示例的流程图。
图21是图示了计算髋部的能力指标的方法的示意图。
图22是图示了根据补充示例的通过输出处理单元的显示输出的示例的示意图。
图23是图示了根据第五示例实施例的测量装置的处理构成的示例的示意图。
图24是图示了根据第五示例实施例的测量装置的操作的示例的流程图。
具体实施方式
在下文中,将描述本发明的示例实施例。同时,下文描述的示例实施例仅仅是对本发明的说明,并且本发明不限于以下示例实施例的构成。
[第一示例实施例]
[设备构成]
图1是图示了根据第一示例实施例的测量装置10的硬件构成的示例的示意图。根据第一示例实施例的测量装置10是所谓的计算机,并且包括中央处理单元(CPU)1、存储器2、输入和输出接口(I/F)3、通信单元4等,这些部件例如经由总线彼此相连。
除了通用CPU之外,CPU 1还包括专用集成电路(ASIC)、数字信号处理器(DSP)、图形处理单元(GPU)等。
存储器2是随机存取存储器(RAM)、只读存储器(ROM)、或者辅助存储装置(硬盘等)。
输入和输出I/F 3可以连接至用户接口装置,诸如,显示装置5和输入装置6。显示装置5是显示与由CPU 1等处理的绘图数据对应的画面的装置,诸如,液晶显示器(LCD)或者阴极射线管(CRT)显示器。输入装置6是接收用户操作的输入的装置,诸如,键盘或者鼠标。显示装置5和输入装置6与彼此集成,并且可以作为触摸面板而实现。另外,输入装置6可以是获取声音的麦克风单元。诸如扬声器单元的另一输出装置可以连接至输入和输出I/F 3。
通信单元4通过通信网络(未示出)来与另一计算机进行通信,将信号传输至诸如打印机等的另一装置和从诸如打印机等的另一装置接收信号。通信单元4通过通用串行总线(USB)等连接至三维传感器7。然而,不限制通信单元4与三维传感器7之间的通信模式。另外,便携式存储介质等可以连接至通信单元4。
三维传感器7检测三维信息。三维传感器7作为可见光相机和深度传感器与彼此集成的传感器(诸如,Kinect(注册商标)或者3D相机)而实现。还将深度传感器称为距离图像传感器,并且基于通过利用来自激光的近红外光的图案照射物体以及通过检测近红外光的相机来捕获图案的图像而获得的信息来计算距离图像传感器与物体之间的距离。三维传感器7的实现方法不受限制,只要三维传感器可以检测测试对象的预定部分在视野内的三维位置即可。例如,三维传感器7可以由使用多个可见光相机的三维扫描***来实现。在以下描述中,为了便于描述,假设三维传感器7是可见光相机和深度传感器与彼此集成的传感器。
测量装置10的硬件构成不限于图1中图示的示例。测量装置10可以包括在附图中未示出的其它硬件部件。另外,硬件部件的数量同样不限于图1中的示例。例如,测量装置10可以包括多个CPU 1。
[处理构成]
图2是图示了根据第一示例实施例的测量装置10的处理构成的示例的示意图。根据第一示例实施例的测量装置10包括数据获取单元11、计算单元12、确定单元13、输出处理单元14、操作检测单元15等。例如,这些处理模块由执行存储在存储器2中的CPU 1来实现。另外,程序可以通过来自便携式存储介质诸如光盘(CD)或者记忆卡、或者网络上的另一计算机的通信单元4进行安装,并且可以存储在存储器2中。
操作检测单元15检测用户操作。具体地,操作检测单元15基于从输入和输出I/F 3输入的信息关于输入装置6检测用户操作。例如,操作检测单元15检测在针对肩部可移动范围而预先确定的多个运动类型中选择单个运动类型的操作。在该示例实施例中,操作检测单元15检测用于从肩部的屈曲运动、伸展运动、外展运动、内收运动、外旋运动、内旋运动、水平伸展运动和水平屈曲运动中选择一种运动类型的用户操作。多种运动类型可以包括需要关于右侧和左侧中的每一个进行测量的运动类型。注意,用于测量作为该示例实施例的目标的肩部的运动类型的运动需要针对右侧和左侧中的每一个进行测量。在选择了需要针对右侧和左侧进行测量的运动类型的情况下,操作检测单元15可以检测选择测量右侧还是左侧以及运动类型的操作。操作检测单元15基于检测到的用户操作将用户所选择的运动类型传输至数据获取单元11、计算单元12和确定单元13。
数据获取单元11基于从三维传感器7获得的信息来获取关于测试对象的肢体的多个预定部分的位置信息。数据获取单元11可以仅获取关于由计算单元12和确定单元13使用的预定部分的位置信息,或者可以尽可能多地获取关于预定部分的位置信息条目。用与实际存在测试对象的三维空间等效的世界坐标系表示要获取的位置信息。例如,用以三维传感器7的视野的中心作为原点,将水平方向设置为x轴(右方向为正)、将垂直方向设置为y轴(上方向为正)、以及将深度方向(内部方向为正)设置为z轴的世界坐标系表示要获取的位置信息。在下文中,将通过使用世界坐标系的示例提供描述。然而,世界坐标系的三个轴和起点的配置不限于这种示例。
例如,数据获取单元11以预定周期从三维传感器7获取二维图像的帧和深度图像(距离图像)的帧。可以以相同周期获取或者可以以不同周期获取这两个帧。在下文中,简单地将这些帧分别称为二维图像和深度图像。数据获取单元11通过使用姿势估计技术从所获取的二维图像和深度图像中识别测试对象的肢***于三维传感器7的视野内的多个预定部分,并且确定各个部分的三维位置(世界坐标系)。数据获取单元11可以使用各种现有姿势估计技术。例如,数据获取单元11可以获取关于肢体的多个部分诸如左肩、左肘部、左手腕、左手、右肩、右肘部、右手腕、右手、头部、肩部中间、脊椎、腰部中间、右腰部、左腰部、右膝、右脚后跟、右脚、左膝、左脚后跟和左腿的位置信息条目。在下文中,可以将由数据获取单元11获取的关于测试对象的肢体的预定部分的位置信息条目称为框架数据。数据获取单元11每当获取帧时就按顺序获取框架数据。
计算单元12基于由数据获取单元11按顺序获取的框架数据条目来按顺序计算用作测试对象的肩部的能力指标的角度。计算单元12计算用作用户在针对测量肩部可移动范围预先确定的多种运动类型中所选择的运动类型的能力指标的角度。例如,计算单元12计算用作肩部的屈曲运动、伸展运动、外展运动、内收运动、外旋运动、内旋运动、水平伸展运动、或者水平屈曲运动的能力指标的角度。要计算的角度指示肩部可移动范围。在选择了需要测量右侧和左侧的运动类型的情况下,计算单元12可以自动确定待测量的方向(左侧或者右侧),或者可以通过由操作检测单元15检测到的用户操作来确定方向。
计算单元12基于非专利文献1中描述的规则通过使用以下方法来计算角度(肩部可移动范围)。
计算单元12基于所获取的框架数据来计算在与x轴或者z轴垂直的平面上的角度作为肩部的屈曲运动、伸展运动、外展运动、或者内收运动的能力指标,该角度由以肩部的位置作为端点、在y轴的负方向上的线段和连接肩部的位置和手部的位置的线段形成。另外,计算单元12基于所获取的框架数据来计算在与y轴垂直的平面上的角度作为肩部的外旋运动或者内旋运动的能力指标,该角度由以肘部的位置作为端点、在z轴的前方向上的线段和连接肘部的位置和手部的位置的线段形成。另外,计算单元12基于所获取的框架数据来计算在与y轴垂直的平面上的角度作为肩部的水平伸展运动或者水平屈曲运动的能力指标,该角度由以肩部的位置作为端点、在x轴方向上的线段和连接肩部的位置和手部的位置的线段形成。将参照图3更详细地描述该计算处理。
图3是图示了计算肩部的能力指标的方法的示意图。然而,图3仅图示了计算右肩和左肩中的单个肩部的能力指标的方法。可以基于相同概念来计算在图3中未图示的另一侧的肩部的能力指标。
作为肩部的屈曲运动的能力指标,计算单元12计算在与x轴垂直的平面(yz平面,图3的纸面)上的角度A1,该角度由以肩部的位置P1作为端点、在y轴的负方向上的线段L1和连接肩部的位置P1和手部的位置P2的线段L2形成。
作为肩部的伸展运动的能力指标,计算单元12计算在与x轴垂直的平面(yz平面,图3的纸面)上的角度A2,该角度由线段L1和线段L2形成。
作为肩部的外展运动或者内收运动的能力指标,计算单元12计算在与z轴垂直的平面(xy平面,图3的纸面)上的角度A3,该角度由以肩部的位置P3作为端点、在y轴的负方向上的线段L3和连接肩部的位置P3和手部的位置P4的线段L4形成。
作为肩部的外旋运动的能力指标,计算单元12计算在与y轴垂直的平面(xz平面,图3的纸面)上的角度A5,该角度由以肘部的位置P5作为端点、在在z轴的负方向上的线段L5和将肘部的位置P5和手部的位置P6与肘部的位置P5连接的线段L6形成。
作为肩部的内旋运动的能力指标,计算单元12计算在与y轴垂直的平面(xz平面,图3的纸面)上的角度A6,该角度由线段L5和线段L6形成。
作为肩部的水平屈曲运动的能力指标,计算单元12计算在与y轴垂直的平面(xz平面,图3的纸面)上的角度A7,该角度由以肩部的位置P7作为端点、在x轴的负方向上的线段L7和连接肩部的位置P7和手部的位置P8的线段L8形成。
作为肩部的水平伸展运动的能力指标,计算单元12计算在与y轴垂直的平面(xz平面,图3的纸面)上的角度A8,该角度由线段L7和线段L8形成。
确定单元13基于由数据获取单元11获取的框架数据来确定测试对象的姿势的恰当性。例如,在由计算单元12计算肩部的屈曲运动、伸展运动、外展运动、内收运动、水平伸展运动、或者水平屈曲运动的能力指标值的情况下,确定单元13检测身体来回弯曲、肘部弯曲、肩部未保持水平、任一肩部前后移动等,因此,确定单元确定测试对象的姿势不恰当。在未检测到这些运动的情况下,确定单元13确定测试对象的姿势恰当。另外,在由计算单元12计算肩部可移动范围内的外旋运动或者内旋运动的能力指标值的情况下,确定单元13检测身体来回弯曲、肘部未呈90度弯曲、移动臂的肩部向后侧拉等,因此,确定单元确定测试对象的指示不恰当。然而,由确定单元13确定的测试对象的姿势不限于这些示例。
具体地,基于头部、肩部中间、脊椎和腰部中间的框架数据,确定单元13计算头部、肩部中间、脊椎和腰部中间在z轴上的位置的偏离度。在计算得到的偏离度超过预定距离的情况下,确定单元13确定由于身体来回弯曲,测试对象的姿势不恰当。另外,确定单元13基于肩部、肘部和手部的框架数据来计算肘部的角度,并且在肘部的角度等于或者小于预定角度的情况下,确定由于测试对象弯曲肘部,测试对象的姿势不恰当。另外,确定单元13基于两肩的框架数据来计算由将连接两肩的线段和xz平面上的x轴形成的角度,并且在角度超过预定角度的情况下,假设移动臂的肩部向后侧拉,确定测试对象的姿势不恰当。确定单元13基于肩部、肘部和手部的框架数据来计算肘部的角度,并且在肘部的角度小于90度的情况下,确定由于肘部未呈90度弯曲,测试对象的姿势不恰当。
输出处理单元14在与关于测试对象的姿势是否恰当的确定结果对应的状态下输出由计算单元12计算得到的角度。例如,输出处理单元14利用与确定单元13的确定结果对应的颜色来输出由计算单元12计算得到的角度。在确定单元13确定测试对象的姿势不恰当的情况下,输出处理单元14用黑色输出角度,根据与用于确定的框架数据同时获取的框架数据来计算该角度。在确定姿势不恰当的情况下,输出处理单元14这时用红色输出角度。作为另一示例,在确定姿势不恰当的情况下,输出处理单元14可以通过使角度闪烁来输出角度,可以改变角度的背景色,或者可以与角度的显示输出一起输出预定语音。
另外,输出处理单元14还可以输出包括具有测试对象的图像的显示,在该显示上,在与关于测试对象的姿势是否恰当的确定结果对应的状态下叠加连接与用于计算角度的框架数据对应的多个预定部分的线段。例如,输出处理单元14输出包括具有测试对象的图像的显示,在该显示上叠加用与确定单元13的确定结果对应的颜色着色的线段。作为另一示例,输出处理单元14可以通过使线段闪烁来输出线段,或者可以在确定姿势不恰当的情况下通过使线段变细来显示线段。
输出处理单元14将由框架数据指示的世界坐标系上的位置信息转换成从三维传感器7获得的二维图像的图像坐标系上的位置信息,因此能够将标记(图像元素)叠加在二维图像中包括的测试对象的多个预定部分上。例如,优选的是,输出处理单元14将标记附接至用于计算确定姿势的恰当性的预定部分和用于确定姿势的恰当性的预定部分中的至少一个。因此,能够使测试对象容易地识别哪个部分涉及针对目标运动类型的测量。进一步地,输出处理单元14还可以基于框架数据指示的世界坐标系与二维图像的图像坐标系之间的对应关系将连接多个预定部分的线段叠加在图像上。基于线段,由于测试对象容易地识别其自身被测量的姿势,诸如手臂弯曲或者两肩倾斜,能够使测试对象处于正确的姿势。
进一步地,输出处理单元14可以输出在由计算单元12按顺序计算得到的角度中的最大值。例如,在输出最大值时,输出处理单元14还可以将在确定测试对象的姿势不恰当时计算得到的角度从最大值的选择候选中排除。另外,输出处理单元14还可以保持最终确定的最大值作为每次测量的测得值,并且还可以输出在那时保持的测得值中的最小值作为最小值。输出处理单元14在第一次测量期间输出0度作为最小值。另外,在第二次测量之后在每次测量期间在输出最大值小于最小值的情况下,输出处理单元14可以输出最大值作为最小值。此处,将在开始测量与终止测量之间的部分视作单次测量,并且例如,通过由操作检测单元15检测到的用户操作来确定开始测量和终止测量。
附带地,输出处理单元14的输出方法不受限制。输出处理单元14可以在显示装置5上显示上述信息,或者可以使连接至通信单元4的打印装置打印信息。
[输出示例]
接着,将描述由根据第一示例实施例的输出处理单元14的显示输出的具体示例。
图4是图示了在测量肩部的屈曲运动的能力时显示输出的示例的示意图。根据图4中的示例,输出处理单元14输出视频区域D1和说明区域D2以便使其彼此相邻。输出处理单元14在视频区域D1中按顺序播放从三维传感器7获得的二维图像。此时,输出处理单元14在视频区域D1中显示的二维图像上在与用于计算角度的框架数据对应的多个预定部分上叠加标记(环形图像)。进一步地,输出处理单元14将连接多个预定部分的线段叠加在二维图像上。在图4中的示例中,在左手、左肘部和左肩上显示环形标记,并且显示了连接左手、左肘部、左肩和右肩的线段和连接左腰部和右腰部的线段。左肘部、右肩、左腰部和右腰部并不直接用于计算角度,而是示出标记或者线段以促进测试对象的正确姿势。例如,两肩保持水平并且右腰部和左腰部的高度一致被期望为正确的姿势。
说明区域D2包括指示用户操作所选择的运动类型的区域D21、显示由计算单元12计算得到的角度的区域D22、显示最大值的区域D23、显示最小值的区域D24等。在图4中的示例中,由用户选择肩部的屈曲运动(区域D21)。输出处理单元14在区域D22中按顺序反映由计算单元12计算得到的角度。进一步地,输出处理单元14在区域D23反映在按顺序计算得到的角度中的最大值。在图4中的示例中,尽管由于是第一次测量而将连字符显示为最小值,但也可以显示0度。在第二次测量之后的测量期间,如上所述,将在保持为测得值的最大值中的最小值输出为最小值。在确定单元13确定测试对象的姿势不恰当的情况下,输出处理单元14用红色显示区域D22内的角度,并且用红色显示叠加在视频区域D1上的线段。
图5是图示了在测量肩部的外展运动的能力时显示输出的示例的示意图。图5中图示的显示的基本构成与图4中图示的显示的基本构成相同。在图5中的示例中,用户选择肩部的外展运动(区域D21)。计算单元12通过上述方法来计算作为外展运动的能力指标的角度。输出处理单元14在区域D22、D23和D24中的显示与图4中的显示相同。另外,在与关于测试对象的姿势是否恰当的确定结果对应的状态下的显示与图4中的显示相同。
图6是图示了在测量肩部的外旋运动的能力时显示输出的示例的示意图。图6中图示的显示的基本构成与图4中图示的显示的基本构成相同。在图6中的示例中,用户选择肩部的外旋运动(区域D21)。计算单元12通过上述方法来计算作为外旋运动的能力指标的角度。输出处理单元14在区域D22、D23和D24中的显示与图4中的显示相同。另外,在与关于测试对象的姿势是否恰当的确定结果对应的状态下的显示与图4中的显示相同。
图7是图示了在测量肩部的水平屈曲运动的能力时显示输出的示例的示意图。图7中图示的显示的基本构成与图4中图示的显示的基本构成相同。在图7中的示例中,用户选择肩部的水平屈曲运动(区域D21)。计算单元12通过上述方法来计算作为水平屈曲运动的能力指标的角度。输出处理单元14在区域D22、D23和D24中的显示与图4中的显示相同。另外,在与关于测试对象的姿势是否恰当的确定结果对应的状态下的显示与图4中的显示相同。
[操作示例/测量方法]
在下文中,将参照图8描述根据第一示例实施例的测量方法。
图8是图示了根据第一示例实施例的测量装置10的操作的示例的流程图。如图8所图示,根据第一示例实施例的测量方法由至少一个计算机诸如测量装置10实现。图8中图示的处理步骤与包括在测量装置10中的上述处理模块的处理内容相同,因此恰当地省略了处理步骤的细节。
测量装置10在执行图8中图示的处理步骤时确定用户在针对测量肩部可移动范围预先确定的多种运动类型中所选择的一种运动类型。例如,测量装置10检测用于从肩部的屈曲运动、伸展运动、外展运动、内收运动、外旋运动、内旋运动、水平伸展运动和水平屈曲运动中选择一种运动类型的用户操作,从而确定一种运动类型。在选择了需要测量右侧和左侧的运动类型的情况下,测量装置10自动确定待测量的方向(左侧或者右侧),或者通过检测用户操作来确定方向。
测量装置10基于从三维传感器7获得的信息来获取在三维传感器7的视野内存在的测试对象的框架数据(S81)。所获取的框架数据是在(S82)和后续步骤中使用的关于测试对象的肢体的多个预定部分的位置信息。测量装置10以预定周期按顺序获取框架数据条目。获取框架数据的方法如上所述(数据获取单元11)。
例如,当成功获取框架数据时,测量装置10输出意味着开始图4等中图示的测量的“Start(开始)”。可以通过显示器来呈现或者可以通过语音等来呈现开始测量的信号。另外,测量装置10可以输出指示在成功获取框架数据之前的准备阶段的“Ready(就绪)”。
测量装置10基于在(S81)中获取的框架数据来计算用作测试对象的肩部的能力指标的角度(S82)。计算角度的方法如上所述,并且针对每个运动类型和要测量的每个方向(右侧或者左侧)预先确定该方法(计算单元12)。因此,测量装置10通过与要测量的确定的运动类型和方向(右侧或者左侧)对应的测量方法来计算角度。例如,在确定了肩部的屈曲运动和右肩的情况下,测量装置10计算在与x轴垂直的平面(yz平面)上的角度,该角度由以右肩的位置作为端点、在y轴的负方向上的线段和连接右肩的位置和右手的位置的线段形成。
测量装置10基于在(S81)中获取的框架数据来确定测试对象的姿势是否恰当(S83)。确定姿势的恰当性的方法如上所述,并且针对每个运动类型和要测量的每个方向(右侧或者左侧)预先确定该方法(确定单元13)。因此,测量装置10通过与要测量的确定的运动类型和方向(右侧或者左侧)对应的确定方法来确定测试对象的姿势是否恰当。例如,在确定了肩部的屈曲运动和右肩的情况下,测量装置10检测身体来回弯曲、右肘部弯曲、以及右肩向后侧拉,以确定测试对象的姿势不恰当。检测这种不恰当的姿势的方法如上所述。
测量装置10在与(S83)中的确定结果对应的状态下输出在(S82)中计算得到的角度(S84)。即,测量装置10在确定测试对象的姿势恰当的情况和确定姿势不恰当的情况下改变输出角度的状态。例如,测量装置10在如图4中的示例中图示的区域D22中显示在(S82)中计算得到的角度。测量装置10在确定姿势恰当的情况下用黑色显示角度,并且在确定姿势不恰当的情况下用红色显示角度。如上所述,由测量装置10输出角度的方法不限于显示。另外,与姿势的恰当性的确定结果对应的输出状态也不限于仅进行着色。
测量装置10确定(S83)的确定结果是否指示“姿势恰当”,并且在(S82)中计算得到的角度指示最大值(S85)。测量装置10基于以预定周期按顺序获取的框架数据条目来确定在(S82)中计算得到的角度是否指示在针对特定运动类型按顺序计算得到的角度中的最大角度。在确定姿势恰当并且计算得到的角度是最大值(S85:“是”)的情况下,测量装置10输出在(S82)中计算得到的角度作为最大值(S82)(S86)。例如,测量装置10在图4中的示例中图示的区域D23中显示在(S82)中计算得到的角度。另一方面,测量装置10在确定姿势不恰当或者计算得到的角度不是最大值的状态下(S85:“否”)不执行(S86)。进一步地,测量装置10在确定姿势不恰当的情况下将在(S82)中计算得到的角度从最大值的随后的选择候选中排除。这是因为用不恰当的姿势测量得到的角度不被设置成准确的能力指标。
测量装置10基于在(S81)中获取的框架数据将标记叠加在从三维传感器7获得的二维图像中包括的测试对象的多个预定部分上(S87)。此时,测量装置10可以将框架数据指示的世界坐标系上的位置信息转换成从三维传感器7获得的二维图像的图像坐标系上的位置信息,以确定叠加有标记的图像内的位置。在图4至图7的示例中,测量装置10将标记叠加在左肩、左肘部和左手在图像内的位置上。
进一步地,测量装置10基于在(S81)中获取的框架数据来将连接多个预定部分的线段叠加在二维图像上(S88)。此时,测量装置10可以使用框架数据指示的世界坐标系与二维图像的图像坐标系之间的对应关系。在图4至图7的示例中,测量装置10显示了连接左手、左肘部、左肩和右肩的线段和连接左腰部和右腰部的线段。
每当从三维传感器7获取二维图像帧和深度图像(距离图像)帧时,测量装置10可以按顺序执行图8中图示的处理步骤。可以按照比用于获取帧的周期更长的间隔执行图8中图示的处理步骤。该示例实施例的测量方法中的处理步骤的执行顺序不限于图8中图示的示例。只要执行顺序的改变不影响内容,处理步骤的执行顺序就可以在范围内改变。例如,(S82)和(S83)可以并行执行。另外,步骤(S85)和(S86)以及步骤(S87)和(S88)可以并行执行。
[第一示例实施例的有利效果]
在第一示例实施例中,基于从三维传感器7获得的信息来获取作为与测试对象的肢体的多个预定部分相关的世界坐标系上的位置信息的框架数据。根据用户操作等确定用于测量肩部的可移动范围的运动类型和目标方向(右侧或者左侧),并且基于所获取的框架数据,通过与确定的运动类型和目标方向对应的方法来计算用作运动类型的能力指标的角度。输出计算得到的角度以及从三维传感器7获得的二维图像。因此,已经查看了该输出的测试对象可以查看测量结果(角度),同时在测量期间确认其自身的姿势。
进一步地,在第一示例实施例中,除了计算用作特定运动类型的能力指标的角度之外,还确定测试对象在测量能力期间的姿势是否恰当,并且在与确定结果对应的状态下输出计算得到的角度。因此,还能够在对测试对象进行测量期间提供姿势的恰当性。因此,根据第一示例实施例,能够使测试对象处于正确的姿势。因此,即使在测试对象不知道正确的姿势的状态下,也能够使测试对象靠自己正确地执行能力测量。另外,即使测试对象不自觉地采取错误的姿势,也能够使测试对象意识到并且按照正确的姿势准确地测量能力。进一步地,自动确定测试对象的姿势是否恰当,因此能够消除由于主观性而导致的评估变化和消除人为误差诸如忽略或者错误确定。
另外,在第一示例实施例中,在按顺序计算得到的角度中输出最大值。因此,测试对象可以通过查看最大值的输出来确认其自身的特定运动类型的最大能力。另外,在第一示例实施例中,将在确定测试对象的姿势不恰当时计算得到的角度从最大值的选择候选中排除。因此,只有用恰当姿势测量得到的能力指标被设置成最大值,从而能够准确地呈现测试对象的肢体的能力因此,根据第一示例实施例,能够准确地测量测试对象的肢体能力。
[第二示例实施例]
在上述第一示例实施例中,使用框架数据(关于预定部分的位置信息),并且计算用作测试对象的肢体的能力指标的角度。在第二示例实施例中,基于深度图像来计算用作测试对象的肢体的能力指标的距离。在下文中,关于根据第二示例实施例的测量装置10和测量方法,将主要对与在第一示例实施例中的测量装置和测量方法不同的内容进行描述。在以下描述中,将适当地省略与第一示例实施例中的测量装置和测量方法相同的内容。
在第二示例实施例中,操作检测单元15检测用于选择胸椎和腰椎的屈曲运动的用户操作。在胸椎和腰椎的屈曲运动中,右侧和左侧彼此没有区别。然而,操作检测单元15可以检测用于指定测试对象关于三维传感器7是朝向右侧还是左侧的用户操作。在检测到用户操作的情况下,数据获取单元11可以基于指定的方向来确定脚趾的方向或者脚趾与手部的指尖之间的位置关系,
数据获取单元11从三维传感器7获取二维图像和深度图像(还可以称为深度信息和距离图像)。因此,还可以将数据获取单元11称为图像获取单元。深度图像用每个像素的值指示深度信息(离三维传感器7的距离)。
数据获取单元11基于从三维传感器7获得的测试对象的身体的下半身的深度图像来获取关于地面的位置信息和关于测试对象的脚的脚趾的位置信息。数据获取单元11可以通过使用图案匹配技术等来确定从三维传感器7获得的深度图像中的测试对象的轮廓。二维图像可以进一步用于确定测试对象的轮廓。例如,数据获取单元11还可以通过关于二维图像应用现有图像识别技术来确定二维图像内的人的图像区域,并且还可以通过使用所确定的图像区域来确定测试对象的轮廓和深度图像中的图像区域。数据获取单元11将在深度图像中确定的轮廓的最下端设置在地面上,并且获取关于地面的位置信息。例如,用深度图像的图像坐标系的y坐标(在垂直方向上的像素位置)表示所获取的关于地面的位置信息。在该确定中的“地面”是指测试对象所站在的平面。因此,“地面”还包括建筑物的地面表面,基座的上表面等。
进一步地,数据获取单元11捕捉在深度图像中确定的x轴上的轮廓的最下端的尖端作为测试对象的脚趾。可以预先确定或者可以通过识别脚部(脚踝下方)的形状来确定在x轴上的右侧和左侧中的哪个方向上的尖端的确定。数据获取单元11获取关于在轮廓上确定的脚趾的位置信息。例如,用深度图像的图像坐标系的x坐标和y坐标表示所获取的关于脚趾的位置信息。
另外,数据获取单元11基于测试对象的深度图像来获取脚趾的位置外侧的关于测试对象的手部的指尖的位置信息。数据获取单元11可以通过使用关于上述确定的测试对象的轮廓信息来获取测试对象在脚趾的位置外侧(前面)的深度图像。例如,在脚趾朝向x轴的正方向的情况下,数据获取单元11确定具有比深度图像中的脚趾的位置的x坐标更大的x坐标的轮廓上的线段。数据获取单元11捕捉在所确定的轮廓上的线段的最低点作为测试对象的手部的指尖,并且获取关于指尖的位置信息。例如,深度图像的图像坐标系的y坐标(在垂直方向上的像素位置)和世界坐标系的z坐标(深度)指示所获取的关于手部的指尖的位置信息。
计算单元12基于由数据获取单元11获取的关于地面的位置信息和关于测试对象的手部的指尖的位置信息来计算作为与胸椎和腰椎的屈曲运动相关的能力指标的在测试对象的手部的指尖与地面之间的距离。计算得到的距离指示世界坐标系(现实世界)中的距离。该计算方法还基于非专利文献1中描述的规则。
图9是图示了计算与胸椎和腰椎的屈曲运动相关的能力指标的方法的示意图。计算单元12计算在测试对象的指尖P9与从指尖P9的在y轴的负方向上的线段与地面之间的交点P10之间的距离。具体地,计算单元12基于由数据获取单元11获取的手部的指尖的y坐标(在垂直方向上的像素位置)和地面的y坐标(在垂直方向上的像素位置)来计算深度图像上从指尖到地面的像素数量PX1。进一步地,计算单元12可以通过使用计算得到的像素数量PX1、上述确定的测试对象的指尖P9的深度DPT、作为二维图像的高度的一半的像素数量PX2、以及三维传感器7(捕获二维图像的可见光相机等)的垂直视野角度的一半(例如,30度)通过以下表达式来计算世界坐标系中的测试对象的指尖与地面之间的距离。
世界坐标系的距离=(PX1·DPT·tan30)/PX2
然而,计算测试对象的指尖与地面之间的距离的方法不限于该表达式。例如,PX2可以设置成作为深度图像的高度的一半的像素数量,并且垂直视野角度可以设置成深度传感器的垂直视野角度。另外,PX1可以设置成二维图像上的像素数量。
输出处理单元14基于由数据获取单元11获取的关于测试对象的脚趾的位置信息将标记叠加在从三维传感器7获取的二维图像的测试对象的脚趾的位置上,同时按顺序显示二维图像。例如,输出处理单元14可以通过使用由数据获取单元11获取的关于脚趾的位置信息将二维图像上的测试对象的图像区域与深度图像指示的测试对象的图像区域对准,以确定测试对象的脚趾在二维图像上的位置。该标记还具有呈现地面的位置的目的,因此输出处理单元14可以将标记叠加在脚趾外侧的地面的位置上。
输出处理单元14通过在叠加标记之后检测预定事件来将标记固定地叠加在按顺序显示的图像上。检测到的预定事件的内容不受限制,只要检测到的预定事件是用于固定标记的事件即可。通过使用输入装置6来检测预定用户操作可以是预定事件。另外,检测从输入装置6(麦克风)输入的预定用户语音可以是预定事件。输出处理单元14在位于按顺序显示的图像中包括的测试对象的脚趾外侧的图像区域上基于关于测试对象的深度信息来执行着色。例如,输出处理单元14可以通过使用由数据获取单元11获取的关于测试对象的脚趾的位置信息将二维图像上的测试对象的轮廓和深度图像指示的测试对象的轮廓对准,以确定二维图像中包括的测试对象的脚趾外侧的图像区域。输出处理单元14可以基于关于测试对象的深度信息将关于深度图像上的对应区域的深度信息(像素值)叠加在二维图像的所确定的图像区域上以执行着色。
输出处理单元14可以输出在由计算单元12按顺序计算得到的距离中的最小值。例如,输出处理单元14还可以将在确定单元13确定测试对象的姿势不恰当时计算得到的距离从最小值的选择候选中排除,同时输出距离的最小值。另外,输出处理单元14还可以保持最终确定的最小值作为每次测量的测得值,并且还可以输出在那时保持的测得值中的最大值作为最大值。在第二次测量之后在每次测量期间在输出最小值大于输出最大值的情况下,输出处理单元14可以输出最小值作为最大值。
确定单元13根据关于胸椎和腰椎的屈曲运动预先确定的条件来确定测试对象的姿势是否恰当。例如,确定单元13基于由数据获取单元11获取的框架数据来检测膝部弯曲、腰部拉动等,以确定测试对象的姿势不恰当。例如,确定单元13基于右腰部、右膝部和右脚的框架数据来确认每个部分的x轴上的偏离。确定单元13在仅右腰部或者右膝部的x坐标超过以脚部的x坐标作为参考的预定范围的情况下确定测试对象的姿势不恰当。
[输出示例]
接着,将描述由根据第二示例实施例的输出处理单元14显示输出的具体示例。
图10和图11是图示了在测量胸椎和腰椎的屈曲运动的能力时显示输出的示例的示意图。视频区域D1、说明区域D2等的显示区域的布置与图4等的显示区域的布置相同。输出处理单元14在区域D21中显示用户所选择的胸椎和腰椎的屈曲运动,在区域D22中显示由计算单元12计算得到的距离,并且在区域D24中显示距离的最小值。然而,由于在图10中的时间点测量尚未开始,所以在区域D22和D24中不显示值(显示连字符)。在图10和图11的示例中,如上所述,在区域D24中将最大值显示为连字符,但可以输出在保持为测得值的最小值中的最大的值作为最大值。
与图4等相似,在随时在视频区域D1中显示二维图像的同时,输出处理单元14将标记叠加在二维图像上的右脚、右膝部和右腰部的位置上。然而,在测试对象朝向与三维传感器7相反的方向的情况下,输出处理单元14将标记叠加在二维图像上的左脚、左膝部和左腰部的位置上。在每个部分上显示标记的方法与第一示例实施例中的方法相同。在第二示例实施例中,输出处理单元14进一步将标记叠加在测试对象的脚趾在二维图像上的位置上。在图10和图11的示例中,显示了作为十字图案的标记MK1。标记用其水平线指示地面。当输出处理单元14检测预定事件时,输出处理单元14将标记MK1的显示位置固定在此时的位置处。如图11所图示,输出处理单元14固定标记MK1的显示位置,然后在位于二维图像中包括的测试对象的脚趾外侧的图像区域上基于关于测试对象的深度信息来执行着色。
[操作示例/测量方法]
在下文中,将参照图12和图13描述根据第一示例实施例的测量方法。
图12和图13是图示了根据第二示例实施例的测量装置10的操作的示例的流程图。如图12和图13所图示,根据第二示例实施例的测量方法由至少一个计算机诸如测量装置10实现。在图12和图13中图示的处理步骤与在测量装置10中包括的上述处理模块的处理内容相同,因此适当地省略了处理步骤的细节。
测量装置10在执行图12和图13中图示的处理步骤时检测用于选择胸椎和腰椎的屈曲运动的用户操作。测量装置10在选择了用于测量肩部的可移动范围的运动类型的情况下执行图8中图示的处理步骤。
测量装置10基于从三维传感器7获得的信息来获取在三维传感器7的视野内存在的测试对象的框架数据条目(S121)。所获取的框架数据条目是在(S122)和后续步骤中使用的关于测试对象的肢体的多个预定部分的位置信息条目。测量装置10以预定周期按顺序获取框架数据条目。获取框架数据的方法如在第一示例实施例中所述(数据获取单元11)。
进一步地,测量装置10获取深度图像(S122)。测量装置10以预定周期按顺序获取深度图像。
测量装置10基于在(S122)中获取的深度图像来输出测试对象的下半身的深度图像(S123)。具体地,测量装置10在显示二维图像的同时,将在(S122)中获取的深度图像中的测试对象的下半身的深度图像叠加在指示从三维传感器7获取的二维图像上的测试对象的下半身的图像区域上。例如,测量装置10可以通过使用现有图像识别技术来确定测试对象的下半身在二维图像中的图像区域。进一步地,测量装置10可以通过使用现有图案匹配技术等来确定测试对象的下半身在深度图像中的轮廓和图像区域。
测量装置10基于上述确定的测试对象的下半身的深度图像来获取关于地面的位置信息(S124)。具体地,测量装置10将测试对象的下半身的轮廓的最下端设置成地面,并且获取关于地面的位置信息。测量装置10可以获取图像坐标系的y坐标(像素位置)作为关于地面的位置信息。
进一步地,测量装置10基于测试对象的下半身的深度图像来获取关于测试对象的脚趾的位置信息(S125)。具体地,测量装置10捕捉在(S124)中确定的最下端的x轴上的尖端作为测试对象的脚趾。测量装置10可以获取图像坐标系的x坐标和y坐标(像素位置)作为关于脚趾的位置信息。
测量装置10基于在(S121)中获取的框架数据将标记叠加在从三维传感器7获得的二维图像中包括的测试对象的多个预定部分上(S126)。显示预定部分的标记的方法如在第一示例实施例中所述。在图10中的示例中,测量装置10将标记叠加在图像内的右脚、右膝部和右腰部的位置上。
进一步地,测量装置10基于在(S121)中获取的框架数据来将连接多个预定部分的线段叠加在二维图像上(S127)。显示线段的方法也如第一示例实施例中所述。在图10中的示例中,显示了连接右腰部、右膝部和右脚的线段。
当测量装置10通过使用输入装置6来检测预定事件诸如预定用户操作时(S129:“是”),测量装置将被叠加在脚趾的位置上的标记(脚趾的标记)的显示位置固定在二维图像上(S131)。此时,测量装置10保持在(S124)和(S125)中获取的关于地面和脚趾的最新位置信息条目。测量装置10在未检测到预定事件(S129:“否”)时重复执行步骤(S121)至(S128)。
测量装置10在检测到预定事件(图12中的S129:“是”)之后在下一个周期新获取框架数据和深度图像(S131)(S132)。
测量装置10基于在(S132)中获取的深度图像和通过图12中的操作保持的关于脚趾的位置信息来输出测试对象的脚趾外侧的深度图像(S133)。具体地,测量装置10在显示二维图像的同时,将在(S132)中获取的深度图像中的测试对象的脚趾外侧的一部分的深度图像叠加在指示从三维传感器7获取的二维图像上的测试对象的脚趾外侧的图像区域上。由于将图像坐标系上的位置信息保持为关于脚趾的位置信息,在二维图像和深度图像中的每一个中确定整个测试对象的图像区域,从而能够确定指示每个图像中的测试对象的脚趾外侧的图像区域。
测量装置10捕捉在(S133)中输出的测试对象的脚趾外侧的深度图像中的最低点作为测试对象的手部的指尖,并且获取最低点的位置信息作为关于测试对象的手部的指尖的位置信息(S134)。作为关于测试对象的手部的指尖的位置信息,可以获取图像坐标系的x坐标和y坐标以及世界坐标系中的z坐标(深度)。
测量装置10基于通过图12中的操作保持的关于地面的位置信息和在(S134)中获取的关于指尖的位置信息来计算测试对象的手部的指尖与地面之间的距离(S135)。测量装置10计算在世界坐标系中的距离。计算该距离的方法如上所述(计算单元12)。
测量装置10基于在(S131)中获取的框架数据来确定测试对象的姿势是否恰当(S136)。测量装置10关于胸椎和腰椎的屈曲运动检测膝部弯曲、腰部拉动等,以确定测试对象的姿势不恰当。检测不恰当的姿势的方法如上所述(确定单元13)。
测量装置10在与(S136)中的确定结果对应的状态下输出在(S135)中计算得到的角度(S137)。即,测量装置10在确定测试对象的姿势恰当的情况和姿势不恰当的情况下改变输出距离的状态。例如,测量装置10在如图11中的示例中图示的区域D22中显示在(S135)中计算得到的距离。测量装置10在确定姿势恰当的情况下用黑色显示距离,并且在确定姿势不恰当的情况下用红色显示距离。如上所述,由测量装置10输出距离的方法不限于显示。另外,与姿势的恰当性的确定结果对应的输出状态也不限于仅进行着色。
测量装置10确定(S136)的确定结果是否指示“姿势恰当”,并且在(S135)中计算得到的距离指示最小值(S138)。测量装置10基于以预定周期按顺序获取的深度图像来确定在(S135)中计算得到的距离是否指示在按顺序计算得到的距离中的最小距离。测量装置10在确定姿势恰当并且计算得到的距离表示最小值(S138:“是”)的情况下输出在(S135)中计算得到的距离作为最小值(S139)。例如,测量装置10在图11中的示例中图示的区域D23中显示在(S135)中计算得到的距离。另一方面,测量装置10在确定姿势不恰当或者计算得到的距离不是最小值(S138:“否”)的情况下不执行(S139)。进一步地,测量装置10在确定姿势不恰当的情况下将在(S135)中计算得到的距离从最小值的随后的选择候选中排除。这是因为用不恰当的姿势测量得到的距离不被设置成准确的能力指标。
测量装置10基于在(S131)中获取的框架数据将标记叠加在从三维传感器7获得的二维图像中包括的测试对象的多个预定部分上(S140)。显示关于预定部分的标记的方法如在第一示例实施例中所述。
进一步地,测量装置10基于在(S131)中获取的框架数据来将连接多个预定部分的线段叠加在二维图像上(S141)。显示线段的方法如第一示例实施例中所述。
在检测到预定事件之后,每当从三维传感器7获取二维图像帧和深度图像(距离图像)帧时,测量装置10可以按顺序执行图13中图示的处理步骤。可以按照比用于获取帧的周期更长的间隔执行图13中图示的处理步骤。该示例实施例的测量方法中的处理步骤的执行顺序不限于图12和图13中图示的示例。只要执行顺序的改变不影响内容,可以在范围内改变处理步骤的执行顺序。例如,可以在(S121)之前执行(S122)。另外,可以在任何阶段执行(S126)和(S127),只要这些步骤在(S121)之后执行即可。
[第二示例实施例的有利效果]
在第二示例实施例中,基于从三维传感器7获取的深度图像来获取关于测试对象的脚部的脚趾的位置信息和关于地面的位置信息,并且在从三维传感器7获取的二维图像中包括的测试对象的脚趾的位置处显示标记。可以获取世界坐标系中的关于右脚和左脚的位置信息作为框架数据。然而,即使脚部(脚踝下方)也具有一定宽度,因此脚趾和在脚部的中心的位置相差10厘米的单位。根据第二示例实施例,从在深度图像上确定的测试对象的轮廓和图像区域获取位置信息,从而能够更准确地获得地面和脚趾的位置。
进一步地,在第二示例实施例中,通过检测预定事件来确定脚趾和地面的位置,并且基于关于所确定的脚趾的位置信息来确定在深度图像中的脚趾外侧的测试对象的轮廓和图像区域,并且将其最下端确定为测试对象的手部的指尖的位置。计算在深度图像的图像坐标系中的在测试对象的手部的指尖与地面之间的距离(像素数量),并且将图像坐标系的距离转换成世界坐标系的距离。因此,根据第二示例实施例,能够以比使用框架数据的测量更高的准确度计算用作胸椎和腰椎的屈曲运动的能力指标的距离。
另外,在第二示例实施例中,在通过检测预定事件来确定脚趾和地面的位置之后,基于深度信息对位于所显示的二维图像中的测试对象的脚趾外侧的图像区域执行着色。因此,能够容易地识别二维图像中包括的测试对象的哪个部分被识别为手部的指尖,并且能够确认测量装置10正在正常操作。
[第三示例实施例]
在上述第二示例实施例中,基于深度图像来计算作为测试对象的肢体的能力指标的在测试对象的手部的指尖与地面之间的距离。在第三示例实施例中,基于深度图像来计算作为测试对象的肢体的能力指标的测试对象的手部的指尖在不同时间点的位置之间的距离。在下文中,将描述关于根据第三示例实施例的测量装置10和测量方法,将主要对与在上述示例实施例中的测量装置和测量方法不同的内容进行描述。在以下描述中,将适当地省略与上述示例实施例中的测量装置和测量方法相同的内容。
在第三示例实施例中,操作检测单元15检测用于选择功能性伸展测试(在下文中,简称为FRT)的用户操作。FRT是作为估计人的平衡功能的方法而熟知的方法,并且FRT是在临床站点中通常用来获得用于预测跌倒的危险性的指标的方法。在FRT中不区分右侧和左侧。然而,操作检测单元15可以检测用于指定测试对象关于三维传感器7朝向右侧还是左侧的用户操作。在检测到用户操作的情况下,数据获取单元11可以基于指定的方向来确定手部的指尖是位于深度图像中的测试对象的轮廓中的右端还是左端。
数据获取单元11从三维传感器7按顺序获取深度图像。数据获取单元11按顺序获取测试对象的全身的深度图像,并且基于深度图像按顺序获取关于测试对象的手部的指尖的位置信息条目。如上所述,数据获取单元11可以通过使用图案匹配技术等来确定从三维传感器7获得的深度图像中的测试对象的轮廓。数据获取单元11可以捕捉在测试对象的所确定的轮廓中具有最大x坐标的点作为测试对象的手部的指尖,以获取深度图像的图像坐标系中的关于指尖的位置信息(像素位置)。由于关于FRT未使用框架数据,所以在测量装置10仅支持FRT的情况下,数据获取单元11可以不获取框架数据。
数据获取单元11通过检测保持在检测预定事件期间获取的关于手部的指尖的位置信息。检测到的预定事件的内容不受限制,只要检测到的预定事件是用于固定指尖的参照位置的事件即可。使用输入装置6来检测预定用户操作可以是预定事件。另外,检测从输入装置6(麦克风)输入的预定用户语音可以是预定事件。例如,数据获取单元11在人正常站立并且向前推出手臂的情况下预先保持轮廓图案,并且从深度图像检测该轮廓图案作为预定事件的检测。
计算单元12基于通过检测预定事件而保持的位置信息和新保持的位置信息来在x轴方向上计算与保持的位置信息对应的手部的指尖的位置与和新获取的位置信息对应的手部的指尖的位置之间的距离。计算得到的距离是世界坐标系的距离,并且用作FRT的能力指标。具体地,计算单元12基于两条位置信息来计算深度图像的图像坐标系中的手部的指尖之间的距离(像素数量),并且通过与第二示例实施例中相同的方法将该距离转换成世界坐标系的距离。
确定单元13根据关于FRT预先确定的条件来确定测试对象的姿势是否恰当。例如,确定单元13基于保持的位置信息和新获取的位置信息来检测手部的指尖的位置在y轴方向上超过预定范围等,以确定测试对象的姿势不恰当。在这种情况下,当在保持的位置信息的y坐标与新获取的位置信息的y坐标之差超过预定阈值时,确定单元13确定测试对象的姿势不恰当。
[输出示例]
接着,将描述由根据第三示例实施例的输出处理单元14显示输出的具体示例。
图14是图示了在测量功能性伸展能力测试时显示输出的示例的示意图。视频区域D1、说明区域D2等的显示区域的布置与图4等的显示区域的布置相同。输出处理单元14在区域D21中显示用户所选择的FRT,在区域D22中显示由计算单元12计算得到的距离,并且在区域D23中显示距离的最大值。同时,仍然在FRT中,与图4等中的示例相似,可以显示最小值。
与图4等相似,输出处理单元14在随时在视频区域D1中显示二维图像的同时,将标记叠加在二维图像上的指尖的位置上。例如,输出处理单元14可以通过使用由数据获取单元11获取的关于手部的指尖的位置信息将二维图像上的测试对象的图像区域与深度图像指示的测试对象的图像区域对准,以确定测试对象的手部的指尖在二维图像上的位置。当检测到预定事件时,输出处理单元14将在检测期间在深度图像上确定的测试对象的轮廓和图像区域固定地叠加在二维图像上,并且还将指示手部的指尖的位置的标记固定在二维图像上。进一步地,输出处理单元14将标记叠加在手部的指尖的新获取的位置上,同时将在检测到预定事件之后在深度图像上确定的测试对象的轮廓和图像区域叠加在二维图像上。此时,显示了固定在二维图像上的测试对象的深度图像和叠加在二维图像上的测试对象的深度图像,以通过改变其颜色将它们彼此区分开。
[操作示例/测量方法]
在下文中,将参照图15和图16描述根据第三示例实施例的测量方法。
图15和图16是图示了根据第三示例实施例的测量装置10的操作的示例的流程图。如图15和图16所图示,根据第三示例实施例的测量方法由至少一个计算机诸如测量装置10实现。在图15和图16中图示的处理步骤与在测量装置10中包括的上述处理模块的处理内容相同,因此适当地省略了处理步骤的细节。
测量装置10在执行图15和图16中图示的处理步骤时检测用于选择FRT的用户操作。当检测到用于选择FRT的用户操作时,测量装置10执行图15中图示的处理步骤。
测量装置10从三维传感器7获取深度图像(S151)。测量装置10以预定周期按顺序获取深度图像。
测量装置10基于在(S151)中获取的深度图像来输出测试对象的全身的深度图像(S152)。具体地,测量装置10在显示二维图像的同时,将在(S151)中获取的深度图像中的测试对象的全身的深度图像叠加在指示从三维传感器7获取的二维图像上的测试对象的全身的图像区域上。例如,测量装置10可以通过使用现有图像识别技术来确定测试对象的全身在二维图像中的图像区域。进一步地,测量装置10可以通过使用现有图案匹配技术等来确定测试对象的全身在深度图像中的轮廓和图像区域。
测量装置10基于如上所述确定的测试对象的全身的深度图像来获取关于测试对象的手部的指尖的位置信息(S153)。具体地,测量装置10可以捕捉在测试对象的全身的深度图像中具有最大x坐标的点作为测试对象的手部的指尖,以获取深度图像的图像坐标系中的关于指尖的位置信息(像素位置)。
测量装置10将标记叠加在所显示的二维图像中的测试对象的手部的指尖的位置(S154)。测量装置10可以通过使用在(S153)中获取的关于手部的指尖的位置信息将二维图像上的测试对象的图像区域与深度图像指示的测试对象的图像区域对准,以确定测试对象的手部的指尖在二维图像上的位置。
当测量装置10通过使用输入装置6来检测预定事件诸如预定用户操作(S155:“是”)时,测量装置保持在(S153)中获取的关于手部的指尖的最新位置信息(S156)。进一步地,测量装置10将被叠加在手部的指尖的位置的标记(指尖的标记)的显示位置固定在二维图像上(S157)。另外,测量装置10在检测预定事件期间将显示位置固定在(S152)中输出的测试对象的全身的深度图像的二维图像上(S158)。测量装置10在未检测到预定事件(S155:“否”)时重复执行步骤(S151)至(S154)。
测量装置10在检测到预定事件(图15中的S155:“是”)之后在下一个周期新获取深度图像(S161)。
测量装置10基于新获取的深度图像来执行(S162)和(S163)。步骤(S162)与图15中图示的(S152)相同,并且步骤(S163)与图15中图示的(S153)相同。
测量装置10在x轴方向上基于在(S156)中保持的位置信息和在(S163)中新获取的位置信息来计算手部的指尖的与位置信息条目对应的位置之间的距离(S164)。测量装置10计算在世界坐标系中的距离。计算该距离的方法如上所述(计算单元12)。
测量装置10基于在(S156)中保持的位置信息和在(S163)中新获取的位置信息来确定测试对象的姿势是否恰当(S165)。测量装置10检测到手部的指尖的位置关于FRT在y轴方向上超过预定范围,因此测量装置确定测试对象的姿势不恰当。
测量装置10在与(S165)中的确定结果对应的状态下输出在(S164)中计算得到的角度(S166)。即,测量装置10在确定测试对象的姿势恰当的情况和确定姿势不恰当的情况下改变距离的输出状态。例如,测量装置10在如图14中的示例中图示的区域D22中显示在(S164)中计算得到的距离。测量装置10在确定姿势恰当的情况下用黑色显示距离,并且在确定姿势不恰当的情况下用红色显示距离。如上所述,由测量装置10输出距离的方法不限于显示。另外,与姿势的恰当性的确定结果对应的输出状态也不限于仅进行着色。
测量装置10确定(S165)的确定结果是否指示“姿势恰当”,并且在(S164)中计算得到的距离指示最大值(S167)。测量装置10基于以预定周期按顺序计算得到的深度图像来确定在(S164)中计算得到的距离是否指示在按顺序计算得到的距离中的最大距离。在确定姿势恰当并且计算得到的距离指示最大值的情况下(S167:“是”),测量装置10输出在(S164)中计算得到的距离作为最大值(S168)。例如,测量装置10在图14中的示例中图示的区域D23中显示在(S164)中计算得到的距离。另一方面,测量装置10在确定姿势不恰当或者计算得到的距离不是最大值的状态下(S167:“否”)不执行(S168)。进一步地,测量装置10在确定姿势不恰当的情况下将在(S164)中计算得到的距离从最大值的随后的选择候选中排除。这是因为用不恰当的姿势测量得到的距离不被设置成准确的能力指标。
测量装置10将标记叠加在所显示的二维图像中在测试对象的手部的指尖的位置(S169)。步骤(S169)与图15中图示的(S154)相同。
在执行图15中的操作之后,每当从三维传感器7获取二维图像帧和深度图像(距离图像)帧时,测量装置10可以按顺序执行图16中图示的处理步骤。可以按照比用于获取帧的周期更长的间隔执行图16中图示的处理步骤。根据该示例实施例的测量方法中的处理步骤的执行顺序不限于图15和图16中图示的示例。只要执行顺序的改变不影响内容,处就可以在范围内改变理步骤的执行顺序。例如,(S157)和(S158)可以并行执行或者按照相反的顺序执行。另外,可以在(S164)之前执行(S165)。
[第三示例实施例的有利效果]
在第三示例实施例中,基于从三维传感器7获得的深度信息来获取关于测试对象的手部的指尖的位置信息,并且计算分别与关于测试对象的手部的指尖的在检测预定事件期间的位置信息和其后获取的位置信息对应的位置之间的距离作为FRT的能力指标。按照这种方法,根据第三示例实施例,基于深度图像来计算手部的指尖在两个特定时间点的位置之间的距离,从而能够以比使用框架数据的情况更高的准确度计算距离。
另外,在第三示例实施例中,通过检测预定事件来确定作为计算得到的距离的参考的手部的指尖的位置,并且将标记固定地显示在二维图像中的所确定的位置上。在第三示例实施例中,在检测到预定事件之后,进一步显示指示手部的指尖的最新位置的标记以及固定地显示的标记。因此,根据第三示例实施例,能够向测试对象提供FRT的测量过程,使得测试对象能够容易地理解该测量过程。
[第四示例实施例]
在第四示例实施例中,基于面部和两肩的张角来计算用作颈部的右旋运动和左旋运动的能力指标的角度。在下文中,关于根据第四示例实施例的测量装置10和测量方法,将主要对与在上述示例实施例中的测量装置和测量方法不同的内容进行描述。在以下描述中,将恰当地省略与上述示例实施例中的测量装置和测量方法相同的内容。
[处理构成]
图17是图示了根据第四示例实施例的测量装置10的处理构成的示例的示意图。如图17所图示,除了上述示例实施例的构成之外,根据第四示例实施例的测量装置10进一步包括报告单元17。报告单元17也与其它处理模块相似地实现。
在第四示例实施例中,操作检测单元15检测用于测量颈部可移动范围而选择回转运动的用户操作。回转运动包括左回转运动和右回转运动。因此,关于回转运动,操作检测单元15可以检测选择测量左侧和右侧中的哪一个的操作。
数据获取单元11基于从三维传感器7获得的信息来获取关于位于三维传感器7的视野内的测试对象的面部的方向信息,关于两肩的位置信息、以及关于测试对象的深度信息。数据获取单元11可以通过与第一示例实施例中相同的方法来获取关于两肩的位置信息作为框架数据。另外,数据获取单元11可以通过使用现有图像识别技术来从自三维传感器7获得的二维图像和深度图像识别人的面部,并且可以从在识别到的面部的位置之间的位置关系来确定人的面部的方向。可以将各种现有图像识别方法用作识别人的面部和面部内的部分的方法。用与z轴的角度指示由数据获取单元11获取的关于面部的方向信息。所获取的关于测试对象的深度信息是基于深度图像的信息,并且指示测试对象的肢体的诸如面部的中心的特定点的深度,或者测试对象的肢体的多个点的中心位置的深度。
附带地,基于从三维传感器7获得的信息来确定人的面部的方向存在限制。在从三维传感器7获得的二维图像仅包括侧面的情况下,可能不能识别人的面部。因此,在例如仅关于45度获得关于面部的方向信息的情况下,无法测量颈部的可移动范围。因此,在该示例实施例中,使测试对象倾斜地朝向三维传感器7,使得能够根据肩部的张角和由数据获取单元11获得的关于面部的方向信息来计算用作颈部的旋转运动的能力指标的角度。
具体地,基于由数据获取单元11获取的关于两肩的位置信息,作为肩部的张角,计算单元12计算由连接两肩的线段和x轴方向形成的并且在与y轴垂直的平面上的角度。进一步地,计算单元12基于由数据获取单元11获取的关于面部的方向信息和所计算的肩部的张角来计算用作颈部的右旋运动或者左旋运动的能力指标的角度。将参照图18更详细地描述该计算处理。
图18是图示了计算颈部的能力指标的方法的示意图。
作为肩部的张角,计算单元12计算由连接左肩P11和右肩P12的线段L11和x轴的正方向形成的、并且在与y轴垂直的平面(xz平面,图18的纸面)上的角度A11。作为颈部的右旋运动的能力指标,计算单元12通过将由数据获取单元11获取的关于面部的方向信息指示的角度A12和两肩之间的张角A11相加来计算角度(A11+A12)。计算得到的角度(A11+A12)等于从前方向L12到方向L13的角度,通过测试对象从前方向L12进行向右旋转运动来获得该角度。
另外,作为肩部的张角,计算单元12计算由连接左肩P11和右肩P12的线段L11和x轴的负方向形成的、且在与y轴垂直的平面(xz平面,图18的纸面)上的角度A13。作为颈部的左旋运动的能力指标,计算单元12计算通过将由数据获取单元11获取的关于面部的方向信息指示的角度A14和肩部的张角A13相加而获得的角度(A13+A14)。计算得到的角度(A13+A14)等于从前方向L14到方向L15的角度,通过测试对象从前方向L14进行向左旋转运动来获得该角度。
报告单元17报告关于由计算单元12计算得到的关于肩部的张角是否包括在预定角度范围中的确定结果。报告单元17在肩部的张角被包括在预定角度范围中的情况下通过连接至输入和输出I/F 3的扬声器来输出预定语音或者预定声音。报告单元17可以在肩部的张角不被包括在预定角度范围中的情况下输出预定声音或者预定角度。然而,由报告单元17执行的报告方法不限于语音输出。报告单元17可以通过显示输出来执行报告。
确定单元13确定由计算单元12计算得到的肩部的张角是否被包括在预定角度范围中,并且确定测试对象是否位于三维传感器7的预定距离范围内。从由数据获取单元11获取面部的方向的限制以及颈部的旋转运动的平均角度预先确定预定角度范围。例如,预定角度范围被设置为在等于或者大于28度到等于或者小于32度的范围。从由数据获取单元11获取面部的方向的精确度等预先确定预定距离范围。例如,预定距离范围被设置为在1.5米到2.0米的范围。确定单元13可以从深度图像获取测试对象在世界坐标系中的深度(离三维传感器7的距离)。
[输出示例]
接着,将描述由根据第四示例实施例的输出处理单元14显示输出的具体示例。
图19是图示了在测量颈部可移动范围时显示输出的示例的示意图。视频区域D1、说明区域D2等的显示区域的布置与图4等的显示区域的布置相同。输出处理单元14在区域D21中显示用户所选择的颈部的右旋运动的事实,在区域D22中显示由计算单元12计算得到的角度,并且在区域D23中显示角度的最大值。同时,仍然在图19中,与图4等中的示例相似,可以显示最小值。
与图4等相似,输出处理单元14在随时在视频区域D1中显示二维图像的同时显示连接两肩的线段,以便将该线段叠加在二维图像上。另外,输出处理单元14基于与关于面部的方向信息一起获得的关于面部的部分的位置信息来显示连接面部的部分的线段。进一步地,输出处理单元14在区域D15中显示由确定单元13获取的测试对象的深度(1.65米),并且在区域D16中显示由计算单元12计算得到的肩部的张角(32.7度)。
[操作示例/测量方法]
在下文中,将参照图20描述根据第四示例实施例的测量方法。
图20是图示了根据第四示例实施例的测量装置10的操作的示例的流程图。如图20所图示,根据第四示例实施例的测量方法由至少一个计算机诸如测量装置10执行。图20中图示的处理步骤与包括在测量装置10中的上述处理模块的处理内容相同,因此适当地省略了对处理步骤的细节。
测量装置10在执行图20中图示的处理步骤时确定用户针对测量颈部可移动范围而选择的右回转运动或者左回转运动中的任何一个。测量装置10可以通过自动切换运动来按顺序执行右回转运动和左回转运动。
测量装置10基于从三维传感器7获得的信息来获取在三维传感器7的视野内存在的测试对象的框架数据条目(S201)。所获取的框架数据条目是在(S202)中使用的关于测试对象的肢体的多个预定部分的位置信息条目,并且包括关于两肩的位置信息。测量装置10以预定周期按顺序获取框架数据条目。获取框架数据的方法如上所述(数据获取单元11)。
测量装置10在按顺序显示二维图像的同时基于在(S201)中获取的框架数据将连接两肩的线段叠加在从三维传感器7获取的二维图像上(S202)。此时,测量装置10可以使用框架数据指示的世界坐标系与二维图像的图像坐标系之间的对应关系。
测量装置10基于在(S201)中获取的框架数据指示的关于两肩的位置信息来计算由连接两肩的线段和与y轴垂直的平面上的x轴方向形成的角度作为肩部的张角(S203)。测量装置10输出在(S203)中计算得到的肩部的张角(S204)。在图19中的示例中,测量装置10在区域D16中显示在(S203)中计算得到的肩部的张角。
测量装置10获取关于测试对象的深度信息(S205)。所获取的深度信息指示从三维传感器7到测试对象的世界坐标系中的距离。测量装置10输出由在(S205)中获取的深度信息指示的测试对象的深度(S206)。在图19中的示例中,测量装置10在区域D15中显示测试对象的深度。
随后,测量装置10确定在(S203)中计算得到的肩部的张角是否恰当(S207)。具体地,测量装置10确定肩部的张角是否被包括在预定角度范围中。预定角度范围如上所述。在肩部的张角不被包括在预定角度范围中、即肩部的张角不恰当(S207:“否”)的情况下,测量装置10再次执行(S201)和后续步骤。
在肩部的张角被包括在预定角度范围中的情况下(S207:“是”),测量装置10报告肩部的张角恰当(S208)。(S208)中的报告方法不受限制。例如,测量装置10通过预定语音来执行报告。另外,在该操作示例中,报告肩部的张角恰当,但也可以报告肩部的张角不恰当。
测量装置10基于从三维传感器7获得的信息来获取关于测试对象的面部的方向信息(S209)。获取关于面部的方向信息的方法如上所述。例如,当面部的识别成功时,如图19中图示的,测量装置10输出意味着开始测量的“Start(开始)”。开始测量的信号可以通过显示来呈现或者可以通过语音等来呈现。另外,测量装置10可以输出指示在成功识别面部之前的准备阶段的“Ready(就绪)”。
测量装置10将在(S203)中计算得到的肩部的张角和在(S209)中获取的关于面部的方向信息指示的角度相加以计算用作颈部的右旋运动或者左旋运动的能力指标的角度(S210)。测量装置10输出在(S210)中计算得到的角度(S211)。在图19中的示例中,测量装置10在区域D22中显示在(S210)中计算得到的角度。此时,测量装置10可以在与关于在(S205)中获取的深度信息指示的测试对象的深度是否恰当的确定结果对应的状态下输出角度。例如,测量装置10在测试对象的深度在预定距离范围内的情况下用黑色字符显示角度,并且在测试对象的深度不在预定距离范围内的情况下用红色字符显示角度。
测量装置10确定在(S205)中获取的深度信息指示的测试对象的深度是否恰当,并且确定在(S210)中计算得到的角度是否指示最大值(S212)。测量装置10基于按顺序获取的框架数据条目和关于面部的方向信息来确定在(S210)中计算得到的角度是否指示在按顺序计算得到的角度中的最大角度。另外,测量装置10确定测试对象的深度(距离)是否被包括在预定距离范围内。在测试对象的深度在预定距离范围内的情况下,测量装置10确定测试对象的深度恰当,并且在其它情况下确定测试对象的深度不恰当。预定距离范围如上所述。
在确定测试对象的深度恰当并且计算得到的角度指示最大值(S212:“是”)的情况下,测量装置10输出在(S210)中计算得到的角度作为最大值(S213)。例如,如图19中的示例所图示,测量装置10在区域D23中显示在(S210)中计算得到的角度。另一方面,在确定测试对象的深度不恰当或者计算得到的角度不指示最大值的状态下(S212:“否”),测量装置10不执行(S213)。进一步地,在测试对象的深度不恰当的情况下,测量装置10将在(S210)中计算得到的角度从最大值的随后的选择候选中排除。这是因为在测试对象的深度不恰当的情况下,测试对象的面部的所获取的方向的准确度可能会很低。
在确定肩部的张角恰当的情况下(S207:“是”),每当从三维传感器7获取二维图像的帧和深度图像(距离图像)的帧时,测量装置10可以按顺序执行(S209)和后续步骤。可以按照比用于获取帧的周期更长的间隔执行(S209)的处理步骤和后续步骤。该示例实施例的测量方法中的处理步骤的执行顺序不限于图20中图示的示例。只要执行顺序的改变不影响内容,处理步骤的执行顺序就可以在范围内改变。例如,可以在(S203)之后执行(S202)。另外,可以在(S202)之前执行(S205)和(S206)。
[第四示例实施例的有利效果]
在第四示例实施例中,基于框架数据指示的关于两肩的位置信息来计算两肩的张角。两肩的张角指示根据测试对象朝向三维传感器7的状态,在从三维传感器7撤出的方向(z轴方向)上拉动右肩或者左肩的程度。基于来自三维传感器7的信息来确定测试对象的面部的方向(角度),并且通过添加面部的所确定的方向和两肩的张角来计算用作颈部的右旋运动或者左旋运动的能力指标的角度。因此,能够基于来自三维传感器7的信息确定的面部的方向(角度)存在限制。因此,根据第四示例实施例,能够通过将两肩的张角组合来准确地测量颈部的右旋运动或者左旋准运动的能力指标。
进一步地,在第四示例实施例中,确定肩部的张角是否在预定角度范围内或者测试对象是否位于三维传感器7的预定距离范围内。报告关于肩部的张角是否被包括在预定角度范围内的确定结果,并且在与关于测试对象是否位于三维传感器7的预定距离范围内的确定结果对应的状态下输出角度。因此,测试对象确认报告和输出,从而能够按照正确的姿势测量颈部的可移动范围。即,根据第四示例实施例,能够提高颈部的可移动范围的测量的可用性。
[补充示例]
在图4等中图示的输出的示例中,三维传感器7设置成在现实世界中朝向水平方向。然而,三维传感器7可以设置成朝向垂直方向,以便测量髋部可移动范围等。在这种情况下,在从三维传感器7获得的世界坐标系的位置信息中,将在现实世界中的垂直方向设置成z轴,并且将在现实世界中的水平面设置成xy平面。
例如,操作检测单元15检测用于测量髋部可移动范围而选择屈曲运动的用户操作。针对左脚和右脚中的每一个测量髋部的屈曲运动的能力指标。关于髋部的屈曲运动,操作检测单元15可以检测选择测量左侧和右侧中的哪一个的操作。在这种情况下,数据获取单元11基于从三维传感器获得的位置信息来获取关于测试对象的腰部和膝部的方向信息。作为髋部的屈曲运动的能力指标,计算单元12基于由数据获取单元11获取的位置信息来计算在与x轴方向垂直的平面(yz平面)上的、且由以腰部的位置作为端点、在y轴负方向上的线段和连接腰部的位置和膝部的位置的线段形成的角度。
图21是图示了计算髋部的能力指标的方法的示意图。
计算单元12计算在与x轴垂直的平面(yz平面,图21的纸面)上、且由以右腰部的位置P17作为端点、在y轴的负方向上的线段L17和连接右腰部的位置P17和右膝部的位置P18的线段L18形成的角度A17,作为右髋部的屈曲运动的能力指标。相似地,计算单元12计算左髋部的屈曲运动的能力指标。
图22是图示了根据补充示例的通过输出处理单元14来显示输出的示例的示意图。
在这种情况下,输出处理单元14在区域D21中显示用户所选择的髋部的屈曲运动,在区域D22中显示由计算单元12计算得到的角度,并且在区域D23中显示角度的最大值。与图4等相似,输出处理单元14在随时在视频区域D1中显示二维图像的同时将标记叠加在二维图像上的左膝部、右腰部和左肩的位置上。在图22中的示例中,在测试对象躺在地面上的状态下对测试对象进行测量。
在以上描述中,对将三维传感器7实现为集成有可见光相机和深度传感器的传感器、并且测量装置10(数据获取单元11)从三维传感器7获取二维图像和深度图像的示例进行了描述。然而,实现三维传感器7的方法不受限制,并且三维传感器7可以作为对附接至测试对象的标记进行成像的多个成像装置而实现,并且可以包括检测附接至测试对象的红外标记的位置的多个红外传感器。在这种情况下,在测量之前将标记附接至测试对象的肢体的必要部分。测量装置10(数据获取单元11)可以通过多个成像装置或者红外传感器来检测标记的位置,以获取关于测试对象的肢体的多个预定部分的位置信息(框架数据)。进一步地,在将标记附接至每个部分时预先测量在现实世界中的标记之间的距离(间隔),因此能够根据所获取的位置信息来计算世界坐标系中的部分之间的距离和距测试对象的深度。然而,在不包括深度传感器的情况下,不获取深度图像,因此可以使用通过检测标记而获取的位置信息。
[第五示例实施例]
在下文中,将参照图23和图24描述根据第五示例实施例的测量装置和测量方法。另外,第五示例实施例可以涉及使至少一个计算机执行测量方法的程序,或者可以涉及记录有程序的计算机可读的存储介质。
图23是图示了根据第五示例实施例的测量装置100的处理构成的示例的示意图。如图23所图示,测量装置100包括获取单元101、计算单元102、确定单元103、以及输出处理单元104。测量装置100具有与例如图1中图示的上述测量装置10相同的硬件构成,并且上述处理模块通过与测量装置10相似地进行处理的程序而实现。
获取单元101获取关于测试对象的肢体中的预定部分的位置信息或者方向信息。例如,获取单元101基于从三维传感器7获得的信息来获取位置信息或者方向信息。另外,获取单元101可以从另一计算机获取位置信息或者方向信息。获取单元101的具体示例是上述数据获取单元11。
计算单元102基于由获取单元101获取的位置信息或者方向信息来计算用作测试对象的肢体的能力指标的角度或者距离。计算单元102的具体示例是上述计算单元12,并且计算单元102通过上述方法中的任何一种或者多种方法或者另一种方法来计算角度或者距离。测试对象的肢体的由计算单元102计算得到的能力指标可以是肩部的屈曲运动、伸展运动、外展运动、内收运动、外旋运动、内旋运动、水平伸展运动、以及水平屈曲运动、髋部的屈曲运动、颈部的右旋运动和左旋运动、胸椎和腰椎的屈曲运动和功能性伸展测试中的任何一个或者多个能力指标,并且可以是非专利文献1中确定的另一部分的能力指标。
确定单元103基于由获取单元101获取的位置信息或者方向信息来确定测试对象的姿势是否恰当。确定单元103的具体示例是上述确定单元13,并且确定单元103通过上述方法中的一种或者多种方法或者另一种方法来确定测试对象的姿势是否恰当。根据要测量的肢体部分和运动类型来预先确定测试对象的正确姿势。
输出处理单元104在与关于测试对象的姿势是否恰当的确定结果对应的状态下输出由计算单元102计算得到的角度或者距离。输出处理单元104的输出方法不受限制。输出处理单元104可以在显示装置5上显示角度或者距离,可以使连接至通信单元4的打印装置打印角度或者距离,或者可以通过通信单元4将角度或者距离传输至另一计算机。另外,输出处理单元104还可以输出用于读取角度或者距离的声音。
输出角度或者距离的状态可以是任何状态,只要在状态上反映出关于测试对象的姿势的恰当性的确定结果即可。输出处理单元104可以根据关于姿势是否恰当的确定结果来切换用于输出角度或者距离的颜色、字体类型、线的粗细、背景、或者位置。进一步地,输出处理单元104可以以不同的音量输出用于读取角度或者距离的声音。
图24是图示了根据第五示例实施例的测量装置100的操作的示例的流程图。如图24所图示,根据第五示例实施例的测量方法由至少一个计算机诸如测量装置100执行。图24中图示的处理步骤与包括在测量装置100中的上述处理模块的处理内容相同,因此适当地省略了对处理步骤的细节。
根据该示例实施例的测量方法包括如图24所图示的处理步骤(S241)、(S242)、(S243)、(S244)。
在(S241)中,获取单元100获取关于测试对象的肢体中的预定部分的位置信息或者方向信息。
在(S242)中,测量装置100基于在(S241)中获取的位置信息或者方向信息来计算用作测试对象的肢体的能力指标的角度或者距离。
在(S243)中,测量装置100基于在(S241)中获取的位置信息或者方向信息来确定测试对象的姿势是否恰当。
在(S244)中,测量装置100在与关于测试对象的姿势是否恰当的确定结果(S243)对应的状态下输出在(S242)中计算得到的角度或者距离。
在第五示例实施例中,基于关于测试对象的肢体中的预定部分的位置信息或者方向信息来计算用作测试对象的肢体的能力指标的角度或者距离,并且确定测试对象的姿势是否恰当。在与关于测试对象的姿势是否恰当的确定结果对应的状态下输出计算得到的角度或者距离。因此,根据第五示例实施例,可以使观看输出的人立即识别测试对象是否按照恰当的姿势来执行测量,因此能够提示测试对象按照恰当的姿势执行测量。因此,根据第五示例实施例,能够准确地测量测试对象的肢体能力。
同时,在以上描述中使用的多个流程图中,按顺序描述了多个步骤(过程),但在该示例实施例中执行的步骤的执行顺序不限于所描述的顺序。在该示例实施例中,只要附图中图示的步骤顺序的改变不影响内容,附图中图示的步骤顺序就可以在范围内改变。另外,上述示例实施例和补充示例可以在其内容不彼此矛盾的范围内彼此组合,并且上述示例实施例和补充示例可以仅由相应的单独构成形成。
上述内容的一部分或者全部可以确定为如下。然而,上述内容不限于以下描述。
1.一种测量装置,其包括:
获取单元,该获取单元获取关于测试对象的肢体中的预定部分的位置信息或者方向信息;
计算单元,该计算单元基于所获取的位置信息或者方向信息来计算用作测试对象的肢体的能力指标的角度或者距离;
确定单元,该确定单元基于所获取的位置信息或者方向信息来确定测试对象的姿势是否恰当;以及
输出处理单元,该输出处理单元在与关于测试对象的姿势是否恰当的确定结果对应的状态下输出计算得到的角度或者距离。
2.根据1的测量装置,其中,输出处理单元在与关于测试对象的姿势是否恰当的确定结果对应的状态下输出线段被叠加在包括测试对象的图像上的显示,线段连接分别与用于计算角度或者距离的多条位置信息对应的多个预定部分。
3.根据1或者2的测量装置,
其中,获取单元按顺序获取关于测试对象的肢体中的预定部分的位置信息或者方向信息,
其中,计算单元基于按顺序获取的位置信息或者方向信息来按顺序计算角度或者距离,以及
其中,输出处理单元在输出最大值或者最小值的同时,将在确定测试对象的姿势不恰当时计算得到的角度或者距离从在关于测试对象按顺序计算得到的角度或者距离中的最大值或者最小值的选择候选中排除。
4.根据1至3中任一项的测量装置,
其中,获取单元基于从三维传感器获得的信息来获取关于测试对象的肩部和手部的位置信息条目,以及
其中,计算单元基于所获取的位置信息来计算作为肩部的屈曲运动、伸展运动、外展运动、或者内收运动的能力指标的角度,该角度由以肩部的位置作为端点、三维传感器的视野的垂直向下的线段和连接肩部的位置和手部的位置的线段形成,并且该角度在与三维传感器的视野的水平方向或者深度方向垂直的平面上。
5.根据1至4中任一项的测量装置,
其中,获取单元基于从三维传感器获得的信息来获取关于测试对象的肘部和手部的位置信息条目,以及
其中,计算单元基于所获取的位置信息来计算作为肩部的外旋运动或者内旋运动的能力指标的角度,该角度由与以肘部的位置作为端点、在三维传感器的视野的深度方向相反的方向上的线段和连接肘部的位置和手部的位置的线段形成,该角度在与三维传感器的视野的垂直方向垂直的平面上。
6.根据1至5中任一项的测量装置,
其中,获取单元基于从三维传感器获得的信息来获取关于测试对象的肩部和手部的位置信息条目,以及
其中,计算单元基于所获取的位置信息来计算作为肩部的水平伸展运动或者水平屈曲运动的能力指标的角度,该角度由以肩部的位置作为端点、在三维传感器的视野的水平方向上的线段和连接肩部的位置和手部的位置的线段形成,该角度在与三维传感器的视野的垂直方向垂直的平面上。
7.根据1至6中任一项的测量装置,
其中,获取单元基于从三维传感器获得的信息来获取关于测试对象的腰部和膝部的位置信息条目,以及
其中,计算单元基于所获取的位置信息来计算作为髋部的屈曲运动的能力指标的角度,该角度由以腰部的位置作为端点、三维传感器的视野的垂直向下的线段和连接腰部的位置和膝部的位置的线段形成,该角度在与三维传感器的视野的水平方向垂直的平面上。
8.根据1至7中任一项的测量装置,
其中,获取单元基于从三维传感器获得的信息来获取测试对象的关于面部的方向信息和关于两肩的位置信息,以及
其中,计算单元基于所获取的位置信息来计算由连接两肩的线段和三维传感器的视野的水平方向形成、并且在与三维传感器的视野的垂直方向垂直的平面上的角度作为肩部的张角,并且基于所获取的方向信息和所计算的肩部的张角来计算用作颈部的右旋运动或者左旋运动的能力指标的角度。
9.根据8的测量装置,其进一步包括:
报告单元,该报告单元报告关于所计算的肩部的张角是否被包括在预定角度范围中的确定结果。
10.根据8或者9的测量装置,
其中,确定单元确定所计算的肩部的张角是否被包括在预定角度范围中以及测试对象是否位于三维传感器的预定距离范围内。
11.根据1至10中任一项的测量装置,
其中,获取单元基于从三维传感器获得的测试对象的下半身的深度图像来获取关于地面的位置信息和关于测试对象的脚趾的位置信息,并且基于测试对象在所获取的位置信息指示的脚趾的位置外侧的深度图像来获取关于测试对象的手部的指尖的位置信息,以及
其中,计算单元基于关于地面的位置信息和关于测试对象的手部的指尖的位置信息来计算从手部的指尖到地面的距离。
12.根据11的测量装置,其进一步包括:
图像获取单元,该图像获取单元从三维传感器相继获取包括测试对象的图像,
其中,输出处理单元在按顺序显示所获取的图像的同时,基于所获取的关于脚趾的位置信息,将标记叠加在测试对象的脚趾在待显示的所获取的图像上的位置上,通过在叠加标记之后检测预定事件来将标记固定地叠加在按顺序显示的图像上,并且在位于按顺序显示的图像中包括的测试对象的脚趾外侧的图像区域上基于关于测试对象的深度信息来执行着色。
13.根据1至12中任一项的测量装置,
其中,获取单元基于从三维传感器获得的信息来按顺序获取测试对象的全身的深度图像,基于深度图像来按顺序获取关于测试对象的手部的指尖的位置信息条目,并且保持关于在检测预定事件期间获取的手部的指尖的位置信息,以及
其中,计算单元基于关于手部的指尖的所保持的位置信息和新获取的关于手部的指尖的位置信息来计算在手部的指尖之间的三维传感器的视野的水平方向上的距离。
14.一种由至少一个计算机执行的测量方法,该测量方法包括:
获取关于测试对象的肢体中的预定部分的位置信息或者方向信息;
基于所获取的位置信息或者方向信息来计算用作测试对象的肢体的能力指标的角度或者距离;
基于所获取的位置信息或者方向信息来确定测试对象的姿势是否恰当;以及
在与关于测试对象的姿势是否恰当的确定结果对应的状态下输出计算得到的角度或者距离。
15.根据14的测量方法,其进一步包括:
在与关于测试对象的姿势是否恰当的确定结果对应的状态下输出线段被叠加在包括测试对象的图像上的显示,线段连接分别与用于计算角度或者距离的多条位置信息对应的多个预定部分。
16.根据14或者15的测量方法,其进一步包括:
按顺序获取关于测试对象的肢体中的预定部分的位置信息或者方向信息;
基于按顺序获取的位置信息或者方向信息来按顺序计算角度或者距离;以及
在输出最大值或者最小值的同时,将在确定测试对象的姿势不恰当时计算得到的角度或者距离从在关于测试对象按顺序计算得到的角度或者距离中的最大值或者最小值的选择候选中排除。
17.根据14至16中任一项的测量方法,
其中,获取位置信息或者方向信息包括:基于从三维传感器获得的信息来获取关于测试对象的肩部和手部的位置信息条目,以及
其中,计算角度或者距离包括:基于所获取的位置信息来计算作为肩部的屈曲运动、伸展运动、外展运动、或者内收运动的能力指标的角度,该角度由以肩部的位置作为端点、三维传感器的视野的垂直向下的线段和连接肩部的位置和手部的位置的线段形成,并且该角度在与三维传感器的视野的水平方向或者深度方向垂直的平面上。
18.根据14至17中任一项的测量方法,
其中,获取位置信息或者方向信息包括:基于从三维传感器获得的信息来获取关于测试对象的肘部和手部的位置信息条目,以及
其中,计算角度或者距离包括:基于所获取的位置信息来计算作为肩部的外旋运动或者内旋运动的能力指标的角度,该角度由与以肘部的位置作为端点、在三维传感器的视野的深度方向相反的方向上的线段和连接肘部的位置和手部的位置的线段形成,该角度在与三维传感器的视野的垂直方向垂直的平面上。
19.根据14至18中任一项的测量方法,
其中,获取位置信息或者方向信息包括:基于从三维传感器获得的信息来获取关于测试对象的肩部和手部的位置信息条目,以及
其中,计算角度或者距离包括:基于所获取的位置信息来计算作为肩部的水平伸展运动或者水平屈曲运动的能力指标的角度,该角度由以肩部的位置作为端点、在三维传感器的视野的水平方向上的线段和连接肩部的位置和手部的位置的线段形成,该角度在与三维传感器的视野的垂直方向垂直的平面上。
20.根据14至19中任一项的测量方法,
其中,获取位置信息或者方向信息包括:基于从三维传感器获得的信息来获取关于测试对象的腰部和膝部的位置信息条目,以及
其中,计算角度或者距离包括:基于所获取的位置信息来计算作为髋部的屈曲运动的能力指标的角度,该角度由以腰部的位置作为端点、三维传感器的视野的垂直向下的线段和连接腰部的位置和膝部的位置的线段形成,该角度在与三维传感器的视野的水平方向垂直的平面上。
21.根据14至20中任一项的测量方法,
其中,获取位置信息或者方向信息包括:基于从三维传感器获得的信息来获取测试对象的关于面部的方向信息和关于两肩的位置信息,以及
其中,计算角度或者距离包括:基于所获取的位置信息来计算由连接两肩的线段和三维传感器的视野的水平方向形成并且在与三维传感器的视野的垂直方向垂直的平面上的角度作为肩部的张角,并且基于所获取的方向信息和所计算的肩部的张角来计算用作颈部的右旋运动或者左旋运动的能力指标的角度。
22.根据21的测量方法,其进一步包括:
报告关于所计算的肩部的张角是否被包括在预定角度范围中的确定结果。
23.根据21或者22的测量方法,
其中,确定测试对象的姿势是否恰当包括:确定所计算的肩部的张角是否被包括在预定角度范围中以及测试对象是否位于三维传感器的预定距离范围内。
24.根据14至23中任一项的测量方法,
其中,获取位置信息或者方向信息包括:基于从三维传感器获得的测试对象的下半身的深度图像来获取关于地面的位置信息和关于测试对象的脚趾的位置信息,并且在所获取的位置信息指示的脚趾的位置外侧的基于测试对象深度图像来获取关于测试对象的手部的指尖的位置信息,以及
其中,计算角度或者距离包括:基于关于地面的位置信息和关于测试对象的手部的指尖的位置信息来计算从手部的指尖到地面的距离。
25.根据24的测量方法,其进一步包括:
从三维传感器相继获取包括测试对象的图像;
在按顺序显示所获取的图像的同时,基于所获取的关于脚趾的位置信息,将标记叠加在待显示的所获取的图像上的测试对象的脚趾的位置上;以及
通过在叠加标记之后检测预定事件来将标记固定地叠加在按顺序显示的图像上,并且在位于按顺序显示的图像中包括的测试对象的脚趾外侧的图像区域上基于关于测试对象的深度信息来执行着色。
26.根据14至25中任一项的测量方法,其进一步包括:
基于从三维传感器获得的信息来按顺序获取测试对象的全身的深度图像;
基于所获取的深度图像来按顺序获取关于测试对象的手部的之间的位置信息条目;以及
保持关于在检测预定事件期间获取的手部的指尖的位置信息,
其中,计算角度或者距离包括:基于所保持的关于手部的指尖的位置信息和新获取的关于手部的指尖的位置信息来计算在手部的指尖之间的三维传感器的视野的水平方向上的距离。
27.一种程序,该程序使至少一个计算机执行根据14至26中任一项的测量方法。
本申请基于2015年6月26日提交的日本专利申请第2015-129019号,其内容以引用的方式并入本文。

Claims (15)

1.一种测量装置,所述测量装置包括:
获取单元,所述获取单元获取关于测试对象的肢体中的预定部分的位置信息或者方向信息;
计算单元,所述计算单元基于所获取的位置信息或者方向信息来计算用作所述测试对象的所述肢体的能力指标的角度或者距离;
确定单元,所述确定单元基于所获取的位置信息或者方向信息来确定所述测试对象的姿势是否恰当;以及
输出处理单元,所述输出处理单元在与关于所述测试对象的所述姿势是否恰当的确定结果对应的状态下输出所计算的角度或者距离。
2.根据权利要求1所述的测量装置,其中,所述输出处理单元在与关于所述测试对象的所述姿势是否恰当的所述确定结果对应的状态下输出线段被叠加在包括所述测试对象的图像上的显示,所述线段连接分别与用于计算所述角度或者所述距离的多条位置信息对应的多个预定部分。
3.根据权利要求1或者2所述的测量装置,
其中,所述获取单元按顺序获取关于所述测试对象的所述肢体中的所述预定部分的所述位置信息或者所述方向信息,
其中,所述计算单元基于按顺序获取的所述位置信息或者方向信息来按顺序计算所述角度或者所述距离,以及
其中,所述输出处理单元在输出最大值或者最小值的同时,将在确定所述测试对象的所述姿势不恰当时计算的角度或者距离从在关于所述测试对象按顺序计算的所述角度或者所述距离中的最大值或者最小值的选择候选中排除。
4.根据权利要求1至3中任一项所述的测量装置,
其中,所述获取单元基于从三维传感器获得的信息来获取关于所述测试对象的肩部和手部的位置信息条目,以及
其中,所述计算单元基于所获取的位置信息来计算作为所述肩部的屈曲运动、伸展运动、外展运动、或者内收运动的能力指标的角度,所述角度由以所述肩部的位置作为端点的所述三维传感器的视野的垂直向下的线段和连接所述肩部的位置和所述手部的位置的线段形成,并且所述角度在与所述三维传感器的所述视野的水平方向或者深度方向垂直的平面上。
5.根据权利要求1至4中任一项所述的测量装置,
其中,所述获取单元基于从所述三维传感器获得的所述信息来获取关于所述测试对象的肘部和所述手部的位置信息条目,以及
其中,所述计算单元基于所获取的位置信息来计算作为所述肩部的外旋运动或者内旋运动的能力指标的角度,所述角度由与以所述肘部的位置作为端点、在与所述三维传感器的所述视野的所述深度方向相反的方向上的线段和连接所述肘部的位置和所述手部的位置的线段形成,所述角度在与所述三维传感器的所述视野的垂直方向垂直的平面上。
6.根据权利要求1至5中任一项所述的测量装置,
其中,所述获取单元基于从所述三维传感器获得的所述信息来获取关于所述测试对象的所述肩部和所述手部的位置信息条目,以及
其中,所述计算单元基于所获取的位置信息来计算作为所述肩部的水平伸展运动或者水平屈曲运动的能力指标的角度,所述角度由以所述肩部的位置作为端点、在所述三维传感器的所述视野的水平方向上的线段和连接所述肩部的位置和所述手部的位置的线段形成,所述角度在与所述三维传感器的所述视野的垂直方向垂直的平面上。
7.根据权利要求1至6中任一项所述的测量装置,
其中,所述获取单元基于从所述三维传感器获得的所述信息来获取关于所述测试对象的腰部和膝部的位置信息条目,以及
其中,所述计算单元基于所获取的位置信息来计算作为髋部的屈曲运动的能力指标的角度,所述角度由以所述腰部的位置作为端点的所述三维传感器的所述视野的垂直向下的线段和连接所述腰部的位置和所述膝部的位置的线段形成,所述角度在与所述三维传感器的所述视野的水平方向垂直的平面上。
8.根据权利要求1至7中任一项所述的测量装置,
其中,所述获取单元基于从所述三维传感器获得的所述信息来获取所述测试对象的关于面部的方向信息和关于两肩的位置信息,以及
其中,所述计算单元基于所获取的位置信息来计算由连接所述两肩的线段和所述三维传感器的所述视野的水平方向形成、并且在与所述三维传感器的所述视野的垂直方向垂直的平面上的角度作为所述肩部的张角,并且基于所获取的方向信息和所计算的所述肩部的张角来计算用作颈部的右旋运动或者左旋运动的能力指标的角度。
9.根据权利要求8所述的测量装置,所述测量装置进一步包括:
报告单元,所述报告单元报告关于所计算的所述肩部的张角是否被包括在预定角度范围中的确定结果。
10.根据权利要求8或者9所述的测量装置,所述测量装置进一步包括:
其中,所述确定单元确定所计算的所述肩部的张角是否被包括在预定角度范围中以及所述测试对象是否位于所述三维传感器的预定距离范围内。
11.根据权利要求1至10中任一项所述的测量装置,
其中,所述获取单元基于从所述三维传感器获得的所述测试对象的下半身的深度图像来获取关于地面的位置信息和关于所述测试对象的脚趾的位置信息,并且在由所获取的位置信息指示的所述脚趾的位置外侧基于所述测试对象的深度图像获取关于所述测试对象的所述手部的指尖的位置信息,以及
其中,所述计算单元基于关于所述地面的所述位置信息和关于所述测试对象的所述手部的所述指尖的所述位置信息来计算从所述手部的所述指尖到所述地面的距离。
12.根据权利要求11所述的测量装置,所述测量装置进一步包括:
图像获取单元,所述图像获取单元从所述三维传感器相继获取包括所述测试对象的图像,
其中,所述输出处理单元在按顺序显示所获取的图像的同时,基于所获取的关于所述脚趾的位置信息,将标记叠加在待显示的所获取的图像上的所述测试对象的所述脚趾的位置上,通过在叠加所述标记之后检测预定事件来将所述标记固定地叠加在按顺序显示的图像上,并且在位于按顺序显示的图像中包括的所述测试对象的所述脚趾外侧的图像区域上基于关于所述测试对象的所述深度信息来执行着色。
13.根据权利要求1至12中任一项所述的测量装置,
其中,所述获取单元基于从所述三维传感器获得的所述信息来按顺序获取所述测试对象的全身的深度图像,基于所述深度图像来按顺序获取关于所述测试对象的所述手部的所述指尖的位置信息条目,并且保持关于在检测所述预定事件期间获取的所述手部的所述指尖的位置信息,以及
其中,所述计算单元基于关于所述手部的所述指尖的所保持的位置信息和关于所述手部的所述指尖的新获取的位置信息来计算在所述手部的所述指尖之间的所述三维传感器的所述视野的水平方向上的距离。
14.一种由至少一个计算机执行的测量方法,所述测量方法包括:
获取关于测试对象的肢体中的预定部分的位置信息或者方向信息;
基于所获取的位置信息或者方向信息来计算用作所述测试对象的所述肢体的能力指标的角度或者距离;
基于所获取的位置信息或者方向信息来确定所述测试对象的姿势是否恰当;以及
在与关于所述测试对象的所述姿势是否恰当的确定结果对应的状态下输出所计算的角度或者距离。
15.一种程序,所述程序使至少一个计算机执行根据权利要求14所述的测量方法。
CN201680037699.6A 2015-06-26 2016-05-12 测量装置和测量方法 Active CN107708555B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-129019 2015-06-26
JP2015129019 2015-06-26
PCT/JP2016/064139 WO2016208291A1 (ja) 2015-06-26 2016-05-12 測定装置及び測定方法

Publications (2)

Publication Number Publication Date
CN107708555A true CN107708555A (zh) 2018-02-16
CN107708555B CN107708555B (zh) 2020-10-27

Family

ID=57585000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680037699.6A Active CN107708555B (zh) 2015-06-26 2016-05-12 测量装置和测量方法

Country Status (6)

Country Link
US (1) US20180153445A1 (zh)
EP (1) EP3315068B1 (zh)
JP (1) JP6482103B2 (zh)
CN (1) CN107708555B (zh)
HK (1) HK1246622A1 (zh)
WO (1) WO2016208291A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111920416A (zh) * 2020-07-13 2020-11-13 张艳 一种手部康复训练效果测量方法、存储介质、终端及***
CN114073517A (zh) * 2020-08-18 2022-02-22 丰田自动车株式会社 运动状态监视***、训练支持***、运动状态监视方法及计算机可读介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
EP3622529A1 (en) 2017-05-08 2020-03-18 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
JP6940139B2 (ja) * 2017-06-28 2021-09-22 Necソリューションイノベータ株式会社 身体特性分析装置、身体特性分析方法、及びプログラム
JP7178786B2 (ja) * 2018-03-06 2022-11-28 株式会社 Mtg 運動制御システム
EP3810007A1 (en) * 2018-06-19 2021-04-28 Tornier, Inc. Neural network for diagnosis of shoulder condition
JPWO2020021873A1 (ja) * 2018-07-24 2021-08-12 日本電気株式会社 処理装置、処理方法及びプログラム
KR20200080047A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
KR20200095195A (ko) * 2019-01-31 2020-08-10 (주)유인케어 Rgb-d 카메라를 이용한 재활훈련 시스템 및 방법
JP2020174910A (ja) * 2019-04-18 2020-10-29 株式会社Sportip 運動支援システム
KR102108405B1 (ko) * 2019-08-23 2020-05-08 박하연 신체정보, 자세정보 및 관절가동범위 측정 시스템 및 그 방법
US10932985B1 (en) * 2020-03-14 2021-03-02 Ryan Whelton Systems and methods of positioning a body of a user during stimulation for therapeutic effects
WO2022207030A1 (de) * 2021-04-01 2022-10-06 Menger Joern Finger-boden-abstandstestvorrichtung für eine beweglichkeitsmessung an personen sowie verwendung und beweglichkeitsmessverfahren
CN115462761B (zh) * 2022-09-29 2024-02-23 中国医学科学院北京协和医院 一种身体平衡监测方法及***
JP7366299B1 (ja) 2023-03-01 2023-10-20 株式会社エクサウィザーズ 情報処理方法、コンピュータプログラム及び情報処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080161733A1 (en) * 2004-02-05 2008-07-03 Motorika Limited Methods and Apparatuses for Rehabilitation and Training
CN102824176A (zh) * 2012-09-24 2012-12-19 南通大学 一种基于Kinect传感器的上肢关节活动度测量方法
CN104274183A (zh) * 2013-07-01 2015-01-14 株式会社东芝 动作信息处理装置
CN104537670A (zh) * 2014-12-31 2015-04-22 深圳泰山在线科技有限公司 一种柔韧性测试方法及***

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002000584A (ja) * 2000-06-16 2002-01-08 Matsushita Electric Ind Co Ltd 関節可動域検査訓練システム
JP4971808B2 (ja) * 2007-01-17 2012-07-11 パナソニック株式会社 歩行動作分析装置
WO2013090554A1 (en) * 2011-12-15 2013-06-20 Jintronix, Inc. Method and system for evaluating a patient during a rehabilitation exercise
DE102012202990A1 (de) * 2012-02-28 2013-08-29 Sportmed Ag Vorrichtung und Verfahren zum Vermessen und Befunden von Körperteil- und Extremitätenbeweglichkeiten
JP2014068714A (ja) * 2012-09-28 2014-04-21 Kitasato Institute 関節角度測定システム
CN104936520B (zh) * 2012-12-06 2018-01-02 斯努扎信托公司 运动监测器
WO2014104360A1 (ja) * 2012-12-28 2014-07-03 株式会社東芝 動作情報処理装置及び方法
JP6334925B2 (ja) * 2013-01-18 2018-05-30 キヤノンメディカルシステムズ株式会社 動作情報処理装置及び方法
JP6188332B2 (ja) * 2013-01-21 2017-08-30 東芝メディカルシステムズ株式会社 医用画像表示装置及びプログラム
JP6183906B2 (ja) * 2013-08-28 2017-08-23 日本電信電話株式会社 歩容推定装置とそのプログラム、転倒危険度算出装置とそのプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080161733A1 (en) * 2004-02-05 2008-07-03 Motorika Limited Methods and Apparatuses for Rehabilitation and Training
CN102824176A (zh) * 2012-09-24 2012-12-19 南通大学 一种基于Kinect传感器的上肢关节活动度测量方法
CN104274183A (zh) * 2013-07-01 2015-01-14 株式会社东芝 动作信息处理装置
CN104537670A (zh) * 2014-12-31 2015-04-22 深圳泰山在线科技有限公司 一种柔韧性测试方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱小龙等: "基于Kinect的人体下肢关节活动度自动测量方法", 《中华物理医学与康复杂志》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111920416A (zh) * 2020-07-13 2020-11-13 张艳 一种手部康复训练效果测量方法、存储介质、终端及***
CN111920416B (zh) * 2020-07-13 2024-05-03 张艳 一种手部康复训练效果测量方法、存储介质、终端及***
CN114073517A (zh) * 2020-08-18 2022-02-22 丰田自动车株式会社 运动状态监视***、训练支持***、运动状态监视方法及计算机可读介质

Also Published As

Publication number Publication date
EP3315068B1 (en) 2020-10-21
EP3315068A4 (en) 2019-01-09
EP3315068A1 (en) 2018-05-02
WO2016208291A1 (ja) 2016-12-29
US20180153445A1 (en) 2018-06-07
CN107708555B (zh) 2020-10-27
JP6482103B2 (ja) 2019-03-13
HK1246622A1 (zh) 2018-09-14
JPWO2016208291A1 (ja) 2018-03-22

Similar Documents

Publication Publication Date Title
CN107708555A (zh) 测量装置和测量方法
US11017547B2 (en) Method and system for postural analysis and measuring anatomical dimensions from a digital image using machine learning
KR101118654B1 (ko) 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법
EP3376414A1 (en) Joint movement detection system and method, and dynamic assessment method and system for knee joint
Bragança et al. A comparison of manual anthropometric measurements with Kinect-based scanned measurements in terms of precision and reliability
KR20130134680A (ko) 신체 분석 시스템
CN113139962B (zh) 用于脊柱侧凸概率评估的***和方法
CN111012353A (zh) 一种基于人脸关键点识别的身高检测方法
KR20130082318A (ko) 태아 모델링 방법 및 그에 따른 영상 처리 장치
KR20110073000A (ko) 이미지를 이용한 신체 사이즈 측정 방법 및 장치
KR101839106B1 (ko) 체형분석시스템
US11989928B2 (en) Image processing system
JP2016004354A (ja) 身体の姿勢の判定方法
US11497962B2 (en) System and method for human motion detection and tracking
KR101398193B1 (ko) 캘리브레이션 장치 및 방법
US20210267494A1 (en) Analysis system and method of joint movement
CN115937969A (zh) 仰卧起坐考核中目标人物的确定方法、装置、设备及介质
JP7136344B2 (ja) カメラの較正方法、カメラ及びプログラム
WO2021146031A1 (en) Measurement calibration using patterned sheets
JP6465419B2 (ja) 測定装置及び測定方法
CN107708554B (zh) 测量装置和测量方法
EP4388912A1 (en) Method of measuring the linear dimensions of an object on the basis of an image
CN116309712B (zh) 一种基于深度相机的功能运动分析***及方法
AU2022201386A1 (en) System and method for human motion detection and tracking
JP2022115705A (ja) 動作解析データ取得方法及び動作解析データ取得システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1246622

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant