WO2016208291A1 - 測定装置及び測定方法 - Google Patents

測定装置及び測定方法 Download PDF

Info

Publication number
WO2016208291A1
WO2016208291A1 PCT/JP2016/064139 JP2016064139W WO2016208291A1 WO 2016208291 A1 WO2016208291 A1 WO 2016208291A1 JP 2016064139 W JP2016064139 W JP 2016064139W WO 2016208291 A1 WO2016208291 A1 WO 2016208291A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
position information
angle
information
dimensional sensor
Prior art date
Application number
PCT/JP2016/064139
Other languages
English (en)
French (fr)
Inventor
尚志 野田
克幸 永井
友見 木下
宏紀 寺島
Original Assignee
Necソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Necソリューションイノベータ株式会社 filed Critical Necソリューションイノベータ株式会社
Priority to EP16814062.2A priority Critical patent/EP3315068B1/en
Priority to JP2017524729A priority patent/JP6482103B2/ja
Priority to US15/580,540 priority patent/US20180153445A1/en
Priority to CN201680037699.6A priority patent/CN107708555B/zh
Publication of WO2016208291A1 publication Critical patent/WO2016208291A1/ja
Priority to HK18106165.6A priority patent/HK1246622A1/zh

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124Determining motor skills
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4884Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09Rehabilitation or training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis

Definitions

  • the present invention relates to a technique for measuring human limb physical ability.
  • a motion capture method there is a method in which a plurality of markers and sensors are attached to a human body, and human motion is converted into three-dimensional data by detecting each marker and sensing each sensor.
  • a human motion is converted into three-dimensional data without attaching a marker or a sensor to the human body by estimating the posture of the human body using three-dimensional information obtained from the three-dimensional sensor.
  • human body posture estimation each part (head, hand, arm, leg, etc.) of a human limb is recognized from three-dimensional information, and the movement of each part is recorded.
  • Patent Document 1 an index serving as an index for evaluating rehabilitation every time human motion information (color image information, distance image information, skeleton information, etc.) is acquired based on information obtained from Kinect (registered trademark) Devices for measuring values have been proposed.
  • This proposal includes shoulder flexion extension, shoulder horizontal flexion extension, scapular flexion extension, crotch flexion extension, head forward flexion and back flexion, thoracolumbar forward flexion and back flexion and thoracolumbar rotation. At least one index value is measured.
  • Non-Patent Document 1 below defines a correct method for measuring the range of motion of the joint.
  • Non-Patent Document 2 proposes a method for measuring a joint range of motion in real time using skeletal information obtained from KINECT (registered trademark).
  • KINECT registered trademark
  • skeleton information is displayed, and when a mouse is placed on a joint that can be measured, measurement items at that joint are displayed. Then, measurement is started by selecting a desired measurement item.
  • this document does not disclose a specific measurement method.
  • the subject automatically measures the index value of the evaluation by using a system using the above-described proposed method alone. Since the subject does not know the correct posture and movement during measurement when he / she is not used to using this system, there is a high possibility that the correct value cannot be measured even if the system is used. Even if the subject learns a certain amount of correct posture and movement, the subject does not always take the correct posture at the time of measurement. Since humans tend to take postures and movements that are easy for themselves, due to body habits, etc., subjects may unintentionally perform wrong postures and movements even if they intend to perform correct postures and movements. There is.
  • the correct value is not always measured.
  • the present invention has been made in view of such circumstances, and provides a technique for accurately measuring the limb physical ability of a subject.
  • the first aspect relates to the measuring device.
  • the measuring device is a capability index of the limb of the subject based on the acquisition unit that acquires the position information or orientation information of the predetermined part in the limb of the subject and the acquired position information or orientation information.
  • the determination unit determines the suitability of the subject's posture based on the obtained position information or orientation information
  • the calculation unit calculates the angle or the distance
  • an output processing unit that outputs the calculated angle or distance.
  • the second aspect relates to a measurement method executed by at least one computer.
  • the measurement method according to the second aspect obtains position information or orientation information of a predetermined part in the subject's limb, and based on the obtained location information or orientation information, an angle or a function index of the subject's limb Calculate the distance, determine the suitability of the subject's posture based on the acquired position information or orientation information, and in the state corresponding to the determination result of the suitability of the subject's posture, the calculated angle or distance Output.
  • another aspect of the present invention is a program that causes at least one computer to execute the method of the second aspect, or a computer-readable recording medium that records such a program.
  • This recording medium includes a non-transitory tangible medium.
  • FIG. 1 is a diagram conceptually illustrating a hardware configuration example of a measurement apparatus 10 in the first embodiment.
  • the measurement apparatus 10 in the first embodiment is a so-called computer, and includes, for example, a CPU (Central Processing Unit) 1, a memory 2, an input / output interface (I / F) 3, a communication unit 4 and the like that are connected to each other via a bus.
  • a CPU Central Processing Unit
  • I / F input / output interface
  • the CPU 1 includes an application specific integrated circuit (ASIC), a DSP (Digital Signal Processor), a GPU (Graphics Processing Unit), and the like.
  • the memory 2 is a RAM (Random Access Memory), a ROM (Read Only Memory), or an auxiliary storage device (such as a hard disk).
  • the input / output I / F 3 can be connected to user interface devices such as the display device 5 and the input device 6.
  • the display device 5 is a device that displays a screen corresponding to drawing data processed by the CPU 1 or the like, such as an LCD (Liquid Crystal Display) or a CRT (Cathode Ray Tube) display.
  • the input device 6 is a device that receives an input of a user operation such as a keyboard and a mouse.
  • the display device 5 and the input device 6 may be integrated and realized as a touch panel.
  • the input device 6 may be a microphone unit that acquires sound.
  • Another output device such as a speaker unit may be connected to the input / output I / F 3.
  • the communication unit 4 communicates with other computers via a communication network (not shown) and exchanges signals with other devices such as printers.
  • the communication unit 4 is connected to the three-dimensional sensor 7 by USB (Universal Serial Bus) or the like.
  • USB Universal Serial Bus
  • the communication form between the communication unit 4 and the three-dimensional sensor 7 is not limited.
  • a portable recording medium or the like can be connected to the communication unit 4.
  • the 3D sensor 7 detects 3D information.
  • the three-dimensional sensor 7 is realized as a sensor in which a visible light camera and a depth sensor are integrated, such as a Kinect (registered trademark) or a 3D camera.
  • a depth sensor also called a distance image sensor, irradiates a subject with a near-infrared light pattern from a laser and captures the pattern with a camera that detects the near-infrared light. The distance to the person is calculated.
  • the three-dimensional sensor 7 can detect the three-dimensional position of the predetermined part of the subject in the field of view, the realization method is not limited.
  • the three-dimensional sensor 7 may be realized by a three-dimensional scanner method using a plurality of visible light cameras. In the following description, for the sake of easy understanding, it is assumed that the three-dimensional sensor 7 is a sensor in which a visible light camera and a depth sensor are integrated.
  • the hardware configuration of the measuring apparatus 10 is not limited to the example shown in FIG.
  • the measuring device 10 may include other hardware elements not shown.
  • the number of hardware elements is not limited to the example of FIG.
  • the measuring device 10 may have a plurality of CPUs 1.
  • FIG. 2 is a diagram conceptually illustrating a processing configuration example of the measurement apparatus 10 in the first embodiment.
  • the measurement apparatus 10 in the first embodiment includes a data acquisition unit 11, a calculation unit 12, a determination unit 13, an output processing unit 14, an operation detection unit 15, and the like.
  • Each of these processing modules is realized, for example, by executing a program stored in the memory 2 by the CPU 1. Further, the program may be installed from a portable recording medium such as a CD (Compact Disc) or a memory card or another computer on the network via the communication unit 4 and stored in the memory 2.
  • a portable recording medium such as a CD (Compact Disc) or a memory card or another computer on the network via the communication unit 4 and stored in the memory 2.
  • CD Compact Disc
  • the operation detection unit 15 detects a user operation. Specifically, the operation detection unit 15 detects a user operation on the input device 6 based on information input from the input / output I / F 3. For example, the operation detection unit 15 detects an operation of selecting one exercise type from a plurality of exercise types determined in advance for measurement of the shoulder movable range.
  • the operation detection unit 15 includes one of a shoulder flexion motion, an extension motion, an abduction motion, an adduction motion, an external rotation motion, an internal rotation motion, a horizontal extension motion, and a horizontal flexion motion.
  • a user operation for selecting an exercise type is detected.
  • the plurality of exercise types there may be an exercise type that requires measurement for each of the right and left.
  • each movement for measuring the range of motion of the shoulder which is a target in this embodiment, requires measurement for each of the right and left.
  • the operation detection unit 15 may detect an operation for selecting which of the left and right is to be measured together with the exercise type.
  • the operation detection unit 15 transmits the exercise type selected by the user to the data acquisition unit 11, the calculation unit 12, and the determination unit 13 based on the detected user operation.
  • the data acquisition unit 11 acquires position information of a plurality of predetermined parts of the limb of the subject based on information obtained from the three-dimensional sensor 7.
  • the data acquisition unit 11 may acquire only position information of a predetermined part used by the calculation unit 12 and the determination unit 13, or may acquire position information of as many predetermined parts as possible.
  • the acquired position information is expressed in a world coordinate system corresponding to a three-dimensional space where the subject actually exists.
  • the acquired position information includes the center of the field of view of the three-dimensional sensor 7 as the origin, the horizontal direction as the x axis (right direction is positive), the vertical direction as the y axis (upward direction is positive), and the depth direction (depth direction). Is expressed in a world coordinate system with the z-axis as the positive).
  • description will be made using an example of this world coordinate system.
  • the arrangement of the three axes and the origin of the world coordinate system is not limited to such an example.
  • the data acquisition unit 11 acquires a frame of a two-dimensional image and a frame of a depth image (distance image) from the three-dimensional sensor 7 at a predetermined cycle. Both frames may be acquired at the same period or may be acquired at different periods.
  • each frame is abbreviated as a two-dimensional image and a depth image.
  • the data acquisition unit 11 recognizes a plurality of predetermined parts of the limb of the subject located within the field of view of the three-dimensional sensor 7 from the acquired two-dimensional image and depth image using the posture estimation technique, and the tertiary of each part Specify the original position (world coordinate system).
  • the data acquisition unit 11 can use various existing posture estimation techniques.
  • the data acquisition unit 11 includes the left shoulder, left elbow, left wrist, left hand, right shoulder, right elbow, right wrist, right hand, head, shoulder center, spine, waist center, right waist, left waist, right knee, and right heel. It is possible to acquire positional information of a plurality of parts of the limb such as the right foot, the left knee, the left heel, and the left foot.
  • the position information of a predetermined part of the limb of the subject acquired by the data acquisition unit 11 may be referred to as skeleton data.
  • the data acquisition unit 11 sequentially acquires skeleton data every time a frame is acquired.
  • the calculation unit 12 sequentially calculates an angle that is a capability index of the subject's shoulder based on the skeleton data sequentially acquired by the data acquisition unit 11.
  • the calculation unit 12 calculates an angle that is an ability index of the exercise type selected by the user among a plurality of exercise types determined in advance for measurement of the shoulder range of motion. For example, the calculation unit 12 calculates an angle that is a capability index of shoulder flexion, extension, abduction, adduction, external rotation, internal rotation, horizontal extension, or horizontal flexion.
  • the calculated angle indicates the shoulder range of motion.
  • the calculation unit 12 may automatically determine the direction to be measured (left or right) or detected by the operation detection unit 15. It may be determined by a user operation.
  • the calculation part 12 calculates an angle (shoulder movable range) by the following method based on the prescription
  • FIG. Based on the acquired skeletal data, the calculation unit 12 has an x-axis or a z-axis of a line segment in the negative y-axis direction with the shoulder position as an end point and a line segment connecting the shoulder position and the hand position.
  • the angle formed on the orthogonal plane is calculated as a capability index for shoulder flexion, extension, abduction, or adduction.
  • the calculation unit 12 is orthogonal to the y-axis between the line segment that has the elbow position as an end point and the z-axis front-facing line segment and the elbow position and the hand position based on the acquired skeleton data.
  • the angle formed on the plane to be calculated is calculated as a capability index for the external rotation or internal rotation of the shoulder.
  • the calculation unit 12 is orthogonal to the y-axis between the line segment in the x-axis direction with the shoulder position as the end point and the line segment connecting the shoulder position and the hand position based on the acquired skeleton data.
  • the angle formed on the plane is calculated as a capability index for horizontal extension movement or horizontal bending movement of the shoulder. This calculation process will be described in more detail with reference to FIG.
  • FIG. 3 is a diagram illustrating a method for calculating a shoulder ability index. However, in FIG. 3, only the calculation method of the ability index of one of the right shoulder and the left shoulder is shown. The shoulder ability index on the side not shown in FIG. 3 can be calculated in the same way.
  • the calculation unit 12 includes a plane (yz plane, yz plane) of a line segment L1 in the y-axis negative direction with the shoulder position P1 as an end point, and a line segment L2 connecting the shoulder position P1 and the hand position P2.
  • An angle A1 formed on the paper surface of FIG. 3 is calculated as an ability index for shoulder flexion.
  • the calculation unit 12 calculates an angle A2 formed between the line segment L1 and the line segment L2 on a plane orthogonal to the x-axis (yz plane, the paper surface of FIG. 3) as an ability index for shoulder extension movement.
  • the calculation unit 12 includes a plane (xy plane, xy plane) of a line segment L3 in the y-axis negative direction with the shoulder position P3 as an end point and a line segment L4 connecting the shoulder position P3 and the hand position P4.
  • the angle A3 formed on the paper surface of FIG. 3 is calculated as an ability index for shoulder abduction or adduction.
  • the calculation unit 12 uses a plane perpendicular to the y-axis (xz plane, x5) of the line segment L5 in the negative z-axis direction with the elbow position P5 as an end point and the elbow position P5 and the hand position P6.
  • the angle A5 formed on the paper surface of FIG. 3 is calculated as a capability index for the external rotation of the shoulder.
  • the calculation unit 12 calculates an angle A6 formed on a plane (xz plane, the paper surface of FIG. 3) perpendicular to the y-axis between the line segment L5 and the line segment L6 as an ability index for the internal rotation of the shoulder.
  • the calculation unit 12 has a plane (xz plane, xz plane) of a line segment L7 in the negative x-axis direction with the shoulder position P7 as an end point and a line segment L8 connecting the shoulder position P7 and the hand position P8.
  • the angle A7 formed on the paper surface of FIG. 3 is calculated as an ability index of the shoulder horizontal bending motion.
  • the calculation unit 12 calculates an angle A8 formed by a line segment L7 and a line segment L8 on a plane orthogonal to the y-axis (xz plane, the paper surface of FIG. 3) as a capability index for horizontal shoulder movement.
  • the determination unit 13 determines whether the posture of the subject is appropriate based on the skeleton data acquired by the data acquisition unit 11. For example, the determination unit 13 moves the body back and forth when the calculation unit 12 calculates the ability index value of shoulder flexion movement, extension movement, abduction movement, adduction movement, horizontal extension movement, or horizontal bending movement. The subject's posture is determined to be inappropriate by detecting bending, elbow bending, shoulder not leveling, or moving one of the shoulders back and forth. To do. If they are not detected, the determination unit 13 determines that the posture of the subject is appropriate.
  • the determination part 13 is bending the body back and forth, and not bending the elbow to 90 degree
  • the posture of the subject determined by the determination unit 13 is not limited to such an example.
  • the determination unit 13 calculates the degree of deviation of each position on the z-axis of the head, the center of the shoulder, the spine, and the center of the waist based on the skeleton data of the head, the center of the shoulder, the spine, and the center of the waist.
  • the determination unit 13 determines that the posture of the subject is inappropriate, assuming that the body is bent forward and backward when the calculated deviation exceeds a predetermined distance.
  • the determination unit 13 calculates the angle of the elbow based on the skeleton data of the shoulder, elbow, and hand, and if the subject is bending the elbow when the elbow angle is equal to or less than the predetermined angle, It is determined that the posture is inappropriate.
  • the determination unit 13 calculates an angle formed on the xz plane between the line segment connecting both shoulders and the x axis based on the skeleton data of both shoulders, and the operation is performed when the angle exceeds a predetermined angle. It is determined that the posture of the subject is inappropriate, assuming that the shoulder of the arm being pulled is pulled backward.
  • the determination unit 13 calculates the elbow angle based on the skeleton data of the shoulder, elbow, and hand. If the elbow angle is less than 90 degrees, the elbow is not bent to 90 degrees, Is determined to be inappropriate.
  • the output processing unit 14 outputs the angle calculated by the calculation unit 12 in a state corresponding to the determination result of the suitability of the subject's posture. For example, the output processing unit 14 outputs the angle calculated by the calculation unit 12 with a color corresponding to the determination result by the determination unit 13. If the determination unit 13 does not determine that the posture of the subject is inappropriate, the output processing unit 14 uses black as the angle calculated from the skeleton data acquired at the same time as the skeleton data used for the determination. Output. When it is determined that the posture is inappropriate, the output processing unit 14 outputs the angle at that time in red. As another example, when it is determined that the posture is inappropriate, the output processing unit 14 may output the blinking angle, change the background color of the angle, or output the angle display. In addition, a predetermined sound may be output.
  • the output processing unit 14 has a line segment connecting a plurality of predetermined parts corresponding to the skeleton data used for calculating the angle on the image including the subject in a state corresponding to the determination result of the suitability of the posture of the subject.
  • the superimposed display can also be output.
  • the output processing unit 14 outputs a display in which the line segment colored with a color corresponding to the determination result by the determination unit 13 is superimposed on an image including the subject.
  • the output processing unit 14 may output the line segment by blinking, or may display the line segment narrowed.
  • the output processing unit 14 converts the position information of the world coordinate system indicated by the skeleton data into the position information of the image coordinate system of the two-dimensional image obtained from the three-dimensional sensor 7, so that the subjects included in the two-dimensional image A mark (image element) can be superimposed on a plurality of predetermined parts. For example, it is desirable that the output processing unit 14 mark at least one of a predetermined part used for calculating the angle and a predetermined part used for determining whether the posture is appropriate. Thereby, a test subject can be made to grasp
  • the output processing unit 14 further superimposes line segments connecting the plurality of predetermined parts on the image based on the correspondence between the world coordinate system indicated by the skeleton data and the image coordinate system of the two-dimensional image. Can be made.
  • This line segment makes it easier for the subject to grasp his or her posture during measurement, such as his arms being bent or his shoulders being tilted, so that the subject can be guided to the correct posture.
  • the output processing unit 14 may output the maximum value among the angles sequentially calculated by the calculation unit 12. For example, the output processing unit 14 can output the maximum value and exclude the angle calculated when the subject's posture is determined to be inappropriate from the maximum value selection candidate. Further, the output processing unit 14 holds the finally determined maximum value as a measurement value for each measurement, and at the time of the second and subsequent measurements, the minimum value among the measurement values held so far. Can be output as a minimum value. The output processing unit 14 outputs 0 degree as the minimum value at the first measurement. Further, the output processing unit 14 may output the maximum value as the minimum value when the output maximum value is smaller than the output minimum value at each measurement after the second time.
  • the period from the start of measurement to the end of measurement is counted as one measurement, and the start and end of measurement are specified by, for example, a user operation detected by the operation detection unit 15.
  • the output processing unit 14 may display the information as described above on the display device 5 or may cause the printer device connected to the communication unit 4 to print the information.
  • FIG. 4 is a diagram illustrating an example of display output when measuring the ability of flexion movement of the shoulder.
  • the output processing unit 14 outputs the video area D1 and the explanation area D2 adjacent to each other.
  • the output processing unit 14 sequentially displays the two-dimensional images obtained from the three-dimensional sensor 7 in the video area D1.
  • the output processing unit 14 superimposes a mark (donut type image) on a plurality of predetermined parts corresponding to the skeleton data used for calculating the angle on the two-dimensional image displayed in the video area D1.
  • the output processing unit 14 superimposes line segments connecting the plurality of predetermined parts on the two-dimensional image.
  • donut-shaped marks are displayed on the left hand, left elbow, and left shoulder, and a line segment that connects the left hand, left elbow, left shoulder, and right shoulder, and a line segment that connects the left waist and right waist are displayed.
  • the left elbow, right shoulder, left hip, and right hip are not directly used to calculate the angle, but a mark or line segment is shown to prompt the subject to be in the correct posture. For example, it is desired as a correct posture that both shoulders are horizontal and the left and right waists are uniform in height.
  • the explanation area D2 includes an area D21 indicating the type of exercise selected by the user operation, an area D22 displaying the angle calculated by the calculation unit 12, an area D23 displaying the maximum value, an area D24 displaying the minimum value, and the like. .
  • the bending motion of the shoulder is selected by the user (area D21).
  • the output processing unit 14 sequentially reflects the angles calculated by the calculation unit 12 in the area D22. Further, the output processing unit 14 reflects the maximum value among the sequentially calculated angles in the area D23. In the example of FIG. 4, since it is the first measurement, the minimum value is displayed as a hyphen, but 0 degree may be displayed.
  • the minimum value among the maximum values held as measurement values is output as the minimum value.
  • the output processing unit 14 displays the angle notation in the area D22 in red and the line segment superimposed on the video area D1 in red. .
  • FIG. 5 is a diagram showing an example of display output when measuring the ability of the abduction movement of the shoulder.
  • the basic configuration of the display shown in FIG. 5 is the same as that of FIG.
  • the abduction movement of the shoulder is selected by the user (area D21).
  • the calculation unit 12 calculates an angle as an ability index of abduction motion by the method as described above.
  • the display of the areas D22, D23, and D24 by the output processing unit 14 is the same as in FIG. Further, the display in the state corresponding to the determination result of the suitability of the subject's posture is the same as in FIG.
  • FIG. 6 is a diagram showing an example of display output when measuring the ability of external rotation of the shoulder.
  • the basic configuration of the display shown in FIG. 6 is the same as that of FIG.
  • the external rotation movement of the shoulder is selected by the user (area D21).
  • the calculation unit 12 calculates an angle as an ability index for external rotation by the method as described above.
  • the display of the areas D22, D23, and D24 by the output processing unit 14 is the same as in FIG. Further, the display in the state corresponding to the determination result of the suitability of the subject's posture is the same as in FIG.
  • FIG. 7 is a diagram showing an example of display output when measuring the ability of horizontal shoulder flexion movement.
  • the basic configuration of the display shown in FIG. 7 is the same as that of FIG.
  • the horizontal bending motion of the shoulder is selected by the user (area D21).
  • the calculation unit 12 calculates an angle as an ability index for horizontal bending motion by the method described above.
  • the display of the areas D22, D23, and D24 by the output processing unit 14 is the same as in FIG. Further, the display in the state corresponding to the determination result of the suitability of the subject's posture is the same as in FIG.
  • FIG. 8 is a flowchart showing an operation example of the measurement apparatus 10 in the first embodiment.
  • the measurement method in the first embodiment is executed by at least one computer such as the measurement apparatus 10. Since each processing step shown in FIG. 8 is the same as the processing content of each processing module described above that the measurement apparatus 10 has, details of each processing step are omitted as appropriate.
  • the measurement apparatus 10 specifies one exercise type selected by the user from a plurality of exercise types determined in advance for measurement of the range of motion of the shoulder when executing the processing steps shown in FIG. For example, the measuring apparatus 10 selects one type of exercise from the shoulder flexion movement, extension movement, abduction movement, adduction movement, external rotation movement, internal rotation movement, horizontal extension movement, and horizontal bending movement. The one exercise type is specified by detecting the user operation to be performed. When an exercise type that requires left and right measurement is selected, the measurement apparatus 10 determines a direction (right or left) to be measured automatically or by detecting a user operation.
  • the measuring apparatus 10 acquires the skeleton data of the subject existing in the visual field of the three-dimensional sensor 7 based on the information obtained from the three-dimensional sensor 7 (S81).
  • the acquired skeletal data is positional information of a plurality of predetermined parts of the limb of the subject that is used after (S82).
  • the measuring apparatus 10 sequentially acquires the skeleton data at a predetermined cycle.
  • the acquisition method of the skeleton data is as described above (data acquisition unit 11).
  • the measuring apparatus 10 when the skeleton data is successfully acquired, the measuring apparatus 10 outputs “Start” indicating the start of measurement as illustrated in FIG.
  • the measurement start signal may be presented by display, or may be presented by voice or the like. Further, the measurement apparatus 10 may output “Ready” indicating a preparation stage until the acquisition of the skeleton data is successful.
  • the measuring apparatus 10 calculates an angle that is a capability index of the subject's shoulder based on the skeleton data acquired in (S81) (S82). As described above, the angle calculation method is determined in advance for each type of exercise and each direction to be measured (right or left) (calculation unit 12). Therefore, the measuring apparatus 10 calculates the angle by a measuring method corresponding to the specified exercise type and the direction to be measured (right or left). For example, when the shoulder flexion movement and the right shoulder are specified, the measuring apparatus 10 connects the line segment in the negative y-axis direction with the position of the right shoulder as the end point, and the position of the right shoulder and the position of the right hand. An angle formed with a line segment on a plane (yz plane) orthogonal to the x-axis is calculated.
  • the measuring apparatus 10 determines the suitability of the posture of the subject based on the skeleton data acquired in (S81) (S83). As described above, the determination method of the suitability of the posture is determined in advance for each type of exercise and each direction (right or left) to be measured (determination unit 13). Therefore, the measuring device 10 determines the suitability of the posture of the subject by a determination method corresponding to the specified exercise type and the determined direction (right or left) to be measured. For example, when the shoulder flexion movement and the right shoulder are specified, the measuring device 10 is bending the body back and forth, bending the right elbow, and pulling the right shoulder backward. It is determined that the posture of the subject is inappropriate. The method for detecting such an inappropriate posture is as described above.
  • the measuring device 10 outputs the angle calculated in (S82) in a state corresponding to the determination result in (S83) (S84). That is, the measurement apparatus 10 changes the angle output state between when the posture of the subject is determined to be appropriate and when the posture is determined to be inappropriate. For example, as shown in the example of FIG. 4, the measuring apparatus 10 displays the angle calculated in (S82) in the area D22. Then, the measuring device 10 displays the angle in black when the posture is determined to be appropriate, and displays the angle in red when the posture is determined to be inappropriate. As described above, the angle output method by the measurement apparatus 10 is not limited to display only. Further, the output state corresponding to the determination result of the suitability of the posture is not limited to coloring.
  • the measuring apparatus 10 determines whether or not the determination result of (S83) indicates that “the posture is appropriate” and the angle calculated in (S82) indicates the maximum value (S85). The measuring apparatus 10 determines whether the angle calculated in (S82) shows the maximum angle among the angles sequentially calculated for a certain type of exercise based on the skeleton data sequentially acquired in a predetermined cycle. Determine whether or not. When it is determined that the posture is appropriate and the calculated angle indicates the maximum value (S85; YES), the measuring apparatus 10 outputs the angle calculated in (S82) as the maximum value (S86). . For example, the measurement apparatus 10 displays the angle calculated in (S82) in the area D23 as shown in the example of FIG.
  • the measuring apparatus 10 does not execute (S86) when it is determined that the posture is inappropriate or the calculated angle is not the maximum value (S85; NO). Further, when it is determined that the posture is inappropriate, the measuring apparatus 10 excludes the angle calculated in (S82) from the selection candidates for the maximum value in the future. This is because an angle measured with an inappropriate posture is not an accurate ability index.
  • the measuring apparatus 10 superimposes marks on a plurality of predetermined parts of the subject included in the two-dimensional image obtained from the three-dimensional sensor 7 based on the skeleton data acquired in (S81) (S87). At this time, the measuring apparatus 10 converts the position information of the world coordinate system indicated by the skeleton data into the position information of the image coordinate system of the two-dimensional image obtained from the three-dimensional sensor 7, thereby superimposing the mark on the image.
  • the position can be specified. In the example of FIGS. 4 to 7, the measuring apparatus 10 superimposes marks on the left shoulder, left elbow, and left hand positions in the image.
  • the measuring apparatus 10 superimposes line segments connecting the plurality of predetermined parts on the two-dimensional image based on the skeleton data acquired in (S81) (S88). At this time, the measuring apparatus 10 can use the correspondence between the world coordinate system indicated by the skeleton data and the image coordinate system of the two-dimensional image. 4 to 7, the measuring apparatus 10 displays a line segment connecting the left hand, the left elbow, the left shoulder, and the right shoulder, and a line segment connecting the left waist and the right waist.
  • the measuring apparatus 10 can sequentially execute the processing steps shown in FIG. 8 each time a two-dimensional image frame and a depth image (distance image) frame are acquired from the three-dimensional sensor 7.
  • the processing steps shown in FIG. 8 may be executed at an interval longer than the acquirable period of each frame.
  • the execution order of each processing step in the measurement method of the present embodiment is not limited to the example shown in FIG.
  • the execution order of the processing steps can be changed within a range that does not hinder the contents. For example, (S82) and (S83) may be executed in parallel. Also, (S85) and (S86) and (S87) and (S88) may be executed in parallel.
  • the subject in addition to calculation of an angle that is a capability index of a certain exercise type, whether or not the subject's posture is appropriate at the time of the capability measurement is determined, and is calculated in a state corresponding to the determination result.
  • the angle is output.
  • the maximum value is output among the sequentially calculated angles.
  • the subject can confirm his / her maximum ability in a certain type of exercise by looking at the output of the maximum value.
  • the angle calculated when the posture of the subject is determined to be inappropriate is excluded from the maximum value selection candidate. Therefore, since only the ability index measured in an appropriate posture becomes the maximum value, the limb ability of the subject can be accurately presented. Therefore, according to 1st embodiment, a test subject's limb physical ability can be measured correctly.
  • skeleton data position information of a predetermined part
  • a distance that is a capability index of the subject's limb is calculated based on the depth image.
  • the operation detection unit 15 detects a user operation for selecting a flexion movement of the thoracolumbar region. There is no distinction between right and left in thoracolumbar flexion. However, the operation detection unit 15 may detect a user operation that specifies whether the subject faces the right or the left with respect to the three-dimensional sensor 7. When this user operation is detected, the data acquisition unit 11 can determine the toe orientation and the positional relationship between the toe and the fingertip of the hand based on the designated orientation.
  • the data acquisition unit 11 sequentially acquires a two-dimensional image and a depth image (also referred to as depth information and a distance image) from the three-dimensional sensor 7. Thereby, the data acquisition unit 11 can also be called an image acquisition unit.
  • the depth image indicates depth information (distance from the three-dimensional sensor 7) as a value for each pixel.
  • the data acquisition unit 11 acquires the position information of the floor surface and the position information of the toe of the subject based on the depth image of the lower body of the subject obtained from the three-dimensional sensor 7.
  • the data acquisition unit 11 can specify the contour of the subject in the depth image obtained from the three-dimensional sensor 7 by using a pattern matching technique or the like.
  • a two-dimensional image may be further used for specifying the contour of the subject.
  • the data acquisition unit 11 specifies an image area of a person in the two-dimensional image by applying an existing image recognition technique to the two-dimensional image, and uses the specified image area to obtain a depth image. It is also possible to specify the contour and image area of the subject.
  • the data acquisition unit 11 sets the lowest end of the identified contour in the depth image to the floor surface, and acquires position information of the floor surface.
  • the acquired position information of the floor surface is represented by the y coordinate (vertical pixel position) of the image coordinate system of the depth image.
  • the “floor surface” in this specification means a plane on which the subject stands. Therefore, the “floor surface” includes the floor surface of the building, the upper surface of the table, and the like.
  • the data acquisition unit 11 regards the tip on the x-axis at the lowest end of the specified contour in the depth image as the toe of the subject. Whether to identify the tip in the left or right direction on the x-axis may be determined in advance or may be determined by recognizing the shape of the foot (below the ankle).
  • the data acquisition unit 11 acquires toe position information specified on the contour.
  • the acquired toe position information is represented by the x coordinate and y coordinate of the image coordinate system of the depth image.
  • the data acquisition unit 11 acquires the position information of the fingertip of the subject's hand based on the depth image of the subject outside the position of the toe.
  • the data acquisition unit 11 can acquire the depth image of the subject outside (further ahead) than the toe position. For example, when the toe is directed in the positive direction of the x axis, the data acquisition unit 11 specifies a line segment on the contour having an x coordinate larger than the x coordinate of the toe position in the depth image.
  • the data acquisition unit 11 regards the lowest point of the line segment on the identified contour as the fingertip of the subject's hand, and acquires position information of the fingertip.
  • the position information of the fingertip of the hand to be acquired is indicated by the y coordinate (pixel position in the vertical direction) of the image coordinate system of the depth image and the z coordinate (depth) of the world coordinate system.
  • the calculation unit 12 calculates the distance from the fingertip of the subject's hand to the floor as the flexion motion of the thoracolumbar region. It is calculated as an ability index related to The calculated distance indicates a distance in the world coordinate system (real world). This calculation method is also compliant with the regulations shown in Non-Patent Document 1.
  • FIG. 9 is a diagram illustrating a method for calculating a capability index related to the flexion movement of the thoracolumbar region.
  • the calculating unit 12 calculates the distance between the fingertip P9 of the subject and the intersection P10 between the fingertip P9 and the line segment in the negative y-axis direction and the floor surface. Specifically, the calculation unit 12 calculates the depth based on the y-coordinate (vertical pixel position) of the fingertip and the y-coordinate (vertical pixel position) of the floor acquired by the data acquisition unit 11. The number of pixels PX1 from the fingertip to the floor on the image is calculated.
  • the calculation unit 12 calculates the calculated pixel number PX1, the depth DPT of the subject's fingertip P9 identified as described above, the pixel number PX2 that is half the height of the two-dimensional image, and the three-dimensional sensor 7 (
  • World coordinate system distance (PX1, DPT, tan30) / PX2
  • the method for calculating the distance between the fingertip of the subject and the floor is not limited to this formula.
  • PX2 may be the number of pixels that is half the height of the depth image
  • the vertical viewing angle may be the vertical viewing angle of the depth sensor.
  • PX1 may be the number of pixels on the two-dimensional image.
  • the output processing unit 14 sequentially displays the two-dimensional image acquired from the three-dimensional sensor 7, and based on the toe position information of the subject acquired by the data acquisition unit 11, on the displayed two-dimensional image.
  • a mark is superimposed on the toe position of the subject.
  • the output processing unit 14 uses the toe position information acquired by the data acquisition unit 11 by aligning the image area of the subject on the two-dimensional image with the image area of the subject indicated by the depth image.
  • the position of the toe of the subject on the two-dimensional image can be specified. Since this mark also has the purpose of presenting the position of the floor surface, the output processing unit 14 may superimpose the mark on a position on the floor surface outside the toes.
  • the output processing unit 14 fixedly superimposes the mark on the sequentially displayed images by detecting a predetermined event after the superimposition of the mark.
  • the predetermined event to be detected is not limited as long as it is an event for fixing the mark.
  • Detection of a predetermined user operation using the input device 6 may be a predetermined event.
  • the detection of a predetermined user voice input from the input device 6 (microphone) may be a predetermined event.
  • the output processing unit 14 performs coloring in accordance with the depth information of the subject on the image region located outside the toes of the subject included in the sequentially displayed images together with fixing the mark.
  • the output processing unit 14 uses the position information on the toe of the subject acquired by the data acquisition unit 11 by aligning the contour of the subject on the two-dimensional image with the contour of the subject indicated by the depth image. Thus, it is possible to specify an image region outside the toes of the subject included in the two-dimensional image. Then, the output processing unit 14 performs coloring according to the depth information of the subject by superimposing the depth information (pixel value) of the corresponding region on the depth image on the identified image region of the two-dimensional image. be able to.
  • the output processing unit 14 may output a minimum value among the distances sequentially calculated by the calculation unit 12. For example, the output processing unit 14 outputs the minimum value of the distance, and excludes the distance calculated when the determination unit 13 determines that the posture of the subject is inappropriate from the selection candidate of the minimum value. it can. Further, the output processing unit 14 holds the finally determined minimum value as a measurement value for each measurement, and at the time of the second and subsequent measurements, the maximum value among the measurement values held so far. Can be output as the maximum value. The output processing unit 14 may output the minimum value as the maximum value when the output minimum value is larger than the output maximum value at each measurement after the second time.
  • the determination unit 13 determines whether or not the subject's posture is appropriate under a predetermined condition regarding the bending motion of the thoracolumbar region. For example, the determination unit 13 detects that the posture of the subject is inappropriate by detecting that the knee is bent and the waist is retracted based on the skeleton data acquired by the data acquisition unit 11. judge. For example, the determination unit 13 confirms the deviation on the x axis of each part based on the skeleton data of the right hip, the right knee, and the right foot. The determination unit 13 determines that the posture of the subject is inappropriate when only the x coordinate of the right hip or the right knee is deviated beyond a predetermined range with reference to the x coordinate of the right foot.
  • FIGS. 10 and 11 are diagrams showing examples of display output when measuring the ability of flexion movement of the thoracolumbar region.
  • the arrangement of the display areas such as the video area D1 and the explanation area D2 is the same as in FIG.
  • the output processing unit 14 displays in the area D21 that the user has selected the flexion movement of the thoracolumbar region, displays the distance calculated by the calculation unit 12 in the area D22, and displays the minimum value of the distance in the area D24. To do. However, since the measurement has not yet started at the time of FIG. 10, no values are displayed in the areas D22 and D24 (hyphen display). In the example of FIGS. 10 and 11, the maximum value is displayed as a hyphen in the area D24. However, as described above, the maximum value among the minimum values held as the measurement value may be output as the maximum value.
  • the output processing unit 14 displays a two-dimensional image in the video area D1 as needed, and superimposes marks on the right foot, right knee, and right hip positions on the two-dimensional image. However, when the subject is facing the opposite direction with respect to the three-dimensional sensor 7, the output processing unit 14 superimposes marks on the positions of the left foot, the left knee, and the left waist on the two-dimensional image.
  • the method for displaying the mark on each part is the same as in the first embodiment.
  • the output processing unit 14 further superimposes a mark on the toe position of the subject on the two-dimensional image.
  • a cross meter mark MK1 is displayed. The mark indicates the floor surface by the horizontal line.
  • the output processing unit 14 When the output processing unit 14 detects a predetermined event, the output processing unit 14 fixes the display position of the mark MK1 to the position at that time. After fixing the display position of the mark MK1, the output processing unit 14 responds to the depth information of the subject in the image region located outside the toes of the subject included in the two-dimensional image, as shown in FIG. Coloring.
  • FIG.12 and FIG.13 is a flowchart which shows the operation example of the measuring apparatus 10 in 2nd embodiment.
  • the measurement method in the second embodiment is executed by at least one computer such as the measurement apparatus 10. Since each processing step shown in FIG. 12 and FIG. 13 is the same as the processing content of each processing module described above that the measurement apparatus 10 has, details of each processing step are omitted as appropriate.
  • the measuring apparatus 10 detects a user operation for selecting a flexion movement of the thoracolumbar region in executing the processing steps shown in FIGS. When the exercise type for measuring the range of motion of the shoulder is selected, the measurement apparatus 10 executes the processing steps shown in FIG.
  • the measuring apparatus 10 acquires the skeleton data of the subject existing in the visual field of the three-dimensional sensor 7 based on the information obtained from the three-dimensional sensor 7 (S121).
  • the acquired skeleton data is position information of a plurality of predetermined parts of the limb of the subject that is used after (S122).
  • the measuring apparatus 10 sequentially acquires the skeleton data at a predetermined cycle.
  • the acquisition method of the skeleton data is as described in the first embodiment (data acquisition unit 11).
  • the measuring apparatus 10 acquires a depth image (S122).
  • the measuring apparatus 10 sequentially acquires the depth images at a predetermined cycle.
  • the measuring apparatus 10 outputs a depth image of the lower body of the subject based on the depth image acquired in (S122) (S123). Specifically, the measurement apparatus 10 displays the two-dimensional image obtained from the three-dimensional sensor 7 and displays the depth image acquired in (S122) in the image region indicating the lower body of the subject on the two-dimensional image. A depth image of the lower body part of the subject is superimposed.
  • the measurement apparatus 10 can specify the image region of the lower body of the subject in the two-dimensional image by using an existing image recognition technique.
  • the measuring apparatus 10 can specify the contour and image area of the lower body of the subject in the depth image by using an existing pattern matching technique or the like.
  • the measuring apparatus 10 acquires floor surface position information based on the depth image of the lower body of the subject specified as described above (S124). Specifically, the measuring apparatus 10 sets the lowest end of the contour of the lower body of the subject to the floor surface, and acquires position information on the floor surface. The measuring apparatus 10 can acquire the y coordinate (pixel position) of the image coordinate system as the floor surface position information.
  • the measuring apparatus 10 acquires the position information of the toe of the subject based on the depth image of the lower body of the subject (S125). Specifically, the measuring apparatus 10 regards the tip on the x-axis at the lowest end specified in (S124) as the toe of the subject. The measuring apparatus 10 can acquire the x coordinate and the y coordinate (pixel position) of the image coordinate system as the toe position information.
  • the measuring apparatus 10 superimposes marks on a plurality of predetermined parts of the subject included in the two-dimensional image obtained from the three-dimensional sensor 7 based on the skeleton data acquired in (S121) (S126).
  • the display method of the mark of the predetermined part is as described in the first embodiment.
  • the measurement apparatus 10 superimposes marks at the positions of the right foot, right knee, and right waist in the image.
  • the measuring apparatus 10 superimposes line segments connecting the plurality of predetermined parts on the two-dimensional image based on the skeleton data acquired in (S121) (S127).
  • This line segment display method is also as described in the first embodiment. In the example of FIG. 10, a line segment connecting the right hip, right knee, and right foot is displayed.
  • the measuring apparatus 10 When the measuring apparatus 10 detects a predetermined event such as detection of a predetermined user operation using the input device 6 (S129; YES), the two-dimensional image of the mark (toe mark) superimposed on the toe position is detected. The display position above is fixed (S131). At this time, the measuring apparatus 10 holds the latest position information of the floor surface and the toe acquired in (S124) and (S125). While the predetermined event is not detected (S129; NO), the measuring apparatus 10 repeatedly executes (S121) to (S128).
  • a predetermined event such as detection of a predetermined user operation using the input device 6 (S129; YES
  • S129 the two-dimensional image of the mark (toe mark) superimposed on the toe position is detected.
  • the display position above is fixed (S131).
  • the measuring apparatus 10 holds the latest position information of the floor surface and the toe acquired in (S124) and (S125). While the predetermined event is not detected (S129; NO), the measuring apparatus 10 repeatedly executes
  • the measuring apparatus 10 After the predetermined event is detected (S129 in FIG. 12; YES), the measuring apparatus 10 newly acquires skeleton data and a depth image in the next cycle (S131) (S132).
  • the measuring apparatus 10 outputs a depth image outside the toe of the subject based on the depth image acquired in (S132) and the position information of the toe held in the operation of FIG. 12 (S133). Specifically, the measurement apparatus 10 displays the two-dimensional image obtained from the three-dimensional sensor 7 and is acquired in (S132) in an image region indicating the outside of the toe of the subject on the two-dimensional image. The depth image of the portion outside the toe of the subject in the depth image is superimposed. Since the position information of the image coordinate system is held as the position information of the toes, by specifying the image area of the entire subject in the two-dimensional image and the depth image, the image area indicating the outside of the toe of the subject in each image Can be specified.
  • the measurement apparatus 10 regards the lowest end in the depth image outside the toe of the subject output in (S133) as the fingertip of the subject's hand, and uses the position information of the lowest end as the location information of the fingertip of the subject's hand. (S134). As the position information of the fingertip of the subject's hand, the x-coordinate and y-coordinate of the image coordinate system and the z-coordinate (depth) in the world coordinate system can be acquired.
  • the measuring apparatus 10 calculates the distance between the fingertip of the subject's hand and the floor surface based on the position information of the floor surface held in the operation of FIG. 12 and the position information of the fingertip acquired in (S134). (S135).
  • the measuring device 10 calculates a distance in the world coordinate system. The calculation method of this distance is as described above (calculation unit 12).
  • the measuring apparatus 10 determines the suitability of the posture of the subject based on the skeleton data acquired in (S131) (S136). With respect to the flexion movement of the thoracolumbar region, the measuring device 10 determines that the posture of the subject is inappropriate by detecting that the knee is bent and the waist is retracted. The method for detecting an inappropriate posture is as described above (determination unit 13).
  • the measuring apparatus 10 outputs the distance calculated in (S135) in a state corresponding to the determination result in (S136) (S137). That is, the measuring apparatus 10 changes the output state of the distance between when the posture of the subject is determined to be appropriate and when the posture is determined to be inappropriate. For example, as illustrated in the example of FIG. 11, the measuring apparatus 10 displays the distance calculated in (S135) in the area D22. Then, the measuring device 10 displays the distance in black when the posture is determined to be appropriate, and displays the distance in red when the posture is determined to be inappropriate. As described above, the distance output method by the measuring apparatus 10 is not limited to display only. Further, the output state corresponding to the determination result of the suitability of the posture is not limited to coloring.
  • the measuring apparatus 10 determines whether or not the determination result of (S136) indicates that “the posture is appropriate” and the distance calculated in (S135) indicates the minimum value (S138). The measuring apparatus 10 determines whether or not the distance calculated in (S135) indicates the minimum distance among the distances sequentially calculated based on the depth images sequentially acquired in a predetermined cycle. When it is determined that the posture is appropriate and the calculated distance indicates the minimum value (S138; YES), the measuring apparatus 10 outputs the distance calculated in (S135) as the minimum value (S139). . For example, as illustrated in the example of FIG. 11, the measuring apparatus 10 displays the distance calculated in (S135) in the area D24.
  • the measuring apparatus 10 does not execute (S139). Further, when it is determined that the posture is inappropriate, the measuring apparatus 10 excludes the distance calculated in (S135) from the selection candidates for the minimum value in the future. This is because the distance measured with an inappropriate posture is not an accurate ability index.
  • the measuring apparatus 10 Based on the skeleton data acquired in (S131), the measuring apparatus 10 superimposes marks on a plurality of predetermined parts of the subject included in the two-dimensional image obtained from the three-dimensional sensor 7 (S140). The display method of the mark of the predetermined part is as described in the first embodiment. Furthermore, the measuring apparatus 10 superimposes line segments connecting the plurality of predetermined parts on the two-dimensional image based on the skeleton data acquired in (S131) (S141). The line segment display method is also as described in the first embodiment.
  • the measuring apparatus 10 sequentially executes the processing steps shown in FIG. 13 every time a two-dimensional image frame and a depth image (distance image) frame are acquired from the three-dimensional sensor 7. be able to.
  • the processing steps shown in FIG. 13 may be executed at intervals longer than the period in which each frame can be acquired.
  • the execution order of the processing steps in the measurement method of the present embodiment is not limited to the examples shown in FIGS.
  • the execution order of the processing steps can be changed within a range that does not hinder the contents. For example, (S122) may be executed before (S121). Further, (S126) and (S127) may be executed anywhere after (S121).
  • the toe position information and the floor position information of the subject are acquired and included in the two-dimensional image acquired from the three-dimensional sensor 7.
  • a mark is displayed at the toe position of the subject.
  • Position information of the right foot and left foot in the world coordinate system can be acquired as skeleton data.
  • the position of the toe and the center of the foot portion is different in units of 10 cm.
  • the position information is acquired from the contour of the subject and the image area specified on the depth image, so that the positions of the floor surface and the toes can be obtained more accurately.
  • the positions of the toes and the floor are determined by detecting a predetermined event, and based on the determined position information of the toes, the contour and image area of the subject outside the toes in the depth image Is determined, and the lowest end thereof is determined as the position of the fingertip of the subject's hand. Then, the distance (number of pixels) between the fingertip of the subject's hand and the floor surface in the image coordinate system of the depth image is calculated, and the distance of the image coordinate system is converted into the distance of the world coordinate system. Therefore, according to the second embodiment, it is possible to calculate the distance, which is a capability index of the flexion movement of the thoracolumbar region, with higher accuracy than the measurement using the skeleton data.
  • the image area located outside the toes of the subject in the displayed two-dimensional image is determined according to the depth information. Coloring is performed. Thereby, the test subject can easily grasp which part of himself / herself included in the two-dimensional image is recognized as the fingertip of the hand, and can confirm the normal operation by the measuring apparatus 10.
  • the distance between the fingertip of the subject's hand and the floor is calculated as the ability index of the subject's limb.
  • the distance between the positions of the fingertips of the subject's hand at two different time points is calculated as the ability index of the subject's limb based on the depth image.
  • the operation detection unit 15 detects a user operation for selecting a functional reach test (hereinafter abbreviated as FRT).
  • FRT is a well-known technique for evaluating a person's balance function, and is a technique often used in clinical settings to obtain an index for predicting the risk of falls.
  • the operation detection unit 15 may detect a user operation that specifies whether the subject faces the right or the left with respect to the three-dimensional sensor 7.
  • the data acquisition unit 11 determines whether the position of the fingertip of the hand is at the right end or the left end in the contour of the subject in the depth image based on the designated direction. Judgment can be made.
  • the data acquisition unit 11 sequentially acquires depth images from the three-dimensional sensor 7.
  • the data acquisition unit 11 sequentially acquires depth images of the whole body of the subject, and sequentially acquires positional information on the fingertips of the subject's hands based on the depth images.
  • the data acquisition unit 11 can specify the contour of the subject in the depth image obtained from the three-dimensional sensor 7 by using a pattern matching technique or the like.
  • the data acquisition unit 11 captures the position of the fingertip in the image coordinate system of the depth image (pixel position) by capturing the point having the maximum x coordinate as the fingertip of the subject's hand in the contour of the specified subject. ) Can be obtained.
  • the FRT since the skeleton data is not used, the data acquisition unit 11 does not have to acquire the skeleton data when the measurement apparatus 10 supports only the FRT.
  • the data acquisition unit 11 holds the position information of the fingertips acquired at the time of detection by detecting a predetermined event.
  • the predetermined event to be detected is not limited as long as it is an event for fixing the position of the fingertip as a reference.
  • Detection of a predetermined user operation using the input device 6 may be a predetermined event.
  • the detection of a predetermined user voice input from the input device 6 (microphone) may be a predetermined event.
  • the data acquisition unit 11 holds in advance a contour pattern in a state where a person stands normally and projects an arm straight ahead, and detects the contour pattern from the depth image as detection of the predetermined event.
  • the calculation unit 12 calculates the position of the fingertip of the hand corresponding to the held position information and the newly acquired position based on the position information held by detection of the predetermined event and the newly acquired position information. A distance in the x-axis direction between the fingertip position corresponding to the information is calculated.
  • the calculated distance is a distance in the world coordinate system and is an FRT capability index.
  • the calculation unit 12 calculates the distance (number of pixels) between the fingertips of the hand in the image coordinate system of the depth image based on the two pieces of position information, and uses this distance in the same manner as in the second embodiment. To convert the distance to the world coordinate system.
  • the determination unit 13 determines whether or not the posture of the subject is appropriate under the conditions determined in advance for the FRT. For example, the determination unit 13 detects, based on the held position information and the newly acquired position information, that the position of the fingertip is shifted beyond a predetermined range in the y-axis direction. The subject's posture is determined to be inappropriate. In this case, the determination unit 13 determines that the posture of the subject is inappropriate when the difference between the y coordinate of the held position information and the y coordinate of the newly acquired position information exceeds a predetermined threshold.
  • FIG. 14 is a diagram illustrating an example of display output when measuring the capability of the functional reach test.
  • the arrangement of the display areas such as the video area D1 and the explanation area D2 is the same as in FIG.
  • the output processing unit 14 displays that the FRT is selected by the user in the area D21, displays the distance calculated by the calculation unit 12 in the area D22, and displays the maximum value of the distance in the area D23. Also in the FRT, the minimum value may be displayed as in the example of FIG.
  • the output processor 14 superimposes a mark on the position of the fingertip on the two-dimensional image while displaying the two-dimensional image at any time in the video area D1, as in FIG. For example, the output processing unit 14 aligns the subject's image region on the two-dimensional image with the subject's image region indicated by the depth image, so that the position information of the fingertip of the hand acquired by the data acquisition unit 11 is obtained. Can be used to specify the position of the fingertip of the subject's hand on the two-dimensional image.
  • the output processing unit 14 detects a predetermined event, the contour and image area of the subject specified on the depth image at the time of detection are fixedly superimposed on the two-dimensional image and the position of the fingertip of the hand is indicated.
  • the mark is also fixed on the two-dimensional image. Further, the output processing unit 14 superimposes a mark on the fingertip position to be newly acquired while superimposing the contour and image region of the subject specified on the depth image after detection of the predetermined event on the two-dimensional image. . At this time, the depth image of the subject fixed on the two-dimensional image and the depth image of the subject superimposed on the two-dimensional image after detection of the predetermined event are displayed in a distinguishable manner by changing colors.
  • FIG.15 and FIG.16 is a flowchart which shows the operation example of the measuring apparatus 10 in 3rd embodiment.
  • the measurement method in the third embodiment is executed by at least one computer such as the measurement apparatus 10.
  • Each processing step shown in FIGS. 15 and 16 is the same as the processing content of each processing module described above that the measurement apparatus 10 has, and therefore details of each processing step are omitted as appropriate.
  • the measurement apparatus 10 detects a user operation for selecting an FRT when executing the processing steps shown in FIGS. 15 and 16. When the user operation for selecting the FRT is detected, the measuring apparatus 10 executes the processing steps shown in FIG.
  • the measuring apparatus 10 acquires a depth image from the three-dimensional sensor 7 (S151).
  • the measuring apparatus 10 sequentially acquires the depth images at a predetermined cycle.
  • the measuring device 10 outputs a depth image of the whole body of the subject based on the depth image acquired in (S151) (S152). Specifically, the measurement apparatus 10 displays the two-dimensional image obtained from the three-dimensional sensor 7 and displays the depth image acquired in (S151) in the image region indicating the whole body of the subject on the two-dimensional image. A depth image of the whole body of the subject is superimposed.
  • the measuring apparatus 10 can specify an image region of the whole body of the subject in the two-dimensional image by using an existing image recognition technique.
  • the measuring apparatus 10 can specify the contour and image area of the whole body of the subject in the depth image by using an existing pattern matching technique or the like.
  • the measuring apparatus 10 acquires the position information of the fingertip of the subject's hand based on the depth image of the subject's whole body specified as described above (S153). Specifically, the measuring apparatus 10 captures the point having the maximum x coordinate in the depth image of the whole body of the subject as the fingertip of the subject's hand, and thereby the positional information of the fingertip in the image coordinate system of the depth image. (Pixel position) can be acquired.
  • the measuring apparatus 10 superimposes a mark on the fingertip position of the subject's hand in the displayed two-dimensional image (S154).
  • the measurement apparatus 10 uses the positional information on the fingertip of the hand acquired in (S153) by aligning the image area of the subject on the two-dimensional image with the image area of the subject indicated by the depth image.
  • the position of the fingertip of the subject's hand on the two-dimensional image can be specified.
  • the measuring device 10 When detecting a predetermined event such as detection of a predetermined user operation using the input device 6 (S155; YES), the measuring device 10 holds the latest position information of the fingertip of the hand acquired in (S153). (S156). Furthermore, the measuring apparatus 10 fixes the display position on the two-dimensional image of the mark (fingertip mark) superimposed on the fingertip position of the hand (S157). In addition, the measuring apparatus 10 fixes the display position on the two-dimensional image of the depth image of the whole body of the subject that was output in (S152) when the predetermined event is detected (S158). While the predetermined event is not detected (S155; NO), the measuring apparatus 10 repeatedly executes (S151) to (S154).
  • the measurement apparatus 10 After the predetermined event is detected (S155 in FIG. 15; YES), the measurement apparatus 10 newly acquires a depth image in the next cycle (S161). The measuring apparatus 10 performs (S162) and (S163) based on the newly acquired depth image.
  • (S162) is the same as (S152) shown in FIG. 15, and (S163) is the same as (S153) shown in FIG.
  • the measurement apparatus 10 determines the distance in the x-axis direction between the fingertip positions corresponding to the position information. Is calculated (S164).
  • the measuring device 10 calculates a distance in the world coordinate system. The calculation method of this distance is as described above (calculation unit 12).
  • the measuring apparatus 10 determines the suitability of the posture of the subject based on the position information held in (S156) and the position information newly acquired in (S163) (S165). Regarding FRT, the measuring apparatus 10 determines that the posture of the subject is inappropriate by detecting that the position of the fingertip of the hand is shifted beyond a predetermined range in the y-axis direction.
  • the measuring apparatus 10 outputs the distance calculated in (S164) in a state corresponding to the determination result in (S165) (S166). That is, the measuring apparatus 10 changes the output state of the distance between when the posture of the subject is determined to be appropriate and when the posture is determined to be inappropriate. For example, as shown in the example of FIG. 14, the measuring apparatus 10 displays the distance calculated in (S164) in the area D22. Then, the measuring device 10 displays the distance in black when the posture is determined to be appropriate, and displays the distance in red when the posture is determined to be inappropriate. As described above, the distance output method by the measuring apparatus 10 is not limited to display only. Further, the output state corresponding to the determination result of the suitability of the posture is not limited to coloring.
  • the measuring apparatus 10 determines whether or not the determination result of (S165) indicates that “the posture is appropriate” and the distance calculated in (S164) indicates the maximum value (S167). The measuring apparatus 10 determines whether or not the distance calculated in (S164) indicates the maximum distance among the distances sequentially calculated based on the depth images sequentially acquired at a predetermined cycle. When it is determined that the posture is appropriate and the calculated distance indicates the maximum value (S167; YES), the measuring apparatus 10 outputs the distance calculated in (S164) as the maximum value (S168). . For example, as shown in the example of FIG. 14, the measuring apparatus 10 displays the distance calculated in (S164) in the area D23.
  • the measuring apparatus 10 does not execute (S168) when it is determined that the posture is inappropriate or the calculated distance is not the maximum value (S167; NO). Further, when it is determined that the posture is inappropriate, the measuring apparatus 10 excludes the distance calculated in (S164) from the selection candidates for the maximum value in the future. This is because the distance measured with an inappropriate posture is not an accurate ability index.
  • the measuring apparatus 10 superimposes a mark on the fingertip position of the subject's hand in the displayed two-dimensional image (S169).
  • S169 is the same as (S154) shown in FIG.
  • the measurement apparatus 10 sequentially performs the processing steps illustrated in FIG. 16 each time a two-dimensional image frame and a depth image (distance image) frame are acquired from the three-dimensional sensor 7. Can be executed.
  • the processing steps shown in FIG. 16 may be executed at intervals longer than the acquirable period of each frame.
  • the execution order of the processing steps in the measurement method of the present embodiment is not limited to the examples shown in FIGS.
  • the execution order of the processing steps can be changed within a range that does not hinder the contents. For example, (S157) and (S158) may be executed in parallel or in reverse order. Further, (S165) may be executed before (S164).
  • the position information of the fingertip of the subject's hand is acquired based on the depth image obtained from the three-dimensional sensor 7, and the position information at the time of detection of the predetermined event related to the fingertip of the subject's hand is acquired thereafter.
  • the distance between the positions corresponding to the position information to be calculated is calculated as an FRT capability index.
  • the position of the fingertip of the hand which is a reference for the calculated distance, is determined by detecting a predetermined event, and a mark is fixedly displayed at the determined position in the two-dimensional image.
  • a mark indicating the position of the fingertip of the latest hand is further displayed together with a mark that is fixedly displayed. Therefore, according to the third embodiment, it is possible to provide the subject with an easy-to-understand visual measurement process of the FRT.
  • FIG. 17 is a diagram conceptually illustrating a processing configuration example of the measurement apparatus 10 in the fourth embodiment.
  • the measurement apparatus 10 according to the fourth embodiment further includes a notification unit 17 in addition to the configurations of the above-described embodiments.
  • the notification unit 17 is also realized in the same manner as other processing modules.
  • the operation detection unit 15 detects a user operation for selecting a turning motion for measuring the range of motion of the neck.
  • This turning motion includes a left turning motion and a right turning motion. Therefore, the operation detection unit 15 may detect a selection operation for measuring left or right with respect to the turning motion.
  • the data acquisition unit 11 acquires, based on information obtained from the three-dimensional sensor 7, orientation information of the face of the subject and position information of both shoulders located within the field of view of the three-dimensional sensor 7, and depth information of the subject.
  • the data acquisition unit 11 can acquire the position information of both shoulders as skeleton data by the same method as in the first embodiment.
  • the data acquisition unit 11 recognizes a human face from a two-dimensional image and a depth image obtained from the three-dimensional sensor 7 by using an existing image recognition technology, and from the positional relationship of each part of the recognized face.
  • the direction of the person's face can be specified.
  • Various existing image recognition methods can be used as a method for recognizing a human face and each part in the face.
  • the face orientation information acquired by the data acquisition unit 11 is represented by an angle from the z-axis.
  • the acquired depth information of the subject is information based on the depth image, and indicates the depth of one point of the limb of the subject such as the center of the face or the depth of the central position of a plurality of points of the limb of the subject.
  • the orientation of a human face based on information obtained from the three-dimensional sensor 7. If the two-dimensional image obtained from the three-dimensional sensor 7 contains only a side face, the human face may not be recognized. Therefore, for example, when the face orientation information can be obtained only up to 45 degrees, the range of motion of the neck cannot be measured. Therefore, in the present embodiment, by turning the subject obliquely with respect to the three-dimensional sensor 7, the ability index for the rotational motion of the neck is determined from the shoulder opening angle and the face orientation information obtained by the data acquisition unit 11. Is calculated.
  • the calculation unit 12 based on the position information of both shoulders acquired by the data acquisition unit 11, the calculation unit 12 forms a line segment connecting both shoulders and the x-axis direction on a plane orthogonal to the y-axis. The angle is calculated as the shoulder opening angle. Further, the calculation unit 12 calculates an angle that is a capability index for right or left rotation of the neck based on the face orientation information acquired by the data acquisition unit 11 and the calculated opening angle of the shoulder. To do. This calculation process will be described in more detail with reference to FIG.
  • FIG. 18 is a diagram illustrating a method for calculating a neck ability index.
  • the calculation unit 12 opens an angle A11 formed on a plane perpendicular to the y axis (xz plane, paper surface of FIG. 18) between the line segment L11 connecting the left shoulder P11 and the right shoulder P12 and the positive x axis direction. Calculated as an angle. Then, the calculation unit 12 calculates an angle (A11 + A12) obtained by adding the angle A12 indicated by the face orientation information acquired by the data acquisition unit 11 and the shoulder opening angle A11 as an ability index for right-turning motion of the neck. .
  • the calculated angle (A11 + A12) is equal to an angle from the front direction L12 to the direction L13 in which the subject rotates the neck to the right.
  • the calculation unit 12 sets an angle A13 formed on a plane (xz plane, the paper surface of FIG. 18) perpendicular to the y-axis between the line segment L11 connecting the left shoulder P11 and the right shoulder P12 and the negative x-axis direction. Calculated as the opening angle of. Then, the calculation unit 12 calculates an angle (A13 + A14) obtained by adding the angle A14 indicated by the face orientation information acquired by the data acquisition unit 11 and the shoulder opening angle A13 as a capability index of the left-handed rotation motion of the neck. . The calculated angle (A13 + A14) is equal to an angle from the front direction L14 to the direction L15 in which the subject rotates the neck leftward.
  • the notification unit 17 notifies the determination result of whether or not the shoulder opening angle calculated by the calculation unit 12 is included in the predetermined angle range.
  • the notification unit 17 outputs a predetermined sound or a predetermined sound from a speaker connected to the input / output I / F 3 when the opening angle of the shoulder is included in the predetermined angle range.
  • the notification unit 17 may output a predetermined sound or a predetermined sound when the opening angle of the shoulder is not included in the predetermined angle range.
  • the notification method by the notification unit 17 is not limited to voice output.
  • the notification unit 17 may notify by display output.
  • the determination unit 13 determines whether or not the shoulder opening angle calculated by the calculation unit 12 is included in the predetermined angle range, and whether or not the subject is located within the predetermined distance range from the three-dimensional sensor 7.
  • the predetermined angle range is determined in advance from the restriction on the acquisition of the face orientation by the data acquisition unit 11 and the average angle of each rotational movement of the neck. For example, the predetermined angle range is set to a range of 28 degrees to 32 degrees.
  • the predetermined distance range is determined in advance from, for example, the accuracy of face orientation acquisition by the data acquisition unit 11. For example, the predetermined distance range is set to a range of 1.5 meters to 2.0 meters.
  • the determination unit 13 can acquire the depth of the subject in the world coordinate system (distance from the three-dimensional sensor 7) from the depth image.
  • FIG. 19 is a diagram illustrating an example of display output when the neck movable range is measured.
  • the arrangement of the display areas such as the video area D1 and the explanation area D2 is the same as in FIG.
  • the output processing unit 14 displays in the area D21 that the right-turning motion of the neck is selected by the user, displays the angle calculated by the calculation unit 12 in the area D22, and displays the maximum value of the angle in the area D23. To do.
  • the minimum value may be displayed as in the example of FIG.
  • the output processing unit 14 displays a two-dimensional image in the video area D1 as needed, and superimposes and displays a line segment connecting both shoulders on the two-dimensional image. Further, the output processing unit 14 displays a line segment connecting each part of the face based on the position information of each part of the face obtained together with the face orientation information. Further, the output processing unit 14 displays the subject's depth acquired by the determination unit 13 in the area D15 (1.65 meters), and displays the shoulder opening angle calculated by the calculation unit 12 in the area D16 (32). .7 degrees).
  • FIG. 20 is a flowchart illustrating an operation example of the measurement apparatus 10 according to the fourth embodiment.
  • the measurement method in the fourth embodiment is executed by at least one computer such as the measurement apparatus 10. Since each processing step shown in FIG. 20 is the same as the processing content of each processing module described above that the measurement apparatus 10 has, details of each processing step are omitted as appropriate.
  • the measuring apparatus 10 specifies either the right turning motion or the left turning motion selected by the user for the measurement of the neck range of motion in executing the processing steps shown in FIG.
  • the measuring device 10 may execute the right turn motion and the left turn motion automatically and sequentially.
  • the measuring apparatus 10 acquires the skeleton data of the subject existing in the visual field of the three-dimensional sensor 7 based on the information obtained from the three-dimensional sensor 7 (S201).
  • the acquired skeleton data is positional information of a plurality of predetermined parts of the limbs of the subject, which is used after (S202), and includes positional information of both shoulders.
  • the measuring apparatus 10 sequentially acquires the skeleton data at a predetermined cycle.
  • the acquisition method of the skeleton data is as described above (data acquisition unit 11).
  • the measurement apparatus 10 displays the two-dimensional image obtained from the three-dimensional sensor 7 sequentially, and superimposes a line segment connecting both shoulders on the two-dimensional image based on the skeleton data acquired in (S201). (S202). At this time, the measuring apparatus 10 can use the correspondence between the world coordinate system indicated by the skeleton data and the image coordinate system of the two-dimensional image.
  • the measuring apparatus 10 Based on the position information of both shoulders indicated by the skeleton data acquired in (S201), the measuring apparatus 10 determines an angle formed on a plane perpendicular to the y axis between the line segment connecting both shoulders and the x axis direction. The shoulder opening angle is calculated (S203). Then, the measuring apparatus 10 outputs the shoulder opening angle calculated in (S203) (S204). In the example of FIG. 19, the measuring apparatus 10 displays the shoulder opening angle calculated in (S203) in the area D16.
  • the measuring apparatus 10 acquires the depth information of the subject (S205).
  • the acquired depth information indicates the distance in the world coordinate system from the three-dimensional sensor 7 to the subject.
  • the measuring apparatus 10 outputs the depth of the subject indicated by the depth information acquired in (S205) (S206).
  • the measuring apparatus 10 displays the depth of the subject in the area D15.
  • the measuring apparatus 10 determines whether or not the shoulder opening angle calculated in (S203) is appropriate (S207). Specifically, the measuring apparatus 10 determines whether or not the shoulder opening angle is included in a predetermined angle range.
  • the predetermined angle range is as described above.
  • the measuring apparatus 10 executes (S201) and the subsequent steps again.
  • the measuring apparatus 10 When the shoulder opening angle is included in the predetermined angle range (S207; YES), the measuring apparatus 10 notifies that the shoulder opening angle is appropriate (S208).
  • the notification method in (S208) is not limited.
  • the measuring device 10 notifies by a predetermined voice. In this operation example, it is notified that the shoulder opening angle is appropriate, but it may be notified that the shoulder opening angle is not appropriate.
  • the measuring apparatus 10 acquires the face orientation information of the subject based on the information obtained from the three-dimensional sensor 7 (S209).
  • the method for acquiring the face orientation information is as described above. For example, when the face recognition is successful, the measurement apparatus 10 outputs “Start” indicating the start of measurement as illustrated in FIG.
  • the measurement start signal may be presented by display, or may be presented by voice or the like. Further, the measurement apparatus 10 may output “Ready” indicating the preparation stage until the face recognition is successful.
  • the measuring device 10 adds the shoulder opening angle calculated in (S203) and the angle indicated by the face orientation information acquired in (S209), and the ability index of the right or left turning motion of the neck Is calculated (S210). Then, the measuring apparatus 10 outputs the angle calculated in (S210) (S211). In the example of FIG. 19, the measuring apparatus 10 displays the angle calculated in (S210) in the area D22. At this time, the measuring apparatus 10 may output the angle in a state corresponding to the determination result of whether or not the depth of the subject indicated by the depth information acquired in (S205) is appropriate. For example, when the depth of the subject is included in the predetermined distance range, the measurement device 10 displays the angle in black characters, and when the depth of the subject is not included in the predetermined distance range, the angle is displayed in red characters. indicate.
  • the measuring apparatus 10 determines whether or not the depth of the subject indicated by the depth information acquired in (S205) is appropriate, and whether the angle calculated in (S210) shows a maximum value (S212). The measuring apparatus 10 determines whether or not the angle calculated in (S210) indicates the maximum angle among the sequentially calculated angles based on the skeleton data and the face orientation information acquired sequentially. Moreover, the measuring apparatus 10 determines whether a test subject's depth (distance) is contained in the predetermined distance range. The measuring apparatus 10 determines that the depth of the subject is appropriate when the depth of the subject is included in the predetermined distance range, and determines that the depth of the subject is not appropriate in other cases. The predetermined distance range is as described above.
  • the measuring apparatus 10 When it is determined that the depth of the subject is appropriate and the calculated angle indicates the maximum value (S212; YES), the measuring apparatus 10 outputs the angle calculated in (S210) as the maximum value ( S213). For example, as shown in the example of FIG. 19, the measuring apparatus 10 displays the angle calculated in (S210) in the area D23. On the other hand, when it is determined that the depth of the subject is inappropriate or the calculated angle is not the maximum value (S212; NO), the measuring apparatus 10 does not execute (S213). Furthermore, when it is determined that the depth of the subject is inappropriate, the measuring apparatus 10 excludes the angle calculated in (S210) from the selection candidates for the maximum value in the future. This is because if the depth of the subject is inappropriate, the accuracy of the orientation of the face of the subject to be acquired may be poor.
  • the measuring apparatus 10 After determining that the shoulder opening angle is appropriate (S207; YES), the measuring apparatus 10 obtains a two-dimensional image frame and a depth image (distance image) frame from the three-dimensional sensor 7 ( S209) and subsequent steps can be sequentially executed. Each processing step after (S209) may be executed at an interval longer than the period in which each frame can be acquired.
  • the execution order of the processing steps in the measurement method of the present embodiment is not limited to the example shown in FIG. The execution order of the processing steps can be changed within a range that does not hinder the contents. For example, (S202) may be executed after (S203). Further, (S205) and (S206) may be executed before (S202).
  • the opening angle of both shoulders is calculated based on the position information of both shoulders indicated by the skeleton data.
  • the opening angle of both shoulders indicates the degree to which the subject pulls the right shoulder or the left shoulder away from the three-dimensional sensor 7 (z-axis direction) from the state in which the subject faces the three-dimensional sensor 7. Then, based on the information obtained from the three-dimensional sensor 7, the orientation (angle) of the subject's face is specified, and the right turning motion of the neck or the left is determined by adding the specified orientation of the face and the opening angle of both shoulders. An angle serving as a capability index for the rotational motion is calculated.
  • the direction (angle) of the face that can be specified based on the information obtained from the three-dimensional sensor 7 is limited.
  • the fourth embodiment by matching the opening angle of both shoulders, It is possible to accurately measure the ability index of the turning motion or the left turning motion.
  • the fourth embodiment it is determined whether the shoulder opening angle is included in a predetermined angle range or whether the subject is positioned within a predetermined distance range from the three-dimensional sensor 7. Then, the determination result of whether or not the shoulder opening angle is included in the predetermined angle range is notified, and in a state corresponding to the determination result of whether or not the subject is positioned within the predetermined distance range from the three-dimensional sensor 7. The angle is output. Thereby, the test subject can measure the range of motion of the neck with an appropriate posture by confirming the notification and the output. That is, according to the fourth embodiment, the usability of measuring the range of motion of the neck can be improved.
  • the three-dimensional sensor 7 is arranged so as to face the horizontal direction in the real world.
  • the three-dimensional sensor 7 may be arranged so as to face the vertical direction for measurement of the crotch movable range and the like.
  • the vertical direction of the real world is set to the z axis
  • the horizontal plane of the real world is set to the xy plane.
  • the operation detection unit 15 detects a user operation for selecting a bending motion for measurement of the crotch range of motion.
  • the ability index of the flexion movement of the crotch is measured for each of the left foot and the right foot.
  • the operation detection unit 15 may detect a selection operation to determine which of the left and right is to be measured with respect to the crotch bending motion.
  • the data acquisition unit 11 performs position information on the subject's hips and knees based on information obtained from the three-dimensional sensor.
  • the calculation unit 12 uses the waist position as an end point, the y-axis negative direction line segment, and the line segment connecting the waist position and the knee position.
  • An angle formed on a plane (yz plane) orthogonal to the axial direction is calculated as a capability index for crotch flexion motion.
  • FIG. 21 is a diagram illustrating a method for calculating a crotch ability index.
  • the calculation unit 12 is a plane orthogonal to the x-axis between a line segment L17 in the negative y-axis direction with the right hip position P17 as an end point and a line segment L18 connecting the right hip position P17 and the right knee position P18 ( An angle A ⁇ b> 17 formed on the yz plane (the paper surface of FIG. 21) is calculated as an ability index for the right crotch bending motion.
  • the calculation unit 12 similarly calculates the ability index of the flexion movement of the left crotch.
  • FIG. 22 is a diagram illustrating an example of display output by the output processing unit 14 in the supplementary example.
  • the output processing unit 14 displays in the area D21 that the crotch flexion movement has been selected by the user, displays the angle calculated by the calculation unit 12 in the area D22, and displays the maximum value of the angle in the area D23. To display.
  • the output processing unit 14 displays a two-dimensional image in the video area D1 as needed, and superimposes marks on the positions of the left knee, left waist, and left shoulder on the two-dimensional image.
  • the measurement is performed with the subject lying on the floor.
  • the three-dimensional sensor 7 is realized as a sensor in which a visible light camera and a depth sensor are integrated, and the measurement device 10 (data acquisition unit 11) can receive a two-dimensional image from the three-dimensional sensor 7. And depth images were acquired.
  • the method for realizing the three-dimensional sensor 7 is not limited, and the three-dimensional sensor 7 may be realized as a plurality of imaging devices that capture the marker attached to the subject, or the position of the infrared marker attached to the subject. It may include a plurality of infrared sensors for detecting. In this case, before the measurement, a marker is attached to a necessary part of the subject's limb.
  • the measuring device 10 can acquire position information (skeleton data) of a plurality of predetermined parts of the limb of the subject by detecting the position of the marker with a plurality of imaging devices or infrared sensors. Furthermore, when attaching each marker to each part, by measuring the distance (interval) in the real world between the markers in advance, from the acquired position information to the distance between the parts in the world coordinate system and the subject Can be calculated. However, since the depth image is not acquired when the depth sensor is not included, the position information acquired by detecting the marker may be used.
  • the fifth embodiment may be a program that causes at least one computer to execute this measurement method, or may be a recording medium that can be read by at least one computer that records such a program. .
  • FIG. 23 is a diagram conceptually illustrating a processing configuration example of the measurement apparatus 100 according to the fifth embodiment.
  • the measurement apparatus 100 includes an acquisition unit 101, a calculation unit 102, a determination unit 103, and an output processing unit 104.
  • the measurement apparatus 100 has, for example, the same hardware configuration as the above-described measurement apparatus 10 illustrated in FIG. 1, and each processing module described above is realized by processing a program in the same manner as the measurement apparatus 10.
  • the measurement apparatus 100 has, for example, the same hardware configuration as the above-described measurement apparatus 10 illustrated in FIG. 1, and each processing module described above is realized by processing a program in the same manner as the measurement apparatus 10.
  • the acquisition unit 101 acquires position information or orientation information of a predetermined part in the subject's limb. For example, the acquisition unit 101 acquires the position information or the direction information thereof based on information obtained from the three-dimensional sensor 7. Further, the acquisition unit 101 may acquire the position information or the direction information from another computer. A specific example of the acquisition unit 101 is the data acquisition unit 11 described above.
  • the calculation unit 102 calculates an angle or a distance that is a capability index of the subject's limb based on the position information or the orientation information acquired by the acquisition unit 101.
  • a specific example of the calculation unit 102 is the calculation unit 12 described above, and the calculation unit 102 calculates an angle or a distance by any one or more of the methods described above or other methods.
  • the ability index of the subject's limb calculated by the calculation unit 102 includes shoulder flexion movement, extension movement, abduction movement, adduction movement, external rotation movement, internal rotation movement, horizontal extension movement, horizontal bending movement, It may be one or more ability indexes of flexion movement, right and left neck rotation movement, thoracolumbar flexion movement, and functional reach test, or other parts defined in Non-Patent Document 1. May be an ability index.
  • the determination unit 103 determines whether the posture of the subject is appropriate based on the position information or the orientation information acquired by the acquisition unit 101.
  • a specific example of the determination unit 103 is the determination unit 13 described above, and the determination unit 103 determines the suitability of the posture of the subject by any one or more of the methods described above or other methods.
  • the correct posture of the subject is determined in advance according to the part of the limb and the type of movement to be measured.
  • the output processing unit 104 outputs the angle or distance calculated by the calculation unit 102 in a state corresponding to the determination result of the suitability of the subject's posture.
  • the output method of the output processing unit 104 is not limited.
  • the output processing unit 104 may display the angle or distance on the display device 5, print it on a printer device connected to the communication unit 4, or send it to another computer via the communication unit 4. May be. Further, the output processing unit 104 can also output a voice that reads out an angle or a distance.
  • the state in which the angle or distance is output may be any state as long as it reflects the determination result of the suitability of the posture of the subject.
  • the output processing unit 104 can switch the color, font type, line thickness, background, or position used to output the angle or distance according to the determination result of the suitability of the posture. Further, the output processing unit 104 may output a sound that reads out an angle or a distance with different sound volumes.
  • FIG. 24 is a flowchart showing an operation example of the measuring apparatus 100 according to the fifth embodiment. As shown in FIG. 24, the measurement method in the fifth embodiment is executed by at least one computer such as the measurement apparatus 100. Each processing step shown in FIG. 24 is the same as the processing contents of the above-described processing modules included in the measurement apparatus 100, and therefore details of each processing step are omitted as appropriate.
  • the measurement method in the present embodiment includes processing steps (S241), (S242), (S243), and (S244), as shown in FIG.
  • the measuring apparatus 100 acquires position information or orientation information of a predetermined part in the limb of the subject.
  • the measuring apparatus 100 calculates an angle or distance that is a capability index of the limb of the subject based on the position information or orientation information acquired in (S241).
  • the measuring apparatus 100 determines the suitability of the posture of the subject based on the position information or orientation information acquired in (S241).
  • the measuring apparatus 100 outputs the angle or distance calculated in (S242) in a state corresponding to the result of the determination of suitability of the posture of the subject (S243).
  • an angle or distance that is a capability index of the subject's limb is calculated, and whether or not the posture of the subject is appropriate is determined. Then, the calculated angle or distance is output in a state corresponding to the determination result of the suitability of the subject's posture. Therefore, according to the fifth embodiment, since the person who sees the output can immediately grasp whether the subject is measuring in an inappropriate posture or in an appropriate posture, the subject In addition, measurement in a correct posture can be promoted. As a result, according to the fifth embodiment, the limb ability of the subject can be accurately measured.
  • a measuring apparatus comprising: 2.
  • the output processing means determines whether or not line segments connecting a plurality of predetermined parts corresponding to a plurality of position information used for calculating the angle or the distance on the image including the subject are appropriate for the posture of the subject.
  • the measuring device described in 1. 3 The acquisition means sequentially acquires position information or orientation information of a predetermined part in the limb of the subject, The calculation means sequentially calculates the angle or the distance based on the sequentially acquired position information or orientation information, The output processing means outputs the maximum value or the minimum value among the angles or distances sequentially calculated with respect to the subject, and calculates the angle or distance calculated when the posture of the subject is determined to be inappropriate. Exclude it from the selection candidates for the maximum or minimum value, 1. Or 2. The measuring device described in 1. 4).
  • the acquisition means acquires the subject's shoulder and hand position information based on information obtained from a three-dimensional sensor
  • the calculation means uses the shoulder position as an end point and a line segment connecting the shoulder position and the hand position to the vertical downward line segment of the field of view of the three-dimensional sensor. And an angle formed on a plane perpendicular to the horizontal direction or depth direction of the field of view of the three-dimensional sensor, as a capability index of shoulder flexion movement, extension movement, abduction movement, or adduction movement, 1.
  • the measuring apparatus as described in any one of these. 5.
  • the acquisition means acquires the subject's elbow and hand position information based on information obtained from a three-dimensional sensor, Based on the acquired position information, the calculation means calculates the line segment in the reverse direction of the depth direction of the field of view of the three-dimensional sensor, the position of the elbow, and the position of the hand based on the position of the elbow.
  • An angle formed with a connecting line segment on a plane perpendicular to the vertical direction of the visual field of the three-dimensional sensor is calculated as a capability index of external or internal rotation of the shoulder. 1.
  • the measuring apparatus as described in any one of these. 6).
  • the acquisition means acquires the subject's shoulder and hand position information based on information obtained from a three-dimensional sensor
  • the calculation means uses a horizontal line segment of the field of view of the three-dimensional sensor with the shoulder position as an end point, and a line segment connecting the shoulder position and the hand position. And an angle formed on a plane perpendicular to the vertical direction of the field of view of the three-dimensional sensor is calculated as a capability index of horizontal extension movement or horizontal bending movement of the shoulder, 1. To 5.
  • the measuring apparatus as described in any one of these. 7).
  • the acquisition means acquires position information of the subject's waist and knees based on information obtained from a three-dimensional sensor
  • the calculation means uses the waist position as an end point and a line segment connecting the waist position and the knee position to the vertical downward line segment of the field of view of the three-dimensional sensor. And an angle formed on a plane orthogonal to the horizontal direction of the field of view of the three-dimensional sensor, as a capability index of the crotch bending motion, 1.
  • the measuring apparatus as described in any one of these. 8).
  • the acquisition means acquires direction information of the subject's face and position information of both shoulders based on information obtained from a three-dimensional sensor, Based on the acquired position information, the calculation means includes a line segment connecting the shoulders and a horizontal direction of the visual field of the three-dimensional sensor on a plane orthogonal to the vertical direction of the visual field of the three-dimensional sensor. Is calculated as a shoulder opening angle, and based on the acquired orientation information and the calculated shoulder opening angle, an angle serving as a capability index for right or left turning motion of the neck is calculated. , 1. To 7. The measuring apparatus as described in any one of these. 9. Informing means for informing a determination result as to whether or not the calculated shoulder opening angle is included in a predetermined angle range; Is further provided. The measuring device described in 1. 10.
  • the determination means determines whether or not the calculated shoulder opening angle is included in a predetermined angle range, and whether or not the subject is located within a predetermined distance range from the three-dimensional sensor; 8). Or 9.
  • the acquisition means acquires the position information of the floor surface and the position information of the toe of the subject based on the depth image of the lower body of the subject obtained from a three-dimensional sensor, and the position of the toe indicated by the acquired position information Based on the depth image of the subject on the outer side, obtain the position information of the fingertip of the subject's hand,
  • the calculation means calculates the distance from the fingertip of the hand to the floor surface based on the position information of the floor surface and the position information of the fingertip of the subject's hand, 1. To 10.
  • the measuring apparatus as described in any one of these. 12
  • Image acquisition means for continuously acquiring images including the subject from the three-dimensional sensor; Further comprising
  • the output processing means includes While sequentially displaying the acquired images, based on the acquired toe position information, a mark is superimposed on the toe position of the subject on the displayed image, An image located on the outside of the toe of the subject included in the sequentially displayed image while the mark is fixedly superimposed on the sequentially displayed image by detecting a predetermined event after the mark is superimposed Coloring the area according to the depth information of the subject, 11.
  • the acquisition means sequentially acquires a depth image of the whole body of the subject based on information obtained from a three-dimensional sensor, sequentially acquires position information of fingertips of the subject's hand based on the depth image, and Holds the fingertip position information that was obtained when the event was detected,
  • the calculation means calculates the distance in the horizontal direction of the visual field of the three-dimensional sensor between the fingertips of the hand based on the position information of the fingertips of the held hand and the newly acquired position information of the fingertips of the hand. To calculate, 1. To 12.
  • the measuring apparatus as described in any one of these.
  • Obtain position information or orientation information of a predetermined part in the limb of the subject Based on the acquired position information or orientation information, calculate an angle or distance that is a capability index of the limb of the subject, Based on the acquired position information or orientation information, determine the suitability of the posture of the subject, In the state corresponding to the determination result of the suitability of the posture of the subject, the calculated angle or distance is output.
  • a measuring method including 15. A line segment connecting a plurality of predetermined parts corresponding to a plurality of position information used for calculating the angle or the distance on the image including the subject is in a state corresponding to the determination result of the suitability of the posture of the subject. , Further output the superimposed display, Including.
  • the measuring method as described in. 16 Sequentially acquiring position information or orientation information of a predetermined part in the limb of the subject, Based on the sequentially acquired position information or orientation information, sequentially calculate the angle or the distance, Among the angles or distances sequentially calculated with respect to the subject, the maximum value or the minimum value is output, and the angle or distance calculated when the posture of the subject is determined to be inappropriate is the maximum value or the minimum value. Exclude from the selection of Further includes: Or 15. The measuring method as described in. 17.
  • the obtaining includes obtaining position information of the subject's shoulders and hands based on information obtained from a three-dimensional sensor; The calculation is based on the acquired position information, with the shoulder position as an end point, a vertically downward line segment of the field of view of the three-dimensional sensor, and a line segment connecting the shoulder position and the hand position. Calculating an angle formed on a plane perpendicular to a horizontal direction or a depth direction of the visual field of the three-dimensional sensor as a capability index of shoulder flexion movement, extension movement, abduction movement, or adduction movement. 14 To 16. The measuring method as described in any one of these. 18.
  • the obtaining includes obtaining the elbow and hand position information of the subject based on information obtained from a three-dimensional sensor;
  • the calculation is based on the acquired position information and connects the elbow position to the opposite line segment in the depth direction of the field of view of the three-dimensional sensor, and the elbow position and the hand position.
  • the measuring method as described in any one of these. 19.
  • the obtaining includes obtaining position information of the subject's shoulders and hands based on information obtained from a three-dimensional sensor; The calculation is based on the acquired position information, a line segment in the horizontal direction of the field of view of the three-dimensional sensor with the shoulder position as an end point, and a line segment connecting the shoulder position and the hand position. Calculating an angle formed on a plane perpendicular to the vertical direction of the visual field of the three-dimensional sensor as a capability index of horizontal extension movement or horizontal bending movement of the shoulder, 14 To 18. The measuring method as described in any one of these. 20.
  • the acquisition includes acquiring position information of the subject's hips and knees based on information obtained from a three-dimensional sensor; The calculation is based on the acquired position information, and a line segment that connects the waist position and the knee position, and a vertical line segment of the field of view of the three-dimensional sensor with the waist position as an end point. Calculating an angle formed on a plane perpendicular to the horizontal direction of the visual field of the three-dimensional sensor as a capability index of crotch flexion movement, 14 To 19. The measuring method as described in any one of these. 21.
  • the obtaining includes obtaining direction information of the subject's face and position information of both shoulders based on information obtained from a three-dimensional sensor;
  • the calculation is based on the acquired position information on a plane perpendicular to the vertical direction of the field of view of the three-dimensional sensor between the line segment connecting the shoulders and the horizontal direction of the field of view of the three-dimensional sensor.
  • the angle formed is calculated as a shoulder opening angle, and based on the acquired orientation information and the calculated shoulder opening angle, an angle serving as a capability index for right or left rotation of the neck is calculated. including, 14 To 20.
  • the measuring method as described in any one of these. 22. Informing the determination result of whether or not the calculated shoulder opening angle is included in a predetermined angle range, Further includes 21.
  • the determination includes determining whether the calculated shoulder opening angle is included in a predetermined angle range, and determining whether the subject is located within a predetermined distance range from the three-dimensional sensor. 21. Or 22.
  • the acquisition is based on a depth image of the lower body of the subject obtained from a three-dimensional sensor, and acquires floor surface position information and position information of the toe of the subject, and from the position of the toe indicated by the acquired position information Obtaining the position information of the fingertip of the subject's hand based on the depth image of the subject on the outside,
  • the calculation includes calculating a distance from the fingertip of the hand to the floor surface based on the position information of the floor surface and the position information of the fingertip of the subject's hand, 14 To 23.
  • the measuring method as described in any one of these. 25 Continuously acquiring images including the subject from the three-dimensional sensor; While sequentially displaying the acquired images, based on the acquired toe position information, a mark is superimposed on the toe position of the subject on the displayed image, An image located on the outside of the toe of the subject included in the sequentially displayed image while the mark is fixedly superimposed on the sequentially displayed image by detecting a predetermined event after the mark is superimposed Coloring the area according to the depth information of the subject, 24.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Rehabilitation Tools (AREA)

Abstract

測定装置は、被験者の肢体における所定部位の位置情報又は向き情報を取得する取得部と、取得された位置情報又は向き情報に基づいて、当該被験者の肢体の能力指標となる角度又は距離を算出する算出部と、取得された位置情報又は向き情報に基づいて、当該被験者の姿勢の適否を判定する判定部と、当該被験者の姿勢の適否の判定結果に対応する状態で、算出された角度又は距離を出力する出力処理部と、を有する。

Description

測定装置及び測定方法
 本発明は、人の肢体能力の測定技術に関する。
 現在、モーションキャプチャ技術や三次元センシング技術を用いて、人の動きを三次元で捉え、デジタルデータ化する様々なアプリケーションが存在する。映画やゲームにおけるCG(Computer Graphics)キャラクタの生成やスポーツ分析を行うアプリケーションや、ジェスチャ操作を認識するアプリケーション等が例示される。モーションキャプチャの方式には、人の体に複数のマーカやセンサを取り付け、各マーカの検出や各センサのセンシングにより、人の動きを三次元データ化する方式が存在する。また、三次元センサから得られる三次元情報を用いて人体の姿勢推定を行うことで、人体にマーカやセンサを付すことなく、人の動きを三次元データ化する方式も存在する。人体の姿勢推定では、三次元情報から人の肢体の各部位(頭、手、腕、脚など)が認識され、各部位の動きが記録される。
 下記特許文献1では、Kinect(登録商標)から得られる情報に基づいて人物の動作情報(カラー画像情報、距離画像情報、骨格情報等)が取得される度に、リハビリテーションの評価の指標となる指標値を測定する装置が提案されている。この提案では、肩の屈曲伸展、肩の水平屈曲伸展、肩甲帯の屈曲伸展、股の屈曲伸展、頭部の前屈後屈、胸腰部の前屈後屈及び胸腰部の回旋のうちの少なくとも一つの指標値が測定される。
 下記非特許文献1には、関節可動域の正しい測定方法が規定されている。
 下記非特許文献2では、KINECT(登録商標)から得られる骨格情報を用いて、関節可動域をリアルタイムに測定する手法が提案されている。この手法では、骨格情報が表示され、マウスを測定対象となり得る関節に重ねると、その関節での計測項目が表示される。そして、希望する計測項目を選択することで、計測が開始される。但し、この文献には、具体的な計測手法については開示されていない。
特開2015-61579号公報
"関節可動域表示ならびに測定法",日本整形外科学会・日本リハビリテーション医学会,リハビリテーション医学32,207-217,1995年 狐崎 直文ほか,"KINECTのリハビリテーション用アプリケーションの実用化",電子情報通信学会,信学技法,IE2012-89(2012-11)
 しかしながら、上記各提案手法では、リハビリテーションの評価の指標値が正確に測定できない場合がある。正しく測定するためには、被験者が正しい姿勢で決められた動きをする必要がある。例えば、肩の屈曲運動の際に、脊柱が前後屈した姿勢で計測された場合には、正しい評価結果が得られない。
 より具体的な場面に基づいて、上述の課題を更に詳述する。例えば、被験者が、上述の提案手法を用いたシステムを一人で利用して自動で上記評価の指標値を測定する場面を想定する。被験者は、このシステムの利用に慣れていない時点では、計測中の正しい姿勢や動きを知らないため、そのシステムを利用したとしても、正しい値を測定できない可能性が高い。被験者が正しい姿勢や動きを或る程度覚えたとしても、被験者が測定時に正しい姿勢を取るとは限らない。人間は、体のくせ等により、無意識に、自身にとって易しい姿勢や動きを取る傾向にあるため、被験者は、正しい姿勢や動きを行っているつもりでも、無意識に誤った姿勢や動きを行う可能性がある。また、計測者が付き添ってそのシステムを利用する場面でも、正しい値が測定されるとは限らない。正しい姿勢を判断するための検査項目は複数有り、被験者の姿勢が絶えず変化している中、そのような複数の検査項目を逐次チェックするのは計測者にとって負荷が高い。よって、計測者による姿勢や動きのチェックには、見落としや判断間違いなどのヒューマンエラーが生じ易く、計測者自身の主観も入るため評価にバラつきが生じる可能性もある。
 本発明は、このような事情に鑑みてなされたものであり、被験者の肢体能力を正確に測定する技術を提供する。
 本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
 第一の側面は、測定装置に関する。第一の側面に係る測定装置は、被験者の肢体における所定部位の位置情報又は向き情報を取得する取得部と、取得された位置情報又は向き情報に基づいて、当該被験者の肢体の能力指標となる角度又は距離を算出する算出部と、取得された位置情報又は向き情報に基づいて、当該被験者の姿勢の適否を判定する判定部と、当該被験者の姿勢の適否の判定結果に対応する状態で、算出された角度又は距離を出力する出力処理部と、を有する。
 第二の側面は、少なくとも一つのコンピュータにより実行される測定方法に関する。第二の側面に係る測定方法は、被験者の肢体における所定部位の位置情報又は向き情報を取得し、前記取得された位置情報又は向き情報に基づいて、前記被験者の肢体の能力指標となる角度又は距離を算出し、前記取得された位置情報又は向き情報に基づいて、前記被験者の姿勢の適否を判定し、前記被験者の姿勢の適否の判定結果に対応する状態で、前記算出された角度又は距離を出力する、ことを含む。
 なお、本発明の他の側面は、上記第二の側面の方法を少なくとも一つのコンピュータに実行させるプログラム、又はこのようなプログラムを記録したコンピュータが読み取り可能な記録媒体である。この記録媒体は、非一時的な有形の媒体を含む。
 上記各側面によれば、被験者の肢体能力を正確に測定する技術を提供することができる。
 上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第一実施形態における測定装置のハードウェア構成例を概念的に示す図である。 第一実施形態における測定装置の処理構成例を概念的に示す図である。 肩の能力指標の算出方法を示す図である。 肩の屈曲運動の能力を計測する際の表示出力の例を示す図である。 肩の外転運動の能力を計測する際の表示出力の例を示す図である。 肩の外旋運動の能力を計測する際の表示出力の例を示す図である。 肩の水平屈曲運動の能力を計測する際の表示出力の例を示す図である。 第一実施形態における測定装置の動作例を示すフローチャートである。 胸腰部の屈曲運動に関する能力指標の算出方法を示す図である。 胸腰部の屈曲運動の能力を計測する際の表示出力の例を示す図である。 胸腰部の屈曲運動の能力を計測する際の表示出力の例を示す図である。 第二実施形態における測定装置の動作例を示すフローチャートである。 第二実施形態における測定装置の動作例を示すフローチャートである。 ファンクショナルリーチテストの能力を計測する際の表示出力の例を示す図である。 第三実施形態における測定装置の動作例を示すフローチャートである。 第三実施形態における測定装置の動作例を示すフローチャートである。 第四実施形態における測定装置の処理構成例を概念的に示す図である。 首の能力指標の算出方法を示す図である。 首可動域を計測する際の表示出力の例を示す図である。 第四実施形態における測定装置の動作例を示すフローチャートである。 股の能力指標の算出方法を示す図である。 補足例における出力処理部による表示出力の例を示す図である。 第五実施形態における測定装置の処理構成例を概念的に示す図である。 第五実施形態における測定装置の動作例を示すフローチャートである。
 以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。
[第一実施形態]
〔装置構成〕
 図1は、第一実施形態における測定装置10のハードウェア構成例を概念的に示す図である。第一実施形態における測定装置10は、いわゆるコンピュータであり、例えば、バスで相互に接続される、CPU(Central Processing Unit)1、メモリ2、入出力インタフェース(I/F)3、通信ユニット4等を有する。
 CPU1には、一般的なCPUに加えて、特定用途向け集積回路(ASIC)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)等も含まれる。
 メモリ2は、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(ハードディスク等)である。
 入出力I/F3は、表示装置5、入力装置6等のユーザインタフェース装置と接続可能である。表示装置5は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイのような、CPU1等により処理された描画データに対応する画面を表示する装置である。入力装置6は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。表示装置5及び入力装置6は一体化され、タッチパネルとして実現されてもよい。また、入力装置6は、音声を取得するマイクロフォンユニットであってもよい。入出力I/F3には、スピーカユニット等のような他の出力装置が接続されてもよい。
 通信ユニット4は、他のコンピュータとの通信網(図示せず)を介した通信や、プリンタ等のような他の機器との信号のやりとり等を行う。通信ユニット4には、USB(Universal Serial Bus)等により三次元センサ7と接続される。但し、通信ユニット4と三次元センサ7との通信形態は制限されない。また、通信ユニット4には、可搬型記録媒体等も接続され得る。
 三次元センサ7は、三次元情報を検出する。三次元センサ7は、例えば、Kinect(登録商標)や3Dカメラのように、可視光カメラ及び深度センサが統合されたセンサとして実現される。深度センサは、距離画像センサとも呼ばれ、レーザから近赤外光のパターンを対象者に照射し、そのパターンを近赤外光を検知するカメラで撮像して得られる情報から距離画像センサから対象者までの距離が算出される。三次元センサ7は、視野内の被験者の所定部位の三次元位置を検出することができれば、その実現手法は制限されない。例えば、三次元センサ7は、複数の可視光カメラを用いる三次元スキャナ方式で実現されてもよい。以下の説明では、説明を分かり易くするために、三次元センサ7は、可視光カメラ及び深度センサが統合されたセンサであると仮定する。
 測定装置10のハードウェア構成は、図1に示される例に限定されない。測定装置10は、図示されていない他のハードウェア要素を含み得る。また、各ハードウェア要素の数も、図1の例に制限されない。例えば、測定装置10は、複数のCPU1を有していてもよい。
〔処理構成〕
 図2は、第一実施形態における測定装置10の処理構成例を概念的に示す図である。第一実施形態における測定装置10は、データ取得部11、算出部12、判定部13、出力処理部14、操作検出部15等を有する。これら各処理モジュールは、例えば、CPU1によりメモリ2に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット4を介してインストールされ、メモリ2に格納されてもよい。
 操作検出部15は、ユーザ操作を検出する。具体的には、操作検出部15は、入出力I/F3から入力される情報に基づいて、入力装置6に対するユーザ操作を検出する。例えば、操作検出部15は、肩可動域の計測のために予め決められた複数の運動種の中から一つの運動種を選択する操作を検出する。本実施形態では、操作検出部15は、肩の、屈曲運動、伸展運動、外転運動、内転運動、外旋運動、内旋運動、水平伸展運動、及び水平屈曲運動の中から、一つの運動種を選択するユーザ操作を検出する。当該複数の運動種の中には、右及び左の各々について、計測が必要となる運動種が存在し得る。なお、本実施形態で対象とされる肩の可動域の測定のための各運動は、右及び左の各々についての計測が必要となる。左右の計測が必要となる運動種が選択された場合には、操作検出部15は、運動種と共に、左右のどちらを計測するのかの選択操作を検出してもよい。操作検出部15は、その検出されたユーザ操作に基づいて、ユーザにより選択された運動種をデータ取得部11、算出部12及び判定部13に伝える。
 データ取得部11は、三次元センサ7から得られる情報に基づいて、被験者の肢体の複数の所定部位の位置情報を取得する。データ取得部11は、算出部12及び判定部13により利用される所定部位の位置情報のみを取得してもよいし、出来る限り多くの所定部位の位置情報を取得してもよい。取得される位置情報は、被験者が実際に存在する三次元空間に相当する世界座標系で表される。例えば、取得される位置情報は、三次元センサ7の視野の中心を原点として、左右方向をx軸(右方向を正)、上下方向をy軸(上方向を正)、深度方向(奥行方向を正)をz軸とする世界座標系により表される。以下、この世界座標系の例を用いて説明される。但し、世界座標系の三軸及び原点の配置は、このような例に限定されない。
 例えば、データ取得部11は、三次元センサ7から二次元画像のフレーム及び深度画像(距離画像)のフレームを所定周期で取得する。両フレームは、同じ周期で取得されてもよいし、異なる周期で取得されてもよい。以降、各フレームは、二次元画像及び深度画像と略称される。データ取得部11は、姿勢推定技術を用いて、取得された二次元画像及び深度画像から、三次元センサ7の視野内に位置する被験者の肢体の複数の所定部位を認識し、各部位の三次元位置(世界座標系)を特定する。データ取得部11は、既存の様々な姿勢推定技術を用いることができる。例えば、データ取得部11は、左肩、左肘、左手首、左手、右肩、右肘、右手首、右手、頭、肩中央、背骨、腰中央、右腰、左腰、右膝、右かかと、右足、左膝、左かかと、左足のような、肢体の複数部位の位置情報を取得することができる。以降、データ取得部11により取得される、被験者の肢体の所定部位の位置情報を骨格データと表記する場合もある。データ取得部11は、フレームが取得される度に、骨格データを順次取得する。
 算出部12は、データ取得部11により順次取得される骨格データに基づいて、被験者の肩の能力指標となる角度を順次算出する。算出部12は、肩可動域の計測のために予め決められた複数の運動種の中で、ユーザにより選択された運動種の能力指標となる角度を算出する。例えば、算出部12は、肩の、屈曲運動、伸展運動、外転運動、内転運動、外旋運動、内旋運動、水平伸展運動、又は水平屈曲運動の能力指標となる角度を算出する。算出される角度は、肩可動域を示す。左右の計測が必要となる運動種が選択された場合には、算出部12は、測定すべき方向(左か右か)を自動で決定してもよいし、操作検出部15により検出されたユーザ操作により決定してもよい。
 算出部12は、非特許文献1で示される規定に準拠した次のような方法で角度(肩可動域)を算出する。
 算出部12は、取得された骨格データに基づいて、肩の位置を端点としy軸負方向の線分と、肩の位置と手の位置とを結ぶ線分との、x軸又はz軸と直交する平面上になす角度を、肩の屈曲運動、伸展運動、外転運動、又は内転運動の能力指標として算出する。また、算出部12は、取得された骨格データに基づいて、肘の位置を端点としz軸手前向きの線分と、肘の位置と手の位置とを結ぶ線分との、y軸に直交する平面上になす角度を、肩の外旋運動又は内旋運動の能力指標として算出する。また、算出部12は、取得された骨格データに基づいて、肩の位置を端点としx軸方向の線分と、肩の位置と手の位置とを結ぶ線分との、y軸に直交する平面上になす角度を、肩の水平伸展運動又は水平屈曲運動の能力指標として算出する。図3を用いて、この算出処理を更に詳細に説明する。
 図3は、肩の能力指標の算出方法を示す図である。但し、図3では、右肩及び左肩のうちの一方の肩の能力指標の算出方法のみが示されている。図3に示されていない側の肩の能力指標も同じ考え方で算出することができる。
 算出部12は、肩の位置P1を端点としy軸負方向の線分L1と、肩の位置P1と手の位置P2とを結ぶ線分L2との、x軸に直交する平面(yz平面、図3の紙面)上になす角度A1を肩の屈曲運動の能力指標として算出する。
 算出部12は、線分L1と、線分L2との、x軸に直交する平面(yz平面、図3の紙面)上になす角度A2を肩の伸展運動の能力指標として算出する。
 算出部12は、肩の位置P3を端点としy軸負方向の線分L3と、肩の位置P3と手の位置P4とを結ぶ線分L4との、z軸に直交する平面(xy平面、図3の紙面)上になす角度A3を肩の外転運動又は内転運動の能力指標として算出する。
 算出部12は、肘の位置P5を端点としz軸負方向の線分L5と、肘の位置P5と手の位置P6とを結ぶ線分L6との、y軸に直交する平面(xz平面、図3の紙面)上になす角度A5を、肩の外旋運動の能力指標として算出する。
 算出部12は、線分L5と、線分L6との、y軸に直交する平面(xz平面、図3の紙面)上になす角度A6を、肩の内旋運動の能力指標として算出する。
 算出部12は、肩の位置P7を端点としx軸負方向の線分L7と、肩の位置P7と手の位置P8とを結ぶ線分L8との、y軸に直交する平面(xz平面、図3の紙面)上になす角度A7を、肩の水平屈曲運動の能力指標として算出する。
 算出部12は、線分L7と、線分L8との、y軸に直交する平面(xz平面、図3の紙面)上になす角度A8を、肩の水平伸展運動の能力指標として算出する。
 判定部13は、データ取得部11により取得される骨格データに基づいて、被験者の姿勢の適否を判定する。例えば、判定部13は、算出部12により、肩の屈曲運動、伸展運動、外転運動、内転運動、水平伸展運動、又は水平屈曲運動の能力指標値が算出される場合、体を前後に曲げていること、肘を曲げていること、肩が水平になっていないこと、いずれか一方の肩を前後に動かしていること等を検出することで、被験者の姿勢が不適切であると判定する。それらが検出されない場合には、判定部13は、被験者の姿勢が適切と判定する。また、判定部13は、算出部12により、肩可動域における外旋運動又は内旋運動の能力指標値が算出される場合、体を前後に曲げていること、肘を90度に曲げていないこと、動作している腕の肩を後ろ側に引いていること等を検出することで、被験者の姿勢が不適切であると判定する。但し、判定部13により判定される被験者の姿勢は、このような例に限定されない。
 具体的には、判定部13は、頭、肩中央、背骨、及び腰中央の骨格データに基づいて、頭、肩中央、背骨、及び腰中央のz軸上の各位置のズレ具合を算出する。判定部13は、算出されたズレ具合が所定距離を超える場合に、体を前後に曲げているとして、被験者の姿勢が不適切であると判定する。また、判定部13は、肩、肘、及び手の骨格データに基づいて、肘の角度を算出し、肘の角度が所定角度以下である場合に、被験者が肘を曲げているとして、被験者の姿勢が不適切であると判定する。また、判定部13は、両肩の骨格データに基づいて、両肩を結ぶ線分とx軸とのxz平面上になす角度を算出し、その角度が所定角度を超えている場合に、動作している腕の肩を後ろ側に引いているとして、被験者の姿勢が不適切であると判定する。判定部13は、肩、肘、及び手の骨格データに基づいて、肘の角度を算出し、肘の角度が90度未満である場合に、肘を90度に曲げていないとして、被験者の姿勢が不適切であると判定する。
 出力処理部14は、被験者の姿勢の適否の判定結果に対応する状態で、算出部12により算出された角度を出力する。例えば、出力処理部14は、判定部13による判定結果に対応する色で、算出部12により算出された角度を出力する。出力処理部14は、判定部13により被験者の姿勢が不適切であると判定されていない場合、その判定に用いられた骨格データと同時期に取得された骨格データから算出された角度を黒色で出力する。出力処理部14は、姿勢が不適切であると判定された場合、そのときの角度を赤色で出力する。他の例として、出力処理部14は、姿勢が不適切であると判定された場合、角度を点滅させて出力してもよいし、角度の背景色を変えてもよいし、角度の表示出力と共に所定の音声を出力してもよい。
 また、出力処理部14は、被験者を含む画像上に、角度の算出に用いられる骨格データに対応する複数の所定部位間を結ぶ線分が、被験者の姿勢の適否の判定結果に対応する状態で、重畳された表示を出力することもできる。例えば、出力処理部14は、判定部13による判定結果に対応する色で着色された当該線分が被験者を含む画像に重畳された表示を出力する。他の例として、出力処理部14は、姿勢が不適切であると判定された場合、当該線分を点滅させて出力してもよいし、当該線分を細くして表示してもよい。
 出力処理部14は、骨格データで示される世界座標系の位置情報を、三次元センサ7から得られる二次元画像の画像座標系の位置情報に変換することで、その二次元画像に含まれる被験者の複数の所定部位にマーク(画像要素)を重畳させることができる。例えば、出力処理部14は、角度の算出に用いられる所定部位及び姿勢の適否の判定に用いられる所定部位の中の少なくとも一つにマークを付すことが望ましい。これにより、対象の運動種についてどの部位が測定に関係するのかを、被験者に容易に把握させることができる。更に、出力処理部14は、骨格データで示される世界座標系と、二次元画像の画像座標系との対応関係に基づいて、当該複数の所定部位間を結ぶ線分をその画像上に更に重畳させることができる。この線分により、被験者は、腕が曲がっている、両肩が傾いている等といった、測定中の自身の姿勢を把握し易くなるため、被験者を正しい姿勢に誘導することができる。
 更に、出力処理部14は、算出部12により順次算出される角度の中で、最大値を出力してもよい。例えば、出力処理部14は、最大値を出力しつつ、被験者の姿勢が不適切と判定された際に算出された角度についてはその最大値の選択候補から除外することもできる。また、出力処理部14は、一測定毎に、最終的に決定された最大値を計測値として保持しておき、2回目以降の測定時には、それまでに保持される計測値のうち最小の値を最小値として出力することもできる。出力処理部14は、1回目の測定時には、0度を最小値として出力する。また、出力処理部14は、2回目以降の各測定時において、出力されている最大値が出力されている最小値よりも小さい場合には、その最大値を最小値として出力してもよい。ここで、測定開始から測定終了までが1回の測定としてカウントされ、測定開始及び測定終了は、例えば、操作検出部15により検出されるユーザ操作で特定される。
 ところで、出力処理部14の出力方法は制限されない。出力処理部14は、上述のような情報を表示装置5に表示してもよいし、通信ユニット4に接続されるプリンタ装置に印刷させてもよい。
〔出力例〕
 次に、第一実施形態における出力処理部14による表示出力の具体例を説明する。
 図4は、肩の屈曲運動の能力を計測する際の表示出力の例を示す図である。図4の例によれば、出力処理部14は、映像エリアD1と説明エリアD2とを隣接させて出力する。出力処理部14は、映像エリアD1に、三次元センサ7から得られる二次元画像を順次表示する。このとき、出力処理部14は、映像エリアD1に表示される二次元画像上の、角度の算出に用いられる骨格データに対応する複数の所定部位に、マーク(ドーナツ型画像)を重畳させる。更に、出力処理部14は、当該二次元画像上に、当該複数の所定部位間を結ぶ線分を重畳させる。図4の例では、左手、左肘、及び左肩にドーナツ型のマークが表示され、左手、左肘、左肩、及び右肩を結ぶ線分、並びに左腰と右腰とを結ぶ線分が表示されている。左肘、右肩、左腰及び右腰は、角度の算出には直接利用されていないが、正しい姿勢を被験者に促すために、マーク又は線分が示される。例えば、両肩が水平であり、かつ、左右の腰の高さが均一であることは、正しい姿勢として望まれる。
 説明エリアD2は、ユーザ操作により選択された運動種を示すエリアD21、算出部12により算出された角度を表示するエリアD22、最大値を表示するエリアD23、最小値を表示するエリアD24等を含む。図4の例では、肩の屈曲運動がユーザにより選択されている(エリアD21)。出力処理部14は、算出部12により算出される角度を順次、エリアD22に反映する。更に、出力処理部14は、順次算出される角度の中の最大値をエリアD23に反映する。図4の例では、1回目の測定であるため、最小値がハイフンで表示されているが、0度が表示されてもよい。2回目以降の測定時には、上述したとおり、計測値として保持される最大値のうち最小の値が最小値として出力される。出力処理部14は、判定部13により被験者の姿勢が不適切であると判定された場合、エリアD22内の角度表記を赤色で表示し、映像エリアD1に重畳される線分を赤色で表示する。
 図5は、肩の外転運動の能力を計測する際の表示出力の例を示す図である。図5で示される表示の基本構成は、図4と同様である。図5の例では、肩の外転運動がユーザにより選択されている(エリアD21)。算出部12は、上述のような方法で、外転運動の能力指標としての角度を算出する。出力処理部14によるエリアD22、D23及びD24の表示については、図4と同様である。また、被験者の姿勢の適否の判定結果に対応する状態での表示についても、図4と同様である。
 図6は、肩の外旋運動の能力を計測する際の表示出力の例を示す図である。図6で示される表示の基本構成は、図4と同様である。図6の例では、肩の外旋運動がユーザにより選択されている(エリアD21)。算出部12は、上述のような方法で、外旋運動の能力指標としての角度を算出する。出力処理部14によるエリアD22、D23及びD24の表示については、図4と同様である。また、被験者の姿勢の適否の判定結果に対応する状態での表示についても、図4と同様である。
 図7は、肩の水平屈曲運動の能力を計測する際の表示出力の例を示す図である。図7で示される表示の基本構成は、図4と同様である。図7の例では、肩の水平屈曲運動がユーザにより選択されている(エリアD21)。算出部12は、上述のような方法で、水平屈曲運動の能力指標としての角度を算出する。出力処理部14によるエリアD22、D23及びD24の表示については、図4と同様である。また、被験者の姿勢の適否の判定結果に対応する状態での表示についても、図4と同様である。
〔動作例/測定方法〕
 以下、第一実施形態における測定方法について図8を用いて説明する。
 図8は、第一実施形態における測定装置10の動作例を示すフローチャートである。図8に示されるように、第一実施形態における測定方法は、測定装置10のような少なくとも一つのコンピュータにより実行される。図8に示される各処理工程は、測定装置10が有する上述の各処理モジュールの処理内容と同様であるため、各処理工程の詳細は、適宜省略される。
 測定装置10は、図8に示される処理工程を実行するにあたり、肩可動域の計測のために予め決められた複数の運動種の中から、ユーザにより選択された一つの運動種を特定する。例えば、測定装置10は、肩の、屈曲運動、伸展運動、外転運動、内転運動、外旋運動、内旋運動、水平伸展運動、及び水平屈曲運動の中から、一つの運動種を選択するユーザ操作を検出することで、当該一つの運動種を特定する。測定装置10は、左右の計測が必要となる運動種が選択された場合には、計測すべき方向(右又は左)を自動で又はユーザ操作の検出により決定する。
 測定装置10は、三次元センサ7から得られる情報に基づいて、三次元センサ7の視野内に存在する被験者の骨格データを取得する(S81)。取得される骨格データは、(S82)以降で利用される、被験者の肢体の複数の所定部位の位置情報である。測定装置10は、所定の周期で、当該骨格データを順次取得する。骨格データの取得手法については上述したとおりである(データ取得部11)。
 例えば、測定装置10は、骨格データの取得に成功すると、図4等に例示されるように、測定開始を意味する「Start」を出力する。測定開始のシグナルは、表示により提示されてもよいし、音声等により提示されてもよい。また、測定装置10は、骨格データの取得に成功するまでは、準備段階を示す「Ready」を出力してもよい。
 測定装置10は、(S81)で取得された骨格データに基づいて、被験者の肩の能力指標となる角度を算出する(S82)。角度の算出方法は、上述したとおり、運動種及び測定すべき方向(右又は左)毎にそれぞれ予め決められている(算出部12)。よって、測定装置10は、特定されている運動種及び測定すべき方向(右又は左)に対応する測定方法により、当該角度を算出する。例えば、肩の屈曲運動及び右肩が特定されている場合には、測定装置10は、右肩の位置を端点としy軸負方向の線分と、右肩の位置と右手の位置とを結ぶ線分との、x軸に直交する平面(yz平面)上になす角度を算出する。
 測定装置10は、(S81)で取得された骨格データに基づいて、被験者の姿勢の適否を判定する(S83)。姿勢の適否の判定方法は、上述したとおり、運動種及び測定すべき方向(右又は左)毎にそれぞれ予め決められている(判定部13)。よって、測定装置10は、特定されている運動種及び決定されている測定すべき方向(右又は左)に対応する判定方法により、被験者の姿勢の適否を判定する。例えば、肩の屈曲運動及び右肩が特定されている場合には、測定装置10は、体を前後に曲げていること、右肘を曲げていること、右肩を後ろ側に引いていることを検出することで、被験者の姿勢が不適切であると判定する。このような不適切な姿勢の検出方法については上述したとおりである。
 測定装置10は、(S82)で算出された角度を、(S83)での判定結果に対応する状態で、出力する(S84)。即ち、測定装置10は、被験者の姿勢が適切と判定された場合と、その姿勢が不適切と判定された場合とで、角度の出力状態を変える。例えば、測定装置10は、図4の例に示されるように、(S82)で算出された角度をエリアD22に表示する。そして、測定装置10は、姿勢が適切と判定された場合には、その角度を黒色で表示し、姿勢が不適切と判定された場合には、その角度を赤色で表示する。上述したとおり、測定装置10による角度の出力方法は、表示のみに制限されない。また、姿勢の適否の判定結果に対応する出力状態についても着色のみに制限されない。
 測定装置10は、(S83)の判定結果が「姿勢が適切である」ことを示し、かつ、(S82)で算出された角度が最大値を示すか否かを判定する(S85)。測定装置10は、所定の周期で順次取得される骨格データに基づいて、或る一つの運動種について順次算出される角度の中で、(S82)で算出された角度が最大の角度を示すか否かを判定する。測定装置10は、姿勢が適切であると判定されており、かつ算出された角度が最大値を示す場合(S85;YES)、(S82)で算出された角度を最大値として出力する(S86)。例えば、測定装置10は、図4の例に示されるように、(S82)で算出された角度をエリアD23に表示する。一方、測定装置10は、姿勢が不適切であると判定されているか、又は算出された角度が最大値でない場合(S85;NO)、(S86)を実行しない。更に、測定装置10は、姿勢が不適切であると判定された場合には、(S82)で算出された角度については、今後の最大値の選択候補から除外する。不適切な姿勢で計測された角度は、正確な能力指標とならないからである。
 測定装置10は、(S81)で取得された骨格データに基づいて、三次元センサ7から得られる二次元画像に含まれる被験者の複数の所定部位にマークを重畳させる(S87)。このとき、測定装置10は、骨格データで示される世界座標系の位置情報を、三次元センサ7から得られる二次元画像の画像座標系の位置情報に変換することで、マークを重畳させる画像内位置を特定することができる。図4から図7の例では、測定装置10は、画像内の左肩、左肘、及び左手の位置にマークを重畳させている。
 更に、測定装置10は、(S81)で取得された骨格データに基づいて、当該二次元画像上に、当該複数の所定部位間を結ぶ線分を重畳させる(S88)。このとき、測定装置10は、骨格データで示される世界座標系と、二次元画像の画像座標系との対応関係を用いることができる。図4から図7の例では、測定装置10は、左手、左肘、左肩、及び右肩を結ぶ線分、並びに左腰と右腰とを結ぶ線分を表示する。
 測定装置10は、三次元センサ7からの二次元画像のフレーム及び深度画像(距離画像)のフレームが取得される度に、図8に示される処理工程を順次実行することができる。各フレームの取得可能な周期よりも長い間隔で、図8に示される処理工程が実行されてもよい。本実施形態の測定方法における各処理工程の実行順序は、図8に示される例に限定されない。各処理工程の実行順序は、内容的に支障のない範囲で変更することができる。例えば、(S82)及び(S83)は並列に実行されてもよい。また、(S85)及び(S86)と、(S87)及び(S88)とも並列に実行されてもよい。
〔第一実施形態の作用及び効果〕
 第一実施形態では、三次元センサ7から得られる情報に基づいて、被験者の肢体の複数の所定部位に関する世界座標系の位置情報である骨格データが取得される。そして、ユーザ操作などに応じて、肩の可動域を測定するための運動種及び対象方向(右か左か)が特定され、取得された骨格データに基づいて、特定された運動種及び対象方向に対応する方法で、その運動種の能力指標となる角度が算出される。算出された角度は、三次元センサ7から得られる二次元画像と共に、出力される。これにより、この出力を見た被験者は、測定時の自身の姿勢を確認しながら、測定結果(角度)を見ることができる。
 更に、第一実施形態では、或る運動種の能力指標となる角度の算出に加えて、その能力測定時における被験者の姿勢の適否が判定され、その判定結果に対応する状態で、算出された角度が出力される。これにより、被験者に、測定結果と共に測定時の姿勢の適否も提供することができるため、第一実施形態によれば、被験者を正しい姿勢に誘導することができる。結果、被験者が測定時の正しい姿勢を知らない状態であっても、被験者が一人で正しく能力測定を行えるようにすることができる。また、被験者が無意識に誤った姿勢を取っている場合にも、被験者に気づきを与えることができ、正しい姿勢での正確な能力測定が可能となる。更に、被験者の姿勢の適否が自動で判定されるため、主観による評価のバラつきをなくし、見落としや判断間違い等のヒューマンエラーをなくすことができる。
 また、第一実施形態では、順次算出される角度の中で、最大値が出力される。これにより、被験者は、最大値の出力を見ることで、或る運動種における自己の最大能力を確認することができる。加えて、第一実施形態では、被験者の姿勢が不適切と判定された際に算出された角度は、その最大値の選択候補から除外される。これにより、適正な姿勢で計測された能力指標のみが最大値となるため、被験者の肢体能力を正確に提示することができる。従って、第一実施形態によれば、被験者の肢体能力を正確に測定することができる。
[第二実施形態]
 上述の第一実施形態では、骨格データ(所定部位の位置情報)が用いられて、被験者の肢体の能力指標となる角度が算出された。第二実施形態では、深度画像に基づいて、被験者の肢体の能力指標となる距離が算出される。以下、第二実施形態における測定装置10及び測定方法について、第一実施形態と異なる内容を中心に説明する。以下の説明では、第一実施形態と同様の内容については適宜省略する。
 第二実施形態では、操作検出部15は、胸腰部の屈曲運動を選択するユーザ操作を検出する。胸腰部の屈曲運動には、右及び左の区別が存在しない。但し、操作検出部15は、三次元センサ7に対して被験者が右を向くか左を向くかを指定するユーザ操作を検出してもよい。このユーザ操作が検出される場合には、データ取得部11は、指定された向きに基づいて、つま先の向きや、つま先と手の指先との位置関係を判断することができる。
 データ取得部11は、三次元センサ7から二次元画像及び深度画像(深度情報及び距離画像と呼ぶこともできる)を逐次取得する。これにより、データ取得部11は、画像取得部と呼ぶこともできる。深度画像は、画素毎の値で深度情報(三次元センサ7からの距離)を示す。
 データ取得部11は、三次元センサ7から得られる被験者の下半身の深度画像に基づいて、床面の位置情報及び被験者の足のつま先の位置情報を取得する。データ取得部11は、パターンマッチング技術等を用いることで、三次元センサ7から得られる深度画像において被験者の輪郭を特定することができる。被験者の輪郭の特定には、二次元画像が更に用いられてもよい。例えば、データ取得部11は、二次元画像に対して既存の画像認識技術を適用することにより、二次元画像内の人の画像領域を特定し、この特定された画像領域を用いて、深度画像において被験者の輪郭及び画像領域を特定することもできる。データ取得部11は、深度画像における特定された輪郭の最下端を床面に設定し、その床面の位置情報を取得する。例えば、取得される床面の位置情報は、深度画像の画像座標系のy座標(上下方向の画素位置)により表される。本明細書における「床面」とは、被験者が立っている平面を意味する。よって、「床面」には、建物の床の面、台の上面等も含まれる。
 更に、データ取得部11は、深度画像における特定された輪郭の最下端のx軸上の先端を被験者のつま先と捉える。x軸上の左右どちらの方向の先端を特定するのかは、予め決められていてもよいし、足部(くるぶしより下部)の形状を認識することにより決められてもよい。データ取得部11は、輪郭上で特定されたつま先の位置情報を取得する。例えば、取得されるつま先の位置情報は、深度画像の画像座標系のx座標及びy座標により表される。
 加えて、データ取得部11は、つま先の位置よりも外側の、被験者の深度画像に基づいて、被験者の手の指先の位置情報を取得する。上述のように特定された被験者の輪郭情報を用いて、データ取得部11は、つま先の位置よりも外側(更に先)の被験者の深度画像を取得することができる。例えば、つま先がx軸の正方向を向いている場合、データ取得部11は、深度画像における、つま先の位置のx座標よりも大きいx座標を持つ輪郭上の線分を特定する。データ取得部11は、その特定された輪郭上の線分の最下点を被験者の手の指先と捉え、その指先の位置情報を取得する。例えば、取得される手の指先の位置情報は、深度画像の画像座標系のy座標(上下方向の画素位置)及び世界座標系のz座標(深度)により示される。
 算出部12は、データ取得部11により取得された、床面の位置情報及び被験者の手の指先の位置情報に基づいて、被験者の手の指先から床面までの距離を、胸腰部の屈曲運動に関する能力指標として、算出する。算出される距離は、世界座標系(実世界)での距離を示す。この算出方法も、非特許文献1で示される規定に準拠している。
 図9は、胸腰部の屈曲運動に関する能力指標の算出方法を示す図である。算出部12は、被験者の指先P9と、その指先P9からy軸負方向の線分と床面との交点P10との間の距離を算出する。具体的には、算出部12は、データ取得部11により取得された、手の指先のy座標(上下方向の画素位置)及び床面のy座標(上下方向の画素位置)に基づいて、深度画像上における指先から床面までの画素数PX1を算出する。更に、算出部12は、算出された画素数PX1と、上述のように特定された被験者の指先P9の深度DPTと、二次元画像の高さの半分の画素数PX2と、三次元センサ7(二次元画像を撮像する可視光カメラ等)の垂直視野角の半分(例えば、30度)とを用いて、次のような式により、世界座標系における被験者の指先と床面との間の距離を算出することができる。
 世界座標系の距離=(PX1・DPT・tan30)/PX2
 但し、被験者の指先と床面との間の距離の算出手法は、この式に限定されない。例えば、PX2は、深度画像の高さの半分の画素数とし、垂直視野角は、深度センサの垂直視野角としてもよい。また、PX1は、二次元画像上における画素数としてもよい。
 出力処理部14は、三次元センサ7から取得される二次元画像を順次表示しながら、データ取得部11により取得された被験者のつま先の位置情報に基づいて、その表示される二次元画像上の被験者のつま先の位置にマークを重畳する。例えば、出力処理部14は、二次元画像上における被験者の画像領域と深度画像で示される被験者の画像領域との位置合わせを行うことで、データ取得部11により取得されたつま先の位置情報を用いて、二次元画像上での被験者のつま先の位置を特定することができる。このマークは、床面の位置を提示する目的も持つため、出力処理部14は、つま先から外側で床面上の位置に当該マークを重畳してもよい。
 出力処理部14は、このマークの重畳の後の所定イベントの検出により、順次表示される画像上にそのマークを固定的に重畳する。検出される所定イベントは、マークを固定させるためのイベントであれば、その内容は制限されない。入力装置6を用いた所定のユーザ操作の検出が所定イベントであってもよい。また、入力装置6(マイク)から入力される所定のユーザ音声の検出が所定イベントであってもよい。出力処理部14は、そのマークの固定と共に、順次表示される画像に含まれる被験者の、つま先よりも外側に位置する画像領域に、被験者の深度情報に応じた着色を行う。例えば、出力処理部14は、二次元画像上における被験者の輪郭と深度画像で示される被験者の輪郭との位置合わせを行うことで、データ取得部11により取得された被験者のつま先の位置情報を用いて、二次元画像に含まれる被験者の、つま先よりも外側の画像領域を特定することができる。そして、出力処理部14は、二次元画像のその特定された画像領域に、深度画像上の対応する領域の深度情報(画素値)を重畳することで、被験者の深度情報に応じた着色を行うことができる。
 出力処理部14は、算出部12により順次算出される距離の中で、最小値を出力してもよい。例えば、出力処理部14は、距離の最小値を出力しつつ、判定部13により被験者の姿勢が不適切と判定された際に算出された距離についてはその最小値の選択候補から除外することもできる。また、出力処理部14は、一測定毎に、最終的に決定された最小値を計測値として保持しておき、2回目以降の測定時には、それまでに保持される計測値のうち最大の値を最大値として出力することもできる。出力処理部14は、2回目以降の各測定時において、出力されている最小値が出力されている最大値よりも大きい場合には、その最小値を最大値として出力してもよい。
 判定部13は、胸腰部の屈曲運動に関し予め決められている条件で、被験者の姿勢の適否を判定する。例えば、判定部13は、データ取得部11により取得される骨格データに基づいて、膝が曲がっていること、及び腰が引けていること等を検出することで、被験者の姿勢が不適切であると判定する。例えば、判定部13は、右腰、右膝、及び右足の骨格データに基づいて、各部位のx軸上のズレを確認する。判定部13は、右足のx座標を基準として、右腰又は右膝のx座標のみが所定範囲を超えてずれている場合に、被験者の姿勢が不適切と判定する。
〔出力例〕
 次に、第二実施形態における出力処理部14による表示出力の具体例を説明する。
 図10及び図11は、胸腰部の屈曲運動の能力を計測する際の表示出力の例を示す図である。映像エリアD1、説明エリアD2等の各表示エリアの配置は、図4等と同様である。出力処理部14は、ユーザにより胸腰部の屈曲運動が選択されていることをエリアD21に表示し、算出部12により算出された距離をエリアD22に表示し、距離の最小値をエリアD24に表示する。但し、図10の時点では、未だ計測が開始されていないため、エリアD22及びD24には、値は表示されていない(ハイフン表示)。図10及び図11の例では、エリアD24において最大値がハイフンで表示されているが、上述のとおり、計測値として保持される最小値のうち最大の値が最大値として出力されてもよい。
 出力処理部14は、図4等と同様に、映像エリアD1に二次元画像を随時表示しつつ、その二次元画像上の、右足、右膝、及び右腰の位置にマークを重畳する。但し、被験者が三次元センサ7に対して反対方向を向いている場合には、出力処理部14は、その二次元画像上の、左足、左膝、及び左腰の位置にマークを重畳する。各部位へのマークの表示方法は、第一実施形態と同様である。第二実施形態では、出力処理部14は、更に、二次元画像上の被験者のつま先の位置にマークを重畳する。図10及び図11の例では、十字計のマークMK1が表示されている。当該マークは、その横線で床面を示している。出力処理部14は、所定イベントを検出すると、そのマークMK1の表示位置をそのときの位置に固定する。出力処理部14は、マークMK1の表示位置の固定後、図11に示されるように、当該二次元画像に含まれる被験者の、つま先よりも外側に位置する画像領域に、被験者の深度情報に応じた着色を行う。
〔動作例/測定方法〕
 以下、第一実施形態における測定方法について図12及び図13を用いて説明する。
 図12及び図13は、第二実施形態における測定装置10の動作例を示すフローチャートである。図12及び図13に示されるように、第二実施形態における測定方法は、測定装置10のような少なくとも一つのコンピュータにより実行される。図12及び図13に示される各処理工程は、測定装置10が有する上述の各処理モジュールの処理内容と同様であるため、各処理工程の詳細は、適宜省略される。
 測定装置10は、図12及び図13に示される処理工程を実行するにあたり、胸腰部の屈曲運動を選択するユーザ操作を検出する。測定装置10は、肩の可動域を測定するための運動種が選択された場合には、図8に示される処理工程を実行する。
 測定装置10は、三次元センサ7から得られる情報に基づいて、三次元センサ7の視野内に存在する被験者の骨格データを取得する(S121)。取得される骨格データは、(S122)以降で利用される、被験者の肢体の複数の所定部位の位置情報である。測定装置10は、所定の周期で、当該骨格データを順次取得する。骨格データの取得手法については第一実施形態として述べたとおりである(データ取得部11)。
 更に、測定装置10は、深度画像を取得する(S122)。測定装置10は、所定の周期で、当該深度画像を順次取得する。
 測定装置10は、(S122)で取得された深度画像に基づいて、被験者の下半身の深度画像を出力する(S123)。具体的には、測定装置10は、三次元センサ7から得られる二次元画像を表示しつつ、その二次元画像上における被験者の下半身を示す画像領域に、(S122)で取得された深度画像の中の被験者の下半身の部分の深度画像を重畳する。例えば、測定装置10は、既存の画像認識技術を用いることで、二次元画像における被験者の下半身の画像領域を特定することができる。更に、測定装置10は、既存のパターンマッチング技術等を用いることで、深度画像における被験者の下半身の輪郭及び画像領域を特定することができる。
 測定装置10は、上述のように特定された、被験者の下半身の深度画像に基づいて、床面の位置情報を取得する(S124)。具体的には、測定装置10は、被験者の下半身の輪郭の最下端を床面に設定し、その床面の位置情報を取得する。測定装置10は、床面の位置情報として、画像座標系のy座標(画素位置)を取得することができる。
 更に、測定装置10は、被験者の下半身の深度画像に基づいて、被験者のつま先の位置情報を取得する(S125)。具体的には、測定装置10は、(S124)で特定された最下端のx軸上の先端を被験者のつま先と捉える。測定装置10は、つま先の位置情報として、画像座標系のx座標及びy座標(画素位置)を取得することができる。
 測定装置10は、(S121)で取得された骨格データに基づいて、三次元センサ7から得られる二次元画像に含まれる被験者の複数の所定部位にマークを重畳させる(S126)。所定部位のマークの表示方法は、第一実施形態で述べたとおりである。図10の例では、測定装置10は、画像内の右足、右膝、及び右腰の位置にマークを重畳させている。
 更に、測定装置10は、(S121)で取得された骨格データに基づいて、当該二次元画像上に、当該複数の所定部位間を結ぶ線分を重畳させる(S127)。この線分の表示方法についても、第一実施形態で述べたとおりである。図10の例では、右腰、右膝及び右足を結ぶ線分が表示されている。
 測定装置10は、入力装置6を用いた所定のユーザ操作の検出などの、所定イベントを検出すると(S129;YES)、つま先の位置に重畳させているマーク(つま先のマーク)の、二次元画像上での表示位置を固定する(S131)。このとき、測定装置10は、(S124)及び(S125)で取得された、床面及びつま先の最新の位置情報を保持する。測定装置10は、所定イベントが検出されない間(S129;NO)、(S121)から(S128)を繰り返し実行する。
 測定装置10は、所定イベントが検出された(図12のS129;YES)後、次の周期において、骨格データ及び深度画像を新たに取得する(S131)(S132)。
 測定装置10は、(S132)で取得された深度画像及び図12の動作で保持されたつま先の位置情報に基づいて、被験者のつま先よりも外側の深度画像を出力する(S133)。具体的には、測定装置10は、三次元センサ7から得られる二次元画像を表示しつつ、その二次元画像上における被験者のつま先よりも外側を示す画像領域に、(S132)で取得された深度画像の中の被験者のつま先よりも外側の部分の深度画像を重畳する。つま先の位置情報として画像座標系の位置情報が保持されているため、二次元画像及び深度画像において、被験者全体の画像領域を特定することで、各画像における被験者のつま先よりも外側を示す画像領域は特定可能である。
 測定装置10は、(S133)で出力される、被験者のつま先よりも外側の深度画像における最下端を被験者の手の指先と捉え、その最下端の位置情報を、被験者の手の指先の位置情報として取得する(S134)。被験者の手の指先の位置情報として、画像座標系のx座標及びy座標、並びに世界座標系におけるz座標(深度)が取得可能である。
 測定装置10は、図12の動作で保持された床面の位置情報及び(S134)で取得された指先の位置情報に基づいて、被験者の手の指先と床面との間の距離を算出する(S135)。測定装置10は、世界座標系における距離を算出する。この距離の算出方法については上述したとおりである(算出部12)。
 測定装置10は、(S131)で取得された骨格データに基づいて、被験者の姿勢の適否を判定する(S136)。胸腰部の屈曲運動に関して、測定装置10は、膝が曲がっていること、及び腰が引けていること等を検出することで、被験者の姿勢が不適切であると判定する。不適切な姿勢の検出方法については上述したとおりである(判定部13)。
 測定装置10は、(S135)で算出された距離を、(S136)での判定結果に対応する状態で、出力する(S137)。即ち、測定装置10は、被験者の姿勢が適切と判定された場合と、その姿勢が不適切と判定された場合とで、距離の出力状態を変える。例えば、測定装置10は、図11の例に示されるように、(S135)で算出された距離をエリアD22に表示する。そして、測定装置10は、姿勢が適切と判定された場合には、その距離を黒色で表示し、姿勢が不適切と判定された場合には、その距離を赤色で表示する。上述したとおり、測定装置10による距離の出力方法は、表示のみに制限されない。また、姿勢の適否の判定結果に対応する出力状態についても着色のみに制限されない。
 測定装置10は、(S136)の判定結果が「姿勢が適切である」ことを示し、かつ、(S135)で算出された距離が最小値を示すか否かを判定する(S138)。測定装置10は、所定の周期で順次取得される深度画像に基づいて順次算出される距離の中で、(S135)で算出された距離が最小の距離を示すか否かを判定する。測定装置10は、姿勢が適切であると判定されており、かつ算出された距離が最小値を示す場合(S138;YES)、(S135)で算出された距離を最小値として出力する(S139)。例えば、測定装置10は、図11の例に示されるように、(S135)で算出された距離をエリアD24に表示する。一方、測定装置10は、姿勢が不適切であると判定されているか、又は算出された距離が最小値でない場合(S138;NO)、(S139)を実行しない。更に、測定装置10は、姿勢が不適切であると判定された場合には、(S135)で算出された距離については、今後の最小値の選択候補から除外する。不適切な姿勢で計測された距離は、正確な能力指標とならないからである。
 測定装置10は、(S131)で取得された骨格データに基づいて、三次元センサ7から得られる二次元画像に含まれる被験者の複数の所定部位にマークを重畳させる(S140)。所定部位のマークの表示方法は、第一実施形態で述べたとおりである。
 更に、測定装置10は、(S131)で取得された骨格データに基づいて、当該二次元画像上に、当該複数の所定部位間を結ぶ線分を重畳させる(S141)。線分の表示方法についても、第一実施形態で述べたとおりである。
 測定装置10は、所定イベントの検出後は、三次元センサ7からの二次元画像のフレーム及び深度画像(距離画像)のフレームが取得される度に、図13に示される処理工程を順次実行することができる。各フレームの取得可能な周期よりも長い間隔で、図13に示される処理工程が実行されてもよい。本実施形態の測定方法における各処理工程の実行順序は、図12及び図13に示される例に限定されない。各処理工程の実行順序は、内容的に支障のない範囲で変更することができる。例えば、(S122)は(S121)よりも先に実行されてもよい。また、(S126)及び(S127)は、(S121)の後であれば、どこで実行されてもよい。
〔第二実施形態の作用及び効果〕
 第二実施形態では、三次元センサ7から得られる深度画像に基づいて、被験者の足のつま先の位置情報及び床面の位置情報が取得され、三次元センサ7から取得される二次元画像に含まれる被験者のつま先の位置にマークが表示される。世界座標系での右足及び左足の位置情報は、骨格データとして取得することができる。しかしながら、足部(くるぶしより下部)といっても或る程度の広さを持つため、つま先と足部の中心とでは、10センチ単位で位置が異なる。第二実施形態によれば、深度画像上で特定される被験者の輪郭及び画像領域から位置情報が取得されるため、床面及びつま先の位置をより正確に得ることができる。
 更に、第二実施形態では、所定イベントの検出によりつま先及び床面の位置が確定され、その確定されたつま先の位置情報に基づいて、深度画像における、つま先よりも外側の被験者の輪郭及び画像領域が特定され、その最下端が被験者の手の指先の位置に決定される。そして、深度画像の画像座標系における、被験者の手の指先と床面との距離(画素数)が算出され、その画像座標系の距離が世界座標系の距離に変換される。従って、第二実施形態によれば、骨格データを用いた計測に比べて、高精度に、胸腰部の屈曲運動の能力指標である距離を算出することができる。
 また、第二実施形態では、所定イベントの検出によりつま先及び床面の位置が確定された後に、表示されている二次元画像における、被験者のつま先よりも外側に位置する画像領域に深度情報に応じた着色が行われる。これにより、被験者に、二次元画像に含まれる自身のどの部分が手の指先として認識されているかを容易に把握させることができ、測定装置10による正常動作を確認させることができる。
[第三実施形態]
 上述の第二実施形態では、深度画像に基づいて、被験者の手の指先と床面との距離が被験者の肢体の能力指標として算出された。第三実施形態では、深度画像に基づいて、異なる2つの時点における被験者の手の指先の位置間の距離が被験者の肢体の能力指標として算出される。以下、第三実施形態における測定装置10及び測定方法について、上述の各実施形態と異なる内容を中心に説明する。以下の説明では、上述の各実施形態と同様の内容については適宜省略する。
 第三実施形態では、操作検出部15は、ファンクショナルリーチテスト(以降、FRTと略称する)を選択するユーザ操作を検出する。FRTは、人のバランス機能を評価する方法として周知の手法であり、転倒の危険性を予測する指標を得るべく臨床現場でよく使われている手法である。FRTには、右及び左の区別が存在しない。但し、操作検出部15は、三次元センサ7に対して被験者が右を向くか左を向くかを指定するユーザ操作を検出してもよい。このユーザ操作が検出される場合には、データ取得部11は、指定された向きに基づいて、深度画像における被験者の輪郭の中で、手の指先の位置が右端にくるか左端にくるかを判断することができる。
 データ取得部11は、三次元センサ7から深度画像を逐次取得する。データ取得部11は、被験者の全身の深度画像を逐次取得し、その深度画像に基づいて、被験者の手の指先の位置情報を逐次取得する。上述したとおり、データ取得部11は、パターンマッチング技術等を用いることで、三次元センサ7から得られる深度画像において被験者の輪郭を特定することができる。データ取得部11は、その特定された被験者の輪郭の中で、最大のx座標を有する点を被験者の手の指先と捉えることで、深度画像の画像座標系におけるその指先の位置情報(画素位置)を取得することができる。FRTに関しては、骨格データは利用されないため、測定装置10がFRTのみをサポートする場合には、データ取得部11は、骨格データを取得しなくてもよい。
 データ取得部11は、所定イベントの検出により、その検出時に取得されている手の指先の位置情報を保持する。検出される所定イベントは、基準となる指先の位置を固定させるためのイベントであれば、その内容は制限されない。入力装置6を用いた所定のユーザ操作の検出が所定イベントであってもよい。また、入力装置6(マイク)から入力される所定のユーザ音声の検出が所定イベントであってもよい。例えば、データ取得部11は、人が普通に立って腕を真っ直ぐ前に突き出した状態の輪郭パターンを予め保持し、当該所定イベントの検出として、深度画像からこの輪郭パターンを検出する。
 算出部12は、所定イベントの検出により保持された位置情報と、新たに取得された位置情報とに基づいて、保持された位置情報に対応する手の指先の位置と、新たに取得された位置情報に対応する手の指先の位置との間の、x軸方向の距離を算出する。算出される距離は、世界座標系の距離であり、FRTの能力指標となる。具体的には、算出部12は、2つの位置情報に基づいて、深度画像の画像座標系における手の指先間の距離(画素数)を算出し、この距離を第二実施形態と同様の手法により世界座標系の距離に変換する。
 判定部13は、FRTに関し予め決められている条件で、被験者の姿勢の適否を判定する。例えば、判定部13は、保持された位置情報と新たに取得された位置情報とに基づいて、手の指先の位置がy軸方向で所定範囲を超えてズレていること等を検出することで、被験者の姿勢が不適切であると判定する。この場合、判定部13は、保持された位置情報のy座標と新たに取得された位置情報のy座標との差が所定閾値を超えると、被験者の姿勢が不適切であると判定する。
〔出力例〕
 次に、第三実施形態における出力処理部14による表示出力の具体例を説明する。
 図14は、ファンクショナルリーチテストの能力を計測する際の表示出力の例を示す図である。映像エリアD1、説明エリアD2等の各表示エリアの配置は、図4等と同様である。出力処理部14は、ユーザによりFRTが選択されていることをエリアD21に表示し、算出部12により算出された距離をエリアD22に表示し、距離の最大値をエリアD23に表示する。なお、FRTにおいても、図4等の例と同様に、最小値が表示されてもよい。
 出力処理部14は、図4等と同様に、映像エリアD1に二次元画像を随時表示しつつ、その二次元画像上の、指先の位置にマークを重畳する。例えば、出力処理部14は、二次元画像上における被験者の画像領域と深度画像で示される被験者の画像領域との位置合わせを行うことで、データ取得部11により取得された手の指先の位置情報を用いて、二次元画像上での被験者の手の指先の位置を特定することができる。出力処理部14は、所定イベントを検出すると、その検出時に深度画像上で特定されていた被験者の輪郭及び画像領域を、二次元画像上に固定的に重畳すると共に、手の指先の位置を示すマークもその二次元画像上に固定する。更に、出力処理部14は、所定イベントの検出後に深度画像上で特定される被験者の輪郭及び画像領域も二次元画像に重畳しつつ、新たに取得される手の指先の位置にマークを重畳させる。このとき、二次元画像上に固定される被験者の深度画像と、所定イベント検出後に二次元画像に重畳される被験者の深度画像とは、色を変えることで、両者を区別可能に表示する。
〔動作例/測定方法〕
 以下、第三実施形態における測定方法について図15及び図16を用いて説明する。
 図15及び図16は、第三実施形態における測定装置10の動作例を示すフローチャートである。図15及び図16に示されるように、第三実施形態における測定方法は、測定装置10のような少なくとも一つのコンピュータにより実行される。図15及び図16に示される各処理工程は、測定装置10が有する上述の各処理モジュールの処理内容と同様であるため、各処理工程の詳細は、適宜省略される。
 測定装置10は、図15及び図16に示される処理工程を実行するにあたり、FRTを選択するユーザ操作を検出する。測定装置10は、FRTを選択するユーザ操作が検出されると、図15に示される処理工程を実行する。
 測定装置10は、三次元センサ7から深度画像を取得する(S151)。測定装置10は、所定の周期で、当該深度画像を順次取得する。
 測定装置10は、(S151)で取得された深度画像に基づいて、被験者の全身の深度画像を出力する(S152)。具体的には、測定装置10は、三次元センサ7から得られる二次元画像を表示しつつ、その二次元画像上における被験者の全身を示す画像領域に、(S151)で取得された深度画像の中の被験者の全身の深度画像を重畳する。例えば、測定装置10は、既存の画像認識技術を用いることで、二次元画像における被験者の全身の画像領域を特定することができる。更に、測定装置10は、既存のパターンマッチング技術等を用いることで、深度画像における被験者の全身の輪郭及び画像領域を特定することができる。
 測定装置10は、上述のように特定された、被験者の全身の深度画像に基づいて、被験者の手の指先の位置情報を取得する(S153)。具体的には、測定装置10は、被験者の全身の深度画像の中で、最大のx座標を有する点を被験者の手の指先と捉えることで、深度画像の画像座標系におけるその指先の位置情報(画素位置)を取得することができる。
 測定装置10は、表示される二次元画像における、被験者の手の指先の位置にマークを重畳する(S154)。測定装置10は、二次元画像上における被験者の画像領域と深度画像で示される被験者の画像領域との位置合わせを行うことで、(S153)で取得された手の指先の位置情報を用いて、二次元画像上での被験者の手の指先の位置を特定することができる。
 測定装置10は、入力装置6を用いた所定のユーザ操作の検出などの、所定イベントを検出すると(S155;YES)、(S153)で取得されている手の指先の最新の位置情報を保持する(S156)。更に、測定装置10は、手の指先の位置に重畳させているマーク(指先のマーク)の、二次元画像上での表示位置を固定する(S157)。加えて、測定装置10は、所定イベントの検出時に(S152)で出力されていた被験者の全身の深度画像の、二次元画像上での表示位置を固定する(S158)。測定装置10は、所定イベントが検出されない間(S155;NO)、(S151)から(S154)を繰り返し実行する。
 測定装置10は、所定イベントが検出された(図15のS155;YES)後、次の周期において、深度画像を新たに取得する(S161)。
 測定装置10は、新たに取得された深度画像に基づいて、(S162)及び(S163)を実行する。(S162)は、図15に示される(S152)と同じであり、(S163)は、図15に示される(S153)と同じである。
 測定装置10は、(S156)で保持された位置情報と(S163)で新たに取得された位置情報とに基づいて、各位置情報に対応する手の指先の位置間の、x軸方向の距離を算出する(S164)。測定装置10は、世界座標系における距離を算出する。この距離の算出方法については上述したとおりである(算出部12)。
 測定装置10は、(S156)で保持された位置情報と(S163)で新たに取得された位置情報とに基づいて、被験者の姿勢の適否を判定する(S165)。FRTに関して、測定装置10は、手の指先の位置がy軸方向で所定範囲を超えてずれていること等を検出することで、被験者の姿勢が不適切であると判定する。
 測定装置10は、(S164)で算出された距離を、(S165)での判定結果に対応する状態で、出力する(S166)。即ち、測定装置10は、被験者の姿勢が適切と判定された場合と、その姿勢が不適切と判定された場合とで、距離の出力状態を変える。例えば、測定装置10は、図14の例に示されるように、(S164)で算出された距離をエリアD22に表示する。そして、測定装置10は、姿勢が適切と判定された場合には、その距離を黒色で表示し、姿勢が不適切と判定された場合には、その距離を赤色で表示する。上述したとおり、測定装置10による距離の出力方法は、表示のみに制限されない。また、姿勢の適否の判定結果に対応する出力状態についても着色のみに制限されない。
 測定装置10は、(S165)の判定結果が「姿勢が適切である」ことを示し、かつ、(S164)で算出された距離が最大値を示すか否かを判定する(S167)。測定装置10は、所定の周期で順次取得される深度画像に基づいて順次算出される距離の中で、(S164)で算出された距離が最大の距離を示すか否かを判定する。測定装置10は、姿勢が適切であると判定されており、かつ算出された距離が最大値を示す場合(S167;YES)、(S164)で算出された距離を最大値として出力する(S168)。例えば、測定装置10は、図14の例に示されるように、(S164)で算出された距離をエリアD23に表示する。一方、測定装置10は、姿勢が不適切であると判定されているか、又は算出された距離が最大値でない場合(S167;NO)、(S168)を実行しない。更に、測定装置10は、姿勢が不適切であると判定された場合には、(S164)で算出された距離については、今後の最大値の選択候補から除外する。不適切な姿勢で計測された距離は、正確な能力指標とならないからである。
 測定装置10は、表示される二次元画像における、被験者の手の指先の位置にマークを重畳する(S169)。(S169)は、図15に示される(S154)と同じである。
 測定装置10は、図15の動作の実行後は、三次元センサ7からの二次元画像のフレーム及び深度画像(距離画像)のフレームが取得される度に、図16に示される処理工程を順次実行することができる。各フレームの取得可能な周期よりも長い間隔で、図16に示される処理工程が実行されてもよい。本実施形態の測定方法における各処理工程の実行順序は、図15及び図16に示される例に限定されない。各処理工程の実行順序は、内容的に支障のない範囲で変更することができる。例えば、(S157)及び(S158)は並列又は逆の順番で実行されてもよい。また、(S165)は、(S164)の前に実行されてもよい。
〔第三実施形態の作用及び効果〕
 第三実施形態では、三次元センサ7から得られる深度画像に基づいて、被験者の手の指先の位置情報が取得され、被験者の手の指先に関する、所定イベントの検出時の位置情報とその後に取得される位置情報とに対応する位置間の距離がFRTの能力指標として算出される。このように、第三実施形態によれば、深度画像に基づいて或る2つの時点での手の指先の位置間の距離が算出されるため、骨格データを用いる場合に比べて、高精度に距離を算出することができる。
 また、第三実施形態では、算出される距離の基準となる手の指先の位置が、所定イベントの検出により確定され、二次元画像におけるその確定された位置にマークが固定的に表示される。第三実施形態では、所定イベントの検出後は、固定的に表示されるマークと共に、最新の手の指先の位置を示すマークも更に表示される。従って、第三実施形態によれば、被験者に、FRTの自身の測定過程を視覚的に分かり易く提供することができる。
[第四実施形態]
 第四実施形態では、顔の向き及び両肩の開き角度に基づいて、首の右回旋運動又は左回旋運動の能力指標となる角度が算出される。以下、第四実施形態における測定装置10及び測定方法について、上述の各実施形態と異なる内容を中心に説明する。以下の説明では、上述の各実施形態と同様の内容については適宜省略する。
〔処理構成〕
 図17は、第四実施形態における測定装置10の処理構成例を概念的に示す図である。図17に示されるように、第四実施形態における測定装置10は、上述の各実施形態の構成に加えて、報知部17を更に有する。報知部17についても、他の処理モジュールと同様に実現される。
 第四実施形態では、操作検出部15は、首可動域の計測のための旋回運動を選択するユーザ操作を検出する。この旋回運動には、左旋回運動と右旋回運動とが含まれる。よって、操作検出部15は、旋回運動に関し、左右のどちらを計測するのかの選択操作を検出してもよい。
 データ取得部11は、三次元センサ7から得られる情報に基づいて、三次元センサ7の視野内に位置する被験者の顔の向き情報及び両肩の位置情報、並びに被験者の深度情報を取得する。データ取得部11は、第一実施形態と同様の手法により、両肩の位置情報を骨格データとして取得することができる。また、データ取得部11は、既存の画像認識技術を用いることにより、三次元センサ7から得られる二次元画像及び深度画像から人の顔を認識し、認識された顔の各部位の位置関係からその人の顔の向きを特定することができる。人の顔及び顔内の各部位の認識手法には、様々な既存の画像認識手法を用いることができる。データ取得部11により取得される顔の向き情報は、z軸からの角度で表される。取得される被験者の深度情報は、深度画像に基づく情報であり、顔の中心等のような被験者の肢体の或る一点の深度、又は被験者の肢体の複数点の中心位置の深度を示す。
 ところで、三次元センサ7から得られる情報に基づく人の顔の向きの特定には限度がある。三次元センサ7から得られる二次元画像に横顔しか含まれない場合には、人の顔の認識が出来ない場合がある。よって、例えば、45度までしか顔の向き情報が得られない場合には、首の可動域を計測することができないこととなる。そこで、本実施形態では、三次元センサ7に対して被験者を斜めに向かせることで、肩の開き角度とデータ取得部11で得られた顔の向き情報とから、首の回旋運動の能力指標となる角度が算出される。
 具体的には、算出部12は、データ取得部11により取得された両肩の位置情報に基づいて、両肩を結ぶ線分と、x軸方向との、y軸に直交する平面上になす角度を、肩の開き角度として算出する。更に、算出部12は、データ取得部11により取得された顔の向き情報と、算出された肩の開き角度とに基づいて、首の右回旋運動又は左回旋運動の能力指標となる角度を算出する。図18を用いて、この算出処理を更に詳細に説明する。
 図18は、首の能力指標の算出方法を示す図である。
 算出部12は、左肩P11と右肩P12とを結ぶ線分L11と、x軸正方向との、y軸に直交する平面(xz平面、図18の紙面)上になす角度A11を肩の開き角度として算出する。そして、算出部12は、データ取得部11で取得された顔の向き情報が示す角度A12と肩の開き角度A11とを合算した角度(A11+A12)を、首の右回旋運動の能力指標として算出する。算出される角度(A11+A12)は、被験者が首を正面方向L12から右回旋させた方向L13までの角度と等しくなる。
 また、算出部12は、左肩P11と右肩P12とを結ぶ線分L11と、x軸負方向との、y軸に直交する平面(xz平面、図18の紙面)上になす角度A13を肩の開き角度として算出する。そして、算出部12は、データ取得部11で取得された顔の向き情報が示す角度A14と肩の開き角度A13とを合算した角度(A13+A14)を、首の左回旋運動の能力指標として算出する。算出される角度(A13+A14)は、被験者が首を正面方向L14から左回旋させた方向L15までの角度と等しくなる。
 報知部17は、算出部12により算出された肩の開き角度が所定角度範囲に含まれるか否かの判定結果を報知する。報知部17は、肩の開き角度が所定角度範囲に含まれる場合に、所定音声又は所定音を入出力I/F3に接続されるスピーカから出力する。報知部17は、肩の開き角度が所定角度範囲に含まれない場合に、所定音又は所定音声を出力してもよい。但し、報知部17による報知方法は、音声出力に限定されない。報知部17は、表示出力により報知してもよい。
 判定部13は、算出部12により算出された肩の開き角度が所定角度範囲に含まれるか否か、及び被験者が三次元センサ7から所定距離範囲内に位置しているか否かを判定する。所定角度範囲は、データ取得部11による顔の向きの取得制約と首の各回旋運動の平均角度とから予め決められる。例えば、所定角度範囲は、28度以上32度以下の範囲に設定される。所定距離範囲は、データ取得部11による顔の向きの取得精度等から予め決められる。例えば、所定距離範囲は、1.5メートルから2.0メートルの範囲に設定される。判定部13は、深度画像から、世界座標系における被験者の深度(三次元センサ7からの距離)を取得することができる。
〔出力例〕
 次に、第四実施形態における出力処理部14による表示出力の具体例を説明する。
 図19は、首可動域を計測する際の表示出力の例を示す図である。映像エリアD1、説明エリアD2等の各表示エリアの配置は、図4等と同様である。出力処理部14は、ユーザにより首の右回旋運動が選択されていることをエリアD21に表示し、算出部12により算出された角度をエリアD22に表示し、角度の最大値をエリアD23に表示する。なお、図19においても、図4等の例と同様に、最小値が表示されてもよい。
 出力処理部14は、図4等と同様に、映像エリアD1に二次元画像を随時表示しつつ、その二次元画像上に両肩を結ぶ線分を重畳表示する。また、出力処理部14は、顔の向き情報と共に得られる、顔の各部位の位置情報に基づいて、顔の各部位を結ぶ線分を表示する。更に、出力処理部14は、判定部13により取得される被験者の深度をエリアD15に表示し(1.65メートル)、算出部12により算出された肩の開き角度をエリアD16に表示する(32.7度)。
〔動作例/測定方法〕
 以下、第四実施形態における測定方法について図20を用いて説明する。
 図20は、第四実施形態における測定装置10の動作例を示すフローチャートである。図20に示されるように、第四実施形態における測定方法は、測定装置10のような少なくとも一つのコンピュータにより実行される。図20に示される各処理工程は、測定装置10が有する上述の各処理モジュールの処理内容と同様であるため、各処理工程の詳細は、適宜省略される。
 測定装置10は、図20に示される処理工程を実行するにあたり、首可動域の計測のためにユーザにより選択された右旋回運動又は左旋回運動のいずれか一方を特定する。測定装置10は、右旋回運動及び左旋回運動を自動で切り替えて順次実行してもよい。
 測定装置10は、三次元センサ7から得られる情報に基づいて、三次元センサ7の視野内に存在する被験者の骨格データを取得する(S201)。取得される骨格データは、(S202)以降で利用される、被験者の肢体の複数の所定部位の位置情報であり、両肩の位置情報を含む。測定装置10は、所定の周期で、当該骨格データを順次取得する。骨格データの取得手法については上述したとおりである(データ取得部11)。
 測定装置10は、三次元センサ7から得られる二次元画像を順次表示しながら、(S201)で取得された骨格データに基づいて、その二次元画像上に、両肩を結ぶ線分を重畳させる(S202)。このとき、測定装置10は、骨格データで示される世界座標系と、二次元画像の画像座標系との対応関係を用いることができる。
 測定装置10は、(S201)で取得された骨格データが示す両肩の位置情報に基づいて、両肩を結ぶ線分と、x軸方向との、y軸に直交する平面上になす角度を、肩の開き角度として算出する(S203)。そして、測定装置10は、(S203)で算出された肩の開き角度を出力する(S204)。図19の例では、測定装置10は、(S203)で算出された肩の開き角度をエリアD16に表示している。
 測定装置10は、被験者の深度情報を取得する(S205)。取得される深度情報は、三次元センサ7から被験者までの世界座標系における距離を示す。そして、測定装置10は、(S205)で取得された深度情報が示す被験者の深度を出力する(S206)。図19の例では、測定装置10は、被験者の深度をエリアD15に表示している。
 続いて、測定装置10は、(S203)で算出された肩の開き角度が適正か否かを判定する(S207)。具体的には、測定装置10は、肩の開き角度が所定角度範囲に含まれるか否かを判定する。所定角度範囲については上述したとおりである。測定装置10は、肩の開き角度が所定角度範囲に含まれていない場合、即ち肩の開き角度が適正でない場合(S207;NO)、(S201)以降を再度実行する。
 測定装置10は、肩の開き角度が所定角度範囲に含まれている場合(S207;YES)、肩の開き角度が適正であることを報知する(S208)。(S208)での報知方法は限定されない。例えば、測定装置10は、所定音声により報知する。また、本動作例では、肩の開き角度が適正であることが報知されたが、肩の開き角度が適正でないことが報知されてもよい。
 測定装置10は、三次元センサ7から得られる情報に基づいて、被験者の顔の向き情報を取得する(S209)。顔の向き情報の取得方法については上述したとおりである。例えば、測定装置10は、顔の認識に成功すると、図19に例示されるように、測定開始を意味する「Start」を出力する。測定開始のシグナルは、表示により提示されてもよいし、音声等により提示されてもよい。また、測定装置10は、顔の認識に成功するまでは、準備段階を示す「Ready」を出力してもよい。
 測定装置10は、(S203)で算出された肩の開き角度及び(S209)で取得された顔の向き情報が示す角度を合算することで、首の右回旋運動又は左回旋運動の能力指標となる角度を算出する(S210)。そして、測定装置10は、(S210)で算出された角度を出力する(S211)。図19の例では、測定装置10は、(S210)で算出された角度をエリアD22に表示する。このとき、測定装置10は、(S205)で取得された深度情報により示される被験者の深度が適切であるか否かの判定結果に対応する状態で角度を出力してもよい。例えば、測定装置10は、被験者の深度が所定距離範囲内に含まれる場合には、角度を黒文字で表示し、被験者の深度が所定距離範囲内に含まれない場合には、角度を赤文字で表示する。
 測定装置10は、(S205)で取得された深度情報により示される被験者の深度が適切であり、かつ(S210)で算出された角度が最大値を示すか否かを判定する(S212)。測定装置10は、順次取得される骨格データ及び顔の向き情報に基づいて、順次算出される角度の中で、(S210)で算出された角度が最大の角度を示すか否かを判定する。また、測定装置10は、被験者の深度(距離)が所定距離範囲内に含まれるか否かを判定する。測定装置10は、被験者の深度が所定距離範囲内に含まれる場合、被験者の深度が適正と判定し、それ以外の場合に、被験者の深度が適正でないと判定する。所定距離範囲については上述したとおりである。
 測定装置10は、被験者の深度が適切であると判定されており、かつ算出された角度が最大値を示す場合(S212;YES)、(S210)で算出された角度を最大値として出力する(S213)。例えば、測定装置10は、図19の例に示されるように、(S210)で算出された角度をエリアD23に表示する。一方、測定装置10は、被験者の深度が不適切であると判定されているか、又は算出された角度が最大値でない場合(S212;NO)、(S213)を実行しない。更に、測定装置10は、被験者の深度が不適切であると判定された場合には、(S210)で算出された角度については、今後の最大値の選択候補から除外する。被験者の深度が不適切な場合、取得される被験者の顔の向きの精度が悪い可能性があるからである。
 測定装置10は、肩の開き角度が適正と判定された後(S207;YES)、三次元センサ7からの二次元画像のフレーム及び深度画像(距離画像)のフレームが取得される度に、(S209)以降を順次実行することができる。各フレームの取得可能な周期よりも長い間隔で、(S209)以降の各処理工程が実行されてもよい。本実施形態の測定方法における各処理工程の実行順序は、図20に示される例に限定されない。各処理工程の実行順序は、内容的に支障のない範囲で変更することができる。例えば、(S202)は、(S203)の後に実行されてもよい。また、(S205)及び(S206)は、(S202)の前に実行されてもよい。
〔第四実施形態の作用及び効果〕
 第四実施形態では、骨格データにより示される両肩の位置情報に基づいて、両肩の開き角度が算出される。両肩の開き角度は、被験者が三次元センサ7に正対した状態から、右肩又は左肩を三次元センサ7から遠ざかる方向(z軸方向)に引いた程度を示す。そして、三次元センサ7から得られる情報に基づいて、被験者の顔の向き(角度)が特定され、特定される顔の向きと両肩の開き角度との合算により、首の右回旋運動又は左回旋運動の能力指標となる角度が算出される。これにより、三次元センサ7から得られる情報に基づいて特定できる顔の向き(角度)には限度があるところ、第四実施形態によれば、両肩の開き角度と合わせることで、首の右回旋運動又は左回旋運動の能力指標を正確に計測することができる。
 更に、第四実施形態では、肩の開き角度が所定角度範囲内に含まれるか、被験者が三次元センサ7から所定距離範囲内に位置しているか否かが判定される。そして、肩の開き角度が所定角度範囲内に含まれるか否かの判定結果が報知され、被験者が三次元センサ7から所定距離範囲内に位置しているか否かの判定結果に対応する状態で角度が出力される。これにより、被験者は、報知及び出力を確認することで、適正な姿勢で首の可動域を測定することができる。即ち、第四実施形態によれば、首の可動域の測定のユーザビリティを向上させることができる。
[補足例]
 図4等で示される出力例では、三次元センサ7が、実世界における水平方向を向くように、配置されていた。しかしながら、股可動域などの計測のために、三次元センサ7が、鉛直方向を向くように配置されてもよい。この場合、三次元センサ7から得られる世界座標系の位置情報では、実世界の鉛直方向がz軸に設定され、実世界の水平面がxy平面に設定される。
 例えば、操作検出部15は、股可動域の計測のための屈曲運動を選択するユーザ操作を検出する。股の屈曲運動の能力指標は、左足及び右足の各々について計測される。操作検出部15は、股の屈曲運動に関し、左右のどちらを計測するのかの選択操作を検出してもよい。この場合、データ取得部11は、三次元センサから得られる情報に基づいて、被験者の腰及び膝の位置情報をする。算出部12は、データ取得部11により取得された位置情報に基づいて、腰の位置を端点としy軸負方向の線分と、腰の位置と膝の位置とを結ぶ線分との、x軸方向に直交する平面(yz平面)上になす角度を、股の屈曲運動の能力指標として算出する。
 図21は、股の能力指標の算出方法を示す図である。
 算出部12は、右腰の位置P17を端点としy軸負方向の線分L17と、右腰の位置P17と右膝の位置P18とを結ぶ線分L18との、x軸に直交する平面(yz平面、図21の紙面)上になす角度A17を、右股の屈曲運動の能力指標として算出する。算出部12は、左股の屈曲運動の能力指標も同様に算出する。
 図22は、補足例における出力処理部14による表示出力の例を示す図である。
 この場合、出力処理部14は、ユーザにより股の屈曲運動が選択されていることをエリアD21に表示し、算出部12により算出された角度をエリアD22に表示し、角度の最大値をエリアD23に表示する。出力処理部14は、図4等と同様に、映像エリアD1に二次元画像を随時表示しつつ、その二次元画像上の、左膝、左腰、及び左肩の位置にマークを重畳する。図22の例では、被験者が床に寝そべった状態で、測定される。
 上述の説明では、三次元センサ7が、可視光カメラ及び深度センサが統合されたセンサとして実現される例が示され、測定装置10(データ取得部11)は、三次元センサ7から二次元画像及び深度画像を取得した。ところが、三次元センサ7の実現手法は制限されず、三次元センサ7は、被験者に付されたマーカを撮像する複数の撮像装置として実現されてもよいし、被験者に付された赤外線マーカの位置を検出する複数の赤外線センサを含んでもよい。この場合、測定前に、被験者の肢体の必要な部位にマーカが付される。測定装置10(データ取得部11)は、複数の撮像装置又は赤外線センサによりマーカの位置を検出することにより、被験者の肢体の複数の所定部位の位置情報(骨格データ)を取得することができる。更に、マーカを各部位にそれぞれ付す際に、マーカ間の実世界での距離(間隔)を予め計測しておくことで、取得された位置情報から、世界座標系における部位間の距離や被験者までの深度を算出することができる。但し、深度センサが含まれない場合には、深度画像が取得されないため、マーカの検出により取得される位置情報が利用されればよい。
[第五実施形態]
 以下、第五実施形態における測定装置及び測定方法について図23及び図24を用いて説明する。また、第五実施形態は、この測定方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該少なくとも1つのコンピュータが読み取り可能な記録媒体であってもよい。
 図23は、第五実施形態における測定装置100の処理構成例を概念的に示す図である。図23に示されるように、測定装置100は、取得部101、算出部102、判定部103、及び出力処理部104を有する。測定装置100は、例えば、図1に示される上述の測定装置10と同様のハードウェア構成を有し、その測定装置10と同様にプログラムが処理されることで、上述の各処理モジュールが実現される。
 取得部101は、被験者の肢体における所定部位の位置情報又は向き情報を取得する。例えば、取得部101は、三次元センサ7から得られる情報に基づいて、その位置情報又はその向き情報を取得する。また、取得部101は、他のコンピュータから当該位置情報又は当該向き情報を取得してもよい。取得部101の具体例が上述のデータ取得部11である。
 算出部102は、取得部101により取得された位置情報又は向き情報に基づいて、被験者の肢体の能力指標となる角度又は距離を算出する。算出部102の具体例が上述の算出部12であり、算出部102は、上述のいずれか1以上の方法又は他の方法により、角度又は距離を算出する。算出部102により算出される被験者の肢体の能力指標は、肩の屈曲運動、伸展運動、外転運動、内転運動、外旋運動、内旋運動、水平伸展運動、及び水平屈曲運動、股の屈曲運動、首の右回旋運動及び左回旋運動、胸腰の屈曲運動、ファンクショナルリーチテストのいずれか1以上の能力指標であってもよいし、非特許文献1に規定されている他の部位の能力指標であってもよい。
 判定部103は、取得部101により取得された位置情報又は向き情報に基づいて、被験者の姿勢の適否を判定する。判定部103の具体例が上述の判定部13であり、判定部103は、上述のいずれか1以上の方法又は他の方法により、被験者の姿勢の適否を判定する。被験者の正しい姿勢は、測定対象となる肢体の部位及び運動種に応じてそれぞれ予め決められる。
 出力処理部104は、被験者の姿勢の適否の判定結果に対応する状態で、算出部102により算出された角度又は距離を出力する。出力処理部104の出力方法は制限されない。出力処理部104は、角度又は距離を、表示装置5に表示してもよいし、通信ユニット4に接続されるプリンタ装置に印刷させてもよいし、通信ユニット4を介して他のコンピュータに送信してもよい。また、出力処理部104は、角度又は距離を読みあげる音声を出力することもできる。
 角度又は距離が出力される状態は、被験者の姿勢の適否の判定結果を反映していれば、どのような状態であってもよい。出力処理部104は、姿勢の適否の判定結果に応じて、角度又は距離の出力に用いる、色、フォント種、線の太さ、背景、又は位置を切り替えることができる。更に、出力処理部104は、異なる音声ボリュームで、角度又は距離を読みあげる音声を出力してもよい。
 図24は、第五実施形態における測定装置100の動作例を示すフローチャートである。図24に示されるように、第五実施形態における測定方法は、測定装置100のような少なくとも1つのコンピュータにより実行される。図24に示される各処理工程は、測定装置100が有する上述の各処理モジュールの処理内容と同様であるため、各処理工程の詳細は、適宜省略される。
 本実施形態における測定方法は、図24に示されるように、処理工程(S241)、(S242)、(S243)、及び(S244)を含む。
 (S241)では、測定装置100は、被験者の肢体における所定部位の位置情報又は向き情報を取得する。
 (S242)では、測定装置100は、(S241)で取得された位置情報又は向き情報に基づいて、被験者の肢体の能力指標となる角度又は距離を算出する。
 (S243)では、測定装置100は、(S241)で取得された位置情報又は向き情報に基づいて、被験者の姿勢の適否を判定する。
 (S244)では、測定装置100は、被験者の姿勢の適否の判定(S243)の結果に対応する状態で、(S242)で算出された角度又は距離を出力する。
 第五実施形態では、被験者の肢体における所定部位の位置情報又は向き情報に基づいて、被験者の肢体の能力指標となる角度又は距離が算出され、かつ被験者の姿勢の適否が判定される。そして、算出された角度又は距離が、被験者の姿勢の適否の判定結果に対応する状態で出力される。従って、第五実施形態によれば、出力を見る者に、被験者が不適切な姿勢で測定をしているのか、適正な姿勢で測定しているのかを即座に把握させることができるため、被験者に、正しい姿勢での測定を促すことができる。結果として、第五実施形態によれば、被験者の肢体能力を正確に測定することができる。
 なお、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、本実施形態で実行される工程の実行順序は、その記載の順番に制限されない。本実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態及び補足例は、内容が相反しない範囲で組み合わせることもできるし、上述の各実施形態及び補足例は、各々の独自の構成のみにより形成されてもよい。
 上述の内容の一部又は全部は、以下のようにも特定され得る。但し、上述の内容が以下の記載に限定されるものではない。
1. 被験者の肢体における所定部位の位置情報又は向き情報を取得する取得手段と、
 前記取得された位置情報又は向き情報に基づいて、前記被験者の肢体の能力指標となる角度又は距離を算出する算出手段と、
 前記取得された位置情報又は向き情報に基づいて、前記被験者の姿勢の適否を判定する判定手段と、
 前記被験者の姿勢の適否の判定結果に対応する状態で、前記算出された角度又は距離を出力する出力処理手段と、
 を備える測定装置。
2. 前記出力処理手段は、前記被験者を含む画像上に、前記角度又は前記距離の算出に用いられる複数の位置情報に対応する複数の所定部位間を結ぶ線分が、前記被験者の姿勢の適否の判定結果に対応する状態で、重畳された表示を出力する、
 1.に記載の測定装置。
3. 前記取得手段は、前記被験者の肢体における所定部位の位置情報又は向き情報を順次取得し、
 前記算出手段は、前記順次取得される位置情報又は向き情報に基づいて、前記角度又は前記距離を順次算出し、
 前記出力処理手段は、前記被験者に関し順次算出される角度又は距離の中で、最大値又は最小値を出力しつつ、前記被験者の姿勢が不適切と判定された際に算出された角度又は距離をその最大値又は最小値の選択候補から除外する、
 1.又は2.に記載の測定装置。
4. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の肩及び手の位置情報を取得し、
 前記算出手段は、前記取得された位置情報に基づいて、前記肩の位置を端点とし前記三次元センサの視野の垂直下向きの線分と、前記肩の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の水平方向又は深度方向と直交する平面上になす角度を、肩の屈曲運動、伸展運動、外転運動、又は内転運動の能力指標として算出する、
 1.から3.のいずれか1つに記載の測定装置。
5. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の肘及び手の位置情報を取得し、
 前記算出手段は、前記取得された位置情報に基づいて、前記肘の位置を端点とし前記三次元センサの視野の深度方向の逆向きの線分と、前記肘の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の外旋運動又は内旋運動の能力指標として算出する、
 1.から4.のいずれか1つに記載の測定装置。
6. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の肩及び手の位置情報を取得し、
 前記算出手段は、前記取得された位置情報に基づいて、前記肩の位置を端点とし前記三次元センサの視野の水平方向の線分と、前記肩の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の水平伸展運動又は水平屈曲運動の能力指標として算出する、
 1.から5.のいずれか1つに記載の測定装置。
7. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の腰及び膝の位置情報を取得し、
 前記算出手段は、前記取得された位置情報に基づいて、前記腰の位置を端点とし前記三次元センサの視野の垂直下向きの線分と、前記腰の位置と前記膝の位置とを結ぶ線分との、前記三次元センサの視野の水平方向に直交する平面上になす角度を、股の屈曲運動の能力指標として算出する、
 1.から6.のいずれか1つに記載の測定装置。
8. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の顔の向き情報及び両肩の位置情報を取得し、
 前記算出手段は、前記取得された位置情報に基づいて、前記両肩を結ぶ線分と、前記三次元センサの視野の水平方向との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の開き角度として算出し、前記取得された向き情報と算出された肩の開き角度とに基づいて、首の右回旋運動又は左回旋運動の能力指標となる角度を算出する、
 1.から7.のいずれか1つに記載の測定装置。
9. 前記算出された肩の開き角度が所定角度範囲に含まれるか否かの判定結果を報知する報知手段、
 を更に備える8.に記載の測定装置。
10. 前記判定手段は、前記算出された肩の開き角度が所定角度範囲に含まれるか否か、及び前記被験者が前記三次元センサから所定距離範囲内に位置しているか否かを判定する、
 8.又は9.に記載の測定装置。
11. 前記取得手段は、三次元センサから得られる前記被験者の下半身の深度画像に基づいて、床面の位置情報及び前記被験者のつま先の位置情報を取得し、取得された位置情報で示されるつま先の位置よりも外側の、前記被験者の深度画像に基づいて、前記被験者の手の指先の位置情報を取得し、
 前記算出手段は、前記床面の位置情報及び前記被験者の手の指先の位置情報に基づいて、手の指先から床面までの距離を算出する、
 1.から10.のいずれか1つに記載の測定装置。
12. 前記三次元センサから前記被験者を含む画像を連続的に取得する画像取得手段、
 を更に備え、
 前記出力処理手段は、
  前記取得された画像を順次表示しながら、前記取得されたつま先の位置情報に基づいて、表示される画像上の前記被験者のつま先の位置にマークを重畳し、
  前記マークの重畳の後の所定イベントの検出により、前記マークを順次表示される画像上に固定的に重畳すると共に、順次表示される画像に含まれる前記被験者の、つま先よりも外側に位置する画像領域に、前記被験者の深度情報に応じた着色を行う、
 11.に記載の測定装置。
13. 前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の全身の深度画像を逐次取得し、その深度画像に基づいて、前記被験者の手の指先の位置情報を逐次取得し、所定イベントの検出時に取得されている手の指先の位置情報を保持し、
 前記算出手段は、前記保持される手の指先の位置情報と、新たに取得された手の指先の位置情報とに基づいて、手の指先間の、前記三次元センサの視野の水平方向における距離を算出する、
 1.から12.のいずれか1つに記載の測定装置。
14. 少なくとも一つのコンピュータにより実行される測定方法において、
 被験者の肢体における所定部位の位置情報又は向き情報を取得し、
 前記取得された位置情報又は向き情報に基づいて、前記被験者の肢体の能力指標となる角度又は距離を算出し、
 前記取得された位置情報又は向き情報に基づいて、前記被験者の姿勢の適否を判定し、
 前記被験者の姿勢の適否の判定結果に対応する状態で、前記算出された角度又は距離を出力する、
 ことを含む測定方法。
15. 前記被験者を含む画像上に、前記角度又は前記距離の算出に用いられる複数の位置情報に対応する複数の所定部位間を結ぶ線分が、前記被験者の姿勢の適否の判定結果に対応する状態で、重畳された表示を更に出力する、
 ことを含む14.に記載の測定方法。
16. 前記被験者の肢体における所定部位の位置情報又は向き情報を順次取得し、
 前記順次取得される位置情報又は向き情報に基づいて、前記角度又は前記距離を順次算出し、
 前記被験者に関し順次算出される角度又は距離の中で、最大値又は最小値を出力しつつ、前記被験者の姿勢が不適切と判定された際に算出された角度又は距離をその最大値又は最小値の選択候補から除外する、
 ことを更に含む14.又は15.に記載の測定方法。
17. 前記取得は、三次元センサから得られる情報に基づいて、前記被験者の肩及び手の位置情報を取得することを含み、
 前記算出は、前記取得された位置情報に基づいて、前記肩の位置を端点とし前記三次元センサの視野の垂直下向きの線分と、前記肩の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の水平方向又は深度方向と直交する平面上になす角度を、肩の屈曲運動、伸展運動、外転運動、又は内転運動の能力指標として算出することを含む、
 14.から16.のいずれか1つに記載の測定方法。
18. 前記取得は、三次元センサから得られる情報に基づいて、前記被験者の肘及び手の位置情報を取得することを含み、
 前記算出は、前記取得された位置情報に基づいて、前記肘の位置を端点とし前記三次元センサの視野の深度方向の逆向きの線分と、前記肘の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の外旋運動又は内旋運動の能力指標として算出することを含む、
 14.から17.のいずれか1つに記載の測定方法。
19. 前記取得は、三次元センサから得られる情報に基づいて、前記被験者の肩及び手の位置情報を取得することを含み、
 前記算出は、前記取得された位置情報に基づいて、前記肩の位置を端点とし前記三次元センサの視野の水平方向の線分と、前記肩の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の水平伸展運動又は水平屈曲運動の能力指標として算出することを含む、
 14.から18.のいずれか1つに記載の測定方法。
20. 前記取得は、三次元センサから得られる情報に基づいて、前記被験者の腰及び膝の位置情報を取得することを含み、
 前記算出は、前記取得された位置情報に基づいて、前記腰の位置を端点とし前記三次元センサの視野の垂直下向きの線分と、前記腰の位置と前記膝の位置とを結ぶ線分との、前記三次元センサの視野の水平方向に直交する平面上になす角度を、股の屈曲運動の能力指標として算出することを含む、
 14.から19.のいずれか1つに記載の測定方法。
21. 前記取得は、三次元センサから得られる情報に基づいて、前記被験者の顔の向き情報及び両肩の位置情報を取得することを含み、
 前記算出は、前記取得された位置情報に基づいて、前記両肩を結ぶ線分と、前記三次元センサの視野の水平方向との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の開き角度として算出し、前記取得された向き情報と算出された肩の開き角度とに基づいて、首の右回旋運動又は左回旋運動の能力指標となる角度を算出することを含む、
 14.から20.のいずれか1つに記載の測定方法。
22. 前記算出された肩の開き角度が所定角度範囲に含まれるか否かの判定結果を報知する、
 ことを更に含む21.に記載の測定方法。
23. 前記判定は、前記算出された肩の開き角度が所定角度範囲に含まれるか否か、及び前記被験者が前記三次元センサから所定距離範囲内に位置しているか否かを判定することを含む、
 21.又は22.に記載の測定方法。
24. 前記取得は、三次元センサから得られる前記被験者の下半身の深度画像に基づいて、床面の位置情報及び前記被験者のつま先の位置情報を取得し、取得された位置情報で示されるつま先の位置よりも外側の、前記被験者の深度画像に基づいて、前記被験者の手の指先の位置情報を取得することを含み、
 前記算出は、前記床面の位置情報及び前記被験者の手の指先の位置情報に基づいて、手の指先から床面までの距離を算出することを含む、
 14.から23.のいずれか1つに記載の測定方法。
25. 前記三次元センサから前記被験者を含む画像を連続的に取得し、
 前記取得された画像を順次表示しながら、前記取得されたつま先の位置情報に基づいて、表示される画像上の前記被験者のつま先の位置にマークを重畳し、
 前記マークの重畳の後の所定イベントの検出により、前記マークを順次表示される画像上に固定的に重畳すると共に、順次表示される画像に含まれる前記被験者の、つま先よりも外側に位置する画像領域に、前記被験者の深度情報に応じた着色を行う、
 ことを更に含む24.に記載の測定方法。
26. 三次元センサから得られる情報に基づいて、前記被験者の全身の深度画像を逐次取得し、
 前記取得された深度画像に基づいて、前記被験者の手の指先の位置情報を逐次取得し、
 所定イベントの検出時に取得されている手の指先の位置情報を保持する、
 ことを更に含み、
 前記算出は、前記保持される手の指先の位置情報と、新たに取得された手の指先の位置情報とに基づいて、手の指先間の、前記三次元センサの視野の水平方向における距離を算出することを含む、
 14.から25.のいずれか1つに記載の測定方法。
27. 14.から26.のいずれか1つに記載の測定方法を少なくとも一つのコンピュータに実行させるプログラム。
 この出願は、2015年6月26日に出願された日本出願特願2015-129019号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (15)

  1.  被験者の肢体における所定部位の位置情報又は向き情報を取得する取得手段と、
     前記取得された位置情報又は向き情報に基づいて、前記被験者の肢体の能力指標となる角度又は距離を算出する算出手段と、
     前記取得された位置情報又は向き情報に基づいて、前記被験者の姿勢の適否を判定する判定手段と、
     前記被験者の姿勢の適否の判定結果に対応する状態で、前記算出された角度又は距離を出力する出力処理手段と、
     を備える測定装置。
  2.  前記出力処理手段は、前記被験者を含む画像上に、前記角度又は前記距離の算出に用いられる複数の位置情報に対応する複数の所定部位間を結ぶ線分が、前記被験者の姿勢の適否の判定結果に対応する状態で、重畳された表示を出力する、
     請求項1に記載の測定装置。
  3.  前記取得手段は、前記被験者の肢体における所定部位の位置情報又は向き情報を順次取得し、
     前記算出手段は、前記順次取得される位置情報又は向き情報に基づいて、前記角度又は前記距離を順次算出し、
     前記出力処理手段は、前記被験者に関し順次算出される角度又は距離の中で、最大値又は最小値を出力しつつ、前記被験者の姿勢が不適切と判定された際に算出された角度又は距離をその最大値又は最小値の選択候補から除外する、
     請求項1又は2に記載の測定装置。
  4.  前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の肩及び手の位置情報を取得し、
     前記算出手段は、前記取得された位置情報に基づいて、前記肩の位置を端点とし前記三次元センサの視野の垂直下向きの線分と、前記肩の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の水平方向又は深度方向と直交する平面上になす角度を、肩の屈曲運動、伸展運動、外転運動、又は内転運動の能力指標として算出する、
     請求項1から3のいずれか1項に記載の測定装置。
  5.  前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の肘及び手の位置情報を取得し、
     前記算出手段は、前記取得された位置情報に基づいて、前記肘の位置を端点とし前記三次元センサの視野の深度方向の逆向きの線分と、前記肘の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の外旋運動又は内旋運動の能力指標として算出する、
     請求項1から4のいずれか1項に記載の測定装置。
  6.  前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の肩及び手の位置情報を取得し、
     前記算出手段は、前記取得された位置情報に基づいて、前記肩の位置を端点とし前記三次元センサの視野の水平方向の線分と、前記肩の位置と前記手の位置とを結ぶ線分との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の水平伸展運動又は水平屈曲運動の能力指標として算出する、
     請求項1から5のいずれか1項に記載の測定装置。
  7.  前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の腰及び膝の位置情報を取得し、
     前記算出手段は、前記取得された位置情報に基づいて、前記腰の位置を端点とし前記三次元センサの視野の垂直下向きの線分と、前記腰の位置と前記膝の位置とを結ぶ線分との、前記三次元センサの視野の水平方向に直交する平面上になす角度を、股の屈曲運動の能力指標として算出する、
     請求項1から6のいずれか1項に記載の測定装置。
  8.  前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の顔の向き情報及び両肩の位置情報を取得し、
     前記算出手段は、前記取得された位置情報に基づいて、前記両肩を結ぶ線分と、前記三次元センサの視野の水平方向との、前記三次元センサの視野の垂直方向に直交する平面上になす角度を、肩の開き角度として算出し、前記取得された向き情報と算出された肩の開き角度とに基づいて、首の右回旋運動又は左回旋運動の能力指標となる角度を算出する、
     請求項1から7のいずれか1項に記載の測定装置。
  9.  前記算出された肩の開き角度が所定角度範囲に含まれるか否かの判定結果を報知する報知手段、
     を更に備える請求項8に記載の測定装置。
  10.  前記判定手段は、前記算出された肩の開き角度が所定角度範囲に含まれるか否か、及び前記被験者が前記三次元センサから所定距離範囲内に位置しているか否かを判定する、
     請求項8又は9に記載の測定装置。
  11.  前記取得手段は、三次元センサから得られる前記被験者の下半身の深度画像に基づいて、床面の位置情報及び前記被験者のつま先の位置情報を取得し、取得された位置情報で示されるつま先の位置よりも外側の、前記被験者の深度画像に基づいて、前記被験者の手の指先の位置情報を取得し、
     前記算出手段は、前記床面の位置情報及び前記被験者の手の指先の位置情報に基づいて、手の指先から床面までの距離を算出する、
     請求項1から10のいずれか1項に記載の測定装置。
  12.  前記三次元センサから前記被験者を含む画像を連続的に取得する画像取得手段、
     を更に備え、
     前記出力処理手段は、
      前記取得された画像を順次表示しながら、前記取得されたつま先の位置情報に基づいて、表示される画像上の前記被験者のつま先の位置にマークを重畳し、
      前記マークの重畳の後の所定イベントの検出により、前記マークを順次表示される画像上に固定的に重畳すると共に、順次表示される画像に含まれる前記被験者の、つま先よりも外側に位置する画像領域に、前記被験者の深度情報に応じた着色を行う、
     請求項11に記載の測定装置。
  13.  前記取得手段は、三次元センサから得られる情報に基づいて、前記被験者の全身の深度画像を逐次取得し、その深度画像に基づいて、前記被験者の手の指先の位置情報を逐次取得し、所定イベントの検出時に取得されている手の指先の位置情報を保持し、
     前記算出手段は、前記保持される手の指先の位置情報と、新たに取得された手の指先の位置情報とに基づいて、手の指先間の、前記三次元センサの視野の水平方向における距離を算出する、
     請求項1から12のいずれか1項に記載の測定装置。
  14.  少なくとも一つのコンピュータにより実行される測定方法において、
     被験者の肢体における所定部位の位置情報又は向き情報を取得し、
     前記取得された位置情報又は向き情報に基づいて、前記被験者の肢体の能力指標となる角度又は距離を算出し、
     前記取得された位置情報又は向き情報に基づいて、前記被験者の姿勢の適否を判定し、
     前記被験者の姿勢の適否の判定結果に対応する状態で、前記算出された角度又は距離を出力する、
     ことを含む測定方法。
  15.  請求項14に記載の測定方法を少なくとも一つのコンピュータに実行させるプログラム。
PCT/JP2016/064139 2015-06-26 2016-05-12 測定装置及び測定方法 WO2016208291A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP16814062.2A EP3315068B1 (en) 2015-06-26 2016-05-12 Device, method, and computer program for providing posture feedback during an exercise
JP2017524729A JP6482103B2 (ja) 2015-06-26 2016-05-12 測定装置及び測定方法
US15/580,540 US20180153445A1 (en) 2015-06-26 2016-05-12 Measurement device and measurement method
CN201680037699.6A CN107708555B (zh) 2015-06-26 2016-05-12 测量装置和测量方法
HK18106165.6A HK1246622A1 (zh) 2015-06-26 2018-05-11 測量裝置和測量方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015129019 2015-06-26
JP2015-129019 2015-06-26

Publications (1)

Publication Number Publication Date
WO2016208291A1 true WO2016208291A1 (ja) 2016-12-29

Family

ID=57585000

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/064139 WO2016208291A1 (ja) 2015-06-26 2016-05-12 測定装置及び測定方法

Country Status (6)

Country Link
US (1) US20180153445A1 (ja)
EP (1) EP3315068B1 (ja)
JP (1) JP6482103B2 (ja)
CN (1) CN107708555B (ja)
HK (1) HK1246622A1 (ja)
WO (1) WO2016208291A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019005466A (ja) * 2017-06-28 2019-01-17 Necソリューションイノベータ株式会社 身体特性分析装置、身体特性分析方法、及びプログラム
JP2019150533A (ja) * 2018-03-06 2019-09-12 株式会社 Mtg 運動制御システム
WO2020021873A1 (ja) * 2018-07-24 2020-01-30 日本電気株式会社 処理装置、処理方法及びプログラム
JP2020126568A (ja) * 2019-01-31 2020-08-20 ユインケア コーポレーション Rgb−dカメラを利用したリハビリ訓練システム及び方法
JP2020174910A (ja) * 2019-04-18 2020-10-29 株式会社Sportip 運動支援システム
JP7366299B1 (ja) 2023-03-01 2023-10-20 株式会社エクサウィザーズ 情報処理方法、コンピュータプログラム及び情報処理装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111010865B (zh) 2017-02-24 2023-07-25 梅西莫股份有限公司 用于显示医疗监测数据的***
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
JP7159208B2 (ja) 2017-05-08 2022-10-24 マシモ・コーポレイション ドングルを使用することによって医療システムをネットワークコントローラとペアリングするためのシステム
WO2019245866A2 (en) * 2018-06-19 2019-12-26 Tornier, Inc. Mixed reality-aided surgical assistance in orthopedic surgical procedures
KR20200080047A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
KR102108405B1 (ko) * 2019-08-23 2020-05-08 박하연 신체정보, 자세정보 및 관절가동범위 측정 시스템 및 그 방법
US10932985B1 (en) * 2020-03-14 2021-03-02 Ryan Whelton Systems and methods of positioning a body of a user during stimulation for therapeutic effects
CN111920416B (zh) * 2020-07-13 2024-05-03 张艳 一种手部康复训练效果测量方法、存储介质、终端及***
JP7332550B2 (ja) * 2020-08-18 2023-08-23 トヨタ自動車株式会社 動作状態監視システム、訓練支援システム、動作状態監視方法およびプログラム
WO2022207030A1 (de) * 2021-04-01 2022-10-06 Menger Joern Finger-boden-abstandstestvorrichtung für eine beweglichkeitsmessung an personen sowie verwendung und beweglichkeitsmessverfahren
CN115462761B (zh) * 2022-09-29 2024-02-23 中国医学科学院北京协和医院 一种身体平衡监测方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002000584A (ja) * 2000-06-16 2002-01-08 Matsushita Electric Ind Co Ltd 関節可動域検査訓練システム
JP2014138661A (ja) * 2013-01-21 2014-07-31 Toshiba Corp 医用画像表示装置及びプログラム
JP2015042241A (ja) * 2013-01-18 2015-03-05 株式会社東芝 動作情報処理装置及び方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060293617A1 (en) * 2004-02-05 2006-12-28 Reability Inc. Methods and apparatuses for rehabilitation and training
JP4971808B2 (ja) * 2007-01-17 2012-07-11 パナソニック株式会社 歩行動作分析装置
WO2013090554A1 (en) * 2011-12-15 2013-06-20 Jintronix, Inc. Method and system for evaluating a patient during a rehabilitation exercise
DE202012013507U1 (de) * 2012-02-28 2017-05-04 Sportmed Ag Vorrichtung zum Vermessen von Befunden von Körperteil- und Extremitätenbeweglichkeiten
CN102824176B (zh) * 2012-09-24 2014-06-04 南通大学 一种基于Kinect传感器的上肢关节活动度测量方法
JP2014068714A (ja) * 2012-09-28 2014-04-21 Kitasato Institute 関節角度測定システム
CN104936520B (zh) * 2012-12-06 2018-01-02 斯努扎信托公司 运动监测器
WO2014104360A1 (ja) * 2012-12-28 2014-07-03 株式会社東芝 動作情報処理装置及び方法
JP2015061579A (ja) * 2013-07-01 2015-04-02 株式会社東芝 動作情報処理装置
JP6183906B2 (ja) * 2013-08-28 2017-08-23 日本電信電話株式会社 歩容推定装置とそのプログラム、転倒危険度算出装置とそのプログラム
CN104537670B (zh) * 2014-12-31 2017-08-04 深圳泰山体育科技股份有限公司 一种柔韧性测试方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002000584A (ja) * 2000-06-16 2002-01-08 Matsushita Electric Ind Co Ltd 関節可動域検査訓練システム
JP2015042241A (ja) * 2013-01-18 2015-03-05 株式会社東芝 動作情報処理装置及び方法
JP2014138661A (ja) * 2013-01-21 2014-07-31 Toshiba Corp 医用画像表示装置及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KYOZO YONEMOTO ET AL.: "Kansetsu Kadoiki Hyoji Narabini Sokuteiho (Heisei 7 Nen 4 Gatsu Kaitei", JAPANESE JOURNAL OF REHABILITATION MEDICINE, vol. 32, no. 4, April 1995 (1995-04-01), pages 207 - 217 *
See also references of EP3315068A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019005466A (ja) * 2017-06-28 2019-01-17 Necソリューションイノベータ株式会社 身体特性分析装置、身体特性分析方法、及びプログラム
JP2019150533A (ja) * 2018-03-06 2019-09-12 株式会社 Mtg 運動制御システム
JP7178786B2 (ja) 2018-03-06 2022-11-28 株式会社 Mtg 運動制御システム
WO2020021873A1 (ja) * 2018-07-24 2020-01-30 日本電気株式会社 処理装置、処理方法及びプログラム
JPWO2020021873A1 (ja) * 2018-07-24 2021-08-12 日本電気株式会社 処理装置、処理方法及びプログラム
JP2020126568A (ja) * 2019-01-31 2020-08-20 ユインケア コーポレーション Rgb−dカメラを利用したリハビリ訓練システム及び方法
JP2020174910A (ja) * 2019-04-18 2020-10-29 株式会社Sportip 運動支援システム
JP7366299B1 (ja) 2023-03-01 2023-10-20 株式会社エクサウィザーズ 情報処理方法、コンピュータプログラム及び情報処理装置

Also Published As

Publication number Publication date
EP3315068A1 (en) 2018-05-02
JP6482103B2 (ja) 2019-03-13
CN107708555B (zh) 2020-10-27
CN107708555A (zh) 2018-02-16
EP3315068B1 (en) 2020-10-21
JPWO2016208291A1 (ja) 2018-03-22
US20180153445A1 (en) 2018-06-07
HK1246622A1 (zh) 2018-09-14
EP3315068A4 (en) 2019-01-09

Similar Documents

Publication Publication Date Title
JP6482103B2 (ja) 測定装置及び測定方法
JP6369811B2 (ja) 歩行解析システムおよび歩行解析プログラム
US20180333084A1 (en) Joint movement analysis system and method; knee-joint dynamic evaluation method and system
CN111292277B (zh) 超声融合成像方法及超声融合成像导航***
JP6881755B2 (ja) 視線検出校正方法、システム、及びコンピュータプログラム
WO2015162158A1 (en) Human motion tracking
CN107373892B (zh) 一种三维脚型扫描仪的准确站位自动监测提示***、方法
US20230005161A1 (en) Information processing apparatus and determination result output method
Lim et al. Camera-based hand tracking using a mirror-based multi-view setup
US11694360B2 (en) Calibrating 3D motion capture system for skeletal alignment using x-ray data
KR101788960B1 (ko) 관절 가동성 자동측정장치 및 이를 이용한 관절 가동성 자동측정방법
JP2013533999A (ja) オプションを提示するための方法及び装置
Bonnechère et al. Can the kinectTM sensors be used for motion analysis?
US20210267494A1 (en) Analysis system and method of joint movement
KR101398193B1 (ko) 캘리브레이션 장치 및 방법
TWI764393B (zh) 壓力織物的製造方法
JP6465419B2 (ja) 測定装置及び測定方法
JP6482102B2 (ja) 測定装置及び測定方法
Janik et al. Validity of a computer postural analysis to estimate 3-dimensional rotations and translations of the head from three 2-dimensional digital images
CN113298051B (zh) 基于感知地毯标定的人体形体精确测量***及方法
RU2732735C1 (ru) Способ контроля положения и дыхания пациента с применением набора инфракрасных датчиков глубины
KR102502438B1 (ko) Ar 기반의 신장 측정 방법 및 이를 이용한 성장 상태 측정 시스템
WO2022209286A1 (ja) 判定装置
KR101663297B1 (ko) 관절 운동학을 기반으로 하는 모션 캡쳐 장치 및 그 방법
KR20220117399A (ko) 온라인 움직임 교정시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16814062

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017524729

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15580540

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016814062

Country of ref document: EP