JP6375328B2 - Hand condition evaluation device - Google Patents
Hand condition evaluation device Download PDFInfo
- Publication number
- JP6375328B2 JP6375328B2 JP2016046229A JP2016046229A JP6375328B2 JP 6375328 B2 JP6375328 B2 JP 6375328B2 JP 2016046229 A JP2016046229 A JP 2016046229A JP 2016046229 A JP2016046229 A JP 2016046229A JP 6375328 B2 JP6375328 B2 JP 6375328B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- phalange
- finger
- image
- condition evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、片麻痺患者の手指の運動麻痺状態を評価する手指病態評価装置に関し、麻痺の回復状態の定量的な評価を可能にしたものである。 The present invention relates to a hand pathological condition evaluation apparatus that evaluates the motion paralysis state of a finger of a hemiplegic patient, and enables quantitative evaluation of the recovery state of the paralysis.
脳卒中患者の運動麻痺は、骨格筋が収縮しない最重度の麻痺状態から、各関節を動かす骨格筋が同時に収縮する共同運動の状態、各関節を動かす骨格筋が随意的に収縮し、各関節の独自の運動が可能となる分離運動の状態へと重症度が段階づけられる。
リハビリテーション分野では、脳卒中患者の運動麻痺の回復過程での重症度を運動観察により評価する方法が広く用いられている。
例えば、下記非特許文献１に記載されたブルンストローム・ステージでは、回復過程での手指の運動麻痺の重症度を以下の６段階に分けている。
ステージ１：随意的に動かすことができない弛緩性麻痺状態。
ステージ２：指の屈折が不能、または僅かに可能。
ステージ３：指の集団屈曲が可能、鉤型握りをするが離すことはできない。指伸展は随意的にはできない（反射的に可能な場合がある）。
ステージ４：横摘まみが可能で、母指の外転により離すことも可能。半ば随意的な指の伸展が可能だが、不十分。
ステージ５：対向摘まみができる。円筒握り、球握り等が可能。指の集団伸展が可能。
ステージ６：全ての握り方、摘み方が可能。随意的な指伸展が全可動域で可能。指の分離運動も可能。しかし、麻痺の無い人に比べて多少拙劣。
片麻痺患者のリハビリテーションの治療プログラムは、患者の運動麻痺の回復過程での重症度に基づいて組まれる。
Motor paralysis in stroke patients is from the most severe paralysis state where the skeletal muscles do not contract, to the state of joint movement where the skeletal muscles that move each joint contract simultaneously, the skeletal muscles that move each joint voluntarily contract, Severity is graded to a state of segregation that allows unique exercise.
In the field of rehabilitation, a method is widely used in which the severity of stroke patients in the process of recovery from motor paralysis is evaluated by observation of exercise.
For example, in the Brunstrom stage described in Non-Patent Document 1 below, the severity of finger paralysis during the recovery process is divided into the following six stages.
Stage 1: A relaxed paralysis that cannot be moved arbitrarily.
Stage 2: Finger refraction is impossible or slightly possible.
Stage 3: Collective bending of fingers is possible. Finger extension is not optional (may be reflexively possible).
Stage 4: Can be picked sideways and can be released by abduction of the thumb. Semi-voluntary finger extension is possible but not enough.
Stage 5: Opposite picking is possible. Cylindrical grip, ball grip, etc. are possible. Finger extension is possible.
Stage 6: All grips and picks are possible. Voluntary finger extension is possible over the entire range of motion. Finger separation movement is also possible. However, it is somewhat inferior to those without paralysis.
A rehabilitation treatment program for hemiplegic patients is based on the severity of the patient's recovery from motor paralysis.
しかし、従来の運動麻痺の重症度に対する動作観察評価は、麻痺の状態を表す量の大小関係にのみ意味を持つ“順序尺度”による評価であり、重症度の判定には判定者の経験や技術が大きく影響する。
科学的根拠に基づくリハビリテーション医療を進めるには、患者の病態を客観的に評価することが必要である。
However, the conventional motion observation evaluation for the severity of motor paralysis is an evaluation based on the “order scale” that is meaningful only for the magnitude relationship of the quantity representing the state of paralysis. Greatly affects.
To advance rehabilitation medicine based on scientific evidence, it is necessary to objectively evaluate the patient's condition.
本発明は、こうした事情を考慮して創案したものであり、手指の運動麻痺状態を定量的に評価することができる手指病態評価装置を提供することを目的としている。 The present invention has been made in view of such circumstances, and an object thereof is to provide a hand pathological condition evaluation apparatus capable of quantitatively evaluating the motion paralysis state of fingers.
本発明は、手指の運動麻痺状態の病態レベルを評価する手指病態評価装置であって、被写体までの距離データが各画素の画素値に含まれる距離画像を撮影する距離画像撮影手段と、距離画像撮影手段が被験者の運動する手指を被写体として撮影した距離画像の各フレームから各指の指骨を構成する中手骨、基節骨、中節骨及び末節骨の指骨位置を求めて、その指骨位置のデータが画素値に含まれる仮想指骨の画像を生成する仮想指骨画像生成手段と、仮想指骨画像生成手段により生成された仮想指骨の画像を被験者の特定が可能な識別情報に対応付けて記録する記録手段と、記録手段から仮想指骨の画像を読出し、仮想指骨間の関節角度、仮想指骨の運動状態を表す加速度、及び、仮想指骨の運動に伴う移動量の少なくとも１つを算出する仮想指骨演算手段と、手指の各病態レベルを表す基準データとして、各病態レベルにおける仮想指骨間の関節角度、仮想指骨の前記加速度、又は、仮想指骨の移動量のデータが格納された基準データ格納部と、基準データ格納部に格納された基準データと、仮想指骨演算手段が算出した値とを比較し、被験者の手指の病態レベルを判定する手指病態判定手段と、を備えることを特徴とする。
この手指病態評価装置では、手指の病態レベルを基準レベルと比較することで定量的に評価することができる。
The present invention is a hand pathological condition evaluation apparatus for evaluating the pathological level of a motor paralysis state of a finger, a distance image capturing unit that captures a distance image in which distance data to a subject is included in a pixel value of each pixel, and a distance image The phalange positions of the metacarpal bone, the proximal phalanx, the middle phalanx, and the distal phalanx constituting the phalange of each finger are obtained from each frame of the distance image obtained by the photographing means taking the subject's moving finger as the subject, and the phalange position A virtual phalanx image generating means for generating an image of a virtual phalange whose data is included in the pixel value, and a virtual phalange image generated by the virtual phalange image generating means is recorded in association with identification information that can identify the subject. A temporary means for reading the virtual phalanx image from the recording means and the recording means and calculating at least one of a joint angle between the virtual phalanges, an acceleration representing the motion state of the virtual phalange, and a movement amount associated with the movement of the virtual phalange. And phalanges calculating means, as the reference data representing each condition level of the fingers, joint angle between the virtual phalanges at each condition level, the acceleration of the virtual phalanges, or reference data storage unit movement amount of data in the virtual phalanges are stored And a hand pathological condition determining unit that compares the reference data stored in the reference data storage unit with the value calculated by the virtual phalange calculation means to determine the pathological level of the subject's finger.
In this hand pathological condition evaluation apparatus, a hand pathological condition level can be quantitatively evaluated by comparing with a reference level.
また、本発明の手指病態評価装置では、さらに、記録手段に記録された仮想指骨の画像を表示画面に表示する仮想指骨画像再生手段を備える。
手指の病態を映像で表すことができる。
The hand condition evaluation apparatus of the present invention further includes virtual phalange image reproduction means for displaying the virtual phalange image recorded in the recording means on the display screen.
The pathology of the fingers can be represented by video.
また、本発明の手指病態評価装置では、距離画像撮影手段として、赤外線発光素子を具備し、発光された赤外光が被写体で反射して戻るまでの時間に基づいて各画素に含める距離データを設定するTime of Flight（ＴＯＦ）方式の距離画像センサを用いることが望ましい。
ＴＯＦ方式の距離画像センサは、高い精度の距離画像を得ることができる。
In the hand condition evaluation apparatus of the present invention, the distance image capturing means includes an infrared light emitting element, and distance data to be included in each pixel based on a time until the emitted infrared light is reflected by the subject and returned. It is desirable to use a time of flight (TOF) range image sensor to be set.
The distance image sensor of the TOF method can obtain a distance image with high accuracy.
また、本発明の手指病態評価装置では、仮想指骨演算手段は、仮想指骨の各々を時間的に大きさが変化しないベクトルと見做して仮想指骨間の関節角度を算出する。
それにより、各指の仮想指骨間の関節角度等を代数計算処理で求めることができる。
In the finger pathological condition evaluation apparatus of the present invention, the virtual phalange calculation means calculates the joint angle between the virtual phalanges by regarding each of the virtual phalanges as a vector whose size does not change with time.
Thereby, the joint angle between the virtual phalanges of each finger can be obtained by algebraic calculation processing.
また、本発明の手指病態評価装置では、基準データは、手指の病態レベルが既知の患者の手指を被写体として距離画像撮影手段が撮影した距離画像から、仮想指骨画像生成手段による仮想指骨画像の生成、及び、仮想指骨演算手段による仮想指骨間の関節角度、仮想指骨の加速度、又は、仮想指骨の移動量の算出の処理を経て生成されたものである。
手指の病態レベルが既知の患者の手指の運動を距離画像撮影手段で撮影することで基準データが得られる。
Further, in the hand pathological condition evaluation apparatus of the present invention, the reference data is generated from the distance image captured by the distance image capturing unit using the finger of a patient whose finger condition level is known as a subject, and the virtual phalange image generation unit by the virtual phalange image generation unit and joint angle between virtual phalange by virtual phalange calculation means, the acceleration of the virtual phalanges, or those generated through the process of calculating the movement amount of the virtual phalanges.
Reference data can be obtained by photographing a finger motion of a patient whose finger condition level is known with a distance image photographing means.
また、本発明の手指病態評価装置では、基準データ格納部に、運動麻痺の各重症度に該当する患者の手指を被写体として距離画像撮影手段が撮影した距離画像から得られた基準データが記録されている。
そのため、被験者の手指の病態が運動麻痺のどの重症度に該当するかを的確に判断することができる。
In the hand pathological condition evaluation apparatus of the present invention , the reference data obtained from the distance image captured by the distance image capturing unit using the patient's finger corresponding to each severity of motor paralysis as a subject is recorded in the reference data storage unit. ing.
Therefore, it is possible to accurately determine the severity of the motor paralysis corresponding to the condition of the subject's fingers.
本発明の手指病態評価装置により、手指の運動麻痺の重症状態を定量的に評価することができる。 The hand pathological condition evaluation apparatus of the present invention can quantitatively evaluate the severe state of finger paralysis.
図１は、本発明の実施形態に係る手指病態評価装置の構成をブロック図で示している。
この装置は、距離画像の撮影を実行する距離画像撮影装置１０と、距離画像撮影装置１０で撮影された手指の動画像から病態を評価するための演算を行う演算部３０と、距離画像撮影装置１０で撮影された映像や演算部３０で算出された演算結果を記録する情報記録装置２０と、演算結果等を表示する表示部４０とを備えている。
FIG. 1 is a block diagram showing a configuration of a hand condition evaluation apparatus according to an embodiment of the present invention.
The apparatus includes a distance image capturing apparatus 10 that performs distance image capturing, a calculation unit 30 that performs an operation for evaluating a disease state from a moving image of a finger captured by the distance image capturing apparatus 10, and a distance image capturing apparatus. 10 includes an information recording device 20 that records the video imaged at 10 and the calculation result calculated by the calculation unit 30, and a display unit 40 that displays the calculation result and the like.
距離画像撮影装置１０は、被験者の手指を被写体として、その動画像を撮像する。被験者は、距離画像撮影装置１０の前で指を曲げたり伸ばしたり、物を掴んだり、摘まんだりする動作を行い、距離画像撮影装置１０は、そうした運動を行う手指を撮像する。
距離画像撮影装置１０により撮影される画像（距離画像）の各画素のデータには、被写体までの距離のデータが含まれる。
距離画像を撮影する方式としては、“ＴＯＦ（Time of Flight）方式”や“パターン投光方式”等が知られている。ＴＯＦ方式では、赤外線発光素子から発光された赤外光が被写体に反射して戻るまでの時間を距離に置き換えて各画像データに含める。一方、パターン投光方式では、被写体に赤外線でパターン（例えばドットパターン）を投光し、被写体に反射して戻って来たパターンの歪から被写体までの距離を算出し、その距離データを各画素データに含める。
この実施形態では、ＴＯＦ方式の距離画像撮影装置１０を使用している。なお、ＴＯＦ方式の距離画像撮影装置には、例えば、Leap Motion社から市販されているLEAP MOTION
（登録商標）などの機種がある。
The distance image capturing device 10 captures a moving image of a subject's finger as a subject. The subject performs an operation of bending or extending a finger, grasping an object, or picking an object in front of the distance image capturing device 10, and the distance image capturing device 10 captures an image of a finger performing such an exercise.
The data of each pixel of the image (distance image) photographed by the distance image photographing device 10 includes distance data to the subject.
As a method for capturing a distance image, a “TOF (Time of Flight) method”, a “pattern projection method”, and the like are known. In the TOF method, the time until the infrared light emitted from the infrared light emitting element is reflected back to the subject is replaced with a distance and included in each image data. On the other hand, in the pattern projection method, a pattern (for example, a dot pattern) is projected onto the subject with infrared rays, and the distance to the subject is calculated from the distortion of the pattern reflected and returned to the subject. Include in data.
In this embodiment, the distance image capturing device 10 of the TOF method is used. Note that the distance image capturing device of the TOF method includes, for example, LEAP MOTION commercially available from Leap Motion.
(Registered trademark) and other models.
図２は、被写体となる手指の指骨について示している。母指の指骨は中手骨５１、基節骨５２及び末節骨５４から成り、その他の示指、中指、薬指及び小指の指骨は、中手骨５１、基節骨５２、中節骨５３及び末節骨５４から成る。また、中手骨５１と基節骨５２との間の関節はＭＰ関節５５と呼ばれ、基節骨５２と中節骨５３との間の関節はＰＩＰ関節５６、中節骨５３と末節骨５４との間の関節はＤＩＰ関節５７と呼ばれる。また、母指の基節骨５２と末節骨５４との間の関節はＩＰ関節５８と呼ばれる。
各指の指骨や関節の位置は、手指の外形や手指の屈曲位置等から推定可能である。
FIG. 2 shows a phalange of a finger as a subject. The phalange of the thumb consists of the metacarpal bone 51, the proximal phalanx 52, and the distal phalanx 54. The other phalanges of the index finger, middle finger, ring finger, and little finger are the metacarpal bone 51, the proximal phalanx 52, the middle phalanx 53, and the distal phalanx. It consists of bones 54. The joint between the metacarpal bone 51 and the proximal phalanx 52 is called an MP joint 55, and the joint between the proximal phalanx 52 and the middle phalanx 53 is the PIP joint 56, and the middle phalanx 53 and the distal phalanx. The joint between 54 is called the DIP joint 57. The joint between the proximal phalanx 52 and the distal phalanx 54 of the thumb is called an IP joint 58.
The positions of the phalanges and joints of each finger can be estimated from the outer shape of the fingers, the bending position of the fingers, and the like.
演算部３０は、図１に示すように、距離画像撮影装置１０が撮影した距離画像のフレーム画像から各指の中手骨５１、基節骨５２、中節骨５３及び末節骨５４の指骨位置を推定して、その指骨位置のデータを画素データに含む、各指骨を模した仮想指骨の画像を生成する仮想指骨画像生成部３１と、仮想指骨画像生成部３１が生成した仮想指骨の画像を表示部４０に表示する仮想指骨画像再生部３２と、仮想指骨画像生成部３１が生成した仮想指骨画像から“各関節の角度”や“仮想指骨の運動状態を表す加速度”“仮想指骨の運動に伴う移動量”を算出する仮想指骨演算部３３と、手指病態の基準データと仮想指骨演算部３３が算出したデータとを比較して被験者の手指の病態を評価する手指病態判定部３４とを備えている。 As shown in FIG. 1, the calculation unit 30 calculates the phalange positions of the metacarpal bone 51, the proximal phalanx 52, the middle phalanx 53, and the distal phalanx 54 of each finger from the frame image of the distance image captured by the distance image capturing device 10. And the virtual phalange image generation unit 31 that generates a virtual phalanx image imitating each phalange and includes the phalange position data in the pixel data, and the virtual phalange image generated by the virtual phalange image generation unit 31 From the virtual phalanx image reproduction unit 32 displayed on the display unit 40 and the virtual phalanx image generated by the virtual phalanx image generation unit 31, “the angle of each joint”, “acceleration representing the movement state of the virtual phalange”, and “virtual phalange movement” A virtual phalange operation unit 33 that calculates the amount of movement ”, and a hand morbid state determination unit 34 that compares the reference data of the finger pathology and the data calculated by the virtual phalange operation unit 33 to evaluate the pathology of the subject's hand. ing.
また、情報記録装置２０は、距離画像撮像装置１０で撮像されたフレーム画像を格納する第１フレームメモリ２１１と、仮想指骨画像生成部３１で生成された仮想指骨のフレーム画像を格納する第２フレームメモリ２１２と、仮想指骨演算部３３が算出した“各関節の角度”“仮想指骨の運動状態を表す加速度”“仮想指骨の運動に伴う移動量”を蓄積する仮想指骨演算結果格納領域２２と、手指病態の基準データを蓄積する基準データ格納領域２３とを備えている。 The information recording device 20 also includes a first frame memory 211 that stores a frame image captured by the distance image capturing device 10 and a second frame that stores a frame image of the virtual phalange generated by the virtual phalange image generation unit 31. A memory 212, a virtual phalange calculation result storage area 22 that accumulates “an angle of each joint” calculated by the virtual phalange calculation unit 33, an “acceleration indicating the movement state of the virtual phalange”, and a “movement amount associated with the movement of the virtual phalange”; And a reference data storage area 23 for accumulating reference data of hand pathology.
情報記録装置２０の基準データ格納領域２３には、ブルンストローム・ステージのステージ１からステージ６までの各ステージの患者が距離画像撮影装置１０の前で手指の運動動作を行い、それを撮像した距離画像撮影装置１０の距離画像から仮想指骨画像生成部３１が仮想指骨の画像を生成し、その画像から仮想指骨演算部３３が算出した“各関節の角度”“仮想指骨の運動状態を表す加速度”“仮想指骨の運動に伴う移動量”のデータが運動麻痺の重症度の識別ＩＤに対応付けて格納されている。 In the reference data storage area 23 of the information recording device 20, the distance from which the patients of each stage from the stage 1 to the stage 6 of the Brunström move their fingers in front of the distance image capturing device 10 and image them. The virtual phalanx image generation unit 31 generates an image of the virtual phalanx from the distance image of the image capturing device 10, and “the angle of each joint” “acceleration representing the motion state of the virtual phalange” calculated by the virtual phalange calculation unit 33 from the image. Data of “movement amount associated with the movement of the virtual phalange” is stored in association with the identification ID of the severity of movement paralysis.
なお、演算部３０はコンピュータのＣＰＵ等で構成され、仮想指骨画像生成部３１、仮想指骨演算部３３、手指病態判定部３４及び仮想指骨画像再生部３２は、ＣＰＵがプログラムで規定された処理を実行することにより実現される。
また、情報記録装置２０及び表示部４０は、コンピュータに付属するメモリやディスプレイを用いて構成しても良い。
Note that the calculation unit 30 includes a CPU of a computer, and the virtual phalange image generation unit 31, the virtual phalange calculation unit 33, the hand pathological condition determination unit 34, and the virtual phalange image reproduction unit 32 perform processing defined by the CPU. It is realized by executing.
The information recording device 20 and the display unit 40 may be configured using a memory or a display attached to the computer.
図３及び図４のフロー図は、この手指病態評価装置の動作手順を示している。
距離画像撮影装置１０は、被験者の手指の運動動作を撮像し、フレーム画像を順次送出する。送られたフレーム画像は、情報記録装置２０の第１フレームメモリ２１１に格納される（ステップ１）。
仮想指骨画像生成部３１は、第１フレームメモリ２１１に距離画像撮影装置１０からのフレーム画像が格納されると、それを読出して手指の外形や手指の屈曲位置等から各指骨位置を推定し、画素データに指骨位置データを含む仮想指骨画像を生成する（ステップ２）。
なお、距離画像撮像装置１０としてLEAP MOTION（登録商標）を使用する場合は、Leap Motion Developer SDKを利用して作成するアプリケーションによりLEAP MOTIONのフレーム画像から指の種類、指先の位置、指の動作速度、指の関節情報、指骨の場所等の情報を取得することが可能であり、それらの取得情報を指骨位置の特定に利用することができる。
The flowcharts of FIGS. 3 and 4 show the operation procedure of the finger pathological condition evaluation apparatus.
The distance image capturing device 10 captures the motion of the subject's fingers and sequentially transmits frame images. The sent frame image is stored in the first frame memory 211 of the information recording device 20 (step 1).
When the frame image from the distance image capturing device 10 is stored in the first frame memory 211, the virtual phalange image generation unit 31 reads it and estimates each phalange position from the outer shape of the finger, the bending position of the finger, etc. A virtual phalange image including phalange position data in the pixel data is generated (step 2).
When LEAP MOTION (registered trademark) is used as the distance image capturing device 10, the type of finger, the position of the fingertip, and the movement speed of the finger are determined from the LEAP MOTION frame image by an application created using the Leap Motion Developer SDK. It is possible to acquire information such as the finger joint information and the location of the phalange, and the acquired information can be used to specify the phalange position.
仮想指骨画像生成部３１が作成した仮想指骨画像のフレーム画像は、情報記録装置２０の第２フレームメモリ２１２に被験者又はその手指を特定する識別情報とともに格納される（ステップ３）。
仮想指骨画像再生部３２は、第２フレームメモリ２１２から仮想指骨のフレーム画像を読出し、表示部４０に表示する（ステップ４）。
ステップ１〜ステップ４の手順は、距離画像撮影装置１０からのフレーム画像の受信が終了するまで繰り返される（ステップ５）。
図５は、距離画像撮影装置１０で撮像された手の仮想指骨画像が表示部４０に表示されている様子を模式的に示している。
The frame image of the virtual phalange image created by the virtual phalange image generation unit 31 is stored in the second frame memory 212 of the information recording device 20 together with the identification information for specifying the subject or the finger (step 3).
The virtual phalange image reproduction unit 32 reads out the virtual phalange frame image from the second frame memory 212 and displays it on the display unit 40 (step 4).
Steps 1 to 4 are repeated until reception of the frame image from the distance image capturing device 10 is completed (step 5).
FIG. 5 schematically shows a state in which the virtual phalange image of the hand imaged by the distance image capturing device 10 is displayed on the display unit 40.
一方、仮想指骨演算部３３は、図４に示すように、仮想指骨画像生成部３１が作成し、第２フレームメモリ２１２に格納された仮想指骨のフレーム画像を読出し、各仮想指骨の指骨位置情報を取得する（ステップ６）。
仮想指骨演算部３３は、各仮想指骨を時間的に大きさが変わらないベクトルと見做して、仮想指骨間の関節角度や仮想指骨の加速度、仮想指骨の移動量を算出する（ステップ７）。
On the other hand, as shown in FIG. 4, the virtual phalange calculation unit 33 reads the frame image of the virtual phalange created by the virtual phalange image generation unit 31 and stored in the second frame memory 212, and the phalange position information of each virtual phalange Is acquired (step 6).
The virtual phalange calculation unit 33 considers each virtual phalange as a vector whose size does not change in time, and calculates the joint angle between the virtual phalanges, the acceleration of the virtual phalange, and the movement amount of the virtual phalange (step 7). .
図６に示すように、中手骨のベクトルをＡV（ベクトルを便宜上、上付き文字Ｖで表記する）、基節骨のベクトルをＢV、中節骨のベクトルをＣV、末節骨のベクトルをＤV、中手骨と基節骨との角度をθ１、基節骨と中節骨との角度をθ２、中節骨と末節骨との角度をθ３とすると、θ１、θ２、θ３は、次式により求めることができる。
cosθ１＝ＡV・ＢV／｜ＡV｜｜ＢV｜
＝（axbx+ayby+azbz）／(ax2+ay2+az2)1/2(bx2+by2+bz2)1/2 （数１）
cosθ２＝ＢV・ＣV／｜ＢV｜｜ＣV｜
＝（bxcx+bycy+bzcz）／(bx2+by2+bz2)1/2(cx2+cy2+cz2)1/2 （数２）
cosθ３＝ＣV・ＤV／｜ＣV｜｜ＤV｜
＝（cxdx+cydy+czdz）／(cx2+cy2+cz2)1/2(dx2+dy2+dz2)1/2 （数３）
（数１）（数２）（数３）の分母は時間によって変化しない。
また、仮想指骨の運動状態を表す加速度は、例えば、θ１、θ２、θ３の２階微分（ｄ2θ１／ｄｔ2、ｄ2θ２／ｄｔ2、ｄ2θ３／ｄｔ2）を計算して求めることができる。
As shown in FIG. 6, the metacarpal vector is represented by A V (the vector is represented by a superscript V for convenience), the proximal phalanx vector is B V , the middle phalanx vector is C V , and the distal phalanx When the vector is D V , the angle between the metacarpal bone and the proximal phalanx is θ1, the angle between the proximal phalanx and the middle phalanx is θ2, and the angle between the middle phalanx and the distal phalanx is θ3, θ1, θ2, θ3 Can be obtained by the following equation.
cos θ1 = A V · B V / | A V || B V |
= (Axbx + ayby + azbz) / (ax 2 + ay 2 + az 2 ) 1/2 (bx 2 + by 2 + bz 2 ) 1/2 (Equation 1)
cos θ2 = B V · C V / | B V || C V |
= (Bxcx + bycy + bzcz) / (bx 2 + by 2 + bz 2 ) 1/2 (cx 2 + cy 2 + cz 2 ) 1/2 (Equation 2)
cos θ3 = C V · D V / | C V || D V |
= (Cxdx + cydy + czdz) / (cx 2 + cy 2 + cz 2 ) 1/2 (dx 2 + dy 2 + dz 2 ) 1/2 (Equation 3)
The denominators of (Equation 1), (Equation 2), and (Equation 3) do not change with time.
Further, the acceleration representing the motion state of the virtual phalange is obtained by calculating, for example, second-order derivatives (d 2 θ1 / dt 2 , d 2 θ2 / dt 2 , d 2 θ3 / dt 2 ) of θ1, θ2, and θ3. be able to.
また、仮想指骨の移動量を、図７に示すように、末節骨の先端の移動量で代表する場合、基節骨の一端と末節骨の先端とを結ぶベクトルＥ１Vとその成分（ｅ１ｘ、ｅ１ｙ、ｅ１ｚ）は、
Ｅ１V＝ＡV＋ＢV＋ＣV＋ＤV
ｅ１ｘ＝ａｘ＋ｂｘ＋ｃｘ＋ｄｘ
ｅ１ｙ＝ａｙ＋ｂｙ＋ｃｙ＋ｄｙ
ｅ１ｚ＝ａｚ＋ｂｚ＋ｃｚ＋ｄｚ
となる。ＣVがＣ’Vに変化したことによりＥ１VがＥ２Vに移動した場合、その移動量Ｅ３Vは、
Ｅ３V＝Ｅ１V−Ｅ２V
ｅ３ｘ＝ｅ１ｘ−ｅ２ｘ
ｅ３ｙ＝ｅ１ｙ−ｅ２ｙ
ｅ３ｚ＝ｅ１ｚ−ｅ２ｚ
の代数計算により求めることができる。
When the movement amount of the virtual phalanx is represented by the movement amount of the distal phalanx as shown in FIG. 7, the vector E1 V connecting one end of the proximal phalanx and the distal end of the distal phalanx and its component (e1x, e1y, e1z)
E1 V = A V + B V + C V + D V
e1x = ax + bx + cx + dx
e1y = ay + by + cy + dy
e1z = az + bz + cz + dz
It becomes. If C V has moved E1 V is the E2 V by changes in C 'V, the amount of movement E3 V is
E3 V = E1 V -E2 V
e3x = e1x−e2x
e3y = e1y-e2y
e3z = e1z-e2z
It can be obtained by algebraic calculation.
仮想指骨演算部３３が算出した結果は、情報記録装置２０の仮想指骨演算結果格納領域２２に格納される（ステップ２２）。
手指病態判定部３４は、仮想指骨演算結果格納領域２２に格納された関節角度、加速度及び移動量を読出して、基準データ格納領域２３に格納されている運動麻痺の重症度に準じた関節角度、加速度及び移動量と比較する（ステップ８）。そして、それらの値の比較によって各運動の可否を判定し、被験者の麻痺の重症度を判定する（ステップ９）。
手指病態判定部３４が判定した被験者の麻痺の重症度は、ブルンストローム・ステージに則して、表示部４０に表示される（ステップ１０）。
ステップ６〜ステップ１０の手順は、第２フレームメモリ２１２に格納された仮想指骨のフレーム画像の全てについての処理が終了するまで繰り返される（ステップ１１）。
このように、この手指病態評価装置では、被験者の手指の関節角度、加速度及び移動量と基準データとを比較して手指の病態を判定しているため、客観的な判定が可能である。
The result calculated by the virtual phalange calculation unit 33 is stored in the virtual phalange calculation result storage area 22 of the information recording device 20 (step 22).
The finger pathological condition determination unit 34 reads the joint angle, acceleration, and movement amount stored in the virtual phalange calculation result storage area 22, and the joint angle according to the severity of the motor paralysis stored in the reference data storage area 23, Comparison is made with acceleration and movement (step 8). Then, by comparing these values, whether or not each exercise is possible is determined, and the severity of the subject's paralysis is determined (step 9).
The severity of the paralysis of the subject determined by the finger pathological condition determination unit 34 is displayed on the display unit 40 in accordance with the Brunstrom stage (step 10).
The procedure from Step 6 to Step 10 is repeated until the processing for all the virtual phalange frame images stored in the second frame memory 212 is completed (Step 11).
As described above, in this hand pathological condition evaluation apparatus, the pathological condition of the finger is determined by comparing the joint angle, acceleration, and movement amount of the finger of the subject with the reference data, and therefore an objective determination is possible.
なお、ここではＴＯＦ方式の距離画像撮影装置を使用した。この方式の距離画像撮影装置は、高精度の距離画像が得られるため好ましいが、本発明は、パターン投光方式など、その他の方式の距離画像撮影装置の使用を排除するものではない。
また、ここでは、ブルンストローム・ステージの各ステージにおける手指の病態を運動麻痺状態の基準として基準データを設定したが、それとは異なるものを基準データとしても良い。
また、手指の病態の判断は、手指の関節角度、加速度及び移動量の一部だけを用いて行っても良い。
Here, a distance image capturing device of the TOF method was used. Although this type of distance image capturing device is preferable because a highly accurate distance image can be obtained, the present invention does not exclude the use of other types of distance image capturing devices such as a pattern projection method.
In this example, the reference data is set based on the pathological condition of the fingers in each stage of the Brunstrom stage as a reference for the motor paralysis state, but data different from that may be used as the reference data.
In addition, the determination of the pathology of the finger may be performed using only a part of the finger joint angle, acceleration, and movement amount.
本発明の手指病態評価装置は、手指の病態の定量的な評価が可能であり、患者のリハビリテーションの治療プログラムを病態の評価結果に基づいて設定するリハビリテーション施設や病院等において広く利用することができる。 The hand condition evaluation apparatus of the present invention is capable of quantitative evaluation of hand condition, and can be widely used in rehabilitation facilities, hospitals, and the like in which a patient's rehabilitation treatment program is set based on the evaluation result of the condition. .
１０ 距離画像撮影装置
２０ 情報記録装置
２２ 仮想指骨演算結果格納領域
２３ 基準データ格納領域
３０ 演算部
３１ 仮想指骨画像生成部
３２ 仮想指骨画像再生部
３３ 仮想指骨演算部
３４ 手指病態判定部
４０ 表示部
５１ 中手骨
５２ 基節骨
５３ 中節骨
５４ 末節骨
５５ ＭＰ関節
５６ ＰＩＰ関節
５７ ＤＩＰ関節
５８ ＩＰ関節
２１１ 第１フレームメモリ
２１２ 第２フレームメモリ
DESCRIPTION OF SYMBOLS 10 Distance imaging device 20 Information recording device 22 Virtual phalange calculation result storage area 23 Reference data storage area 30 Calculation part 31 Virtual phalange image generation part 32 Virtual phalange image reproduction part 33 Virtual phalange calculation part 34 Hand pathological condition determination part 40 Display part 51 Metacarpal bone 52 proximal phalanx 53 middle phalanx 54 distal phalanx 55 MP joint 56 PIP joint 57 DIP joint 58 IP joint 211 first frame memory 212 second frame memory
Claims (6)
被写体までの距離データが各画素の画素値に含まれる距離画像を撮影する距離画像撮影手段と、
前記距離画像撮影手段が被験者の運動する手指を被写体として撮影した前記距離画像の各フレームから各指の指骨を構成する中手骨、基節骨、中節骨及び末節骨の指骨位置を求めて、該指骨位置のデータが画素値に含まれる仮想指骨の画像を生成する仮想指骨画像生成手段と、
前記仮想指骨画像生成手段により生成された前記仮想指骨の画像を前記被験者の特定が可能な識別情報に対応付けて記録する記録手段と、
前記記録手段から前記仮想指骨の画像を読出し、仮想指骨間の関節角度、前記仮想指骨の運動状態を表す加速度、及び、前記仮想指骨の運動に伴う移動量の少なくとも１つを算出する仮想指骨演算手段と、
前記手指の各病態レベルを表す基準データとして、各病態レベルにおける仮想指骨間の関節角度、仮想指骨の前記加速度、又は、仮想指骨の前記移動量のデータが格納された基準データ格納部と、
前記基準データ格納部に格納された前記基準データと、前記仮想指骨演算手段が算出した値とを比較し、前記被験者の手指の病態レベルを判定する手指病態判定手段と、
を備えることを特徴とする手指病態評価装置。 A hand condition evaluation apparatus for evaluating a condition level of a motor paralysis state of a finger,
Distance image photographing means for photographing a distance image in which distance data to the subject is included in the pixel value of each pixel;
The distance image photographing means obtains the phalange positions of the metacarpal bone, the proximal phalanx, the middle phalanx, and the distal phalanx constituting the phalange of each finger from each frame of the distance image obtained by photographing the finger of the subject moving with the subject. Virtual phalange image generation means for generating an image of a virtual phalange in which data of the phalange position is included in the pixel value;
Recording means for recording the image of the virtual phalange generated by the virtual phalange image generating means in association with identification information capable of specifying the subject;
A virtual phalange calculation that reads an image of the virtual phalange from the recording means and calculates at least one of a joint angle between the virtual phalanges, an acceleration representing a motion state of the virtual phalange, and a movement amount associated with the movement of the virtual phalange. Means,
As reference data representing each pathological level of the fingers, a reference data storage unit storing data of joint angles between virtual phalanges at each pathological level , acceleration of virtual phalange, or movement amount of virtual phalange ;
Comparing the reference data stored in the reference data storage unit with the value calculated by the virtual phalange calculation means, and determining the pathological level of the finger of the subject;
A hand pathological condition evaluation apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016046229A JP6375328B2 (en) | 2016-03-09 | 2016-03-09 | Hand condition evaluation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016046229A JP6375328B2 (en) | 2016-03-09 | 2016-03-09 | Hand condition evaluation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017158808A JP2017158808A (en) | 2017-09-14 |
| JP6375328B2 true JP6375328B2 (en) | 2018-08-15 |
Family
ID=59853294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016046229A Active JP6375328B2 (en) | 2016-03-09 | 2016-03-09 | Hand condition evaluation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6375328B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6425355B2 (en) * | 2016-04-26 | 2018-11-21 | 公立大学法人埼玉県立大学 | Upper limb motor learning device |
| CN111920416B (en) * | 2020-07-13 | 2024-05-03 | 张艳 | Hand rehabilitation training effect measuring method, storage medium, terminal and system |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3120065B2 (en) * | 1998-05-27 | 2000-12-25 | 科学技術振興事業団 | Feedforward exercise training device and feedforward exercise evaluation system |
| JP2014510557A (en) * | 2011-01-25 | 2014-05-01 | ノバルティス アーゲー | System and method for medical use of motion imaging and capture |
| WO2014178400A1 (en) * | 2013-04-30 | 2014-11-06 | 公益財団法人東京都医学総合研究所 | Motor function analysis system and operational method of system |
| JP6229969B2 (en) * | 2013-06-28 | 2017-11-15 | 株式会社スペース・バイオ・ラボラトリーズ | Walking training support device, walking training support system and program |
| ES2693095T3 (en) * | 2014-07-03 | 2018-12-07 | Teijin Pharma Limited | Rehabilitation assistance device and program to control the rehabilitation assistance device |
| CN104887238A (en) * | 2015-06-10 | 2015-09-09 | 上海大学 | Hand rehabilitation training evaluation system and method based on motion capture |
-
2016
- 2016-03-09 JP JP2016046229A patent/JP6375328B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017158808A (en) | 2017-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9700242B2 (en) | Motion information processing apparatus and method | |
| US11763603B2 (en) | Physical activity quantification and monitoring | |
| EP2973417B1 (en) | A method and system for three-dimensional imaging | |
| JP6662532B2 (en) | Gait analyzer, gait analysis method, and program | |
| US20200372245A1 (en) | Scoring metric for physical activity performance and tracking | |
| CN104887238A (en) | Hand rehabilitation training evaluation system and method based on motion capture | |
| JP2010017447A (en) | Walking movement analyzer, walking movement analyzing method, walking movement analyzing program and its recording medium | |
| KR20090105031A (en) | Golf clinic system using image processing method and application method thereof | |
| JP6375328B2 (en) | Hand condition evaluation device | |
| Houston et al. | Evaluation of a multi-sensor Leap Motion setup for biomechanical motion capture of the hand | |
| Garimella et al. | Capturing joint angles of the off-site human body | |
| Zhang et al. | Comparison of OpenPose and HyperPose artificial intelligence models for analysis of hand-held smartphone videos | |
| Kuryło et al. | Machine vision system measuring the trajectory of upper limb motion applying the matlab software | |
| JP2016035651A (en) | Home rehabilitation system | |
| Callejas-Cuervo et al. | Capture and analysis of biomechanical signals with inertial and magnetic sensors as support in physical rehabilitation processes | |
| CN204500710U (en) | Rehabilitation exercise monitor | |
| JP6858047B2 (en) | Diagnostic image processing device, evaluation support method and program | |
| KR102310964B1 (en) | Electronic Device, Method, and System for Diagnosing Musculoskeletal Symptoms | |
| Ahmed et al. | Kalman filter-based noise reduction framework for posture estimation using depth sensor | |
| WO2021039642A1 (en) | Three-dimensional reconstruction device, method, and program | |
| KR101797287B1 (en) | Method and apparatus for assessments of upper-limb functionality for neurological patients using multiple sensors | |
| CN112102451B (en) | Wearable virtual live broadcast method and equipment based on common camera | |
| JP6940139B2 (en) | Physical characteristic analyzer, physical characteristic analysis method, and program | |
| Krupicka et al. | Motion camera system for measuring finger tapping in parkinson’s disease | |
| CN111860275A (en) | Gesture recognition data acquisition system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180327 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180717 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180723 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6375328 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |