JP7103307B2 - 歩行訓練システムおよび歩行訓練システムの制御プログラム - Google Patents

歩行訓練システムおよび歩行訓練システムの制御プログラム Download PDF

Info

Publication number
JP7103307B2
JP7103307B2 JP2019106943A JP2019106943A JP7103307B2 JP 7103307 B2 JP7103307 B2 JP 7103307B2 JP 2019106943 A JP2019106943 A JP 2019106943A JP 2019106943 A JP2019106943 A JP 2019106943A JP 7103307 B2 JP7103307 B2 JP 7103307B2
Authority
JP
Japan
Prior art keywords
image
walking
trainee
unit
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019106943A
Other languages
English (en)
Other versions
JP2020198995A (ja
Inventor
一誠 中島
卓磨 中村
栄一 才藤
明宏 齋藤
哲 平野
茂雄 田辺
卓真 井伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019106943A priority Critical patent/JP7103307B2/ja
Priority to US16/884,132 priority patent/US20200383607A1/en
Priority to CN202010488852.5A priority patent/CN112044023B/zh
Priority to EP20178450.1A priority patent/EP3747360B1/en
Publication of JP2020198995A publication Critical patent/JP2020198995A/ja
Application granted granted Critical
Publication of JP7103307B2 publication Critical patent/JP7103307B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112Gait analysis
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036Measuring load distribution, e.g. podologic studies
    • A61B5/1038Measuring plantar pressure during gait
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02Stretching or bending or torsioning apparatus for exercising
    • A61H1/0237Stretching or bending or torsioning apparatus for exercising for the lower limbs
    • A61H1/0255Both knee and hip of a patient, e.g. in supine or sitting position, the feet being moved together in a plane substantially parallel to the body-symmetrical plane
    • A61H1/0262Walking movement; Appliances for aiding disabled persons to walk
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/008Appliances for aiding patients or disabled persons to walk about using suspension devices for supporting the body in an upright walking or standing position, e.g. harnesses
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09Rehabilitation or training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16Physical interface with patient
    • A61H2201/1602Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165Wearable interfaces
    • A61H2201/1652Harness
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/065Visualisation of specific exercise parameters
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0658Position or arrangement of display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Rehabilitation Therapy (AREA)
  • Pain & Pain Management (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Vascular Medicine (AREA)
  • Educational Technology (AREA)

Description

本発明は、歩行訓練システムおよび歩行訓練システムの制御プログラムに関する。
歩行訓練を行う訓練者の様子を撮像し、骨格動作に相当する画像データを生成して、訓練者の歩行動作を判定する装置が知られている(例えば、特許文献1参照)。
特開2015-104397号公報
歩行訓練を行う訓練者は、訓練試行を終えた後に、正常な歩容に対してどこが良くなかったのかを、迅速かつ直感的に振り返りたい。しかし、訓練試行中の全ての様子を映像で振り返るのでは、確認のために訓練時間と同じ時間を要してしまう。早送りの機能を使っても、どの時点に振り返るべき映像があるのかを把握できていないと、探索に手間取ってしまう。
本発明は、このような問題を解決するためになされたものであり、訓練者が訓練試行を終えた後に、迅速かつ直感的に訓練を振り返ることができる歩行訓練システム等を提供するものである。
本発明の第1の態様における歩行訓練システムは、訓練者の歩行を促すトレッドミルと、トレッドミル上を歩行する訓練者の歩容の少なくとも一部が認識できる画角で訓練者を撮像するカメラシステムと、予め定められた複数の認定基準に基づいて訓練者の異常歩行を判定する判定部と、カメラシステムが撮像した映像から、判定部が異常歩行を判定した時点を含む予め定められた期間の映像を映像クリップとして切り出して、判定部が判定した異常歩行の異常部位を強調する画像処理を施す画像処理部と、画像処理が施された映像クリップを表示部に表示する表示制御部とを備える。
このように表示される映像クリップは、異常歩行と判定された時点の様子を含み、しかもその判定の原因となった異常部位が強調されているので、訓練者は、どこが良くなかったのかを、迅速かつ直感的に振り返ることができる。
上記の歩行訓練システムにおいてカメラシステムは、訓練者を異なる方向から撮像する複数のカメラユニットを有し、画像処理部は、複数の認定基準のうち判定部が該当すると判定した認定基準に基づいて、複数のカメラユニットのいずれが撮像した映像を映像クリップとして切り出すかを決定しても良い。どの方向から観察した場合にその異常さを顕著に観察できるかは、歩行がどのように異常であるかによって異なる。そこで、判定基準に対応させてどのカメラユニットの映像から映像クリップを作成するかを決めておけば、訓練者に歩行の異常さをより顕著に認識させることができる。
また、上記の画像処理部は、判定部が該当すると判定した認定基準が特定の認定基準である場合には、複数のカメラユニットのそれぞれが撮像した映像を映像クリップとして切り出し、表示制御部は、それぞれの映像クリップを同期させて表示部に表示するようにしても良い。異常歩行の種類によっては、例えば正面からの様子と側方からの様子を同時に観察した方が、異常歩行である様子をより理解できる場合がある。この場合に、これらの映像が同期して表示されれば、訓練者は、自身の異常歩行の様子をより的確に認識することができる。
また、画像処理部は、判定部が異常歩行を判定していない正常歩行の期間の映像を対比映像として切り出し、表示制御部は、上記の映像クリップに並べて対比映像を表示部に表示しても良い。このように異常歩行の映像と正常歩行の映像を並べて表示すれば、訓練者は、異常歩行の程度をより的確に認識することができる。
また、画像処理部は、判定部が該当すると判定した認定基準に基づいて映像クリップとして切り出す期間を決定しても良い。異常歩行の種類によってその特異な様子が継続する時間は異なるので、訓練者が異常歩行の全体の様子を確認できるようにするためには、認定基準に基づいて切り出す期間が決められていると良い。
また、画像処理部は、訓練者の歩行周期に基づいて映像クリップとして切り出す期間を決定しても良い。訓練者ごとに運脚スピードは異なるので、訓練者の歩行周期を基準として映像クリップを切り出せば、訓練者は、異常歩行の全体の様子をより確実に認識することができる。
本発明の第2の態様における歩行訓練システムの制御プログラムは、訓練者の歩行を促すトレッドミルと、トレッドミル上を歩行する訓練者の歩容の少なくとも一部が認識できる画角で訓練者を撮像するカメラシステムとを備える歩行訓練システムの制御プログラムであって、予め定められた複数の認定基準に基づいて訓練者の異常歩行を判定する判定ステップと、カメラシステムが撮像した映像から、判定ステップで異常歩行が判定された時点を含む予め定められた期間の映像を映像クリップとして切り出す切出ステップと、当該映像クリップに対して、判定ステップで判定された異常歩行の異常部位を強調する画像処理を施す画像処理ステップと、画像処理が施された映像クリップを表示部に表示する表示ステップとをコンピュータに実行させる。このような制御プログラムが実行される歩行訓練システムによっても、訓練者は、どこが良くなかったのかを、迅速かつ直感的に振り返ることができる。
本発明により、訓練者が訓練試行を終えた後に、迅速かつ直感的に訓練を振り返ることができる歩行訓練システム等を提供することができる。
本実施形態にかかる歩行訓練装置の概略斜視図である。 歩行補助装置の概略斜視図である。 歩行訓練装置のシステム構成を示す図である。 訓練試行中における訓練用モニタのエクササイズ画面の表示例である。 訓練試行後における訓練用モニタのリプレイ画面の表示例である。 異常歩行の映像クリップの映像期間を説明する図である。 正常歩行の映像クリップの映像期間を説明する図である。 訓練試行後における訓練用モニタの他のリプレイ画面の表示例である。 映像クリップを作成するための作成基準テーブルを示す図である。 一連の訓練試行における処理フローを示す図である。
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
図1は、本実施形態にかかる歩行訓練装置100の概略斜視図である。歩行訓練装置100は、歩行訓練システムの一例であり、一方の脚に麻痺を患う片麻痺患者である訓練者900が、歩行訓練を行うための装置である。歩行訓練装置100は、主に、全体の骨格を成すフレーム130に取り付けられた制御盤133と、訓練者900が歩行するトレッドミル131と、訓練者900の麻痺側の脚部である患脚に装着する歩行補助装置120とを備える。
フレーム130は、床面に設置されるトレッドミル131上に立設されている。トレッドミル131は、不図示のモータによりリング状のベルト132を回転させる。トレッドミル131は、訓練者900の歩行を促す装置である。歩行訓練を行う訓練者900は、ベルト132に乗り、ベルト132の移動に合わせて歩行動作を試みる。
フレーム130は、モータやセンサの制御を行う全体制御部210を収容する制御盤133や、訓練試行に関する情報を訓練者900へ呈示する例えば液晶パネルである訓練用モニタ138などを支持している。訓練用モニタ138は、訓練者900がトレッドミル131のベルト132上を歩行しながら視認できるように設置されている。また、フレーム130は、訓練者900の頭上部前方付近で前側引張部135を、頭上部付近でハーネス引張部112を、頭上部後方付近で後側引張部137支持している。また、フレーム130は、訓練者900が掴むための手摺り130aを含む。
正面カメラユニット141は、正面から訓練者900の歩容が認識できる画角で訓練者900を撮像する。側面カメラユニット142は、側面から訓練者900の歩容が認識できる画角で訓練者900を撮像する。本実施形態における正面カメラユニット141と側面カメラユニット142は、それぞれが、ベルト132上に立つ訓練者900の頭部を含む全身を捉えられる画角となるようなレンズと撮像素子のセットを含む。撮像素子は、例えばCMOSイメージセンサであり、結像面に結像した光学像を画像信号に変換する。正面カメラユニット141は、訓練用モニタ138の近傍に、訓練者900と相対するように設置されている。側面カメラユニット142は、手摺り130aに、訓練者900を側方から捉えるように設置されている。
前側ワイヤ134は、一端が前側引張部135の巻取機構に連結されており、他端が歩行補助装置120に連結されている。前側引張部135の巻取機構は、不図示のモータをオン/オフさせることにより、患脚の動きに応じて前側ワイヤ134を巻き取ったり繰り出したりする。同様に、後側ワイヤ136は、一端が後側引張部137の巻取機構に連結されており、他端が歩行補助装置120に連結されている。後側引張部137の巻取機構は、不図示のモータをオン/オフさせることにより、患脚の動きに応じて後側ワイヤ136を巻き取ったり繰り出したりする。このような前側引張部135と後側引張部137の連携した動作により、歩行補助装置120の荷重が患脚の負担とならないように当該荷重を相殺し、更には、設定の程度に応じて患脚の振り出し動作をアシストする。
訓練補助者であるオペレータ910は、重度の麻痺を抱える訓練者に対しては、アシストするレベルを大きく設定する。オペレータ910は、歩行訓練装置100の設定項目を選択したり、修正したり、追加したりする権限を有する理学療法士や医師である。アシストするレベルが大きく設定されると、前側引張部135は、患脚の振り出しタイミングに合わせて、比較的大きな力で前側ワイヤ134を巻き取る。訓練が進み、アシストが必要でなくなったら、オペレータは、アシストするレベルを最小に設定する。アシストするレベルが最小に設定されると、前側引張部135は、患脚の振り出しタイミングに合わせて、歩行補助装置120の自重をキャンセルするだけの力で前側ワイヤ134を巻き取る。
歩行訓練装置100は、安全装具110、ハーネスワイヤ111、ハーネス引張部112を主な構成要素とする安全装置を備える。安全装具110は、訓練者900の腹部に巻き付けられるベルトであり、例えば面ファスナによって腰部に固定される。ハーネスワイヤ111は、一端が安全装具110に連結されており、他端がハーネス引張部112の巻取機構に連結されている。ハーネス引張部112の巻取機構は、不図示のモータをオン/オフさせることにより、ハーネスワイヤ111を巻き取ったり繰り出したりする。このような構成により、安全装置は、訓練者900が体勢を大きく崩した場合に、その動きを検知した全体制御部210の指示に従ってハーネスワイヤ111を巻き取り、安全装具110により訓練者900の上体を支える。
管理用モニタ139は、フレーム130に取り付けられており、オペレータ910が監視および操作するための表示装置である。管理用モニタ139は、例えば液晶パネルであり、その表面にはタッチパネルが重畳されている。管理用モニタ139は、訓練設定に関する各種メニュー項目や、訓練時における各種パラメータ値、訓練結果などを呈示する。また、オペレータ910は、タッチパネルや不図示のキーボード等を介して設定項目を選択したり、修正したり、追加したりする。また、管理用モニタ139は、トレッドミル131上の訓練試行位置から、訓練者900がその表示を視認できない位置に設置されている。なお、管理用モニタ139を支持する支持部は、オペレータ910が表示画面を訓練者900に意図的に見せようとする場合に対応すべく、表示面を反転させる回転機構を有していても良い。
歩行補助装置120は、訓練者900の患脚に装着され、患脚の膝関節における伸展および屈曲の負荷を軽減することにより訓練者900の歩行を補助する。図2は、歩行補助装置120の概略斜視図である。歩行補助装置120は、主に、制御ユニット121と、患脚の各部を支える複数のフレームと、足裏に掛かる荷重を検出するための荷重センサ222とを備える。
制御ユニット121は、歩行補助装置120の制御を行う補助制御部220を含み、また、膝関節の伸展運動および屈曲運動を補助するための駆動力を発生させる不図示のモータを含む。患脚の各部を支えるフレームは、上腿フレーム122と、上腿フレーム122に回動自在に連結された下腿フレーム123と、下腿フレーム123に回動自在に連結された足平フレーム124と、前側ワイヤ134を連結するための前側連結フレーム127と、後側ワイヤ136を連結するための後側連結フレーム128とを含む。前側連結フレーム127は、上腿の前側を左右方向に伸延し、両端で上腿フレーム122に接続するように設けられている。後側連結フレーム128は、下腿の後側を左右方向に伸延し、両端でそれぞれ上下に伸延する下腿フレーム123に接続するように設けられている。
上腿フレーム122と下腿フレーム123は、図示するヒンジ軸H周りに相対的に回動する。制御ユニット121のモータは、補助制御部220の指示に従って回転して、上腿フレーム122と下腿フレーム123がヒンジ軸H周りに相対的に開くように加勢したり、閉じるように加勢したりする。制御ユニット121に収められた角度センサ223は、例えばロータリエンコーダであり、ヒンジ軸H周りの上腿フレーム122と下腿フレーム123の成す角を検出する。下腿フレーム123と足平フレーム124は、図示するヒンジ軸H周りに相対的に回動する。相対的に回動する角度範囲は、調整機構126によって事前に調整される。
上腿フレーム122は、上腿ベルト129を備える。上腿ベルト129は、上腿フレームに一体的に設けられたベルトであり、患脚の上腿部に巻き付けて上腿フレーム122を上腿部に固定する。これにより、歩行補助装置120の全体が訓練者900の脚部に対してずれることを防止している。
荷重センサ222は、足平フレーム124に埋め込まれた荷重センサである。荷重センサ222は、訓練者900の足裏が受ける垂直荷重の大きさと分布を検出する。荷重センサ222は、例えば、電極がマトリックス状に配置された抵抗変化検出型の荷重検出シートである。
次に歩行訓練装置100のシステム構成について説明する。図3は、歩行訓練装置100のシステム構成図である。全体制御部210は、例えばMPUであり、記憶部217から読み込んだ制御プログラムを実行することにより、装置全体の制御を実行する。トレッドミル駆動部211は、ベルト132を回転させるモータとその駆動回路を含む。全体制御部210は、トレッドミル駆動部211へ駆動信号を送ることにより、ベルト132の回転制御を実行する。例えば、設定された訓練レベルに応じて、ベルト132の回転速度を調整する。
操作受付部212は、訓練者900やオペレータ910からの入力操作を受け付けて、操作信号を全体制御部210へ送信する各種入力装置を含む。管理用モニタ139に重畳されているタッチパネルは、操作受付部212のひとつである。訓練者900やオペレータ910は、操作受付部212を構成する操作ボタンやタッチパネル、付属するリモコン等を操作して、電源のオン/オフやトレーニングの開始の指示を与えたり、設定に関する数値の入力やメニュー項目の選択を行ったりする。操作受付部212は、音声対話装置や画像認識装置を含んでも良い。表示制御部213は、全体制御部210からの制御信号に従って表示映像を生成し、訓練用モニタ138または管理用モニタ139に表示する。表示制御部213は、トレーニングの進捗を示す映像等を生成する。具体的には後に詳述する。
引張駆動部214は、前側ワイヤ134を引張するためのモータとその駆動回路と、後側ワイヤ136を引張するためのモータとその駆動回路とを含む。全体制御部210は、引張駆動部214へ駆動信号を送ることにより、前側ワイヤ134の巻き取りと後側ワイヤ136の巻き取りをそれぞれ制御する。また、巻き取り動作に限らず、モータの駆動トルクを制御することにより、各ワイヤの引張力を制御する。全体制御部210は、例えば、荷重センサ222の検出結果から患脚が立脚状態から遊脚状態に切り替わるタイミングを同定し、そのタイミングに同期して各ワイヤの引張力を増減させることにより、患脚の振り出し動作をアシストする。
ハーネス駆動部215は、ハーネスワイヤ111を引張するためのモータとその駆動回路を含む。全体制御部210は、ハーネス駆動部215へ駆動信号を送ることにより、ハーネスワイヤ111の巻き取りと、ハーネスワイヤ111の引張力を制御する。全体制御部210は、例えば、訓練者900が体勢を大きく崩した場合に、ハーネスワイヤ111を一定量巻き取って、訓練者の転倒を防止する。
画像処理部216は、全体制御部210からの制御信号に従って、正面カメラユニット141および側面カメラユニット142から受け取った画像信号を画像処理して画像データを生成する。また、画像処理部216は、全体制御部210からの指示に従って、正面カメラユニット141および側面カメラユニット142から受け取った画像信号に画像処理を施して、特定の画像解析を実行する。例えば、抽出されたエッジ等の情報から、両肩位置や股関節位置を検出することができる。これらの位置情報は、訓練者900の運脚中における体幹や脚、足平等の様子を評価する基礎情報となる。また、画像処理部216は、生成した画像データが包含する映像から一部を切り出し、画像処理を施して映像クリップを生成する。詳しくは後述する。
記憶部217は、例えばソリッドステートドライブである、不揮発性の記憶媒体を含む。不揮発性の記憶媒体は、歩行訓練装置100を制御するための制御プログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル、後述する作成基準テーブル等を記憶している。また、記憶部217は、例えばDRAMである、揮発性の記憶媒体を含む。揮発性の記憶媒体は、全体制御部210等が演算や処理の実行時に利用するワークメモリとしての機能の他にも、訓練試行の評価や映像データを一時的に記憶するテンポラリメモリとしての機能を担う。
歩行訓練装置100に設けられたカメラシステム140は、訓練者を異なる方向から撮像する複数のカメラユニットとして、正面カメラユニット141および側面カメラユニット142を有する。正面カメラユニット141および側面カメラユニット142は、全体制御部210からの制御信号に従って撮像動作を繰り返し、画像処理部216へ画像信号を出力する。全体制御部210は、制御に関わる様々な演算や制御を実行する機能実行部としての役割も担う。評価判定部210aは、訓練者900が実行するリハビリ訓練を評価し、予め定められた認定基準を参照して訓練者900の異常歩行を判定する。例えば、画像処理部216の解析結果を認定基準に当てはめて歩行動作の正常または異常を判定する判定部として機能する。具体的な認定基準や判定手法については後述する。
上述のように、歩行補助装置120は訓練者900の患脚に装着されるが、歩行訓練装置100は、歩行補助装置120に指令を与えたり、センサ情報を受け取ったりするために、全体制御部210に接続された通信接続IF219を備える。歩行補助装置120も、通信接続IF219と有線または無線によって接続される通信接続IF229が設けられている。通信接続IF229は、歩行補助装置120の補助制御部220に接続されている。通信接続IF219、229は、通信規格に則った例えば無線LAN等の通信インタフェースである。
補助制御部220は、例えばMPUであり、全体制御部210から与えられた制御プログラムを実行することにより、歩行補助装置120の制御を実行する。また、歩行補助装置120の状態を、通信接続IF219、229を介して全体制御部210へ通知する。また、全体制御部210からの指令を受けて、歩行補助装置120の起動/停止等を実行する。
関節駆動部221は、制御ユニット121のモータとその駆動回路を含む。補助制御部220は、関節駆動部221へ駆動信号を送ることにより、上腿フレーム122と下腿フレーム123がヒンジ軸H周りに相対的に開くように加勢したり、閉じるように加勢したりする。このような動作により、膝の伸展動作および屈曲動作をアシストしたり、膝折れを防止したりする。荷重センサ222は、上述の通り訓練者900の足裏が受ける垂直荷重の大きさと分布を検出して、検出信号を補助制御部220へ送信する。
補助制御部220は、当該検出信号を受け取り解析することにより、遊脚/立脚の状態判別や切替り推定等を行う。角度センサ223は、上述の通りヒンジ軸H周りの上腿フレーム122と下腿フレーム123の成す角を検出して、検出信号を補助制御部220へ送信する。補助制御部220は、検出信号を受け取って膝関節の開き角を演算する。
次に、訓練用モニタ138の表示について説明する。図4は、訓練試行中における訓練用モニタ138のエクササイズ画面の表示例である。訓練用モニタ138の最上部にはステータス領域301が設けられており、訓練試行におけるステータス情報が表示されている。ステータス情報は、試行継続時間、歩行距離、訓練レベル、各種インジケータを含む。試行継続時間は、試行開始からの時間であり、継続時間は、不図示のタイマーによって計測される。歩行距離は、トレッドミル駆動部211がベルト123を回転させた積算量から計測される。訓練レベルは、訓練試行の難易度を表わし、予め設定された基準を満たすごとに更新される。訓練試行の難易度は、ベルト123の回転速度や歩行補助装置120のアシスト量によって規定されている。
訓練用モニタ138のうちステータス領域301以外の領域には、カメラ画像302が映し出されている。カメラ画像302は、正面カメラユニット141または側面カメラユニット142によって撮像された訓練者900の全身画像であり、例えば60fpsのリアルタイム映像として表示される。訓練者900は、訓練試行中の自身の姿をリアルタイム映像として確認することができる。なお、正面カメラユニット141が撮像した画像を表示する場合は、訓練者900は訓練用モニタ138に相対しているので、カメラ画像302は、視認性の観点から図示するように鏡像反転されていることが好ましい。
図5は、訓練試行後における訓練用モニタ138のリプレイ画面の表示例である。全体制御部210は、訓練試行中に撮像した動画像から切り出して生成された映像クリップを、訓練試行後に訓練用モニタ138に表示する。
リプレイ画面は、継続して映し出されているカメラ画像302に、タイトル310と共に、歩容が良好であった時点の映像クリップ320と、異常が検出された時点を含む映像クリップ330とが重畳されている。タイトル310は、例えば「Replay 1」などと、再生画面であることを示している。
映像クリップ330は、評価判定部210aが予め定められた異常歩行の認定基準の何れかに合致したと判定した場合に、その時点を含むようにカメラシステム140が撮像した映像から切り出された映像クリップである。切り出された映像には、評価判定部210aが判定した異常部位を強調する強調表示332が、CGとして重畳されている。映像クリップ330の例は、評価判定部210aが訓練者900の体幹の傾きを判定した場合であるので、強調表示332として、訓練者の上体に点線の基準線と太線の体幹線がCGとして重畳されている。なお、映像クリップは、訓練者900が訓練試行後にその訓練の様子を振り返ることを目的としているので、図4に示すような訓練試行中の映像とは異なり、鏡像反転せずに表示される。
映像クリップ330には、更に、そのフレーム画像が撮像された時点を示す時刻表示331が重畳表示されている。また、映像クリップ330の周辺部には、映像クリップ330の属性アイコン312と、認定コメント314が表示されている。属性アイコン312は、映像クリップ330の属性を表わし、ここでは映像クリップ330が異常歩行の様子を示すものであるから、「Bad」のアイコンが選択されている。認定コメント314は、映像クリップ330が異常歩行の様子を示す場合に重畳され、その内容は、評価判定部210aが認定した認定基準に対応するコメントが選択される。ここでは、評価判定部210aが訓練者900の体幹の傾きを判定した場合であるので、これに対応する「体幹の傾き発生!」のコメントが選択されている。
映像クリップ320は、評価判定部210aが異常歩行を判定していない正常歩行の期間の映像が、カメラシステム140が撮像した映像から切り出された映像クリップである。映像クリップ320は、映像クリップ330の対比映像であるので、映像クリップ330に並べて配置されることが好ましい。ここでは、映像クリップ320と映像クリップ330が上下に隣接するように配置されている。なお、訓練者900により認識させたいのは異常歩行の様子であるので、異常歩行を示す映像クリップを、正常歩行を示す映像クリップよりも大きく表示しても良い。
映像クリップ320には、更に、そのフレーム画像が撮像された時点を示す時刻表示321が重畳表示されている。また、映像クリップ320の周辺部には、映像クリップ320の属性アイコン311が表示されている。属性アイコン311は、映像クリップ320の属性を表わし、ここでは映像クリップ320が正常歩行の様子を示すものであるから、「Good」のアイコンが選択されている。
映像クリップ320と映像クリップ330は、歩行周期がある程度同期するように同時再生される。リプレイ画面において、補助的な情報と共に、映像クリップ320と映像クリップ330がこのように再生されることにより、訓練者900は、直前に行った訓練試行においてどのように、どれくらい悪かったのかを、良かった状態と比較して的確に認識することができる。
次に、映像クリップの切出しについて説明する。カメラシステム140は、訓練試行の開始から終了まで継続的に撮像を行い、画像処理部216は、その画像データを生成する。映像クリップは、この画像データのうち設定された開始時点から終了時点までの映像期間に対応するフレーム画像が切り出されて生成される。図6は、異常歩行の映像クリップの映像期間を説明する図である。横軸は、時刻の経過を表わす。
図示するように、訓練者900が、時刻tで患脚が振り出される直前である基準立脚の姿勢をとり、時刻tの遊脚状態を経て、時刻tで躓いた場合を想定する。評価判定部210aが、時刻tに撮像されたフレーム画像に基づいて異常歩行を検出、判定した場合に、全体制御部210は、後述する作成基準テーブルを参照して遡及時間Tを読み出し、時刻tからTだけ遡った時刻tを映像クリップの開始時点と定める。遡及時間Tは、作成基準テーブルにおいて、時刻tが基準立脚の姿勢となる時刻tよりもある程度遡った時点となるように設定されている。
また、全体制御部210は、同様に作成基準テーブルを参照して事後時間Tを読み出し、時刻tからTだけ遅れた時刻tを映像クリップの終了時点と定める。事後時間Tは、作成基準テーブルにおいて、少なくとも次の歩行周期が始まると想定される時点よりもある程度遅れた時点となるように設定されている。
このようにして時刻tから時刻tまでの映像期間(=T+T)が決定されると、画像処理部216は、この期間に対応するフレーム画像を切り出して、映像クリップを生成する。このとき、画像処理部216は、時刻tで歩行異常を判定した元となる認定基準に対応する強調表示の画像処理を併せて実行する。強調表示の画像処理は、対応する各フレームにCGを直接的に埋め込んでも良いし、各フレームに重ね合わせるCGレイヤーを作成しても良い。なお、異常歩行を判定した時点は、異常歩行が発生してからそれを判定するための演算時間を要するので、厳密には異常歩行の発生時点とは異なる。しかし、演算時間は実質的には無視し得る程度であるので、異常歩行を判定した時点と異常歩行が発生した時点は同一視し得る。全体制御部210の性能が低く、演算時間が実質的に無視し得ない場合には、その時間を考慮して、異常歩行が発生した時点のフレーム画像を含むように映像期間を調整すれば良い。
図7は、正常歩行の映像クリップの映像期間を説明する図である。横軸は、図6と同様に、時刻の経過を表わす。正常歩行の映像クリップは、上述のように異常歩行の映像クリップの対比映像として生成されるので、両映像クリップを同期して再生した場合に両者の運脚がある程度揃うように、正常歩行の映像クリップの切り出しが調整されると良い。
そこで、図6を用いて説明したように異常歩行の映像クリップを生成したら、画像処理部216は、一定期間の間連続して異常歩行が検出されていない期間を探索する。そして、その期間のフレーム画像から、図6の時刻tにおける基準立脚と同様の姿勢を示すフレーム画像を見つけ出す。そのフレーム画像の時刻がt1’だとすると、画像処理部216は、正常歩行の映像クリップの開始時点を、時刻t1’からT-(t-t)だけ遡った時刻tS’と定める。さらに、終了時点を、時刻tS’からT+Tだけ遅れた時刻tE’と定める。
画像処理部216は、このように開始時点と終了時点を定め、この期間に対応するフレーム画像を切り出して、正常歩行の映像クリップを生成する。このように生成された正常歩行の映像クリップと異常歩行の映像クリップは、同時に再生を始めると、それぞれの基準立脚のフレーム画像が同じタイミングで表示され、その状態から歩容が正常に推移する様子と崩れていく様子が対照的に表示されることになる。また、両映像クリップの映像期間は共にT+Tなので、繰返し再生を行っても、両映像クリップの同期が継続される。
図5に示したリプレイ画面の表示例は、異常歩行の映像クリップと、それに対応する正常歩行の映像クリップを並べて表示する表示例であったが、リプレイ画面の表示例はこれに限らない。図8は、訓練試行後における訓練用モニタ138の他のリプレイ画面の表示例である。図8に示したリプレイ画面は、正面カメラユニット141の映像から切り出した異常歩行の映像クリップ340と、側面カメラユニット142の映像から切り出した異常歩行の映像クリップ350とが並べて配置されている点で、図5に示したリプレイ画面と異なる。これらの映像クリップは、それぞれの元の映像から互いに一致する期間が切り出されて生成されたものである。つまり、それぞれの映像クリップは、訓練者900の同一期間の様子を、異なる方向から捉えたものである。
映像クリップ340には、評価判定部210aが判定した異常部位を強調する強調表示342が、CGとして重畳されている。映像クリップ340の例は、評価判定部210aが訓練者900の躓きを判定した場合であるので、強調表示342として、訓練者の患脚の接地箇所を取り囲むように破裂を示唆する囲み線がCGとして重畳されている。映像クリップ340には、更に、そのフレーム画像が撮像された時点を示す時刻表示341が重畳表示されている。
映像クリップ350には、映像クリップ340に対する強調表示342と同様に、強調表示352がCGとして重畳されている。映像クリップ350には、更に、そのフレーム画像が撮像された時点を示す時刻表示351が重畳表示されている。映像クリップ340、350は、上述のように、互いに一致する期間が切り出されて生成されたものであるので、同時に再生が開始されれば、時刻表示341、351は、同じ時刻を示す。
また、カメラ画像302のうち映像クリップ340、350の周辺部には、それぞれの映像クリップの撮像方向を示す方向表示317が重畳されている。映像クリップ340は正面カメラユニット141からの映像であるので、これに対応する方向表示317は、「Front View」と表わされている。また、映像クリップ350は側面カメラユニット142からの映像であるので、これに対応する方向表示317は、「Side View」と表わされている。
更に、図5のリプレイ画面と同様に、タイトル310、属性アイコン315、認定コメント316がカメラ画像302に重畳されている。映像クリップ340、350は、共に異常歩行の映像クリップであるので、属性アイコン315は、「Bad」のアイコンが一つ表示されている。認定コメント316は、ここでは評価判定部210aが訓練者900の躓きを判定した場合であるので、これに対応する「つまづき発生!」のコメントが選択されている。
次に、映像クリップを作成するための作成基準テーブルについて説明する。図9は、映像クリップを作成するための作成基準テーブルの一例を示す図である。作成基準テーブルは、それぞれの認定基準に対してどのように映像クリップを生成するかが規定されている。具体的には、映像クリップを、正面カメラユニット141が撮像した正面映像から切り出して生成するか、側面カメラユニット142が撮像した側面映像から切り出して生成するかを規定する。また、切り出す開始時点を決定するための遡及時間T、終了時点を決定するための事後時間Tを規定する。また、正常歩行の映像クリップを対比映像として生成するか否かを規定する。また、異常歩行に対する強調表示の画像処理を、フレーム画像のどの位置に、どのCGを用いて実行するかを規定する。また、いかなる認定コメントを重畳するかを規定する。
異常歩行の認定基準は、例えば、次の7つを採用することができる。1つ目の基準(認定基準1)は、患脚が遊脚期を終えて着地したときの股関節から足関節までの歩行方向に沿う距離が、基準値以上であるか否かである。基準値未満であれば、患脚を十分に振り出せなかったとして異常歩行と判定する。この場合の様子は、正面映像および側面映像の両方に顕著に表れるので、正面カメラユニット141が撮像した正面映像からも、側面カメラユニット142が撮像した側面映像からも、それぞれ切り出して2つの映像クリップを生成する。この場合は、図8のリプレイ画面の態様で、両映像クリップを配置する。遡及時間Tおよび事後時間Tは、この異常歩行の一連の様子が含まれるように、それぞれ20秒、10秒と決められている。また、強調表示の画像処理は、患脚の接地箇所に、予め記憶部に用意されたCGであるG1ファイルを用いて行う。認定コメントは、この異常歩行を端的に表す「つまづき発生!」とする。
2つ目の基準(認定基準2)は、患脚の遊脚期間に足裏荷重が検出されるか否かである。検出されれば、引き摺り歩行があったとして異常歩行と判定する。この場合の様子は、正面映像および側面映像の両方に顕著に表れるので、正面カメラユニット141が撮像した正面映像からも、側面カメラユニット142が撮像した側面映像からも、それぞれ切り出して2つの映像クリップを生成する。また、強調表示の画像処理は、患脚の接地箇所に、予め記憶部に用意されたCGであるG2ファイルを用いて行う。認定コメントは、この異常歩行を端的に表す「引摺り発生!」とする。
3つ目の基準(認定基準3)は、患脚の立脚中における膝関節の屈曲角度が基準角度以上であるか否かである。基準角度未満であれば、膝関節が上体を支える力が不足しているとして異常歩行と判定する。この場合の様子は、側面映像に顕著に表れるので、側面カメラユニット142が撮像した側面映像から切り出して映像クリップを生成する。また、この異常歩行は、正常歩行と対比することで異常の程度が良く理解できるので、正常歩行の映像クリップも生成する。この場合は、図5のリプレイ画面の態様で、両映像クリップを配置する。また、強調表示の画像処理は、膝の位置に、予め記憶部に用意されたCGであるG3ファイルを用いて行う。認定コメントは、この異常歩行を端的に表す「膝折れ発生!」とする。
4つ目の基準(認定基準4)は、患脚が立脚期から遊脚期に切り替わる振り出し時の、股関節から足関節までの歩行方向に沿う距離が、基準値以上であるか否かである。基準値未満であれば、上体の体重移動が自由に行えなかったとして異常歩行と判定する。この場合の様子は、側面映像に顕著に表れるので、側面カメラユニット142が撮像した側面映像から切り出して映像クリップを生成する。また、この異常歩行は、正常歩行と対比することで異常の程度が良く理解できるので、正常歩行の映像クリップも生成する。また、強調表示の画像処理は、膝を中心とする位置に、予め記憶部に用意されたCGであるG4ファイルを用いて行う。認定コメントは、この異常歩行を端的に表す「体重移動不十分!」とする。
5つ目の基準(認定基準5)は、患脚の立脚中における体幹の前方向への傾斜角度が基準角度以上であるか否かである。基準角度以上であれば、前のめりの姿勢であるとして異常歩行と判定する。この場合の様子は、側面映像に顕著に表れるので、側面カメラユニット142が撮像した側面映像から切り出して映像クリップを生成する。また、この異常歩行は、正常歩行と対比することで異常の程度が良く理解できるので、正常歩行の映像クリップも生成する。また、強調表示の画像処理は、体幹位置に、予め記憶部に用意されたCGであるG5ファイルを用いて行う。認定コメントは、この異常歩行を端的に表す「前のめり!」とする。
6つ目の基準(認定基準6)は、患脚の立脚中における体幹の患脚側への傾斜角度が基準角度以上であるか否かである。基準角度以上であれば、左右方向へのブレが大きいとして異常歩行と判定する。この場合の様子は、正面映像に顕著に表れるので、正面カメラユニット141が撮像した正面映像から切り出して映像クリップを生成する。また、この異常歩行は、正常歩行と対比することで異常の程度が良く理解できるので、正常歩行の映像クリップも生成する。また、強調表示の画像処理は、体幹位置に、予め記憶部に用意されたCGであるG6ファイルを用いて行う。認定コメントは、この異常歩行を端的に表す「体幹の傾き発生!」とする。
7つ目の基準(認定基準7)は、患脚の遊脚中における体幹の前方向への傾斜角度が基準角度以上であるか否かである。基準角度未満であれば、上体の体重移動が自由に行えずにのけぞっているとして異常歩行と判定する。この場合の様子は、側面映像に顕著に表れるので、側面カメラユニット142が撮像した側面映像から切り出して映像クリップを生成する。また、この異常歩行は、正常歩行と対比することで異常の程度が良く理解できるので、正常歩行の映像クリップも生成する。また、強調表示の画像処理は、体幹位置に、予め記憶部に用意されたCGであるG7ファイルを用いて行う。認定コメントは、この異常歩行を端的に表す「のけぞり発生!」とする。なお、認定基準2から7の遡及時間Tおよび事後時間Tも、認定基準1と同様に、それぞれの異常歩行の一連の様子が含まれるように秒数が決められている。
なお、それぞれの認定基準における基準値および基準角度は、訓練者900の年齢や訓練試行のレベル等に応じて変更しても良い。また、以上の認定基準に限らず、他の人手低基準を採用することもできる。例えば、手すりに掴まったことを認識した場合や、ハーネス引張部112がハーネスワイヤ111を巻き上げた場合なども認定基準とすることができる。評価判定部210aは、認定基準に合致するか否かを、当該認定基準に応じて、画像処理部216による解析結果や、歩行訓練装置100に設けられたセンサ出力、駆動部の駆動信号等を用いて判定する。また、カメラシステム140として、正面カメラユニット141および側面カメラユニット142以外のカメラユニットも含む場合には、作成基準テーブルは、そのカメラユニットの映像を利用して映像クリップを生成するか否かについても規定しても良い。
次に、一連の訓練試行に対する制御処理について説明する。図10は、一連の訓練試行における処理フローを示す図である。全体制御部210は、ステップS101で、オペレータ910や訓練者900に指定された訓練メニューに沿った訓練試行を開始する。また、正面カメラユニット141および側面カメラユニット142よる撮像を開始する。
訓練試行が開始されると、全体制御部210は、ステップS102で、訓練状況の取得を行う。具体的には、正面カメラユニット141および側面カメラユニット142が撮像した撮像画像を取り込み、画像処理部216に画像処理を行わせ、併せて歩容を解析する解析処理を実行させる。また、荷重センサ222等からの出力信号を取得する。ステップS103へ進み、評価判定部210aは、ステップS102で取得された訓練状況を認定基準に当てはめて歩行動作の正常または異常を判定する。異常を判定した場合は、その時刻あるいはその時刻に対応するフレーム画像情報を記憶部217へ記憶する。
全体制御部210は、ステップS104で、予定された訓練試行が終了したか否かを判断する。終了していないと判断したらステップS102へ戻る。終了したと判断したら、ステップS105へ進む。
ステップS105へ進むと、画像処理部216は、ステップS103において記憶された異常判定時刻あるいはその時刻に対応するフレーム画像情報を記憶部217から読み出す。そして、上述のように作成基準テーブルを参照して、正面カメラユニット141および側面カメラユニット142が撮像した映像から異常判定時刻を含む期間の映像を切り出して、映像クリップを生成する。このとき、当該映像クリップに対して、ステップS103で判定された異常歩行の異常部位を強調する画像処理を施す。
ステップS106へ進み、全体制御部210は、表示制御部213を介して、図5や図8に示す態様により、画像処理が施された映像クリップを訓練用モニタ138に順次表示する。全体制御部210は、生成された全ての映像クリップの表示を終えたら、一連の処理を終了する。
以上説明した本実施形態においては、映像クリップを訓練試行の直後に表示する例を説明したが、全体制御部210は、映像クリップを記憶部217に記憶しておき、同一訓練者による次回の訓練試行前に表示しても良い。このような表示を行っても、新たな訓練試行前に、前回終えた訓練試行を迅速かつ直感的に振り返ることができる。
また、以上説明した本実施形態において画像処理部216は、評価判定部210aが該当すると判定した認定基準に対し、作成基準テーブルで規定された時間を参照して映像クリップとして切り出す期間を決定した。しかし、切り出す期間についてはこれに限らず、例えば、訓練者の歩行周期に基づいて決定することもできる。例えば、評価判定部210aは、基準立脚の姿勢の繰り返しから訓練者の歩行周期を検出することができる。画像処理部216は、評価判定部210aが検出した歩行周期と、例えば遡及3周期/事後2周期のように規定された作成基準テーブルの規定周期により、映像クリップとして切り出す期間を決定する。このように映像クリップを切り出せば、例えば運脚スピードが遅い訓練者であっても、異常歩行の全体の様子をより確実に認識することができる。
また、以上説明した本実施形態において画像処理部216は、異常部位を強調する画像処理として、CGをフレーム画像に重ね合わせる処理と行ったが、異常部位を強調する画像処理はこれに限らない。例えば、異常部位をトリミングして拡大しても良いし、異常部位の輪郭を赤いラインで強調するなどの処理でも良い。また、カメラシステム140は、訓練者900の全身を捉えるカメラユニットに加えて、例えば足元など訓練者900の特定部位を捉えるカメラユニットを有していても良い。画像処理部216は、このような特定部位を捉えるカメラユニットの映像から切り出して映像クリップを生成しても良い。
また、強調処理は異常部位を示すのみならず、その異常歩行を改善するための表示を併せて行っても良い。例えば、振出し困難の以上が検出されたら、離地が十分でないつま先を赤丸で囲み、更に足首付近に離地をイメージする上向きの矢印を青色で示す。このように、色を異ならせて改善するための表示も行えば、訓練者は改善策も直感的に認識することができる。
また、以上説明した本実施形態においては、歩行訓練装置100が画像処理部216、記憶部217、評価判定部210aを備える構成について説明したが、これらの機能を、ネットワークを介して歩行訓練装置と接続されたサーバが担っても良い。この場合、歩行訓練装置を制御する制御プログラムを実行するサーバは、必要な情報を当該歩行訓練装置から取得して、異常歩行を判定し、映像クリップを切り出し、異常部位の強調処理を施して、歩行訓練装置のモニタに表示させる。
また、歩行訓練システムは、それぞれの機能要素のすべてが歩行訓練装置100に集約された構成でなくても良い。例えば、評価判定部210aの機能は、歩行訓練装置100とネットワークを介して接続されたサーバが備える演算部が担っても良い。この場合、サーバは、異常歩行の判定結果を歩行訓練装置100へ送信する。歩行訓練装置100の全体制御部210は、送られてきた判定結果を利用して、上述の実施形態と同様の表示を実現する。このように、サーバと歩行訓練装置100を含むように歩行訓練システムを構成しても良い。
100 歩行訓練装置、110 安全装具、111 ハーネスワイヤ、112 ハーネス引張部、120 歩行補助装置、121 制御ユニット、122 上腿フレーム、123 下腿フレーム、124 足平フレーム、126 調整機構、127 前側連結フレーム、128 後側連結フレーム、129 上腿ベルト、130 フレーム、130a 手摺り、131 トレッドミル、132 ベルト、133 制御盤、134 前側ワイヤ、135 前側引張部、136 後側ワイヤ、137 後側引張部、138 訓練用モニタ、139 管理用モニタ、140 カメラシステム、141 正面カメラユニット、142 側面カメラユニット、210 全体制御部、210a 評価判定部、211 トレッドミル駆動部、212 操作受付部、213 表示制御部、214 引張駆動部、215 ハーネス駆動部、216 画像処理部、217 記憶部、219 通信接続IF、220 補助制御部、221 関節駆動部、222 荷重センサ、223 角度センサ、229 通信接続IF、301 ステータス領域、302 カメラ画像、310 タイトル、311、312、315 属性アイコン、314、316 認定コメント、317 方向表示、320、330、340、350 映像クリップ、321、331、341、351 時刻表示、332、342、352 強調表示、900 訓練者、910 オペレータ

Claims (6)

  1. 訓練者の歩行を促すトレッドミルと、
    前記トレッドミル上を歩行する前記訓練者の歩容の少なくとも一部が認識できる画角で前記訓練者を撮像するカメラシステムと、
    予め定められた複数の認定基準に基づいて前記訓練者の異常歩行を判定する判定部と、
    前記カメラシステムが撮像した映像から、前記判定部が異常歩行を判定した時点を含む予め定められた期間の映像を映像クリップとして切り出して、前記判定部が判定した異常歩行の異常部位を強調する画像処理を施す画像処理部と、
    前記画像処理が施された前記映像クリップを表示部に表示する表示制御部と
    を備え、
    前記カメラシステムは、前記訓練者を異なる方向から撮像する複数のカメラユニットを有し、
    前記画像処理部は、前記複数の認定基準のうち前記判定部が該当すると判定した認定基準に基づいて、前記複数のカメラユニットのいずれが撮像した映像を前記映像クリップとして切り出すかを決定する、歩行訓練システム。
  2. 前記画像処理部は、前記判定部が該当すると判定した認定基準が特定の認定基準である場合には、前記複数のカメラユニットのそれぞれが撮像した映像を前記映像クリップとして切り出し、
    前記表示制御部は、それぞれの前記映像クリップを同期させて前記表示部に表示する請求項1に記載の歩行訓練システム。
  3. 前記画像処理部は、前記判定部が異常歩行を判定していない正常歩行の期間の映像を対比映像として切り出し、
    前記表示制御部は、前記映像クリップに並べて前記対比映像を前記表示部に表示する請求項1または2に記載の歩行訓練システム。
  4. 前記画像処理部は、前記判定部が該当すると判定した認定基準に基づいて前記映像クリップとして切り出す期間を決定する請求項1から3のいずれか1項に記載の歩行訓練システム。
  5. 前記画像処理部は、前記訓練者の歩行周期に基づいて前記映像クリップとして切り出す期間を決定する請求項1から4のいずれか1項に記載の歩行訓練システム。
  6. 訓練者の歩行を促すトレッドミルと、前記トレッドミル上を歩行する前記訓練者の歩容の少なくとも一部が認識できる画角で前記訓練者を撮像するカメラシステムとを備える歩行訓練システムの制御プログラムであって、
    予め定められた複数の認定基準に基づいて前記訓練者の異常歩行を判定する判定ステップと、
    前記カメラシステムが撮像した映像から、前記判定ステップで異常歩行が判定された時点を含む予め定められた期間の映像を映像クリップとして切り出す切出ステップと、
    前記映像クリップに対して、前記判定ステップで判定された異常歩行の異常部位を強調する画像処理を施す画像処理ステップと、
    前記画像処理が施された前記映像クリップを表示部に表示する表示ステップと
    をコンピュータに実行させ、
    前記カメラシステムは、前記訓練者を異なる方向から撮像する複数のカメラユニットを有し、
    前記切出ステップにおいて、前記複数の認定基準のうち該当すると判定した認定基準に基づいて、前記複数のカメラユニットのいずれが撮像した映像を前記映像クリップとして切り出すかを決定する、歩行訓練システムの制御プログラム。
JP2019106943A 2019-06-07 2019-06-07 歩行訓練システムおよび歩行訓練システムの制御プログラム Active JP7103307B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019106943A JP7103307B2 (ja) 2019-06-07 2019-06-07 歩行訓練システムおよび歩行訓練システムの制御プログラム
US16/884,132 US20200383607A1 (en) 2019-06-07 2020-05-27 Walking training system, non-transitory storage medium storing control program for walking training system and control method for walking training system
CN202010488852.5A CN112044023B (zh) 2019-06-07 2020-06-02 步行训练***、存储步行训练***的控制程序的存储介质以及步行训练***的控制方法
EP20178450.1A EP3747360B1 (en) 2019-06-07 2020-06-05 Walking training system, non-transitory storage medium storing control program for walking training system and control method for walking training system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019106943A JP7103307B2 (ja) 2019-06-07 2019-06-07 歩行訓練システムおよび歩行訓練システムの制御プログラム

Publications (2)

Publication Number Publication Date
JP2020198995A JP2020198995A (ja) 2020-12-17
JP7103307B2 true JP7103307B2 (ja) 2022-07-20

Family

ID=71016383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019106943A Active JP7103307B2 (ja) 2019-06-07 2019-06-07 歩行訓練システムおよび歩行訓練システムの制御プログラム

Country Status (4)

Country Link
US (1) US20200383607A1 (ja)
EP (1) EP3747360B1 (ja)
JP (1) JP7103307B2 (ja)
CN (1) CN112044023B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112689108A (zh) * 2020-12-22 2021-04-20 山东快课信息科技有限公司 基于关键帧的教学板书分段录放***及方法
CN115337004A (zh) * 2022-08-22 2022-11-15 北京聚英翱翔电子有限公司 一种假肢康复训练辅助***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070275830A1 (en) 2006-05-29 2007-11-29 Yang-Soo Lee Gait training system using motion analysis
JP2014217691A (ja) 2013-05-10 2014-11-20 オムロンヘルスケア株式会社 歩行姿勢計およびプログラム
US20160147959A1 (en) 2014-11-20 2016-05-26 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for predicting medical events and conditions reflected in gait
JP2016101229A (ja) 2014-11-27 2016-06-02 パナソニックIpマネジメント株式会社 歩行解析システムおよび歩行解析プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6231527B1 (en) * 1995-09-29 2001-05-15 Nicholas Sol Method and apparatus for biomechanical correction of gait and posture
EP2060229B1 (de) * 2007-11-14 2011-06-15 Zebris Medical GmbH Anordnung zur Ganganalyse
JP5984002B2 (ja) * 2012-08-29 2016-09-06 カシオ計算機株式会社 運動支援装置、運動支援方法及び運動支援プログラム
JP6362129B2 (ja) * 2013-11-28 2018-07-25 国立大学法人 筑波大学 歩行訓練装置及び歩行訓練システム
CN104274941B (zh) * 2014-10-15 2017-01-18 唐赛成 基于Android***的多功能跑步机
EP3222039B1 (en) * 2014-11-20 2021-05-19 Blast Motion Inc. Video and motion event integration system
CN104524742A (zh) * 2015-01-05 2015-04-22 河海大学常州校区 一种基于Kinect传感器的脑瘫儿童康复训练方法
CN108348195B (zh) * 2015-11-19 2022-07-05 松下知识产权经营株式会社 步行动作显示***以及程序
CN106056841B (zh) * 2016-06-28 2019-01-22 厦门美图移动科技有限公司 基于移动终端的安全预警方法、装置及***
CN205987191U (zh) * 2016-08-31 2017-02-22 湖南人文科技学院 一种基于视频监控的智能跑步机装置
CA3049939A1 (en) * 2017-01-12 2018-07-19 Mazor Robotics Ltd. Global balance using dynamic motion analysis
JP6776985B2 (ja) * 2017-04-04 2020-10-28 トヨタ自動車株式会社 歩行訓練装置および歩行訓練補助具
CN110944582A (zh) * 2017-08-16 2020-03-31 日本电信电话株式会社 足底压测定器、信息提供装置和信息提供方法
JP6933101B2 (ja) * 2017-11-17 2021-09-08 トヨタ自動車株式会社 歩行評価装置、歩行訓練システムおよび歩行評価方法
JP7013817B2 (ja) * 2017-11-24 2022-02-01 トヨタ自動車株式会社 医療情報システム、医療装置、データ通信方法、及び、プログラム
CN108187300A (zh) * 2017-12-25 2018-06-22 北京海杭通讯科技有限公司 基于步态识别和云端数据分析的智能跑步机
CN108939409B (zh) * 2018-03-30 2020-02-04 江苏优壹克智能科技有限公司 云计算型速度修正方法
CN109276847B (zh) * 2018-04-03 2020-10-13 山东鲁商创新发展有限公司 大数据控制方法
CN108259848A (zh) * 2018-04-04 2018-07-06 武汉市技领科技有限公司 一种识别装置及监控设备
CN108434664A (zh) * 2018-04-08 2018-08-24 上海应用技术大学 一种跑步机智能安全保护装置及保护方法
CN109528203A (zh) * 2019-01-21 2019-03-29 郑州大学 一种基于多源信息融合的交互式脑卒中患者步态训练及评测***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070275830A1 (en) 2006-05-29 2007-11-29 Yang-Soo Lee Gait training system using motion analysis
JP2014217691A (ja) 2013-05-10 2014-11-20 オムロンヘルスケア株式会社 歩行姿勢計およびプログラム
US20160147959A1 (en) 2014-11-20 2016-05-26 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for predicting medical events and conditions reflected in gait
JP2016101229A (ja) 2014-11-27 2016-06-02 パナソニックIpマネジメント株式会社 歩行解析システムおよび歩行解析プログラム

Also Published As

Publication number Publication date
CN112044023B (zh) 2022-04-08
US20200383607A1 (en) 2020-12-10
CN112044023A (zh) 2020-12-08
EP3747360A1 (en) 2020-12-09
EP3747360B1 (en) 2023-07-19
JP2020198995A (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
KR102255001B1 (ko) 보행 평가 장치, 보행 훈련 시스템 및 보행 평가 방법
JP2020198993A (ja) リハビリ訓練システムおよびリハビリ訓練の評価プログラム
US11565165B2 (en) Walking training system, non-transitory storage medium storing control program for walking training system and control method for walking training system
JP7103307B2 (ja) 歩行訓練システムおよび歩行訓練システムの制御プログラム
JP2019092928A (ja) リハビリ支援装置、制御方法、及び制御プログラム
CN112043557B (zh) 步行训练***、显示方法及计算机可读写存储介质
JP2021007650A (ja) 支援動作計測システム、リハビリ支援システム、支援動作計測方法及びプログラム
JP7115422B2 (ja) リハビリ訓練システム、リハビリ訓練システムの制御プログラムおよびリハビリ訓練システムの制御方法
JP2022191684A (ja) 歩行訓練システム、その制御方法、及び、制御プログラム
JP7020122B2 (ja) 歩行訓練システム
JP7115622B2 (ja) 歩行訓練システム
JP7115423B2 (ja) 歩行訓練システム、表示方法、および表示プログラム
JP2020198997A (ja) 訓練装置
JP7476846B2 (ja) 歩行状態測定システム、歩行訓練システム、歩行状態測定方法およびプログラム
US20220401286A1 (en) Walking training system, control method, and program
JP2022185710A (ja) 歩行訓練システム、その制御方法、及び、制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220620

R151 Written notification of patent or utility model registration

Ref document number: 7103307

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151