JP6377674B2 - Rehabilitation support control device and computer program - Google Patents

Rehabilitation support control device and computer program Download PDF

Info

Publication number
JP6377674B2
JP6377674B2 JP2016114823A JP2016114823A JP6377674B2 JP 6377674 B2 JP6377674 B2 JP 6377674B2 JP 2016114823 A JP2016114823 A JP 2016114823A JP 2016114823 A JP2016114823 A JP 2016114823A JP 6377674 B2 JP6377674 B2 JP 6377674B2
Authority
JP
Japan
Prior art keywords
subject
target
rehabilitation
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016114823A
Other languages
Japanese (ja)
Other versions
JP2017217268A (en
Inventor
栄太 平井
栄太 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Paramount Bed Co Ltd
Original Assignee
Paramount Bed Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Paramount Bed Co Ltd filed Critical Paramount Bed Co Ltd
Priority to JP2016114823A priority Critical patent/JP6377674B2/en
Priority to CN201780014732.8A priority patent/CN109219426B/en
Priority to PCT/JP2017/020949 priority patent/WO2017213124A1/en
Publication of JP2017217268A publication Critical patent/JP2017217268A/en
Application granted granted Critical
Publication of JP6377674B2 publication Critical patent/JP6377674B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus ; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising

Description

本発明は、リハビリテーションを支援する技術に関する。   The present invention relates to a technique for supporting rehabilitation.

従来、タッチパネル上にリハビリテーション用の画像を表示し、画像に対応してリハビリテーションの対象者が触れたタッチパネル上の位置を検出することによってリハビリテーションを評価する技術がある（例えば特許文献１参照）。   Conventionally, there is a technique for evaluating rehabilitation by displaying an image for rehabilitation on a touch panel and detecting a position on the touch panel touched by a rehabilitation subject corresponding to the image (see, for example, Patent Document 1).

特開２０１３−１７２８９７号公報JP 2013-172897 A

リハビリテーションの対象者によっては、画面に示される位置の把握が困難な場合がある。例えば、画面に対象者自身の画像と右手を伸ばす目標の位置とが示されている場合に、対象者自身の画像と実際の対象者とを対応付けることができず、そのために右手を伸ばす目標の位置を把握できない場合がある。対象者が目標の位置を把握できない場合、リハビリテーションの実行に支障が生じる可能性がある。   Depending on the subject of rehabilitation, it may be difficult to grasp the position shown on the screen. For example, when the target person's own image and the target position for extending the right hand are shown on the screen, the target person's own image cannot be associated with the actual target person, and therefore the target for extending the right hand The location may not be known. When the target person cannot grasp the position of the target, there is a possibility that the execution of rehabilitation may be hindered.

上記事情に鑑み、本発明は、リハビリテーションの対象者が、より直感的に位置を把握可能とする技術の提供を目的としている。   In view of the above circumstances, an object of the present invention is to provide a technique that enables a rehabilitation target person to grasp the position more intuitively.

本発明の一態様は、対象者を検出した結果を示す検出結果情報を取得する入力部と、前記検出結果情報のうち、前記対象者のリハビリテーション動作が行われる動作領域に対応する前記対象者の体の一部に関する検出結果情報に基づいて、前記対象者の体の一部の位置を認識する認識部と、前記動作領域に表示を行う出力装置を制御して、前記対象者の体の一部の現在位置を示す画像を表示させる表示制御部と、を備えるリハビリテーション支援制御装置である。 One aspect of the present invention is an input unit that acquires detection result information indicating a result of detecting a target person, and of the target person corresponding to an operation region in which the rehabilitation action of the target person is performed among the detection result information. Based on detection result information relating to a part of the body, a recognition unit that recognizes the position of the part of the subject's body and an output device that performs display in the motion area are controlled to And a display control unit that displays an image indicating the current position of the unit.

本発明の一態様は、上記のリハビリテーション支援制御装置であって、前記表示制御部が、前記対象者の体の一部の位置の履歴を示す画像を前記出力装置に表示させる。   One aspect of the present invention is the above-described rehabilitation support control device, wherein the display control unit causes the output device to display an image indicating a history of a position of a part of the subject's body.

本発明の一態様は、上記のリハビリテーション支援制御装置であって、前記対象者の体の一部の位置に基づいて前記対象者の体の一部の目標位置を決定する目標決定部を更に備え、前記表示制御部が、前記目標位置に画像を表示するように前記出力装置を制御する。   One aspect of the present invention is the above-described rehabilitation support control device, further including a target determination unit that determines a target position of a part of the subject's body based on a position of the part of the subject's body. The display control unit controls the output device to display an image at the target position.

本発明の一態様は、上記のリハビリテーション支援制御装置であって、前記対象者の体の一部の位置と前記目標位置との相対的な位置関係を評価する評価部をさらに備え、前記表示制御部は、前記評価部による評価結果を前記出力装置に表示させる。   One aspect of the present invention is the above-described rehabilitation support control device, further including an evaluation unit that evaluates a relative positional relationship between a position of a part of the body of the subject and the target position, and the display control The unit causes the output device to display an evaluation result by the evaluation unit.

本発明の一態様は、上記のリハビリテーション支援制御装置であって、前記表示制御部は、前記対象者の体の一部の位置、及び、前記目標位置のうち少なくともいずれか一方に、前記評価部による評価結果を表示させる。   One aspect of the present invention is the above-described rehabilitation support control device, wherein the display control unit includes the evaluation unit at least one of a position of a part of the subject's body and the target position. The evaluation result by is displayed.

本発明の一態様は、上記のリハビリテーション支援制御装置であって、前記対象者が行うリハビリテーションの内容に応じた動作領域が、所定の第一動作領域及び所定の第二動作領域のうちの何れであるかを判定する動作領域判定部をさらに備え、前記認識部は、前記動作領域判定部の判定結果に基づいて前記第一動作領域又は前記第二動作領域に関連する前記体の一部の位置の動きを認識する。   One aspect of the present invention is the above-described rehabilitation support control device, wherein the operation region corresponding to the content of the rehabilitation performed by the subject is any one of the predetermined first operation region and the predetermined second operation region. A motion region determination unit that determines whether or not there is a position of the part of the body related to the first motion region or the second motion region based on a determination result of the motion region determination unit; Recognize the movement.

本発明の一態様は、対象者を検出した結果を示す検出結果情報を取得する入力部と、前記検出結果情報のうち、前記対象者のリハビリテーション動作が行われる動作領域に対応する前記対象者の体の一部に関する検出結果情報に基づいて、前記対象者の体の一部の位置を認識する認識部と、前記動作領域に表示を行う出力装置を制御して、前記対象者の体の一部の現在位置を示す画像を表示させる表示制御部と、を備えるリハビリテーション支援制御装置としてコンピュータを機能させるためのコンピュータプログラムである。 One aspect of the present invention is an input unit that acquires detection result information indicating a result of detecting a target person, and of the target person corresponding to an operation region in which the rehabilitation action of the target person is performed among the detection result information. Based on detection result information relating to a part of the body, a recognition unit that recognizes the position of the part of the subject's body and an output device that performs display in the motion area are controlled to A computer program for causing a computer to function as a rehabilitation support control device including a display control unit that displays an image indicating the current position of the unit.

本発明により、リハビリテーションの対象者が、より直感的に位置を把握可能となる。   According to the present invention, a rehabilitation target person can grasp the position more intuitively.

本発明の一実施形態に係るリハビリテーション支援システム１のシステム構成を示す斜視図である。1 is a perspective view showing a system configuration of a rehabilitation support system 1 according to an embodiment of the present invention. リハビリテーション支援システム１に備わるリハビリテーション支援制御装置３００の機能構成例を示す概略ブロック図である。It is a schematic block diagram which shows the function structural example of the rehabilitation assistance control apparatus 300 with which the rehabilitation assistance system 1 is equipped. リハビリテーション支援制御装置３００による第一動作領域を説明するための斜視図である。FIG. 5 is a perspective view for explaining a first operation region by the rehabilitation support control device 300. リハビリテーション支援システム１における画像の表示の例を示す平面図である。It is a top view which shows the example of a display of the image in the rehabilitation assistance system. リハビリテーション支援制御装置３００による第二動作領域を説明するための斜視図である。FIG. 10 is a perspective view for explaining a second operation region by the rehabilitation support control device 300. リハビリテーション支援システム１における画像の表示の例を示す平面図である。It is a top view which shows the example of a display of the image in the rehabilitation assistance system. リハビリテーション支援制御装置３００による動作領域の判定処理の一例を示すフローチャートである。5 is a flowchart illustrating an example of a motion region determination process performed by the rehabilitation support control device 300. リハビリテーション支援制御装置３００が手の移動目標となる目標画像を映し出す例を示す斜視図である。It is a perspective view which shows the example which the rehabilitation assistance control apparatus 300 displays the target image used as the movement target of a hand. リハビリテーション支援制御装置３００が手の外乱を映し出す例を示す図である。It is a figure which shows the example in which the rehabilitation assistance control apparatus 300 projects a disturbance of a hand. 足用表示パラメータ設定部３４７がステップの値を設定する例を示す図である。It is a figure which shows the example which the display parameter setting part for 347 sets the value of a step. リハビリテーション支援制御装置３００が、対象者ＥＰが歩行する際の回避目標となる目標画像を映し出す例を示す斜視図である。It is a perspective view which shows the example which the rehabilitation assistance control apparatus 300 projects the target image used as the avoidance target at the time of the subject person EP walking. リハビリテーション支援制御装置３００が、対象者ＥＰが歩行する際の外乱を映し出す例を示す斜視図である。It is a perspective view which shows the example in which the rehabilitation assistance control apparatus 300 projects the disturbance at the time of object person EP walking. リハビリテーション支援制御装置３００による、対象者ＥＰの認識処理の一例を示すフローチャートである。It is a flowchart which shows an example of the recognition process of object person EP by the rehabilitation assistance control apparatus 300. リハビリテーション支援システム１を用いたリハビリテーションにおけるパラメータ設定の一例を示すフローチャートである。It is a flowchart which shows an example of the parameter setting in the rehabilitation using the rehabilitation assistance system 1. リハビリテーション支援システム１が対象者ＥＰの体の一部の高さを表示した例を示す図である。It is a figure which shows the example which the rehabilitation assistance system 1 displayed the height of a part of body of the subject person EP. リハビリテーション支援システム１のシステム構成の変形例を示す斜視図である。It is a perspective view which shows the modification of the system configuration | structure of the rehabilitation assistance system 1. FIG.

図１は、本発明の一実施形態に係るリハビリテーション支援システム１のシステム構成を示す斜視図である。リハビリテーション支援システム１は、リハビリテーションの対象者（以下「対象者」という。）に対して、リハビリテーションの実施を支援するシステムである。リハビリテーション支援システム１は、センサ１００、出力装置２００及びリハビリテーション支援制御装置３００を備える。   FIG. 1 is a perspective view showing a system configuration of a rehabilitation support system 1 according to an embodiment of the present invention. The rehabilitation support system 1 is a system that supports the implementation of rehabilitation for a rehabilitation target person (hereinafter referred to as “target person”). The rehabilitation support system 1 includes a sensor 100, an output device 200, and a rehabilitation support control device 300.

センサ１００は、同センサ１００の検出範囲８００内（図１の破線で囲った範囲）で対象者ＥＰを検出する。
センサ１００は、例えば、画像センサ、赤外線センサ、レーザセンサ、サーモセンサなど、対象者ＥＰにマーカを装着することなく対象者ＥＰの動きが検出できるセンサである。本実施形態では、このようなセンサの例として、センサ１００に、距離センサと画像センサを組み込んだＫｉｎｅｃｔ（登録商標）を用いた場合を例に説明を行う。
センサ１００は、例えば、画像センサ（不図示）を備える。前記画像センサは、（１）自らの正面方向をリアルタイムに撮像し、連続した複数枚の２次元画像（フレーム画像）を取得する動画カメラとしての機能と、（２）センサ１００から、前記２次元画像（フレーム画像）内の各位置に対応する実際の位置までの距離の情報（距離情報を表示した画像）を取得する距離センサ（デプスセンサ）としての機能と、を有している。前記距離センサが有する機能により、対象者ＥＰを撮像した画像と、当該画像に撮像された対象者ＥＰの体の各部位の３次元空間における座標情報である距離画像情報とを取得する。センサ１００が検出する３次元空間とは、図１に示すＸＹＺ直交座標系によって示される空間である。
対象者ＥＰの体の各部位とは、対象者ＥＰの動作を認識するために検出することが求められる体の部位である。具体的には、対象者ＥＰの体の各部位とは、例えば、対象者ＥＰの頭、肩、腕、手、腰、足及び各関節部等の位置である。
センサ１００は、検出した結果を示す情報（以下「検出結果情報」という。）をリハビリテーション支援制御装置３００に出力する。検出結果情報とは、例えば、対象者ＥＰの体の一部の位置情報である。
なお、センサ１００は、対象者ＥＰにマーカを装着し、そのマーカの検出により対象者ＥＰを検出するセンサであっても構わない。 The sensor 100 detects the subject person EP within the detection range 800 of the sensor 100 (a range surrounded by a broken line in FIG. 1).
The sensor 100 is a sensor that can detect the movement of the subject EP without attaching a marker to the subject EP, such as an image sensor, an infrared sensor, a laser sensor, or a thermo sensor. In this embodiment, as an example of such a sensor, a case where Kinect (registered trademark) incorporating a distance sensor and an image sensor is used as the sensor 100 will be described as an example.
The sensor 100 includes, for example, an image sensor (not shown). The image sensor includes (1) a function as a moving image camera that captures the front direction of itself in real time and acquires a plurality of continuous two-dimensional images (frame images), and (2) the two-dimensional And a function as a distance sensor (depth sensor) that acquires distance information (an image displaying distance information) to an actual position corresponding to each position in the image (frame image). With the function of the distance sensor, an image obtained by capturing the subject EP and distance image information that is coordinate information in the three-dimensional space of each part of the body of the subject EP captured by the image are acquired. The three-dimensional space detected by the sensor 100 is a space indicated by the XYZ orthogonal coordinate system shown in FIG.
Each part of the body of the subject EP is a part of the body that is required to be detected in order to recognize the motion of the subject EP. Specifically, each part of the body of the subject EP is, for example, the position of the head, shoulder, arm, hand, waist, foot, each joint, and the like of the subject EP.
The sensor 100 outputs information indicating the detection result (hereinafter referred to as “detection result information”) to the rehabilitation support control device 300. The detection result information is, for example, position information of a part of the body of the subject person EP.
Note that the sensor 100 may be a sensor that attaches a marker to the subject person EP and detects the subject person EP by detecting the marker.

出力装置２００は、対象者ＥＰに対して行われるリハビリテーションに関する画像を出力する。出力装置２００は、例えば、プロジェクタ等の画像投影装置である。出力装置２００は、リハビリテーションを支援する画像を投影して、出力領域９００に表示する。出力画像の例としては、対象者ＥＰの体の一部の位置の移動履歴、及び、対象者ＥＰの体の一部の移動目標位置を含む画像を挙げることができる。例えば、歩行のリハビリテーションの場合、出力装置２００が対象者ＥＰの足の位置の移動履歴、及び、対象者ＥＰが足を動かして移動させる目標位置のうちいずれか一方又は両方を表示するようにしてもよい。また、手の移動のリハビリテーションの場合であれば、出力装置２００が、対象者ＥＰの手の位置の移動履歴、及び、対象者ＥＰが手を動かして移動させる目標位置のうちいずれか一方又は両方を表示するようにしてもよい。以下の説明では、対象者ＥＰの体の一部の位置の移動履歴を示す画像を履歴画像と称する。また、対象者ＥＰの体の一部の移動目標位置を示す画像を目標画像と称する。   The output device 200 outputs an image related to rehabilitation performed on the subject EP. The output device 200 is an image projection device such as a projector, for example. The output device 200 projects an image that supports rehabilitation and displays it in the output area 900. Examples of the output image may include an image including a movement history of a part of the body of the subject EP and a movement target position of a part of the body of the subject EP. For example, in the case of walking rehabilitation, the output device 200 displays one or both of the movement history of the position of the foot of the subject EP and the target position that the subject EP moves by moving the foot. Also good. Further, in the case of hand movement rehabilitation, the output device 200 either or both of the movement history of the position of the hand of the subject EP and the target position that the subject EP moves and moves the hand. May be displayed. In the following description, an image indicating a movement history of a part of the body of the subject EP is referred to as a history image. In addition, an image showing a movement target position of a part of the body of the subject EP is referred to as a target image.

リハビリテーション支援制御装置３００は、情報処理装置を用いて構成される。すなわち、リハビリテーション支援制御装置３００は、バスで接続されたＣＰＵ（Central Processor Unit）、メモリ及び補助記憶装置を備える。リハビリテーション支援制御装置３００は、リハビリテーション支援プログラムを実行することによって動作する。   The rehabilitation support control device 300 is configured using an information processing device. That is, the rehabilitation support control device 300 includes a CPU (Central Processor Unit), a memory, and an auxiliary storage device connected by a bus. The rehabilitation support control device 300 operates by executing a rehabilitation support program.

センサ１００等は、脚部３１０によって支持される。脚部３１０は、上下方向に伸縮可能であり、センサ１００、出力装置２００の高さ位置を調整することができる。これにより、センサ１００による検出範囲の広さを調整することが可能である。また、出力装置２００が投影装置の場合、出力領域９００の広さを調整することが可能である。また、脚部３１０は、キャスター３１１、３１２、３１３、３１４を備えている。キャスター３１１〜３１４は転動可能であるため、手押しなどすることにより、リハビリテーション支援システム１を、フロア上で自由に移動させることができる。   The sensor 100 and the like are supported by the leg portion 310. The leg portion 310 can be expanded and contracted in the vertical direction, and the height positions of the sensor 100 and the output device 200 can be adjusted. Thereby, the width of the detection range by the sensor 100 can be adjusted. Further, when the output device 200 is a projection device, the width of the output region 900 can be adjusted. The leg portion 310 includes casters 311, 312, 313, and 314. Since the casters 311 to 314 can roll, the rehabilitation support system 1 can be freely moved on the floor by pushing the casters.

図２は、リハビリテーション支援システム１に備わるリハビリテーション支援制御装置３００の機能構成例を示す概略ブロック図である。リハビリテーション支援制御装置３００は、入力部３１、出力部３２、記憶部３３、制御部３４、操作部３５及び表示部３６を備える。
入力部３１は、外部からの情報を入力するインタフェースである。例えば、入力部３１は、センサ１００から検出結果を示す情報（検出結果情報）を取得する。
出力部３２は、制御部３４によって生成された画像を出力装置２００に対して出力するインタフェースである。 FIG. 2 is a schematic block diagram illustrating a functional configuration example of the rehabilitation support control device 300 provided in the rehabilitation support system 1. The rehabilitation support control device 300 includes an input unit 31, an output unit 32, a storage unit 33, a control unit 34, an operation unit 35, and a display unit 36.
The input unit 31 is an interface for inputting information from the outside. For example, the input unit 31 acquires information (detection result information) indicating a detection result from the sensor 100.
The output unit 32 is an interface that outputs an image generated by the control unit 34 to the output device 200.

記憶部３３は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部３３は、キャリブレーション情報記憶部３３１、判定条件情報記憶部３３２、検出履歴情報記憶部３３３、パラメータ情報記憶部３３４、プログラム情報記憶部３３５として機能する。   The storage unit 33 is configured using a storage device such as a magnetic hard disk device or a semiconductor storage device. The storage unit 33 functions as a calibration information storage unit 331, a determination condition information storage unit 332, a detection history information storage unit 333, a parameter information storage unit 334, and a program information storage unit 335.

キャリブレーション情報記憶部３３１は、キャリブレーション情報を記憶する。キャリブレーション情報は、センサ１００の検出結果を示す座標の座標系と、出力装置２００が投影する画像面の座標系とを対応付ける情報である。従って、リハビリテーション支援制御装置３００におけるキャリブレーションは、センサ１００による検出範囲８００と、出力装置２００による画像の出力領域９００との位置関係を把握し、両者に共通の座標系を設定する処理である。なお、センサ１００が検出できる検出範囲は、図示する検出範囲８００より広くてもよい。本実施形態における検出範囲８００とは、出力領域９００上で行われる対象者ＥＰの動作において、対象者ＥＰの検出目的とする体の一部の位置情報を取得するのに必要な検出範囲のことである。なお、出力領域９００上とは、出力領域９００で規定される平面の領域だけではなく、その領域において、出力領域９００を基準とする所定高さまでの空間も含む。   The calibration information storage unit 331 stores calibration information. The calibration information is information that associates the coordinate system of the coordinates indicating the detection result of the sensor 100 with the coordinate system of the image plane projected by the output device 200. Therefore, the calibration in the rehabilitation support control apparatus 300 is a process of grasping the positional relationship between the detection range 800 by the sensor 100 and the image output area 900 by the output apparatus 200 and setting a common coordinate system for both. The detection range that can be detected by the sensor 100 may be wider than the detection range 800 illustrated. The detection range 800 in the present embodiment is a detection range necessary for acquiring position information of a part of the body targeted for detection of the subject EP in the operation of the subject EP performed on the output area 900. It is. The term “on the output area 900” includes not only a plane area defined by the output area 900 but also a space up to a predetermined height with reference to the output area 900 in that area.

キャリブレーション情報は、例えば事前にキャリブレーションを実施することによって得てもよい。
より具体的には、例えば出力装置２００がキャリブレーション用のマーカ画像を、画像面（画像の出力領域９００）の四隅など、複数箇所に投影する。リハビリテーション支援制御装置３００は、出力装置２００の座標系における座標を既知である。 The calibration information may be obtained, for example, by performing calibration in advance.
More specifically, for example, the output device 200 projects the calibration marker image at a plurality of locations such as four corners of the image plane (image output area 900). The rehabilitation support control device 300 has known coordinates in the coordinate system of the output device 200.

出力装置２００がマーカ画像を投影すると、センサ１００は、各マーカ画像の位置を、センサ１００の座標系（センサ１００が検出位置を示すのに用いる座標系）における座標にてリハビリテーション支援制御装置３００へ出力する。これにより、リハビリテーション支援制御装置３００（制御部３４）は、各マーカの位置を、センサ１００の座標系における座標、及び、出力装置２００の座標系における座標の両方で取得する。また、リハビリテーション支援制御装置３００（制御部３４）は、四隅等に投影されたマーカ画像により、出力装置２００の座標系における出力領域９００の範囲を示す座標を把握する。これにより、後述する目標決定部３４５は、出力領域９００における出力装置２００の座標系における目標位置を計算することができる。   When the output device 200 projects a marker image, the sensor 100 sends the position of each marker image to the rehabilitation support control device 300 using coordinates in the coordinate system of the sensor 100 (the coordinate system used by the sensor 100 to indicate the detection position). Output. Thereby, the rehabilitation assistance control apparatus 300 (control part 34) acquires the position of each marker by both the coordinate in the coordinate system of the sensor 100, and the coordinate in the coordinate system of the output device 200. FIG. Further, the rehabilitation support control device 300 (the control unit 34) grasps coordinates indicating the range of the output region 900 in the coordinate system of the output device 200 based on the marker images projected on the four corners and the like. Thereby, the target determination unit 345 described later can calculate a target position in the coordinate system of the output device 200 in the output region 900.

リハビリテーション支援制御装置３００（制御部３４）は、得られた座標に基づいて、センサ１００の座標系を補正するための情報をキャリブレーション情報として取得する。センサ１００が座標系調整機能を有している場合、リハビリテーション支援制御装置３００（制御部３４）は、この機能を利用してセンサ１００の座標系を出力装置２００の座標系に合わせるためのキャリブレーション情報を生成する。あるいは、出力装置２００が座標系調整機能を有している場合、リハビリテーション支援制御装置３００（制御部３４）が、この機能を利用して出力装置２００の座標系をセンサ１００の座標系に合わせるためのキャリブレーション情報を生成するようにしてもよい。   The rehabilitation support control apparatus 300 (control unit 34) acquires information for correcting the coordinate system of the sensor 100 as calibration information based on the obtained coordinates. When the sensor 100 has a coordinate system adjustment function, the rehabilitation support control device 300 (control unit 34) uses this function to perform calibration for matching the coordinate system of the sensor 100 with the coordinate system of the output device 200. Generate information. Alternatively, when the output device 200 has a coordinate system adjustment function, the rehabilitation support control device 300 (the control unit 34) uses this function to match the coordinate system of the output device 200 with the coordinate system of the sensor 100. The calibration information may be generated.

床面が光を散乱させてマーカ画像がぼやける場合など、センサ１００によるマーカ画像の検出が困難な場合は、マーカ画像を用いた位置検出の代わりに理学療法士等の操作者が手動で位置検出を行うようにしてもよい。出力装置２００が出力領域９００の全体に画像を投影している状態で、センサ１００が画像センサで投影画像全体を含む領域を撮像する。リハビリテーション支援制御装置３００は、センサ１００による撮像画像を表示画面に表示する。そして、リハビリテーション支援システム１の操作者は、モニタ画面に表示されている出力領域９００の四隅の各々をタッチ操作にて指定する。
モニタ画面に表示されている画像は、センサ１００が撮像した画像なので、操作者が指定した位置をセンサ１００の座標系における座標で取得し得る。リハビリテーション支援制御装置３００（制御部３４）は、この座標と、出力装置２００の座標系における出力領域９００の四隅の座標とに基づいて、キャリブレーション情報を取得する。なお、高さ方向の座標として、フロアの座標を用いる。
あるいは、理学療法士等が、例えばコーンなど物理的なマーカを画像面の四隅位置に置くようにしてもよい。この場合、センサ１００は、置かれたマーカを検出し、各マーカの座標を出力する。 When it is difficult to detect the marker image by the sensor 100, for example, when the marker image is blurred because the floor surface scatters light, an operator such as a physical therapist manually detects the position instead of the position detection using the marker image. May be performed. In a state where the output device 200 projects an image on the entire output area 900, the sensor 100 captures an area including the entire projected image with the image sensor. The rehabilitation support control device 300 displays the image captured by the sensor 100 on the display screen. Then, the operator of the rehabilitation support system 1 designates each of the four corners of the output area 900 displayed on the monitor screen by a touch operation.
Since the image displayed on the monitor screen is an image captured by the sensor 100, the position specified by the operator can be acquired by coordinates in the coordinate system of the sensor 100. The rehabilitation support control device 300 (control unit 34) acquires calibration information based on the coordinates and the coordinates of the four corners of the output region 900 in the coordinate system of the output device 200. Note that the coordinates of the floor are used as the coordinates in the height direction.
Alternatively, a physical therapist or the like may place physical markers such as cones at the four corner positions of the image plane. In this case, the sensor 100 detects the placed marker and outputs the coordinates of each marker.

出力装置２００が床面に画像を投影する場合、リハビリテーション支援システム１の初回使用時にキャリブレーションを行えば、２回目の使用時以降はキャリブレーションを行う必要が無い。センサ１００と床面との位置関係、及び、出力装置２００と床面との位置関係のいずれも変わらないため、初回使用時に得られたキャリブレーション情報を２回目以降の使用時にも使用できるためである。   When the output device 200 projects an image on the floor surface, if calibration is performed when the rehabilitation support system 1 is used for the first time, it is not necessary to perform calibration after the second use. Since neither the positional relationship between the sensor 100 and the floor surface nor the positional relationship between the output device 200 and the floor surface changes, the calibration information obtained at the first use can be used at the second and subsequent uses. is there.

判定条件情報記憶部３３２は、動作領域を判定するための条件を記憶する。動作領域については後述する。
検出履歴情報記憶部３３３は、認識部３４１が認識した対象者ＥＰの体の一部に関する位置情報（検出結果情報）の履歴を記憶する。例えば、歩行のリハビリテーションを行う場合、検出履歴情報記憶部３３３は、対象者ＥＰの足の位置の検出結果情報の履歴を記憶する。また、手の移動のリハビリテーションを行う場合、検出履歴情報記憶部３３３は、対象者ＥＰの手の位置の検出結果情報の履歴を記憶する。 The determination condition information storage unit 332 stores conditions for determining the operation area. The operation area will be described later.
The detection history information storage unit 333 stores a history of position information (detection result information) regarding a part of the body of the subject person EP recognized by the recognition unit 341. For example, when walking rehabilitation is performed, the detection history information storage unit 333 stores a history of detection result information on the position of the foot of the subject EP. When performing rehabilitation of hand movement, the detection history information storage unit 333 stores a history of detection result information on the position of the hand of the subject EP.

パラメータ情報記憶部３３４は、後述する足用表示パラメータ設定部３４７が設定した足用表示パラメータ、後述する手用表示パラメータ設定部３４８が設定した手用表示パラメータ、後述する外乱用表示パラメータ設定部３４９が設定した外乱用表示パラメータを記憶する。
プログラム情報記憶部３３５は、リハビリテーション支援プログラムを記憶する。 The parameter information storage unit 334 includes a foot display parameter set by a foot display parameter setting unit 347 described later, a hand display parameter set by a hand display parameter setting unit 348 described later, and a disturbance display parameter setting unit 349 described later. The disturbance display parameter set by is stored.
The program information storage unit 335 stores a rehabilitation support program.

制御部３４は、ＣＰＵを用いて構成される。制御部３４は、リハビリテーション支援プログラムを実行することによって、認識部３４１、表示制御部３４２、動作領域判定部３４３、記録部３４４、目標決定部３４５、評価部３４６、足用表示パラメータ設定部３４７、手用表示パラメータ設定部３４８、外乱用表示パラメータ設定部３４９として機能する。   The control unit 34 is configured using a CPU. The control unit 34 executes a rehabilitation support program to recognize a recognition unit 341, a display control unit 342, a motion region determination unit 343, a recording unit 344, a target determination unit 345, an evaluation unit 346, a foot display parameter setting unit 347, It functions as a manual display parameter setting unit 348 and a disturbance display parameter setting unit 349.

認識部３４１は、入力部３１が取得した検出結果情報を取得し、検出結果情報が示す対象物を認識する。例えば、認識部３４１は、検出結果情報に基づいて、検出範囲８００に存在する人、テーブル、床、壁等を認識する。例えば、Ｋｉｎｅｃｔ（登録商標）を用いると、対象者ＥＰの人体上の複数の部位の位置を認識することができる。例えば、認識部３４１は、テーブル上の長尺状の検出対象の先端部を認識すると、その先端部の単位時間ごとの位置情報を検出する。認識部３４１は、センサ１００が時々刻々と検出したこれらの特徴点の位置情報により、対象者ＥＰの体の一部の位置の動きを認識する。例えば、長尺状の対象物を検出した場合、認識部３４１は、その対象物の先端の位置の動きを認識する。当該先端の位置の動きは、例えば、対象者ＥＰの手の位置として扱ってもよい。また、認識部３４１は、検出結果情報が示す対象物の形状と人の骨格モデルとの比較を行って対象物が人と認識できる場合、各部位の位置を認識する機能を有していてもよい。この機能によれば、認識部３４１は、人体の各部位の位置情報を、その部位に対応付けて認識することができる。例えば、対象者ＥＰがセンサ１００の前で直立する。すると、認識部３４１は、その状態で検出された検出結果情報と人の骨格モデルとの比較を行い、対象物が人の形状をしていることから対象物は人であると認識する。さらに、認識部３４１は、例えば、左のつま先とその位置情報、右のかかととその位置情報、左右の手首とそれぞれの位置情報というように、各部位の位置情報をそれぞれの部位に対応付けて認識する。骨格モデルによる各部位の位置を認識する機能（以下「骨格トラッキング機能」という。）を用いると、認識部３４１は、対象者ＥＰの各部位の位置の動きを認識することができる。このように認識部３４１は、検出結果情報に含まれる所定の形状をした対象物の所定の位置をトラッキングすることにより、又は、骨格トラッキング機能により、対象者ＥＰの体の一部の位置およびその動きを認識する。また、Ｋｉｎｅｃｔ（登録商標）を用いると、検出範囲８００に存在する物の座標情報（検出範囲８００に存在する物の所定間隔ごとの座標情報を含む点群データ）を得ることができる。認識部３４１は、検出結果情報（点群データ）を分析し、所定の広さ以上の面積を有し、Ｚ座標の値が変化しない面（要するに、Ｚ座標の値がほぼ一定の点群の集合）を、壁、フロア、テーブル等との平面として認識する。また、認識部３４１は、検出結果情報のうち、どのデータが、後述する動作領域判定部３４３が判定した動作領域に関連する対象者ＥＰの体の一部（検出対象部位）の検出データであるかを認識し、そのデータ（検出対象情報）を選択する。   The recognition unit 341 acquires the detection result information acquired by the input unit 31, and recognizes the object indicated by the detection result information. For example, the recognition unit 341 recognizes a person, a table, a floor, a wall, or the like existing in the detection range 800 based on the detection result information. For example, when Kinect (registered trademark) is used, the positions of a plurality of parts on the human body of the subject EP can be recognized. For example, when the recognizing unit 341 recognizes a long tip of a long detection target on the table, the recognizing unit 341 detects position information of the tip at every unit time. The recognition unit 341 recognizes the movement of the position of a part of the body of the subject EP based on the position information of these feature points detected by the sensor 100 every moment. For example, when a long object is detected, the recognition unit 341 recognizes the movement of the position of the tip of the object. The movement of the position of the tip may be handled as the position of the hand of the subject EP, for example. In addition, the recognition unit 341 has a function of recognizing the position of each part when the object can be recognized as a person by comparing the shape of the object indicated by the detection result information with the human skeleton model. Good. According to this function, the recognition unit 341 can recognize the position information of each part of the human body in association with the part. For example, the subject person EP stands upright in front of the sensor 100. Then, the recognition unit 341 compares the detection result information detected in this state with a human skeleton model, and recognizes that the target is a person because the target has a human shape. Furthermore, the recognizing unit 341 associates position information of each part with each part, such as left toe and its position information, right heel and its position information, and left and right wrists and respective position information. recognize. When the function of recognizing the position of each part based on the skeleton model (hereinafter referred to as “skeleton tracking function”) is used, the recognition unit 341 can recognize the movement of the position of each part of the subject EP. In this way, the recognition unit 341 tracks the predetermined position of the object having the predetermined shape included in the detection result information, or uses the skeleton tracking function to detect the position of the body part of the target person EP and the position thereof. Recognize movement. Further, when Kinect (registered trademark) is used, coordinate information of an object existing in the detection range 800 (point cloud data including coordinate information for each predetermined interval of the object existing in the detection range 800) can be obtained. The recognizing unit 341 analyzes the detection result information (point cloud data), and has a surface that has an area larger than a predetermined area and the Z coordinate value does not change (in short, a point cloud having a substantially constant Z coordinate value). Is recognized as a plane with walls, floors, tables, etc. Further, the recognition unit 341 is detection data of a part (detection target part) of the body of the subject person EP related to the motion region determined by the motion region determination unit 343 described later, among the detection result information. And the data (detection target information) is selected.

ここで、動作領域とは、対象者ＥＰのリハビリテーションの目的とする動作が行われる領域のことである。より具体的には、リハビリテーションによって回復することを目的とする動作に強く関連する部位が動作する空間内の所定の領域のことである。また、例えば、動作領域とは、対象者ＥＰがリハビリテーションにおいてその部位を近接させる領域である。また、例えば、動作領域とは、対象者ＥＰのリハビリテーションにおいて、その動作の目標（到達点）となる位置を含む領域である。また、動作領域とは、対象者ＥＰがリハビリテーション中に目的とする動作を行う場所である。動作領域の具体例として、２次元領域の場合では、フロア、テーブル等を挙げることができる。例えば、フロアであれば、リハビリテーションによって回復することを目的とする動作に強く関連する部位は足であり、テーブルの場合の当該部位は手である。また、対象者ＥＰは、歩行動作のリハビリテーションにおいて足をフロアに近接させ、手の移動のリハビリテーションにおいては手をテーブルに近接させる。また、例えば、歩行動作のリハビリテーションにおいてフロアは、歩行動作の到達点となる位置（目標画像の表示位置）を含む領域であり、テーブルは手の移動のリハビリテーションにおける手の到達点となる位置（目標画像の表示位置）を含む領域である。また、フロア、テーブルはそれぞれ、歩行動作のリハビリテーション、手の移動のリハビリテーション中に目的となる動作を行う場所である。なお、動作領域が３次元である場合の具体例としては、テーブル上のテーブル表面を基準とする所定高さの範囲の空間（以下「３次元動作領域」という）を挙げることができる。例えば、出力装置２００は、テーブルに「１０ｃｍ」を意味する目標画像を表示する。例えば、テーブル上のある位置に「１０ｃｍ」と表示してもよい。これは、テーブルの当該目標画像が表示された位置の真上の空間の、テーブル表面を基準とする高さ１０ｃｍの位置が、手の到達点となる位置であることを意味する目標画像である。この目標画像が示す位置は、当該３次元動作領域に含まれている。この例の場合も、例えば、３次元動作領域は、リハビリテーションによって回復することを目的とする動作に強く関連する部位（手）が動作する領域である。また、３次元動作領域は、手の移動のリハビリテーションにおいて、手を近接させる領域である。また、３次元動作領域は、手の移動の到達点となる位置（目標画像が示す位置）を含む領域である。また、３次元動作領域は、対象者ＥＰが手の移動のリハビリテーション中に目的とする動作を行う場所である。なお、動作領域が３次元である場合の他の例として、出力領域９００上の空間を挙げることができる。例えば、動作領域が出力領域９００上の空間の場合、この空間に目標画像を投影し、対象者ＥＰがその目標画像を手で触れる等のリハビリテーションを行ってもよい。   Here, the motion region is a region where a motion intended for the rehabilitation of the subject EP is performed. More specifically, it is a predetermined area in a space where a part that is strongly related to an action intended to recover by rehabilitation operates. In addition, for example, the motion region is a region where the subject EP brings the part close thereto in rehabilitation. In addition, for example, the motion region is a region including a position that is a target (reaching point) of the motion in the rehabilitation of the subject EP. In addition, the motion area is a place where the target person EP performs a target motion during rehabilitation. As a specific example of the motion area, in the case of a two-dimensional area, a floor, a table, and the like can be given. For example, in the case of a floor, a part that is strongly related to an action intended to recover by rehabilitation is a foot, and in the case of a table, the part is a hand. In addition, the subject EP brings his / her feet close to the floor in the rehabilitation of walking motion, and brings his / her hand close to the table in the rehabilitation of hand movement. Further, for example, in the rehabilitation of walking motion, the floor is an area including the position that becomes the arrival point of the walking motion (display position of the target image), and the table is the position that becomes the arrival point of the hand in the rehabilitation of hand movement (target (Display position of image). Further, the floor and the table are places where the target motion is performed during rehabilitation of walking motion and rehabilitation of hand movement, respectively. A specific example of the case where the motion area is three-dimensional includes a space having a predetermined height with respect to the table surface on the table (hereinafter referred to as “three-dimensional motion area”). For example, the output device 200 displays a target image meaning “10 cm” on the table. For example, “10 cm” may be displayed at a certain position on the table. This is a target image that means that the position of 10 cm in height with respect to the table surface in the space immediately above the position where the target image of the table is displayed is the position where the hand reaches. . The position indicated by the target image is included in the three-dimensional motion area. Also in this example, for example, the three-dimensional motion region is a region in which a part (hand) that is strongly related to a motion intended to recover by rehabilitation operates. Further, the three-dimensional motion region is a region in which the hand is brought close to the hand movement rehabilitation. In addition, the three-dimensional motion region is a region including a position (a position indicated by the target image) that is a reaching point of hand movement. In addition, the three-dimensional motion region is a place where the target person EP performs a target motion during hand movement rehabilitation. As another example of the case where the motion area is three-dimensional, a space on the output area 900 can be given. For example, when the motion area is a space on the output area 900, rehabilitation such as projecting a target image into this space and touching the target EP with the hand may be performed.

表示制御部３４２は、出力装置２００が出力する画像を生成する。例えば、表示制御部３４２は、動作領域に表示して対象者ＥＰの動作を誘導する目標画像、リハビリテーションの評価結果の情報を含む画像、リハビリテーション中に行った対象者ＥＰの検出対象部位の動作の軌跡を示す画像などを生成する。
例えば、歩行のリハビリテーションの場合、表示制御部３４２が出力装置２００を制御して、上記のように対象者ＥＰの足の位置の履歴画像、及び、対象者ＥＰが足を動かす目標位置を示す目標画像うちのいずれか一方又は両方を表示させるようにしてもよい。また、手の移動のリハビリテーションの場合、表示制御部３４２が出力装置２００を制御して、上記のように対象者ＥＰの手の位置の履歴画像、及び、対象者ＥＰが手を動かす目標位置を示す目標画像のうちいずれか一方又は両方を表示させるようにしてもよい。
対象者ＥＰの体の一部の位置に応じた位置は、対象者ＥＰの体の一部の実際の位置であってもよいし、実際の位置に応じて定められた目標位置であってもよい。対象者ＥＰの体の一部の実際の位置は、対象者ＥＰの体の一部の現在の位置であってもよいし、過去の位置（履歴の位置）であってもよい。 The display control unit 342 generates an image output from the output device 200. For example, the display control unit 342 displays a target image that is displayed in the motion region and guides the motion of the subject EP, an image that includes information on the evaluation result of the rehabilitation, and a motion of the detection target portion of the subject EP performed during the rehabilitation. An image showing a locus is generated.
For example, in the case of walking rehabilitation, the display control unit 342 controls the output device 200 so that the history image of the foot position of the subject person EP and the target position indicating the target position where the subject person EP moves the foot as described above. Either one or both of the images may be displayed. Further, in the case of hand movement rehabilitation, the display control unit 342 controls the output device 200 so that the history image of the hand position of the subject person EP and the target position where the subject person EP moves the hand as described above. Either or both of the target images shown may be displayed.
The position according to the position of a part of the body of the subject person EP may be an actual position of a part of the body of the subject person EP, or may be a target position determined according to the actual position. Good. The actual position of a part of the body of the subject person EP may be a current position of a part of the body of the subject person EP, or may be a past position (history position).

特に、表示制御部３４２が出力装置２００を制御して、体の一部の形状を示す画像を対象者ＥＰの位置に応じた位置に表示させるようにしてもよい。例えば、歩行のリハビリテーションの場合、表示制御部３４２が出力装置２００を制御して、対象者ＥＰの足の位置の履歴画像、及び、目標画像のうちいずれか一方又は両方を足の形の画像で表示させるようにしてもよい。また、手の移動のリハビリテーションの場合、表示制御部３４２が出力装置２００を制御して、上記のように出力装置２００に対象者ＥＰの手の位置の履歴画像、及び、目標画像のうちいずれか一方又は両方を手の形の画像で表示させるようにしてもよい。
表示制御部３４２が、認識部３４１が認識した対象者ＥＰの体の一部の実際の形状を出力装置２００に表示させるようにしてもよい。あるいは、記憶部３３が体の一部の形状を示す画像を予め記憶しておき、表示制御部３４２が、当該画像を記憶部３３から読み出して出力装置２００に表示させるようにしてもよい。 In particular, the display control unit 342 may control the output device 200 to display an image showing a shape of a part of the body at a position corresponding to the position of the subject person EP. For example, in the case of walking rehabilitation, the display control unit 342 controls the output device 200 so that either or both of the foot position history image and the target image of the subject EP are foot-shaped images. You may make it display. Further, in the case of hand movement rehabilitation, the display control unit 342 controls the output device 200, and the output device 200 has either the history image of the hand position of the subject person EP or the target image as described above. One or both may be displayed as a hand-shaped image.
The display control unit 342 may display the actual shape of a part of the body of the subject person EP recognized by the recognition unit 341 on the output device 200. Or the memory | storage part 33 memorize | stores beforehand the image which shows the shape of a part of body, and the display control part 342 reads the said image from the memory | storage part 33, and you may make it display it on the output device 200. FIG.

動作領域判定部３４３は、認識部３４１による認識結果に基づいて動作領域を判定する。後述するように、動作領域の判定方法は、様々であってよい。動作領域判定部３４３は、所定の判定条件に基づいて、例えば、動作領域がフロアであると判定する。また、例えば、動作領域判定部３４３は、動作領域がテーブルであると判定する。   The motion region determination unit 343 determines the motion region based on the recognition result by the recognition unit 341. As will be described later, there are various methods for determining the motion region. The motion area determination unit 343 determines, for example, that the motion area is a floor based on a predetermined determination condition. Further, for example, the motion area determination unit 343 determines that the motion area is a table.

動作領域判定部３４３は、動作領域を判定すると、対象者ＥＰの動作領域に関連する検出対象となる部位（検出対象部位）を決定する。検出対象部位とは、リハビリテーションの目的とする動作に関係が深い体の一部である。例えば、動作領域判定部３４３は、動作領域をフロアであると判定した場合、対象者ＥＰの足首を検出対象部位として決定する。あるいは、動作領域判定部３４３は、対象者ＥＰのつま先を検出対象部位として決定してもよい。また、例えば、動作領域判定部３４３は、動作領域をテーブルであると判定した場合、対象者ＥＰの手の甲を検出対象部位として決定する。あるいは、動作領域判定部３４３は、対象者ＥＰの指先を検出対象部位として決定してもよい。   When the motion region determination unit 343 determines the motion region, the motion region determination unit 343 determines a portion (detection target portion) that is a detection target related to the motion region of the subject EP. The part to be detected is a part of the body that is deeply related to the movement intended for rehabilitation. For example, when the motion region determination unit 343 determines that the motion region is a floor, the motion region determination unit 343 determines the ankle of the subject EP as a detection target part. Alternatively, the motion region determination unit 343 may determine the toe of the subject person EP as the detection target part. For example, when the motion region determination unit 343 determines that the motion region is a table, the motion region determination unit 343 determines the back of the hand of the subject person EP as a detection target part. Alternatively, the motion region determination unit 343 may determine the fingertip of the subject person EP as the detection target part.

なお、動作領域に関連する検出対象部位は、予め記憶部３３に設定されており、動作領域判定部３４３は、その情報と自らが判定した動作領域とに基づいて検出対象部位を決定する。検出対象部位には、例えば、リハビリテーションの目標とする動作において、動作範囲が大きい部位が設定されていてもよい。例えば、歩行動作のリハビリテーションであれば、動作範囲が大きい部位は、対象者ＥＰの足（足首、つま先、踵など）である。手の移動のリハビリテーションであれば、動作範囲が大きい部位は、対象者ＥＰの手（手首、指先、手の甲など）である。   The detection target part related to the motion region is set in the storage unit 33 in advance, and the motion region determination unit 343 determines the detection target part based on the information and the motion region determined by itself. For example, in the operation targeted for rehabilitation, a region having a large operation range may be set as the detection target region. For example, in the case of rehabilitation of walking motion, the part having a large motion range is the foot (ankle, toe, heel, etc.) of the subject EP. In the case of hand movement rehabilitation, the part having a large movement range is the hand (wrist, fingertip, back of hand, etc.) of the subject EP.

あるいは、検出対象部位には、表示制御部３４２が生成する目標画像の表示位置に近接する部位が設定されていてもよい。例えば、歩行動作のリハビリテーションの場合、本実施形態では、対象者ＥＰが歩行動作において足を踏み出すべき位置に足型などを模した目標画像を表示するが、この場合、目標画像の表示位置に近接する部位とは、対象者ＥＰの足（足首、つま先、踵など）である。また、手の移動のリハビリテーションの場合、対象者ＥＰがタッチすべき位置に目標画像を表示するが、この場合、目標画像の表示位置に近接する部位とは、対象者ＥＰの手（手首、指先、手の甲など）である。   Alternatively, a part close to the display position of the target image generated by the display control unit 342 may be set as the detection target part. For example, in the case of rehabilitation of walking motion, in this embodiment, a target image imitating a foot shape or the like is displayed at a position where the subject EP should step on the walking motion. In this case, the target image is close to the display position of the target image. The part to be performed is the foot (ankle, toe, heel, etc.) of the subject EP. In the case of hand movement rehabilitation, the target image is displayed at a position to be touched by the target person EP. In this case, the part close to the display position of the target image is the hand (wrist, fingertip) of the target person EP. , Back of the hand, etc.).

なお、認識部３４１は、検出結果情報に含まれる動作領域判定部３４３が決定した検出対象部位のデータ（体の一部の位置情報）を、記録部３４４を介して、検出履歴情報記憶部３３３に記録する。
記録部３４４は、検出結果情報を検出履歴情報記憶部３３３に書き込んで記録する。 The recognizing unit 341 uses the recording unit 344 to detect the detection target part data (positional information of a part of the body) determined by the motion region determining unit 343 included in the detection result information, via the recording unit 344. To record.
The recording unit 344 writes and records the detection result information in the detection history information storage unit 333.

目標決定部３４５は、認識部３４１が認識する対象者ＥＰの体の一部（検出対象部位）の位置に基づいて対象者ＥＰの体の一部の目標位置を決定する。例えば、歩行のリハビリテーションの場合、目標決定部３４５は、対象者ＥＰの現在の足の位置、及び、対象者ＥＰの足の位置の履歴のうち少なくともいずれかに基づいて、対象者ＥＰの足の移動目標位置を決定する。特に、目標決定部３４５が、対象者ＥＰの足の位置の履歴に基づいて対象者ＥＰの進行方向を判定し、判定した進行方向に応じて移動目標位置を決定するようにしてもよい。あるいは、目標決定部３４５が、対象者ＥＰの足の向きに基づいて対象者ＥＰの進行方向を判定し、判定した進行方向に応じて移動目標位置を決定するようにしてもよい。あるいは、目標決定部３４５が、対象者ＥＰの進行方向にかかわらず、例えばランダムな向きに、或いは所定のゴールの位置に向けて、移動目標位置を決定するようにしてもよい。   The target determining unit 345 determines a target position of a part of the body of the subject EP based on the position of a part of the body (detection target part) of the subject EP recognized by the recognition unit 341. For example, in the case of walking rehabilitation, the target determination unit 345 determines the foot of the subject person EP based on at least one of the current foot position of the subject person EP and the foot position history of the subject person EP. Determine the movement target position. In particular, the target determination unit 345 may determine the traveling direction of the subject person EP based on the foot position history of the subject person EP, and may determine the movement target position according to the determined traveling direction. Alternatively, the target determination unit 345 may determine the traveling direction of the subject person EP based on the direction of the foot of the subject person EP, and may determine the movement target position according to the determined traveling direction. Alternatively, the target determination unit 345 may determine the movement target position, for example, in a random direction or toward a predetermined goal position regardless of the traveling direction of the subject person EP.

目標決定部３４５が、対象者ＥＰの体の検出対象部位の移動量を算出し、算出した移動量に基づいて移動目標位置を決定するようにしてもよい。例えば、認識部３４１が対象者ＥＰの足の位置を認識する場合、目標決定部３４５は、対象者ＥＰの足の位置の履歴に基づいて対象者ＥＰの歩幅を算出する。そして、目標決定部３４５は、対象者ＥＰの足の現在位置から歩幅分だけ移動した位置に移動目標位置を設定する。対象者ＥＰの歩幅は、対象者ＥＰの足の移動量を示しており、対象者ＥＰの体の検出対象部位の移動量の例に該当する。
認識部３４１が対象者ＥＰの足の位置の動きを認識する場合、目標決定部３４５が、対象者ＥＰの足が動いた間隔を歩幅として検出するようにしてもよい。あるいは、認識部３４１が、対象者ＥＰが床面に足をついた位置を認識する場合、目標決定部３４５が、対象者ＥＰが床面に足をついた位置から次に足をついた位置までの間隔を歩幅として検出するようにしてもよい。 The target determination unit 345 may calculate the movement amount of the detection target part of the body of the subject EP and determine the movement target position based on the calculated movement amount. For example, when the recognition unit 341 recognizes the position of the foot of the subject person EP, the target determination unit 345 calculates the stride of the subject person EP based on the history of the foot position of the subject person EP. Then, the target determination unit 345 sets the movement target position at a position moved by the stride from the current position of the foot of the subject person EP. The stride length of the subject person EP indicates the amount of movement of the leg of the subject person EP, and corresponds to an example of the amount of movement of the detection target part of the body of the subject person EP.
When the recognition unit 341 recognizes the movement of the position of the foot of the subject person EP, the target determination unit 345 may detect the interval at which the foot of the subject person EP has moved as the stride. Alternatively, when the recognition unit 341 recognizes the position where the subject person EP has his / her foot on the floor surface, the target determination unit 345 has the position where the subject person EP has next to his / her foot from the floor surface. The interval up to may be detected as the stride.

評価部３４６は、対象者ＥＰの体の検出対象部位の位置と移動目標位置との位置関係を評価する。例えば、評価部３４６は、認識部３４１が認識した対象者ＥＰの体の部位の位置と、目標決定部３４５が決定した移動目標位置との距離を算出する。そして、評価部３４６は、算出した距離が所定の閾値以下か否かを判定する。対象者ＥＰの体の検出対象部位と移動目標位置との距離が閾値以下であると判定した場合、評価部３４６は、目標位置到達と評価する。一方、対象者ＥＰの体の検出対象部位と移動目標位置との距離が閾値より大きいと判定した場合、評価部３４６は、目標位置不到達と評価する。   The evaluation unit 346 evaluates the positional relationship between the position of the detection target part of the body of the subject person EP and the movement target position. For example, the evaluation unit 346 calculates the distance between the position of the body part of the subject person EP recognized by the recognition unit 341 and the movement target position determined by the target determination unit 345. Then, the evaluation unit 346 determines whether or not the calculated distance is equal to or less than a predetermined threshold value. When it is determined that the distance between the detection target part of the body of the subject person EP and the movement target position is equal to or less than the threshold value, the evaluation unit 346 evaluates that the target position has been reached. On the other hand, when it is determined that the distance between the detection target part of the body of the subject person EP and the movement target position is larger than the threshold, the evaluation unit 346 evaluates that the target position has not been reached.

評価部３４６が用いる距離の閾値は、複数の対象者ＥＰに共通に予め設定された定数であってもよい。あるいは、評価部３４６が、対象者ＥＰの歩幅の１０分の１を閾値に設定するなど対象者ＥＰ毎に閾値を設定するようにしてもよい。また、評価部３４６が用いる距離の閾値は、複数種類のリハビリテーションに共通に設定されていてもよいし、リハビリテーションの種類毎に設定されていてもよい。また閾値の大きさは、手を移動させるリハビリテーションよりも足を移動させるリハビリテーションの方が大きくなるよう設定されていてもよい。   The distance threshold used by the evaluation unit 346 may be a constant set in advance for a plurality of target persons EP. Or you may make it the evaluation part 346 set a threshold value for every object person EP, such as setting 1/10 of the stride of object person EP as a threshold value. Moreover, the threshold value of the distance used by the evaluation unit 346 may be set in common for a plurality of types of rehabilitation, or may be set for each type of rehabilitation. Moreover, the magnitude | size of a threshold value may be set so that the direction of the rehabilitation which moves a leg | foot may become larger than the rehabilitation which moves a hand.

また、評価部３４６が、対象者ＥＰの体の一部の位置（検出対象部位）と移動目標位置との相対的な位置関係を評価する段階数は、上述した目標位置到達又は目標位置不到達の２段階に限らず、３段階以上の多段階であってもよい。例えば、評価部３４６が、目標位置到達か否かの判定閾値に加えてさらに目標位置不到達の場合のずれの大小の判定閾値を用いて、目標位置到達、ずれ小、ずれ大の３段階で評価を行うようにしてもよい。   The number of stages at which the evaluation unit 346 evaluates the relative positional relationship between the position of a part of the body of the subject EP (detection target part) and the movement target position is the target position arrival or target position non-reaching described above. It is not limited to these two stages, and may be a multi-stage having three or more stages. For example, the evaluation unit 346 uses, in addition to the determination threshold value for determining whether or not the target position has been reached, further the determination threshold value for the shift when the target position is not reached, in three stages: target position arrival, small shift, and large shift An evaluation may be performed.

また、評価部３４６が対象者ＥＰの体の検出対象部位の位置と移動目標位置との位置関係を評価する方法は、閾値を用いる方法のみに限らない。例えば、評価部３４６が、対象者ＥＰの体の検出対象部位の位置と移動目標位置との重なりの有無を判定し、重なり有りと判定した場合に目標位置到達と評価するようにしてもよい。
さらに、例えば歩行のリハビリテーションの場合、目標決定部３４５が、移動目標位置を面積のある範囲にて床面上に決定し、認識部３４１が、対象者ＥＰの足の位置を、対象者ＥＰの足の形状の範囲にて認識するようにしてもよい。そして、評価部３４６が、移動目標位置として決定されている範囲と、対象者ＥＰの足の位置として検出された範囲との重なりの有無を判定するようにしてもよい。 Moreover, the method by which the evaluation unit 346 evaluates the positional relationship between the position of the detection target part of the body of the subject EP and the movement target position is not limited to a method using a threshold value. For example, the evaluation unit 346 may determine whether or not there is an overlap between the position of the detection target part of the body of the subject EP and the movement target position, and may determine that the target position has been reached when it is determined that there is an overlap.
Further, for example, in the case of walking rehabilitation, the target determination unit 345 determines the movement target position on the floor within a certain area, and the recognition unit 341 determines the position of the foot of the subject EP. You may make it recognize in the range of the shape of a leg | foot. Then, the evaluation unit 346 may determine whether or not there is an overlap between the range determined as the movement target position and the range detected as the position of the foot of the subject EP.

足用表示パラメータ設定部３４７は、歩行などの足を移動させるリハビリテーションにおいて、足用表示パラメータを設定する。足用表示パラメータは、対象者ＥＰが足を移動させるときの目標画像の表示に用いられるパラメータである。
手用表示パラメータ設定部３４８は、手を動かすリハビリテーションにおいて、手用表示パラメータを設定する。手用表示パラメータは、対象者ＥＰが手を動かすときの目標画像の表示に用いられるパラメータである。
外乱用表示パラメータ設定部３４９は、外乱用表示パラメータを設定する。外乱用表示パラメータは、リハビリテーションの対象者ＥＰが足または手を所定の目標画像まで移動させるときに、対象者ＥＰが足または手を目標画像まで移動させる妨げとなる外乱の表示に用いられるパラメータである。または、外乱用表示パラメータは、リハビリテーションの対象者ＥＰが足または手を回避目標となる目標画像から回避させるときに、対象者ＥＰが足または手を目標画像から回避させる妨げとなる外乱の表示に用いられるパラメータである。 The foot display parameter setting unit 347 sets foot display parameters in rehabilitation for moving a foot such as walking. The foot display parameter is a parameter used for displaying the target image when the subject EP moves his / her foot.
The hand display parameter setting unit 348 sets hand display parameters in rehabilitation for moving a hand. The hand display parameter is a parameter used for displaying the target image when the subject EP moves his / her hand.
The disturbance display parameter setting unit 349 sets a disturbance display parameter. The disturbance display parameter is a parameter used for displaying a disturbance that prevents the subject EP from moving the foot or hand to the target image when the subject EP of rehabilitation moves the foot or hand to the predetermined target image. is there. Alternatively, the disturbance display parameter is used to display a disturbance that prevents the target EP from avoiding the foot or hand from the target image when the target EP of the rehabilitation avoids the foot or hand from the target image. The parameter used.

操作部３５は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部３５は、理学療法士等の指示をリハビリテーション支援制御装置３００に入力する際に理学療法士等によって操作される。操作部３５は、入力装置をリハビリテーション支援制御装置３００に接続するためのインタフェースであってもよい。この場合、操作部３５は、入力装置において理学療法士等の入力に応じ生成された入力信号をリハビリテーション支援制御装置３００に入力する。操作部３５は、表示部３６と一体のタッチパネルとして構成されてもよい。   The operation unit 35 is configured using an existing input device such as a keyboard, a pointing device (such as a mouse or a tablet), a button, or a touch panel. The operation unit 35 is operated by a physical therapist or the like when inputting an instruction from the physical therapist or the like to the rehabilitation support control device 300. The operation unit 35 may be an interface for connecting the input device to the rehabilitation support control device 300. In this case, the operation unit 35 inputs an input signal generated in response to an input from a physical therapist or the like in the input device to the rehabilitation support control device 300. The operation unit 35 may be configured as a touch panel integrated with the display unit 36.

表示部３６は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示部３６は、画像や文字を表示する。表示部３６は、画像表示装置をリハビリテーション支援制御装置３００に接続するためのインタフェースであってもよい。この場合、表示部３６は、画像や文字を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。   The display unit 36 is an image display device such as a CRT (Cathode Ray Tube) display, a liquid crystal display, or an organic EL (Electro Luminescence) display. The display unit 36 displays images and characters. The display unit 36 may be an interface for connecting the image display device to the rehabilitation support control device 300. In this case, the display unit 36 generates a video signal for displaying images and characters, and outputs the video signal to an image display device connected to the display unit 36.

図３は、リハビリテーション支援制御装置３００による第一動作領域を説明するための斜視図である。
図３は、対象者ＥＰがテーブルＴ（第一動作領域）上で手の移動のリハビリテーションを行っている様子を示している。出力装置２００は、テーブルＴに目標画像Ｍ１を投影している。対象者ＥＰは、出力装置２００が出力領域９００に出力する目標画像Ｍ１に基づいて、手の移動に関するリハビリテーションを行う。
センサ１００は、対象者ＥＰが検出範囲８００内において手を移動する際の対象者ＥＰの体の一部の位置を検出し、検出結果情報を所定の時間毎にリハビリテーション支援制御装置３００に出力する。 FIG. 3 is a perspective view for explaining a first operation region by the rehabilitation support control device 300.
FIG. 3 shows a state in which the subject EP is performing rehabilitation of hand movement on the table T (first motion region). The output device 200 projects the target image M1 on the table T. The subject EP performs rehabilitation related to hand movement based on the target image M1 output to the output area 900 by the output device 200.
The sensor 100 detects the position of a part of the body of the subject EP when the subject EP moves the hand within the detection range 800, and outputs detection result information to the rehabilitation support control device 300 at predetermined time intervals. .

図４は、リハビリテーション支援システム１における画像の表示例を示す平面図である。図４では、リハビリテーション支援システム１を用いて手の移動のリハビリテーションを行う場合の画像の例を示している。図４の例では、出力装置２００の画像の投影によって、机上の投影面（出力領域９００）に画像が表示されている。具体的には、目標位置の履歴を示す目標画像Ｍ１１１ａ、Ｍ１１１ｂ、Ｍ１１２ａ及びＭ１１２ｂと、対象者ＥＰの手の位置の履歴画像Ｍ１２１ａ及びＭ１２１ｂと、対象者ＥＰの現在の手の位置を示す画像Ｍ１３１ａ及びＭ１３１ｂと、次の目標位置を示す目標画像Ｍ１４１ａ及びＭ１４１ｂとが、それぞれ手の形の画像で示されている。図４では、符号の「ａ」は右手を示し、「ｂ」は左手を示す。例えば、目標画像Ｍ１１１ａは、右手の目標位置の履歴を示す。目標画像Ｍ１１１ｂは、左手の目標位置の履歴を示す。   FIG. 4 is a plan view showing a display example of an image in the rehabilitation support system 1. FIG. 4 shows an example of an image when hand movement rehabilitation is performed using the rehabilitation support system 1. In the example of FIG. 4, the image is displayed on the projection surface (output region 900) on the desk by projecting the image of the output device 200. Specifically, target images M111a, M111b, M112a and M112b indicating the history of the target position, history images M121a and M121b of the position of the hand of the subject EP, and an image M131a indicating the current hand position of the subject EP. And M131b and target images M141a and M141b indicating the next target position are shown as hand-shaped images, respectively. In FIG. 4, the symbol “a” indicates the right hand and “b” indicates the left hand. For example, the target image M111a shows the history of the target position of the right hand. The target image M111b shows the history of the target position of the left hand.

但し、リハビリテーション支援システム１におけるこれらの画像は、体の検出対象部位の形状の画像に限らない。例えば、出力装置２００が、右手の目標位置を赤丸で表示し、左手の目標位置を青丸で表示するなど、体の検出対象部位の形状の画像に代えて丸印を表示するようにしてもよい。   However, these images in the rehabilitation support system 1 are not limited to images of the shape of the body detection target part. For example, the output device 200 may display a circle instead of the image of the shape of the detection target part of the body, such as displaying the target position of the right hand as a red circle and displaying the target position of the left hand as a blue circle. Good.

このように、表示制御部３４２が、出力装置２００を制御してテーブルＴに目標画像および履歴画像を表示させることで、対象者ＥＰが、直感的に自分が目標に対して手を移動させた実績を把握できる。   In this way, the display control unit 342 controls the output device 200 to display the target image and the history image on the table T, so that the subject EP intuitively moves his / her hand relative to the target. Track record.

図３に戻り、本実施形態における動作領域の判定処理の一例について説明を行う。
センサ１００は、対象者ＥＰの手の移動が行われる領域を検出し、リハビリテーション支援制御装置３００の入力部３１が、その検出結果情報を取得する。認識部３４１は、入力部３１が取得した検出結果情報に基づいて、検出結果情報が示す対象物を認識する。動作領域判定部３４３は、認識部３４１による認識結果に基づいて、対象者ＥＰがリハビリテーションを行う動作領域を判定する。 Returning to FIG. 3, an example of the operation region determination process in the present embodiment will be described.
The sensor 100 detects a region where the hand of the subject EP is moved, and the input unit 31 of the rehabilitation support control device 300 acquires the detection result information. The recognition unit 341 recognizes the object indicated by the detection result information based on the detection result information acquired by the input unit 31. The motion region determination unit 343 determines the motion region in which the subject EP performs rehabilitation based on the recognition result by the recognition unit 341.

例えば、認識部３４１が骨格トラッキング機能を有している場合、動作領域判定部３４３は、認識部３４１による認識結果が、対象者ＥＰが手や腕を大きく動かす動作を行ったことを示していれば、動作領域はテーブルＴ（第一動作領域）であると判定する。例えば、センサ１００が、Ｋｉｎｅｃｔ（登録商標）の場合、対象者ＥＰの関節とその位置情報を得ることができる。これを利用して、例えば、対象者ＥＰが、図３に示すようにイスに腰掛けてテーブル上で大きく腕を動かす動作を行う。すると、認識部３４１は、このときに検出された検出結果情報を分析し、対象者ＥＰのどの関節がどの程度動いたかを認識する。また、判定条件情報記憶部３３２には、動作領域「テーブル」と動作部位「手」、「腕」とが対応付けられて設定されている。動作領域判定部３４３は、この認識結果から、対象者ＥＰの手や腕の動作範囲が所定の範囲以上であること及び判定条件情報記憶部３３２の設定情報に基づいて動作領域がテーブルＴであると判定する。   For example, when the recognition unit 341 has a skeleton tracking function, the motion region determination unit 343 indicates that the recognition result by the recognition unit 341 indicates that the subject EP has moved the hand or arm greatly. For example, the operation area is determined to be the table T (first operation area). For example, when the sensor 100 is Kinect (registered trademark), the joint of the subject EP and its position information can be obtained. By using this, for example, the subject person EP sits on a chair as shown in FIG. 3 and moves his arm greatly on the table. Then, the recognition unit 341 analyzes the detection result information detected at this time, and recognizes how much the joint of the subject EP has moved. In the determination condition information storage unit 332, the motion region “table” and the motion parts “hand” and “arm” are set in association with each other. Based on the recognition result, the motion region determination unit 343 determines that the motion region of the subject EP is greater than or equal to a predetermined range and the motion region is the table T based on the setting information in the determination condition information storage unit 332. Is determined.

また、例えば、動作領域判定部３４３は、認識部３４１による認識結果における対象者ＥＰの体の検出範囲に基づいて、検出範囲内に対象者ＥＰの下半身が含まれていなければ、動作領域はテーブルＴであると判定してもよい。例えば、対象者ＥＰが、図３に示すようにイスに腰掛ける。すると、認識部３４１は、このときに検出された検出結果情報を分析し、例えば、検出結果情報が示す対象物の形状から対象者ＥＰの上半身を認識する。また、判定条件情報記憶部３３２には、動作領域「テーブル」と検出範囲「上半身」とが対応付けられて設定されている。動作領域判定部３４３は、この認識結果から、対象者ＥＰの下半身が検出範囲に含まれていないこと及び判定条件情報記憶部３３２の設定情報に基づいて動作領域がテーブルＴであると判定する。   Further, for example, based on the detection range of the body of the subject person EP in the recognition result by the recognition unit 341, the motion area determination unit 343 determines that the motion area is a table if the lower half of the subject person EP is not included in the detection range. You may determine that it is T. For example, the subject person EP sits on a chair as shown in FIG. Then, the recognition unit 341 analyzes the detection result information detected at this time, and recognizes the upper body of the subject EP from the shape of the target indicated by the detection result information, for example. In addition, in the determination condition information storage unit 332, an operation area “table” and a detection range “upper body” are set in association with each other. Based on the recognition result, the motion region determination unit 343 determines that the motion region is the table T on the basis of the fact that the lower half of the subject EP is not included in the detection range and the setting information in the determination condition information storage unit 332.

また、例えば、認識部３４１が骨格トラッキング機能を有している場合、動作領域判定部３４３は、認識結果における対象者ＥＰの頭部の高さに基づいて、頭部の高さが所定の範囲であれば動作領域はテーブルＴであると判定してもよい。例えば、対象者ＥＰの身長を予め判定条件情報記憶部３３２に記録しておく、そして、対象者ＥＰが、図３に示すようにイスに腰掛ける。すると、認識部３４１は、このときに検出された検出結果情報を分析し、頭部の位置情報（座標情報）を認識する。動作領域判定部３４３は、この認識結果から、対象者ＥＰの頭部の高さが判定条件情報記憶部３３２に記録された身長比べ低く、記録された身長を基準とする所定の範囲内に含まれていないことに基づいて動作領域がテーブルＴであると判定する。   For example, when the recognition unit 341 has a skeleton tracking function, the motion region determination unit 343 determines that the height of the head is within a predetermined range based on the height of the head of the subject EP in the recognition result. If so, the operation region may be determined to be the table T. For example, the height of the subject EP is recorded in advance in the determination condition information storage unit 332, and the subject EP sits on a chair as shown in FIG. Then, the recognition unit 341 analyzes the detection result information detected at this time, and recognizes the position information (coordinate information) of the head. Based on the recognition result, the motion region determination unit 343 has a head height of the subject person EP that is lower than the height recorded in the determination condition information storage unit 332 and is included within a predetermined range based on the recorded height. It is determined that the operation area is the table T based on the fact that it is not.

また、例えば、動作領域判定部３４３は、認識結果に基づく動作領域の候補とセンサ１００との距離に応じて動作領域がテーブルＴであると判定してもよい。例えば、センサ１００が、Ｋｉｎｅｃｔ（登録商標）の距離センサの場合、所定の検出範囲に存在する物の所定間隔ごとの座標情報を得ることができる。認識部３４１は、検出結果情報を分析し、所定の広さ以上の面積を有する動かない平面を、壁、フロア、テーブル等と認識する。動作領域判定部３４３は、この認識結果のうち、認識部３４１が認識した平面とセンサ１００の距離に基づいて、又は、平面の広さに基づいて、この平面が所定の条件を満たす場合、平面はテーブルＴであると判定し、センサ１００の検出範囲にテーブルＴが含まれていることに基づいて動作領域がテーブルＴであると判定する。又は、動作領域判定部３４３は、平面の座標情報からその平面の位置する高さに基づいて、平面はテーブルＴであると判定してもよい。なお、平面がテーブルＴであると判定するための距離、広さ、高さ等の閾値は、判定条件情報記憶部３３２に設定されている。   For example, the motion region determination unit 343 may determine that the motion region is the table T according to the distance between the motion region candidate and the sensor 100 based on the recognition result. For example, when the sensor 100 is a Kinect (registered trademark) distance sensor, coordinate information can be obtained for each predetermined interval of an object existing in a predetermined detection range. The recognition unit 341 analyzes the detection result information and recognizes a non-moving plane having an area larger than a predetermined area as a wall, a floor, a table, or the like. When the plane satisfies the predetermined condition based on the distance between the sensor 100 and the plane recognized by the recognition unit 341 or based on the size of the plane, the motion area determination unit 343 Is determined to be the table T, and the operation region is determined to be the table T based on the fact that the table T is included in the detection range of the sensor 100. Alternatively, the motion region determination unit 343 may determine that the plane is the table T based on the coordinate information of the plane based on the height at which the plane is located. Note that threshold values such as distance, width, and height for determining that the plane is the table T are set in the determination condition information storage unit 332.

なお、同様の判定は、Ｋｉｎｅｃｔ（登録商標）の画像センサによる検出結果情報に基づいて行ってもよい。この場合、例えば、認識部３４１が入力部３１を介して画像センサによる検出結果情報（画像）を取得する。また、認識部３４１は、公知の画像認識処理によって、対象者ＥＰによる手や腕の動作を認識したり、対象者ＥＰの体の検出範囲が上半身だけであることを認識したり、対象者ＥＰの頭部の高さを認識したり、画像に含まれる平面部分の高さや広さを認識する。そして、動作領域判定部３４３は、上記の判定条件に基づいて、動作領域がテーブルＴであると判定する。
また、上記の例のうち、Ｋｉｎｅｃｔ（登録商標）が提供する関節の位置情報による判定を、Ｋｉｎｅｃｔ（登録商標）の距離センサによる検出結果情報に基づいて行ってもよい。
また、本実施形態において、出力装置２００によるテーブルＴへの目標画像の出力は必須ではない。例えば、対象者ＥＰは、作業療法士による手の移動を誘導する音声に合わせて、テーブルＴ上で手の移動のリハビリテーションを行ってもよい。 Note that the same determination may be made based on detection result information from a Kinect (registered trademark) image sensor. In this case, for example, the recognition unit 341 acquires detection result information (image) by the image sensor via the input unit 31. The recognizing unit 341 recognizes the movement of the hand or arm by the subject EP by a known image recognition process, recognizes that the detection range of the body of the subject EP is only the upper body, Is recognized, and the height and width of the planar portion included in the image are recognized. Then, the motion region determination unit 343 determines that the motion region is the table T based on the above determination condition.
In the above example, the determination based on the position information of the joint provided by Kinect (registered trademark) may be performed based on the detection result information by the distance sensor of Kinect (registered trademark).
In the present embodiment, the output of the target image to the table T by the output device 200 is not essential. For example, the subject EP may perform rehabilitation of the movement of the hand on the table T in accordance with a voice that guides the movement of the hand by the occupational therapist.

図５は、リハビリテーション支援制御装置３００による第二動作領域を説明するための斜視図である。
図５は、対象者ＥＰがフロアＦＬ（第二動作領域）上で歩行動作のリハビリテーションを行っている様子を示している。出力装置２００は、フロアＦＬに目標画像Ｍ２〜Ｍ５を投影している。対象者ＥＰは、出力装置２００が出力領域９００に出力する目標画像Ｍ２〜Ｍ５に基づいて、歩行動作のリハビリテーションを行う。例えば、対象者ＥＰは、目標画像Ｍ２〜Ｍ５に示されるスタート位置から目標位置まで歩行するリハビリテーションを行う。センサ１００は、対象者ＥＰが検出範囲８００内において対象者ＥＰの足の位置を検出し、検出結果情報を所定の時間毎にリハビリテーション支援制御装置３００に出力する。 FIG. 5 is a perspective view for explaining a second operation region by the rehabilitation support control device 300.
FIG. 5 shows a state in which the subject EP is performing rehabilitation of walking motion on the floor FL (second motion region). The output device 200 projects target images M2 to M5 on the floor FL. The subject EP performs rehabilitation of walking motion based on the target images M2 to M5 output from the output device 200 to the output area 900. For example, the subject person EP performs rehabilitation to walk from the start position shown in the target images M2 to M5 to the target position. The sensor 100 detects the position of the foot of the subject EP within the detection range 800, and outputs the detection result information to the rehabilitation support control device 300 every predetermined time.

図６は、リハビリテーション支援システム１における画像の表示の例を示す平面図である。
図６は、リハビリテーション支援システム１における画像の表示の、もう１つの例を示す図である。図６では、リハビリテーション支援システム１を用いて歩行のリハビリテーションを行う場合の画像の例を示している。図６の例では、出力装置の画像の投影によって、床上の投影面（出力領域９００）に画像が表示されている。具体的には、目標位置の履歴を示す目標画像Ｍ２１１〜Ｍ２１４と、対象者ＥＰの足の位置の履歴画像Ｍ２２１〜Ｍ２２３と、対象者ＥＰの現在の足の位置を示す画像Ｍ２３１と、次の目標位置を示す目標画像Ｍ２４１とが、それぞれ足の形の画像で示されている。 FIG. 6 is a plan view showing an example of image display in the rehabilitation support system 1.
FIG. 6 is a diagram illustrating another example of image display in the rehabilitation support system 1. In FIG. 6, the example of the image in the case of performing rehabilitation of a walk using the rehabilitation assistance system 1 is shown. In the example of FIG. 6, the image is displayed on the projection surface (output area 900) on the floor by projecting the image of the output device. Specifically, target images M211 to M214 indicating the history of the target position, history images M221 to M223 of the foot position of the subject person EP, an image M231 showing the current foot position of the subject person EP, A target image M241 indicating the target position is shown as a foot-shaped image.

図４の例では、右手、左手それぞれの目標位置が表示されていたのに対し、図６の例では、左足の次の目標画像Ｍ２４１が示されているものの、右足の次の目標画像は示されていない。手の移動では、右手と左手とを同時に動かし得るのに対し、歩行では右足と左足とを交互に動かすからである。なお、本実施形態のリハビリテーション支援システム１によれば、足の移動のリハビリテーションとして、歩行（左右の足を交互に踏み出す動作）だけではなく、片足だけを連続して移動させたり、「けんけんぱ」のように両足を同時に移動させたりする足の移動を訓練することも可能である。その場合、出力装置２００は、それぞれの足の移動に応じた目標画像、履歴画像を出力領域９００に出力する。
なお、図４を参照して説明したのと同様、出力装置２００が表示する画像は、足の形の画像に限らない。例えば、出力装置２００が、右足の目標位置を赤丸で表示し、左足の目標位置を青丸で表示するなど、足の形の画像に代えて丸印を表示するようにしてもよい。また上記の実施形態とは逆に、左右の足の目標画像を片方ずつ表示するのではなく、常に先行して左右の足の目標画像を共に表示するようにしてもよい。また現在の足の位置画像と過去の足の位置の履歴画像で異なる表示とすることも可能である。例えば現在の足の位置画像は円、方形などの図形で表示し、過去の左右の足の履歴画像は「足あと」の図形で表示してもよい。 In the example of FIG. 4, the target positions of the right hand and the left hand are displayed. In the example of FIG. 6, the next target image M241 of the left foot is shown, but the next target image of the right foot is shown. It has not been. This is because the right hand and the left hand can be moved simultaneously in hand movement, whereas the right and left legs are alternately moved in walking. According to the rehabilitation support system 1 of the present embodiment, as a rehabilitation of the movement of the foot, not only walking (the operation of stepping on the left and right feet alternately), but also moving only one foot continuously, “Kenkopa” It is also possible to train the movement of the foot that moves both feet at the same time. In that case, the output device 200 outputs a target image and a history image corresponding to the movement of each foot to the output area 900.
Note that, as described with reference to FIG. 4, the image displayed by the output device 200 is not limited to a foot-shaped image. For example, the output device 200 may display a circle instead of the foot-shaped image, such as displaying the target position of the right foot with a red circle and displaying the target position of the left foot with a blue circle. In contrast to the above embodiment, the left and right foot target images are not displayed one by one, but the left and right foot target images may always be displayed together. It is also possible to display differently between the current foot position image and the past foot position history image. For example, the current foot position image may be displayed as a graphic such as a circle or a rectangle, and the past left and right foot history images may be displayed as a “footstep” graphic.

このように、表示制御部３４２が、出力装置２００を制御してフロアＦＬに目標画像および履歴画像を表示させることで、対象者ＥＰが、直感的に自分が目標に対して足を移動させた実績を把握できる。   In this manner, the display control unit 342 controls the output device 200 to display the target image and the history image on the floor FL, so that the subject EP intuitively moves his / her foot relative to the target. Track record.

図５に戻り、本実施形態における動作領域の判定処理の一例について説明を行う。センサ１００は、対象者ＥＰの歩行動作が行われる領域を検出し、リハビリテーション支援制御装置３００の入力部３１が、その検出結果情報を取得する。認識部３４１は、入力部３１が取得した検出結果情報に基づいて、検出結果情報が示す対象物を認識する。動作領域判定部３４３は、認識部３４１による認識結果に基づいて、対象者ＥＰがリハビリテーションを行う動作領域を判定する。   Returning to FIG. 5, an example of the operation region determination process in the present embodiment will be described. The sensor 100 detects an area where the walking motion of the subject EP is performed, and the input unit 31 of the rehabilitation support control device 300 acquires the detection result information. The recognition unit 341 recognizes the object indicated by the detection result information based on the detection result information acquired by the input unit 31. The motion region determination unit 343 determines the motion region in which the subject EP performs rehabilitation based on the recognition result by the recognition unit 341.

例えば、認識部３４１が骨格トラッキング機能を有している場合、動作領域判定部３４３は、認識部３４１による認識結果が、対象者ＥＰの動作が足を大きく動かしていることを示していれば、動作領域はフロア（第二動作領域）であると判定する。例えば、対象者ＥＰが、フロアＦＬで歩行動作を行う。すると、認識部３４１は、このときに検出された検出結果情報を分析し、対象者ＥＰのどの関節がどの程度動いたかを認識する。また、判定条件情報記憶部３３２には、動作領域「フロア」と動作部位「足」とが対応付けられて設定されている。動作領域判定部３４３は、この認識結果から、対象者ＥＰの足の移動範囲が所定の範囲以上であること及び判定条件情報記憶部３３２の設定情報に基づいて動作領域がフロアＦＬであると判定する。   For example, when the recognition unit 341 has a skeleton tracking function, the motion region determination unit 343 indicates that the recognition result by the recognition unit 341 indicates that the motion of the subject EP is moving his / her foot greatly. It is determined that the operation area is a floor (second operation area). For example, the subject person EP performs a walking motion on the floor FL. Then, the recognition unit 341 analyzes the detection result information detected at this time, and recognizes how much the joint of the subject EP has moved. In the determination condition information storage unit 332, the motion area “floor” and the motion part “foot” are set in association with each other. Based on the recognition result, the motion region determination unit 343 determines that the motion region is the floor FL based on the movement range of the foot of the subject EP being a predetermined range or more and the setting information in the determination condition information storage unit 332. To do.

また、例えば、動作領域判定部３４３は、認識部３４１による認識結果における対象者ＥＰの体の検出範囲に基づいて、検出範囲内に対象者ＥＰの全身が含まれていれば、動作領域はフロアＦＬであると判定してもよい。例えば、対象者ＥＰが、フロアＦＬに立つ。認識部３４１は、このときに検出された検出結果情報を分析し、例えば、検出結果情報が示す対象物の形状から対象者ＥＰの全身を認識する。また、判定条件情報記憶部３３２には、動作領域「フロア」と検出範囲「全身」とが対応付けられて設定されている。動作領域判定部３４３は、この認識結果及び判定条件情報記憶部３３２の設定情報から、対象者ＥＰの全身が検出範囲に含まれていることに基づいて動作領域がフロアＦＬであると判定する。又は、動作領域判定部３４３は、対象者ＥＰの脚部が検出範囲内に含まれていることに基づいて動作領域がフロアＦＬであると判定してもよい。   Further, for example, based on the detection range of the body of the subject person EP in the recognition result by the recognition unit 341, the motion area determination unit 343 determines that the motion area is the floor if the whole body of the subject person EP is included in the detection range. You may determine that it is FL. For example, the subject person EP stands on the floor FL. The recognition unit 341 analyzes the detection result information detected at this time, and recognizes, for example, the whole body of the subject EP from the shape of the target indicated by the detection result information. In addition, in the determination condition information storage unit 332, an operation area “floor” and a detection range “whole body” are set in association with each other. The motion region determination unit 343 determines that the motion region is the floor FL based on the recognition result and the setting information stored in the determination condition information storage unit 332 based on the fact that the whole body of the subject person EP is included in the detection range. Alternatively, the motion region determination unit 343 may determine that the motion region is the floor FL based on the fact that the leg of the subject EP is included in the detection range.

また、例えば、認識部３４１が骨格トラッキング機能を有している場合、動作領域判定部３４３は、認識部３４１による認識結果が示す対象者ＥＰの頭部の高さに基づいて、頭部の高さが所定の高さ以上であれば動作領域はフロアＦＬであると判定してもよい。例えば、対象者ＥＰの身長を予め判定条件情報記憶部３３２に記録しておく、そして、対象者ＥＰは、フロアＦＬに立つ。すると、認識部３４１は、このとき検出された検出結果情報を分析し、対象者ＥＰの頭部の高さを計算する。動作領域判定部３４３は、この認識結果から、対象者ＥＰの頭部の高さが判定条件情報記憶部３３２に記録された身長を基準とする所定の範囲内に含まれていることに基づいて動作領域がフロアＦＬであると判定する。   For example, when the recognition unit 341 has a skeleton tracking function, the motion region determination unit 343 determines the height of the head based on the height of the head of the subject EP indicated by the recognition result by the recognition unit 341. If the height is greater than or equal to a predetermined height, the operation region may be determined to be the floor FL. For example, the height of the subject EP is recorded in advance in the determination condition information storage unit 332, and the subject EP stands on the floor FL. Then, the recognition unit 341 analyzes the detection result information detected at this time, and calculates the height of the head of the subject person EP. Based on the recognition result, the motion region determination unit 343 is based on the fact that the height of the head of the subject EP is included in a predetermined range based on the height recorded in the determination condition information storage unit 332. It is determined that the operation area is the floor FL.

また、例えば、動作領域判定部３４３は、認識結果に基づく動作領域の候補とセンサ１００との距離に応じて動作領域がフロアであると判定してもよい。認識部３４１は、検出結果情報を分析し、壁、フロア、テーブル等の平面を認識する。動作領域判定部３４３は、この認識結果のうち、認識部３４１が認識した平面とセンサ１００との相対的な距離に基づいて、その距離が所定の長さ以上であれば、その平面はフロアＦＬであって、動作領域がフロアＦＬであると判定する。又は、認識部３４１は、平面の広さを認識し、動作領域判定部３４３は、所定の検出範囲にテーブルに相当する平面が存在しないことに基づいて動作領域がフロアＦＬであると判定してもよい。又は、動作領域判定部３４３は、平面の座標情報からその平面の位置する高さに基づいて、平面はフロアＦＬであると判定してもよい。なお、平面をフロアＦＬであると判定するための距離、広さ、高さ等の閾値は、判定条件情報記憶部３３２に設定されている。   Further, for example, the motion region determination unit 343 may determine that the motion region is a floor according to the distance between the motion region candidate and the sensor 100 based on the recognition result. The recognition unit 341 analyzes the detection result information and recognizes a plane such as a wall, a floor, or a table. Based on the relative distance between the plane recognized by the recognition unit 341 and the sensor 100 among the recognition results, the motion region determination unit 343 determines that the plane is the floor FL. Then, it is determined that the operation area is the floor FL. Alternatively, the recognition unit 341 recognizes the width of the plane, and the motion region determination unit 343 determines that the motion region is the floor FL based on the fact that there is no plane corresponding to the table in the predetermined detection range. Also good. Alternatively, the motion region determination unit 343 may determine that the plane is the floor FL based on the coordinate information of the plane based on the height at which the plane is located. Note that thresholds such as distance, width, and height for determining that the plane is the floor FL are set in the determination condition information storage unit 332.

なお、動作領域がテーブルであると判定する場合と同様、動作領域判定部３４３による判定は、画像センサによる検出結果情報に基づいて行ってもよい。この場合、例えば、認識部３４１は、公知の画像認識処理によって、対象者ＥＰによる足の移動を認識したり、対象者ＥＰの体の検出範囲が全身であることを認識したり、対象者ＥＰの頭部の高さを認識したり、画像に含まれる平面部分の高さや広さを認識する。そして、動作領域判定部３４３は、上記の判定条件に基づいて、動作領域がフロアＦＬであると判定する。
また、本実施形態において、出力装置２００によるフロアＦＬへの目標画像の出力は必須ではない。例えば、対象者ＥＰは、例えば、理学療法士による歩行動作の指示に合わせて、フロアＦＬ上で歩行動作を行ってもよい。 Note that, similarly to the case where it is determined that the motion region is a table, the determination by the motion region determination unit 343 may be performed based on detection result information from the image sensor. In this case, for example, the recognition unit 341 recognizes the movement of the foot by the subject person EP, recognizes that the detection range of the body of the subject person EP is the whole body, or the subject person EP by a known image recognition process. Is recognized, and the height and width of the planar portion included in the image are recognized. Then, the motion region determination unit 343 determines that the motion region is the floor FL based on the above determination condition.
In the present embodiment, the output of the target image to the floor FL by the output device 200 is not essential. For example, the subject EP may perform a walking motion on the floor FL in accordance with, for example, a walking motion instruction from a physical therapist.

次に図７を用いて、対象者のリハビリテーション検出対象情報の検出および記録処理の流れについて説明する。
図７は、リハビリテーション支援制御装置３００による動作領域の判定処理の一例を示すフローチャートである。
まず、理学療法士又は作業療法士がこれから行おうとするリハビリテーション内容に応じて、対象者ＥＰがリハビリテーションを行う環境にリハビリテーション支援システム１を移動させる。また、脚部３１０の高さを適切に調節する。次に、対象者ＥＰが、検出範囲８００で、これから行うリハビリテーション内容に応じた姿勢を取る。例えば、テーブル上での腕のリハビリテーションを行う場合であれば、対象者ＥＰは椅子に座ってテーブル上に手を置く姿勢を取る。また、例えば、歩行動作のリハビリテーションを行う場合、対象者ＥＰは起立した姿勢を取る。対象者ＥＰがこれらの姿勢を取ると、理学療法士等がリハビリテーション支援制御装置３００に準備開始指示情報を入力する。操作部３５は、その準備開始指示情報を取得する（ステップＳ１０）。なお、理学療法士等がリハビリテーション支援制御装置３００に準備開始指示情報を入力した後に、対象者ＥＰが、検出範囲８００で、これから行うリハビリテーション内容に応じた姿勢を取っても良い。 Next, the flow of the detection and recording process of the rehabilitation detection target information of the subject will be described with reference to FIG.
FIG. 7 is a flowchart illustrating an example of a motion region determination process performed by the rehabilitation support control device 300.
First, the rehabilitation support system 1 is moved to an environment where the subject person EP performs rehabilitation according to the rehabilitation content that the physical therapist or occupational therapist intends to perform. Moreover, the height of the leg part 310 is adjusted appropriately. Next, the subject person EP takes a posture corresponding to the content of rehabilitation to be performed in the detection range 800. For example, in the case of performing arm rehabilitation on a table, the subject EP takes a posture of sitting on a chair and placing a hand on the table. Further, for example, when performing rehabilitation of walking motion, the subject EP takes a standing posture. When the subject person EP takes these postures, a physical therapist or the like inputs preparation start instruction information to the rehabilitation support control device 300. The operation unit 35 acquires the preparation start instruction information (step S10). In addition, after a physical therapist or the like inputs preparation start instruction information to the rehabilitation support control device 300, the subject EP may take an attitude corresponding to the content of rehabilitation to be performed in the detection range 800.

すると、センサ１００が検出を開始し、入力部３１は、検出結果情報を取得する（ステップＳ１１）。入力部３１は、検出結果情報を制御部３４へ出力する。制御部３４では、認識部３４１が検出結果情報を取得し、対象者ＥＰの動作を認識する。あるいは、認識部３４１は、検出範囲８００に存在するテーブル、フロア等を認識する。認識部３４１は、認識結果を動作領域判定部３４３へ出力する。   Then, the sensor 100 starts detection, and the input unit 31 acquires detection result information (step S11). The input unit 31 outputs detection result information to the control unit 34. In the control unit 34, the recognition unit 341 acquires the detection result information and recognizes the operation of the subject person EP. Alternatively, the recognizing unit 341 recognizes a table, floor, etc. existing in the detection range 800. The recognition unit 341 outputs the recognition result to the motion region determination unit 343.

次に動作領域判定部３４３は、図３及び図５を用いて説明した方法によって動作領域を判定する（ステップＳ１２）。例えば、動作領域判定部３４３は、認識部３４１による認識結果が、対象者ＥＰの全身を認識したことを示していれば、動作領域はフロアＦＬであると判定してもよい。また、例えば、動作領域判定部３４３は、認識結果がテーブルＴの存在を示していれば、動作領域はテーブルＴであると判定してもよい。動作領域判定部３４３は、この他にも、上述した様々な判定方法を用いて動作領域の判定を行うことができる。次に動作領域判定部３４３は、動作領域はフロアＦＬかどうかを判定する（ステップＳ１３）。動作領域がフロアＦＬの場合（ステップＳ１３；Ｙｅｓ）、動作領域判定部３４３は、検出対象部位を対象者ＥＰの足（例えば、足首又はつま先）に設定する（ステップＳ１７）。動作領域判定部３４３が、検出対象部位を対象者ＥＰの足に設定すると、次に足用表示パラメータ設定部３４７は、足を移動させるリハビリテーションにおける足用表示パラメータを設定する（ステップＳ１８）。足用表示パラメータは、対象者ＥＰが足を移動させるときの目標画像の表示に用いられるパラメータである。   Next, the motion region determination unit 343 determines the motion region by the method described with reference to FIGS. 3 and 5 (step S12). For example, the motion region determination unit 343 may determine that the motion region is the floor FL if the recognition result by the recognition unit 341 indicates that the whole body of the subject person EP is recognized. For example, the motion region determination unit 343 may determine that the motion region is the table T if the recognition result indicates the presence of the table T. In addition to this, the motion region determination unit 343 can determine the motion region using the various determination methods described above. Next, the motion area determination unit 343 determines whether the motion area is the floor FL (step S13). When the motion region is the floor FL (step S13; Yes), the motion region determination unit 343 sets the detection target part to the foot (for example, ankle or toe) of the subject EP (step S17). When the motion region determination unit 343 sets the detection target part to the foot of the subject EP, the foot display parameter setting unit 347 next sets the foot display parameter in the rehabilitation for moving the foot (step S18). The foot display parameter is a parameter used for displaying the target image when the subject EP moves his / her foot.

足用表示パラメータには、例えば、足用距離パラメータ、足用時間パラメータ、足用ベクトルパラメータなどが含まれる。足用距離パラメータには、例えば、目標画像が示す歩幅を決定するために用いられるパラメータ（図１０に示すステップの値）、目標画像が示すスタンス（歩隔を含む）を決定するために用いられるパラメータ（図１０に示す歩隔）などが含まれている。スタンスとは、対象者の前方（例えば体の前面や顔面が向く方向や進行予定の方向）に伸びる２本の平行線であって対象者の２つの脚の所定部位（例えば踵や親指の先端）をそれぞれ通る平行線の距離を表す。また、足用時間パラメータには、例えば、目標画像が表示されリハビリテーションが行われる総時間を示すパラメータ、現在表示されている目標画像が表示されてから目標画像が表示される次のタイミングまでの時間を示すパラメータなどが含まれている。また、足用ベクトルパラメータには、例えば、現在表示されている目標画像を基準とした次のタイミングに表示される目標画像の表示方向を決定するために用いられるパラメータなどが含まれる。足用表示パラメータ設定部３４７は、指定された足用距離パラメータ、足用時間パラメータ、足用ベクトルパラメータなどをパラメータ情報記憶部３３４に記録する。これらのパラメータを設定することにより、例えば、図６に例示したような足型の目標画像を対象者ＥＰのリハビリテーションの内容に応じて表示することができる。   The foot display parameters include, for example, foot distance parameters, foot time parameters, foot vector parameters, and the like. For the foot distance parameter, for example, a parameter (step value shown in FIG. 10) used to determine the stride indicated by the target image and a stance (including a step) indicated by the target image are used. Parameters (steps shown in FIG. 10) and the like are included. A stance is two parallel lines that extend in front of the subject (for example, the front or face of the body or the direction in which the subject is scheduled to travel), and a predetermined part of the subject's two legs (eg, the tip of a heel or thumb) ) Represents the distance of the parallel lines passing through each of them. The foot time parameter includes, for example, a parameter indicating the total time during which the target image is displayed and rehabilitation is performed, and the time from when the currently displayed target image is displayed until the next timing at which the target image is displayed. The parameter which shows is included. In addition, the foot vector parameters include, for example, parameters used for determining the display direction of the target image displayed at the next timing with reference to the currently displayed target image. The foot display parameter setting unit 347 records the specified foot distance parameter, foot time parameter, foot vector parameter, and the like in the parameter information storage unit 334. By setting these parameters, for example, a foot-shaped target image as illustrated in FIG. 6 can be displayed according to the content of the rehabilitation of the subject EP.

この他にも、例えば、足用表示パラメータ設定部３４７は、目標画像が、対象者ＥＰが歩行するときの回避目標となるリハビリテーションの場合に、操作部３５から入力された情報に応じて、足用表示パラメータを設定する。目標画像が、対象者ＥＰが歩行するときの回避目標となるリハビリテーションとは、例えば、図１１に示すように、リハビリテーション支援制御装置３００が、対象者ＥＰが横断歩道を歩行するときに回避目標となる自動車の形状をした目標画像を映し出し、対象者ＥＰが目標画像を回避するリハビリテーションである。   In addition to this, for example, when the target image is a rehabilitation that is an avoidance target when the target person EP walks, the foot display parameter setting unit 347 determines whether the foot image is displayed in accordance with information input from the operation unit 35. Set display parameters. For example, as shown in FIG. 11, the rehabilitation support control device 300 is an avoidance target when the target person EP walks on a pedestrian crossing. In this rehabilitation, a target image in the shape of a car is projected and the target person EP avoids the target image.

足用表示パラメータ設定部３４７が足用表示パラメータを設定すると、次に外乱用表示パラメータ設定部３４９は、足の外乱用表示パラメータを設定する（ステップＳ１９）。例えば、リハビリテーション支援制御装置３００が専用アプリケーションを実行し、理学療法士等がリハビリテーション支援制御装置３００に対して種々の情報を入力する。外乱用表示パラメータ設定部３４９は、目標画像が、対象者ＥＰが歩行するときの足の移動目標となるリハビリテーションの場合に、リハビリテーション支援制御装置３００に入力された情報に応じて、外乱用表示パラメータを設定する。
外乱用表示パラメータは、例えば、図１２で示したように、リハビリテーション支援制御装置３００が、対象者ＥＰが横断歩道を歩行するときに、リハビリテーションの対象者ＥＰが足を所定の目標画像まで移動させる妨げとなる自動車の形状をした外乱を画像として映し出すために用いられるパラメータである。 When the foot display parameter setting unit 347 sets the foot display parameter, the disturbance display parameter setting unit 349 next sets the foot disturbance display parameter (step S19). For example, the rehabilitation support control device 300 executes a dedicated application, and a physical therapist or the like inputs various information to the rehabilitation support control device 300. The disturbance display parameter setting unit 349 displays a disturbance display parameter according to information input to the rehabilitation support control device 300 when the target image is rehabilitation that is a target for moving the foot when the subject EP walks. Set.
For example, as shown in FIG. 12, when the rehabilitation support control device 300 walks the crossing crosswalk, the rehabilitation support control device 300 causes the rehabilitation target EP to move the foot to a predetermined target image. It is a parameter used to project a disturbance in the shape of a hindering automobile as an image.

足の外乱用表示パラメータには、例えば、外乱用距離パラメータ、外乱用時間パラメータ、外乱用ベクトルパラメータなどが含まれる。外乱用距離パラメータには、例えば、現在表示されている外乱から次のタイミングに表示される外乱までの距離を決定するために用いられるパラメータなどが含まれる。また、外乱用時間パラメータには、例えば、現在表示されている外乱が現在と異なる位置に表示されるまでの時間を示すパラメータなどが含まれる。また、外乱用ベクトルパラメータには、例えば、現在表示されている外乱を基準とした次のタイミングに表示される外乱の表示方向を決定するために用いられるパラメータが含まれる。外乱用表示パラメータ設定部３４９は、指定された外乱用距離パラメータ、外乱用時間パラメータ、外乱用ベクトルパラメータなどをパラメータ情報記憶部３３４に記録する。   The foot disturbance display parameters include, for example, a disturbance distance parameter, a disturbance time parameter, a disturbance vector parameter, and the like. The distance parameter for disturbance includes, for example, a parameter used for determining the distance from the currently displayed disturbance to the disturbance displayed at the next timing. Further, the disturbance time parameter includes, for example, a parameter indicating a time until the currently displayed disturbance is displayed at a position different from the current position. Further, the disturbance vector parameters include, for example, parameters used for determining the display direction of the disturbance displayed at the next timing based on the currently displayed disturbance. The disturbance display parameter setting unit 349 records the specified disturbance distance parameter, disturbance time parameter, disturbance vector parameter, and the like in the parameter information storage unit 334.

一方、動作領域がフロアＦＬではない場合（ステップＳ１３；Ｎｏ）。動作領域判定部３４３は、検出対象部位を手（例えば、手の甲又は指先）に設定する（ステップＳ１４）。動作領域判定部３４３は、検出対象部位の情報を認識部３４１へ出力する。また、動作領域判定部３４３は、動作領域を、表示制御部３４２へ出力する。動作領域判定部３４３が、検出対象部位を対象者ＥＰの手に設定すると、次に手用表示パラメータ設定部３４８は、手用表示パラメータを設定する（ステップＳ１５）。例えば、リハビリテーション支援制御装置３００が専用アプリケーションを実行し、作業療法士等がリハビリテーション支援制御装置３００に対して種々の情報を入力する。手用表示パラメータ設定部３４８は、目標画像が、対象者ＥＰが手を動かすときの手の移動目標となるリハビリテーションの場合に、リハビリテーション支援制御装置３００から入力された情報に応じて、手用表示パラメータを設定する。
目標画像が、対象者ＥＰが手を動かすときの手の移動目標となるリハビリテーションとは、例えば、図８に示すように、リハビリテーション支援制御装置３００が、対象者ＥＰが手を動かすときの手の移動目標となるリンゴの形状をした目標画像を映し出し、対象者ＥＰが目標画像の位置に手を移動させるリハビリテーションである。 On the other hand, when the operation region is not the floor FL (step S13; No). The motion region determination unit 343 sets the detection target part to the hand (for example, the back of the hand or the fingertip) (step S14). The motion region determination unit 343 outputs information on the detection target part to the recognition unit 341. In addition, the motion region determination unit 343 outputs the motion region to the display control unit 342. When the motion region determination unit 343 sets the detection target part in the hand of the subject EP, the hand display parameter setting unit 348 next sets the hand display parameter (step S15). For example, the rehabilitation support control device 300 executes a dedicated application, and an occupational therapist or the like inputs various information to the rehabilitation support control device 300. The hand display parameter setting unit 348 displays the hand image according to the information input from the rehabilitation support control device 300 when the target image is a rehabilitation that is a movement target of the hand when the subject EP moves the hand. Set the parameters.
For example, as shown in FIG. 8, the rehabilitation support control device 300 is a rehabilitation support control device 300 that moves the hand when the target person EP moves the hand. This is a rehabilitation in which a target image in the shape of an apple serving as a moving target is projected and the subject EP moves his hand to the position of the target image.

手用表示パラメータには、例えば、手用位置パラメータ、手用時間パラメータ、手用ベクトルパラメータなどが含まれる。手用位置パラメータには、例えば、目標画像が表示されるエリアを決定するために用いられるパラメータなどが含まれる。手用時間パラメータには、現在表示されている目標画像が現在と異なる位置に表示されるまでの時間を示す時間パラメータなどが含まれる。手用ベクトルパラメータには、現在表示されている目標画像を基準とした次のタイミングに表示される目標画像の表示方向を決定するために用いられるパラメータなどが含まれる。手用表示パラメータ設定部３４８は、指定された手用距離パラメータ、手用時間パラメータ、手用ベクトルパラメータなどをパラメータ情報記憶部３３４に記録する。これらのパラメータを設定することにより、例えば、図４に例示したような目標画像を、対象者ＥＰのリハビリテーションの内容に応じて表示することができる。   The hand display parameters include, for example, hand position parameters, hand time parameters, hand vector parameters, and the like. The hand position parameter includes, for example, a parameter used for determining an area where the target image is displayed. The manual time parameter includes a time parameter indicating a time until the currently displayed target image is displayed at a position different from the current one. The hand vector parameters include parameters used for determining the display direction of the target image displayed at the next timing with reference to the currently displayed target image. The hand display parameter setting unit 348 records the designated hand distance parameter, hand time parameter, hand vector parameter, and the like in the parameter information storage unit 334. By setting these parameters, for example, the target image illustrated in FIG. 4 can be displayed according to the content of the rehabilitation of the subject person EP.

手用表示パラメータ設定部３４８が手用表示パラメータを設定すると、外乱用表示パラメータ設定部３４９は、手の外乱用表示パラメータを設定する（ステップＳ１６）。
例えば、リハビリテーション支援制御装置３００が専用アプリケーションを実行し、作業療法士等がリハビリテーション支援制御装置３００に対して種々の情報を入力する。外乱用表示パラメータ設定部３４９は、目標画像が、対象者ＥＰが手を動かすときの手の移動目標となるリハビリテーションの場合に、リハビリテーション支援制御装置３００に入力された情報に応じて、外乱用表示パラメータを設定する。
手の外乱用表示パラメータは、例えば、図９に示すように、リハビリテーション支援制御装置３００が、対象者ＥＰが選択したキャラクターである目標画像の位置に手を動かすときに、手の移動の妨げとなる選択してはいけないキャラクターである外乱を画像として映し出すために用いられるパラメータである。 When the hand display parameter setting unit 348 sets the hand display parameter, the disturbance display parameter setting unit 349 sets the hand disturbance display parameter (step S16).
For example, the rehabilitation support control device 300 executes a dedicated application, and an occupational therapist or the like inputs various information to the rehabilitation support control device 300. The disturbance display parameter setting unit 349 displays the disturbance display according to the information input to the rehabilitation support control device 300 when the target image is rehabilitation that is a movement target of the hand when the subject EP moves the hand. Set the parameters.
For example, as shown in FIG. 9, when the rehabilitation support control apparatus 300 moves the hand to the position of the target image that is the character selected by the subject EP, the hand disturbance display parameter is This is a parameter used to project a disturbance that is a character that should not be selected as an image.

手の外乱用表示パラメータには、例えば、外乱用距離パラメータ、外乱用時間パラメータ、外乱用ベクトルパラメータなどが含まれる。外乱用距離パラメータには、例えば、現在表示されている外乱から次のタイミングに表示される外乱までの距離を決定するために用いられるパラメータなどが含まれる。また、外乱用時間パラメータには、例えば、現在表示されている外乱が現在と異なる位置に表示されるまでの時間を示すパラメータなどが含まれる。また、外乱用ベクトルパラメータには、例えば、現在表示されている外乱を基準とした次のタイミングに表示される外乱の表示方向を決定するために用いられるパラメータが含まれる。外乱用表示パラメータ設定部３４９は、指定された外乱用距離パラメータ、外乱用時間パラメータ、外乱用ベクトルパラメータなどをパラメータ情報記憶部３３４に記録する。以上で実際のリハビリテーションの準備処理が完了する。次に対象者ＥＰが、準備処理において判定した動作領域でのリハビリテーションを開始する。   The hand disturbance display parameters include, for example, a disturbance distance parameter, a disturbance time parameter, a disturbance vector parameter, and the like. The distance parameter for disturbance includes, for example, a parameter used for determining the distance from the currently displayed disturbance to the disturbance displayed at the next timing. Further, the disturbance time parameter includes, for example, a parameter indicating a time until the currently displayed disturbance is displayed at a position different from the current position. Further, the disturbance vector parameters include, for example, parameters used for determining the display direction of the disturbance displayed at the next timing based on the currently displayed disturbance. The disturbance display parameter setting unit 349 records the specified disturbance distance parameter, disturbance time parameter, disturbance vector parameter, and the like in the parameter information storage unit 334. This completes the actual rehabilitation preparation process. Next, the subject person EP starts rehabilitation in the motion region determined in the preparation process.

次に図１３を用いて、リハビリテーション中の対象者ＥＰの認識処理について説明する。
図１３は、リハビリテーション支援制御装置３００による対象者ＥＰの認識処理の一例を示すフローチャートである。
リハビリテーションを行う対象者ＥＰが検出範囲８００に入ってリハビリテーションを開始する。また、理学療法士等は、対象者ＥＰの氏名、性別、身長等と共に、リハビリーション開始指示情報をリハビリテーション支援制御装置３００に入力する。すると、操作部３５がリハビリテーション開始指示情報を取得する（ステップＳ２０）。次に、表示制御部３４２は、動作領域に応じた目標画像を生成する。例えば、動作領域がフロアＦＬの場合、表示制御部３４２は、足型を表示した目標画像を生成する。また、目標決定部３４５は、その目標画像を表示する位置の座標情報を計算する。目標画像を表示する位置は、ステップＳ１８で設定した足用表示パラメータに応じて変化させてもよい。また、動作領域がテーブルの場合、表示制御部３４２は、対象者ＥＰが手でタッチする対象となるターゲットを表示した目標画像を生成する。また、目標決定部３４５は、その表示位置の座標情報を計算する。出力部３２は、これらの情報（目標画像と表示位置）を取得し、出力装置２００に出力指示を行う。出力装置２００は、出力部３２の指示に従って、表示制御部３４２が生成した目標画像を出力領域９００に表示する（ステップＳ２１）。このように、出力装置２００が動作領域に目標画像を表示すると、対象者ＥＰは、その表示位置に検出対象部位に関連する体の部位を移動させる動作を行う。例えば、足型の目標画像が表示された場合、対象者ＥＰは、足型が表示された位置に足を移動させる。また、例えば、テーブル上にターゲットの目標画像が表示された場合、対象者ＥＰは、目標画像が表示された位置に手を移動させ、テーブルにタッチする。
センサ１００は、対象者ＥＰの動作を検出し続け、リハビリテーション支援制御装置３００へ出力する。リハビリテーション支援制御装置３００では、入力部３１が検出結果情報を取得し（ステップＳ２２）、検出結果情報を、制御部３４へ出力する。 Next, the recognition process of the subject person EP during the rehabilitation will be described with reference to FIG.
FIG. 13 is a flowchart illustrating an example of recognition processing of the subject person EP by the rehabilitation support control device 300.
The subject EP to be rehabilitated enters the detection range 800 and starts rehabilitation. In addition, the physical therapist or the like inputs rehabilitation start instruction information to the rehabilitation support control device 300 together with the name, gender, height, and the like of the subject EP. Then, the operation part 35 acquires rehabilitation start instruction information (step S20). Next, the display control unit 342 generates a target image corresponding to the operation area. For example, when the operation area is the floor FL, the display control unit 342 generates a target image displaying a foot shape. In addition, the target determination unit 345 calculates coordinate information of a position where the target image is displayed. The position for displaying the target image may be changed according to the foot display parameter set in step S18. When the operation area is a table, the display control unit 342 generates a target image that displays a target to be touched by the subject person EP by hand. Further, the target determining unit 345 calculates coordinate information of the display position. The output unit 32 acquires the information (target image and display position) and instructs the output device 200 to output the information. The output device 200 displays the target image generated by the display control unit 342 in the output area 900 according to the instruction of the output unit 32 (step S21). Thus, when the output device 200 displays the target image in the operation area, the subject person EP performs an operation of moving the body part related to the detection target part to the display position. For example, when a foot-shaped target image is displayed, the subject EP moves the foot to the position where the foot shape is displayed. For example, when the target image of the target is displayed on the table, the target person EP moves the hand to the position where the target image is displayed and touches the table.
The sensor 100 continues to detect the motion of the subject EP and outputs it to the rehabilitation support control device 300. In the rehabilitation support control apparatus 300, the input unit 31 acquires detection result information (step S22), and outputs the detection result information to the control unit 34.

制御部３４では、認識部３４１が検出結果情報を取得する。認識部３４１は、検出結果情報を取得すると、その中から検出対象部位のデータを選択する。例えば、Ｋｉｎｅｃｔ（登録商標）を利用した場合、認識部３４１は、検出結果情報として、対象者ＥＰの複数の部位についての位置情報を取得する。認識部３４１は、その中から、動作領域判定部３４３が決定した検出対象部位の位置情報を選択する。例えば、動作領域判定部３４３が決定した検出対象部位が足（動作領域がフロア）の場合、認識部３４１は、検出結果情報の中から足（例えば、足首）の位置情報を選択する。また、例えば、動作領域判定部３４３が決定した検出対象部位が手（動作領域がテーブル）の場合、認識部３４１は、検出結果情報の中から手（例えば、手の甲）の位置情報を選択する。認識部３４１は、選択した検出対象部位とその位置情報を記録部３４４へ出力する。記録部３４４は、検出対象部位の検出結果情報を検出履歴情報記憶部３３３へ記録する（ステップＳ２３）。このように、認識部３４１は、検出結果情報に対象者ＥＰの動作に関する全身のデータが含まれている場合でも、検出結果情報に含まれるデータのうち、どのデータが動作領域に関連する検出対象部位のデータであるかを認識し、そのデータを選択する。そして、記録部３４４は、選択された検出対象部位の検出結果情報（位置情報）だけを記録する。   In the control unit 34, the recognition unit 341 acquires detection result information. When the recognition unit 341 acquires the detection result information, the recognition unit 341 selects data of the detection target part from the information. For example, when Kinect (registered trademark) is used, the recognition unit 341 acquires position information about a plurality of parts of the subject person EP as detection result information. The recognition unit 341 selects position information of the detection target part determined by the motion region determination unit 343 from the recognition unit 341. For example, when the detection target part determined by the motion region determination unit 343 is a foot (the motion region is a floor), the recognition unit 341 selects position information of the foot (for example, ankle) from the detection result information. Further, for example, when the detection target part determined by the motion region determination unit 343 is a hand (motion region is a table), the recognition unit 341 selects position information of the hand (for example, the back of the hand) from the detection result information. The recognition unit 341 outputs the selected detection target part and its position information to the recording unit 344. The recording unit 344 records the detection result information of the detection target part in the detection history information storage unit 333 (step S23). As described above, the recognition unit 341 can detect which data among the data included in the detection result information is related to the motion region even if the detection result information includes the whole body data related to the motion of the subject EP. Recognize whether it is part data and select that data. Then, the recording unit 344 records only the detection result information (position information) of the selected detection target part.

次に、表示制御部３４２は、履歴画像を生成し出力部３２へ出力する。出力装置２００は、出力部３２の指示に従って、履歴画像を出力領域９００に表示する（ステップＳ２４）。
次に、制御部３４は、検出処理を終了するかどうかを判定する（ステップＳ２５）。例えば、理学療法士等がリハビリテーション終了指示情報を入力した場合、制御部３４は、操作部３５を介してその情報を取得し、検出処理を終了すると判定する。また、対象者ＥＰが検出範囲８００の外に出てしまった場合や対象者ＥＰの手が検出範囲８００の外に出てしまった場合、あるいは、予め設定されたリハビリテーションの実施時間が経過した場合にも、制御部３４は、検出処理を終了すると判定する。
終了しないと判定した場合（ステップＳ２５；Ｎｏ）、ステップＳ２１からの処理を繰り返す。
終了すると判定した場合（ステップＳ２５；Ｙｅｓ）、制御部３４は、目標画像の生成処理や検出対象部位のデータを記録する処理を終了する。なお、表示制御部３４２は、検出履歴情報記憶部３３３に記録された対象者ＥＰの検出対象部位のデータ（検出対象情報）から、今回のリハビリテーションにおける対象者ＥＰの動作結果（例えば、検出対象部位が動いた軌跡）を表示する画像を生成し、出力装置２００がこの画像を表示してもよい。 Next, the display control unit 342 generates a history image and outputs it to the output unit 32. The output device 200 displays the history image in the output area 900 according to the instruction of the output unit 32 (step S24).
Next, the control unit 34 determines whether or not to end the detection process (step S25). For example, when a physical therapist or the like inputs rehabilitation end instruction information, the control unit 34 acquires the information via the operation unit 35 and determines to end the detection process. Also, when the subject EP has gone out of the detection range 800, when the hand of the subject EP has gone out of the detection range 800, or when a preset rehabilitation time has elapsed In addition, the control unit 34 determines to end the detection process.
When it determines with not complete | finishing (step S25; No), the process from step S21 is repeated.
When it determines with complete | finishing (step S25; Yes), the control part 34 complete | finishes the production | generation process of a target image, and the process which records the data of a detection target part. Note that the display control unit 342 determines the operation result (for example, the detection target part) of the subject EP in the current rehabilitation from the data (detection target information) of the detection target part of the subject EP recorded in the detection history information storage unit 333. An image that displays the trajectory of the movement) may be generated, and the output device 200 may display this image.

次に図１４を用いて、リハビリテーション中にパラメータ設定を行う処理について説明する。
図１４は、リハビリテーション支援システム１を用いたリハビリテーションにおけるパラメータ設定の一例を示すフローチャートである。
まず、リハビリテーションの実施前に理学療法士等が、対象者ＥＰについてのパラメータ（足用表示パラメータ等）を設定する（ステップＳ３０）。具体的には、理学療法士等が、リハビリテーション支援制御装置３００に設けられた表示画面（表示部３６）を参照して、各種パラメータをリハビリテーション支援制御装置３００に入力する。次に理学療法士等が、リハビリテーション支援制御装置３００に準備開始指示情報を入力し、リハビリテーションを実施する（ステップＳ３１）。上記のとおり、リハビリテーション支援制御装置３００の動作領域判定部３４３は、動作領域を判定して検出対象部位の設定を行う。動作領域がフロアＦＬの場合、足用表示パラメータ設定部３４７が、ステップＳ３０で入力された足用表示パラメータの設定を行う。また、外乱用表示パラメータ設定部３４９が、ステップＳ３０で入力された足の外乱用表示パラメータの設定を行う。一方、動作領域がテーブルＴの場合、手用表示パラメータ設定部３４８が、ステップＳ３０で入力された手用表示パラメータを設定し、外乱用表示パラメータ設定部３４９が、ステップＳ３０で入力された手の外乱用表示パラメータの設定を行う。足用表示パラメータ設定部３４７等によるパラメータの設定が終了すると、表示制御部３４２が、動作領域に応じて目標画像等を生成し、出力装置２００がそれらの画像を表示する。対象者ＥＰは、表示された目標画像に基づいてリハビリテーションを行う。予め定められた一連のリハビリテーション・プログラムが終了すると、表示制御部３４２が、リハビリテーション結果を含む画像を生成し、出力装置２００がリハビリテーション結果を表示する（ステップＳ３２）。リハビリテーション結果とは、例えば、評価部３４６によるリハビリテーション・プログラムを通した評価結果の実績値である。リハビリテーション結果は、例えば、目標画像の全表示数に対して評価部３４６が目標位置到達と評価した回数の割合として表示されてもよい。 Next, processing for setting parameters during rehabilitation will be described with reference to FIG.
FIG. 14 is a flowchart illustrating an example of parameter setting in rehabilitation using the rehabilitation support system 1.
First, before the rehabilitation is performed, a physical therapist or the like sets parameters (such as foot display parameters) for the subject EP (step S30). Specifically, a physical therapist or the like inputs various parameters to the rehabilitation support control device 300 with reference to a display screen (display unit 36) provided in the rehabilitation support control device 300. Next, a physical therapist etc. inputs preparation start instruction information to the rehabilitation support control apparatus 300, and implements rehabilitation (step S31). As described above, the motion region determination unit 343 of the rehabilitation support control device 300 determines the motion region and sets the detection target part. When the operation area is the floor FL, the foot display parameter setting unit 347 sets the foot display parameter input in step S30. Also, the disturbance display parameter setting unit 349 sets the foot disturbance display parameter input in step S30. On the other hand, when the operation area is the table T, the hand display parameter setting unit 348 sets the hand display parameter input in step S30, and the disturbance display parameter setting unit 349 sets the hand display parameter input in step S30. Set the disturbance display parameters. When the parameter setting by the foot display parameter setting unit 347 and the like is completed, the display control unit 342 generates a target image or the like according to the operation area, and the output device 200 displays these images. The subject person EP performs rehabilitation based on the displayed target image. When a series of predetermined rehabilitation programs are completed, the display control unit 342 generates an image including the rehabilitation result, and the output device 200 displays the rehabilitation result (step S32). The rehabilitation result is, for example, the actual value of the evaluation result through the rehabilitation program by the evaluation unit 346. The rehabilitation result may be displayed, for example, as a ratio of the number of times that the evaluation unit 346 evaluates that the target position has been reached with respect to the total display number of the target images.

次に理学療法士等が、リハビリを続けるかどうかを判断する。例えば、理学療法士等は、予め定められた時間分だけリハビリテーションを行ったかどうかでリハビリテーションを続けるかどうかを判断してもよい。あるいは、理学療法士等は、対象者ＥＰの疲れ具合やリハビリテーション結果が示す達成具合に基づいてリハビリテーションを続けるかどうかを判断してもよい。リハビリテーションを続けないと判断した場合（ステップＳ３３；Ｎｏ）、フローチャートを終了する。   Next, a physical therapist determines whether to continue rehabilitation. For example, a physical therapist or the like may determine whether or not to continue the rehabilitation based on whether or not the rehabilitation is performed for a predetermined time. Alternatively, the physical therapist or the like may determine whether or not to continue the rehabilitation based on the degree of fatigue of the subject EP and the achievement level indicated by the rehabilitation result. When it is determined that the rehabilitation is not continued (step S33; No), the flowchart is ended.

リハビリテーションを続けると判断した場合（ステップＳ３３；Ｙｅｓ）、理学療法士等は、パラメータ設定の見直しが必要かどうかを判断する（ステップＳ３４）。例えば、対象者ＥＰのリハビリテーション結果が予想を上回る場合、理学療法士等は、より難易度の高い動作を要求するようなパラメータ設定にするよう見直しが必要であると判断する。又は、対象者ＥＰの手の移動や足の移動が予想通りであって、再度、同じ難易度の手や足の移動を訓練した方が良いと思われるような場合、理学療法士等は、パラメータ設定の見直しは必要ないと判断する。パラメータ設定の見直しが必要ないと判断した場合（ステップＳ３４；Ｎｏ）、理学療法士等は、リハビリテーション支援制御装置３００に開始指示情報を入力し、ステップＳ３１からの処理を繰り返す。なお、同じ対象者ＥＰに対して同じ動作領域でのリハビリテーションの実施を繰り返す場合、動作領域判定部３４３による動作領域の判定処理を省略してもよい。
パラメータ設定の見直しが必要と判断した場合（ステップＳ３４；Ｙｅｓ）、理学療法士等は、新しいパラメータを検討する（ステップＳ３５）。例えば、今回のリハビリテーション結果が良好だった場合、理学療法士等は、より難易度の高い動作を要求するようなパラメータを検討する。あるいは、今回のリハビリテーション結果が良好ではなかった場合、理学療法士等は、難易度の低い動作を要求するようなパラメータを検討する。パラメータを検討し終えると、理学療法士等は、その新しいパラメータを設定し（ステップＳ３０）、ステップＳ３１からの処理を繰り返す。本実施形態のリハビリテーション支援システム１によれば、パラメータを任意に設定することができるので、対象者ＥＰは、体調や能力に応じたリハビリテーションを実施することができる。なお上記の説明においては、リハビリテーション支援制御装置３００に設けられた表示画面（表示部３６）を参照してパラメータ入力・設定を実行したが、出力装置２００から出力されたパラメータ設定画面を参照して、フロアやテーブル上に表示された設定画面上で各種パラメータ入力・設定を実行してもよい。 When it is determined that the rehabilitation is continued (step S33; Yes), the physical therapist determines whether it is necessary to review the parameter setting (step S34). For example, when the rehabilitation result of the subject person EP exceeds the expectation, the physical therapist determines that it is necessary to review the parameter setting so as to require a more difficult operation. Or, if the subject's EP's movement of the hand or foot is as expected and it seems that it is better to train the movement of the hand or foot of the same difficulty again, the physical therapist, Judge that the parameter settings need not be reviewed. When it is determined that the parameter setting needs not be reviewed (step S34; No), the physical therapist or the like inputs start instruction information to the rehabilitation support control device 300, and repeats the processing from step S31. In addition, when performing rehabilitation in the same motion region for the same subject EP, the motion region determination processing by the motion region determination unit 343 may be omitted.
When it is determined that the parameter setting needs to be reviewed (step S34; Yes), the physical therapist examines a new parameter (step S35). For example, when the rehabilitation result this time is good, the physical therapist examines parameters that require a more difficult movement. Alternatively, if the current rehabilitation result is not good, a physical therapist or the like examines a parameter that requires an operation with low difficulty. When the parameters are examined, the physical therapist or the like sets the new parameters (step S30) and repeats the processing from step S31. According to the rehabilitation support system 1 of the present embodiment, the parameters can be arbitrarily set, so that the subject EP can perform rehabilitation according to physical condition and ability. In the above description, the parameter input / setting is executed with reference to the display screen (display unit 36) provided in the rehabilitation support control device 300, but the parameter setting screen output from the output device 200 is referred to. Various parameters may be input and set on a setting screen displayed on the floor or table.

本実施形態によれば、理学療法士が行うフロアＦＬでのリハビリテーション及び作業療法士が行うテーブルＴでのリハビリテーションにおける対象者ＥＰの動作情報（本実施形態の検出対象情報）の記録を、１台のリハビリテーション支援システム１で行うことができる。例えば、歩行動作のリハビリテーションを行う場所と手の移動のリハビリテーションを行うテーブルＴとが離れた位置に存在しても、リハビリテーション支援システム１を移動させて、それぞれの位置で対象者ＥＰの動作を検出し、動作情報を記録することができる。また、手の移動のリハビリテーションを、歩行動作のリハビリテーションを行う場所にテーブルＴを設置して行うような場合、リハビリテーションの前に動作領域判定部３４３に動作領域を判定させるだけで、歩行動作のリハビリテーションを検出するモードと手の移動のリハビリテーションを検出するモードとを切り替えることができる。従って、リハビリテーションの種類ごとにリハビリテーション支援制御装置を導入する必要が無い。また、複数のリハビリテーション支援制御装置を導入した場合、各装置が出力する対象者ＥＰに関するデータのデータ構造は異なることが一般的である。データ構造が異なると、例えば、ある対象者ＥＰのリハビリテーション履歴を解析するような場合、データの扱いが複雑になり大変である。本実施形態では、対象者ＥＰに関して記録するデータは、両手又は両足の一つの部位の位置情報であり、共通のデータ構造で記録、処理することができる。そのため、記録したデータの解析処理等を共通化することができ、データの扱いが容易になる。また、対象者ＥＰがどのような動作をしようとも、リハビリテーションの目的とする動作に関連した部位の左右一対のデータに絞って認識処理及び記録処理を行うので、処理を高速化、簡素化することができる。また、一般的なモーションキャプチャでは、対象者ＥＰの動作を検出するために、対象者ＥＰはマーカを装着する必要があり手間がかかるといった問題があるが、本実施形態のリハビリテーション支援システム１であれば、対象者ＥＰはマーカを装着する必要が無く、簡単に対象者ＥＰの動作を検出することができる。   According to the present embodiment, one record of the motion information (detection target information of the present embodiment) of the subject person EP in the rehabilitation on the floor FL performed by the physical therapist and the rehabilitation on the table T performed by the occupational therapist The rehabilitation support system 1 can be used. For example, even if the place where the rehabilitation for walking motion is performed and the table T for performing the rehabilitation of hand movement exist at different positions, the rehabilitation support system 1 is moved to detect the motion of the subject EP at each position. The operation information can be recorded. Further, when rehabilitation of hand movement is performed by installing a table T at a place where rehabilitation of walking motion is performed, rehabilitation of walking motion can be performed only by causing the motion region determination unit 343 to determine the motion region before rehabilitation. And a mode for detecting rehabilitation of hand movement can be switched. Therefore, it is not necessary to introduce a rehabilitation support control device for each type of rehabilitation. In addition, when a plurality of rehabilitation support control devices are introduced, the data structure of the data related to the subject person EP output by each device is generally different. If the data structure is different, for example, when analyzing the rehabilitation history of a certain subject EP, handling of the data becomes complicated and difficult. In the present embodiment, data to be recorded regarding the subject person EP is position information of one part of both hands or both feet, and can be recorded and processed with a common data structure. Therefore, it is possible to share the analysis processing of recorded data and the like, and the handling of data becomes easy. In addition, no matter what action the subject person EP performs, the recognition process and the recording process are limited to the pair of left and right data of the part related to the action intended for rehabilitation, so the process can be speeded up and simplified. Can do. Further, in general motion capture, there is a problem that the subject EP needs to wear a marker in order to detect the motion of the subject EP, which is troublesome. However, the rehabilitation support system 1 according to the present embodiment may be used. In this case, the subject person EP does not need to wear a marker and can easily detect the action of the subject person EP.

なお、表示制御部３４２が、対象者ＥＰの体の一部の高さを出力装置２００に表示させるようにしてもよい。この点について図１５を参照して説明する。
図１５は、リハビリテーション支援システム１が、対象者ＥＰの体の一部の高さを表示した例を示す図である。図１５は、机上で手の移動に関するリハビリテーションが行われる場合の例を示している。出力装置２００は表示制御部３４２の制御に従って、対象者ＥＰの右手の現在の位置を示す画像Ｍ３１１ａと、左手の現在の位置を示す画像Ｍ３１１ｂと、右手の目標位置を示す画像Ｍ３２１ａとを机上の投影面（出力領域９００）に表示（投影）している。 Note that the display control unit 342 may display the height of a part of the body of the subject EP on the output device 200. This point will be described with reference to FIG.
FIG. 15 is a diagram illustrating an example in which the rehabilitation support system 1 displays the height of a part of the body of the subject EP. FIG. 15 shows an example in which rehabilitation related to hand movement is performed on a desk. Under the control of the display control unit 342, the output device 200 displays an image M311a indicating the current position of the right hand of the subject EP, an image M311b indicating the current position of the left hand, and an image M321a indicating the target position of the right hand on the desk. It is displayed (projected) on the projection plane (output area 900).

出力装置２００は、例えば、右手の現在の位置を示す画像Ｍ３１１ａを赤丸（赤い円）で表示し、左手の現在の位置を示す画像Ｍ３１１ｂを青丸（青い円）で表示する。例えば、出力装置２００は表示制御部３４２の制御に従って、センサ１００が２つ認識した対象者ＥＰの体の一部のうちセンサ１００から見て左側の一部の位置を青丸で表示し、右側の部位の位置を赤丸で表示する。   For example, the output device 200 displays an image M311a indicating the current position of the right hand as a red circle (red circle), and displays an image M311b indicating the current position of the left hand as a blue circle (blue circle). For example, according to control of the display control unit 342, the output device 200 displays a part of the left side of the body of the subject EP recognized by the sensor 100 as viewed from the sensor 100 with a blue circle, and the right side. The position of the part is displayed with a red circle.

また、出力装置２００は表示制御部３４２の制御に従って、手の高さを丸の大きさで表示する。図１５の例では、対象者ＥＰが左手を机上面に置いているのに対し、右手を机上面よりも上に上げている。そこで、出力装置２００は、右手の位置を示す画像Ｍ３１１ａを、左手の位置を示す画像Ｍ３１１ｂよりも小さい丸で表示している。このように、出力装置２００は、対象者ＥＰの手の位置が高いほど小さい丸を表示している。   Further, the output device 200 displays the height of the hand in a circle size according to the control of the display control unit 342. In the example of FIG. 15, the subject person EP puts his left hand on the desk surface, while his right hand is raised above the desk surface. Therefore, the output device 200 displays the image M311a indicating the position of the right hand as a smaller circle than the image M311b indicating the position of the left hand. Thus, the output device 200 displays a smaller circle as the hand position of the subject EP increases.

出力装置２００は、対象者ＥＰの手の目標位置についても、その高さを丸の大きさで表示する。図１５の例では、出力装置２００は、右手の目標位置を示す画像Ｍ３２１ａを、右手の現在の位置を示す画像Ｍ３１１ａよりもやや大きい丸で表示している。
対象者ＥＰは、画像Ｍ３１１ａを移動させて画像Ｍ３２１ａに重ねるように、右手の水平方向の位置を変化させる。また、対象者ＥＰは、画像Ｍ３１１ａの大きさを画像Ｍ３２１ａの大きさに合せるように、右手の垂直方向の位置を変化させる。
このように、図１５の例では、手の水平方向の動きだけでなく垂直方向の動きも含めたリハビリテーションが行われている。 The output device 200 also displays the height of the target position of the hand of the subject EP in the size of a circle. In the example of FIG. 15, the output device 200 displays the image M321a indicating the target position of the right hand as a circle slightly larger than the image M311a indicating the current position of the right hand.
The subject person EP changes the horizontal position of the right hand so that the image M311a is moved and superimposed on the image M321a. Further, the subject EP changes the vertical position of the right hand so that the size of the image M311a matches the size of the image M321a.
Thus, in the example of FIG. 15, rehabilitation including not only horizontal movement of the hand but also vertical movement is performed.

図１５では、表示制御部３４２が、対象者ＥＰの手の高さを出力装置２００に表示させる場合を例に説明した。同様に、表示制御部３４２が、対象者ＥＰの足の高さを出力装置２００に表示させるようにしてもよい。例えば、歩行のリハビリテーションで、足を上げるリハビリテーションを行う場合がある。このリハビリテーションで、表示制御部３４２が、対象者ＥＰの足の目標位置の表示及び現在位置の表示にて、図１５の例と同様に足の高さを示すようにしてもよい。   In FIG. 15, the case where the display control unit 342 displays the height of the hand of the subject EP on the output device 200 has been described as an example. Similarly, the display control unit 342 may cause the output device 200 to display the foot height of the subject person EP. For example, rehabilitation for raising a foot may be performed in walking rehabilitation. In this rehabilitation, the display control unit 342 may indicate the height of the foot in the display of the target position of the foot of the subject EP and the display of the current position as in the example of FIG.

なお、表示制御部３４２が、出力装置２００に画像を表示させる位置は、対象者ＥＰの体の一部の位置に応じた位置に限らない。
例えば、上述した図１２では、外乱として登場する自動車の画像を避けながら目標画像（目標位置を示す画像）に従って歩行するリハビリテーションの例を示している。図１２の例では、出力装置２００は、例えば、予め定められたタイミングで予め定められた位置に自動車の画像を表示するなど、対象者ＥＰの体の一部の位置（図１２の例では足の位置）に依存しない位置に自動車の画像を表示する。 Note that the position at which the display control unit 342 causes the output device 200 to display an image is not limited to the position corresponding to the position of a part of the body of the subject EP.
For example, FIG. 12 described above shows an example of rehabilitation that walks according to a target image (an image indicating a target position) while avoiding an image of a car that appears as a disturbance. In the example of FIG. 12, the output device 200 displays the position of a part of the body of the subject EP (for example, the foot in the example of FIG. 12), such as displaying an image of a car at a predetermined position at a predetermined timing. The car image is displayed at a position that does not depend on the position of the car.

一方、ターゲットの位置は、対象者ＥＰの足の位置に依存していてもよいし、依存していなくてもよい。例えば、出力装置２００が、予め定められた位置にターゲットの画像を表示するようにしてもよい。あるいは、上記のように目標決定部３４５が、対象者ＥＰの足の位置に応じて次の目標位置を決定し、出力装置２００が、決定された位置にターゲットの画像を表示するようにしてもよい。   On the other hand, the position of the target may or may not depend on the position of the foot of the subject EP. For example, the output device 200 may display the target image at a predetermined position. Alternatively, as described above, the target determination unit 345 determines the next target position according to the position of the foot of the subject EP, and the output device 200 displays the target image at the determined position. Good.

図１２の例で、出力装置２００が、予め定められた位置にターゲットの画像を表示する場合は、対象者ＥＰの体の一部に依存しない位置に画像を表示する場合の例に該当する。また、図１２の例で、出力装置２００が、目標決定部３４５が対象者ＥＰの足の位置に応じて決定した目標位置にターゲットの画像を表示する場合は、対象者ＥＰの体の一部に依存しない位置への画像の表示と、対象者ＥＰの体の一部に依存する位置への画像の表示との組み合わせの例に該当する。   In the example of FIG. 12, when the output device 200 displays a target image at a predetermined position, this corresponds to an example of displaying an image at a position that does not depend on a part of the body of the subject EP. In the example of FIG. 12, when the output device 200 displays the target image at the target position determined by the target determining unit 345 according to the position of the foot of the subject EP, a part of the body of the subject EP This corresponds to an example of a combination of display of an image at a position not depending on the position and display of an image at a position depending on a part of the body of the subject EP.

なお、図３の例のように、表示制御部３４２が、出力装置２００を制御して評価部３４６による評価結果を表示させるようにしてもよい。図３は、対象者ＥＰが目標位置に右手を合わせた（目標位置を叩いた）場合の例を示している。出力装置２００は、表示制御部３４２の制御に従って「ＯＫ」との評価結果を目標位置に表示している。この「ＯＫ」の評価結果は、対象者ＥＰの右手が目標位置に到達したことを示す。   Note that, as in the example of FIG. 3, the display control unit 342 may control the output device 200 to display the evaluation result by the evaluation unit 346. FIG. 3 shows an example when the subject person EP puts his right hand on the target position (hit the target position). The output device 200 displays the evaluation result “OK” at the target position in accordance with the control of the display control unit 342. The evaluation result of “OK” indicates that the right hand of the subject EP has reached the target position.

出力装置２００が、評価部３４６による評価結果を目標位置に表示するようにしてもよいし、対象者ＥＰの体の一部の現在の位置（図３の例では右手の位置）に表示するようにしてもよい。あるいは、出力装置２００が、目標位置、及び、対象者ＥＰの体の一部の現在の位置の両方に、評価部３４６による評価結果を表示するようにしてもよい。
あるいは、出力装置２００が、例えば予め定められた位置に評価部３４６による評価結果を表示するなど、目標位置、対象者ＥＰの体の一部の現在の位置のいずれとも異なる位置に、評価部３４６による評価結果を表示するようにしてもよい。 The output device 200 may display the evaluation result by the evaluation unit 346 at the target position, or display it at the current position of the body of the subject EP (right hand position in the example of FIG. 3). It may be. Alternatively, the output device 200 may display the evaluation result by the evaluation unit 346 at both the target position and the current position of a part of the body of the subject EP.
Alternatively, the evaluation unit 346 is positioned at a position different from both the target position and the current position of a part of the body of the subject EP, for example, the output device 200 displays the evaluation result by the evaluation unit 346 at a predetermined position. You may make it display the evaluation result by.

以上のように、入力部３１は、対象者ＥＰを検出した結果を示す検出結果情報を取得する。認識部３４１は、検出結果情報のうち、動作領域に対応する対象者ＥＰの体の一部に関する検出結果情報に基づいて、対象者ＥＰの体の一部の位置を認識する。表示制御部３４２は、動作領域に画像を表示する出力装置２００を制御して、対象者ＥＰの体の一部の位置に応じた位置に画像を表示させる。
このように、表示制御部３４２が、出力装置２００を制御して動作領域に画像を表示させることで、対象者ＥＰが、画像の位置を実際の位置に対応付ける必要無しに、画像が示す位置を把握することができる。この点で、対象者ＥＰは、より直感的に位置を把握できる。
また、表示制御部３４２が、出力装置２００を制御して動作領域に画像を表示させることで、対象者ＥＰが、対象者ＥＰ自らのリハビリテーションに関する画像であると認識する可能性を高めることができる。
例えば、リハビリテーション支援システム１を用いたリハビリテーションでは、対象者ＥＰの手又は足などの部位の実際の位置、又は、対象者ＥＰが過去に手又は足などの部位を移動させた実際の目標位置に、対象者ＥＰの動作に対する評価を表示することができる。これにより、対象者ＥＰが、対象者ＥＰ自らの動作に対する評価であると認識する可能性を高めることができる。 As described above, the input unit 31 acquires detection result information indicating the result of detecting the subject person EP. The recognition unit 341 recognizes the position of a part of the body of the subject person EP based on the detection result information regarding the part of the body of the subject person EP corresponding to the motion region in the detection result information. The display control unit 342 controls the output device 200 that displays an image in the operation area, and displays the image at a position corresponding to the position of a part of the body of the subject EP.
In this way, the display control unit 342 controls the output device 200 to display an image in the operation area, so that the target person EP does not need to associate the position of the image with the actual position, so that the position indicated by the image is displayed. I can grasp it. In this respect, the subject person EP can grasp the position more intuitively.
In addition, the display control unit 342 controls the output device 200 to display an image in the operation area, thereby increasing the possibility that the subject person EP recognizes that the subject person EP is an image related to his own rehabilitation. .
For example, in rehabilitation using the rehabilitation support system 1, the actual position of a part such as a hand or a foot of the subject EP or the actual target position where the subject EP has moved a part such as a hand or a foot in the past is used. The evaluation of the operation of the subject EP can be displayed. Thereby, it is possible to increase the possibility that the subject person EP recognizes the evaluation of the action of the subject person EP itself.

また、表示制御部３４２は、対象者ＥＰの体の一部の現在の位置を示す画像を出力装置２００に表示させる。
このように、表示制御部３４２が、出力装置２００を制御して対象者ＥＰの体の一部の現在の位置を表示させることで、対象者ＥＰは、対象者ＥＰ自らの体の一部の位置と、出力装置２００による表示（出力領域９００）とが対応付けられていることを理解し易くなる。これにより、対象者ＥＰが、対象者ＥＰ自らの体の一部の位置と、目標位置との位置関係を把握し易くなる。対象者ＥＰは、この位置関係を把握することで、リハビリテーションのための動作（対象者ＥＰ自らの体の一部を目標位置へ移動させる動作）を行えることができる。 Further, the display control unit 342 causes the output device 200 to display an image indicating the current position of a part of the body of the subject EP.
In this way, the display control unit 342 controls the output device 200 to display the current position of a part of the body of the subject EP, so that the subject EP can be a part of the body of the subject EP itself. It becomes easy to understand that the position is associated with the display by the output device 200 (output area 900). Thereby, it becomes easy for the subject person EP to grasp the positional relationship between the position of a part of the subject person's own EP and the target position. By grasping this positional relationship, the subject person EP can perform an operation for rehabilitation (an action of moving a part of the body of the subject person's own EP to the target position).

また、表示制御部３４２は、対象者ＥＰの体の一部の位置の履歴を示す画像を出力装置２００に表示させる。
このように、表示制御部３４２が、出力装置２００を制御して対象者ＥＰの体の一部が実際にあった位置に履歴を表示させることで、対象者ＥＰが、対象者ＥＰ自らの体の一部の位置の履歴であると認識する可能性を高めることができる。
また、目標位置の履歴を示す目標画像に対する対象者ＥＰの一部の位置の履歴画像の位置のずれの大きさによって、目標に対する対象者ＥＰの動きのずれの度合いが示されている。対象者ＥＰは、目標位置の履歴を示す目標画像と対象者ＥＰの体の一部の位置の履歴画像とのずれを見ることで、目標に対する対象者ＥＰ自らの動きのずれの度合いを把握することができる。 In addition, the display control unit 342 causes the output device 200 to display an image indicating a history of the position of a part of the body of the subject person EP.
In this manner, the display control unit 342 controls the output device 200 to display the history at a position where a part of the body of the subject person EP was actually present, so that the subject person EP can view the subject person's own body. The possibility of recognizing that it is a history of a part of the position can be increased.
Further, the degree of shift of the movement of the subject EP with respect to the target is indicated by the magnitude of the shift of the position of the history image at a part of the position of the subject EP with respect to the target image indicating the history of the target position. The subject person EP grasps the degree of deviation of the subject's own movement with respect to the target by observing the difference between the target image indicating the history of the target position and the history image of the position of a part of the body of the subject person EP. be able to.

また、目標決定部３４５は、対象者ＥＰの体の一部の位置に基づいて対象者ＥＰの体の一部の目標位置を決定する。表示制御部３４２は、目標位置に画像を表示するように出力装置を制御する。
目標決定部３４５は、対象者ＥＰの体の一部の位置に基づいて対象者ＥＰの体の一部の目標位置を決定することで、対象者ＥＰの体の一部の現在位置が前回の目標位置からずれている場合でも、対象者ＥＰの体の一部の現在位置から到達可能な範囲に到達目標を設定できる。
また、表示制御部３４２が、出力装置２００を制御して実際の目標位置に画像を表示させることで、対象者ＥＰは、比較的容易に目標位置を把握することができる。また、対象者ＥＰは、体の一部が目標位置に到達したことを比較的容易に認識することができる。
また、リハビリテーション支援システム１を用いたリハビリテーションでは、実際に手又は足などの部位を動かす目標位置に画像を表示することができる。これにより、対象者ＥＰが、対象者ＥＰ自らに示された目標位置であると認識する可能性を高めることができる。
また、実際に手又は足などの部位を動かす目標位置に目標画像を表示することで、対象者ＥＰは、手又は足などの部位をどこへ移動させればよいかを比較的容易に認識することができ、リハビリテーションのための動作を行うことができる。
また、実際に手又は足などの部位を動かす目標位置に目標画像を表示することで、対象者ＥＰは、手又は足などの部位が目標位置に到達したことを比較的容易に認識できる。具体的には、対象者ＥＰは、手又は足などの部位がある位置に目標画像が表示されていることを実際に見て確認することで、手又は足などの部位が目標位置に到達したことを認識できる。 The target determination unit 345 determines a target position of a part of the body of the subject EP based on the position of a part of the body of the subject EP. The display control unit 342 controls the output device so as to display an image at the target position.
The target determination unit 345 determines a target position of a part of the body of the subject EP based on the position of the part of the body of the subject EP, so that the current position of the part of the body of the subject EP Even when it is deviated from the target position, the reaching target can be set in a range that can be reached from the current position of a part of the body of the subject EP.
Further, the display control unit 342 controls the output device 200 to display an image at the actual target position, so that the target person EP can grasp the target position relatively easily. Further, the subject person EP can relatively easily recognize that a part of the body has reached the target position.
Further, in rehabilitation using the rehabilitation support system 1, an image can be displayed at a target position where a part such as a hand or a foot is actually moved. Accordingly, it is possible to increase the possibility that the subject person EP recognizes the target position indicated by the subject person EP himself.
Further, by displaying the target image at the target position where the part such as the hand or the foot is actually moved, the target person EP recognizes where the part such as the hand or the foot should be moved relatively easily. And can perform actions for rehabilitation.
In addition, by displaying the target image at the target position where the part such as the hand or the foot is actually moved, the target person EP can relatively easily recognize that the part such as the hand or the foot has reached the target position. Specifically, the subject EP has actually reached the target position by confirming that the target image is displayed at a certain position such as a hand or a foot. I can recognize that.

また、評価部３４６は、対象者ＥＰの体の一部の位置と目標位置との相対的な位置関係を評価する。そして、表示制御部３４２は、評価部３４６による評価結果を出力装置２００に表示させる。
対象者ＥＰは、この評価結果の表示を参照することで、自らが行った動作に対する評価（例えば、目標位置への到達又は不到達）を知ることができ、動作の改善に役立てることができる。例えば、表示制御部３４２が、リアルタイムで出力装置２００を制御して評価結果を表示させることで、対象者ＥＰは、動作を行うごとに評価結果を確認することができる。評価が低い場合、対象者ＥＰは、次の動作では評価が高くなるように動作の改善を図ることができる。 Further, the evaluation unit 346 evaluates the relative positional relationship between the position of a part of the body of the subject person EP and the target position. Then, the display control unit 342 causes the output device 200 to display the evaluation result by the evaluation unit 346.
By referring to the display of the evaluation result, the target person EP can know the evaluation (for example, arrival or non-arrival of the target position) with respect to the operation performed by the subject person EP, which can be used to improve the operation. For example, the display control unit 342 controls the output device 200 in real time to display the evaluation result, so that the subject EP can check the evaluation result every time the operation is performed. When the evaluation is low, the subject EP can improve the operation so that the evaluation becomes high in the next operation.

また、表示制御部３４２は、対象者ＥＰの体の一部の位置、及び、目標位置のうち少なくともいずれか一方に、評価部３４６による評価結果を表示させる。
これにより、対象者ＥＰは、対象者ＥＰ自らが行った行為に対する評価結果の表示であることを、比較的容易に把握することができる。 Further, the display control unit 342 displays the evaluation result by the evaluation unit 346 at least one of the position of the body of the subject person EP and the target position.
Thereby, the subject person EP can grasp | ascertain comparatively easily that it is a display of the evaluation result with respect to the action which the subject person EP himself performed.

また、目標決定部３４５は、対象者ＥＰの体の一部の移動量を算出する。さらに、目標決定部３４５は、算出した移動量に基づいて目標位置を決定する。
このように、目標決定部３４５が対象者ＥＰの体の部位の移動量を算出して目標位置を決定することで、対象者ＥＰの体の一部の実際の移動量に応じた適切な目標位置を設定することができる。 In addition, the target determination unit 345 calculates a movement amount of a part of the body of the subject person EP. Furthermore, the target determining unit 345 determines a target position based on the calculated movement amount.
In this way, the target determination unit 345 calculates the amount of movement of the body part of the subject person EP and determines the target position, so that an appropriate target according to the actual amount of movement of a part of the body of the subject person EP is obtained. The position can be set.

また、動作領域判定部３４３は、対象者の体の部位のうち検出対象となる部位を決定する。そして、表示制御部３４２は、動作領域判定部３４３が決定した部位に応じた部位の形状の画像を対象者ＥＰの位置に応じた位置に表示するように出力装置２００を制御する。
例えば、動作領域判定部３４３が、動作領域がテーブル（机上面又は机上）であると判定して検出対象部位を手首に決定した場合、表示制御部３４２は、記憶部３３が記憶している画像のうち手の形状の画像を選択して出力装置２００に表示させる。また、動作領域判定部３４３が、動作領域がフロア（床面又は床上）であると判定して検出対象部位を足首に決定した場合、表示制御部３４２は、記憶部３３が記憶している画像のうち足の形状の画像を選択して出力装置２００に表示させる。
このように、表示制御部３４２が出力装置２００を制御して体の一部の形状を示す画像を表示させることで、対象者ＥＰは自らの体の一部に関連する画像であることを直感的に認識することができる。従って、対象者ＥＰが、リハビリテーションに関連する画像であることを認識する可能性を高めることができる。 In addition, the motion region determination unit 343 determines a part to be detected among the parts of the subject's body. Then, the display control unit 342 controls the output device 200 so as to display an image of a part shape corresponding to the part determined by the motion region determination unit 343 at a position corresponding to the position of the subject EP.
For example, when the motion region determination unit 343 determines that the motion region is a table (desk surface or desk) and determines the detection target part to be the wrist, the display control unit 342 stores the image stored in the storage unit 33. The hand-shaped image is selected and displayed on the output device 200. In addition, when the motion region determination unit 343 determines that the motion region is a floor (floor surface or on the floor) and determines the detection target site to be an ankle, the display control unit 342 stores the image stored in the storage unit 33. The foot shape image is selected and displayed on the output device 200.
In this way, the display control unit 342 controls the output device 200 to display an image showing the shape of a part of the body, so that the subject person EP can intuitively recognize that the image is related to a part of his body. Can be recognized. Therefore, the possibility that the subject person EP recognizes that the image is related to rehabilitation can be increased.

このリハビリテーション支援システム１を用いたリハビリテーションについて、対象者ＥＰの前方の表示画面に対象者ＥＰの画像を表示して行う従来のリハビリテーションとの比較にて説明する。
対象者ＥＰの前方の表示画面に対象者ＥＰの画像が表示される従来のリハビリテーションでは、対象者ＥＰの画像が表示されている位置が対象者ＥＰの実際の位置とは異なる。このため、対象者ＥＰが、対象者ＥＰの画像を対象者ＥＰ自らの画像と認識できないことがある。更には、対象者ＥＰの画像がいわゆるミラーリングによって左右逆に表示されることで、対象者ＥＰが、対象者ＥＰの画像を対象者ＥＰ自らの画像と認識できない可能性が高くなる。
対象者ＥＰが、対象者ＥＰの画像を対象者ＥＰ自らの画像と認識できないことで、対象者ＥＰの動作に対する評価が表示画面に表示された場合に、対象者ＥＰ自らの動作に対する評価であると認識することができない可能性がある。また、目標画像（目標位置を示す画像）が表示画面に表示された場合も、対象者ＥＰは、対象者ＥＰ自らに示された目標画像であることを認識できない可能性がある。 Rehabilitation using this rehabilitation support system 1 will be described in comparison with conventional rehabilitation performed by displaying an image of the subject EP on a display screen ahead of the subject EP.
In the conventional rehabilitation in which the image of the subject EP is displayed on the display screen in front of the subject EP, the position where the image of the subject EP is displayed is different from the actual position of the subject EP. For this reason, the subject person EP may not recognize the image of the subject person EP as the subject person's own EP image. Furthermore, since the image of the subject EP is displayed upside down by so-called mirroring, there is a high possibility that the subject EP cannot recognize the image of the subject EP as its own image.
When the target person EP cannot recognize the image of the target person EP as the target person's own image, and the evaluation for the action of the target person EP is displayed on the display screen, the evaluation is for the target person's own EP. May not be recognized. In addition, even when a target image (an image indicating a target position) is displayed on the display screen, the target person EP may not be able to recognize that it is the target image shown to the target person EP himself.

これに対し、リハビリテーション支援システム１を用いたリハビリテーションでは、リハビリテーション動作が行われる動作領域に画像を表示する。動作領域に画像が表示される点で、対象者ＥＰが、対象者ＥＰ自らの動作に対する評価の表示画像や目標画像などを、対象者ＥＰ自らのリハビリテーションに関する画像であることを、対象者ＥＰに比較的容易に認識させることができる。また、対象者ＥＰは、対象者ＥＰ自らの画像を認識する必要無しに直接、動作領域に表示された画像を把握することができる。この点でも、対象者ＥＰが、対象者ＥＰ自らの動作に対する評価の表示画像や目標画像などを、対象者ＥＰ自らのリハビリテーションに関する画像であることを対象者ＥＰに比較的容易に認識させることができる。   On the other hand, in the rehabilitation using the rehabilitation support system 1, an image is displayed in an operation area where the rehabilitation operation is performed. In view of the fact that an image is displayed in the motion area, the subject EP indicates to the subject EP that the subject EP has a display image, a target image, and the like for evaluation of the subject's own motion. It can be recognized relatively easily. Further, the subject person EP can directly grasp the image displayed in the operation area without the need to recognize the subject person's own EP image. In this respect as well, the subject EP can make the subject EP relatively easy to recognize that the display image or the target image of the evaluation for the subject's own EP is an image related to the rehabilitation of the subject EP. it can.

また、対象者ＥＰの前方の表示画面に対象者ＥＰの画像が表示される従来のリハビリテーションでは、対象者ＥＰの画像が表示されている位置が対象者ＥＰの実際の位置とは異なる。このため、表示画面に目標画像が表示された場合に、対象者ＥＰは、表示画面における対象者ＥＰの画像の位置と目標画像の位置との相対位置関係を、対象者ＥＰの実際の位置と実際の目標位置の相対位置関係に置き換えて、実際の目標位置を把握する必要がある。対象者ＥＰが、表示画面における対象者ＥＰの画像の位置と目標画像の位置との相対位置関係を、対象者ＥＰの実際の位置との相対位置関係に上手く置き換えられない場合、実際の目標位置を把握できない可能性がある。この場合、対象者ＥＰは、手や足などの部位をどこへ移動させたらよいか認識できず、リハビリテーションに支障が生じる可能性がある。   In the conventional rehabilitation in which the image of the subject EP is displayed on the display screen in front of the subject EP, the position where the image of the subject EP is displayed is different from the actual position of the subject EP. Therefore, when the target image is displayed on the display screen, the target person EP determines the relative positional relationship between the position of the target person EP image and the target image position on the display screen as the actual position of the target person EP. It is necessary to grasp the actual target position by replacing it with the relative positional relationship of the actual target position. If the target person EP cannot successfully replace the relative position relationship between the position of the image of the target person EP on the display screen and the position of the target image with the relative position relationship with the actual position of the target person EP, the actual target position May not be able to grasp. In this case, the subject person EP cannot recognize where to move a part such as a hand or a foot, and there is a possibility that rehabilitation may be hindered.

これに対し、リハビリテーション支援システム１を用いたリハビリテーションでは、実際の目標位置に直接、目標画像を表示することができる。この点で、対象者ＥＰは目標位置を比較的容易に把握することができる。   On the other hand, in the rehabilitation using the rehabilitation support system 1, the target image can be displayed directly at the actual target position. In this respect, the subject person EP can grasp the target position relatively easily.

また、対象者ＥＰの前方の表示画面に対象者ＥＰの画像が表示される従来のリハビリテーションでは、対象者ＥＰが、到達目標位置を認識し、到達目標位置に手や足などの部位を移動させた場合、画像中で到達目標位置に表示されている物に触れることはできない。このため、対象者ＥＰが到達目標位置に到達したことを認識できずに到達目標位置を通り過ぎてしまうなど、手や足などの部位をどこまで動かせばよいか把握できない可能性がある。   Further, in the conventional rehabilitation in which the image of the subject person EP is displayed on the display screen in front of the subject person EP, the subject person EP recognizes the reaching target position and moves a part such as a hand or a leg to the reaching target position. In such a case, it is impossible to touch an object displayed at the target position in the image. For this reason, there is a possibility that it is not possible to grasp how far a part such as a hand or a foot should be moved, for example, the target person EP cannot pass through the target position without being able to recognize that the target position has been reached.

これに対し、リハビリテーション支援システム１を用いたリハビリテーションでは、対象者ＥＰは、手又は足などの部位がある位置に目標画像が表示されていることを実際に見て確認することで、手又は足などの部位が目標位置に到達したことを認識できる。この点で、対象者ＥＰが、手や足などの部位をどこまで動かせばよいかを比較的容易に把握できる。   On the other hand, in the rehabilitation using the rehabilitation support system 1, the target person EP can actually see and confirm that the target image is displayed at a position where a part such as a hand or a foot is present. It can be recognized that a part such as has reached the target position. In this respect, it is relatively easy for the subject person EP to know how far to move a part such as a hand or a foot.

（変形例）
図１６は、リハビリテーション支援システム１のシステム構成の変形例を示す斜視図である。
リハビリテーション支援制御装置３００は、複数の装置に機能を分けて実装されてもよい。例えば、入力部３１及び認識部３４１は画像認識装置として他の装置に実装されてもよい。例えば、認識部３４１はセンサ１００に設けられてもよい。
また、出力装置２００は、画像投影装置に代えて、画像を表示する画像表示装置を用いて構成されてもよい。この場合、図１６に示すように出力装置２００は、上述の説明において画像投影装置が映像を投影した面（投影面）に相当する面に表示面を有したディスプレイ装置として構成される。画像表示装置の具体例として、液晶ディスプレイ装置、有機ＥＬ（Electro Luminescence）ディスプレイ装置、タッチパネル式ディスプレイ装置等がある。例えば、テーブルの表面にディスプレイ装置を組み込んで、このディスプレイ装置の表示画面に対象者ＥＰがタッチするマークを表示するようにしてもよい。この場合も、リハビリテーション支援制御装置３００（制御部３４）は、例えば、ディスプレイ装置に表示されたマーカ画像を目印にしてキャリブレーションを実施する。 (Modification)
FIG. 16 is a perspective view showing a modified example of the system configuration of the rehabilitation support system 1.
The rehabilitation support control device 300 may be implemented by dividing functions into a plurality of devices. For example, the input unit 31 and the recognition unit 341 may be mounted on another device as an image recognition device. For example, the recognition unit 341 may be provided in the sensor 100.
Further, the output device 200 may be configured using an image display device that displays an image instead of the image projection device. In this case, as illustrated in FIG. 16, the output device 200 is configured as a display device having a display surface on a surface corresponding to a surface (projection surface) onto which an image projection device projects an image in the above description. Specific examples of the image display device include a liquid crystal display device, an organic EL (Electro Luminescence) display device, and a touch panel display device. For example, a display device may be incorporated on the surface of the table, and a mark touched by the subject EP may be displayed on the display screen of the display device. Also in this case, the rehabilitation support control device 300 (the control unit 34) performs calibration using, for example, a marker image displayed on the display device as a mark.

上述した各装置が備える各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。上述した各装置が実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。各プログラムは、電気通信回線を介して送信されてもよい。   All or some of the functions of each device described above may be realized by using hardware such as an application specific integrated circuit (ASIC), a programmable logic device (PLD), or a field programmable gate array (FPGA). The program executed by each device described above may be recorded on a computer-readable recording medium. The computer-readable recording medium is, for example, a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in the computer system. Each program may be transmitted via a telecommunication line.

１…リハビリテーション支援システム， １００…センサ， ２００…出力装置， ３００…リハビリテーション支援制御装置， ３１…入力部， ３２…出力部， ３３…記憶部， ３３１…キャリブレーション情報記憶部， ３３２…判定条件情報記憶部， ３３３…検出履歴情報記憶部， ３３４…パラメータ情報記憶部， ３３５…プログラム情報記憶部， ３４…制御部， ３４１…認識部， ３４２…表示制御部， ３４３…動作領域判定部， ３４４…記録部， ３４５…目標決定部， ３４６…評価部， ３４７…足用表示パラメータ設定部， ３４８…手用表示パラメータ設定部， ３４９…外乱用表示パラメータ設定部， ３５…操作部， ３６…表示部 DESCRIPTION OF SYMBOLS 1 ... Rehabilitation support system, 100 ... Sensor, 200 ... Output device, 300 ... Rehabilitation support control device, 31 ... Input part, 32 ... Output part, 33 ... Storage part, 331 ... Calibration information storage part, 332 ... Determination condition information Storage unit 333 ... Detection history information storage unit 334 ... Parameter information storage unit 335 ... Program information storage unit 34 ... Control unit 341 ... Recognition unit 342 ... Display control unit 343 ... Motion region determination unit 344 ... Recording unit, 345 ... target determination unit, 346 ... evaluation unit, 347 ... foot display parameter setting unit, 348 ... hand display parameter setting unit, 349 ... disturbance display parameter setting unit, 35 ... operation unit, 36 ... display unit

Claims (7)

対象者を検出した結果を示す検出結果情報を取得する入力部と、
前記検出結果情報のうち、前記対象者のリハビリテーション動作が行われる動作領域に対応する前記対象者の体の一部に関する検出結果情報に基づいて、前記対象者の体の一部の位置を認識する認識部と、
前記動作領域に画像を表示する出力装置を制御して、前記対象者の体の一部の現在位置を示す画像を表示させる表示制御部と、
を備えるリハビリテーション支援制御装置。 An input unit for obtaining detection result information indicating a result of detecting the target person;
The position of the part of the subject's body is recognized based on the detection result information regarding the part of the subject's body corresponding to the motion region in which the subject's rehabilitation motion is performed. A recognition unit;
A display control unit that controls an output device that displays an image in the operation area, and displays an image indicating a current position of a part of the subject's body;
A rehabilitation support control device comprising: 前記表示制御部は、前記対象者の体の一部の位置の履歴を示す画像を前記出力装置に表示させる、請求項１に記載のリハビリテーション支援制御装置。 The rehabilitation support control device according to claim 1, wherein the display control unit causes the output device to display an image indicating a history of a position of a part of the subject's body. 前記対象者の体の一部の位置に基づいて前記対象者の体の一部の目標位置を決定する目標決定部を更に備え、
前記表示制御部は、前記目標位置に画像を表示するように前記出力装置を制御する、請求項１または請求項２に記載のリハビリテーション支援制御装置。 A target determining unit that determines a target position of a part of the subject's body based on a position of the part of the subject's body;
The rehabilitation support control device according to claim 1, wherein the display control unit controls the output device to display an image at the target position. 前記対象者の体の一部の位置と前記目標位置との相対的な位置関係を評価する評価部をさらに備え、
前記表示制御部は、前記評価部による評価結果を前記出力装置に表示させる、請求項３に記載のリハビリテーション支援制御装置。 An evaluation unit that evaluates a relative positional relationship between the position of a part of the subject's body and the target position;
The rehabilitation support control device according to claim 3 , wherein the display control unit causes the output device to display an evaluation result by the evaluation unit. 前記表示制御部は、前記対象者の体の一部の位置、及び、前記目標位置のうち少なくともいずれか一方に、前記評価部による評価結果を表示させる、請求項４に記載のリハビリテーション支援制御装置。 The rehabilitation support control device according to claim 4 , wherein the display control unit displays an evaluation result by the evaluation unit at at least one of a position of a part of the subject's body and the target position. . 前記対象者が行うリハビリテーションの内容に応じた動作領域が、所定の第一動作領域及び所定の第二動作領域のうちの何れであるかを判定する動作領域判定部をさらに備え、 前記認識部は、前記動作領域判定部の判定結果に基づいて前記第一動作領域又は前記第二動作領域に関連する前記体の一部の位置の動きを認識する、請求項１から請求項５のいずれか１項に記載のリハビリテーション支援制御装置。 A motion region determination unit that determines whether a motion region corresponding to the content of rehabilitation performed by the subject is a predetermined first motion region or a predetermined second motion region; recognizes the movement of the part of the position of the body associated with the first operating region or the second operation region on the basis of the operating area determination portion determination result, one of claims 1 to 5 1 The rehabilitation support control device according to item. 対象者を検出した結果を示す検出結果情報を取得する入力部と、
前記検出結果情報のうち、前記対象者のリハビリテーション動作が行われる動作領域に対応する前記対象者の体の一部に関する検出結果情報に基づいて、前記対象者の体の一部の位置を認識する認識部と、
前記動作領域に表示を行う出力装置を制御して、前記対象者の体の一部の現在位置を示す画像を表示させる表示制御部と、
を備えるリハビリテーション支援制御装置としてコンピュータを機能させるためのコンピュータプログラム。 An input unit for obtaining detection result information indicating a result of detecting the target person;
The position of the part of the subject's body is recognized based on the detection result information regarding the part of the subject's body corresponding to the motion region in which the subject's rehabilitation motion is performed. A recognition unit;
A display control unit that controls an output device that performs display in the operation area, and displays an image indicating a current position of a part of the subject's body;
A computer program for causing a computer to function as a rehabilitation support control device.
JP2016114823A 2016-06-08 2016-06-08 Rehabilitation support control device and computer program Active JP6377674B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016114823A JP6377674B2 (en) 2016-06-08 2016-06-08 Rehabilitation support control device and computer program
CN201780014732.8A CN109219426B (en) 2016-06-08 2017-06-06 Rehabilitation training assistance control device and computer-readable recording medium
PCT/JP2017/020949 WO2017213124A1 (en) 2016-06-08 2017-06-06 Rehabilitation assistance control device and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016114823A JP6377674B2 (en) 2016-06-08 2016-06-08 Rehabilitation support control device and computer program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018137942A Division JP6706649B2 (en) 2018-07-23 2018-07-23 Rehabilitation support device

Publications (2)

Publication Number Publication Date
JP2017217268A JP2017217268A (en) 2017-12-14
JP6377674B2 true JP6377674B2 (en) 2018-08-22

Family

ID=60577928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016114823A Active JP6377674B2 (en) 2016-06-08 2016-06-08 Rehabilitation support control device and computer program

Country Status (3)

Country Link
JP (1) JP6377674B2 (en)
CN (1) CN109219426B (en)
WO (1) WO2017213124A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020013021A1 (en) * 2018-07-13 2020-01-16 株式会社ニコン Detecting device, processing device, detecting method, and processing program
JP6706649B2 (en) * 2018-07-23 2020-06-10 パラマウントベッド株式会社 Rehabilitation support device
CN109999427A (en) * 2019-05-06 2019-07-12 上海机器人产业技术研究院有限公司 A kind of upper-limbs rehabilitation training robot based on mobile platform
JP6714285B1 (en) * 2019-07-31 2020-06-24 株式会社ｍｅｄｉＶＲ Rehabilitation support device and rehabilitation support method
JP2022024766A (en) * 2020-07-28 2022-02-09 トヨタ自動車株式会社 Training system, training method, and program

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3200592B2 (en) * 1999-01-14 2001-08-20 株式会社エイ・ティ・アール知能映像通信研究所 Walking sensation generator
JP4581087B2 (en) * 2005-01-31 2010-11-17 国立大学法人九州工業大学 Walking training support device
AU2008299883B2 (en) * 2007-09-14 2012-03-15 Facebook, Inc. Processing of gesture-based user interactions
JP2011110215A (en) * 2009-11-26 2011-06-09 Toyota Motor Kyushu Inc Rehabilitation system, program and computer-readable recording medium recording program
JP2012022496A (en) * 2010-07-14 2012-02-02 Sd Associates Inc Computer operation system with image recognition
WO2012039467A1 (en) * 2010-09-22 2012-03-29 パナソニック株式会社 Exercise assistance system
EP2646948B1 (en) * 2010-09-30 2018-11-14 Orange User interface system and method of operation thereof
CN102074018B (en) * 2010-12-22 2013-03-20 Tcl集团股份有限公司 Depth information-based contour tracing method
US9011293B2 (en) * 2011-01-26 2015-04-21 Flow-Motion Research And Development Ltd. Method and system for monitoring and feed-backing on execution of physical exercise routines
JP5628092B2 (en) * 2011-05-25 2014-11-19 富士フイルム株式会社 Image processing apparatus, radiation image capturing system, image processing program, and operation method of image processing apparatus
JP2013172897A (en) * 2012-02-27 2013-09-05 Univ Of Tsukuba Display device type rehabilitation support device and method for controlling the rehabilitation support device
JP2013206373A (en) * 2012-03-29 2013-10-07 Hitachi Solutions Ltd Interactive display device
DE102012209359A1 (en) * 2012-06-04 2013-12-05 Zebris Medical Gmbh Arrangement and method for training the gait
JP2014094022A (en) * 2012-11-07 2014-05-22 Panasonic Corp Image display program, electronic device, massage device, and massage system
JP2014102183A (en) * 2012-11-21 2014-06-05 Ricoh Co Ltd Image processing apparatus and image processing system

Also Published As

Publication number Publication date
CN109219426B (en) 2020-11-13
JP2017217268A (en) 2017-12-14
WO2017213124A1 (en) 2017-12-14
CN109219426A (en) 2019-01-15

Similar Documents

Publication Publication Date Title
JP6377674B2 (en) Rehabilitation support control device and computer program
US20150140534A1 (en) Apparatus and method for gait training
CN111093782A (en) Scoring method, scoring program, and scoring device
KR101645693B1 (en) Apparatus and method for simulation golf putting using virtual cross stripes
JP6771996B2 (en) Systems and methods for real-time interactive operation of the user interface
US20200179759A1 (en) Display method, information processing apparatus, and computer-readable recording medium
US11027195B2 (en) Information processing apparatus, information processing method, and program
KR20170010157A (en) Method for guiding actions of an user in interactive exercise programs and the apparatus thereof
JP6694333B2 (en) Rehabilitation support control device and computer program
JP2018050989A (en) Rehabilitation support device
KR20160076488A (en) Apparatus and method of measuring the probability of muscular skeletal disease
KR20130030117A (en) Character image processing apparatus and method for footstake clean up in real time animation
JP6623122B2 (en) Rehabilitation support control device and computer program
JP6744139B2 (en) Rehabilitation support control device and computer program
JP6706649B2 (en) Rehabilitation support device
JP6310255B2 (en) Method and apparatus for presenting options
JP6441417B2 (en) Rehabilitation support system and computer program
JP2016077346A (en) Motion support system, motion support method, and motion support program
US20200060610A1 (en) Walking sense presentation device and presentation method
JP6625486B2 (en) Rehabilitation support control device and computer program
US20040059264A1 (en) Footprint analyzer
JP2019024579A (en) Rehabilitation support system, rehabilitation support method, and program
JP6430441B2 (en) Rehabilitation support system and computer program
JP6694491B2 (en) Rehabilitation support system and computer program
JP2017217276A (en) Rehabilitation support control apparatus and computer program

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171019

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180725

R150 Certificate of patent or registration of utility model

Ref document number: 6377674

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250