JP7036476B1 - Cognitive ability estimation device, its method and program - Google Patents

Abstract

【課題】ユーザの認知能力を精度良く評価すること。
【解決手段】３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御部と、
目標オブジェクトの仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定部と、
目標オブジェクトに対する身体動作をユーザが達成できた場合に、当該目標オブジェクトの属性に応じて、ユーザの認知能力レベルを推定する推定部と、
を備えた認知能力推定装置。
【選択図】 図１

PROBLEM TO BE SOLVED: To accurately evaluate a user's cognitive ability.
A display control unit that creates and displays a target object in a virtual space for encouraging a user to perform three-dimensional body movements.
A setting unit for setting at least one of the movement speed, the number of displays, the size, the display position, and the display interval as attributes in the virtual space of the target object.
An estimation unit that estimates the user's cognitive ability level according to the attributes of the target object when the user can achieve physical movements with respect to the target object.
A cognitive ability estimation device equipped with.
[Selection diagram] Fig. 1

Description

本発明は、認知能力推定装置、その方法およびプログラムに関する。 The present invention relates to a cognitive ability estimator, a method and a program thereof.

上記技術分野において、特許文献１には、患者のリハビリテーションを支援する技術が開示されている。 In the above technical field, Patent Document 1 discloses a technique for supporting patient rehabilitation.

特開２０１５－２２８９５７号公報Japanese Unexamined Patent Publication No. 2015-228957

しかしながら、上記文献に記載の技術では、段落００１３に、「治療の進捗、すなわち運動機能の回復を直観的に把握したり、必要に応じて現在の動作に反映させたりできる。」と書かれている通り、「運動機能の回復」を治療目的としている。そのため、従来の技術では、認知機能判定を行うことはなかった。 However, in the technique described in the above document, it is written in paragraph 0013 that "the progress of treatment, that is, the recovery of motor function can be intuitively grasped and, if necessary, reflected in the current movement." As you can see, the therapeutic purpose is "recovery of motor function". Therefore, in the conventional technique, the cognitive function is not determined.

本発明の目的は、上述の課題を解決する技術を提供することにある。 An object of the present invention is to provide a technique for solving the above-mentioned problems.

上記目的を達成するため、本発明に係る装置は、
３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御部と、
前記目標オブジェクトの前記仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定部と、
前記目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合に、当該目標オブジェクトの前記属性に応じて、前記ユーザの認知能力レベルを推定する推定部と、
を備え、
前記推定部は、基準値から、前記仮想空間における前記目標オブジェクトの表示数に応じた値を減算して、前記認知能力レベルを推定する認知能力推定装置である。
上記目的を達成するため、本発明に係る他の装置は、
３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御部と、
前記目標オブジェクトの前記仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定部と、
前記目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合に、当該目標オブジェクトの前記属性に応じて、前記ユーザの認知能力レベルを推定する推定部と、
を備え、
前記推定部は、基準値から、前記目標オブジェクトの前記仮想空間における移動速度に応じた値を減算して、前記認知能力レベルを推定する認知能力推定装置である。
上記目的を達成するため、本発明に係る他の装置は、
３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御部と、
前記目標オブジェクトの前記仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定部と、
前記目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合に、当該目標オブジェクトの前記属性に応じて、前記ユーザの認知能力レベルを推定する推定部と、
を備え、
前記推定部は、基準値から、前記目標オブジェクトが生成される前記仮想空間における背景の複雑さに応じた値を減算して、前記認知能力レベルを推定する認知能力推定装置である。
上記目的を達成するため、本発明に係る他の装置は、
３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御部と、
前記目標オブジェクトの前記仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定部と、
前記目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合に、当該目標オブジェクトの前記属性に応じて、前記ユーザの認知能力レベルを推定する推定部と、
を備え、
前記推定部は、基準値から、前記仮想空間における前記目標オブジェクトの移動方向に応じた値を減算して、前記認知能力レベルを推定する認知能力推定装置である。 上記目的を達成するため、本発明に係る他の装置は、
３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御部と、
前記目標オブジェクトの前記仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定部と、
前記目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合に、当該目標オブジェクトの前記属性に応じて、前記ユーザの認知能力レベルを推定する推定部と、
を備え、
前記推定部は、基準値から、前記仮想空間における前記目標オブジェクトの大きさに応じた値を減算して、前記認知能力レベルを推定する認知能力推定装置である。
上記目的を達成するため、本発明に係る他の装置は、
３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御部と、
前記目標オブジェクトの前記仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定部と、
前記目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合に、当該目標オブジェクトの前記属性に応じて、前記ユーザの認知能力レベルを推定する推定部と、
を備え、
前記推定部は、基準値から、前記仮想空間における前記目標オブジェクトの出現範囲の大きさに応じた値を減算して、前記認知能力レベルを推定する認知能力推定装置である。 In order to achieve the above object, the apparatus according to the present invention is
A display control unit that creates and displays a target object in virtual space to encourage the user to perform three-dimensional body movements.
A setting unit for setting at least one of a moving speed, a number of displays, a size, a display position, and a display interval as attributes of the target object in the virtual space.
An estimation unit that estimates the cognitive ability level of the user according to the attribute of the target object when the user can achieve the physical movement with respect to the target object.
Equipped with
The estimation unit is a cognitive ability estimation device that estimates the cognitive ability level by subtracting a value corresponding to the number of display of the target object in the virtual space from the reference value .
In order to achieve the above object, other devices according to the present invention may be used.
A display control unit that creates and displays a target object in virtual space to encourage the user to perform three-dimensional body movements.
A setting unit for setting at least one of a moving speed, a number of displays, a size, a display position, and a display interval as attributes of the target object in the virtual space.
An estimation unit that estimates the cognitive ability level of the user according to the attribute of the target object when the user can achieve the physical movement with respect to the target object.
Equipped with
The estimation unit is a cognitive ability estimation device that estimates the cognitive ability level by subtracting a value corresponding to the moving speed of the target object in the virtual space from the reference value.
In order to achieve the above object, other devices according to the present invention may be used.
A display control unit that creates and displays a target object in virtual space to encourage the user to perform three-dimensional body movements.
A setting unit for setting at least one of a moving speed, a number of displays, a size, a display position, and a display interval as attributes of the target object in the virtual space.
An estimation unit that estimates the cognitive ability level of the user according to the attribute of the target object when the user can achieve the physical movement with respect to the target object.
Equipped with
The estimation unit is a cognitive ability estimation device that estimates the cognitive ability level by subtracting a value corresponding to the complexity of the background in the virtual space in which the target object is generated from the reference value.
In order to achieve the above object, other devices according to the present invention may be used.
A display control unit that creates and displays a target object in virtual space to encourage the user to perform three-dimensional body movements.
A setting unit for setting at least one of a moving speed, a number of displays, a size, a display position, and a display interval as attributes of the target object in the virtual space.
An estimation unit that estimates the cognitive ability level of the user according to the attribute of the target object when the user can achieve the physical movement with respect to the target object.
Equipped with
The estimation unit is a cognitive ability estimation device that estimates the cognitive ability level by subtracting a value corresponding to the movement direction of the target object in the virtual space from the reference value. In order to achieve the above object, other devices according to the present invention may be used.
A display control unit that creates and displays a target object in virtual space to encourage the user to perform three-dimensional body movements.
A setting unit for setting at least one of a moving speed, a number of displays, a size, a display position, and a display interval as attributes of the target object in the virtual space.
An estimation unit that estimates the cognitive ability level of the user according to the attribute of the target object when the user can achieve the physical movement with respect to the target object.
Equipped with
The estimation unit is a cognitive ability estimation device that estimates the cognitive ability level by subtracting a value corresponding to the size of the target object in the virtual space from the reference value.
In order to achieve the above object, other devices according to the present invention may be used.
A display control unit that creates and displays a target object in virtual space to encourage the user to perform three-dimensional body movements.
A setting unit for setting at least one of a moving speed, a number of displays, a size, a display position, and a display interval as attributes of the target object in the virtual space.
An estimation unit that estimates the cognitive ability level of the user according to the attribute of the target object when the user can achieve the physical movement with respect to the target object.
Equipped with
The estimation unit is a cognitive ability estimation device that estimates the cognitive ability level by subtracting a value corresponding to the size of the appearance range of the target object in the virtual space from the reference value.

上記目的を達成するため、本発明に係る方法は、
ユーザの認知能力レベルを推定する認知能力推定方法であって、
表示制御部が３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御ステップと、
設定部が前記目標オブジェクトの前記仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定ステップと、
推定部が前記目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合に、当該目標オブジェクトの前記属性に応じて、前記ユーザの認知能力レベルを推定する推定ステップと、
を認知能力推定システムに実行させる認知能力推定方法であって、
前記推定ステップは、基準値から、
前記仮想空間における前記目標オブジェクトの表示数に応じた値、
前記目標オブジェクトの前記仮想空間における移動速度に応じた値、
前記目標オブジェクトが生成される前記仮想空間における背景の複雑さに応じた値、
前記仮想空間における前記目標オブジェクトの移動方向に応じた値、
前記仮想空間における前記目標オブジェクトの大きさに応じた値、及び、
前記仮想空間における前記目標オブジェクトの出現範囲の大きさに応じた値、
の少なくともいずれか１つを減算して、前記認知能力レベルを推定する認知能力推定方法である。 In order to achieve the above object, the method according to the present invention
It is a cognitive ability estimation method that estimates the cognitive ability level of the user.
A display control step in which the display control unit creates and displays a target object in the virtual space to encourage the user to perform three-dimensional body movements.
A setting step for the setting unit to set at least one of the moving speed, the number of displays, the size, the display position, and the display interval as the attributes of the target object in the virtual space.
An estimation step in which the estimation unit estimates the cognitive ability level of the user according to the attribute of the target object when the user can achieve the physical movement with respect to the target object.
Is a cognitive ability estimation method that causes the cognitive ability estimation system to execute
The estimation step is performed from the reference value.
A value according to the number of display of the target object in the virtual space,
A value according to the moving speed of the target object in the virtual space,
A value according to the complexity of the background in the virtual space where the target object is generated,
A value according to the moving direction of the target object in the virtual space,
A value according to the size of the target object in the virtual space, and
A value according to the size of the appearance range of the target object in the virtual space,
It is a cognitive ability estimation method for estimating the cognitive ability level by subtracting at least one of the above.

上記目的を達成するため、本発明に係るプログラムは、
３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御ステップと、
前記目標オブジェクトの前記仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定ステップと、
前記目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合に、当該目標オブジェクトの前記属性に応じて、前記ユーザの認知能力レベルを推定する推定ステップと、
をコンピュータに実行させる認知能力推定プログラムであって、
前記推定ステップは、基準値から、
前記仮想空間における前記目標オブジェクトの表示数に応じた値、
前記目標オブジェクトの前記仮想空間における移動速度に応じた値、
前記目標オブジェクトが生成される前記仮想空間における背景の複雑さに応じた値、
前記仮想空間における前記目標オブジェクトの移動方向に応じた値、
前記仮想空間における前記目標オブジェクトの大きさに応じた値、及び、
前記仮想空間における前記目標オブジェクトの出現範囲の大きさに応じた値、
の少なくともいずれか１つを減算して、前記認知能力レベルを推定する認知能力推定プログラムである。 In order to achieve the above object, the program according to the present invention
A display control step that creates and displays a target object in virtual space to encourage the user to perform three-dimensional body movements.
A setting step for setting at least one of a moving speed, a number of displays, a size, a display position, and a display interval as attributes of the target object in the virtual space.
An estimation step for estimating the cognitive ability level of the user according to the attribute of the target object when the user can achieve the physical movement with respect to the target object.
Is a cognitive ability estimation program that causes a computer to execute
The estimation step is performed from the reference value.
A value according to the number of display of the target object in the virtual space,
A value according to the moving speed of the target object in the virtual space,
A value according to the complexity of the background in the virtual space where the target object is generated,
A value according to the moving direction of the target object in the virtual space,
A value according to the size of the target object in the virtual space, and
A value according to the size of the appearance range of the target object in the virtual space,
It is a cognitive ability estimation program that estimates the cognitive ability level by subtracting at least one of the above.

本発明によれば、ユーザの認知能力を精度良く評価できる。 According to the present invention, the cognitive ability of the user can be evaluated with high accuracy.

第１実施形態に係る認知能力推定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the cognitive ability estimation apparatus which concerns on 1st Embodiment. 第２実施形態に係るリハビリテーション支援システムの構成を示すブロック図である。It is a block diagram which shows the structure of the rehabilitation support system which concerns on 2nd Embodiment. 第２実施形態に係るリハビリテーション支援システムの操作パネル画面の一例を示す図である。It is a figure which shows an example of the operation panel screen of the rehabilitation support system which concerns on 2nd Embodiment. 第２実施形態に係るリハビリテーション支援システムのタスクデータテーブルの一例を示す図である。It is a figure which shows an example of the task data table of the rehabilitation support system which concerns on 2nd Embodiment. 第２実施形態に係るリハビリテーション支援システムのヘッドマウントディスプレイでの表示画面の一例を示す図である。It is a figure which shows an example of the display screen in the head-mounted display of the rehabilitation support system which concerns on 2nd Embodiment. 第２実施形態に係るリハビリテーション支援システムのヘッドマウントディスプレイでの表示画面の一例を示す図である。It is a figure which shows an example of the display screen in the head-mounted display of the rehabilitation support system which concerns on 2nd Embodiment. 第２実施形態に係るリハビリテーション支援システムのヘッドマウントディスプレイでの表示画面の一例を示す図である。It is a figure which shows an example of the display screen in the head-mounted display of the rehabilitation support system which concerns on 2nd Embodiment. 第２実施形態に係るリハビリテーション支援システムのヘッドマウントディスプレイでの表示画面の一例を示す図である。It is a figure which shows an example of the display screen in the head-mounted display of the rehabilitation support system which concerns on 2nd Embodiment. 第２実施形態に係るリハビリテーション支援システムの認知能力推定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the cognitive ability estimation processing of the rehabilitation support system which concerns on 2nd Embodiment. 第２実施形態に係るリハビリテーション支援システムで推定された認知能力レベルに基づく、運転リスク評価および転倒リスク評価のための表の一例である。It is an example of a table for driving risk assessment and fall risk assessment based on the cognitive ability level estimated by the rehabilitation support system according to the second embodiment.

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。 Hereinafter, embodiments of the present invention will be described in detail exemplary with reference to the drawings. However, the components described in the following embodiments are merely examples, and the technical scope of the present invention is not limited to them.

［前提技術］
認知レベルを評価する指標として、MMSE (Mini-Mental State Examination:ミニメンタルステート検査)、 HDS-R（Hasegawa's Dementia Scale-Revised:改訂長谷川式認知症スケール）、MoCA（Montreal Cognitive Assessment)、TMT（Trail-Making Test)、FAB（Frontal Assessment Battery)等、数多くの指標が存在する。
しかしこれらの指標はユーザーに質問や紙面上での課題を要求するため、言語的な要素を要したり、識字力や書字能力等純粋な認知とは関係のない要素を多く含んだ評価指標とならざるを得ないという課題があった。
あるいは正確性を追求すると検査に要する時間が15～20分以上必要となる。また、短期間で検査を繰り返すことで質問課題の回答を学習してしまうという問題もある。あるいは軽症例の場合は検査結果に認知機能が反映されにくいといったようないわゆる天井効果が存在する。このように、特定の範囲の認知レベルの評価にしか用いることができないという多くの問題点があった。
したがって、識字力や書字能力、あるいは言語に依存せず、短期間で行え、様々な認知能力レベルを推定でき、繰り返し検査によって被験者が回答を知ってしまうという状態を回避できるような認知能力の評価方法が望まれている。
このような手法が確立されれば、推定した認知機能に応じたトレーニングを連続的に行えるようになり、認知能力の機能改善の確立にも有効となることが期待される（https://www.neurology-jp.org/guidelinem/degl/degl_2017_02.pdfの26ページ）。 [Prerequisite technology]
MMSE (Mini-Mental State Examination), HDS-R (Hasegawa's Dementia Scale-Revised), MoCA (Montreal Cognitive Assessment), TMT (Trail) -There are many indicators such as Making Test) and FAB (Frontal Assessment Battery).
However, since these indicators require users to ask questions and issues on paper, they require linguistic elements and are evaluation indicators that include many elements that are not related to pure cognition, such as literacy and writing ability. There was a problem that it had to be.
Alternatively, pursuing accuracy requires 15 to 20 minutes or more for the inspection. In addition, there is a problem that the answer to the question is learned by repeating the examination in a short period of time. Alternatively, in mild cases, there is a so-called ceiling effect such that cognitive function is difficult to be reflected in the test results. Thus, there are many problems that it can be used only for the evaluation of the cognitive level in a specific range.
Therefore, it does not depend on literacy, writing ability, or language, it can be done in a short period of time, various cognitive ability levels can be estimated, and it is possible to avoid the situation where the subject knows the answer by repeated tests. An evaluation method is desired.
If such a method is established, it will be possible to continuously perform training according to the estimated cognitive function, and it is expected to be effective in establishing the functional improvement of cognitive ability (https: // www). .neurology-jp.org/guidelinem/degl/degl_2017_02.pdf, page 26).

［第１実施形態］
本発明の第１実施形態としての認知能力推定装置１００について、図１を用いて説明する。認知能力推定装置１００は、ユーザの認知能力レベルを推定する装置である。 [First Embodiment]
The cognitive ability estimation device 100 as the first embodiment of the present invention will be described with reference to FIG. The cognitive ability estimation device 100 is a device that estimates the cognitive ability level of the user.

図１に示すように、認知能力推定装置１００は、表示制御部１０１と、設定部１０２と、推定部１０３とを含む。 As shown in FIG. 1, the cognitive ability estimation device 100 includes a display control unit 101, a setting unit 102, and an estimation unit 103.

表示制御部１０１は、３次元的な身体動作をユーザ１１０に促すための目標オブジェクト１５２を仮想空間１５０において生成し、表示する。 The display control unit 101 creates and displays a target object 152 in the virtual space 150 for prompting the user 110 to perform three-dimensional body movements.

設定部１０２は、目標オブジェクト１５２の仮想空間１５０における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定することができる。 The setting unit 102 can set at least one of the movement speed, the number of displays, the size, the display position, and the display interval as attributes in the virtual space 150 of the target object 152.

推定部１０３は、目標オブジェクト１５２に対する身体動作をユーザ１１０が達成できた場合に、その目標オブジェクト１５２の属性に応じて、ユーザ１１０の認知能力レベルを推定する。認知能力レベルの推定は、１回毎の身体動作を1課題として、１回の課題に基づいて行っても、複数の課題の結果に基づいて行ってもよい。 When the user 110 can achieve the body movement with respect to the target object 152, the estimation unit 103 estimates the cognitive ability level of the user 110 according to the attribute of the target object 152. The cognitive ability level may be estimated based on one task or based on the results of a plurality of tasks, with each physical movement as one task.

以上の構成により、ユーザの認知能力レベルをより精度高く推定することが可能となる。 With the above configuration, it is possible to estimate the cognitive ability level of the user with higher accuracy.

［第２実施形態］
本発明の第２実施形態に係るリハビリテーション支援システム２００について、図２を用いて説明する。図２は、本実施形態に係るリハビリテーション支援システム２００の構成を説明するための図である。 [Second Embodiment]
The rehabilitation support system 200 according to the second embodiment of the present invention will be described with reference to FIG. FIG. 2 is a diagram for explaining the configuration of the rehabilitation support system 200 according to the present embodiment.

図２に示すように、リハビリテーション支援システム２００は、リハビリテーション支援装置２１０と、２つのベースステーション２３１、２３２と、ヘッドマウントディスプレイ２３３と、２つのコントローラ２３４、２３５とを備える。ユーザ２２０は、椅子２２１に座りながら、ヘッドマウントディスプレイ２３３の表示に合わせて、上半身をねじったり、手を伸ばしたりすることでリハビリテーション動作を行なう。本実施形態では、椅子に座って行なうリハビリテーションを前提に説明するが、本発明はこれに限定されるものではなく、リハビリテーション動作を、立って行なっても、歩きながら行っても、ベッド上で行っても、仰臥位や腹臥位で行ってもよい。あるいはリハビリテーション動作を、走りながら、またはその他特定の動作や運動を行いながら行ってもよい。また、コントローラは足や体幹等、手以外の体の部位に保持、装着してもよい。 As shown in FIG. 2, the rehabilitation support system 200 includes a rehabilitation support device 210, two base stations 231 and 232, a head-mounted display 233, and two controllers 234 and 235. The user 220 performs a rehabilitation operation by twisting the upper body or reaching out according to the display of the head-mounted display 233 while sitting on the chair 221. In the present embodiment, the description will be made on the premise of rehabilitation performed while sitting on a chair, but the present invention is not limited to this, and the rehabilitation operation is performed on the bed regardless of whether the rehabilitation operation is performed while standing or walking. However, it may be performed in the supine or prone position. Alternatively, the rehabilitation movement may be performed while running or while performing other specific movements or exercises. Further, the controller may be held and attached to a body part other than the hand, such as a foot or a trunk.

２つのベースステーション２３１、２３２は、ヘッドマウントディスプレイ２３３の動きおよびコントローラ２３４、２３５の動きを検知して、リハビリテーション支援装置２１０に送る。リハビリテーション支援装置２１０は、ヘッドマウントディスプレイ２３３の動きに基づいて、ヘッドマウントディスプレイ２３３の表示制御を行なう。また、コントローラ２３４、２３５の動きに基づいて、ユーザ２２０のリハビリテーション動作を評価する。なお、ヘッドマウントディスプレイ２３３としては、非透過タイプでも、ビデオシースルータイプでも、オプティカルシースルータイプでも、あるいは眼鏡型でも構わない。本実施形態ではＶＲ（Virtual Reality）の仮想空間をユーザに提示するが、ＡＲ（Augmented Reality:拡張現実）のように、現実空間と仮想空間とを重畳表示してもよいし、ＭＲ（Mixed Reality:複合現実）のように、仮想空間に現実情報を反映させてもよいし、あるいはホログラム技術を代替手段として用いてもよい。 The two base stations 231 and 232 detect the movement of the head-mounted display 233 and the movement of the controllers 234 and 235 and send them to the rehabilitation support device 210. The rehabilitation support device 210 controls the display of the head-mounted display 233 based on the movement of the head-mounted display 233. Further, the rehabilitation operation of the user 220 is evaluated based on the movement of the controller 234 and 235. The head-mounted display 233 may be a non-transmissive type, a video see-through type, an optical see-through type, or a glasses type. In this embodiment, a virtual space of VR (Virtual Reality) is presented to the user, but as in AR (Augmented Reality), the real space and the virtual space may be superimposed and displayed, or MR (Mixed Reality) may be superimposed. (Mixed reality), real information may be reflected in virtual space, or hologram technology may be used as an alternative means.

本実施形態では、ユーザの手や頭の位置または動作を検出するためのセンサの一例として、ユーザ２２０が手に持つコントローラ２３４、２３５や、ベースステーション２３１、２３２を示しているが、本発明はこれに限定されるものではない。ユーザの手そのものの位置または動作を画像認識処理により検出するためのカメラ（深度センサを含む）や、温度によりユーザの手の位置を検出するためのセンサを用いても良い。さらに、ユーザの腕に装着させる腕時計型のウェアラブル端末などや、モーションキャプチャなども、動作検出部２１１と連動させることで本発明に適用可能である。つまり、キネクト（登録商標）等の三次元トラッキング装置や動作分析装置を用いたり、体にマーカー等を装着して行うことも一つの実施形態となる。 In the present embodiment, as an example of the sensor for detecting the position or movement of the user's hand or head, the controller 234, 235 and the base stations 231 and 232 held by the user 220 are shown, but the present invention shows the present invention. It is not limited to this. A camera (including a depth sensor) for detecting the position or operation of the user's hand itself by image recognition processing, or a sensor for detecting the position of the user's hand by temperature may be used. Further, a wristwatch-type wearable terminal worn on the user's arm, motion capture, and the like can also be applied to the present invention by interlocking with the motion detection unit 211. That is, one embodiment is to use a three-dimensional tracking device such as Kinect (registered trademark) or a motion analysis device, or to attach a marker or the like to the body.

リハビリテーション支援装置２１０は、動作検出部２１１、表示制御部２１２、２１３、フィードバック部２１４、評価更新部２１５、タスクセットデータベース２１６、設定部２１７、推定部２１８、記憶部２１９を備える。 The rehabilitation support device 210 includes an operation detection unit 211, a display control unit 212, 213, a feedback unit 214, an evaluation update unit 215, a task set database 216, a setting unit 217, an estimation unit 218, and a storage unit 219.

動作検出部２１１は、ユーザ２２０が手に持つコントローラ２３４、２３５の位置をベースステーション２３１、２３２を介して取得し、ユーザ２２０の手の位置の変化によりユーザ２２０のリハビリテーション動作を検出する。 The motion detection unit 211 acquires the positions of the controllers 234 and 235 held by the user 220 via the base stations 231 and 232, and detects the rehabilitation motion of the user 220 by changing the position of the user 220's hand.

表示制御部２１２は、３次元的な身体動作をユーザ２２０に促すための目標オブジェクト２４２を仮想空間２４０において生成し、表示する。特に、表示制御部２１２は、検出したリハビリテーション動作に応じて動くアバターオブジェクト２４１と、リハビリテーション動作の目標を示す目標オブジェクト２４２と、を仮想空間内に生成する。そして、それらのアバターオブジェクト２４１および目標オブジェクト２４２の画像を、動作検出部２１１が検出したヘッドマウントディスプレイ２３３の向きおよび位置に応じて、表示画面２４０に表示させる。アバターオブジェクト２４１および目標オブジェクト２４２の画像は、背景画像２４３に重畳表示される。ここでは、アバターオブジェクト２４１は、コントローラ２３４、２３５と同じ形状をしているがこれに限定されるものではなく、さらに左右で大きさや形状、色を変えたりしてもよい。アバターオブジェクト２４１は、コントローラ２３４、２３５の動きに合わせて表示画面２４０中を動く。コントローラ２３４、２３５には１つ以上のボタンが用意されており、ボタンを操作することにより原点設定などの初期設定を含む各種設定を行うことができるように構成されている。ボタン機能を無効にすることもでき、ボタンそのものを配置しないで、全ての設定を別途外部の操作部を用いて実行するように構成してもよい。背景画像２４３は、地平線２４４と、地表面画像２４５とを含んだ仮想空間から切り出したものである。 The display control unit 212 creates and displays a target object 242 in the virtual space 240 for prompting the user 220 to perform three-dimensional body movements. In particular, the display control unit 212 generates an avatar object 241 that moves according to the detected rehabilitation motion and a target object 242 that indicates the target of the rehabilitation motion in the virtual space. Then, the images of the avatar object 241 and the target object 242 are displayed on the display screen 240 according to the orientation and position of the head-mounted display 233 detected by the motion detection unit 211. The images of the avatar object 241 and the target object 242 are superimposed and displayed on the background image 243. Here, the avatar object 241 has the same shape as the controller 234 and 235, but is not limited to this, and the size, shape, and color may be changed on the left and right. The avatar object 241 moves in the display screen 240 according to the movement of the controller 234 and 235. The controller 234 and 235 are provided with one or more buttons, and are configured to be able to perform various settings including initial settings such as origin setting by operating the buttons. The button function can be disabled, and all the settings may be separately executed by using an external operation unit without arranging the button itself. The background image 243 is cut out from a virtual space including the horizon 244 and the ground surface image 245.

表示制御部２１２は、目標オブジェクト２４２を仮想空間内に生成し、ユーザ２２０の上方向から下方に向けて移動させる。これにより、ヘッドマウントディスプレイ２３３においては、表示位置および大きさが徐々に変わるように（例えば徐々に大きくなり、その後小さくなるように）表示される。ユーザ２２０は、コントローラ２３４、２３５を動かして、画面中のアバターオブジェクト２４１を、目標オブジェクト２４２に近づける。なお、目標オブジェクトの移動方向は、例えば床面方向から頭上方向へ上昇していくように表示させてもよい。また、上下方向の動きに加えて奥行き方向や左右方向への移動を含め、３次元的にどのような移動方法を伴ってもよいし、あるいは移動せずにある特定の座標位置に固定されていてもよい。 The display control unit 212 creates the target object 242 in the virtual space and moves the user 220 from the upper direction to the lower side. As a result, the head-mounted display 233 displays the display position and size so as to gradually change (for example, gradually increase and then decrease). The user 220 moves the controller 234 and 235 to bring the avatar object 241 on the screen closer to the target object 242. The moving direction of the target object may be displayed so as to rise from the floor surface direction to the overhead direction, for example. In addition to the vertical movement, it may be accompanied by any movement method in three dimensions, including the movement in the depth direction and the horizontal direction, or it is fixed at a specific coordinate position without moving. You may.

ユーザ２２０は、コントローラ２３４、２３５を動かして、画面中のアバターオブジェクト２４１を、目標オブジェクト２４２に近づける。アバターオブジェクト２４１が目標オブジェクト２４２にぶつかると、表示制御部２１２は目標オブジェクト２４２を消滅させ、フィードバック部２１４は、目標動作が達成されたとして、メッセージを表示する。具体的には、アバターオブジェクト２４１に含まれるセンサオブジェクトと目標オブジェクト２４２との最短距離が所定範囲内になると、目標達成となり、目標オブジェクト２４２は消滅する。このとき、アバターオブジェクト２４１に含まれるセンサオブジェクト（例えば、アバターオブジェクト２４１の中心点を含む球体オブジェクト）と目標オブジェクト２４２との最短距離が所定の閾値Ｓ１以下になれば目標の完全達成とする。そして完全達成の場合、「あっぱれ」と表示すると同時に対応する音声を出力してフィードバックする。同時に課題を達成した方の手で保持するコントローラ２３４，あるいは２３５を振動させてもよいし、嗅覚や味覚に対して刺激を与えてもよい。センサオブジェクトと目標オブジェクト２４２との距離がどこまで縮まったかによってリハビリテーション動作を３段階以上に分けて評価してもよい。また、目標オブジェクトを同時に仮想空間内に２つ以上生成し、表示してもよい。五感刺激に対する課題達成の報知は、動作種別に応じて等、いかように組み合わせて行ってもよい。アバターオブジェクト２４１に含まれるセンサオブジェクトと目標オブジェクト２４２との最短距離が閾値Ｓ１以上閾値Ｓ２以下であれば、目標の達成として「お見事」と表示すると同時に対応する音声を出力してフィードバックすればよい。なお、出力される音声は表示メッセージと同一のものでなくてもよく、例えば「ピローン」というような非言語的な効果音を用いてもよい。 The user 220 moves the controller 234 and 235 to bring the avatar object 241 on the screen closer to the target object 242. When the avatar object 241 collides with the target object 242, the display control unit 212 extinguishes the target object 242, and the feedback unit 214 displays a message assuming that the target operation has been achieved. Specifically, when the shortest distance between the sensor object included in the avatar object 241 and the target object 242 is within a predetermined range, the target is achieved and the target object 242 disappears. At this time, if the shortest distance between the sensor object included in the avatar object 241 (for example, a spherical object including the center point of the avatar object 241) and the target object 242 is equal to or less than a predetermined threshold value S1, the target is completely achieved. And in the case of complete achievement, "Appreciate" is displayed and at the same time, the corresponding voice is output and fed back. At the same time, the controller 234 or 235 held by the hand holding the task may be vibrated, or the sense of smell or taste may be stimulated. The rehabilitation operation may be evaluated in three or more stages depending on how close the distance between the sensor object and the target object 242 is. Further, two or more target objects may be generated and displayed in the virtual space at the same time. Notification of the achievement of the task for the five sense stimuli may be performed in any combination, such as according to the movement type. If the shortest distance between the sensor object included in the avatar object 241 and the target object 242 is the threshold value S1 or more and the threshold value S2 or less, "superb" may be displayed as the achievement of the target, and at the same time, the corresponding voice may be output and fed back. .. The output voice does not have to be the same as the display message, and a non-verbal sound effect such as "pillone" may be used.

表示制御部２１３は、レーダスクリーン画像２５０をヘッドマウントディスプレイ２３３の表示画面２４０に表示させる。レーダスクリーン画像２５０は、目標オブジェクト１５２の発生を報知するための報知画像である。レーダスクリーン画像２５０は、発生する目標オブジェクト２４２の位置が、仮想空間内の基準方向（ここでは椅子にまっすぐに腰掛けたユーザの正面方向となるように初期設定されている）に対して、相対的にどちらの方向であるかを報知する。レーダスクリーン画像２５０は、さらに、発生する目標オブジェクト２４２の位置が、ユーザ２２０からどの程度離れているかも報知する。なお、報知画像はレーダースクリーン画像に限定されず、文字や矢印、記号やイラスト、光や色の種類、強弱、点滅等によって報知されてもよい。また、報知方法は画像に限定されず、音声、振動または音声、振動、画像のいずれかの組み合わせによって行われてもよい。表示制御部２１３は、ユーザ２２０の頭の向きにかかわらず、レーダスクリーン画像２５０をヘッドマウントディスプレイ２３３の表示画面２４０の中央部分（例えば－５０度～５０度の範囲内）に表示させる。ただし表示部分は中央に限定されず、例えば画面の四隅や上端、下端、左端、右端の任意の場所でも構わない。 The display control unit 213 displays the radar screen image 250 on the display screen 240 of the head-mounted display 233. The radar screen image 250 is a notification image for notifying the occurrence of the target object 152. The radar screen image 250 shows that the position of the generated target object 242 is relative to the reference direction in the virtual space (here, it is initially set to be in front of the user sitting straight on the chair). Notifies which direction it is. The radar screen image 250 also informs how far the generated target object 242 is from the user 220. The notification image is not limited to the radar screen image, and may be notified by characters, arrows, symbols, illustrations, types of light and colors, strength, blinking, and the like. Further, the notification method is not limited to the image, and may be performed by voice, vibration, or a combination of voice, vibration, or an image. The display control unit 213 displays the radar screen image 250 in the central portion of the display screen 240 of the head-mounted display 233 (for example, within the range of -50 degrees to 50 degrees) regardless of the orientation of the head of the user 220. However, the display portion is not limited to the center, and may be any place such as the four corners, the upper end, the lower end, the left end, and the right end of the screen.

レーダスクリーン画像２５０は、上方から見たユーザの頭を表わす頭画像２５１と、頭画像２５１の周囲を複数のブロックに分割したブロック画像２５２と、ユーザの視野領域を示す視野領域画像としての扇型画像２５３と、を含む。目標オブジェクトの位置を示す目標位置画像は、ブロック画像２５２のどのブロックが着色または点滅、点灯されるかによって示される。これにより、ユーザ２２０は、自分が向いている方向に対して左側に目標オブジェクトがあるのか、右側に目標オブジェクトがあるのかを、知ることができる。なお、本実施形態では、ブロック画像２５２が固定されて、扇型画像２５３が動く構成としているが、本発明はこれに限定されるものではなく、扇型画像２５３や頭画像２５１を固定しつつ、ブロック画像２５２を頭の向きに応じて動かしてもよい。具体的には頭が左に向けば、ブロック画像２５２が右に回転する構成でもよい。 The radar screen image 250 includes a head image 251 showing the user's head viewed from above, a block image 252 in which the periphery of the head image 251 is divided into a plurality of blocks, and a fan shape as a field area image showing the user's field area. Includes image 253 and. The target position image showing the position of the target object is indicated by which block of the block image 252 is colored, blinked, or lit. As a result, the user 220 can know whether the target object is on the left side or the target object on the right side in the direction in which he / she is facing. In the present embodiment, the block image 252 is fixed and the fan-shaped image 253 moves, but the present invention is not limited to this, and the fan-shaped image 253 and the head image 251 are fixed. , The block image 252 may be moved according to the direction of the head. Specifically, if the head is turned to the left, the block image 252 may be rotated to the right.

フィードバック部２１４は、表示制御部２１２を介して、メッセージ種別を、リハビリテーション動作の評価に応じて変化させることが好ましい。例えば、センサオブジェクトが目標オブジェクト２４２の中心に接触すれば、「あっぱれ」と表示し、センサオブジェクトが目標オブジェクト２４２の中心の周囲部分のみに接触すれば「お見事」と表示するなどである。この目標オブジェクト２４２の大きさや、周囲部分の大きさは、設定部２１７により設定可能である。また、センサオブジェクトの大きさも設定部２１７により設定可能である。 It is preferable that the feedback unit 214 changes the message type according to the evaluation of the rehabilitation operation via the display control unit 212. For example, if the sensor object touches the center of the target object 242, it is displayed as "appreciate", and if the sensor object touches only the peripheral portion of the center of the target object 242, it is displayed as "superb". The size of the target object 242 and the size of the peripheral portion can be set by the setting unit 217. Further, the size of the sensor object can also be set by the setting unit 217.

フィードバック部２１４は、目標オブジェクト２４２に仮想的に触れたユーザに対して、五感（視覚、聴覚、触覚、味覚、嗅覚）のうち２つ以上の感覚を刺激するフィードバックを行う。センサオブジェクトが目標オブジェクト２４２の中心から所定距離内に入ったタイミング、または、センサオブジェクトが目標オブジェクト２４２と接触したタイミングとほぼ同時にフィードバックを行う（リアルタイムマルチチャネルバイオフィードバック）。それらのタイミングからフィードバックまでの遅延は、例えば１秒以内であれば効果が高く、ユーザの動作タイミングとフィードバックのタイミングとの間隔が近ければ近いほど（遅延が小さいほど）効果が大きい。フィードバック部２１４は、「あっぱれ！」という画像により、ユーザの視覚を刺激するフィードバックを行ないつつ、同時に、スピーカ２３６から出力する音声により、ユーザの聴覚を刺激するフィードバックを行なう。これら五感（視覚、聴覚、触覚、味覚、嗅覚）に対する刺激フィードバックは、1回の課題ごとにその達成の有無をユーザに報知するために行われる。 The feedback unit 214 provides feedback that stimulates two or more of the five senses (visual, auditory, tactile, taste, and odor) to the user who virtually touches the target object 242. Feedback is given almost simultaneously with the timing when the sensor object enters within a predetermined distance from the center of the target object 242 or the timing when the sensor object comes into contact with the target object 242 (real-time multi-channel biofeedback). The delay from those timings to the feedback is highly effective if it is within 1 second, for example, and the closer the interval between the user's operation timing and the feedback timing is (the smaller the delay), the greater the effect. The feedback unit 214 provides feedback that stimulates the user's vision with the image "Appreciate!", And at the same time, provides feedback that stimulates the user's hearing with the voice output from the speaker 236. Stimulation feedback for these five senses (visual, auditory, tactile, taste, and smell) is performed to notify the user of whether or not the task has been achieved for each task.

さらに、フィードバック部２１４は、「あっぱれ！」という画像でユーザ２２０の視覚を刺激するフィードバックと、スピーカから出力する音声でユーザ２２０の聴覚を刺激するフィードバックと、コントローラ２３４が振動することでユーザ２２０の触覚を刺激するフィードバックとを同時に出力させてもよい。また、フィードバック部２１４は、「あっぱれ！」という画像でユーザ２２０の視覚を刺激するフィードバックと、コントローラ２３４が振動することでユーザ２２０の触覚を刺激するフィードバックとの２種類のフィードバックのみを同時に出力させてもよい。あるいは、フィードバック部２１４は、「あっぱれ！」という音声でユーザ２２０の聴覚を刺激するフィードバックと、コントローラ２３４が振動することでユーザ２２０の触覚を刺激するフィードバックとの２種類のフィードバックのみを同時に出力させてもよい。 Further, the feedback unit 214 receives feedback that stimulates the user's vision with an image of "appreciate!", Feedback that stimulates the user's hearing with the sound output from the speaker, and the user 220's vibration due to the vibration of the controller 234. Feedback that stimulates the sense of touch may be output at the same time. Further, the feedback unit 214 simultaneously outputs only two types of feedback, that is, the feedback that stimulates the visual sense of the user 220 with the image "Appreciate!" And the feedback that stimulates the tactile sense of the user 220 by vibrating the controller 234. You may. Alternatively, the feedback unit 214 simultaneously outputs only two types of feedback, that is, the feedback that stimulates the user's hearing with the voice "Appreciate!" And the feedback that stimulates the user's tactile sensation when the controller 234 vibrates. You may.

このようにコントローラ２３４、２３５を動かすユーザ２２０の動作がリハビリテーション動作であり、ユーザ２２０が行なうべき１回のリハビリテーション動作を促す目標オブジェクトの表示をタスク、あるいは課題と呼ぶ。１つのタスクを表わす情報（タスクデータ）は、目標オブジェクト２４２の仮想空間２４０における属性としての、移動速度、表示数、大きさ、表示位置および表示間隔を少なくとも含む。タスクデータには、目標オブジェクトの出現方向（椅子の正面方向に対して右９０度、右４５度、正面、左４５度、左９０度）、目標オブジェクトまでの距離、目標オブジェクトの形状（大きさ）、出現位置（ユーザからの奥行方向距離）、出現間隔（時間間隔）、落下または上昇等の移動速度、目標オブジェクトの色、左右どちらのコントローラで取得すべきか、同時に出現する目標オブジェクトの数、センサオブジェクトの大きさなどが含まれてもよい。ユーザ２２０から目標オブジェクト２４２の落下位置までの奥行き方向の距離を連続的に設定してもよいし、例えば３段階のいずれかに設定してもよい。例えば、ユーザ２２０の直ぐそばに落下させたり、ユーザ２２０が大きく前のめりにならないと届かない位置に落下させたり、と変更することができる。これにより、ユーザに与える運動負荷、および空間認知能力、あるいは空間把握能力に対する負荷を制御することができる。 The operation of the user 220 who moves the controllers 234 and 235 in this way is a rehabilitation operation, and the display of a target object that encourages one rehabilitation operation to be performed by the user 220 is called a task or a task. The information (task data) representing one task includes at least the movement speed, the number of displays, the size, the display position, and the display interval as attributes in the virtual space 240 of the target object 242. The task data includes the appearance direction of the target object (90 degrees to the right, 45 degrees to the right, 45 degrees to the front, 45 degrees to the left, 90 degrees to the left), the distance to the target object, and the shape (size) of the target object. ), Appearance position (depth distance from the user), appearance interval (time interval), movement speed such as fall or ascent, color of target object, which controller should be acquired, number of target objects that appear at the same time, The size of the sensor object and the like may be included. The distance in the depth direction from the user 220 to the drop position of the target object 242 may be continuously set, or may be set to, for example, one of three stages. For example, it can be changed to drop it in the immediate vicinity of the user 220, or to drop it in a position where the user 220 cannot reach unless it leans forward. This makes it possible to control the exercise load given to the user and the load on the spatial cognitive ability or the spatial grasping ability.

評価更新部２１５は、ユーザ２２０が達成したタスクの量および質に応じて、ユーザのリハビリテーション動作を評価し、ポイントを加算する。ここで達成したタスクの質とは、「あっぱれ」か「お見事」か、つまり、どこまで目標オブジェクトにアバターオブジェクトを近づけることができたかを含む。評価更新部２１５は、達成したタスクに対して、それぞれ、異なるポイント（遠いオブジェクトには高いポイント、近いオブジェクトには低いポイント）を付与する。評価更新部２１５は、積算されたポイントに応じて、タスクを更新することができる。例えば、課題達成率（目標達成数／課題数）などを用いてタスク（目標オブジェクトの属性）を更新してもよい。評価更新部２１５は、動作検出部２１１が検出したリハビリテーション動作と、表示制御部２１２によって表示された目標オブジェクトが表わす目標位置とを比較して、ユーザ２２０のリハビリテーション能力を評価する。具体的には、動作検出部２１１が検出したリハビリテーション動作に対応して移動するアバターオブジェクト２４１と目標オブジェクト２４２とが重なったか否かを、３次元仮想空間中の位置の比較により決定する。これらが重なれば、一つのリハビリテーション動作をクリアしたものと評価し、ポイントを加算する。表示制御部２１２は、目標オブジェクト２４２を、奥行き方向について異なる位置（例えば３段階の位置）に出現させることができる。評価更新部２１５は、それぞれ、異なるポイント（遠いオブジェクトには高いポイント、近いオブジェクトには低いポイント）を付与する。 The evaluation update unit 215 evaluates the user's rehabilitation operation according to the quantity and quality of the tasks achieved by the user 220, and adds points. The quality of the task achieved here includes whether it is "appreciative" or "superb", that is, how close the avatar object was to the target object. The evaluation update unit 215 assigns different points (high points to distant objects, low points to near objects) to the completed tasks. The evaluation update unit 215 can update the task according to the accumulated points. For example, the task (attribute of the target object) may be updated using the task achievement rate (number of goals achieved / number of tasks). The evaluation update unit 215 evaluates the rehabilitation ability of the user 220 by comparing the rehabilitation operation detected by the motion detection unit 211 with the target position represented by the target object displayed by the display control unit 212. Specifically, whether or not the avatar object 241 moving in response to the rehabilitation motion detected by the motion detection unit 211 and the target object 242 overlap is determined by comparing the positions in the three-dimensional virtual space. If these overlap, it is evaluated that one rehabilitation operation has been cleared, and points are added. The display control unit 212 can make the target object 242 appear at different positions (for example, three stages of positions) in the depth direction. The evaluation update unit 215 assigns different points (high points to distant objects and low points to near objects).

評価更新部２１５は、積算されたポイントに応じて、目標課題を更新する。例えば、課題達成率（目標達成数／課題数）などを用いて目標課題を更新してもよい。 The evaluation update unit 215 updates the target task according to the accumulated points. For example, the target task may be updated using the task achievement rate (number of goals achieved / number of tasks).

タスクセットデータベース２１６は、複数のタスクのセットを格納している。タスクとは、ユーザが行なうべき１回のリハビリテーション動作を示す。具体的には、１つのタスクを表わす情報として、どの位置にどのような速度で、どのような大きさの目標オブジェクトを出現させたか、その際、アバターオブジェクトはどのような大きさだったかなどを格納している。タスクセットデータベース２１６は、そのような複数のタスクをどのような順番でユーザに提供するかを決めるタスクセットを格納している。例えば、病院毎のテンプレートとしてタスクセットを格納してもよいし、実行したタスクセットの履歴をユーザごとに格納してもよい。リハビリテーション支援装置２１０は、インターネットを介して他のリハビリテーション支援装置と通信可能に構成されていてもよい。その場合、１つのタスクセットを、同じユーザが複数の場所で実行することもできるし、様々なテンプレートを離れた複数のユーザ同士で共有することもできる。 The task set database 216 stores a set of a plurality of tasks. A task indicates a single rehabilitation operation that a user should perform. Specifically, as information representing one task, the position, speed, and size of the target object that appeared, and the size of the avatar object at that time, etc. It is stored. The task set database 216 stores a task set that determines in what order the plurality of such tasks are provided to the user. For example, the task set may be stored as a template for each hospital, or the history of the executed task set may be stored for each user. The rehabilitation support device 210 may be configured to be able to communicate with other rehabilitation support devices via the Internet. In that case, one task set can be executed by the same user at a plurality of locations, or various templates can be shared by a plurality of distant users.

設定部２１７は、目標オブジェクト２４２の仮想空間２４０における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定する。推定部２１８は、目標オブジェクト２４２に対する身体動作をユーザ２２０が達成できた場合に、当該目標オブジェクト２４２の属性に応じて、ユーザ２２０の認知能力レベルを推定する。設定部２１７は、目標オブジェクト２４２の発生を報知したタイミングから、目標オブジェクト２４２を発生させるタイミングまでの遅延時間を設定してもよく、これによりユーザ２２０に対して与える認知的な負荷を制御することができる。つまり、ユーザは、レーダスクリーン画像２５０などによって目標オブジェクトが発生する仮想空間内の位置（ヘッドマウントディスプレイをどの方向に向ければ表示されるかを表す位置）を知ってから、実際に目標オブジェクトが発生するまでの時間、自分が行なうべき動作を継続的に記憶保持しなければならない。この「記憶時間」が、ユーザにとっての認知負荷となる。また設定部２１７は、「目標オブジェクト１５２を発生させるタイミングまで」ではなく、「目標オブジェクト１５２がユーザ２２０の届く範囲に接近するまで」の時間を変更することにより、認知的な負荷を制御してもよい。設定部２１７は、目標オブジェクト２４２以外の背景画像２４３をヘッドマウントディスプレイ２３３に表示させることにより、ユーザ２２０に対して認知的な負荷を与えてもよい。 The setting unit 217 sets at least one of the moving speed, the number of displays, the size, the display position, and the display interval as attributes in the virtual space 240 of the target object 242. When the user 220 can achieve the physical movement with respect to the target object 242, the estimation unit 218 estimates the cognitive ability level of the user 220 according to the attribute of the target object 242. The setting unit 217 may set a delay time from the timing of notifying the occurrence of the target object 242 to the timing of generating the target object 242, thereby controlling the cognitive load given to the user 220. Can be done. That is, the user knows the position in the virtual space where the target object is generated by the radar screen image 250 or the like (the position indicating which direction the head-mounted display should be turned to be displayed), and then the target object is actually generated. You must continuously remember and retain the actions you should take until you do. This "memory time" becomes a cognitive load for the user. Further, the setting unit 217 controls the cognitive load by changing the time "until the target object 152 approaches the reach of the user 220" instead of "until the timing to generate the target object 152". May be good. The setting unit 217 may give a cognitive load to the user 220 by displaying the background image 243 other than the target object 242 on the head-mounted display 233.

なお、認知負荷を変更する場合、ユーザに対してあらかじめ認知負荷を上げるまたは下げることを通知することが望ましい。通知方法は視覚的に文字や記号を用いて行っても、音声によって行っても、例えば肩や肘、腕や足を叩くなど、体の一部に触れるような形で行ってもよい。 When changing the cognitive load, it is desirable to notify the user in advance that the cognitive load is increased or decreased. The notification method may be performed visually using letters or symbols, by voice, or by touching a part of the body, for example, by hitting the shoulder, elbow, arm, or foot.

図３は、オペレータが操作するための画面（操作パネル）３００を示す図である。設定部２１７が、このような操作パネル３００を表示させる。本実施形態では、直感的な操作パネル３００によって７つのパラメータ（距離、高さ、角度、大きさ、スピード、感度、間隔）を設定することで、姿勢バランス能力と二重課題型の認知処理能力とを総合的に評価する。測定はマニュアルモード（タスク一つ一つのパラメータを設定して課題ごとに操作する方法）と、テンプレートモード（複数のタスクセットにパラメータがあらかじめ設定されている方法）、あるいは機器に自動的にタスクを生成させるお任せモード（オートモード）のいずれか、あるいはそれらを組み合わせて行うことができる。なお、操作パネルからは、ユーザの基本情報から各種の認知および運動機能評価指数、検査結果の確認、テンプレートの作成やオートモードの設定や指示なども行うことができる。 FIG. 3 is a diagram showing a screen (operation panel) 300 for an operator to operate. The setting unit 217 displays such an operation panel 300. In this embodiment, the posture balance ability and the dual task type cognitive processing ability are set by setting seven parameters (distance, height, angle, size, speed, sensitivity, interval) by the intuitive operation panel 300. And comprehensively evaluate. Measurement can be done in manual mode (a method in which parameters are set for each task and operated for each task), template mode (a method in which parameters are preset in multiple task sets), or tasks are automatically assigned to the device. It can be performed by either one of the entrusted modes (auto mode) to be generated, or a combination thereof. From the operation panel, various cognitive and motor function evaluation indexes, test result confirmation, template creation, auto mode setting and instruction can be performed from the user's basic information.

操作パネル３００を表示するディスプレイは、リハビリテーション支援装置２１０に接続された外部ディスプレイでもよいし、リハビリテーション支援装置２１０に内蔵されたディスプレイでもよく、デバイスを問わない。操作パネル３００は、ユーザ視野表示領域３０１と各種パラメータ設定領域３２１～３２４とスコア表示領域３０３と再センタボタン３０５とを含んでいる。図３は、説明のために、実際のユーザ２２０の様子を表わした領域３０６を含んでいるが、操作パネル３００は、領域３０６を含む必要は無い。 The display displaying the operation panel 300 may be an external display connected to the rehabilitation support device 210, or may be a display built in the rehabilitation support device 210, regardless of the device. The operation panel 300 includes a user visual field display area 301, various parameter setting areas 321 to 324, a score display area 303, and a recenter button 305. FIG. 3 includes an area 306 showing the actual state of the user 220 for the sake of explanation, but the operation panel 300 does not need to include the area 306.

ユーザ視野領域３０１は、ヘッドマウントディスプレイ２３３に実際に表示されている画像を表示している。ユーザ視野領域３０１の中には、仮想空間内の基準方向が表示される。図２で説明したとおり、ユーザ視野領域３０１には、その中央部分（例えば－５０度～５０度の視野角範囲）にレーダスクリーン画像２５０が表示されている。そして、次に現われる目標オブジェクト２４２の位置が、仮想空間内の基準方向に対して、相対的にどちらの方向であるかを表わしている。この例では、ブロック画像２５２の着色位置により、仮想空間内の基準方向３１１に対して左方向の一番遠い位置に、目標オブジェクト２４２が現われることを示している。そして、扇型画像２５３の位置および頭画像２５１の向きにより、既にユーザは、左方向に向いていることが分かる。 The user field of view area 301 displays an image actually displayed on the head-mounted display 233. A reference direction in the virtual space is displayed in the user visual field area 301. As described with reference to FIG. 2, the radar screen image 250 is displayed in the central portion (for example, a viewing angle range of −50 degrees to 50 degrees) in the user viewing area 301. Then, the position of the target object 242 that appears next indicates which direction is relative to the reference direction in the virtual space. In this example, the colored position of the block image 252 indicates that the target object 242 appears at the farthest position in the left direction with respect to the reference direction 311 in the virtual space. Then, from the position of the fan-shaped image 253 and the orientation of the head image 251 it can be seen that the user is already facing to the left.

また、各種パラメータ設定領域３２１～３２４は、タスクを規定する複数のパラメータを設定するための画面である。設定部２１７は、各種パラメータ設定領域３２１～３２４に対する入力を、不図示の入力デバイスから受け付けることもできる。入力デバイスは、マウスやテンキー、キーボードでもよいし、各種コントローラやゲーム用のジョイスティック、タッチパネル等でも良く、その技術構成を問わない。 Further, the various parameter setting areas 321 to 324 are screens for setting a plurality of parameters that define the task. The setting unit 217 can also receive inputs to various parameter setting areas 321 to 324 from an input device (not shown). The input device may be a mouse, a numeric keypad, a keyboard, various controllers, a joystick for games, a touch panel, or the like, regardless of its technical configuration.

各種パラメータ設定領域３２１～３２４は、左右の目標オブジェクトの大きさを決める入力領域３２１と、アバターオブジェクト２４１の感度範囲の大きさを決める入力領域３２２と、目標オブジェクトの移動スピードを決める入力領域３２３と、次に現われる目標オブジェクトの位置を決める入力領域３２４とを含む。さらに入力デバイス（ホットキー）による目標オブジェクトの出現位置の操作を受け付けるか否かを設定するチェックボックス３２５を有している。 The various parameter setting areas 321 to 324 include an input area 321 that determines the size of the left and right target objects, an input area 322 that determines the size of the sensitivity range of the avatar object 241 and an input area 323 that determines the movement speed of the target object. Includes an input area 324 that determines the position of the next appearing target object. Further, it has a check box 325 for setting whether or not to accept an operation of the appearance position of the target object by the input device (hot key).

入力領域３２１は、右と左のそれぞれにおいて、ユーザに目標オブジェクトの位置を見やすくするための視認用オブジェクトの半径（視認サイズ）と、アバターオブジェクト２４１と反応する目標オブジェクトの半径（評価サイズ）とを設定可能である。つまり、図３の例では、ユーザには半径２０ｃｍの円が見えているが、実際にはその円の中央に位置する半径１０ｃｍのボールにタッチしなければタスクを正確に完了したことにならない。視認サイズが小さければ、ユーザは目標オブジェクトを見つけるのが困難になる。視認サイズを大きくすれば、ユーザは目標オブジェクトを見つけやすくなる。評価サイズを大きくすれば、アバターオブジェクト２４１のずれの許容量が大きくなる。評価サイズを小さくすれば、アバターオブジェクト２４１のずれの許容量が小さくなり、よりシビアにリハビリテーション動作を評価できる。これらの視認サイズと評価サイズとを一致させることもできる。 The input area 321 has a radius of the visual object (visualization size) for making it easy for the user to see the position of the target object on the right and left, and a radius of the target object that reacts with the avatar object 241 (evaluation size). It is configurable. That is, in the example of FIG. 3, the user sees a circle with a radius of 20 cm, but in reality, the task cannot be completed accurately unless the ball with a radius of 10 cm located at the center of the circle is touched. The small visibility size makes it difficult for the user to find the target object. Increasing the viewing size makes it easier for the user to find the target object. Increasing the evaluation size increases the allowable amount of deviation of the avatar object 241. If the evaluation size is reduced, the allowable amount of deviation of the avatar object 241 becomes smaller, and the rehabilitation operation can be evaluated more severely. It is also possible to match these visual recognition sizes with the evaluation sizes.

入力領域３２２では、アバターオブジェクト２４１の左右のセンササイズ（センサオブジェクトのセンサ範囲のサイズ）をそれぞれ設定できる。センササイズが大きければ、手の位置が目標オブジェクトから大きくずれていてもタスクを達成したことになるため、リハビリテーション動作の難易度は下がる。逆にセンササイズが小さければ、手を目標オブジェクトの中央領域（評価用サイズ）に、正確に動かさなければならないため、よりリハビリテーション動作の難易度が上がる。図３Ａの例では、センササイズは左右それぞれ２ｃｍとなっている。 In the input area 322, the left and right sensor sizes (the size of the sensor range of the sensor object) of the avatar object 241 can be set respectively. If the sensor size is large, the task is completed even if the position of the hand is greatly deviated from the target object, so that the difficulty of the rehabilitation operation is reduced. On the other hand, if the sensor size is small, the hand must be moved accurately to the central area (evaluation size) of the target object, which makes the rehabilitation operation more difficult. In the example of FIG. 3A, the sensor size is 2 cm on each side.

入力領域３２３では、目標オブジェクト２４２が仮想空間内で動く速度を左右それぞれで規定できる。この例では４５ｃｍ／ｓの速度に設定されている。 In the input area 323, the speed at which the target object 242 moves in the virtual space can be specified for each of the left and right sides. In this example, the speed is set to 45 cm / s.

入力領域３２４は、次のタスクの位置（タスクまでの距離と角度）を入力するための画像であり、レーダスクリーン画像２５０を拡大した形状となっている。チェックボックス３２５がチェックされているので、入力領域３２４における複数のブロックのいずれかをクリックまたはタップする操作が行なわれた場合に、操作が行なわれたブロックの位置に対応する仮想空間内の位置に、目標オブジェクト２４２を発生させる。 The input area 324 is an image for inputting the position (distance and angle to the task) of the next task, and has an enlarged shape of the radar screen image 250. Since the check box 325 is checked, when the operation of clicking or tapping any of the multiple blocks in the input area 324 is performed, the position in the virtual space corresponding to the position of the block where the operation is performed is performed. , Generates the target object 242.

つまり、図３の例では、ユーザ２２０は仮想空間の中で、２ｃｍのセンサ部分を含むアバターオブジェクト（コントローラ）を、左側の遠い場所において４５ｃｍ／ｓの速度で落下する半径１０ｃｍの目標オブジェクト（ボール）にタイミング良く接触させることがタスクとなる。図３は、ユーザ視野領域３０１に目標オブジェクト２４２が出現した状態を示している。この状態で、領域３０６に示されているようにユーザ２２０が左腕を伸ばすと、ユーザ視野領域３０１に、アバターオブジェクト２４１が現われる。目標オブジェクト２４２の周囲には、目標オブジェクト２４２の視認性をよくするための視認用オブジェクト３１２が表示されている。入力領域３２１で設定した視認サイズとは、このドーナツ形状の視認用オブジェクト３１２の半径を示している。 That is, in the example of FIG. 3, the user 220 drops an avatar object (controller) including a 2 cm sensor portion in a virtual space at a speed of 45 cm / s at a distant place on the left side, and a target object (ball) with a radius of 10 cm. ) Is in contact with the task in a timely manner. FIG. 3 shows a state in which the target object 242 appears in the user visual field area 301. In this state, when the user 220 extends the left arm as shown in the area 306, the avatar object 241 appears in the user visual field area 301. A visual object 312 for improving the visibility of the target object 242 is displayed around the target object 242. The visible size set in the input area 321 indicates the radius of the donut-shaped visual object 312.

アバターオブジェクト２４１が視認用オブジェクト３１２に触れた時点では、目標オブジェクト２４２は消滅せず、タスクの正確な達成とはならない（一定の点数は入りgood評価される）。目標オブジェクト２４２にアバターオブジェクト２４１が触れて初めてタスクの正確な達成(perfect評価)となる。 When the avatar object 241 touches the visual object 312, the target object 242 does not disappear and the task is not accurately achieved (a certain score is entered and a good evaluation is made). Only when the avatar object 241 touches the target object 242 will the task be accurately achieved (perfect evaluation).

一方、スコア表示領域３０３に、それぞれの位置におけるタスクの合計回数および、そのタスクを何回達成したかを示す回数点数が示されている。点数は分数様に表記してもよいし、パーセント表示でも、またはそれらの組み合わせ等でもよい。評価部２１４は、１つのタスクセットで決められた一連のリハビリテーション動作の後、このスコア表示領域３０３の値を用いて、リハビリテーション評価ポイントを導き出す。 On the other hand, in the score display area 303, the total number of tasks at each position and the number of times the task is achieved are shown. The score may be expressed as a fraction, expressed as a percentage, or a combination thereof. After a series of rehabilitation operations determined by one task set, the evaluation unit 214 derives rehabilitation evaluation points by using the value of the score display area 303.

リハビリテーション評価ポイントの算出例は以下の通りである。
リハビリテーション評価ポイント＝100×（[判定スコア×Shortの回数]＋[判定スコア×Middleの回数×1.1]＋[判定スコア×Longの回数×1.2]＋[５回連続Perfectキャッチの回数×10]）
判定スコア：Perfect（あっぱれ）＝2、Good（お見事）＝1、Failure＝0 An example of calculating rehabilitation evaluation points is as follows.
Rehabilitation evaluation points = 100 x ([judgment score x number of shorts] + [judgment score x number of middles x 1.1] + [judgment score x number of longs x 1.2] + [number of 5 consecutive Perfect catches x 10])
Judgment score: Perfect = 2, Good = 1, Failure = 0

再センタボタン３０５は、ユーザ２２０の位置に合わせて仮想空間を再構築するための再構築指示をオペレータから受け付けるボタンである。再センタボタン３０５が操作されると、表示制御部２１２は、その瞬間のヘッドマウントディスプレイ２３３の位置を原点とし、その瞬間のヘッドマウントディスプレイ２３３の向きを基準方向とする仮想空間を再構築する。 The recenter button 305 is a button that receives a rebuild instruction from the operator for rebuilding the virtual space according to the position of the user 220. When the recenter button 305 is operated, the display control unit 212 reconstructs a virtual space with the position of the head-mounted display 233 at that moment as the origin and the direction of the head-mounted display 233 at that moment as the reference direction.

図４は、タスクセットデータベース２１６に記憶されたタスクテーブル４００を示す図である。タスクテーブル４００には、タスクＩＤに紐付けて、時間（タスクの発生タイミング）４６１、一つ前のタスクが終了してからのタスク間隔４６２、タスク種別４６３、タスク角度４６４、タスク距離（強度）４６５が記憶されている。さらにタスクテーブル４００には、タスクＩＤに紐付けて、目標オブジェクトのスピード４６６、パーフェクト判定（あっぱれ評価）の基準サイズ４６７、グッド判定（お見事評価）の基準サイズ４６８、センサオブジェクトの大きさ４６９、タスクの達成結果などが記憶されている。これらに加えて、タスクごとに、タスク発生報知からタスク発生までのディレイタイム（所定時間）を設定してもよい。 FIG. 4 is a diagram showing a task table 400 stored in the task set database 216. In the task table 400, the time (task occurrence timing) 461, the task interval 462 after the previous task is completed, the task type 463, the task angle 464, and the task distance (strength) are linked to the task ID. 465 is stored. Further, in the task table 400, the speed of the target object is 466, the standard size of the perfect judgment (appreciative evaluation) is 467, the standard size of the good judgment (superb evaluation) is 468, and the size of the sensor object is 469. The achievement result of the task is stored. In addition to these, a delay time (predetermined time) from the task occurrence notification to the task occurrence may be set for each task.

図５～図７は、本実施形態にかかるヘッドマウントディスプレイ２３３における表示の一例を示す図である。図５では、江戸時代の町並みを表す背景画像５０１において、目標オブジェクトとして印籠５１１を示す画像が表示されている。さらに、印籠５１１の下には、ユーザが守るべきアイテムとして千両箱５１３が表示されており、忍者５１５が奥の方から徐々に近づいてくる構成となっている。忍者５１５のスピードは操作パネル３００の入力領域３２３で設定された速度となる（ここでのスピードは制限時間と同義となる）。印籠５１１には、視認補助画像としての円５１２が表示されている。忍者５１５が千両箱５１３に到達するまでに印籠５１１をセンサオブジェクト（アバターオブジェクト２４１の先端中心）で触ればタスク達成となる。円５１２は、赤と青の２種類が用意されており、赤い円５１２で囲まれた印籠５１１には右手に持ったコントローラ２３５に対応する、右側の赤いアバターオブジェクト２４１を操作して接触させることがタスクとなる。一方青い円５１２で囲まれた印籠５１１に対しては、左手に持ったコントローラ２３４に対応する、左側の赤いアバターオブジェクト２４１を操作して接触させることがタスクとなる。 5 to 7 are views showing an example of the display on the head-mounted display 233 according to the present embodiment. In FIG. 5, in the background image 501 showing the townscape of the Edo period, an image showing the inro 511 as a target object is displayed. Further, under the inro 511, a Senryobako 513 is displayed as an item to be protected by the user, and the ninja 515 is gradually approached from the back. The speed of the Ninja 515 is the speed set in the input area 323 of the operation panel 300 (the speed here is synonymous with the time limit). A circle 512 as a visual recognition auxiliary image is displayed on the inro 511. If the inro 511 is touched with the sensor object (center of the tip of the avatar object 241) by the time the ninja 515 reaches the Senryobako 513, the task will be completed. There are two types of circle 512, red and blue, and the inro 511 surrounded by the red circle 512 is contacted by operating the red avatar object 241 on the right side, which corresponds to the controller 235 held in the right hand. Becomes a task. On the other hand, for the inro 511 surrounded by the blue circle 512, the task is to operate and contact the red avatar object 241 on the left side, which corresponds to the controller 234 held in the left hand.

印籠５１１は、操作パネル３００の入力領域３２４で設定した位置（奥行きおよび角度）に表示される。印籠５１１は、ユーザが仮想空間内でアバターオブジェクト２４１をタッチさせるまでは、位置が変わらない。つまり空間に固定された目標オブジェクトである（水平に体を伸ばすことを要求するため水平タスクとも呼ぶ）。このような固定された目標オブジェクトは、小脳性運動失調などのような疾患のリハビリとして非常に効果的である。つまり体の動かし方を忘れている患者に対して、フィードフォワードにより、限定した体の動きのイメージを脳に焼き付けさせることができる。印籠５１１の奥行方向の距離を遠くすることにより、運動強度を変えることができる。さらに、１回毎のタスクの達成を報知するための５感の刺激によるマルチチャネルバイオフィードバックを組み合わせることにより、記憶が脳内に固定しやすくなり、大きく運動能力が改善する。またこのような水平タスクによれば大脳皮質の再編成に伴い慢性疼痛の改善も図ることができる。あるいはケモブレインと呼ばれる認知機能障害や抗がん剤を摂取したがん患者の位置覚が神経障害により低下する現象を回復させることもできる。目標オブジェクトがでる場所をあらかじめ教えて、ヒントを与えて認知負荷を下げてもよい。言語的インフォームよりも、体を触ることによる触覚インフォーム、複数回繰り返しの言語的インフォームも認知負荷をさげるのに有効である。言語的インフォームの方法も、より端的で命令形に近いシンプルな指示を行うことで認知負荷を下げて行ってもよい。あるいは例えば「青色だから？（右手で取るように）」等といったように、質問形式でより複雑な指示の形をとってもよい。または「２で割り切れる数を言ったときは右手でとりましょう」等と計算等の認知課題を含む形で言語的インフォームを行ってもよい。なお、印籠５１１の発生する横方向の位置や奥行きのみではなく、高さを設定可能に構成してもよい。 The inro 511 is displayed at a position (depth and angle) set in the input area 324 of the operation panel 300. The position of the inro 511 does not change until the user touches the avatar object 241 in the virtual space. In other words, it is a target object fixed in space (also called a horizontal task because it requires the body to stretch horizontally). Such a fixed target object is very effective as a rehabilitation for diseases such as cerebellar ataxia. In other words, for a patient who has forgotten how to move his / her body, the image of limited body movement can be imprinted on the brain by feed forward. The exercise intensity can be changed by increasing the distance in the depth direction of the inro 511. Furthermore, by combining multi-channel biofeedback with five senses of stimulation to notify the achievement of each task, memory can be easily fixed in the brain and motor ability is greatly improved. In addition, according to such a horizontal task, it is possible to improve chronic pain with the reorganization of the cerebral cortex. Alternatively, it is possible to recover from a phenomenon called chemobrain, in which the position sense of a cancer patient who has taken a cognitive dysfunction or an anticancer drug is lowered due to a neuropathy. You may tell in advance where the target object will appear and give hints to reduce the cognitive load. Tactile informs by touching the body and linguistic informs repeated multiple times are more effective in reducing cognitive load than linguistic informs. The linguistic inform method may also reduce the cognitive load by giving simple instructions that are more straightforward and closer to the imperative form. Alternatively, it may take the form of a more complicated instruction in the form of a question, for example, "Because it is blue? (Take it with your right hand)". Alternatively, a linguistic inform may be performed in a form that includes a cognitive task such as calculation, such as "If you say a number divisible by 2, take it with your right hand." It should be noted that not only the position and depth in the lateral direction where the inro 511 is generated but also the height may be set.

図６は、目標オブジェクトが垂直に移動するタイプのタスクを行う画面の一例（垂直タスク）を示す図である。図６では、畑を表す背景画像６０１において、目標オブジェクト出現のトリガーとなるトリガーオブジェクト６０２として、農家を表す人の画像が表示されている。つまり、表示制御部２１３は、目標オブジェクト６０３の発生を報知するための報知画像として、トリガーオブジェクト６０２を表示する。トリガーオブジェクト６０２が、芋の形をした目標オブジェクト６０３を上方に投げてから所定時間後に、図７のように画面上から大きな芋の形をした目標オブジェクト７０３が出現する。落下してきた目標オブジェクト７０３を、ザルの形をしたアバターオブジェクト７０２を動かして受け止めることで、タスク達成となる。左右のアバターオブジェクト７０２は、コントローラ２３４、２３５の動きに連動して画面上を移動する。 FIG. 6 is a diagram showing an example (vertical task) of a screen for performing a task of the type in which the target object moves vertically. In FIG. 6, in the background image 601 representing a field, an image of a person representing a farmer is displayed as a trigger object 602 that triggers the appearance of a target object. That is, the display control unit 213 displays the trigger object 602 as a notification image for notifying the occurrence of the target object 603. A predetermined time after the trigger object 602 throws the potato-shaped target object 603 upward, a large potato-shaped target object 703 appears on the screen as shown in FIG. 7. The task is accomplished by moving the avatar object 702 in the shape of a colander to catch the falling target object 703. The left and right avatar objects 702 move on the screen in conjunction with the movements of the controllers 234 and 235.

設定部２１７は、トリガーオブジェクト６０２が目標オブジェクト６０３を上方に投げて、目標オブジェクト６０３の発生を報知したタイミングから、目標オブジェクト７０３を発生させるまでの遅延時間を設定することができる。これにより、ユーザに与える認知的な負荷を調整することができる。なお、トリガーオブジェクト６０２の動きと連動させて、レーダーチャート型の報知画像２５０でも同様のタイミングで目標オブジェクトの発生を報知したり、音声による報知を組み合わせたりしてもよい。 The setting unit 217 can set a delay time from the timing when the trigger object 602 throws the target object 603 upward and notifies the occurrence of the target object 603 until the target object 703 is generated. This makes it possible to adjust the cognitive load on the user. In conjunction with the movement of the trigger object 602, the radar chart type notification image 250 may notify the occurrence of the target object at the same timing, or may be combined with voice notification.

このように、設定部２１７は、図２のような地平線のみの背景のタスクだけではなく、図５、図６のような、情報量の多い背景のタスクで、ユーザに対して認知的な負荷を与えることができる。つまり、目標オブジェクト６０３が出現したことおよび目標オブジェクト７０３が落下してくるであろう位置の記憶を困難にさせて、より実生活で必要な認知負荷に近い負荷をリハビリテーションのユーザに与える。 In this way, the setting unit 217 is not only a background task with only the horizon as shown in FIG. 2, but also a background task with a large amount of information as shown in FIGS. 5 and 6, and has a cognitive load on the user. Can be given. That is, it makes it difficult to remember the appearance of the target object 603 and the position where the target object 703 will fall, and gives the rehabilitation user a load closer to the cognitive load required in real life.

特に設定部２１７は、タスクのモードを変えて、背景画像３０１の少なくとも一部を時間と共に変化させることにより、ユーザ２２０に対して認知的な負荷を与える。図６の例では、例えば、背景画像６０１の中で、雲６０４を移動させたり、草木６０５を揺らしたり、あるいは、目標オブジェクトと関係のない動物（不図示）を登場させたりしてもよい。これにより、ユーザ２２０に対して、目標オブジェクト６０３に対する集中を妨げて、より目標オブジェクト６０３が落下してくるであろう位置の記憶を困難にさせることができる。より専門的には、背景画像にタスクとは無関係の情報を表示することにより、目標オブジェクトに集中し難い環境を用意し、注意障害（より具体的には選択性注意障害、配分性注意障害、転換性注意障害、持続性注意障害）を意図的に惹起することで記憶を困難にさせて、認知負荷をコントロールしていると言える。 In particular, the setting unit 217 gives a cognitive load to the user 220 by changing the mode of the task and changing at least a part of the background image 301 with time. In the example of FIG. 6, for example, in the background image 601 the cloud 604 may be moved, the vegetation 605 may be shaken, or an animal (not shown) unrelated to the target object may appear. This can prevent the user 220 from concentrating on the target object 603 and make it more difficult to remember the position where the target object 603 will fall. More technically, by displaying information unrelated to the task in the background image, an environment where it is difficult to concentrate on the target object is prepared, and attention disorders (more specifically, selective attention disorders, distributive attention disorders, etc.) are prepared. It can be said that the cognitive load is controlled by making memory difficult by intentionally inducing convertible attention disorder and persistent attention disorder).

図８は、本実施形態にかかる表示画面２４０における表示の他の例（垂直タスク）を示す図である。図８では、森のような背景画像８０１中に、猿を表したトリガーオブジェクト８０２と、りんごを表した目標オブジェクト８０３とが表示されている。猿を表したトリガーオブジェクト８０２が、りんごを表した目標オブジェクト８０３を木から落として、ユーザに近づいてきた目標オブジェクト８０３を、ザルを表したアバターオブジェクト８０４で受け止めることでタスク達成となる。ここでも、設定部２１７は、トリガーオブジェクト８０２が木を揺らして、目標オブジェクト８０３の発生を報知したタイミングから、所定時間経過後に目標オブジェクト８０３の落下を開始させることにより、注意障害を惹起しながらユーザ２２０に対して認知的な負荷を与える。 FIG. 8 is a diagram showing another example (vertical task) of the display on the display screen 240 according to the present embodiment. In FIG. 8, a trigger object 802 representing a monkey and a target object 803 representing an apple are displayed in a background image 801 like a forest. The task is accomplished by the trigger object 802 representing the monkey dropping the target object 803 representing the apple from the tree and receiving the target object 803 approaching the user with the avatar object 804 representing the monkey. Here, too, the setting unit 217 causes the user to cause an attention disorder by starting the fall of the target object 803 after a predetermined time has elapsed from the timing when the trigger object 802 shakes the tree and notifies the occurrence of the target object 803. Gives a cognitive load to 220.

さらに、設定部２１７は、少なくとも２～５個の目標オブジェクト８０３を３次元仮想空間内に同時に存在させて、表示画面２４０に表示させることにより、ユーザ２２０に対してより認知的に強い負荷を与えることができる。言い換えれば、設定部２１７は、３次元仮想空間内において少なくとも２個の目標オブジェクト８０３を左右方向に異なる位置に発生させる。 Further, the setting unit 217 gives a stronger cognitive load to the user 220 by simultaneously existing at least 2 to 5 target objects 803 in the three-dimensional virtual space and displaying them on the display screen 240. be able to. In other words, the setting unit 217 generates at least two target objects 803 in the three-dimensional virtual space at different positions in the left-right direction.

特に、目標オブジェクト８０３の移動方向（図５では落下方向）に対して異なる方向（図８では左右方向）の複数の位置に少なくとも２個の目標オブジェクト８０３を発生させれば、より一層の認知負荷を与えることができる。つまり、ユーザ２２０は上下方向の移動と、左右方向の発生位置の違いと、さらには奥行方向の落下位置の違いも考慮してコントローラ２３４，２３５を移動させなければならず、空間認知能力も試されていることになる。このように、タスクの所定時間の変更に加えて、トリガーオブジェクトを含む報知画像や報知音声に含まれる情報の種類や数、大きさ、空間的な広がりや位置、量等を調整する。これにより、記憶保持すべき情報の複雑性、すなわちユーザに対して脳が情報処理すべき認知負荷を定量的に調整、コントロールすることが可能となる。 In particular, if at least two target objects 803 are generated at a plurality of positions in different directions (horizontal direction in FIG. 8) with respect to the moving direction of the target object 803 (falling direction in FIG. 5), the cognitive load is further increased. Can be given. That is, the user 220 must move the controllers 234 and 235 in consideration of the difference in the vertical movement, the difference in the generation position in the left-right direction, and the difference in the drop position in the depth direction, and the spatial cognitive ability is also tested. It will be done. In this way, in addition to changing the predetermined time of the task, the type, number, size, spatial spread, position, amount, etc. of the information included in the notification image including the trigger object and the notification voice are adjusted. This makes it possible to quantitatively adjust and control the complexity of information to be stored, that is, the cognitive load that the brain should process for the user.

評価更新部２１５は、目標オブジェクトが表わす３次元的な目標位置に対して、アバターオブジェクトがタイミング良く正確に到達したか否か、および、目標オブジェクトの発生報知から発生までの時間間隔と数、および背景画像の注意障害を惹起させる負荷の程度等の情報を用いて、ユーザの認知能力を評価する。 The evaluation update unit 215 determines whether or not the avatar object has reached the three-dimensional target position represented by the target object in a timely and accurate manner, the time interval and number from the notification of the occurrence of the target object to the occurrence, and the occurrence. The cognitive ability of the user is evaluated using information such as the degree of load that causes attention disorder in the background image.

図９は、リハビリテーション支援装置２１０における認知能力推定処理の流れを示すフローチャートである。ステップＳ９０１において、キャリブレーション処理として、リハビリテーション動作の目標をユーザに合わせて初期化する。具体的には、各ユーザに最初にキャリブレーションとして行動可能範囲を取得する作業を行ってもらい、その範囲を初期値に設定した上で目標をユーザに合わせて初期化する。また、具体的にはオペレータが、タスクセットデータベースから、複数のタスクからなるタスクセット（水平タスクセットまたは垂直タスクセット）を読出す。ここで、目標オブジェクトの大きさは例として、１０cm、目標オブジェクトの表示間隔は１秒、１つのタスクとして生成する目標オブジェクトは１～５個オブジェクトのいずれか、そして生成範囲は、９０度、４５～１３５度、０～１８０度の３パターンである。３つのタスクセットを４秒間隔で発生させる。 FIG. 9 is a flowchart showing the flow of the cognitive ability estimation process in the rehabilitation support device 210. In step S901, as a calibration process, the target of the rehabilitation operation is initialized according to the user. Specifically, each user first performs the work of acquiring the actionable range as calibration, sets the range to the initial value, and then initializes the target according to the user. Specifically, the operator reads a task set (horizontal task set or vertical task set) composed of a plurality of tasks from the task set database. Here, the size of the target object is 10 cm as an example, the display interval of the target object is 1 second, the target object generated as one task is any one of 1 to 5 objects, and the generation range is 90 degrees and 45 degrees. There are three patterns of ~ 135 degrees and 0 ~ 180 degrees. Generate 3 task sets at 4 second intervals.

次に、ステップＳ９０３において、タスク（つまり表示制御部２１２による目標オブジェクトの表示およびアバターオブジェクトによる達成の評価）を開始する。 Next, in step S903, the task (that is, the display of the target object by the display control unit 212 and the evaluation of achievement by the avatar object) is started.

ステップＳ９０５において、連続する３つのタスクセットにおける各タスクが全てパーフェクト判定になれば、タスクセットを達成したとしてステップＳ９０７に進み、推定部２１８がタスクセットにおける目標オブジェクトの属性に応じて、認知能力を例えば認知年齢として算出する。推定部２１８が用いる属性パラメータは様々に選択することが可能だが、少なくとも目標オブジェクトの移動速度および１タスクセット内における目標オブジェクトの表示数（例えば１～５個等）に基づいて、ユーザの認知能力レベルを算出する。推定部２１８は、目標オブジェクトが上下方向に移動する場合（垂直タスク）と、上下方向に移動しない場合（水平タスク）とで、異なるパラメータ、あるいは異なるパラメータ係数を用いて、認知能力レベルを算出する。推定部２１８は、目標オブジェクトが表示される画面の背景に応じて、異なるパラメータ、あるいは異なるパラメータ係数を用いて、ユーザの認知能力レベルを算出する。つまり複雑な背景でのタスクを達成したユーザについては、認知能力レベルを高く評価する。なお、成人においては認知能力レベルが高いことと、認知年齢が若いことは同義と考えてよい。推定部２１８は、仮想空間において目標オブジェクトが移動する速度が速いタスクであればあるほど、そのタスクセットをユーザが達成できた場合には、認知能力レベルを高く推定する。推定部２１８は、仮想空間において１つのタスクセット内で生成される目標オブジェクトの数が多くなればなるほど、そのタスクをユーザが達成できた場合には、認知能力レベルを高く推定する。推定部２１８は、仮想空間において目標オブジェクトが出現する間隔（インターバル）が短くなればなるほど、そのタスクをユーザが達成できた場合には、認知能力レベルを高く推定する。推定部２１８は、前記目標オブジェクトの大きさが小さくなればなるほど、そのタスクをユーザが達成できた場合には、認知能力レベルを高く推定する。推定部２１８は、目標オブジェクトの出現範囲が広くなればなるほど、そのタスクをユーザが達成できた場合には、認知能力レベルを高く推定する。このような推定方法を採用することで、MMSE、HDS-R、MoCA、TMT、FABに代表される認知機能評価指標が抱えていた様々な問題を解決できる。より具体的には、識字力や書字能力などの認知能力とは関係のない要素を排除した純粋な認知能力の推定が可能となり、検査に要する時間を極めて短時間に抑えられ、検査の繰り返しによる学習や天井効果を排除できる。 In step S905, if each task in three consecutive task sets becomes a perfect judgment, the process proceeds to step S907 assuming that the task set has been achieved, and the estimation unit 218 determines the cognitive ability according to the attribute of the target object in the task set. For example, it is calculated as a cognitive age. The attribute parameters used by the estimation unit 218 can be selected in various ways, but the user's cognitive ability is at least based on the movement speed of the target object and the number of target objects displayed in one task set (for example, 1 to 5). Calculate the level. The estimation unit 218 calculates the cognitive ability level using different parameters or different parameter coefficients depending on whether the target object moves in the vertical direction (vertical task) or not (horizontal task). .. The estimation unit 218 calculates the user's cognitive ability level using different parameters or different parameter coefficients depending on the background of the screen on which the target object is displayed. In other words, the cognitive ability level is highly evaluated for users who have completed tasks in a complicated background. In adults, high cognitive ability level and young cognitive age can be considered synonymous. The estimation unit 218 estimates the cognitive ability level higher as the task in which the target object moves in the virtual space is faster, when the user can achieve the task set. The estimation unit 218 estimates the cognitive ability level higher as the number of target objects generated in one task set in the virtual space increases, if the user can accomplish the task. The estimation unit 218 estimates the cognitive ability level higher when the user can accomplish the task as the interval (interval) in which the target object appears in the virtual space becomes shorter. The estimation unit 218 estimates the cognitive ability level higher as the size of the target object becomes smaller and the user can accomplish the task. The estimation unit 218 estimates the cognitive ability level higher when the user can accomplish the task as the appearance range of the target object becomes wider. By adopting such an estimation method, various problems of cognitive function evaluation indexes such as MMSE, HDS-R, MoCA, TMT, and FAB can be solved. More specifically, it is possible to estimate pure cognitive ability by excluding factors that are not related to cognitive ability such as literacy and writing ability, and the time required for the examination can be suppressed to an extremely short time, and the examination is repeated. Learning and ceiling effects can be eliminated.

記憶部２１９は、ユーザが身体動作を達成した目標オブジェクトの属性と認知年齢との関係を表す数式またはテーブルを記憶する。推定部２１８は、その数式またはテーブルを用いて、ユーザの認知能力レベルを認知年齢として推定する。実年齢と、認知能力レベル推定の結果とを関連付けるビッグデータに基づいて、記憶部２１９に記憶された数式またはテーブルを更新する更新部を備えてもよい。実年齢を教師データにして、機械学習を行ってもよい。母集団のデータが大きくなると、認知能力レベルの推定精度が上がることになる。 The storage unit 219 stores a mathematical formula or a table representing the relationship between the attribute of the target object for which the user has achieved physical movement and the cognitive age. The estimation unit 218 estimates the user's cognitive ability level as the cognitive age using the formula or the table. It may be provided with an update unit that updates the mathematical formula or table stored in the storage unit 219 based on the big data that associates the actual age with the result of the cognitive ability level estimation. Machine learning may be performed using the actual age as teacher data. The larger the population data, the better the accuracy of cognitive level estimation.

設定部２１７は、推定部２１８が推定したユーザの認知能力レベルに応じて、次に表示させる目標オブジェクトの属性を設定することもできる。 The setting unit 217 can also set the attribute of the target object to be displayed next according to the cognitive ability level of the user estimated by the estimation unit 218.

推定部２１８は例えば以下の数式を用いて認知年齢を認知能力レベルとして算出することができる。
（１）推定精度優先（自由度調整済み寄与率 Adjusted R-squared: 0.8974、赤池情報量基準 AIC＝2936）：推定精度を最高にすべく最大限多くのパラメータを導入→学習不要なほど精度が高い
認知年齢＝80歳（単純背景、水平タスク、目標オブジェクト１個、１０ｃｍ、９０度、スピード25cm/秒）+[背景の複雑レベルを上げると-2.5歳]+[垂直タスクができる場合-10歳]+[目標オブジェクトの数を1つ増やすごとに-5歳]+[目標オブジェクト１０ｃｍを１cm小さくするごとに-1歳]+[目標オブジェクトの生成範囲が10度広がるごとに-0.4歳]+[タスク内スピードを10cm/s早くするごとに-2.4歳]
（２）実用性優先（自由度調整済み寄与率 Adjusted R-squared: 0.7806 赤池情報量基準 AIC＝3310）：推定精度を一定レベルに維持しつつも、用いる変数パラメータを２つに絞った
年齢＝84歳（単純背景、水平タスク、目標オブジェクト１個、１０ｃｍ、９０度、スピード25cm/秒）+[目標オブジェクトの数を1つ増やすごとに-5歳]+[タスク内スピードを10cm/s早くするごとに-2.7歳] The estimation unit 218 can calculate the cognitive age as the cognitive ability level by using, for example, the following mathematical formula.
(1) Estimated accuracy priority (Adjusted contribution rate adjusted R-squared: 0.8974, Akaike information amount standard AIC = 2936): Introduce the maximum number of parameters to maximize the estimation accuracy → The accuracy is so high that learning is unnecessary. High cognitive age = 80 years old (simple background, horizontal task, 1 target object, 10 cm, 90 degrees, speed 25 cm / sec) + [If you increase the complexity level of the background-2.5 years old] + [If you can do vertical tasks-10 Year] + [For every 1 increase in the number of target objects-5 years] + [For every 1 cm smaller target object -1 year] + [For every 10 degree expansion of the target object generation range-0.4 years] + [Every time you increase the speed in the task by 10 cm / s-2.4 years old]
(2) Practicality priority (Adjusted R-squared: 0.7806 Akaike's Information Criterion AIC = 3310): While maintaining the estimation accuracy at a certain level, the variable parameters used are narrowed down to two. Age = 84 years old (simple background, horizontal task, 1 target object, 10 cm, 90 degrees, speed 25 cm / sec) + [-5 years old for each increase in the number of target objects] + [10 cm / s faster in task speed] Every time-2.7 years old]

図１０は、上記の数式で計算した認知年齢を、自動車の運転リスク評価に当てはめた表１０００である。図５のような背景の場合、表の水平タスクの年齢－３歳をする。同様に、図６のような背景の場合、－５歳、図７のような背景の場合、－３歳をする。図１０によれば、同様に転倒リスク評価も行うことができる。推定部２１８は、図１０に示す表を用いて、ユーザの運転リスクまたは転倒リスクを評価する。また、設定部２１７は、推定部２１８によって推定されたユーザの認知能力レベルに基づき、認知能力レベルを向上、あるいは運転リスクを低減、または転倒リスクを低減させるための治療プログラムをオペレータに提案する。 FIG. 10 is a table 1000 in which the cognitive age calculated by the above formula is applied to the driving risk assessment of a car. In the case of the background as shown in Fig. 5, the age of the horizontal task in the table is 3 years old. Similarly, in the case of the background as shown in FIG. 6, the age is -5 years old, and in the case of the background shown in FIG. 7, the age is -3 years old. According to FIG. 10, a fall risk assessment can be performed in the same manner. The estimation unit 218 evaluates the user's driving risk or fall risk using the table shown in FIG. Further, the setting unit 217 proposes to the operator a treatment program for improving the cognitive ability level, reducing the driving risk, or reducing the fall risk based on the cognitive ability level of the user estimated by the estimation unit 218.

認知年齢が６５歳以上の場合、認知機能が低下しているので、運転が危険と評価する。認知年齢が５５～６５歳の場合、認知機能が低下気味であり、運転時に注意が必要と評価する。一方、認知年齢が５４歳以下の場合には、認知機能に問題はなく、運転が十分に可能と評価する。同様に、日常生活での転倒リスクを評価してもよい。ここでは、閾値を６５歳と５５歳にしたが、求める行動に応じてこれらの閾値を変えてもよい。例えば、交通量の少ない地域での運転の場合、認知年齢６５歳でも運転ＯＫと評価してもよい。 If the cognitive age is 65 years or older, the cognitive function is impaired, and driving is evaluated as dangerous. When the cognitive age is 55 to 65 years old, the cognitive function tends to decline, and it is evaluated that caution is required when driving. On the other hand, when the cognitive age is 54 years or younger, there is no problem in cognitive function and it is evaluated that driving is sufficiently possible. Similarly, the risk of falls in daily life may be assessed. Here, the threshold values are set to 65 years old and 55 years old, but these threshold values may be changed according to the desired behavior. For example, in the case of driving in an area with low traffic volume, it may be evaluated that driving is OK even if the cognitive age is 65 years old.

なお、本実施形態のリハビリテーション支援システム２００を利用することにより、認知機能レベルが向上して、維持できる（１回のトレーニング効果が３週間持続し、３回トレーニングすることでほぼ一定に固定可能）ことが分かっており、運転危険と判断されたユーザが、運転ＯＫとの評価に変わることも考えられる。 By using the rehabilitation support system 200 of the present embodiment, the cognitive function level can be improved and maintained (the effect of one training lasts for 3 weeks and can be fixed almost constant by training 3 times). It is known that a user who is judged to be dangerous to drive may be evaluated as OK for driving.

認知年齢を推定するにあたり、設定部２１７は、認知負荷（属性パラメータ）の制御についての提案をメッセージ表示してもよい。例えば、「スピードを下げて再テストください」などといったメッセージが考えられる。「スピードを２５ｃｍ／秒にしてください」などと、オススメの数値を提示してもよい。さらには、認知機能レベルを正確に算出できるように、自動で、各種のパラメータを制御してもよい。 In estimating the cognitive age, the setting unit 217 may display a message regarding the control of the cognitive load (attribute parameter). For example, a message such as "Please slow down and retest" can be considered. You may present a recommended value such as "Please set the speed to 25 cm / sec". Furthermore, various parameters may be automatically controlled so that the cognitive function level can be calculated accurately.

本実施形態のリハビリテーション支援システム２００を利用することにより、どのタイプの認知機能が落ちているかを認識可能となり、よりピンポイントで効果的にリハビリを行うことが可能となる。例えば、垂直タスク２５cm／秒で６５歳と評価されたユーザは、空間認知はできている。そして、ゆっくり（２５ｃｍ／秒）ならマルチタスク（目標４個に）対応できる。このようなユーザは、スピードを徐々に上げていく、というトレーニングが有効となる。 By using the rehabilitation support system 200 of the present embodiment, it becomes possible to recognize which type of cognitive function is impaired, and it becomes possible to perform rehabilitation more pinpointly and effectively. For example, a user evaluated to be 65 years old with a vertical task of 25 cm / sec has spatial cognition. And if it is slow (25 cm / sec), it can handle multitasking (4 targets). For such users, training to gradually increase the speed is effective.

以上、本実施形態では、制限時間（落下スピード等）、目標物の大きさ、目標物の動き、目標物の数、目標物の3次元空間における表示位置、注意障害を惹起するための背景情報、のいずれか２つ以上のパラメーターを調整することで認知機能を推定する。また、本実施形態にかかるシステムは、色の識別を要するシステムでもある。さらに、本実施形態にかかるシステムは注意障害の種別を判断したり、注意障害の治療をしたりするためのシステムである。また、本実施形態にかかるシステムは、転倒リスクまたは運転リスクを評価、あるいは治療するためのシステムである。 As described above, in the present embodiment, the time limit (fall speed, etc.), the size of the target, the movement of the target, the number of targets, the display position of the target in the three-dimensional space, and the background information for causing attention disorder. Cognitive function is estimated by adjusting any two or more parameters. Further, the system according to the present embodiment is also a system that requires color identification. Further, the system according to the present embodiment is a system for determining the type of attention disorder and treating the attention disorder. Further, the system according to the present embodiment is a system for evaluating or treating a fall risk or a driving risk.

本実施形態によれば、ユーザが持続性注意障害（例えばオブジェクトに集中し続けられない）、転導性注意障害（例えば２個の目標オブジェクトが発生した時に、一つを取りきる前に次のオブジェクトに気が逸れる）、分配性注意障害（例えば空間を認識できる視野外の目標オブジェクトを取れない（報知画像を見れない））、選択性注意障害（例えば背景を入れると途端にオブジェクトに集中できなくなる（何を見るべきなのか区別ができない））のいずれに該当するかを判断することもできる。 According to the present embodiment, when a user has a persistent attention disorder (for example, he / she cannot keep concentrating on an object) and a transmissive attention disorder (for example, when two target objects occur, the following is performed before removing one. Distracting objects (for example, distracting attention disorder (for example, unable to take a target object outside the field of view that can recognize space (cannot see the broadcast image)), selective attention disorder (for example, when the background is added, the object is immediately concentrated) It is also possible to determine which of the following is not possible (it is not possible to distinguish what to see).

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の技術的範囲で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の技術的範囲に含まれる。 [Other embodiments]
Although the invention of the present application has been described above with reference to the embodiments, the invention of the present application is not limited to the above-described embodiment. Various changes that can be understood by those skilled in the art can be made to the structure and details of the present invention within the technical scope of the present invention. Also included in the technical scope of the invention are systems or devices in any combination of the different features contained in each embodiment.

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるサーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の技術的範囲に含まれる。 Further, the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Further, the present invention is also applicable when an information processing program that realizes the functions of the embodiment is supplied to a system or an apparatus and executed by a built-in processor. In order to realize the functions of the present invention on a computer, the technical scope of the present invention includes a program installed in the computer, a medium containing the program, a server for downloading the program, and a processor for executing the program. .. In particular, at least a non-transitory computer readable medium containing a program that causes a computer to execute the processing steps included in the above-described embodiment is included in the technical scope of the present invention.

Claims (16)

３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御部と、
前記目標オブジェクトの前記仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定部と、
前記目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合に、当該目標オブジェクトの前記属性に応じて、前記ユーザの認知能力レベルを推定する推定部と、
を備え、
前記推定部は、基準値から、前記仮想空間における前記目標オブジェクトの前記表示数に応じた値を減算して、前記認知能力レベルを推定する認知能力推定装置。 A display control unit that creates and displays a target object in virtual space to encourage the user to perform three-dimensional body movements.
A setting unit for setting at least one of a moving speed, a number of displays, a size, a display position, and a display interval as attributes of the target object in the virtual space.
An estimation unit that estimates the cognitive ability level of the user according to the attribute of the target object when the user can achieve the physical movement with respect to the target object.
Equipped with
The estimation unit is a cognitive ability estimation device that estimates the cognitive ability level by subtracting a value corresponding to the display number of the target object in the virtual space from the reference value . ３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御部と、 A display control unit that creates and displays a target object in virtual space to encourage the user to perform three-dimensional body movements.
前記目標オブジェクトの前記仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定部と、 A setting unit for setting at least one of a moving speed, a number of displays, a size, a display position, and a display interval as attributes of the target object in the virtual space.
前記目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合に、当該目標オブジェクトの前記属性に応じて、前記ユーザの認知能力レベルを推定する推定部と、 An estimation unit that estimates the cognitive ability level of the user according to the attribute of the target object when the user can achieve the physical movement with respect to the target object.
を備え、 Equipped with
前記推定部は、基準値から、前記目標オブジェクトの前記仮想空間における前記移動速度に応じた値を減算して、前記認知能力レベルを推定する認知能力推定装置。 The estimation unit is a cognitive ability estimation device that estimates the cognitive ability level by subtracting a value corresponding to the movement speed of the target object in the virtual space from the reference value. ３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御部と、 A display control unit that creates and displays a target object in virtual space to encourage the user to perform three-dimensional body movements.
前記目標オブジェクトの前記仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定部と、 A setting unit for setting at least one of a moving speed, a number of displays, a size, a display position, and a display interval as attributes of the target object in the virtual space.
前記目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合に、当該目標オブジェクトの前記属性に応じて、前記ユーザの認知能力レベルを推定する推定部と、 An estimation unit that estimates the cognitive ability level of the user according to the attribute of the target object when the user can achieve the physical movement with respect to the target object.
を備え、 Equipped with
前記推定部は、基準値から、前記目標オブジェクトが生成される前記仮想空間における背景の複雑さに応じた値を減算して、前記認知能力レベルを推定する認知能力推定装置。 The estimation unit is a cognitive ability estimation device that estimates the cognitive ability level by subtracting a value according to the complexity of the background in the virtual space in which the target object is generated from the reference value. ３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御部と、 A display control unit that creates and displays a target object in virtual space to encourage the user to perform three-dimensional body movements.
前記目標オブジェクトの前記仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定部と、 A setting unit for setting at least one of a moving speed, a number of displays, a size, a display position, and a display interval as attributes of the target object in the virtual space.
前記目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合に、当該目標オブジェクトの前記属性に応じて、前記ユーザの認知能力レベルを推定する推定部と、 An estimation unit that estimates the cognitive ability level of the user according to the attribute of the target object when the user can achieve the physical movement with respect to the target object.
を備え、 Equipped with
前記推定部は、基準値から、前記仮想空間における前記目標オブジェクトの移動方向に応じた値を減算して、前記認知能力レベルを推定する認知能力推定装置。 The estimation unit is a cognitive ability estimation device that estimates the cognitive ability level by subtracting a value corresponding to the movement direction of the target object in the virtual space from a reference value. ３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御部と、 A display control unit that creates and displays a target object in virtual space to encourage the user to perform three-dimensional body movements.
前記目標オブジェクトの前記仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定部と、 A setting unit for setting at least one of a moving speed, a number of displays, a size, a display position, and a display interval as attributes of the target object in the virtual space.
前記目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合に、当該目標オブジェクトの前記属性に応じて、前記ユーザの認知能力レベルを推定する推定部と、 An estimation unit that estimates the cognitive ability level of the user according to the attribute of the target object when the user can achieve the physical movement with respect to the target object.
を備え、 Equipped with
前記推定部は、基準値から、前記仮想空間における前記目標オブジェクトの大きさに応じた値を減算して、前記認知能力レベルを推定する認知能力推定装置。 The estimation unit is a cognitive ability estimation device that estimates the cognitive ability level by subtracting a value corresponding to the size of the target object in the virtual space from a reference value. ３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御部と、 A display control unit that creates and displays a target object in virtual space to encourage the user to perform three-dimensional body movements.
前記目標オブジェクトの前記仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定部と、 A setting unit for setting at least one of a moving speed, a number of displays, a size, a display position, and a display interval as attributes of the target object in the virtual space.
前記目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合に、当該目標オブジェクトの前記属性に応じて、前記ユーザの認知能力レベルを推定する推定部と、 An estimation unit that estimates the cognitive ability level of the user according to the attribute of the target object when the user can achieve the physical movement with respect to the target object.
を備え、 Equipped with
前記推定部は、基準値から、前記仮想空間における前記目標オブジェクトの出現範囲の大きさに応じた値を減算して、前記認知能力レベルを推定する認知能力推定装置。 The estimation unit is a cognitive ability estimation device that estimates the cognitive ability level by subtracting a value corresponding to the size of the appearance range of the target object in the virtual space from the reference value. 前記推定部は、前記目標オブジェクトが上下方向に移動する場合と、上下方向に移動しない場合とで、異なるパラメータ、あるいは異なるパラメータ係数を用いて、前記認知能力レベルを算出する請求項１～６のいずれか１項に記載の認知能力推定装置。 The estimation unit calculates the cognitive ability level by using different parameters or different parameter coefficients depending on whether the target object moves in the vertical direction or not in the vertical direction . The cognitive ability estimation device according to any one of the items . 前記推定部は、前記仮想空間において前記目標オブジェクトが出現する間隔が短くなればなるほど、当該目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合には、前記認知能力レベルを高く推定する請求項１～７のいずれか１項に記載の認知能力推定装置。 The estimation unit claims that the shorter the interval at which the target object appears in the virtual space, the higher the cognitive ability level is estimated when the user can achieve the physical movement with respect to the target object. The cognitive ability estimation device according to any one of 1 to 7 . 前記推定部は、前記目標オブジェクトの出現範囲が広くなればなるほど、当該目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合には、前記認知能力レベルを高く推定する請求項１～８のいずれか１項に記載の認知能力推定装置。 Any of claims 1 to 8 in which the estimation unit estimates the cognitive ability level higher when the user can achieve the physical movement with respect to the target object as the appearance range of the target object becomes wider. The cognitive ability estimation device according to item 1. 前記ユーザが身体動作を達成した前記目標オブジェクトの前記属性と認知年齢との関係を表す数式またはテーブルを記憶する記憶部をさらに備え、
前記推定部は、前記数式またはテーブルを用いて、前記ユーザの認知能力レベルを認知年齢として推定する請求項１～９のいずれか１項に記載の認知能力推定装置。 Further comprising a storage unit for storing a mathematical formula or table representing the relationship between the attribute of the target object for which the user has achieved physical movement and the cognitive age.
The cognitive ability estimation device according to any one of claims 1 to 9, wherein the estimation unit estimates the cognitive ability level of the user as a cognitive age by using the mathematical formula or the table. 前記記憶部に記憶された数式またはテーブルを更新する更新部をさらに備えた請求項１０に記載の認知能力推定装置。 The cognitive ability estimation device according to claim 10, further comprising an update unit for updating a mathematical formula or a table stored in the storage unit. 前記設定部は、前記推定部が推定した前記ユーザの認知能力レベルに応じて、次に表示させる目標オブジェクトの前記属性を設定する請求項１～１１のいずれか１項に記載の認知能力推定装置。 The cognitive ability estimation device according to any one of claims 1 to 11, wherein the setting unit sets the attribute of the target object to be displayed next according to the cognitive ability level of the user estimated by the estimation unit. .. 前記推定部は、推定した前記認知能力レベルに基づき運転リスク、または転倒リスクをさらに推定する請求項１～１２のいずれか１項に記載の認知能力推定装置。 The cognitive ability estimation device according to any one of claims 1 to 12, wherein the estimation unit further estimates a driving risk or a fall risk based on the estimated cognitive ability level. 前記設定部は推定された前記認知能力レベルに基づき、認知能力を向上、あるいは運転リスクを低減、または転倒リスクを低減させるための治療プログラムを提案する請求項１３に記載の認知能力推定装置。 The cognitive ability estimation device according to claim 13, wherein the setting unit proposes a treatment program for improving cognitive ability, reducing driving risk, or reducing fall risk based on the estimated cognitive ability level. ユーザの認知能力レベルを推定する認知能力推定方法であって、
表示制御部が３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御ステップと、
設定部が前記目標オブジェクトの前記仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定ステップと、
推定部が前記目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合に、当該目標オブジェクトの前記属性に応じて、前記ユーザの認知能力レベルを推定する推定ステップと、
を認知能力推定システムに実行させる認知能力推定方法であって、
前記推定ステップは、基準値から、
前記仮想空間における前記目標オブジェクトの表示数に応じた値、
前記目標オブジェクトの前記仮想空間における移動速度に応じた値、
前記目標オブジェクトが生成される前記仮想空間における背景の複雑さに応じた値、
前記仮想空間における前記目標オブジェクトの移動方向に応じた値、
前記仮想空間における前記目標オブジェクトの大きさに応じた値、及び、
前記仮想空間における前記目標オブジェクトの出現範囲の大きさに応じた値、
の少なくともいずれか１つを減算して、前記認知能力レベルを推定する認知能力推定方法。 It is a cognitive ability estimation method that estimates the cognitive ability level of the user.
A display control step in which the display control unit creates and displays a target object in the virtual space to encourage the user to perform three-dimensional body movements.
A setting step for the setting unit to set at least one of the moving speed, the number of displays, the size, the display position, and the display interval as the attributes of the target object in the virtual space.
An estimation step in which the estimation unit estimates the cognitive ability level of the user according to the attribute of the target object when the user can achieve the physical movement with respect to the target object.
Is a cognitive ability estimation method that causes the cognitive ability estimation system to execute
The estimation step is performed from the reference value.
A value according to the number of display of the target object in the virtual space,
A value according to the moving speed of the target object in the virtual space,
A value according to the complexity of the background in the virtual space where the target object is generated,
A value according to the moving direction of the target object in the virtual space,
A value according to the size of the target object in the virtual space, and
A value according to the size of the appearance range of the target object in the virtual space,
A cognitive ability estimation method for estimating the cognitive ability level by subtracting at least one of the above. ３次元的な身体動作をユーザに促すための目標オブジェクトを仮想空間において生成し、表示する表示制御ステップと、
前記目標オブジェクトの前記仮想空間における属性として、移動速度、表示数、大きさ、表示位置および表示間隔の少なくともいずれか１つを設定するための設定ステップと、
前記目標オブジェクトに対する前記身体動作を前記ユーザが達成できた場合に、当該目標オブジェクトの前記属性に応じて、前記ユーザの認知能力レベルを推定する推定ステップと、
をコンピュータに実行させる認知能力推定プログラムであって、
前記推定ステップは、基準値から、
前記仮想空間の前記目標オブジェクトの表示数に応じた値、
前記目標オブジェクトの前記仮想空間における移動速度に応じた値、
前記目標オブジェクトが生成される前記仮想空間における背景の複雑さに応じた値、
前記仮想空間における前記目標オブジェクトの移動方向に応じた値、
前記仮想空間における前記目標オブジェクトの大きさに応じた値、及び、
前記仮想空間における前記目標オブジェクトの出現範囲の大きさに応じた値、
の少なくともいずれか１つを減算して、前記認知能力レベルを推定する認知能力推定プログラム。 A display control step that creates and displays a target object in virtual space to encourage the user to perform three-dimensional body movements.
A setting step for setting at least one of a moving speed, a number of displays, a size, a display position, and a display interval as attributes of the target object in the virtual space.
An estimation step for estimating the cognitive ability level of the user according to the attribute of the target object when the user can achieve the physical movement with respect to the target object.
Is a cognitive ability estimation program that causes a computer to execute
The estimation step is performed from the reference value.
A value according to the number of displayed target objects in the virtual space,
A value according to the moving speed of the target object in the virtual space,
A value according to the complexity of the background in the virtual space where the target object is generated,
A value according to the moving direction of the target object in the virtual space,
A value according to the size of the target object in the virtual space, and
A value according to the size of the appearance range of the target object in the virtual space,
A cognitive ability estimation program that estimates the cognitive ability level by subtracting at least one of the above.

Images