JP2017018519A - 表示装置およびコンピュータープログラム - Google Patents

Abstract

【課題】マーカーの取り付けに困ることを解消できると共に、マーカーによってリハビリ運動がスムーズに行われなくなることを防止する。【解決手段】協調運動を行う一対の身体部分を視認可能な表示部３０Ｌ，３０Ｒと、一対の身体部分のうちの健常である身体部分に取り付けられたマーカーを撮影し得る撮影部５１と、一対の身体部分のうちの障害のある身体部分の正常動作を表す画像を、表示部に表示させる表示制御部７０と、を備える表示装置２０である。表示制御部は、撮影されたマーカーの位置に基づいて、障害のある身体部分についての、協調運動の際に表示部において視認される位置を推定し、推定された位置に、画像を表示させる。【選択図】図１

Description

本発明は、表示装置と、コンピュータープログラムとに関する。

従来、リハビリ装置として、患者に麻痺した身体部分が動いているように見せる装置が知られている。例えば、特許文献１に記載されたリハビリ装置では、麻痺した手にマーカーを貼り付け、頭部装着型表示装置を用いることによって、マーカーによって認識された手の表示位置に、動作の手本となる動画を表示する。

特開２０１５−３９５２２号公報 特開２０１５−１０３０１０号公報

特許文献１に記載されたリハビリ装置では、麻痺した手にマーカーを貼り付ける必要があるが、麻痺した手は不自由な部分であり、マーカーの取り付けが容易でないという問題が発生した。また、マーカーが手の動きの妨げになって、リハビリ運動をスムーズに行うことができない虞があった。この他、装置の小型化や、低コスト化、省資源化、製造の容易化、使い勝手の向上等が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態は、表示装置である。この表示装置は、協調運動を行う一対の身体部分を視認可能な表示部と、前記一対の身体部分のうちの健常である身体部分に取り付けられたマーカーを撮影し得る撮影部と、前記一対の身体部分のうちの障害のある身体部分の正常動作を表す画像を、前記表示部に表示させる表示制御部と、を備える。前記表示制御部は、前記撮影されたマーカーの位置に基づいて、前記障害のある身体部分についての、前記協調運動の際に前記表示部において視認される位置を推定し、前記推定された位置に、前記画像を表示させる。この形態の表示装置によれば、障害のある身体部分の正常動作を表す画像の表示位置が、健常である身体部分に取り付けられたマーカーの位置から決定されることから、障害のある身体部分にマーカーを取り付ける必要がない。このために、マーカーの取り付けに困ることを解消できると共に、マーカーによってリハビリ運動がスムーズに行われなくなることを防止できる。

（２）前記形態の表示装置において、前記表示制御部は、前記協調運動の際の前記健常である身体部分に対する前記障害のある身体部分の相対位置を特定しうる参照情報を予め記憶し、前記視認される位置の推定を、前記撮影されたマーカーの位置と前記参照情報とに基づいて行ってもよい。この構成によれば、障害のある身体部分についての、協調運動の際に表示部において視認される位置を高精度に推定することができる。このために、画像が自分の手であると錯覚する錯覚効果を、より高めることができる。

（３）前記形態の表示装置において、前記一対の身体部分は、両手であり、前記協調運動は、把持物体を前記両手で把持する運動であり、前記参照情報は、前記把持物体の大きさとしてもよい。この形態の表示装置によれば、画像を障害のある身体部分により高精度に重畳させることができる。

（４）前記形態の表示装置において、前記表示部は、頭部装着型の表示部であってもよい。この形態の表示装置によれば、頭部に装着することで、拡張現実感をより向上させることができる。

（５）本発明の他の形態は、コンピュータープログラムである。このコンピュータープログラムは、協調運動を行う一対の身体部分を視認可能な表示部と、前記一対の身体部分のうちの健常である身体部分に取り付けられたマーカーを撮影し得る撮影部と、を備える表示装置を制御するためのコンピュータープログラムである。このコンピュータープログラムは、前記一対の身体部分のうちの障害のある身体部分の正常動作を表す画像を、前記表示部に表示させる機能を、コンピューターに実現させる。前記機能は、前記撮影部によって撮影されたマーカーの位置に基づいて、前記障害のある身体部分についての、前記協調運動の際に前記表示部において視認される位置を推定し、前記推定された位置に、前記画像を表示させる。この形態のコンピュータープログラムは、前記形態の表示装置と同様に、マーカーの取り付けに困ることを解消できると共に、マーカーによってリハビリ運動がスムーズに行われなくなることを防止できる。

本発明の一実施形態としての頭部装着型表示装置（ＨＭＤ）の構成を示す説明図である。 左眼用表示部の構成を詳細に示す説明図である。 ＨＭＤの構成を機能的に示すブロック図である。 マーカーの貼り付け位置を示す説明図である。 準備作業の様子を示す説明図である。 制御装置によって実行されるリハビリ処理の前半部分を示すフローチャートである。 制御装置によって実行されるリハビリ処理の後半部分を示すフローチャートである。 ステップＳ１７０で表示されるメッセージの一例を示す説明図である。 健常手で名刺をつかんだ状態で使用者によって視認される表示画面を示す説明図である。 運動モデルの一例を示す説明図である。 再生時において使用者によって視認される画像の一例を示す説明図である。

次に、本発明の実施形態を説明する。
Ａ．ＨＭＤの基本構成：
図１は、本発明の一実施形態としての頭部装着型表示装置１０の構成を示す説明図である。頭部装着型表示装置１０は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。このＨＭＤ１０は、片側の手の機能回復訓練（リハビリ）を行うためのものである。ＨＭＤ１０は、本実施形態では、使用者が、虚像を視認すると同時に現実空間も視認可能な光学透過型（シースルー型）である。

ＨＭＤ１０は、眼鏡のような形状を有する表示装置２０と、制御装置（コントローラー）７０とを備える。表示装置２０と制御装置７０との間は、有線または無線で、通信可能に接続される。本実施形態では、表示装置２０と制御装置７０とが、有線のケーブル９０で接続されている。制御装置７０は、表示装置２０との間で、ケーブル９０を介して、画像の信号（画像信号）や制御の信号（制御信号）を通信する。

表示装置２０は、左眼用の表示部（左眼用表示部）３０Ｌと、右眼用の表示部（右眼用表示部）３０Ｒとを備える。

左眼用表示部３０Ｌは、左眼用の画像形成部（左眼用画像形成部）３２Ｌと、左眼用の導光部（図２に示される左眼用導光部３４Ｌ）と、左眼用の反射部（左眼用反射部）３６Ｌと、左眼用シェード３８Ｌとを備える。右眼用表示部３０Ｒは、右眼用の画像形成部（右眼用画像形成部）３２Ｒと、右眼用の導光部（図２に示される左眼用導光部３４Ｌと同様なもの）と、右眼用の反射部（右眼用反射部）３６Ｒと、右眼用シェード３８Ｒとを備える。

図２は、左眼用表示部３０Ｌの構成を詳細に示す説明図である。図２は、左眼用表示部３０Ｌを真上から見た図である。左眼用表示部３０Ｌに備えられる左眼用画像形成部３２Ｌは、メガネのテンプル（つる）の根元部分に配置され、左眼用の画像生成部（左眼用画像生成部）３２１Ｌと、左眼用の投射光学系（左眼用投射光学系）３２２Ｌとを備える。

左眼用画像生成部３２１Ｌは、左眼用のバックライトの光源（左眼用バックライト光源）ＢＬと、左眼用の光変調素子（左眼用光変調素子）ＬＭとを備える。バックライト光源ＢＬは、本実施形態では、赤色、緑色および青色といった発光色ごとの光源の集合から構成されている。各光源としては、例えば、発光ダイオード（ＬＥＤ）などを用いることができる。光変調素子ＬＭは、本実施形態では、表示素子である液晶表示デバイスによって構成されている。

左眼用表示部３０Ｌは、次のように作用する。左眼用画像生成部３２１Ｌに、制御装置７０（図１）から左眼用の画像信号が入力されると、左眼用バックライト光源ＢＬの各光源が、赤色光、緑色光および青色光を射出する。各光源から射出された赤色光、緑色光および青色光は拡散して、左眼用光変調素子ＬＭに投射される。左眼用光変調素子ＬＭは、制御装置７０から左眼用画像生成部３２１Ｌに入力された画像信号に応じて、投射された赤色光、緑色光および青色光を空間変調することにより、画像信号に応じた画像光を射出する。

左眼用投射光学系３２２Ｌは、例えば、投射レンズ群から構成され、左眼用画像生成部３２１Ｌの左眼用光変調素子ＬＭから射出された画像光を投射して、平行な状態の光束にする。左眼用投射光学系３２２Ｌにより平行な状態の光束にされた画像光は、左眼用導光部３４Ｌに投射される。

左眼用導光部３４Ｌは、左眼用投射光学系３２２Ｌからの画像光を、左眼用反射部３６Ｌが有する三角プリズムの予め定められた面（半透過反射面）に導く。左眼用反射部３６Ｌに形成されている半透過反射面の表裏のうち、装着時に使用者の左眼ＥＹに向く側には、ミラー層などの反射コーティングが施されている。左眼用反射部３６Ｌに形成されている半透過反射面に導かれた画像光は、この反射コーティングされた面により、使用者の左眼ＥＹに向けて全反射される。これにより、左眼用反射部３６Ｌの予め定められた位置のエリア（画像取り出しエリア）から、前記導かれた画像光に応じた画像光が出力される。出力された画像光は使用者の左眼ＥＹに入って、その左眼ＥＹの網膜上に画像（虚像）を形成する。

左眼用反射部３６Ｌに現実空間から入射する光の少なくとも一部は、左眼用反射部３６Ｌに形成されている前述した半透過反射面を透過し、使用者の左眼ＥＹに導かれる。これにより、使用者には、左眼用画像形成部３２Ｌにより形成された画像と、現実空間からの光学像とが重畳されて見える。

左眼用シェード３８Ｌは、左眼用導光部３４Ｌの使用者の左眼ＥＹとは反対の側に配置され、本実施形態では、取り外し可能である。左眼用シェード３８Ｌは、明るい場所や画面に集中したい時に取り付けられることで、左眼用画像形成部３２Ｌにより形成された画像を、使用者は明瞭に見ることができる。

図１に示すように、右眼用表示部３０Ｒは、上記構成の左眼用表示部３０Ｌと左右対称の同様な構成を有しており、左眼用表示部３０Ｌと同様に作用する。この結果、使用者は、表示装置２０を頭部に装着することにより、表示装置２０の画像取り出しエリア（左眼用反射部３６Ｌの画像取り出しエリア、右眼用反射部３６Ｒの画像取り出しエリア）から出力される画像光に応じた画像が表示されているように見えることで、その画像を認識することができる。また、使用者は、表示装置２０の画像取り出しエリア（左眼用反射部３６Ｌの画像取り出しエリア、右眼用反射部３６Ｒの画像取り出しエリア）に現実空間からの光の少なくとも一部が透過させられることにより、表示装置２０を頭部に装着したまま、現実空間を見ることができる。

このように、使用者は、表示装置２０の画像取り出しエリアに表示された画像（以下、単に「表示画像」と呼ぶ）と、透過してきた現実空間とを同時に見る（視認する）ことができる。表示画像が、使用者に拡張現実感（ＡＲ：Augmented Reality）を与えるＡＲ画像となる。

表示装置２０において、使用者が表示装置２０を装着した際の使用者の眉間に対応する位置には、カメラ５１が設けられている。そのため、使用者が表示装置２０を頭部に装着した状態において、カメラ５１は、使用者が向いている方向の現実空間を撮像する。カメラ５１は、単眼カメラであるが、ステレオカメラであってもよい。

制御装置７０は、表示装置２０を制御するための装置である。制御装置７０は、タッチパッド７２と、操作ボタン部７４とを備える。タッチパッド７２は、タッチパッド７２の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド７２としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。操作ボタン部７４は、種々の操作ボタンを有し、各操作ボタンの操作を検出して、検出内容に応じた信号を出力する。タッチパッド７２および操作ボタン部７４は、使用者によって操作される。

図３は、ＨＭＤ１０の構成を機能的に示すブロック図である。制御装置７０は、ＣＰＵ８０と、記憶部８２と、運動モデルデータベース８４と、入力情報取得部８６と、電源部８８とを備え、各部はバス等により相互に接続されている。

記憶部８２は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成される。記憶部８２には、オペレーティングシステム（ОＳ）をはじめとする種々のコンピュータープログラムが格納されている。本実施形態では、格納されているコンピュータープログラムの一つとしてリハビリ用プログラムがある。

運動モデルデータベース８４は、運動モデルを蓄積したデータベースである。運動モデルは、リハビリの際に目標とされる運動をモデル化した動画データであり、本実施形態では、左手の運動モデルと、右手の運動モデルが予め蓄積されている。なお、運動モデルは、動画データに換えて、いくつかの静止画データの集まりとしてもよい。さらには、運動モデルは、手の特徴点位置の集合から構成されるデータであってもよく、動画を構築し得るデータであればいずれのデータに換えることもできる。さらに、運動モデルは、運動の回数や速度などのパラメータを含むようにしてもよい。

入力情報取得部８６は、前述したタッチパッド７２および操作ボタン部７４を含む。入力情報取得部８６は、タッチパッド７２や操作ボタン部７４からの検出内容に応じた信号を入力する。

電源部８８は、制御装置７０および表示装置２０に備えられた電源を必要とする各構成部に、電源を供給する。

ＣＰＵ８０は、記憶部８２に格納されているコンピュータープログラムを読み出して実行することにより、各種の機能を奏する。具体的には、ＣＰＵ８０は、入力情報取得部８６から操作の検出内容の入力があった場合に当該検出結果に応じた処理を実行する機能、記憶部８２に対してデータの読み書きを行う機能、および電源部８８から各構成部への電源の供給を制御する機能を奏する。

また、ＣＰＵ８０は、記憶部８２に格納されているリハビリ用プログラムを読み出して実行することにより、リハビリ処理を実行するリハビリ処理部８２ａとしても機能する。リハビリ処理は、障害のある身体部分（ここでは、片側の手）の正常動作を表すＡＲ画像を表示することによって、ＨＭＤ１０の使用者に協調運動訓練を行わせためものである。ＣＰＵ８０と、ＣＰＵ８０によって実行される機能としてのリハビリ処理部８２ａとが、「表示制御部」の下位概念に相当する。

Ｂ．準備作業について：
本実施形態では、リハビリの対象者、すなわち、ＨＭＤ１０の使用者として、片手に障害が残り、片手は健常である患者を想定している。障害としては、例えば、脳卒中による麻痺がある。以下、障害のある手を「障害手」、障害のない手を「健常手」と呼ぶ。なお、「健常である」とは、一切、障害がない状態に限る必要はなく、機能的に多少の障害がある場合であってもよい。

使用者は、ＨＭＤ１０を使用して協調運動訓練を行うに際し、２つの準備作業を行う必要がある。第１番目の準備作業は、マーカーを貼り付ける作業である。マーカーは、ＨＭＤ１０においてＡＲ画像を表示する位置を指定するための標識である。

図４は、マーカーの貼り付け位置を示す説明図である。図４（ａ）は健常手の手のひらの側を示し、図４（ｂ）は健常手の甲の側を示す。ここでは、右手が健常手であるものとする。マーカーは４つ用意されている。図４（ａ）に示すように、健常手ＮＨの手のひらの側に、３つのマーカーＭ１，Ｍ２，Ｍ３が貼り付けられる。詳しくは、第１のマーカーＭ１は手のひらの親指の付け根（いわゆる金星丘）に、第２のマーカーＭ２は手のひらの中指の先端に、第３のマーカーＭ３は手のひらの小指の下の手首よりのふくらみ（いわゆる火星丘）に、それぞれ貼り付けられる。

なお、これらマーカーＭＫ１〜ＭＫ３の貼付位置は、健常手ＮＨの外縁を規定するに適した位置であり、上記の例に限る必要はない。例えば、第１のマーカーＭ１は手のひらの親指の先端位置に、第３のマーカーＭ３は手のひらの小指の先端位置に換えることもできる。また、マーカーの数も、３つに限る必要はなく、例えば、第１〜第３のマーカーＭ１〜Ｍ３に親指の先端位置、人差し指の先端位置、薬指の先端位置を加えた合計７つとした構成、親指の先端位置と手のひらの小指の先端位置とに貼り付ける合計２つとした構成等、種々の数とすることができる。

図４（ｂ）に示すように、健常手ＮＨの手の甲の側の親指と人差し指の間に、第４のマーカーＭ４が貼り付けられる。第４のマーカーＭＫ４の貼付位置は、これに限る必要はなく、後述する協調運動訓練の初期構えにおいて健常手を認識可能な位置であれば、いずれの位置とすることもできる。また、健常手ＮＨの手の甲の側のマーカーは、１つに限る必要もなく、複数とすることもできる。

各マーカーＭ１〜Ｍ４の貼り付けは、リハビリの補助者によって行われる。なお、使用者が、障害のある側である左手でマーカーＭ１〜Ｍ４の貼り付けを行うことができれば、使用者自身で貼り付けるようにしてもよい。

図５は、第２番目の準備作業の様子を示す説明図である。第１番目の準備作業が済むと、使用者は、第２番目の準備作業として、ＨＭＤ１０の表示装置２０を頭部に装着した状態で、机やテーブル等のリハビリ台ＴＢの前に位置する。そして、使用者ＨＵは、障害手ＦＨである左手と、健常手ＮＨである右手とをリハビリ台ＴＢの上に差し出す。健常手ＮＨは、手のひらを上側に向け、手を広げた状態とする。「手を広げた状態」とは、各指の関節は伸ばされ、各指の間は広げられた状態であり、いわゆるパーの状態である。健常手ＮＨには、第１番目の準備作業によって、マーカーＭ１〜Ｍ４が貼り付けられている。障害手ＦＨは、手のひらを上側に向け、自然な状態、すなわち、各指の関節が若干、曲げられた状態とする。本実施形態では、リハビリ台ＴＢの上には、リハビリ用の小道具として、把持物体、例えば名刺ＢＣが置かれている。

図５の状態で、ＨＭＤ１０の制御装置７０のタッチパッド７２や操作ボタン部７４（図１）が操作されることで、ＨＭＤ１０に対してリハビリ処理の実行が指示される。この操作は、例えば、リハビリの補助者によってなされる。なお、使用者が健常手を用いて上記の操作を行い、その後、直ちに健常手を図５の状態としてもよい。

Ｃ．リハビリ処理：
図６および図７は、制御装置７０によって実行されるリハビリ処理を示すフローチャートである。このリハビリ処理は、リハビリ処理部８２ａ（図３）の処理であり、入力情報取得部８６（図３）によってリハビリ処理の実行の指示を受け付けたときに、ＣＰＵ８０によって、実行開始される。

図６に示すように、処理が開始されると、ＣＰＵ８０は、まず、カメラ５１によって撮影を行い（ステップＳ１１０）、その撮影によって得られた撮影画像の中に、手のひらの側に貼り付けたマーカーＭ１〜Ｍ３が含まれるか否かを判定する（ステップＳ１２０）。ここでは、マーカーＭ１〜Ｍ３が含まれるとは、３つのマーカーＭ１〜Ｍ３の全てが含まれることをいい、マーカーＭ１〜Ｍ３のうちの一つでも含まれない場合には、マーカーＭ１〜Ｍ３が含まれないと判定される。

使用者は、図５の状態において、リハビリを行うに際し、手のあるリハビリ台ＴＢに視線を移す。カメラ５１は、使用者の向いている方向の現実空間を撮像することになることから、リハビリ台ＴＢに視線を移したときに、カメラ５１による撮影画像の中にマーカーＭ１〜Ｍ３が含まれることになり、ステップＳ１２０において肯定判定される。肯定判定された場合には、ＣＰＵ８０は、ステップＳ１３０に処理を進める。一方、ステップＳ１２０でマーカーＭ１〜Ｍ３が含まれないと判定された場合には、ＣＰＵ８０は、ステップＳ１１０に処理を戻して、ステップＳ１１０からステップＳ１２０までの処理を繰り返し実行する。

ステップＳ１３０では、ＣＰＵ８０は、ステップＳ１１０によって得られた撮影画像の中から各マーカーＭ１〜Ｍ３を検出し、各マーカーＭ１〜Ｍ３の二次元位置座標を求める。二次元位置座標を示す座標系は、表示装置２０による表示画面に対応したものである。３つのマーカーＭ１〜Ｍ３は、健常手ＮＨの外縁を規定していることから、これらのマーカーＭ１〜Ｍ３の二次元位置座標の広がりは、使用者の手の（実際の）大きさと、マーカーからカメラ５１までの距離とによって定まる。マーカーからカメラ５１までの距離は、三つのマーカーＭ１〜Ｍ３のうちのいずれか一つのマーカーの撮影画像における大きさに基づいて求めることができる。このため、続くステップＳ１４０では、ＣＰＵ８０は、ステップＳ１３０で求めた各マーカーＭ１〜Ｍ３の二次元位置座標と、一つのマーカーの撮影画像における大きさとに基づいて、使用者の手の（実際の）大きさを認定する。

次いで、ＣＰＵ８０は、ステップＳ１３０で求めた各マーカーＭ１〜Ｍ３の二次元位置座標から、マーカーＭ１〜Ｍ３が貼り付けられた健常手ＮＨが右手か左手かを判定する（ステップＳ１５０）。各マーカーＭ１〜Ｍ４は個別に識別可能であることから、手のひらの親指の付け根に設けられた第１のマーカーＭ１が、手のひらの小指の下の手首よりに設けられた第３のマーカーＭ３に対して右側に位置するか左側に位置するかによって、健常手ＮＨが右手か左手かを判定することができる。なお、この判定の方法は、一例であり、各マーカーＭ１〜Ｍ３の配置されている位置関係から判定する方法であれば、いずれの方法によってもよい。

続いて、ＣＰＵ８０は、ステップＳ１５０で判定された手の側と反対の側を障害手と認識し、その障害手の側に対応した運動モデルを、運動モデルデータベース８４から読み出す（ステップＳ１６０）。すなわち、ステップＳ１５０で健常手が右手と判定されたときには、障害手は左手であるから左手の運動モデルを読み出し、一方、ステップＳ１５０で健常手が左手と判定されたときには、障害手は右手であるから右手の運動モデルを読み出す。運動モデルの詳細については、後述する。

図６のステップＳ１６０の実行後、ＣＰＵ８０は、図７のステップＳ１７０に処理を進める。ステップＳ１７０では、ＣＰＵ８０は、使用者にリハビリの初期構えを取ることを促すためのメッセージを、ＨＭＤ１０の表示装置１０に表示させる。ここでは、「初期構え」は、健常手ＮＨで名刺ＢＣを把持する格好である。

図８は、ステップＳ１７０で表示されるメッセージの一例を示す説明図である。図中のＳＣは、表示装置１０による表示画面である。ステップＳ１１０では、具体的には、例えば「健常な側の手で名刺をつかんで下さい」とのメッセージＭＳが表示画面ＳＣに表示される。このメッセージＭＳを表示画面ＳＣから視認した使用者は、健常手ＮＨで名刺ＢＣ（図５）をつかむ（把持する）動作を行う。

図９は、健常手ＮＨで名刺ＢＣをつかんだ状態で使用者によって視認される表示画面ＳＣを示す説明図である。図示するように、使用者は、表示画面ＳＣ内に、透過してきた現実空間の実像として、名刺ＢＣを掴んだ状態の健常手ＮＨと、障害手ＦＨとを視認する。

ステップＳ１７０（図７）の実行後、ＣＰＵ８０は、カメラ５１によって撮影を行い（ステップＳ１８０）、その撮影によって得られた撮影画像の中に、手の甲の側に貼り付けた第４のマーカーＭ４が含まれるか否かを判定する（ステップＳ１９０）。第４のマーカーＭ４は、健常手ＮＨにおける手の甲の側の親指と人差し指の間に貼り付けられていることから、健常手ＮＨで名刺ＢＣをつかんだときに、カメラ５１による撮影画像の中に第４のマーカーＭ４が含まれることになり、ステップＳ１９０において肯定判定される。肯定判定された場合には、ＣＰＵ８０は、ステップＳ２００に処理を進める。一方、ステップＳ１９０で第４のマーカーＭ４が含まれないと判定された場合には、ＣＰＵ８０は、ステップＳ１８０に処理を戻して、ステップＳ１８０からステップＳ１９０までの処理を繰り返し実行する。

ステップＳ２００では、ＣＰＵ８０は、ステップＳ１８０によって得られた撮影画像の中から第４のマーカーＭ４を検出し、第４のマーカーＭ４の二次元位置座標を求める。二次元位置座標を示す座標系は、表示装置２０による表示画面に対応したものである。

続いて、ＣＰＵ８０は、ステップＳ２００で求めた第４のマーカーＭ４の二次元位置座標と、第４のマーカーＭ４の撮影画像における大きさと、把持物体である名刺の（実際の）大きさとに基づいて、障害手の位置を推定する（ステップＳ２１０）。「障害手の位置」とは、本実施形態では、右手と左手を使って名刺ＢＣを把持するという協調運動を行う際に障害手（例えば左手）がとり得る位置である。第４のマーカーＭ４の二次元位置座標は健常手ＮＨ（例えば右手）の位置を定めることから、この第４のマーカーＭ４の二次元位置座標から名刺の撮影画像における大きさ分だけ離れた位置に、障害手があることが判る。名刺の撮影画像における大きさは、名刺の（実際の）大きさと、マーカーからカメラ５１までの距離とに基づいて求めることができる。このため、第４のマーカーＭ４の二次元位置座標と、第４のマーカーＭ４の撮影画像における大きさと、名刺の（実際の）大きさとに対して、協調運動の際に視認される障害手の位置が一義的に定まる。

本実施形態では、第４のマーカーＭ４の二次元位置座標を変数Ｘとし、第４のマーカーＭ４の撮影画像における大きさを変数Ｙとし、名刺の（実際の）大きさを定数Ｃとし、協調運動の際に視認される障害手の位置を変数Ｚとし、変数Ｘ、Ｙおよび定数Ｃに対する変数Ｚを表す数式を、実験的にあるいはシミュレーションによって求め、記憶部に８２に予め記憶しておく。ステップＳ２１０では、この数式を用いることで、協調運動の際に表示装置２０において視認される障害手の位置を求める。名刺の（実際の）大きさが、「参照情報」の下位概念に相当する。

ステップＳ２１０（図７）の実行後、ＣＰＵ８０は、ステップＳ１４０によって認識された使用者の手の大きさに基づいて、ステップＳ１６０によって読み出された運動モデルの大きさを調整する（ステップＳ２２０）。

図１０は、ステップＳ１６０によって読み出された運動モデルの一例を示す説明図である。図示した運動モデルＭＤは、左手の運動モデルである。運動モデルＭＤは、複数のフレーム（静止画）ＦＲ１，…,ＦＲ２,…,ＦＲ３によって構成される動画データである。ＦＲ１〜ＦＲ３のそれぞれの間にも、１または複数のフレームが含まれる。

最初のフレームＦＲ１は、手のひらを上側に向け、自然な状態を表す。この状態は、図５の障害手ＦＨの状態とほぼ一致している。最後のフレームＦＲ３は、把持物体である名刺ＢＣ（図５）をつかんだときの手の状態を表す。最初のフレームＦＲ１と最後のフレームＦＲ３との中間のフレームＦＲ２は、上記の手のひらを上側に向けた自然な状態から名刺をつかんだときの状態までの中間の状態を表す。

上述したように構成された運動モデルＭＤによれば、手のひらを上側に向けた自然な状態から名刺をつかんだときの状態までの連続した運動、すなわち、名刺を把持する際の運動が示されることになる。ステップＳ２２０では、この運動モデルＭＤの大きさを、ステップＳ１４０によって認識された使用者の手の大きさに基づいて調整する。すなわち、運動モデルデータベース８４（図３）に記憶されている運動モデルは、成人の一般的な大きさであることから、ステップＳ２２０では、その運動モデルを、使用者の手の大きさに合致するように、拡大または縮小するサイズ調整を行う。

その後、ＣＰＵ８０は、ステップＳ２１０によって推定された障害手の位置で、ステップＳ２２０によってサイズ調整された運動モデルを再生（表示）する（ステップＳ２３０）。この表示は、先に説明した左眼用表示部３０Ｌおよび右眼用表示部３０Ｒを動作させることによって行われる。

図１１は、再生時において使用者によって視認される画像の一例を示す説明図である。図中の実線で示した左手の画像が、再生した運動モデルの画像（ＡＲ画像）Ｇａである。図中の破線で示した右手、左手の画像が、透過して見える現実空間に実在する使用者の健常手ＮＨと障害手ＦＨである。図示するように、使用者にとって、障害手ＦＨに対して運動モデルの画像Ｇａが重畳されて視認される。図示の例では、運動モデルの画像Ｇａは、名刺ＢＣをつかんだ状態であり、図１０の最後のフレームＦＲ３の画像である。使用者は、手を広げた状態から、運動モデルの画像Ｇａの動きに追従して手を開閉することで、協調運動訓練を行う。

図７のステップＳ２３０の実行後、ＣＰＵ８０は、リハビリを継続するか否かを判定する（ステップＳ２４０）。制御装置７０のタッチパッド７２や操作ボタン部７４（図１）が操作されることで、ＨＭＤ１０に対してリハビリを継続する旨が指示される。ＣＰＵ８０は、入力情報取得部８６（図２）によって、リハビリを継続する旨の指示を受け付けたときに、リハビリを継続すると判定する。上記のタッチパッド７２や操作ボタン部７４の操作は、例えば、リハビリの補助者によってなされる。なお、使用者が健常手を用いて上記の操作を行い、その後、直ちに健常手を図５の状態に戻すようにしてもよい。

ステップＳ２４０で、リハビリを継続すると判定された場合には、ＣＰＵ８０は、ステップＳ１７０に処理を戻して、ステップＳ１７０からステップＳ２４０までの処理を繰り返し実行する。一方、ステップＳ２４０で、リハビリを継続しないと判定された場合に、このリハビリ処理のルーチンを終了する。

Ｄ．実施形態の効果：
以上のように構成された実施形態のＨＭＤ１０によれば、障害手ＦＨの正常動作を表すＡＲ画像の表示位置が、健常手ＮＨに取り付けられたマーカーＭ１〜Ｍ４の位置から決定される。このために、本実施形態では、障害のある身体部分にマーカーを取り付ける必要がない。したがって、マーカーＭ１〜Ｍ４の取り付けに困ることを解消できると共に、マーカーＭ１〜Ｍ４によってリハビリ運動がスムーズに行われなくなることを防止できる。

また、使用者は、先に説明したように（図１１参照）、障害手ＦＨに運動モデルの画像Ｇａを重ね合わせて視認することができることから、運動モデルの画像Ｇａが自分の手であると錯覚して協調運動訓練を行うことができる。したがって、本実施形態のリハビリ装置１００によれば、錯覚効果によって、手の麻痺を改善させる効果を高めることができる。

Ｅ．変形例：
この発明は前記実施形態やその変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

・変形例１：
前記実施形態では、協調運動は、右手と左手を使って把持物体を把持する動作であった。これに対して、変形例として、協調運動は、右手と左手を使って太鼓を叩く動作、右手と左手を組む動作、右手と左手を使ってキーボードを打つ動作等としてもよい。また、協調運動は、右手と左手を使う動作に限る必要はなく、右腕と左腕、右足と左足（足首からつま先まで）、右脚と左脚（足首から骨盤まで）等としてもよい。また、一対の身体部分は、左右対称となっている同じ機能を有する身体部分としたが、これに限る必要もなく、右手と左腕、右手と左足、右手の左脚等としてもよい。これら協調運動では、一対の身体部分のうちの一方の身体部分の位置が決まれば、他方の身体部分の位置が推定できることから、前記実施形態と同様な作用効果を奏することができる。

・変形例２：
前記実施形態では、協調運動に用いる把持物体は、名刺としたが、これに換えて、物差し、トレイ等の他の形状の物体としてもよい。また、用いる道具は、把持物体に限る必要もなく、つかんだ状態で保持するもの等、種々の状態で保持するものに換えることもできる。また、協調運動は、道具を用いないものとしてもよい。なお、協調運動が道具を用いたものである場合には、この道具の大きさが参照情報として記憶される。

・変形例３：
前記実施形態では、手のひらの側に３つのマーカーを貼り付けて、これらマーカーから使用者の手の大きさを認識し、この手の大きさに基づいて運動モデルの大きさを調整するようにしていた。これに対して、変形例として、手のひらの側にマーカーを貼り付けることをやめて、運動モデルの大きさの調整を行わない構成としてもよい。すなわち、手の甲の側につけた第４のマーカーＭ４だけを用いて、ＡＲ画像の表示位置を決めるようにしてもよい。

・変形例４：
前記実施形態では、ＨＭＤは、装着した状態で使用者の視界が遮断されない透過型の表示装置とした。これに対して、変形例として、ＨＭＤは、使用者の視界が遮断される非透過型の表示装置としてもよい。非透過型のＨＭＤは、現実空間の画像をカメラによって撮影し、この撮影された画像にＡＲ画像を重畳させるものである。また、ＨＭＤは、左眼用表示部と右眼用表示部とを備える構成としたが、これに換えて、片眼用の表示部だけを備える構成としてもよい。

・変形例５：
前記各実施形態および変形例では、ＡＲ画像を表示し得る表示装置として、使用者の頭部に装着される頭部装着型表示装置を用いたが、表示装置はこれに限られず、種々変形可能である。例えば、使用者の肩や首に装着したアームによって支持される表示装置のように、頭部や肩、首等の使用者の身体に装着される身体装着型表示装置を用いてもよい。また、使用者に装着されるのではなく、テーブル等に載置される載置型の表示装置であってもよい。

・変形例６：
前記各実施形態および変形例では、リハビリ処理部８２ａ（図３）は、ＣＰＵ８０が記憶部８２に格納されているコンピュータープログラムを実行することにより実現されるものとして記載した。しかし、これらリハビリ処理部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

・変形例７：
前記各実施形態および変形例では、表示装置２０にカメラ５１が一体的に取り付けられている構成として記載したが、表示装置２０とカメラ５１とが別体として設けられる構成としてもよい。

本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現できる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…頭部装着型表示装置（ＨＭＤ）
２０…表示装置
３０Ｌ…左眼用表示部
３０Ｒ…右眼用表示部
３２Ｌ…左眼用画像形成部
３２Ｒ…右眼用画像形成部）
３４Ｌ…左眼用導光部
３６Ｌ…左眼用反射部
３６Ｒ…右眼用反射部
３８Ｌ…左眼用シェード
３８Ｒ…右眼用シェード
５１…カメラ
７０…制御装置
７２…タッチパッド
７４…操作ボタン部
８０…ＣＰＵ
８２…記憶部
８２ａ…リハビリ処理部
８４…運動モデルデータベース
８６…入力情報取得部
８８…電源部
９０…ケーブル
３２１Ｌ…左眼用画像生成部
３２２Ｌ…左眼用投射光学系
ＢＬ…左眼用バックライト光源
ＬＭ…左眼用光変調素子
ＢＣ…名刺
ＨＵ…使用者
ＮＨ…健常手
ＦＨ…障害手
ＳＣ…表示画面
ＴＢ…リハビリ台
Ｍ１〜Ｍ４…マーカー
ＭＤ…運動モデル
Ｇａ…ＡＲ画像

Claims (5)

1. 協調運動を行う一対の身体部分を視認可能な表示部と、
   前記一対の身体部分のうちの健常である身体部分に取り付けられたマーカーを撮影し得る撮影部と、
   前記一対の身体部分のうちの障害のある身体部分の正常動作を表す画像を、前記表示部に表示させる表示制御部と、
   を備え、
   前記表示制御部は、
   前記撮影されたマーカーの位置に基づいて、前記障害のある身体部分についての、前記協調運動の際に前記表示部において視認される位置を推定し、
   前記推定された位置に、前記画像を表示させる、
   表示装置。
2. 請求項１に記載の表示装置であって、
   前記表示制御部は、
   前記協調運動の際の前記健常である身体部分に対する前記障害のある身体部分の相対位置を特定しうる参照情報を予め記憶し、
   前記視認される位置の推定を、前記撮影されたマーカーの位置と前記参照情報とに基づいて行う、表示装置。
3. 請求項２に記載の表示装置であって、
   前記一対の身体部分は、両手であり、
   前記協調運動は、把持物体を前記両手で把持する運動であり、
   前記参照情報は、前記把持物体の大きさである、表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の表示装置であって、
   前記表示部は、頭部装着型の表示部である、表示装置。
5. 協調運動を行う一対の身体部分を視認可能な表示部と、前記一対の身体部分のうちの健常である身体部分に取り付けられたマーカーを撮影し得る撮影部と、を備える表示装置を制御するためのコンピュータープログラムであって、
   前記一対の身体部分のうちの障害のある身体部分の正常動作を表す画像を、前記表示部に表示させる機能を、コンピューターに実現させ、
   前記機能は、
   前記撮影部によって撮影されたマーカーの位置に基づいて、前記障害のある身体部分についての、前記協調運動の際に前記表示部において視認される位置を推定し、
   前記推定された位置に、前記画像を表示させる、
   コンピュータープログラム。

Images