[第1実施形態]
以下、添付の図面を参照し、本発明の一実施形態に係る表示装置、頭部装着型表示装置および表示装置の制御方法について説明する。図1は、本発明の一実施形態における表示装置としての頭部装着型表示装置HMの外観構成を示す説明図である。頭部装着型表示装置HMは、使用者が頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display:HMD)とも呼ばれる。本実施形態の頭部装着型表示装置HMは、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置HM(透過型頭部装着型表示装置、シースルータイプ・ヘッドマウントディスプレイ)であり、眼鏡形状を有している。
頭部装着型表示装置HMは、右保持部11と、右表示駆動部12と、左保持部13と、左表示駆動部14と、右光学像表示部15と、左光学像表示部16と、センサー17とを有している。
右光学像表示部15および左光学像表示部16は、頭部装着型表示装置HMの装着時における使用者の右および左の眼前に対応する位置に配置されている。右光学像表示部15の一端と、左光学像表示部16の一端は、それぞれ、頭部装着型表示装置HMの装着時における使用者の眉間に対応する位置で接続されている。右光学像表示部15の他端である端部ERからは、右保持部11が延伸している。同様に、左光学像表示部16の他端である端部ELからは、左保持部13が延伸している。
右保持部11は、右光学像表示部15の端部ERから頭部装着型表示装置HMの装着時における使用者の側頭部に対応する位置にかけて、右光学像表示部15とほぼ直角を成すように延伸して設けられた部材である。同様に、左保持部13は、左光学像表示部16の端部ELから頭部装着型表示装置HMの装着時における使用者の側頭部に対応する位置にかけて、左光学像表示部16とほぼ直角を成すように延伸して設けられた部材である。右保持部11と、左保持部13は、眼鏡のテンプル(つる)のようにして、使用者の頭部に頭部装着型表示装置HMを保持する。
右表示駆動部12は、右保持部11の内側、換言すれば、頭部装着型表示装置HMの装着時における使用者の頭部に対向する側であって、右光学像表示部15の端部ER側に配置されている。また、左表示駆動部14は、左保持部13の内側であって、左光学像表示部16の端部EL側に配置されている。
センサー17は、頭部装着型表示装置HMの装着時における使用者の眉間に対応する位置に配置されている撮像装置である。センサー17は、頭部装着型表示装置HMを装着した状態における使用者の視界方向(使用者の前方)の外景を撮像し、使用者が操作する指示体を含んだ画像を取得し、取得した画像の画像信号を出力する。すなわち、頭部装着型表示装置HMにおける使用者側とは反対側(頭部装着型表示装置HMの外側前方)で操作される指示体を撮像する。本実施例のセンサー17による撮像範囲は、頭部装着型表示装置HMを装着したときの使用者の視界21(図2参照)よりも広い範囲となっている。
なお、指示体としては、例えば、使用者の指先、使用者が装着する指輪型入力装置、使用者が持つペンのペン先、リモコンの発光体等を用いることができる。指示体として使用者の指先やペン先等を用いる場合は、例えば、指先やペン先等を特徴点(特定点)として認識し、位置を検出すればよい。また、指輪型入力装置を用いる場合、例えば、指輪型入力装置に赤外線発光体(LED等)を取り付け、その赤外線光により位置を検出しても良いし、あるいは、指輪型入力装置を装着している使用者の指先を特徴点として認識し、位置を検出しても良い。さらには、使用者によって仮想的に保持されている任意の物を指示体とすることも可能である。「仮想的に保持する任意の物」とは、例えば、使用者の手の形がペンを握る形になった場合、その手に沿うように仮想的に想定されるペン等を意味する。このような場合であっても、上記と同様に、仮想的に保持されている物の任意の場所(例えば、仮想的に想定されるペンのペン先)を指示体として認識し、ペン先の軌跡等を特徴点として認識し、位置を検出することができる。
また、本実施例では、1つのセンサー17を例示しているが、複数のセンサー17が備えられていても良い。また、本実施例では、センサー17として撮像装置(撮像センサー)を例示しているが、これに限るものではなく、指示体を検出できるものであればその種類(検出方法)は問わない。例えば、センサー17として、レーザーセンサー、超音波センサー等を用いることも可能であり、複数種類の検出方法を組み合わせてもよい。
頭部装着型表示装置HMは、さらに、右耳用の右イヤホン18および左耳用の左イヤホン19を有している。右イヤホン18および左イヤホン19は、使用者が頭部装着型表示装置HMを装着した際に、それぞれ右および左の耳に装着される。
次に、図2を参照して、頭部装着型表示装置HMを装着した使用者が視認可能な虚像および外景の一例について説明する。図2に示すように、頭部装着型表示装置HMを装着した使用者の視界21には、頭部装着型表示装置HMが生成する虚像22が表示される。また、使用者の視界21の内、虚像22が表示される領域以外の領域には、使用者は右光学像表示部15および左光学像表示部16を透過して、外景23を見ることができる(以下、虚像22が表示される領域を「虚像表示領域25」と称し、これ以外の領域を「外景視認領域26」と称す)。また、本実施例の頭部装着型表示装置HMでは、使用者の視界21の内の虚像22が表示される領域(虚像表示領域25)についても、虚像22の背後に外景23が透けて見えるようになっている。なお、詳細は後述するが、虚像表示領域25と外景視認領域26との境界27(虚像表示領域25の縁部)の近傍には、所定の処理を実行するための各種命令が割り当てられており、使用者による指示体の操作により実行することができる。
次に、図3を参照して、頭部装着型表示装置HMの機能構成について説明する。図3に示すように、頭部装着型表示装置HMは、使用者に虚像を視認させる画像表示部40と、センサー17と、右イヤホン18と、左イヤホン19と、電源部71と、インターフェース72と、これら各部を制御する制御部30とを有している。
電源部71は、頭部装着型表示装置HMの各部に電力を供給する。インターフェース72は、画像(静止画像、動画像)や音声等のコンテンツの供給元となる種々の外部機器OAを接続するためのものである。外部機器OAとしては、例えば、パーソナルコンピュータ(PC)や携帯端末(携帯電話やスマートフォン等)、ゲーム端末等がある。インターフェース72としては、例えばUSBインターフェース、マイクロUSBインターフェース、メモリーカード用インターフェース、無線LANインターフェース等を採用することができる。
制御部30は、CPU(Central Processing Unit)50と、記憶部60とを有している。記憶部60は、ROM(Read Only Memory)やRAM(Random Access Memory)等により構成されており、種々のコンピュータープログラムが格納されている。CPU50は、記憶部60からコンピュータープログラムを読み出して実行することにより、オペレーティングシステム(OS)51や、画像処理部52、表示制御部53、画像解析部54、命令実行部55、音声処理部56として機能する。
画像処理部52は、インターフェース72を介して入力されたコンテンツ等に基づいて画像表示部40に供給するための信号を生成し、画像表示部40へ送信する。画像表示部40に供給するための信号は、アナログ形式とデジタル形式の場合で異なる。
例えば、アナログ形式の場合、画像処理部52はクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、画像データDataとを生成し、送信する。具体的には、画像処理部52は、コンテンツに含まれる画像信号(例えば、1秒あたり30枚のフレーム画像から構成されるアナログ信号)を取得し、取得した画像信号から垂直同期信号VSyncと、水平同期信号HSync等の同期信号を分離する。そして、画像処理部52は、分離した垂直同期信号VSyncや水平同期信号HSync等に応じて図示しないPLL回路等を利用してクロック信号PCLKを生成する。また、画像処理部52は、同期信号が分離されたアナログ画像信号を、図示しないA/D変換回路等を用いてデジタル画像信号に変換して画像データDataを生成する。
一方、デジタル形式の場合、画像処理部52は、クロック信号PCLKと、画像データDataとを生成し、送信する。具体的には、コンテンツがデジタル形式の場合、クロック信号PCLKが画像信号に同期して出力される。このため、垂直同期信号VSyncおよび水平同期信号HSyncおよびアナログ画像信号のA/D変換が不要となる。
なお、画像処理部52は、必要に応じて画像データDataに対して、解像度変換処理や、輝度・彩度の調整といった色調補正処理や、キーストン補正処理等の画像処理を実行しても良い。
表示制御部53は、右表示駆動部12および左表示駆動部14を制御する制御信号を生成し、画像表示部40に送信することにより、画像表示部40における画像表示状態を制御する。具体的には、表示制御部53は、制御信号により、右LCD制御部83による右LCD84の駆動のON/OFFや、右バックライト制御部81による右バックライト82の駆動ON/OFF、左LCD制御部93による左LCD94の駆動ON/OFFや、左バックライト制御部91による左バックライト92の駆動のON/OFF等を個別に制御することにより、右表示駆動部12および左表示駆動部14のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部53は、右表示駆動部12および左表示駆動部14の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
画像解析部54は、センサー17によって撮像された画像の画像信号を取得し、取得した画像信号の解析を行う。画像解析部54は、画像解析により指示体を検出し、その位置情報を出力する。画像処理部52や表示制御部53は、出力された指示体の位置情報に基づき、画像表示部40に指示体に対応するポインタP(図4(a)参照)を表示させる。なお、請求項における指示体検出部は、センサー17および画像解析部54を主要な構成要素とする。また、請求項におけるポインタ表示部は、画像処理部52および表示制御部53を主要な構成要素とする。
命令実行部55は、指示体の操作に伴うポインタPの移動位置や移動方向に応じて各種命令を実行する。具体的には、ポインタPが虚像表示領域25と外景視認領域26との境界27の近傍(いずれも図2参照)に移動した場合や、ポインタPが虚像表示領域25から境界27を越えて外景視認領域26へ移動する方向に指示体が操作された場合や、ポインタPが境界27に沿って移動された場合等に、予め割り当てられた各種命令(処理)を実行する(詳細は後述する)。すなわち、本実施例では、請求項における「所定の表示領域」は虚像表示領域25に相当し、「表示周辺領域」は外景視認領域26に相当する。また、虚像表示領域25と外景視認領域26との境界27とは、ポインタPを表示することが可能な(ポインタPを移動することが可能な)限界を示すものである。
音声処理部56は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン18および左イヤホン19に送信する。
画像表示部40は、右表示駆動部12と、左表示駆動部14と、右光学像表示部15としての右導光板86と、左光学像表示部16としての左導光板96と、を有している。なお、以下の説明では、右光学像表示部15および右導光板86と、左光学像表示部16および左導光板96と、を総称して「光学部材」とも呼ぶ。
右表示駆動部12、光源として機能する右バックライト(BL)制御部81および右バックライト(BL)82と、表示素子として機能する右LCD制御部83および右LCD84と、右投写光学系85を含んでいる。なお、以下の説明では、右バックライト制御部81、右バックライト82、右LCD制御部83および右LCD84を総称して「画像光生成部」とも呼ぶ。
右バックライト制御部81は、入力された制御信号に基づいて、右バックライト82を駆動制御する。右バックライト82は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部83は、入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右目用の画像データDataとに基づいて、右LCD84を駆動制御する。右LCD84は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系85は、右LCD84から射出された画像光を投写するものであり、例えば、コリメートレンズを用いて構成される。右光学像表示部15としての右導光板86は、光透過性の樹脂素材等によって形成され、右投写光学系85から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼に導く。なお、右投写光学系85と右導光板86とを総称して「導光部」とも呼ぶ。導光部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方法を用いることができ、例えば、回折格子(一例としてホログラム素子)を用いても良いし、半透過反射膜を用いても良い。
左表示駆動部14は、右表示駆動部12と同様に、左バックライト(BL)制御部91と、左バックライト(BL)92と、左LCD制御部93と、左LCD94と、左投写光学系95とを含んでいる(上記の右表示駆動部12と同様に、左バックライト制御部91、左バックライト92、左LCD制御部93および左LCD94を総称して「画像光生成部」とも呼ぶ)。左表示駆動部14に含まれる各要素の構成や機能は、右表示駆動部12に含まれる各要素と同様であるため、ここでは説明を省略する。また、左光学像表示部16としての左導光板96は、光透過性の樹脂素材等によって形成され、左投写光学系95から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼に導く。
このようにして、頭部装着型表示装置HMの使用者の両眼に導かれた画像光が網膜に結像することにより、使用者は、例えば図2に示すように虚像表示領域25内に虚像22を視認する。
次に、図4ないし図12を参照して、使用者による指示体の操作に伴って、頭部装着型表示装置HMにより虚像表示領域25に表示されるポインタPの移動により各種命令を実行する手順の一例について説明する。図4および図5は、指示体の操作(ポインタPの移動)によりメニュー画面を表示する処理を実行する場合について説明する図である。図6および図7は、画像等の拡大処理や縮小処理を実行する場合について説明する図である。図8および図9は、文書画像等のページ移動処理(ページ送り処理やページ戻し処理)を説明する図である。図10は、画像等の回転処理を実行する場合について説明する図である。また、図11および図12は、画像等の拡大縮小処理および回転処理を同時に実行する場合について説明する図である。
まず、図4および図5を参照して、メニュー画面の表示処理を実行する場合の手順(メニュー画面を表示するためのユーザーインターフェース)の一例について説明する。図4(a)に示すように、使用者が操作する指示体が虚像表示領域25内で検出されると(正確には、指示体が、虚像表示領域25と重複するセンサー17の撮像領域内で検出されると)、頭部装着型表示装置HMは、指示体の検出位置に基づいて虚像表示領域25にポインタP(円形)を表示する。また、頭部装着型表示装置HMは、虚像表示領域25と外景視認領域26との境界27の近傍に割り当てられた命令を実行可能にするためのモード(以下、「入力スタンバイモード」と称す)に遷移する処理を実行する。
なお、虚像表示領域25外で指示体を検出した場合は、頭部装着型表示装置HMは、例えば、指示体の検出方向を示す矢印形状のポインタを表示したり、あるいはポインタを点線表示する等して、使用者に対して指示体が虚像表示領域25の外にある旨を報知する。また、この場合、頭部装着型表示装置HMは、「入力スタンバイモード」には遷移しない。
次に、図4(b)に示すように、入力スタンバイモードの状態で、使用者による指示体の操作によりポインタPが境界27の近傍(図4(b)では、一例として、虚像表示領域25の右側の境界27aの近傍とする)に移動すると、頭部装着型表示装置HMは、境界27の近傍(虚像表示領域25と外景視認領域26との境界27における、虚像表示領域25の内側の近傍)に割り当てられた命令を受け付けるモード(以下、「命令受付モード」と称す)へ遷移する処理を実行し(命令受付モードへの遷移命令を実行し)、ポインタPの形状を半円状に変形したポインタP1を表示すると共に、境界27に沿って(境界27の虚像表示領域25側(虚像表示領域25の内側)に沿って)枠101(図中の網掛け部分)を表示する。ポインタPの形状の変形および枠101を表示することで、使用者は命令受付モードになったことを認識することができる。なお、半円状のポインタP1は、虚像表示領域25の境界27の近傍から離れた位置に移動されると(虚像表示領域25の中央に向かって移動されると)、その形状は元の円形のポインタPに戻る。
ここで、境界27aの近傍にはメニュー画面を表示するための「メニュー画面表示命令」が割り当てられているため、頭部装着型表示装置HMは、上述の命令受付モードに遷移する処理と同時に「メニュー画面表示命令」を実行し、図4(c)に示すような、虚像表示領域25に種々のアイコンICから成るメニュー画面D01を表示する。なお、図4(c)では、アイコンICから成るメニュー画面D01のみを表示しているが、例えば、メニュー画面D01の背後に、他の虚像(例えば、画像や映像等のコンテンツ)が表示されていても良い(他の虚像に重畳するようにメニュー画面D01を表示しても良い)。
なお、上述では、ポインタPが虚像表示領域25の右側の境界27aの近傍に移動することで「命令受付モード」に遷移する処理を実行しているが、あくまでも一例であり、これに限るものではない。例えば、ポインタPが左側の境界27bの近傍や、上側の境界27cの近傍や、下側の境界27dの近傍に移動した場合にも「命令受付モード」に遷移する処理を実行することが可能である。
また、上述では、虚像表示領域25の右側の境界27aの近傍に「メニュー画面表示命令」が割り当てられているものとしているが、あくまでも一例であり、例えば、左側の境界27bの近傍、上側の境界27cの近傍、下側の境界27dの近傍等に命令を割り当てることも可能である(すなわち、境界27の近傍であれば、命令を割り当てる位置は問わない)。なお、境界27a(27)の近傍に命令が割り当てられていない場合は、ポインタPの形状を禁止マークで表示することで、その旨を使用者に報知する。
また、図4(b)では、便宜上、枠101を網掛けで表現しているが、実際には、使用者が識別可能な色(例えば、白色や灰色や赤色等)で枠101を表示すれば良い。また、枠101を、実線ではなく点線で表示するようにしても良いし、枠線なしでも良い。また、図4(b)では、「命令受付モード」に遷移した場合、円状のポインタPを半円状のポインタP1に変形表示しているが、これに限るものではない。例えば、ポインタPのサイズを大きくしたポインタを表示しても良いし、2重丸形状のポインタ等を表示しても良い。これらは、以下の説明においても同様である。
また、図4(c)のメニュー画面D01におけるアイコンICの配置はあくまでも一例であり、これに限るものではない。すなわち、図4(c)では、アイコンICを虚像表示領域25の左端側(および角部)に配置したメニュー画面D01を例示しているが、例えば、アイコンICを虚像表示領域25の右端側に配置したメニュー画面を表示しても良いし、あるいは、アイコンICを左右両端に配置したメニュー画面を表示しても良い。または、アイコンICを虚像表示領域25の中央付近に配置したメニュー画面を表示しても良い。
さらに、メニュー画面として、図5に示すような複数のアイコンICをリング状に配置したメニュー画面D02を表示しても良い。メニュー画面D02は、所定の回転操作によってアイコンICをリングの周方向に回転させることで所望のアイコンICを選択可能にする。また、左側に配置されたインジケーター102のマークを指定することによって、表示するアイコン群ICGを切り替え可能とする。図5(a)は一番上のインジケーター102のマークを指定した場合のメニュー画面D02の一例であり、図5(b)は2番目のインジケーター102のマークを指定した場合のメニュー画面D02の一例である。
なお、頭部装着型表示装置HMの設定状況に応じて、表示するメニュー画面を切り替えるようにしても良い。例えば、頭部装着型表示装置HMが、屋外使用を目的としたモードに設定されている場合は、図4(c)のように虚像表示領域25の端にアイコンICを配置したメニュー画面D01を表示し(すなわち、できるだけ視界をさえぎらないようにアイコンICを配置したメニュー画面を表示し)、室内使用を目的としたモード(例えば、映画等を視聴する場合のモード)に設定されている場合は、図5のようなメニュー画面D02を表示するようにしても良い。
次に、図6および図7を参照して、画像の拡大縮小処理(拡大縮小命令)を実行する場合の手順(拡大縮小処理を実行するためのユーザーインターフェース)の一例について説明する。なお、指示体の検出から命令受付モードに遷移するまでの手順は上述と同様であるため説明を省略する。以下の説明においても同様である。
図6(a)に示すように、命令受付モードに遷移した状態で、使用者により画像G1において拡大対象となる範囲111が指定された後、指示体の操作によりポインタP1が右側の境界27aに対して斜め右上方向に、虚像表示領域25から境界27aを越えて外景視認領域26に移動するように操作された場合(矢印Aの方向に指示体が操作された場合。但し、ポインタP1は虚像表示領域25外に移動することはない)、頭部装着型表示装置HMは、図6(b)に示すように、指定された範囲111の画像を所定の倍率で拡大する拡大処理(拡大命令)を実行し、その実行結果である拡大画像112を表示する。
この時、頭部装着型表示装置HMは、ポインタP1の形状を拡大処理が行われたことを示す図形(ポインタP2)に変更すると共に、虚像表示領域25の所定の位置に拡大処理が行われたことを示すプラス記号113を表示する。また、使用者が拡大操作を繰り返すことにより、拡大処理の限界に到達した場合は(これ以上拡大できない状態になった場合は)、頭部装着型表示装置HMはポインタを禁止マークの形状に変更して表示する。
なお、図6(c)に示すように、使用者によりポインタP1が右側の境界27aに沿って上方向に移動するように指示体が操作された場合(矢印Bの方向に指示体(ポインタP1)が移動された場合)も、上述と同様に拡大処理(拡大命令)を実行することが可能である。
一方、図7(a)に示すように、命令受付モードに遷移した状態で、使用者により画像G1において縮小対象となる範囲111が指定された後、指示体の操作によりポインタP1が右側の境界27aに対して斜め右下方向に、虚像表示領域25から境界27aを越えて外景視認領域26に移動するように操作された場合(矢印Cの方向に指示体が操作された場合)、頭部装着型表示装置HMは、図7(b)に示すように、指定された範囲111の画像を所定の倍率で縮小する縮小処理(縮小命令)を実行し、その実行結果である縮小画像114を表示する。
この時、頭部装着型表示装置HMは、ポインタP1の形状を縮小処理が行われたことを示す図形(ポインタP3)に変更すると共に、虚像表示領域25の所定の位置に、縮小処理を示すマイナス記号115を表示する。また、使用者が縮小操作を繰り返すことにより、縮小処理の限界に到達した場合は(これ以上縮小できない状態になった場合は)、頭部装着型表示装置HMは、ポインタを禁止マークの形状に変更して表示する。
なお、図7(c)に示すように、使用者によりポインタP1が右側の境界27aに沿って下方向に移動するように指示体が操作された場合(矢印Dの方向に指示体(ポインタP1)が移動された場合)も、上述と同様に縮小処理(縮小命令)を実行することが可能である。
なお、上述では、使用者が指定した範囲111に対して拡大処理や縮小処理を実行しているが、例えば、範囲を指定せずに画像G1全体を拡大または縮小することも可能である。また、上述では、使用者に拡大処理や縮小処理を行ったことを報知するために、半円状のポインタP1の形状を、実行した処理内容に応じた形状(ポインタP2やポインタP3の形状)に変更して表示しているが、あくまでも一例であり、ポインタP1を上記とは異なる形状(図形)に変更しても良い。
また、上述では、使用者に拡大処理や縮小処理を行ったことを報知するために、拡大処理を示すプラス記号113および縮小処理を示すマイナス記号115を表示しているが、これに限るものではない。例えば、拡大処理や縮小処理が認識できるようなインジケーター等を表示するようにしても良い。すなわち、使用者に処理内容を認識させることが可能であれば、その形状や手段は問わない。これらは、以下の説明においても同様である。
また、上述では画像G1の拡大縮小について説明したが、例えば、ワードプロセッサ等を用いてテキスト入力を行う場合に、上記と同様の操作で、テキスト入力画面を拡大したり、あるいは縮小したりすることも可能である。
次に、図8および図9を参照して、画像のページ送りやページ戻しを行うページ移動処理(ページ移動命令)を実行する場合の手順(ページ移動処理ためのユーザーインターフェース)の一例について説明する。
図8(a)に示すように、虚像表示領域25に電子書籍等の文書画像G2の1ページ目を表示した状態で命令受付モードに遷移した後、指示体の操作によりポインタP1が虚像表示領域25の下側の境界27dに対して斜め右下方向に、虚像表示領域25から境界27dを越えて外景視認領域26に移動するように操作された場合(矢印Eの方向に指示体が操作された場合)、頭部装着型表示装置HMは、図8(b)に示すように、表示されている1ページ目の文書画像G2をページ送りし、2ページ目の文書画像G2を表示する処理(ページ送り命令)を実行する。
この時、頭部装着型表示装置HMは、ポインタP1の形状をページ送り処理が行われたことを示す矢印形状の図形(右矢印形状のポインタP4)に変更して表示する。また、使用者がページ送り操作を繰り返すことによりページ送り処理の限界に到達した場合は(例えば、最後のページを表示した状態でページ送り操作が行われた場合は)、頭部装着型表示装置HMは、ポインタを禁止マークの形状に変更して表示する。
なお、図8(c)に示すように、使用者によりポインタP1が下側の境界27dに沿って右方向に移動するように指示体が操作された場合(矢印Fの方向に指示体(ポインタP1)が移動された場合)も、上述と同様にページ送り処理を実行することが可能である。
一方、図9(a)に示すように、命令受付モードにおいて、虚像表示領域25に電子書籍等の文書画像G2の2ページ目を表示した状態で、指示体の操作によりポインタP1が下側の境界27dに対して斜め左下方向に、虚像表示領域25から境界27dを越えて外景視認領域26に移動するように操作された場合(矢印Gの方向に指示体が操作された場合)、頭部装着型表示装置HMは、図9(b)に示すように、表示されている2ページ目の文書画像G2をページ戻しし、1ページ目の文書画像G2を表示する処理(ページ戻し命令)を実行する。
この時、頭部装着型表示装置HMは、ポインタP1の形状をページ戻し処理が行われたことを示す矢印形状の図形(左矢印形状のポインタP5)に変更して表示する。また、使用者がページ戻し操作を繰り返すことにより、ページ戻し処理の限界に到達した場合は(例えば、最初のページを表示した状態でページ戻し操作が行われた場合は)、頭部装着型表示装置HMは、ポインタを禁止マークの形状に変更して表示する。
なお、図9(c)に示すように、使用者によりポインタP1が下側の境界27dに沿って左方向に移動するように指示体が操作された場合(矢印Hの方向に指示体(ポインタP1)が移動された場合)も、上述と同様にページ戻し処理を実行することが可能である。
次に、図10を参照して、画像の回転処理(回転命令)を実行する場合の手順(回転処理を実行するためのユーザーインターフェース)の一例について説明する。
図10(a)に示すように、虚像表示領域25に画像G3を表示し、命令受付モードに遷移した状態で、指示体の操作によりポインタP1が右上隅の境界27eに対して斜め右上方向に、虚像表示領域25から右上隅の境界27eを越えて外景視認領域26に移動するように操作された場合(矢印Iの方向に指示体が操作された場合)、頭部装着型表示装置HMは、図10(b)に示すように、表示されている画像G3を時計周りに90度回転する処理(回転命令)を実行する。この時、頭部装着型表示装置HMは、ポインタP1の形状を回転処理が行われたことを示す矢印形状の図形(ポインタP6)に変更して表示する。
なお、ポインタP1が境界27の残りの3隅(右下隅の境界27f、左上隅の境界27g、左下隅の境界27h)に対して虚像表示領域25から境界27を越えて外景視認領域26に移動するように指示体が操作された場合においても、上述と同様に回転処理(表示されている画像G3を時計周りに90度回転する処理)を実行することができる。
また、上述では、1回の回転操作で画像G3を時計周りに90度回転するものとしているが、あくまでも一例であり、回転方向および回転角度は任意である。すなわち、回転方向を反時計回りとしても良いし、1回の回転操作で、例えば45度ずつ回転させるようにしても良い。また、境界27のそれぞれの角部(右上隅の境界27e、右下隅の境界27f、左上隅の境界27g、左下隅の境界27h)に応じて、回転方向や回転角度を個別に設定することも可能である。
次に、図11および図12を参照して、画像の拡大縮小処理(拡大縮小命令)および回転処理(回転命令)を同時に実行する場合の手順(拡大縮小処理+回転処理ためのユーザーインターフェース)の一例について説明する。
図11(a)に示すように、虚像表示領域25に画像G4を表示し、命令受付モードに遷移した状態で、指示体の操作によりポインタPが右回転しながら右側の境界27aに接触するように操作された場合(矢印Jのように、指示体の移動軌跡がらせんを描くように操作された場合)、頭部装着型表示装置HMは、図11(b)に示すように、表示されている画像G4を拡大しながら時計周りに回転させる処理(拡大命令+回転命令)を実行する。この時、頭部装着型表示装置HMは、ポインタPの形状を拡大回転処理が行われたことを示す渦巻状の図形(ポインタP7)に変更して表示する。
画像の拡大比率の制御方法としては、例えば、ポインタPが右側の境界27aに接触するスピードや、接触回数や、境界27aとの接触角度等を考慮して制御する。また、画像の回転角度の制御方法としては、例えば、右側の境界27aを越えた部分の指示体の回転度合で回転量を制御する。
一方、図12(a)に示すように、虚像表示領域25に画像G4を表示し、命令受付モードに遷移した状態で、指示体の操作によりポインタPが左回転しながら右側の境界27aに接触するように操作された場合(矢印Kのように、指示体の移動軌跡がらせんを描くように操作された場合)、頭部装着型表示装置HMは、図12(b)に示すように、表示されている画像G4を縮小しながら反時計周りに回転させる処理(縮小命令+回転命令)を実行する。この時、頭部装着型表示装置HMは、ポインタPの形状を縮小回転処理が行われたことを示す渦巻状の図形(ポインタP8)に変更して表示する。
画像の縮小比率の制御方法としては、例えば、ポインタPが右側の境界27aに接触するスピードや、接触回数や、境界27aとの接触角度等を考慮して制御する。また、画像の回転角度の制御方法としては、例えば、右側の境界27aに接触後のポインタP(指示体)の回転度合で回転量を制御する。
なお、使用者が拡大回転操作や縮小回転操作を繰り返すことにより、拡大処理または縮小処理の限界に到達した場合は(これ以上拡大または縮小できない状態になった場合は)、頭部装着型表示装置HMは、ポインタを禁止マークの形状に変更して表示する。
以上説明したように、第1実施形態によれば、使用者がポインタPを虚像表示領域25の境界27の近傍に移動するように指示体を操作するだけで、境界27の近傍に予め割り当てられた所定の命令(処理)を実行できる。すなわち、使用者は煩雑な操作をすることなく、簡単(単純)、且つ直感的な操作で所定の命令を実行できるため、使い勝手が良い。また、簡単な操作で行えるため、誤認識が少なく、安定して動作するユーザーインターフェースを提供できる。
なお、本実施例で説明した拡大縮小処理、ページ移動処理、回転処理等を行うための命令を組み合わせて割り当てても良い。例えば、虚像表示領域25に1の画像を表示した状態で、虚像表示領域25の左右の境界27b、27aに対して操作を行った場合は、拡大縮小処理(拡大縮小命令)を実行し、上下の境界27c、27dに対して操作を行った場合は、ページ移動処理(ページ移動命令)を実行し、四隅の境界27e〜27hに対して操作を行った場合は回転処理(回転命令)を実行することも可能である。
また、本実施例で述べた各種命令を実行するための指示体の操作方法(各種命令を実行するためのポインタPの動き)は一例であり、これに限るものではない。
また、本実施例における各種命令の割り当て位置は一例であり、これに限るものではない。例えば、虚像表示領域25の左右の境界27b、27aに対してページ移動命令を割り当てても良いし、上下の境界27c、27dに対して拡大縮小命令を割り当てても良い。
また、本実施例で説明した命令以外の命令を割り当てることも可能である。例えば、虚像表示領域25に映画を表示している場合には、右側の境界27aに音量を調節する命令を割り当て、下側の境界27dに映像の早送り/巻き戻し等を実行する命令を割り当てる等、コンテンツに応じた命令を割り当てることが可能である。つまり、コンテンツに応じて、各境界27の近傍に異なる命令を割り当ても良い。
また、本実施例では、虚像表示領域25の上下左右の境界27(27a〜27d)の近傍にそれぞれ異なる命令を割り当てることについて説明したが、同一の命令を割り当てることも可能である。また、例えば、右側の境界27aの近傍であっても、その境界27aの上方部分、下方部分等の位置(近傍位置)毎に、異なる命令を割り当てることも可能である。
また、本実施例では、虚像表示領域25の大きさが、外景視認領域26の大きさよりも小さい場合を例示しているが、これに限るものではない。虚像表示領域25と外景視認領域26の大きさが同じである場合(言い換えれば、虚像表示領域25が視界21と同等の大きさの場合)、あるいは虚像表示領域25が外景視認領域26よりも大きい場合(言い換えれば、虚像表示領域25が視界21よりも大きい場合)においても、本発明は適用可能である。後者の場合、請求項における「所定の表示領域」は外景視認領域26の縁部(視界21の縁部)となり、「表示周辺領域」は外景視認領域26の外側の領域、すなわち視界21の外側の領域となる。
[第2実施形態]
次に、図13および図14を参照し、本発明の第2実施形態について説明する。上記の第1実施形態では、使用者に虚像を視認させる画像表示部40や画像表示部40を制御する制御部30等を1つの筐体内(装置内)に実装して頭部装着型表示装置HMを実現しているが、本実施形態では、これらを別々の装置として実現して接続することで頭部装着型表示装置HMを構成する。以下、第1実施形態と異なる点を説明する。なお、本実施形態において、第1実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第1実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
図13は、第2実施形態に係る頭部装着型表示装置HMの外観構成を示す説明図である。頭部装着型表示装置HMは、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示装置300と、画像表示装置300を制御するコントローラー200(制御装置)と、を備えている。請求項における表示装置は、コントローラー200および画像表示装置300を主要な構成要素とする。
画像表示装置300は、右保持部11、右表示駆動部12、左保持部13、左表示駆動部14、右光学像表示部15、左光学像表示部16、およびセンサー17に加え、画像表示装置300をコントローラー200に接続するための接続部310を有している。
接続部310は、コントローラー200に接続される本体コード311と、本体コード311が2本に分岐した右コード312と、左コード313と、分岐点に設けられた連結部材314と、を含んでいる。右コード312は、右保持部11の延伸方向の先端部APから右保持部11の筐体内に挿入され、右表示駆動部12に接続されている。同様に、左コード313は、左保持部13の延伸方向の先端部APから左保持部13の筐体内に挿入され、左表示駆動部14に接続されている。
画像表示装置300とコントローラー200とは、接続部310を介して各種信号の伝送を行う。本体コード311における連結部材314とは反対側の端部と、コントローラー200とのそれぞれには、互いに嵌合するコネクター(図示省略)が設けられており、本体コード311のコネクターとコントローラー200のコネクターとの嵌合/嵌合解除により、コントローラー200と画像表示装置300とが接続されたり切り離されたりする。本体コード311と、右コード312と、左コード313には、例えば、金属ケーブルや、光ファイバーを採用することができる。
コントローラー200は、画像表示装置300と接続部310を介して接続し、画像表示装置300による画像表示を制御する装置である。コントローラー200は、点灯部201と、タッチパッド202と、操作キー群203と、電源スイッチ204とを有している。
点灯部201は、頭部装着型表示装置HMの動作状態を、その発光状態によって通知する。頭部装着型表示装置HMの動作状態とは、例えば、電源のON/OFF状態等である。点灯部201としては、例えば、LED(Light Emitting Diode)を用いることができる。
タッチパッド202は、操作面上で使用者の指の操作を検出して、検出内容に応じた信号を出力する。例えば、使用者によるポインティング(位置指定)操作や、クリック操作、ドラッグ操作、フリック操作等を受け付けることができる。
本実施例のタッチパッド202は、第1実施形態の指示体としても機能する。すなわち、タッチパッド202の操作によりポインタを虚像表示領域25に表示し、操作面上での操作に基づきポインタを移動させることにより、上述したメニュー画面の表示や、画像等の拡大縮小処理、ページ移動処理、回転処理等の各種命令を実行することができる。
操作キー群203は、方向キー、決定キー、バックキー等の各種操作キーを備える。各操作キーは、使用者に押下されることにより、押下された操作キーに予め対応づけられた処理を示す信号を出力する。電源スイッチ204は、スイッチのスライド操作を検出することで、頭部装着型表示装置HMの電源ON/OFFを切り替える。
図14は、第2実施形態に係る頭部装着型表示装置HMの構成を機能的に示すブロック図である。図14に示すように、コントローラー200は、制御部30、電源部71およびインターフェース72に加え、操作部211を有している。操作部211は、タッチパッド202、操作キー群203(方向キー、決定キー、バックキー)や電源スイッチ204である。
また、制御部30のCPU50は、記憶部60からコンピュータープログラムを読み出して実行することにより、オペレーティングシステム(OS)51や、画像処理部52、表示制御部53、画像解析部54、命令実行部55および音声処理部56に加え、操作制御部212としても機能する。
操作制御部212は、操作部211における使用者の操作に応じて操作部211から出力される信号を受信し、画像処理部52や表示制御部53等に信号に応じた動作を行わせる。例えば、操作部211から使用者がタッチパッド202に触れたこと示す信号を受信し(検出し)、画像処理部52や表示制御部53等にポインタPの表示等を行わせる。すなわち、本実施例の操作制御部212は、請求項における指示体検出部に相当する。
画像表示装置300は、右表示駆動部12、左表示駆動部14、右光学像表示部15としての右導光板86、および左光学像表示部16としての左導光板96から成る画像表示部40と、センサー17と、右イヤホン18と、左イヤホン19と、を有している。これら各部の構成は第1実施形態と同様であるため、説明を省略する。
このように、頭部装着型表示装置HMを、使用者に虚像を視認させる画像表示装置300と、画像表示装置300を制御するコントローラー200とにより構成する場合においても、本発明は適用可能である。
なお、本実施例では、コントローラー200と画像表示装置300とが接続部310により有線接続される構成を例示しているが、コントローラー200と画像表示装置300とが無線LANや赤外線通信、Bluetooth(登録商標)等により接続する構成としても良い。
また、本実施例のコントローラー200の機能をパーソナルコンピュータ(PC)、携帯情報端末(PAD、携帯電話、時計型携帯端末)等により実現しても良い。
また、上記実施例(第1実施形態および第2実施形態)では、表示装置として両眼タイプの頭部装着型表示装置HM(光学透過型頭部装着型表示装置)を例示しているが、本発明は、例えばビデオ透過型や非透過型、単眼タイプ等の他の形式の頭部装着型表示装置にも適用可能である。また、上記実施例では、眼の前方を覆う眼鏡タイプの頭部装着型表示装置HMを例示しているが、これに限るものではなく、眼の前方を完全に覆わないタイプ(眼の前方の一部を覆うタイプ)の頭部装着型表示装置にも適用可能である。さらに、本発明は、頭部装着型表示装置に限らず、ヘッドアップディスプレイや、パーソナルコンピュータ、プロジェクター、テレビ、携帯情報端末といった他の情報処理装置にも適用可能である。
また、上記実施例では、画像光生成部は、バックライト制御部(右バックライト制御部81および左バックライト制御部91)と、バックライト(右バックライト82および左バックライト92)と、LCD制御部(右LCD制御部83および左LCD制御部93)と、LCD(右LCD84および左LCD94)とを用いて構成されるものとしたが、この様態はあくまでも一例である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えても良い。
例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス,Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としても良い。また、例えば、画像光生成部は、LCDに代えて、LCOS(Liquid crystal on silicon,LCoSは登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。レーザー網膜投影型の場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。また、頭部装着型表示装置の光学系は、外光を光学部材を透過させて画像光と共に使用者の眼に入射させるもので有り使用者の眼の一部を覆うものであっても良く、光学部材はレーザー等の走査方式の画像光であっても良く、光学部材は画像光を部材内部を導光させる物に限らず、使用者の眼の方向に屈折または反射させる機能のみを有しても良い。
また、本実施例では、光学系として画像光生成部で射出された画像光を投写する投写光学系(右投写光学系85および左投写光学系95)を適用しているが、この様態はあくまでも一例である。例えば、光学系としてMEMSミラーで構成された走査光学系を採用し、走査光学系に信号光を射出する信号光変調部(信号光形成部)を備える構成としても良い。この場合、信号光変調部で形成し射出された信号光をスキャン部である走査光学系(MEMSミラー)に入射する。走査光学系は信号光を走査光としてハーフミラー層を有する導光体に向けて射出し、ハーフミラー層の面上において走査光が走査されることにより、画像光による虚像が形成され、この虚像を使用者が眼で捉えることで画像を認識することができる。すなわち、走査光学系を用いた場合においても、上述の方法によりポインタ等の画像を使用者に認識させ、当該ポインタの移動により虚像表示領域25の境界27の近傍に割り当てられた命令の実行を制御することができる。
また、上記の実施形態に示した頭部装着型表示装置HMの各機能(各処理)をプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体(CD−ROM、フラッシュメモリ等)に格納して提供することも可能である。すなわち、コンピューターを、頭部装着型表示装置HMの各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれるものである。
また、上述した実施例によらず、頭部装着型表示装置HMの装置構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更も可能である。