次に、本発明の実施の形態を実施形態に基づいて以下の順序で説明する。
A.第1実施形態:
A−1.頭部装着型表示装置の構成:
A−2.機器確認処理:
B.第2実施形態:
C.変形例:
A.第1実施形態:
A−1.頭部装着型表示装置の構成:
図1は、頭部装着型表示装置100(HMD100)の外観構成を示す説明図である。HMD100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態のHMD100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、HMD100によって使用者が視認する虚像を便宜的に「表示画像」ともいう。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
HMD100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部10(コントローラー10)と、を備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61と、赤外線LED64と、TOFセンサー63と、マイク69と、を含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」とも呼び、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図2参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図2参照)と調光板とを含んでいる。導光板261,262は、光透過性の樹脂材料等によって形成され、表示駆動部22,24から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置されている。調光板は、導光板261,262を保護し、導光板261,262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。
カメラ61は、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置に配置されている。そのため、カメラ61は、使用者が画像表示部20を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像画像を取得する。カメラ61は、単眼カメラであるが、ステレオカメラであってもよい。カメラ61は、請求項における撮像部に相当する。
赤外線LED64およびTOFセンサー63は、カメラ61と同様の位置である使用者が画像表示部20を装着した際の使用者の眉間に対応する位置に配置されている。赤外線LED64は、赤外線を発光する発光ダイオード(Light Emitting Diode ,LED)である。TOFセンサー63は、赤外線LED64が発光した赤外線が特定の対象に反射した反射光を検出する。
マイク69は、外部の音声を取得する装置である。マイク69は、使用者が画像表示部20を装着した際の右表示駆動部22における使用者と対向する側の反対側(外側)に形成されている。
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、右コード42と、左コード44と、連結部材46と、を含んでいる。右コード42と左コード44とは、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。連結部材46は、本体コード48と、右コード42および左コード44と、の分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有している。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。
画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行なう。本体コード48における連結部材46とは反対側の端部と、制御部10と、のそれぞれには、互いに嵌合するコネクター(図示しない)が設けられている。本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブルや光ファイバーを採用できる。
制御部10は、HMD100を制御するための装置である。制御部10は、決定キー11と、点灯部12と、表示切替キー13と、トラックパッド14と、輝度切替キー15と、方向キー16と、メニューキー17と、電源スイッチ18と、を含んでいる。決定キー11は、押下操作を検出して、制御部10で操作された内容を決定する信号を出力する。点灯部12は、HMD100の動作状態を、その発光状態によって通知する。HMD100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LEDが用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。トラックパッド14は、トラックパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源投入状態を切り替える。
図2は、HMD100の構成を機能的に示すブロック図である。図2に示すように、制御部10は、記憶部120と、電源130と、無線通信部132と、操作部135と、CPU140と、インターフェイス180と、送信部51(Tx51)および送信部52(Tx52)と、を有している。操作部135は、使用者による操作を受け付け、決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、電源スイッチ18、から構成されている。
電源130は、HMD100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。記憶部120は、種々のコンピュータープログラムを格納している。記憶部120は、ROMやRAM等によって構成されている。また、詳細については後述するが、記憶部120は、カメラ61の撮像画像に含まれる場合に検出される操作対象の画像データと制御を行なう判断の基となる判断対象の画像データとを記憶している。また、記憶部120は、操作対象等が検出された場合に画像表示部20に表示させる表示画像についても記憶している。
CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム150(OS150)、表示制御部190、音声処理部170、画像処理部160、画像判定部168、距離測定部166、画像設定部165、および、インターフェイス180として機能する。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFなど、を個別に制御する。これにより、表示制御部190は、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号のそれぞれを、送信部51および52を介して送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号のそれぞれを送信する。
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示しない)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示しない)を用いてディジタル画像信号に変換する。その後、画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データ(RGBデータ)として、1フレームごとに記憶部120内のDRAMに格納する。なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、記憶部120内のDRAMに格納された画像データ、のそれぞれを、送信部51、52を介して送信する。なお、送信部51を介して送信される画像データを「右眼用画像データ」とも呼び、送信部52を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示しない)および左イヤホン34内のスピーカー(図示しない)に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。音声処理部170は、マイク69が取得した外部の音声に対して各種処理を行なう。詳細については後述するが、音声処理部170は、各種処理として、取得した外部の音声が記憶部120に記憶された機器確認処理を行なう判断の基となる判断音声であるか否かを判定する。
画像判定部168は、パターンマッチングや統計的識別法によって、記憶部120に記憶された操作対象や判断対象の画像データと同じ画像が撮像画像に含まれているか否かを検出する。画像判定部168は、検出された判断対象の画像データと同じ画像である対象を、判断対象として検出する。なお、画像判定部168は、請求項における検出部に相当し、判断対象は、請求項における特定のオブジェクトに相当する。
距離測定部166は、TOFセンサー63が検出した赤外線の反射光について、TOF(Time of Flight)方式を用いることで、赤外線が発光されてから特定の対象を反射してTOFセンサー63に受光までの時間を算出することで、画像表示部20と特定の対象までの距離を測定する距離画像センサーである。距離測定部166は、画像判定部168によって検出された操作対象の画像データと同じ画像を表す特定の対象と画像表示部20との距離が予め設定された所定の距離以下であるか否かを判定する。なお、距離測定部166、TOFセンサー63、および、赤外線LED64は、請求項における距離特定部に相当する。
画像設定部165は、画像表示部20との距離が所定の距離以下であり、かつ、記憶部120に記憶された操作対象の画像データと同じ画像を表す特定の対象を、選択可能な操作対象として設定する。画像設定部165は、選択可能な操作対象を設定すると、記憶部120に記憶されている当該操作対象に対応付けられた画像を画像表示部20に表示させる。すなわち、画像判定部168によって、操作対象の画像データと同じ画像として検出されているが、画像表示部20との距離が所定の距離を超える特定の対象は、選択可能な操作対象としては設定されない。また、画像設定部165は、検出された判断対象に予め対応付けられた画像を画像表示部20に表示する。画像設定部165は、判断対象の位置の変化と操作対象の位置とに基づいて設定された制御指示を決定して実行する。なお、画像表示部20に表示される各種の画像についての詳細については、後述する。画像設定部165は、請求項における制御部に相当する。本実施形態における選択可能な操作対象は、請求項における選択可能な対象物に相当し、画像設定部165によって設定される制御指示は、請求項における対象物の制御に相当する。
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器OAとしては、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等、がある。インターフェイス180としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61と、TOFセンサー63と、赤外線LED64と、マイク69と、を備えている。
右表示駆動部22は、受信部53(Rx53)と、光源として機能する右バックライト制御部201(右BL制御部201)および右バックライト221(右BL221)と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251と、を含んでいる。右バックライト制御部201と右バックライト221とは、光源として機能する。右LCD制御部211と右LCD241とは、表示素子として機能する。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241と、を総称して「画像光生成部」とも呼ぶ。
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データと、に基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。なお、右投写光学系251と右導光板261とを総称して「導光部」とも呼ぶ。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。左表示駆動部24は、受信部54(Rx54)と、光源として機能する左バックライト制御部202(左BL制御部202)および左バックライト222(左BL222)と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252と、を含んでいる。左バックライト制御部202と左バックライト222とは、光源として機能する。左LCD制御部212と左LCD242とは、表示素子として機能する。なお、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系252は、左LCD242から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部28としての左導光板262は、左投写光学系252から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼LEに導く。なお、左投写光学系252と左導光板262とを総称して「導光部」とも呼ぶ。
図3は、画像光生成部によって画像光が射出される様子を示す説明図である。右LCD241は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表わす有効な画像光PLへと変調する。左側についても同様である。なお、図3に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
A−2.機器確認処理:
図4は、機器確認処理の流れを示す説明図である。機器確認処理では、制御部10が、選択可能な操作対象(例えば、制御機器のメーター)を設定した後に、判断対象(例えば、使用者の指)の所定の動き(以下、単に「ジェスチャー」とも呼ぶ)を検出すると、ジェスチャーに基づく制御指示である機器確認を実行する。
初めに、カメラ61は、外景SCを撮像する(ステップS10)。なお、カメラ61は、連続的に外景SCを撮像している。言い換えれば、カメラ61は、動画として外景SCを撮像している。カメラ61は、撮像した撮像画像の画像データをCPU140の画像判定部168に送信する。次に、画像判定部168は、カメラ61によって撮像された撮像画像に対して、パターンマッチング等の画像認識処理を行なうことによって、撮像画像の中に記憶部120に記憶された操作対象の画像データと同じ画像が含まれているか否かを検出する(ステップS12)。撮像画像に操作対象と同じ画像データの画像が検出されなかった場合には(ステップS12:NO)、撮像画像に操作対象と同じ画像データの画像が検出されるまで、カメラ61によってステップS10の処理が繰り返される。ステップS12の処理において、撮像画像に操作対象と同じ画像データの画像が検出された場合には(ステップS12:YES)、CPU140の距離測定部166は、画像判定部168によって撮像画像に操作対象を表す画像の対象(以降、単に「仮対象」とも呼ぶ)が検出されると同時に、TOFセンサー63および赤外線LED64を用いたTOF方式によって、仮対象と画像表示部20との距離を測定する。距離測定部166は、画像判定部168によって検出された仮対象と画像表示部20との測定した距離が所定の距離以下であるか否かを判定する(ステップS14)。仮対象と画像表示部20との測定された距離が所定の距離を超えると判定された場合には(ステップS14:NO)、画像判定部168は、仮対象を選択可能な操作対象としては設定せずに、引き続き、カメラ61によってステップS10以降の処理が繰り返される。ステップS14の処理において、仮対象と画像表示部20との距離が所定の距離以下であると判定された場合には(ステップS14:YES)、画像設定部165は、画像判定部168によって検出された仮対象を選択可能な操作対象として設定し、操作対象に対応付けられた記憶部120に記憶された画像を画像表示部20に表示させる(ステップS16)。
図5は、操作対象が設定された場合に使用者が視認する視野VRの一例を示す説明図である。図5に示すように、使用者は、設定された操作対象として、HMD100とは異なる装置である3台の制御機器MCを、透過された外景SCとして視認している。使用者に視認されている3台の内の中央の制御機器MCは、制御機器MCが制御している他の装置の電圧値を示すメーターMT1および温度を示すメーターMT2と、複数のボタンであるボタン群BTと、複数のランプを含むランプ群LMと、有している。ボタン群BTに含まれるそれぞれのボタンは、押下されることでオンとオフとを切り替えて他の装置を制御する。ランプ群LMのボタンのそれぞれは、ボタン群BTに含まれ、対応する上側に配置されたボタンがオンの時には点灯し、オフの時には消灯する。なお、メーターMT1およびメーターMT2は、請求項における選択可能な対象物に相当する。
本実施形態において、記憶部120がメーターMT1およびメーターMT2の画像データを記憶しているため、画像判定部168は、メーターMT1およびメーターMT2を操作対象として検出する。画像判定部168がメーターMT1やメーターMT2を操作対象として設定すると、メーターMT1とメーターMT2とのそれぞれに対応付けられ、記憶部120に記憶された画像として、画像設定部165は、メーターMT1とメーターMT2とのそれぞれの位置を示す画像IM1と画像IM2とを画像表示部20の画像表示最大領域PNに表示させる。なお、画像表示最大領域PNは、画像光生成部が画像を表示できる最大の領域を示し、使用者には視認されない。また、画像設定部165は、記憶部120に記憶され、設定された操作対象としてのメーターMT1とメーターMT2との少なくとも一方に対応付けられた画像として、「確認?」というテキスト画像TX1を画像表示最大領域PNに表示される。テキスト画像TX1は、メーターMT1またはメーターMT2が示す数値の確認行為を使用者に促す画像である。
画像判定部168によって操作対象としてのメーターMT1等が設定されて、画像設定部165によってテキスト画像TX1等の画像が画像表示最大領域PNに表示されると(図4のステップS16)、画像判定部168は、ジェスチャーを判断するための記憶部120に記憶された判断対象の画像データと同じ画像が撮像画像に含まれているか否かを検出する(ステップS18)。撮像画像に判断対象の画像が検出されなかった場合には(ステップS18:NO)、画像判定部168は、判断対象の検出を待機する(ステップS18)。撮像画像に判断対象の画像が検出された場合には(ステップS18:YES)、CPU140の画像設定部165は、記憶部120に記憶され、テキスト画像TX1が促す確認行為をするために使用者が行なうべきジェスチャーを指示するためのジェスチャー指示画像を、画像表示最大領域PNに表示させる(ステップS20)。
図6は、判断対象が検出された場合に使用者が視認する視野VRの一例を示す説明図である。図6には、判断対象としての検出された使用者の右手HD1の人差し指FF1が立てられた状態が示されている。図6に示すように、画像設定部165は、判断対象である右手HD1が検出された場合に、記憶部120に記憶されたメーターMT1およびメーターMT2の数値が定められた閾値未満であることを確認するために実行すべきジェスチャーを示すジェスチャー指示画像を画像表示最大領域PNに表示させる。なお、右手HD1の人差し指FF1は、請求項における特定のオブジェクトに相当する。ジェスチャー指示画像は、請求項における特定のオブジェクトの位置の変化を示す虚像に相当する。
ジェスチャー指示画像は、右手HD1の人差し指FF1の先端からメーターMT1へと放物線の矢印画像CS1と、使用者が発生すべき判断音声である「ヨシ!」を示すテキスト画像TX2と、で構成される。本実施形態では、画像設定部165は、撮像画像において人差し指FF1がメーターMT1に重なる位置に移動した後に、マイク69および音声処理部170によって「ヨシ!」の判断音声が検出されると、確認行為の制御指示を実行する。なお、記憶部120に記憶された機器確認処理では、メーターMT1とメーターMT2との両方が検出された場合には、メーターMT1の機器確認を先に優先するように設定されている。使用者は、テキスト画像TX1,TX2および矢印画像CS1と重複する外景SCを透過して視認できる。確認行為の制御指示は、請求項における決定された対象物の制御に相当する。
画像設定部165によって、ジェスチャー指示画像が画像表示最大領域PNに表示されると(図4のステップS20)、画像判定部168は、矢印画像CS1に沿った人差し指FF1のジェスチャーの検出を待機する(ステップS22)。画像判定部168は、カメラ61によって連続的に撮像される撮像画像の各フレームにおける人差し指FF1の画像に対して、パターンマッチング等の画像認識処理を行なうことによって、人差し指FF1のジェスチャーを検出する。矢印画像CS1に沿った人差し指FF1のジェスチャーが検出されない場合には(ステップS22:NO)、画像判定部168は、引き続き、矢印画像CS1に沿った人差し指FF1のジェスチャーの検出を待機する(ステップS22)。矢印画像CS1に沿った人差し指FF1のジェスチャーが検出された場合には(ステップS22:YES)、画像設定部165は、ジェスチャー後の人差し指FF1の位置が撮像画像においてメーターMT1に重なっている状態で、音声処理部170がマイク69を介してテキスト画像TX2に示す判断音声の「ヨシ!」の検出を待機する(ステップS24)。判断音声が検出されない、または、人差し指FF1の位置がメーターMT1と重なっていない場合には(ステップS24:NO)、画像設定部165は、引き続き、撮像画像において人差し指FF1の位置とメーターMT1とが重なっている状態での判断音声の検出を待機する(ステップS24)。撮像画像において、人差し指FF1の位置とメーターMT1とが重なっている状態で、判断音声の「ヨシ!」が検出された場合には(ステップS24:YES)、画像設定部165は、確認行為をするためのジェスチャーが行なわれたと判定し、確認行為が済んだ後に表示する確認済画像を画像表示最大領域PNに表示させ(ステップS26)、機器確認処理を終了する。
図7は、確認済画像が表示された場合に使用者が視認する視野VRの一例を示す説明図である。図7には、使用者による確認行為が検出されて確認済画像としての「MT1確認OK!」のテキスト画像TX3が表示されたときに使用者に視認される視野VRが示されている。撮像画像において、人差し指FF1の位置とメーターMT1とが重なっている場合に、画像設定部165は、メーターMT1の位置を示す画像IM1に加えて、メーターMT1の数値が確認済みであることを示すために、メーターMT1を囲っている実線の円の画像IM3を画像表示最大領域PNに表示させる。使用者は、画像表示最大領域PNに表示されたテキスト画像TX3および画像IM3を視認することで、ジェスチャーが正常に処理されて、機器確認の制御指示が実行されたことを確認できる。
以上説明したように、本実施形態におけるHMD100では、画像判定部168が撮像画像の中に含まれる操作対象と判断対象とを検出し、画像設定部165は、検出された操作対象に対応付けられた画像IM1,IM2およびテキスト画像TX1を画像表示最大領域PNに表示させ、検出された判断対象のジェスチャーに対応する機器確認の制御指示を決定して実行する。そのため、本実施形態のHMD100では、使用者は、操作する対象の操作対象と自身が行なうジェスチャーに対応付けられた制御とを視線方向を変えないで同時に視認でき、操作対象の制御を直感的に行なうことができ、使用者の利便性が向上する。
また、本実施形態におけるHMD100では、画像設定部165は、判断対象としての右手HD1が検出されると、メーターMT1およびメーターMT2と右手HD1の人差し指FF1との組み合わせに対応付けられた画像として、人差し指FF1の変化を示した矢印画像CS1を画像表示最大領域PNに表示させる。そのため、本実施形態のHMD100では、使用者は、制御指示を実行するために必要なジェスチャーを視覚情報として認識でき、使用者にとってのHMD100の使い勝手が向上する。
また、本実施形態におけるHMD100では、画像設定部165は、判断対象である人差し指FF1の位置と操作対象であるメーターMT1とが重なっている状態で、音声処理部170によって判断音声が検出された場合に、確認済画像であるテキスト画像TX3を画像表示最大領域PNに表示させる。そのため、本実施形態のHMD100では、ジェスチャーが行われた後に判断対象が重なっている操作対象に対応する制御指示が実行されるため、使用者は、意図した制御指示に対応するジェスチャーを行ないやすい。また、ジェスチャーと音声との組み合わせによって制御指示が実行されるため、ジェスチャーのみによって実行される制御指示よりも、使用者は、より多くの制御指示を直感的に行なうことができる。
また、本実施形態におけるHMD100では、距離測定部166によって測定された画像表示部20と仮対象との距離が所定の距離以下である場合に、画像設定部165は、検出された仮対象を選択可能な操作対象として設定する。そのため、本実施形態のHMD100では、撮像画像に複数の仮対象が検出された場合に、使用者から近いものを選択可能な操作対象として設定するので、使用者に選択される可能性の高いものを使用者に視認させるため、使用者の利便性が向上する。
B.第2実施形態:
第2実施形態では、第1実施形態と異なり、HMD100aと制御装置300とを備える制御システム500において、HMD100aと制御装置300との間で制御指示の信号の送受信が行なわれる。これにより、制御装置300からの操作対象を特定する情報をHMD100aが受信した後に、HMD100aで入力された制御指示に基づいて制御装置300の制御が行なわれる。
図8は、第2実施形態における制御システム500の構成を機能的に示すブロック図である。制御システム500は、HMD100aと制御装置300とを備えている。なお、図8では、HMD100aと制御装置300とをそれぞれ1つずつしか図示していないが、制御システム500は、複数のHMD100aや制御装置300を備えていてもよいし、HMD100aや制御装置300とは異なる機器(例えば、サーバー)を介して情報の送受信が行なわれてもよい。第2実施形態におけるHMD100aは、第1実施形態のHMD100の構成に加えて、制御部10に無線通信部132を備えている。図8では、HMD100aが第1実施形態(図2)のHMD100と比較して、無線通信部132以外の構成が同じであるため、HMD100aの構成については、一部の図示を省略している。
HMD100aの無線通信部132は、無線LANやブルートゥース(登録商標)といった所定の無線通信方式に則って他の機器との間で無線通信を行なう。無線通信部132は、使用者のジェスチャーによって決定された制御指示の情報を制御装置300へと送信する。また、無線通信部132は、操作対象、判断対象、判断音声、および、ジェスチャー等を特定する情報を制御装置300から受信する。なお、第2実施形態における無線通信部132は、請求項における第2の通信部に相当する。
制御装置300は、無線通信部330と、記憶部320と、CPU310と、を備えている。無線通信部330は、無線LANやブルートゥースといった所定の無線通信方式に則って、HMD100との間で無線通信を行なう。なお、第2実施形態における無線通信部330は、請求項における第1の通信部に相当する。記憶部320は、例えば、ROM、RAM、DRAM、ハードディスク等によって構成されている。記憶部320は、制御装置300を制御するための制御指示に対応付けられた制御内容を記憶している。また、記憶部320は、カメラ61の撮像画像に含まれる場合に検出される操作対象の画像データと制御を行なう判断の基となる判断対象の画像データとを記憶している。なお、第2実施形態における記憶部320は、請求項における対象物特定部に相当する。
CPU310は、記憶部320に格納されたコンピュータープログラムを読み出して実行することにより、情報処理部312、制御処理部314、として機能する。情報処理部312は、無線通信部330を介して、HMD100の無線通信部132との間で送受信される制御指示や操作対象を特定する情報を処理する。制御処理部314は、情報処理部312によって処理された制御指示の情報に基づいて、当該制御指示に対応して制御装置300を制御する。なお、第2実施形態における制御装置300は、請求項における制御実行部に相当する。
図9は、制御処理の流れを示す説明図である。制御処理におけるステップS30からステップS36までの処理は、第1実施形態の機器確認処理(図4)における画像表示部20と操作対象との距離を特定する処理を除いたステップS10からステップS18までの処理が同じである。そのため、第2実施形態では、制御処理のステップS30からステップS36までの処理については、簡単に説明する。
制御処理では、カメラ61によって外景SCが撮像され(ステップS30)、撮像画像に操作対象が検出されると(ステップS32:YES)、画像設定部165は、操作対象に対応付けられた画像を画像表示最大領域PNに表示させる。
図10は、操作対象が検出された場合に使用者が視認する視野VRの一例を示す説明図である。図10には、リビングにいる使用者が視認する外景SCと画像表示最大領域PNに表示された画像IM4および画像IM5とが示されている。図10に示すように、使用者は、画像判定部168によって設定された操作対象であるテレビのリモコンRC1および部屋の照明のスイッチであるスイッチSWと、記憶部320に記憶され、リモコンRC1に対応付けられた画像IM4およびスイッチSWに対応付けられた画像IM5と、を視認している。なお、リモコンRC1およびスイッチSWは、請求項における対象物に相当する。
画像IM4およびIM5が表示された状態で(図9のステップS34)、画像判定部168によって判断対象が検出されると(ステップS36:YES)、画像設定部165は、使用者のジェスチャーを検出できる状態を示すジェスチャー検出モードの画像を画像表示最大領域PNに表示させる(ステップS38)。
図11は、ジェスチャー検出モードの場合に使用者が視認する視野VRの一例を示す説明図である。図11に示すように、画像判定部168によって判断対象としての右手HD1が検出され、画像設定部165によって、リモコンRC1に対応付けられた画像IM6が表示され、スイッチSWに対応付けられた矢印画像CS2と画像IM7とが表示される。画像IM6は、右手HD1の人差し指FF1の位置が重なると制御する内容を示す複数のアイコンを含む画像である。例えば、表示されたアイコンの内の「ON/OFF」のアイコンが指FF1の位置の変化によって選択されると、制御処理部314は、テレビTV1の電源のオンとオフとを切り替える制御を実行する。また、図11に示す矢印画像CS2は、スイッチSWを選択する制御を実行するために使用者が行なうべきジェスチャーを示す画像である。画像IM7は、矢印画像CS2に沿った人差し指FF1のジェスチャーが行なわれると、実行される制御内容を示す画像である。すなわち、画像IM7は、使用者の人差し指FF1が矢印画像CS2に沿ってスイッチSWを囲むように動くと、スイッチSWが選択されることを示している。
画像設定部165によってジェスチャー検出モードの画像が画像表示最大領域PNに表示されると(図9のステップS38)、画像判定部168は、リモコンRC1またはスイッチSWを制御を実行するための右手HD1のジェスチャーの検出を待機する(ステップS40)。右手HD1のジェスチャーが検出されなかった場合には(ステップS40:NO)、画像判定部168は、引き続き、右手HD1のジェスチャーの検出を待機する(ステップS40)。右手HD1のジェスチャーが検出された場合には(ステップS40:YES)、画像設定部165は、検出されたジェスチャーである検出ジェスチャーに対応する制御を実行する(ステップS42)。画像設定部165は、検出ジェスチャーに対応して実行された制御の次に設定されている別の制御を実行するために対応するジェスチャーである設定ジェスチャーがあるか否かを判定する(ステップS44)。設定ジェスチャーがあると判定された場合には(ステップS44:YES)、画像設定部165は、設定ジェスチャーに対応したジェスチャー検出モードの画像を画像表示最大領域PNに表示させる(ステップS38)。
図12は、設定ジェスチャーに対応するジェスチャー検出モードの画像が表示された場合に使用者が視認する視野VRの一例を示す説明図である。図12には、検出ジェスチャーとして矢印画像CS2(図11)に沿った人差し指FF1の動きが検出された後の設定ジェスチャーに対応したジェスチャー指示画像である画像IM8が示されている。画像IM8は、人差し指FF1が上方向に動かされた場合にはスイッチSWをオンにし、人差し指FF1が下方向に動かされた場合にはスイッチSWをオフにする制御を示す画像である。
画像設定部165によってジェスチャー検出モードの画像が画像表示最大領域PNに表示され(図9のステップS38)、スイッチSWをオンまたはオフにするジェスチャーが検出されると(ステップS40:YES)、画像設定部165は、検出ジェスチャーに対応する制御を実行する(ステップS42)。実行された制御の次に実行される制御に対応する設定ジェスチャーがある場合には(ステップS44:YES)、ステップS38以降の処理が行なわれる。ステップS44の処理において、実行された制御の次に実行される制御に対応する設定ジェスチャーがない場合には(ステップS44:NO)、画像設定部165は、検出ジェスチャーに対応する制御が実行されたことを示す制御後画像を画像表示最大領域PNに表示させる(ステップS46)。
図13は、制御後画像が表示された場合に使用者が視認する視野VRの一例を示す説明図である。図13には、検出ジェスチャーとしてのスイッチSWをオフに設定ジェスチャーが検出された後に、制御後画像であるテキスト画像TX4が表示された状態が示されている。図13に示すように、制御処理部314によってスイッチSWがオフに設定されると、その旨を使用者に伝えるための「オフにしました」のテキスト画像TX4が画像設定部165によって画像表示最大領域PNに表示される。
制御後画像のテキスト画像TX4が画像表示最大領域PNに表示されると(図9のステップS46)、画像設定部165は、所定の時間、テキスト画像TX4を画像表示最大領域PNに表示する。テキスト画像TX4が画像表示最大領域PNに表示されている間に、操作部135は、撮像画像において検出された操作対象等を用いた制御処理を終了する所定の操作の検出を待機する(ステップS48)。テキスト画像TX4が画像表示最大領域PNに表示されている間に、操作部135が制御処理を終了する所定の操作を検出しなかった場合には(ステップS48:NO)、画像設定部165がテキスト画像TX4を非表示にした後、ステップS32以降の処理が行なわれる。ステップS48の処理において、操作部135が制御処理を終了する所定の操作を検出した場合には(ステップS48:YES)、制御部10は、制御処理を終了する。なお、第2実施形態では、操作部135が所定の操作を検出することで、制御処理の途中であっても、制御部10は、制御処理を終了できる。
以上説明したように、第2実施形態におけるHMD100aでは、図12に示すように、画像設定部165は、右手HD1の人差し指FF1が上下方向に沿って動いた方向に対応して実行されるスイッチSWのオンとオフとの制御を示す画像IM8を画像表示最大領域PNに表示させる。そのため、第2実施形態のHMD100aでは、使用者が自身のジェスチャーに対応して次に実行される制御の内容を視覚情報として認識できるので、使用者にとっての使い勝手が向上する。
C.変形例:
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
C1.変形例1:
上記実施形態では、画像設定部165は、設定された操作対象および検出された判断対象に対応する画像やジェスチャー指示画像を画像表示最大領域PNに表示したが、必ずしもこれらの画像を表示しなくてもよい。例えば、画像設定部165は、設定された操作対象に対応する画像を表示し、判断対象に対応する画像やジェスチャー指示画像を表示せずに、検出されたジェスチャーに対応する制御を実行してもよい。
上記実施形態では、距離測定部166は、赤外線LED64とTOFセンサー63とによって、画像表示部20と仮対象との距離を測定したが、必ずしも当該距離を測定する必要もなく、また、他の方法によって距離を測定してもよい。例えば、画像設定部165は、画像表示部20と操作対象との距離に関係なく、画像判定部168によって検出された仮対象の全てを選択可能な操作対象として設定してもよい。また、距離測定部166は、ステレオカメラによって撮像された操作対象の画像を比較することで、画像表示部20と操作対象との距離を測定してもよい。
上記実施形態では、画像判定部168は、判断対象として右手HD1の人差し指FF1を検出したが、検出する判断対象については、種々変形可能である。例えば、判断対象は、制御部10であってもよいし、ボールペンや制御部10のトラックパッド14を操作するためのタッチペンであってもよい。また、判断対象は、人差し指FF1の延長線上を指示するための棒状の器具であってもよいし、レーザーポインターにおける特定の光の形状であってもよいし、発光部を有する特定の形状の器具(例えば、懐中電灯)などであってもよい。発光状態のペンライトが判断対象として検出され、発光状態ではないペンライトが判断対象として検出されないように、発光の有無によって判断対象の検出の有無が判定されてもよい。発光の有無によって判断対象として検出されるか否かが決定される場合、判断対象としてより精度の高い検出が行なわれる。判断対象は、操作部135が操作されることにより、使用者に任意に設定されてもよい。
上記第1実施形態では、画像設定部165は、ジェスチャーとジェスチャー後に検出された判断音声との組み合わせによってメーターMT1の確認行為を判定したが、必ずしも判断音声が検出される必要はなく、ジェスチャーのみによってメーターMT1の確認行為を判定してもよい。また、画像設定部165は、ジェスチャー後の判断音声を検出することで、メーターMT1の確認行為を判定したが、判断音声を検出するタイミングはジェスチャー後に限られず、ジェスチャー前であってもよいし、ジェスチャーを検出している間に検出される判断音声によって確認行為を判定してもよい。
C2.変形例2:
上記第2実施形態では、スイッチSWがオフにされる制御について説明したが、この変形例では、リモコンRC1に対応する画像IM6に表示されたアイコンが選択された場合の制御について説明する。図14は、画像IM6のアイコンが選択された場合に使用者が視認する視野VRの一例を示す説明図である。図14に示すように、右手HD1の人差し指FF1の位置は、画像IM6の「ON/OFF」のアイコンに重なっている。この場合に、制御処理部314は、テレビTV1の電源のオンとオフとを切り替える。図14に示す例では、人差し指FF1の位置がアイコンに重なる前には、テレビTV1の電源がオフであったため、制御処理部314は、撮像画像において、人差し指FF1の位置が「ON/OFF」のアイコンに重なると、テレビTV1の電源をオンにする。このように、この変形例では、使用者が行なうべきジェスチャー画像は表示されないが、画像IM6が表示された後に人差し指FF1の位置が変化することで、画像設定部165は、テレビTV1を操作する制御信号を制御装置300に送信している。
上記実施形態では、画像判定部168がカメラ61によって撮像された撮像画像の中に操作対象や判断対象の画像が含まれているか否かを検出したが、操作対象や判断対象を検出する方法としては、種々変形可能である。例えば、赤外線センサーや超音波センサーが操作対象や判断対象を検出してもよい。また、レーダー波を検出するレーダー探知機が操作対象や判断対象を検出してもよい。
C3.変形例3:
上記実施形態では、制御部10に操作部135が形成されたが、操作部135の態様については種々変形可能である。例えば、制御部10とは別体で操作部135であるユーザーインターフェースがある態様でもよい。この場合に、操作部135は、電源130等が形成された制御部10とは別体であるため、小型化でき、使用者の操作性が向上する。また、操作部の動きを検出する10軸センサーを操作部135に形成して、検出した動きに基づいて各種操作が行なわれることで、使用者は、感覚的にHMD100の操作ができる。
例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよい。また、例えば、画像生成部は、LCDに代えて、LCOS(Liquid crystal on silicon, LCoS は登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。レーザー網膜投影型の場合、画像表示最大領域PNは、使用者の眼に認識される画像領域として定義できる。
また、例えば、HMD100は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、HMD100は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。
図15は、変形例におけるHMD100の外観構成を示す説明図である。図15(A)の例の場合、図1に示したHMD100との違いは、画像表示部20bが、右光学像表示部26に代えて右光学像表示部26bを備える点と、左光学像表示部28に代えて左光学像表示部28bを備える点である。右光学像表示部26bは、上記実施形態の光学部材よりも小さく形成され、HMD100bの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部28bは、上記実施形態の光学部材よりも小さく形成され、HMD100bの装着時における使用者の左眼の斜め上に配置されている。図15(B)の例の場合、図1に示したHMD100との違いは、画像表示部20cが、右光学像表示部26に代えて右光学像表示部26cを備える点と、左光学像表示部28に代えて左光学像表示部28cを備える点である。右光学像表示部26cは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部28cは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のHMD100として実現できる。
また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。
上記実施形態におけるHMD100の構成は、あくまで一例であり、種々変形可能である。例えば、制御部10に設けられた方向キー16やトラックパッド14の一方を省略したり、方向キー16やトラックパッド14に加えてまたは方向キー16やトラックパッド14に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部10は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
また、画像表示部として、眼鏡のように装着する画像表示部20に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部が採用されてもよい。また、イヤホン32,34は適宜省略可能である。
また、上記実施形態において、HMD100は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。
また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部160や音声処理部170は、CPU140がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータープログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
また、上記実施形態では、図1および図2に示すように、制御部10と画像表示部20とが別々の構成として形成されているが、制御部10と画像表示部20との構成については、これに限られず、種々変形可能である。例えば、画像表示部20の内部に、制御部10に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源130が単独で形成されて、交換可能な構成であってもよいし、制御部10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、図2に示すCPU140が制御部10と画像表示部20との両方に形成されていてもよいし、制御部10に形成されたCPU140と画像表示部20に形成されたCPUとが行なう機能が別々に分けられている構成としてもよい。
また、制御部10と画像表示部20とが一体化して、使用者の衣服に取り付けられるウェアラブルコンピューターの態様であってもよい。
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。