JP4321083B2

JP4321083B2 - Head mounted display

Info

Publication number: JP4321083B2
Application number: JP2003062509A
Authority: JP
Inventors: 正樹大槻; 信行三宅; 茂加藤
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2003-01-31
Filing date: 2003-01-31
Publication date: 2009-08-26
Anticipated expiration: 2023-01-31
Also published as: JP2004233948A

Description

【０００１】
【発明の属する技術分野】
本発明は、ユーザの頭部に装着された状態で、ユーザが画像を見ることができるように画像出力を行うヘッドマウントディスプレイに関する。
【０００２】
【従来の技術】
ヘッドマウントディスプレイ（以下、ＨＭＤと略称する）は、ユーザの頭部に装着された状態で、ユーザが画像を見ることができるように画像出力を行う。この種のＨＭＤには２種類あり、ゴーグル型と称される、両眼を完全に覆って、ユーザの視野には、ＨＭＤの表示のみが見えるようにしたものと、片眼の眼前に画像出力部が配置される片眼タイプのものとがある。
【０００３】
片眼タイプのＨＭＤにおいては、画像出力部からの画像と、外部の景色とが同時に視野に入る。したがって、片眼タイプのＨＭＤは、画像から特定の情報を得つつ、外部の景色を見ながら作業ができるなどの利点がある。
【０００４】
しかし、この種の片眼タイプのＨＭＤにおいては、限られた強度のアームに保持された画像出力部を眼前に固定することになる。従って、ユーザが出力画像を観察しながら作業をしている場合、眼前に固定された画像出力部がユーザの周囲の障害物或いはユーザ自身に接触し、その精密な光学系に影響を及ぼすことがありうる。
【０００５】
画像出力部への接触を防ぐシステムとして、例えば、特許文献１に以下のような技術が開示されている。それは、仮想現実システムにおいて装着するゴーグル型のＨＭＤに、動き検出器を取り付け、近接する対象物を検出し、警告を発し、ＨＭＤを透過状態にするシステムである。
【０００６】
【特許文献１】
特開平１０−５０４９１７号公報「ヘッドマウントディスプレイ用衝突警告システム」
【０００７】
【発明が解決しようとしている課題】
しかし、特許文献１に記載されたシステムは、仮想現実システムにおいて装着するゴーグル型のＨＭＤにのみ適用されるものである。片眼タイプのＨＭＤにおいては、画像出力部が外部の物体或いは顔面、頭部に接近した場合には、接触を避けるために、画像出力部を移動させる必要がある。
【０００８】
本発明は上記事情に鑑みてなされたものであり、その課題は、画像出力部への対象物の接近あるいは接触を検知し、画像出力部を移動できるヘッドマウントディスプレイを提供することにある。
【０００９】
【課題を解決するための手段】
前記目的を達成するため、請求項１に係る発明のヘッドマウントディスプレイは、ユーザの頭部に装着されて画像表示を行うヘッドマウントディスプレイにおいて、画像を表示する画像出力部と、前記画像出力部を、前記頭部の装着時に前記ユーザの眼前に位置することができる第１の位置と前記ユーザの眼前から待避することができる第２の位置と間で移動可能に支持すると共に、ユーザの頭部に装着するための支持部と、前記画像出力部を移動させるためのアクチュエータと、前記アクチュエータの起動トリガーとして用いるためのセンサと、を備え、前記センサは、特定の範囲にある物体を検知することを特徴とするヘッドマウントディスプレイである。
【００１０】
請求項２に係る発明のヘッドマウントディスプレイは、請求項１に記載のヘッドマウントディスプレイにおいて、前記支持部は、前記画像出力部を支持する第１の部材と、該第１の部材を移動自在に支持する第２の部材とを有し、前記アクチュエータは、前記第１の部材を第２の部材に対して移動させることで前記画像出力部を移動させることを特徴とするヘッドマウントディスプレイである。
【００１１】
請求項３に係る発明のヘッドマウントディスプレイは、請求項２に記載のヘッドマウントディスプレイであって、前記センサは、接触センサ、近接センサ或いは距離センサのうちの少なくとも一つであることを特徴とする請求項１のヘッドマウントディスプレイである。
【００１２】
請求項４に係る発明のヘッドマウントディスプレイは、請求項３記載のヘッドマウントディスプレイであって、前記センサが、前記画像出力部に装備されていることを特徴とするヘッドマウントディスプレイ。
【００１３】
請求項５に係る発明のヘッドマウントディスプレイは、請求項４記載のヘッドマウントディスプレイであって、前記センサは、その検知域が前記頭部に装着される際、ユーザの存在が予想させれる空間であること
を特徴とするヘッドマウントディスプレイである。
【００１４】
請求項６に係る発明のヘッドマウントディスプレイは、請求項１〜４記載のヘッドマウントディスプレイであって、前記センサは、その検知域がユーザの前方域であることを特徴とするヘッドマウントディスプレイである。
【００１５】
請求項７に係る発明のヘッドマウントディスプレイは、請求項１〜４記載のヘッドマウントディスプレイであって、前記センサは、その検知域が前記画像出力部が移動する際の移動経路であることを特徴とするヘッドマウントディスプレイである。
【００１６】
請求項８に係る発明のヘッドマウントディスプレイは、請求項１〜７の内いずれか一項に記載のヘッドマウントディスプレイであって、前記センサが、その検知域に障害物が入ったことを検知すると、前記画像出力部が前記第２の位置に位置するように前記アクチュエータを制御する制御手段とを備えることを特徴とするヘッドマウントディスプレイである。
【００１７】
請求項９に係る発明のヘッドマウントディスプレイは、請求項１〜７の内いずれか一項に記載のヘッドマウントディスプレイにおいて、前記画像出力部が移動する際に、前記センサが、前記画像出力部が移動する際の移動経路に障害物検知すると、前記アクチュエータの駆動を停止し、所定時間たった後、または次の指示が与えられた後前記アクチュエータを駆動させる制御を行なう制御手段を備えることを特徴とするヘッドマウントディスプレイである。
【００１８】
請求項１０に係る発明のヘッドマウントディスプレイは、請求項８に記載のヘッドマウントディスプレイにおいて、前記画像出力部の移動開始位置で示す情報を記憶する記憶手段と前記制御手段は、前記画像出力部を前記第２の位置へ移動した後、所定時間後に、ないしは次の指示が与えられた後、前記センサでの前記障害物の検出に応じ、前記画像出力部を前記記憶手段で記憶された移動開始位置になるように、制御を行なうことを特徴とするヘッドマウントディスプレイである。
【００１９】
請求項１１に係る発明のヘッドマウントディスプレイは、前記前方域が、ユーザの略手の届く範囲であることを特徴とする請求項６記載のヘッドマウントディスプレイである。
【００２０】
請求項１２に係る発明のヘッドマウントディスプレイは、前記前方域が、ユーザの前方略歩幅範囲であることを特徴とする請求項６記載のヘッドマウントディスプレイである。
【００２１】
請求項１３に係る発明のヘッドマウントディスプレイは、前記前方域が、ユーザ選択できることを特徴とする請求項６記載のヘッドマウントディスプレイである。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
（第１実施形態）
図１に、本発明の第１の実施形態に係るヘッドマウントディプレイの概略構成を示す。
【００２３】
図１に示すように、ヘッドマウントディスプレイ（以下、ＨＭＤと略記する）は、ユーザＵに対して画像を出力するための機能を有する画像出力部１００と、音声、音楽、効果音等の音響を発生させる機能を有する音響出力部２００と、画像出力部１００および音響出力部２００を一体的に連結すると共に、これらをユーザＵの頭部１に着脱自在に装着するための支持部３００とを有する。さらに、画像出力部１００と外部の障害物との距離を測定する探知センサ１８０を有している。
【００２４】
また、このＨＭＤは、頭部に装着される各部材に画像表示信号および音響出力信号を出力する駆動ユニットＤを有し、ケーブル８００を介して接続されることにより動作するものである。
【００２５】
以下にＨＭＤの各構成要素について説明する。
【００２６】
画像出力部１００は、図３に示すように、画像を現す画像表示信号を光信号に変換して画像を形成する電気−光変換器１１０と、形成された画像を拡大するレンズ系１２１と、該レンズ系１２１を収容する鏡筒１３０を有する光学系１２０と、探知センサ１８０と、これら全体的に収容するケース１４０とを有する。
【００２７】
本実施形態において用いられる電気−光変換器１１０は、画像を形成する表示素子により構成することができるものである。この種の電気−光変換器１１０には、大別して、２種類ある。第１のものは、画像出力信号に応じて透過率または反射率が変化するセルを、各画素に対応して配置し、他の光源からの光について各画素の透過率または反射率を変化させることによって画像を形成する形式のデバイスである。第２のものは、自らが発光する素子を各画素に対応して配置し、画像出力信号に応じて各素子の発光輝度を変化させることによって画像を形成する形式のデバイスである。前者の形式のデバイスとしては、例えば、透過率または反射率を変化させることができる液晶セルを二次元的に配置した液晶表示素子が挙げられる。後者の形式でのデバイスとしては、例えば、電気信号によりそれ自身が発光する発光素子を二次元的に配置した有機ＥＬ素子が挙げられる。本発明では、いずれの形式のデバイスを用いてもよい。
【００２８】
また、電気−光変換器１１０では、例えば、情報処理装置のディスプレイ画面のように画面を形成することができる。もちろん、動画を表示することも可能である。
【００２９】
光学系１２０は、本実施形態では、レンズ系１２１を有する。レンズ系１２１は、電気−光変換器１１０によって形成される画像を拡大する。具体的には、虚像を形成する。この虚像をユーザの肉眼が網膜上に結像させることにより、例えば、ユーザがあたかもその視野の全体にわたって画像を見ているように表示することが可能となる。
【００３０】
鏡筒１３０は、前述したレンズ系１２１を収容するレンズ収容部１３１と、電気−光変換器１１０を収容する変換器収容部１３２と、電気−光変換器１１０との距離を一定に保つと共に、外光が入射しないように遮断する遮光部１３３とを有する。鏡筒１３０は、遮光性材料により形成される。
【００３１】
ケース１４０は、例えば、遮光性のプラスチックにより形成される。ケース１４０のユーザＵとの対向面に開口部１４２が設けられている。この開口部１４２内に、レンズ系１２１が収容される。また、ケース１４０の一端は、画像出力支持アーム３２０との連結部となっている。
【００３２】
探知センサ１８０ａは、図１及び図２に示すように、画像出力部１００の、ユーザＵとの対向面に設置され、その検知域は頭部に装着したときにユーザＵの存在が予想される空間としている。探知センサ１８０ａの出力は、ケーブル８００を介して駆動ユニットＤの状態検出装置８５５（図８参照）に送られる。
【００３３】
探知センサとしては、例えば、発光素子に赤外線ＬＥＤを、受光センサにＰＳＤ素子を用い、アクティブオートフォーカスの原理を適用した、距離センサが利用できる。
【００３４】
なお、探知センサ１８０ａは、接触センサ或いは接近センサであってもよい。
【００３５】
音響出力部２００は、音響出力信号を音響に変換するものである。本実施形態では、左音響出力部２００Ｌと、右音響出力部２００Ｒとが設けられている。
【００３６】
音響出力部２００は、通常、ヘッドホンとして製品化されているものを用いることができる。音響出力部２００Ｌ，２００Ｒは、後述するように、支持部３００により、互いに近接する方向に付勢される。また、音響出力部２００は、本実施形態では、その構造上、後述する支持部３００と共に、当該ＨＭＤをユーザＵの頭部１に装着させる際の、耳への当接部としても機能する。
【００３７】
なお、本実施形態では、音響出力部２００Ｌ側に、ケーブル８００と内部配線とを接続する接続部（図示せず）が設けられている。
【００３８】
支持部３００は、図１に示すように、左右の音響出力部２００Ｌと２００Ｒとを連結するバンド３１０と、バンド３１０の一端側に設けられた画像出力部支持アーム３２０と、を有する。画像出力部支持アーム３２０は、バンド３１０の一端で、本実施形態では音響出力部２００Ｌに隣接する支持アーム支持部３４０に連結固定されている。
【００３９】
バンド３１０は、ユーザＵの頭部１を後方から挟むことができるように湾曲した形状を持っている。
【００４０】
また、バンド３１０は、本体３１１と、画像出力部支持アーム３２０を出没自在に収容する画像出力部支持アーム収容部３１２と、画像出力部支持アーム３２０を駆動する支持アームアクチュエータ３９０とにより構成される。そして、両端に音響出力部２００Ｌと２００Ｒとが連結固定されている。
【００４１】
また、バンド３１０には、駆動ユニットＤからのケーブル８００に接続される配線（図示せず）が設けられている。これら配線のうち一部は、画像出力部１００に通じ、他の一部は、左右の音響出力部２００Ｌ，２００Ｒに通じる。さらに、支持アームアクチュエータ３９０及び探知センサ１８０ａに通じる配線もある。画像出力部１００に通じる配線は、画像出力部支持アーム３２０内に設けられた配線と接続されている。
【００４２】
画像出力部支持アーム収容部３１２には、本実施形態では、音響出力部２００Ｌに隣接して、開口部３１２ｂが設けられている。画像出力部支持アーム３２０は、この開口部３１２ｂから出没することができる。
【００４３】
また、図２（Ａ）が示すように画像出力部支持アーム収容部３１２には、支持アームアクチュエータ３９０が設けられている。
【００４４】
図２（Ｂ）は、画像出力部１００の位置を可変とする支持アームアクチュエータ３９０（後述）の断面Ａ−Ａ’の断面図である。図２（Ｂ）が示すように、支持アームアクチュエータ３９０は、モータ３９１、モータ軸３９２、及びモータ軸３９２に設けられモータ軸３９２と同軸で同時に回転するローラー３９３を有する。ローラー３９３の側面は、画像出力部支持アーム３２０の片側側面と充分な摩擦力をもって接している。従って、ローラー３９３の回転に対応して、画像出力部支持アーム３２０は、画像出力部支持アーム収容部３１２内を移動し、開口部３１２ｂから出没することができる。
【００４５】
また、支持アームアクチュエータ３９０は、駆動ユニットＤに設けられた支持アーム制御装置８５９によって、制御される。支持アームアクチュエータ３９０には、制御装置８５９からの指令に応じた角速度を実現できるモータ（例えば、パルスモータ）を用いてもよい。
【００４６】
また、パルスモータ等を利用することで、支持アーム３２０の繰り出し量を細かく設定でき、したがって、画像出力部１００の位置を細かく変えることが可能となる。
【００４７】
なお、開口部３１２ｂには、不図示のストッパが設けられている。これにより、画像出力部支持アーム３２０が引き出された際に、抜け落ちず、且つ、ローラー３９３の側面と画像出力部支持アーム３２０の片側側面との接触が常に保たれることが可能となっている。
【００４８】
画像出力部支持アーム収容部３１２には、画像出力部支持アーム３２０の出没を円滑に行うため、案内レール（図示せず）が設けられる。これにより、画像出力部支持アーム３２０が円滑にスライドすることになる。
【００４９】
従って、画像出力部支持アーム３２０を使用可能状態とする際、また、探知センサ１８０ａの検出結果に応じて、画像出力部１００の位置を変える際に、モータ３９１の動力により行われる出没操作が容易となる。
（駆動ユニット等）
本実施形態のＨＭＤの頭部に装着された各部材は、画像表示信号および音響出力信号と、支持アームアクチュエータ３９０に対する制御信号とを出力する駆動ユニットＤとケーブル８００を介して接続されることにより動作するものである。
【００５０】
駆動ユニットＤには、図８で示すように、画像出力部１００に画像表示信号を送るため、当該画像表示信号を処理する画像出力信号処理装置８５１と、音響出力部２００に音響出力信号を送るための音響出力信号処理装置８５２と、記憶装置８５３と、駆動ユニット全体を管理する中央制御装置８５４と、支持アームアクチュエータ３９０を制御する支持アームアクチュエータ制御装置８５９と、電源のオンオフおよび節電モードの制御を行うための電源制御回路８５６と、電池８５７とを有する。また、探知センサ１８０ａから検出結果を受け取る状態検出装置８５５を有する。また、ＨＭＤ頭部に装着された各部材と情報、信号等の授受をする入出力インタフェース８５８を有する。また、電源のオンオフを行うためのメインスイッチＳＷを有する。さらに、ＨＭＤと信号を授受するためのケーブル８００のプラグ８１０を接続するためのコネクタＣＮが設けられている。また、電源として、充電可能な電池８５７が用意されている。
【００５１】
コネクタＣＮは、画像出力信号、音響出力信号、調光制御信号、光センサ検出信号等を接続するため、多ピン構造と成っている。また、コネクタの形状についても、断面円形に限られない。角型で、ピンがシングルインライン、デュアルインライン等の配列となっているものであってもよい。なお、各信号をパケット等により伝送する場合には、高周波数に対応することができるピンであればよい。その場合には、一定の通信プロトコルに従って、種々の信号をデータとして送ることとなる。この場合には、通信制御装置がさらに設けられる。
【００５２】
記憶装置８５３には、プログラムのほか、画像表示信号および音響出力信号を生成する基となる画像情報、音響情報等が格納される。記憶装置８５３としては、例えば、ハードディスク装置が用いられる。もちろん、これに限定されない。他の記憶媒体を用いることもできる。
【００５３】
状態検出装置８５５は、探知センサ１８０ａから送られる検出結果に基づいて、探知センサ１８０ａと対象物との距離を計算し、その結果を中央制御装置８５４に送る。
以上、本実施形態が適用されたＨＭＤの構成を説明した。
【００５４】
次に、上記構成のＨＭＤの動作を説明する。
【００５５】
ユーザＵが、本実施形態のＨＭＤを使用している状況では、ＨＭＤが頭部１に装着され、画像出力部１００が支持部３００から突出し、眼前に固定されている。ここで、何らかの理由でユーザＵと画像出力部１００の距離が接触するか接触するほど近接した場合を考える。
【００５６】
まず、探知センサ１８０ａがユーザＵとの位置に関する情報を取得し、その結果を、ケーブル８００、入出力インタフェース８５８を介して、駆動ユニットＤの状態検出装置８５５に送信する。
【００５７】
状態検出装置８５５は、探知センサ１８０ａからの情報から、探知センサ１８０ａと対象物との位置関係を推定し、その結果を中央制御装置８５４に送る。
【００５８】
中央制御装置８５４は、推定された位置関係が、予め定めた探知センサ１８０ａと対象物とが接触しない、或いは接近しすぎない安全距離よりも近いかどうかを判断する。中央制御装置８５４が、接触が予想されると判断した場合、中央制御装置８５４は、支持アーム制御装置８５９に、画像出力部３２０を移動させるように、命令を送る。
【００５９】
この命令に基づいて、支持アーム制御装置８５９は制御信号を支持アームアクチュエータ３９０へ送り、支持アームアクチュエータ３９０を制御する。
【００６０】
制御信号に基づいて、支持アームアクチュエータ３９０は画像出力部支持アーム３２０を駆動し、その結果、画像出力部１００を移動させる。
【００６１】
以上、本実施形態が適用されたヘッドアップディスプレイの動作を説明した。
【００６２】
本実施形態が適用されたヘッドアップディスプレイによって、次のような効果が得られる。本実施形態を用いることで、画像出力部１００に対して、ユーザＵの体の一部（頭部或いは顔面）が接近あるいは接触するのを検知し、自動的に画像出力部を移動できる。
（第２の実施形態）
図５は、本発明の第２の実施形態に係るヘッドマウントディプレイの概略構成を示す上面図である。本実施形態は、画像出力部支持アーム３２０および支持アーム可動部３９０の構成が、第１の実施形態とは異なる構造を有するものである。ただし、そのほかの構造は、第１の実施形態と共通である。従って、重複した説明を避けるため、ここでは、第１の実施形態と相違する点を中心に説明する。第１の実施形態と共通な構成要素に対しては、同一の符号が当てられている。
【００６３】
画像出力部支持アーム３２０は、第１の支持アーム３２０ａと、第２の支持アーム３２０ｂと、第１の支持アーム３２０ａと第２の支持アーム３２０ｂとを回動可能に接続し回動させる支持アーム可動部３９０ａと、を有している。
【００６４】
支持アーム可動部３９０ａは、上下駆動モータ３９４と上下駆動モータ軸３９５と、センサ４００を有している。
【００６５】
上下駆動モータ３９４は、駆動ユニットＤの支持アーム制御装置８５９にある上下駆動モータコントローラーに制御される（図６参照）。
【００６６】
上下駆動モータ軸３９５は、支持アーム可動部３９０ａの回動軸である。したがって、モータ３９４には、回動軸（上下駆動モータ軸３９５）を直接ドライブする、ダイレクトドライブモータを用いるとよい。なお、上下駆動モータ３９４は、ステッピングモータであるとよい。また、上下運動でモータ軸３９５には不図示のセンサが設けられており、モータ回転軸３９５の回動角が最大に成ったことを検出する。よって、略上下方向へ眼前から待避行動が終了したことを検知することができる。センサ４００（不図示）は、上下駆動モータ軸３９５に設置されている。
【００６７】
このセンサも、駆動ユニットＤの状態検出装置８５５に接続され、検出結果を状態検出装置８５５に送信する。
【００６８】
第１の支持アーム３２０ａに対する第２の支持アーム３２０ｂの回動方向は、上下駆動モータ軸３９５の方向（図５（Ｃ）の矢印Ａ）を回動軸として、図５（Ｂ）の両矢印の方向Ｂである。
【００６９】
画像出力部微動部３９６は、左右駆動モータ３９７と、左右駆動モータの駆動量を検出するセンサ４００とを有する。
【００７０】
左右駆動モータ３９７は、画像出力部微動部３９６にスライド可能に接続された画像出力部接続部１９０を介して、図５（Ａ）の両矢印Ｃの方向に、画像出力部１００を移動させる。左右駆動モータ３９７は、例えばリニア駆動の超音波モータを用いてもよい。
【００７１】
不図示のセンサは、画像出力部接続部１９０の端部の位置を測定するセンサで、画像出力部接続部１９０の端部が画像出力部微動部３９６の内部にスライドして停止した、つまり、左側への待避動作が終了したことを検知するセンサである。
【００７２】
センサ４００は、駆動ユニットＤの状態検出装置８５５に接続され、検出結果を状態検出装置８５５に送信する。
【００７３】
駆動ユニットＤの支持アームアクチュエータ制御装置８５９にある左右駆動モータコントローラーは、左右駆動モータ３９７に接続され、左右駆動モータ３９７を制御する（図６参照）。
【００７４】
なお、駆動ユニットＤは、支持アームアクチュエータ制御装置８５９にある上下駆動モータコントローラー及び左右駆動モータコントローラーの制御データを、記憶装置８５３に記憶している。
【００７５】
従って、画像出力部１００は、支持アーム可動部３９０ａによる上下方向の動き（正確には、上下駆動モータ軸３９５を中心とした弧を描く）と、画像出力部微動部３９６による左右の動きとの、２自由度をもつ動きが行なえる。
【００７６】
画像出力部１００は、カメラ１８１を有している。カメラ１８１は、画像出力部１００の開口方向と略同方向に指向している。カメラ１８１は、顔面部および頭部を撮影し、その情報を駆動ユニットＤの記憶装置８５３に記憶する。
【００７７】
駆動ユニットＤにある電源制御回路８５６には、以下のような遅延回路が備わっている。電源制御回路８５６は、中央制御装置８５４に備わったタイマに連動し、各センサの検出結果に応じて、所定時間の間、上下駆動モータ３９４および左右駆動モータ３９７を停止する。その後に電源を入れ、支持アームアクチュエータ制御装置８５９は、上下駆動モータ３９４および左右駆動モータ３９７を起動し制御する。
【００７８】
以上第２実施形態の構成について述べた。
【００７９】
次に第２実施形態の動作を説明する。
【００８０】
本実施形態と第１実施形態との動作における差は、画像出力部１００を、待避動作の後、所定の時間が過ぎた時点で、待避動作の直前に取っていた位置に戻す復帰動作をすることである。したがって、復帰動作を中心に以下に説明する。
【００８１】
本実施形態では、２種類の情報を基に復帰動作を取ることができる。
【００８２】
第１の情報は、待避時に用いた上下駆動モータ３９４および左右駆動モータ３９７の制御信号である。
【００８３】
本実施形態の待避動作では、画像処理部１００は、上下モータ３９４による略上下方向（図５（Ｂ）の両矢印Ｂの方向）の動きと、左右駆動モータ３９７による略左右方向（図５（Ａ）の両矢印Ｃの方向）の動きと、を組み合わせた２自由度の待避動作が取れる。
【００８４】
この待避動作の際の、上下駆動モータ３９４および左右駆動モータ３９７の制御信号は、駆動ユニットＤ内の記憶装置８５３に記憶されている。
【００８５】
従って、画像出力部１００を待避した位置から待避を開始する直前の位置に復帰させるには、記憶装置８５３に記憶されている上下駆動モータ３９４および左右駆動モータ３９７の待避時の制御信号を用いる。
【００８６】
具体的な復帰動作は、以下のようになる。
【００８７】
まず、上下駆動モータ３９４および左右駆動モータ３９７に設置されたセンサが、駆動ユニットＤの状態検出装置８５５に信号を送り、中央制御装置８５４が、待避動作が終了したと判断する。次に、駆動ユニットＤの遅延機能が働き、所定時間後に、駆動ユニットＤは上下駆動モータ３９４および左右駆動モータ３９７とを駆動させる。
【００８８】
駆動ユニットＤは、待避時の制御信号を基に、上下駆動モータ３９４および左右駆動モータ３９７を待避時とは逆方向に駆動し、画像出力部１００を待避動作の際とは逆向きに同じ量だけ移動させる。これによって、画像出力部１００は、待避動作直前の位置に復帰する。
【００８９】
例えば、上下駆動モータ３９４および左右駆動モータ３９７にステッピングモータを使うとよい。その際は、待避動作の際に使用したパルス数を、記憶装置８５３に記憶させ、復帰動作の際には、使用したパルス数を、記憶装置８５３から読み出す。読み出したパルス数だけ、上下駆動モータ３９４および左右駆動モータ３９７を復帰動作の際とは逆方向に駆動し、画像出力部１００を待避動作の際とは逆向きに同じ量だけ移動させる。これによって、画像出力部１００は、待避動作直前の位置に復帰する。
【００９０】
以上、待避時に用いた上下駆動モータ３９４および左右駆動モータ３９７の制御信号を使って、復帰動作をする例を説明した。
【００９１】
もちろん、復帰動作させるトリガはタイマのかわりに、ユーザによるボタン操作等でもよい。この場合タイマ回路等が不要となり、装置を単純化できる。
【００９２】
復帰動作の際に利用できる２種類の情報のうちの他方は、ユーザＵの眼とその近傍の形態情報である。この形態情報を用いて移動開始位置を記憶し、復帰動作をする例を図５〜７を用いて説明する。
【００９３】
この例では、まず、画像出力部１００にカメラ１８１を設けて（図５参照）、待避直前にユーザＵの眼部の画像を取得する。次に、復帰動作後に同じ眼部の画像が取得する。そして、両画像を画像処理した後に比較し、処理後の両画像が所定の範囲内で一致するまで、画像出力部１００を移動させるものである。
【００９４】
図６に、処理の概要を示す。
【００９５】
待避動作直前に、カメラ１８１が眼部の撮影をし、フレームメモリ２に待避前の画像を送る（ステップ１）。フレームメモリ２は、待避前の画像を、保持している。
【００９６】
復帰動作直後に、カメラ１８１が眼部の撮影をし、フレームメモリ１に復帰後の画像を送る（ステップ２）。フレームメモリ１は、復帰後の画像を、保持している。
【００９７】
次に、状態検出装置８５５の比較回路は、フレームメモリ１から復帰後の画像とフレームメモリ２から待避前の画像とを取得し、それぞれに２値化の処理（後述）を行なう（ステップ３）。
【００９８】
更に、比較回路は、２値化されたそれぞれの画像から、画像の重心検出（後述）を行なう（ステップ４）。
【００９９】
比較回路は、２画像の重心から、重心位置の差を示す移動ベクトル（後述）を取得する（ステップ５）。
【０１００】
移動ベクトルの値を左右駆動モータコントローラーおよび上下駆動モータコントローラーに送る（ステップ６および７）。
【０１０１】
左右駆動モータコントローラーおよび上下駆動モータコントローラーは、移動ベクトルに基づいて、二つの重心の距離が近づくように、左右駆動モータおよび上下駆動モータコントローラーを制御する信号を左右駆動モータおよび上下駆動モータコントローラーに送る（ステップ８および９）。
【０１０２】
その結果、画像出力部１００が移動し、復帰動作によって待避直前の位置に画像出力部１００を戻すことができる。
【０１０３】
図７に、上記の画像処理を、簡潔に示す。
【０１０４】
図７のＡ−１およびＢ−１は、カメラ１８１に撮影された通常の画像である。
【０１０５】
比較回路は、この両画像に、２値化の処理を行なう（Ａ−２およびＢ−２参照）。この処理は、画像（ユーザＵの眼部）の特徴を抽出する目的の処理である。まず、画像のピクセル毎の輝度を計算し、その画像全体の輝度分布から適当な閾値（を設ける。そして、その閾値を境界として、各ピクセルの輝度を予め定めた二つの画素値（例えば、１および０（黒および白））に分類する。こうすることで、画像が二つの画素値のみの画像となり、画像の特徴が抽出される。
【０１０６】
次に、２値化した２画像から、それぞれ重心を検出する（図７Ａ−３およびＢ−３）。この重心は、いわゆる剛体の質量中心の概念を、画像に用いたもので、各質点での質量を各ピクセルでの画素値に置きなおしたものである。したがって、公知の簡単な計算式で得られる。
【０１０７】
さらに、比較回路は二画像の重心位置からその移動ベクトル（差ベクトル）を計算する。そして、移動ベクトルを直交する２成分に投影し、二つの成分ベクトルを定める。
【０１０８】
以上、第２実施形態を説明した。
【０１０９】
第２実施形態の効果は、ＨＭＤが障害物を検知し、画像出力部１００が待避した後、自動で画像出力部１００が待避前の位置に戻り、利用を再開できることである。
【０１１０】
尚、本発明は、上記の実施形態に限定されるのもではない。その要旨の範囲内で数々の変形が可能である。
（第１実施形態の変形例１）
上記第１の実施形態の変形として、探知センサ１８０を探知センサ１８０ｂとするＨＭＤを以下に説明する。本変形例では、その構成及び動作のほとんどは、上記第１の実施形態と共通である。したがって、その構成及び動作が、上記第１の実施形態と異なる部分を中心に、説明を行なう。
【０１１１】
上記第１の実施形態と異なる構成は、探知センサ１８０を、図３に示す探知センサ１８０ｂとするところである。探知センサ１８０ｂは、画像出力部１００の開口方向から略１８０°の方向にある側面に設けられている。上記第１の実施形態では、探知センサ１８０ａは、ユーザＵの体の一部が画像出力部１００に接近するのを検知した。一方、本変形例では、探知センサ１８０ｂは、探知センサ１８０ｂから見て、ユーザＵとは逆方向から接近する（ユーザＵの顔面部に接近する）障害物を検出できる。
【０１１２】
したがって、上記第１の実施形態と異なる動作は、探知センサ１８０ｂは、ユーザＵの顔面部に接近する障害物を検出し、その結果に応じて、画像出力部１００を移動させることである。
【０１１３】
その効果は、探知センサ１８０ｂが、ユーザＵの顔面部に接近する障害物を検知し、自動的に画像出力部１００を移動できることである。
【０１１４】
画像出力部１００が移動した後ユーザが障害物を認識して待避行動をとれるためには、探知センサ１８０ｂで障害物を探知する距離は、ある程度長いほうがよい。例えば、ユーザの手の長さを基準にすれば、その障害物を手で取り除くことが可能である。また、ユーザの歩幅程度とすれば、ユーザの一歩で待避が可能となるであろう。また、その距離はユーザが選択できるようにしてもよい。
（第１実施形態の変形例２）
上記第１の実施形態の変形として、探知センサ１８０を探知センサ１８０ｃとするＨＭＤを、図４Ａ及び図４Ｂを用いて以下に説明する。本変形例では、その構成及び動作のほとんどは、上記第１の実施形態と共通である。したがって、その構成及び動作が、上記第１の実施形態と異なる部分を中心に、説明を行なう。
【０１１５】
上記第１の実施形態と異なる構成は、探知センサ１８０を、図３に示す探知センサ１８０ｃとするところである。探知センサ１８０ｃは、画像出力部１００が退避する際の待避経路（図４Ａの網掛け部）に向けて指向している。この探知センサ１８０ｃによって、待避経路上に障害物がないかを確認する。
【０１１６】
本変形例の動作としては、例えば、駆動ユニットＤが、画像出力部１００を支持部３００に待避させる場合を考える。待避経路に障害物があると、待避途中に画像出力部１００が障害物に接触する可能性がある。そこで、待避動作を開始する直前に、駆動ユニットＤが探知センサ１８０ｃの出力を確認し、待避経路を含む測距空間内の障害物を確認する。障害物があれば、駆動ユニットＤは、上下駆動モータ３９４に対して、画像出力部支持アーム３２０を動かさない制御信号を送る。障害物がなければ、駆動ユニットＤは、上下駆動モータ３９４を制御して、画像出力部１００を支持アーム収容部３１２に収納されるように待避させる。また、待避動作中に障害物が現れた場合は、そこで待避を中断してもよい。
【０１１７】
本変形例によって、画像出力部１００の待避中に、画像出力部１００が障害物に接触する可能性を減らすことができる。
【０１１８】
【発明の効果】
画像出力部への対象物の接近あるいは接触を検知し、画像出力部を待避できるヘッドマウントディスプレイを提供することができる。
【図面の簡単な説明】
【図１】第１の実施形態に係るヘッドマウントディスプレイの外観を示す斜視図である。
【図２】第１の実施形態に係るヘッドマウントディスプレイの上面からの２態様と、一部断面図である。
【図３】第１の実施形態において用いられる画像出力部の構成を示す一部破断平面図である。
【図４】本発明に係る第１の実施形態の変形例３に係るヘッドマウントディスプレイの構造を示す２平面図である。
【図５】第２の実施形態に係るヘッドマウントディスプレイの一部破断平面図と外観斜視図である。
【図６】第２の実施形態において用いられる画像処理のフローチャートである。
【図７】第２の実施形態において用いられる画像処理を示す説明図である。
【図８】各実施形態において適用可能なＨＭＤ駆動ユニットの構成要素を表すブロック図である。
【符号の説明】
Ｈ…ヘッドマウントディスプレイ（ＨＭＤ）
Ｄ…駆動ユニット、ＣＮ…コネクタ、ＳＷ…電源スイッチ、
Ｕ…ユーザ、１…頭部、
１００…画像出力部、１１０…電気−光変換器、
１２０…光学系、１２１…レンズ系、
１３０…鏡筒、１３１…レンズ収容部、１３２…変換器収容部、１３３…遮光部、
１４０…ケース、１４１…覆い板、１４２…開口部、１４３…連結部、
１５０…表示画面、１５１…オフディレイ設定ウィンドウ、１５２…オフ対象選択ウィンドウ、１５９…矢印アイコン、
１８０…距離センサ、１８１…カメラ、１９０…画像出力部接続部、
２００（２００Ｌ，２００Ｒ）…音響出力部、２１０…音響変換器、２２０…耳パッド、２３０…ケース、２３１…開口部、２３２…縁部、２３３…連結部、２４０…空孔部、
３００…支持部、
３１０…バンド、３１１（３１１ａ，３１１ｂ）…バンド本体、３１２…画像出力部支持アーム収容部、３１２ａ…底部、３１２ｂ…開口部、３１３…回動部、３１４…回動部、３１５…音響出力部支持アーム収容部、３１５ｂ…開口面、３２０…画像出力部支持アーム、第１の支持アーム３２０ａ、第２の支持アーム３２０ｂ、
３３０…音響出力部支持アーム、３３２…側部、３４０…支持アーム支持部、３５０…回動部、３６０…付勢部材、３８０…球頭部、
３９０…支持アームアクチュエータ、３９０ａ…支持アーム可動部、３９１…モータ、３９２…モータ軸、３９３…ローラー、３９４…上下駆動モータ、３９５…上下駆動モータ軸、３９６…画像出力部微動部、３９７…左右駆動モータ、
４００…センサ、
８００…ケーブル、８１０…プラグ
８５１…画像信号処理装置、８５２…音響出力信号処理装置、８５３…記憶装置、８５４…中央制御装置、８５５…状態検出装置、８５６…電源制御回路、８５７…電池、８５８…入出力インタフェース、８５９…支持アーム駆動制御装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a head-mounted display that outputs an image so that the user can view an image while being worn on the user's head.
[0002]
[Prior art]
A head mounted display (hereinafter abbreviated as HMD) outputs an image so that the user can view the image while being mounted on the user's head. There are two types of this type of HMD, which are called goggle type, which covers both eyes completely, and only the HMD display can be seen in the user's field of view, and image output in front of one eye There is a one-eye type in which the part is arranged.
[0003]
In the one-eye type HMD, the image from the image output unit and the external scenery enter the visual field at the same time. Accordingly, the one-eye type HMD has advantages such as being able to work while obtaining external information while obtaining specific information from the image.
[0004]
However, in this type of one-eye type HMD, the image output unit held by the arm with limited strength is fixed in front of the eyes. Therefore, when the user is working while observing the output image, the image output unit fixed in front of the eyes may contact an obstacle around the user or the user himself and affect the precise optical system. It is possible.
[0005]
As a system for preventing contact with the image output unit, for example, Patent Document 1 discloses the following technique. It is a system in which a motion detector is attached to a goggle-type HMD that is mounted in a virtual reality system, a nearby object is detected, a warning is issued, and the HMD is made transparent.
[0006]
[Patent Document 1]
JP 10-504917 A "Collision Warning System for Head Mounted Display"
[0007]
[Problems to be solved by the invention]
However, the system described in Patent Document 1 is applied only to a goggle type HMD to be mounted in a virtual reality system. In the one-eye type HMD, when the image output unit approaches an external object, face, or head, it is necessary to move the image output unit in order to avoid contact.
[0008]
The present invention has been made in view of the above circumstances, and an object thereof is to provide a head mounted display capable of detecting the approach or contact of an object to an image output unit and moving the image output unit.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, a head-mounted display according to a first aspect of the present invention is a head-mounted display that is mounted on a user's head and displays an image. An image output unit that displays an image; and the image output unit includes: The head of the user is movably supported between a first position that can be positioned in front of the user's eyes and a second position that can be withdrawn from the eyes of the user when the head is mounted. A support unit for mounting the image output unit, an actuator for moving the image output unit, and a sensor for use as an activation trigger for the actuator, wherein the sensor detects an object in a specific range. Is a head mounted display.
[0010]
A head-mounted display according to a second aspect of the present invention is the head-mounted display according to the first aspect, wherein the support portion is a first member that supports the image output portion, and the first member is movable. And a second member to support the actuator, wherein the actuator moves the image output unit by moving the first member relative to the second member.
[0011]
A head mounted display according to a third aspect of the present invention is the head mounted display according to the second aspect, wherein the sensor is at least one of a contact sensor, a proximity sensor, and a distance sensor. The head-mounted display according to claim 1.
[0012]
A head-mounted display according to a fourth aspect of the present invention is the head-mounted display according to the third aspect, wherein the sensor is provided in the image output unit.
[0013]
A head-mounted display according to a fifth aspect of the present invention is the head-mounted display according to the fourth aspect, wherein the sensor is a space in which the presence of a user can be expected when the detection area is mounted on the head. There is
Is a head mounted display.
[0014]
A head-mounted display according to a sixth aspect of the present invention is the head-mounted display according to any one of the first to fourth aspects, wherein the sensor has a detection area in the front area of the user. .
[0015]
A head-mounted display according to a seventh aspect of the present invention is the head-mounted display according to any one of the first to fourth aspects, wherein the sensor has a detection area that is a movement path when the image output unit moves. It is a head mounted display.
[0016]
A head-mounted display according to an eighth aspect of the present invention is the head-mounted display according to any one of the first to seventh aspects, wherein the sensor detects that an obstacle has entered the detection area. And a control means for controlling the actuator so that the image output unit is located at the second position.
[0017]
The head-mounted display of the invention according to claim 9 is the head-mounted display according to any one of claims 1 to 7, wherein when the image output unit moves, the sensor outputs the image output unit. When an obstacle is detected in the movement path when moving, the actuator is stopped, and after a predetermined time has passed, or after the next instruction is given, a control means is provided for performing control to drive the actuator. It is a head mounted display.
[0018]
A head mounted display according to a tenth aspect of the present invention is the head mounted display according to the eighth aspect, wherein the storage means for storing information indicating the movement start position of the image output section and the control means include the image output section. After the movement to the second position, after a predetermined time or after the next instruction is given, the movement of the image output unit stored in the storage means is started in response to the detection of the obstacle by the sensor. The head-mounted display is characterized in that control is performed so that the position is reached.
[0019]
The head-mounted display according to an eleventh aspect of the present invention is the head-mounted display according to the sixth aspect, wherein the front area is within the reach of a user's hand.
[0020]
A head mounted display according to a twelfth aspect of the present invention is the head mounted display according to the sixth aspect, wherein the front area is a front stride range of the user.
[0021]
A head-mounted display according to a thirteenth aspect of the present invention is the head-mounted display according to the sixth aspect, wherein the front area is user-selectable.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 shows a schematic configuration of a head mounted display according to the first embodiment of the present invention.
[0023]
As shown in FIG. 1, a head mounted display (hereinafter abbreviated as HMD) includes an image output unit 100 having a function for outputting an image to a user U, and sounds such as voice, music, and sound effects. The sound output unit 200 having a function to be generated and the image output unit 100 and the sound output unit 200 are integrally connected, and the support unit 300 is detachably mounted on the head 1 of the user U. . Further, a detection sensor 180 that measures the distance between the image output unit 100 and an external obstacle is provided.
[0024]
Further, the HMD has a drive unit D that outputs an image display signal and an acoustic output signal to each member mounted on the head, and operates by being connected via a cable 800.
[0025]
Hereinafter, each component of the HMD will be described.
[0026]
As shown in FIG. 3, the image output unit 100 converts an image display signal representing an image into an optical signal to form an image, a lens system 121 that enlarges the formed image, It has an optical system 120 having a lens barrel 130 for accommodating the lens system 121, a detection sensor 180, and a case 140 for accommodating these as a whole.
[0027]
The electro-optical converter 110 used in the present embodiment can be configured by a display element that forms an image. There are roughly two types of this type of electro-optical converter 110. In the first one, a cell whose transmittance or reflectance changes according to an image output signal is arranged corresponding to each pixel, and the transmittance or reflectance of each pixel is changed with respect to light from other light sources. This is a type of device that forms an image. The second type is a device in which an element that emits light is arranged corresponding to each pixel, and an image is formed by changing the light emission luminance of each element in accordance with an image output signal. Examples of the former type of device include a liquid crystal display element in which liquid crystal cells capable of changing transmittance or reflectance are arranged two-dimensionally. As the device in the latter form, for example, an organic EL element in which light emitting elements that emit light by an electrical signal are two-dimensionally arranged can be mentioned. In the present invention, any type of device may be used.
[0028]
Moreover, in the electro-optical converter 110, a screen can be formed like the display screen of information processing apparatus, for example. Of course, a moving image can also be displayed.
[0029]
The optical system 120 includes a lens system 121 in the present embodiment. The lens system 121 enlarges the image formed by the electro-optical converter 110. Specifically, a virtual image is formed. By forming the virtual image on the retina by the user's naked eye, for example, it is possible to display the user as if viewing the image over the entire field of view.
[0030]
The lens barrel 130 maintains a constant distance between the lens housing part 131 that houses the lens system 121 described above, the converter housing part 132 that houses the electro-optical converter 110, and the electro-optical converter 110, and And a light shielding portion 133 that blocks external light from entering. The lens barrel 130 is made of a light shielding material.
[0031]
The case 140 is made of, for example, light shielding plastic. An opening 142 is provided on the surface of the case 140 facing the user U. The lens system 121 is accommodated in the opening 142. In addition, one end of the case 140 serves as a connecting portion with the image output support arm 320.
[0032]
As shown in FIGS. 1 and 2, the detection sensor 180a is installed on the surface of the image output unit 100 facing the user U, and the detection area is expected to be present when the user U is worn on the head. It is a space. The output of the detection sensor 180a is sent to the state detection device 855 (see FIG. 8) of the drive unit D via the cable 800.
[0033]
As the detection sensor, for example, a distance sensor using an active autofocus principle using an infrared LED as a light emitting element and a PSD element as a light receiving sensor can be used.
[0034]
The detection sensor 180a may be a contact sensor or an proximity sensor.
[0035]
The sound output unit 200 converts the sound output signal into sound. In the present embodiment, a left sound output unit 200L and a right sound output unit 200R are provided.
[0036]
The sound output unit 200 can be a product that is normally commercialized as a headphone. As will be described later, the sound output units 200L and 200R are urged by the support unit 300 in directions close to each other. In addition, in this embodiment, the sound output unit 200 functions as a contact part to the ear when the HMD is mounted on the head 1 of the user U together with the support unit 300 described later.
[0037]
In the present embodiment, a connection portion (not shown) for connecting the cable 800 and the internal wiring is provided on the sound output portion 200L side.
[0038]
As shown in FIG. 1, the support unit 300 includes a band 310 that connects the left and right sound output units 200 </ b> L and 200 </ b> R, and an image output unit support arm 320 provided on one end side of the band 310. The image output unit support arm 320 is connected and fixed to one end of the band 310 and to the support arm support unit 340 adjacent to the sound output unit 200L in this embodiment.
[0039]
The band 310 has a curved shape so that the head 1 of the user U can be sandwiched from behind.
[0040]
The band 310 includes a main body 311, an image output unit support arm storage unit 312 that stores the image output unit support arm 320 in a retractable manner, and a support arm actuator 390 that drives the image output unit support arm 320. . The sound output units 200L and 200R are connected and fixed to both ends.
[0041]
Further, the band 310 is provided with wiring (not shown) connected to the cable 800 from the drive unit D. Some of these wirings lead to the image output unit 100, and the other part leads to the left and right acoustic output units 200L and 200R. Furthermore, there are also wirings that lead to the support arm actuator 390 and the detection sensor 180a. The wiring that communicates with the image output unit 100 is connected to the wiring provided in the image output unit support arm 320.
[0042]
In the present embodiment, the image output unit support arm housing unit 312 is provided with an opening 312b adjacent to the sound output unit 200L. The image output unit support arm 320 can appear and disappear from the opening 312b.
[0043]
As shown in FIG. 2A, the image output unit support arm housing unit 312 is provided with a support arm actuator 390.
[0044]
FIG. 2B is a cross-sectional view of a cross-section AA ′ of a support arm actuator 390 (described later) in which the position of the image output unit 100 is variable. As shown in FIG. 2B, the support arm actuator 390 includes a motor 391, a motor shaft 392, and a roller 393 provided on the motor shaft 392 and simultaneously rotating coaxially with the motor shaft 392. The side surface of the roller 393 is in contact with one side surface of the image output unit support arm 320 with sufficient frictional force. Therefore, in response to the rotation of the roller 393, the image output unit support arm 320 can move in the image output unit support arm housing unit 312 and can appear and disappear from the opening 312b.
[0045]
Further, the support arm actuator 390 is controlled by a support arm control device 859 provided in the drive unit D. As the support arm actuator 390, a motor (for example, a pulse motor) that can realize an angular velocity according to a command from the control device 859 may be used.
[0046]
Further, by using a pulse motor or the like, the feed amount of the support arm 320 can be set finely, and therefore the position of the image output unit 100 can be changed finely.
[0047]
Note that a stopper (not shown) is provided in the opening 312b. Thereby, when the image output unit support arm 320 is pulled out, the image output unit support arm 320 does not fall off, and the contact between the side surface of the roller 393 and the one side surface of the image output unit support arm 320 can be always maintained. .
[0048]
The image output unit support arm housing unit 312 is provided with a guide rail (not shown) for smoothly moving the image output unit support arm 320 in and out. As a result, the image output unit support arm 320 slides smoothly.
[0049]
Therefore, when the image output unit support arm 320 is made usable, or when the position of the image output unit 100 is changed in accordance with the detection result of the detection sensor 180a, the appearance operation performed by the power of the motor 391 is easy. It becomes.
(Drive unit, etc.)
Each member mounted on the head of the HMD of this embodiment is connected via a cable 800 and a drive unit D that outputs an image display signal, an acoustic output signal, and a control signal for the support arm actuator 390. It works.
[0050]
As shown in FIG. 8, in order to send an image display signal to the image output unit 100, the drive unit D sends an image output signal processing device 851 for processing the image display signal and an acoustic output signal to the acoustic output unit 200. Sound output signal processing device 852, storage device 853, central control device 854 that manages the entire drive unit, support arm actuator control device 859 that controls support arm actuator 390, power on / off and power saving mode control A power supply control circuit 856 and a battery 857. Moreover, it has the state detection apparatus 855 which receives a detection result from the detection sensor 180a. In addition, an input / output interface 858 for exchanging information and signals with each member mounted on the head of the HMD is provided. In addition, it has a main switch SW for turning on / off the power. Further, a connector CN for connecting a plug 810 of a cable 800 for transmitting / receiving a signal to / from the HMD is provided. A rechargeable battery 857 is prepared as a power source.
[0051]
The connector CN has a multi-pin structure for connecting an image output signal, an acoustic output signal, a dimming control signal, an optical sensor detection signal, and the like. Further, the shape of the connector is not limited to a circular cross section. It may be a rectangular shape and pins may be arranged in a single inline, dual inline or the like. In addition, when each signal is transmitted by a packet or the like, any pin that can support a high frequency may be used. In that case, various signals are sent as data according to a certain communication protocol. In this case, a communication control device is further provided.
[0052]
In addition to the program, the storage device 853 stores image information, sound information, and the like that are the basis for generating the image display signal and the sound output signal. As the storage device 853, for example, a hard disk device is used. Of course, it is not limited to this. Other storage media can also be used.
[0053]
The state detection device 855 calculates the distance between the detection sensor 180a and the object based on the detection result sent from the detection sensor 180a, and sends the result to the central control device 854.
The configuration of the HMD to which this embodiment is applied has been described above.
[0054]
Next, the operation of the HMD configured as described above will be described.
[0055]
In a situation where the user U is using the HMD of this embodiment, the HMD is mounted on the head 1, and the image output unit 100 protrudes from the support unit 300 and is fixed in front of the eyes. Here, a case where the distance between the user U and the image output unit 100 is in contact with each other for some reason or close enough to contact is considered.
[0056]
First, the detection sensor 180a acquires information related to the position with the user U, and transmits the result to the state detection device 855 of the drive unit D via the cable 800 and the input / output interface 858.
[0057]
The state detection device 855 estimates the positional relationship between the detection sensor 180a and the object from the information from the detection sensor 180a, and sends the result to the central control device 854.
[0058]
The central controller 854 determines whether or not the estimated positional relationship is closer to a predetermined safe distance where the detection sensor 180a and the object do not contact or approach each other. If the central controller 854 determines that contact is expected, the central controller 854 sends a command to the support arm controller 859 to move the image output unit 320.
[0059]
Based on this command, the support arm controller 859 sends a control signal to the support arm actuator 390 to control the support arm actuator 390.
[0060]
Based on the control signal, the support arm actuator 390 drives the image output unit support arm 320, and as a result, moves the image output unit 100.
[0061]
The operation of the head-up display to which this embodiment is applied has been described above.
[0062]
The following effects can be obtained by the head-up display to which the present embodiment is applied. By using this embodiment, it is possible to detect that a part of the user U's body (head or face) approaches or contacts the image output unit 100 and automatically move the image output unit.
(Second Embodiment)
FIG. 5 is a top view showing a schematic configuration of a head mounted display according to the second embodiment of the present invention. In the present embodiment, the configurations of the image output unit support arm 320 and the support arm movable unit 390 have structures different from those of the first embodiment. However, other structures are the same as those in the first embodiment. Therefore, in order to avoid redundant description, here, the description will focus on the differences from the first embodiment. The same code | symbol is assigned with respect to the component which is common in 1st Embodiment.
[0063]
The image output unit support arm 320 includes a first support arm 320a, a second support arm 320b, and a support arm that rotatably connects the first support arm 320a and the second support arm 320b. A movable portion 390a.
[0064]
The support arm movable portion 390 a includes a vertical drive motor 394, a vertical drive motor shaft 395, and a sensor 400.
[0065]
The vertical drive motor 394 is controlled by the vertical drive motor controller in the support arm control device 859 of the drive unit D (see FIG. 6).
[0066]
The vertical drive motor shaft 395 is a rotation shaft of the support arm movable portion 390a. Therefore, a direct drive motor that directly drives the rotation shaft (vertical drive motor shaft 395) may be used as the motor 394. Note that the vertical drive motor 394 may be a stepping motor. In addition, a sensor (not shown) is provided on the motor shaft 395 in the vertical movement, and detects that the rotation angle of the motor rotation shaft 395 is maximized. Therefore, it is possible to detect that the evacuation action has ended in front of the eyes in a substantially vertical direction. The sensor 400 (not shown) is installed on the vertical drive motor shaft 395.
[0067]
This sensor is also connected to the state detection device 855 of the drive unit D, and transmits the detection result to the state detection device 855.
[0068]
The rotation direction of the second support arm 320b relative to the first support arm 320a is a double-headed arrow in FIG. 5B with the direction of the vertical drive motor shaft 395 (the arrow A in FIG. 5C) as the rotation axis. Direction B.
[0069]
The image output unit fine movement unit 396 includes a left / right drive motor 397 and a sensor 400 that detects a drive amount of the left / right drive motor.
[0070]
The left and right drive motor 397 moves the image output unit 100 in the direction of a double-headed arrow C in FIG. 5A via the image output unit connection unit 190 slidably connected to the image output unit fine movement unit 396. As the left / right drive motor 397, for example, a linear drive ultrasonic motor may be used.
[0071]
The sensor (not shown) is a sensor that measures the position of the end of the image output unit connection unit 190, and the end of the image output unit connection unit 190 slides into the image output unit fine movement unit 396 and stops. It is a sensor that detects that the saving operation to the left side has ended.
[0072]
The sensor 400 is connected to the state detection device 855 of the drive unit D and transmits the detection result to the state detection device 855.
[0073]
The left / right drive motor controller in the support arm actuator controller 859 of the drive unit D is connected to the left / right drive motor 397 and controls the left / right drive motor 397 (see FIG. 6).
[0074]
The drive unit D stores the control data of the vertical drive motor controller and the left / right drive motor controller in the support arm actuator controller 859 in the storage device 853.
[0075]
Therefore, the image output unit 100 includes the vertical movement by the support arm movable unit 390a (exactly, drawing an arc around the vertical drive motor shaft 395) and the horizontal movement by the image output unit fine movement unit 396. Can move with 2 degrees of freedom.
[0076]
The image output unit 100 has a camera 181. The camera 181 is directed in substantially the same direction as the opening direction of the image output unit 100. The camera 181 images the face and head and stores the information in the storage device 853 of the drive unit D.
[0077]
The power supply control circuit 856 in the drive unit D includes the following delay circuit. The power supply control circuit 856 is interlocked with a timer provided in the central controller 854 and stops the vertical drive motor 394 and the left / right drive motor 397 for a predetermined time according to the detection result of each sensor. Thereafter, the power is turned on, and the support arm actuator controller 859 activates and controls the vertical drive motor 394 and the left and right drive motor 397.
[0078]
The configuration of the second embodiment has been described above.
[0079]
Next, the operation of the second embodiment will be described.
[0080]
The difference in operation between the present embodiment and the first embodiment is that the image output unit 100 performs a return operation to return to the position taken immediately before the save operation when a predetermined time has passed after the save operation. That is. Therefore, the following description will focus on the return operation.
[0081]
In the present embodiment, the return operation can be taken based on two types of information.
[0082]
The first information is control signals for the vertical drive motor 394 and the left / right drive motor 397 used during the saving.
[0083]
In the save operation of the present embodiment, the image processing unit 100 moves substantially vertically (in the direction of the double-headed arrow B in FIG. 5B) by the vertical motor 394 and substantially horizontal (see FIG. A two-degree-of-freedom evacuation operation combining the movement of A) in the direction of the double arrow C) can be taken.
[0084]
The control signals of the vertical drive motor 394 and the left / right drive motor 397 during the save operation are stored in the storage device 853 in the drive unit D.
[0085]
Therefore, in order to return the image output unit 100 from the retracted position to the position immediately before starting the saving, the control signals for saving the vertical drive motor 394 and the left and right drive motor 397 stored in the storage device 853 are used.
[0086]
The specific return operation is as follows.
[0087]
First, the sensors installed in the vertical drive motor 394 and the left / right drive motor 397 send a signal to the state detection device 855 of the drive unit D, and the central control device 854 determines that the saving operation has ended. Next, the delay function of the drive unit D works, and after a predetermined time, the drive unit D drives the vertical drive motor 394 and the left / right drive motor 397.
[0088]
The drive unit D drives the vertical drive motor 394 and the left and right drive motor 397 in the opposite direction to the save direction based on the control signal at the save time, and the image output unit 100 has the same amount in the opposite direction to the save operation. Just move. As a result, the image output unit 100 returns to the position immediately before the save operation.
[0089]
For example, stepping motors may be used for the vertical drive motor 394 and the left / right drive motor 397. In that case, the number of pulses used in the save operation is stored in the storage device 853, and in the return operation, the number of used pulses is read from the storage device 853. The vertical drive motor 394 and the left / right drive motor 397 are driven in the opposite direction to the return operation by the number of read pulses, and the image output unit 100 is moved by the same amount in the opposite direction to the save operation. As a result, the image output unit 100 returns to the position immediately before the save operation.
[0090]
The example in which the return operation is performed using the control signals of the vertical drive motor 394 and the left / right drive motor 397 used at the time of saving has been described above.
[0091]
Of course, the trigger for the return operation may be a button operation by the user instead of the timer. In this case, a timer circuit or the like is not necessary, and the apparatus can be simplified.
[0092]
The other of the two types of information that can be used during the return operation is the shape information of the user's U eye and its vicinity. An example of storing the movement start position using this form information and performing a return operation will be described with reference to FIGS.
[0093]
In this example, first, the camera 181 is provided in the image output unit 100 (see FIG. 5), and an image of the eye part of the user U is acquired immediately before the saving. Next, the same eye image is acquired after the return operation. Then, both images are compared after image processing, and the image output unit 100 is moved until both the processed images match within a predetermined range.
[0094]
FIG. 6 shows an outline of the processing.
[0095]
Immediately before the save operation, the camera 181 takes an image of the eye and sends the image before the save to the frame memory 2 (step 1). The frame memory 2 holds an image before saving.
[0096]
Immediately after the return operation, the camera 181 takes an image of the eye and sends the returned image to the frame memory 1 (step 2). The frame memory 1 holds the restored image.
[0097]
Next, the comparison circuit of the state detection device 855 acquires the restored image from the frame memory 1 and the unsaved image from the frame memory 2, and performs binarization processing (described later) on each (step 3). .
[0098]
Further, the comparison circuit detects the center of gravity of the image (described later) from each binarized image (step 4).
[0099]
The comparison circuit acquires a movement vector (described later) indicating the difference between the centroid positions from the centroids of the two images (step 5).
[0100]
The value of the movement vector is sent to the left and right drive motor controller and the vertical drive motor controller (steps 6 and 7).
[0101]
The left / right drive motor controller and the up / down drive motor controller send signals for controlling the left / right drive motor and the up / down drive motor controller to the left / right drive motor and the up / down drive motor controller so that the distance between the two centers of gravity approaches each other based on the movement vector (Steps 8 and 9).
[0102]
As a result, the image output unit 100 moves, and the image output unit 100 can be returned to the position immediately before the saving by the return operation.
[0103]
FIG. 7 briefly shows the above image processing.
[0104]
A-1 and B-1 in FIG. 7 are normal images taken by the camera 181.
[0105]
The comparison circuit performs binarization processing on both the images (see A-2 and B-2). This process is a process for extracting features of the image (the eye part of the user U). First, the luminance of each pixel of the image is calculated, and an appropriate threshold value (provided from the luminance distribution of the entire image is set. Then, two pixel values (for example, 1 And 0 (black and white)) By doing so, the image becomes an image having only two pixel values, and the features of the image are extracted.
[0106]
Next, the center of gravity is detected from each of the binarized two images (FIGS. 7A-3 and B-3). This center of gravity uses the concept of the so-called center of mass of a rigid body in an image, and is obtained by replacing the mass at each mass point with the pixel value at each pixel. Therefore, it can be obtained by a known simple calculation formula.
[0107]
Further, the comparison circuit calculates a movement vector (difference vector) from the barycentric positions of the two images. Then, the movement vector is projected onto two orthogonal components to determine two component vectors.
[0108]
The second embodiment has been described above.
[0109]
The effect of the second embodiment is that, after the HMD detects an obstacle and the image output unit 100 has withdrawn, the image output unit 100 automatically returns to the position before being saved, and the use can be resumed.
[0110]
The present invention is not limited to the above embodiment. Many modifications are possible within the scope of the gist.
(Modification 1 of the first embodiment)
As a modification of the first embodiment, an HMD in which the detection sensor 180 is the detection sensor 180b will be described below. In this modification, most of the configuration and operation are the same as those in the first embodiment. Therefore, the configuration and operation will be described with a focus on differences from the first embodiment.
[0111]
The configuration different from the first embodiment is that the detection sensor 180 is a detection sensor 180b shown in FIG. The detection sensor 180 b is provided on a side surface that is approximately 180 ° from the opening direction of the image output unit 100. In the first embodiment, the detection sensor 180 a detects that a part of the body of the user U approaches the image output unit 100. On the other hand, in this modification, the detection sensor 180b can detect an obstacle approaching from the direction opposite to the user U (approaching the face portion of the user U) when viewed from the detection sensor 180b.
[0112]
Therefore, the operation different from that in the first embodiment is that the detection sensor 180b detects an obstacle approaching the face portion of the user U and moves the image output unit 100 according to the result.
[0113]
The effect is that the detection sensor 180b can detect an obstacle approaching the face part of the user U and automatically move the image output part 100.
[0114]
In order for the user to recognize an obstacle and take a retreat action after the image output unit 100 has moved, the distance for detecting the obstacle by the detection sensor 180b is preferably long to some extent. For example, if the length of the user's hand is used as a reference, the obstacle can be removed by hand. Moreover, if it is about the user's stride, it will be possible to save in one step of the user. The distance may be selected by the user.
(Modification 2 of the first embodiment)
As a modification of the first embodiment, an HMD in which the detection sensor 180 is the detection sensor 180c will be described below with reference to FIGS. 4A and 4B. In this modification, most of the configuration and operation are the same as those in the first embodiment. Therefore, the configuration and operation will be described with a focus on differences from the first embodiment.
[0115]
The configuration different from the first embodiment is that the detection sensor 180 is a detection sensor 180c shown in FIG. The detection sensor 180c is directed toward a save path (shaded portion in FIG. 4A) when the image output unit 100 is retracted. This detection sensor 180c confirms whether there is an obstacle on the save route.
[0116]
As an operation of this modification, for example, consider a case where the drive unit D retracts the image output unit 100 to the support unit 300. If there is an obstacle on the saving route, the image output unit 100 may come into contact with the obstacle during the saving. Therefore, immediately before starting the save operation, the drive unit D checks the output of the detection sensor 180c and checks the obstacle in the distance measurement space including the save path. If there is an obstacle, the drive unit D sends a control signal that does not move the image output unit support arm 320 to the vertical drive motor 394. If there is no obstacle, the drive unit D controls the vertical drive motor 394 to retract the image output unit 100 so as to be stored in the support arm storage unit 312. If an obstacle appears during the save operation, the save may be interrupted there.
[0117]
With this modification, it is possible to reduce the possibility that the image output unit 100 contacts an obstacle while the image output unit 100 is retracted.
[0118]
【The invention's effect】
It is possible to provide a head mounted display capable of detecting the approach or contact of an object to the image output unit and retracting the image output unit.
[Brief description of the drawings]
FIG. 1 is a perspective view showing an appearance of a head mounted display according to a first embodiment.
FIGS. 2A and 2B are a cross-sectional view of a head mount display according to the first embodiment and two aspects from the top surface thereof. FIGS.
FIG. 3 is a partially broken plan view showing a configuration of an image output unit used in the first embodiment.
4 is a plan view showing a structure of a head mounted display according to a third modification of the first embodiment of the present invention. FIG.
FIG. 5 is a partially broken plan view and an external perspective view of a head mounted display according to a second embodiment.
FIG. 6 is a flowchart of image processing used in the second embodiment.
FIG. 7 is an explanatory diagram showing image processing used in the second embodiment.
FIG. 8 is a block diagram showing components of an HMD drive unit applicable in each embodiment.
[Explanation of symbols]
H ... Head Mount Display (HMD)
D ... Drive unit, CN ... Connector, SW ... Power switch,
U ... user, 1 ... head,
100: Image output unit, 110: Electric-optical converter,
120 ... optical system, 121 ... lens system,
DESCRIPTION OF SYMBOLS 130 ... Lens tube, 131 ... Lens accommodating part, 132 ... Converter accommodating part, 133 ... Light-shielding part,
140 ... case, 141 ... cover plate, 142 ... opening, 143 ... connecting portion,
150 ... display screen, 151 ... off delay setting window, 152 ... off target selection window, 159 ... arrow icon,
180 ... distance sensor, 181 ... camera, 190 ... image output unit connection unit,
200 (200L, 200R) ... acoustic output unit, 210 ... acoustic transducer, 220 ... ear pad, 230 ... case, 231 ... opening, 232 ... edge, 233 ... connecting part, 240 ... hole,
300 ... support part,
310 ... Band, 311 (311a, 311b) ... Band body, 312 ... Image output unit support arm housing unit, 312a ... Bottom part, 312b ... Opening unit, 313 ... Rotating unit, 314 ... Rotating unit, 315 ... Sound output unit Support arm accommodating portion, 315b ... opening surface, 320 ... image output portion support arm, first support arm 320a, second support arm 320b,
330 ... Sound output part support arm, 332 ... Side part, 340 ... Support arm support part, 350 ... Turning part, 360 ... Biasing member, 380 ... Ball head,
390 ... support arm actuator, 390a ... support arm movable part, 391 ... motor, 392 ... motor shaft, 393 ... roller, 394 ... vertical drive motor, 395 ... vertical drive motor shaft, 396 ... image output part fine motion part, 397 ... left and right Drive motor,
400 ... sensor,
800 ... cable, 810 ... plug
851 ... Image signal processing device, 852 ... Sound output signal processing device, 853 ... Storage device, 854 ... Central control device, 855 ... Status detection device, 856 ... Power control circuit, 857 ... Battery, 858 ... Input / output interface, 859 ... Support arm drive control device

Claims

ユーザの頭部に装着されて画像表示を行うヘッドマウントディスプレイにおいて、
画像を表示する画像出力部と、
前記画像出力部を、前記頭部の装着時に前記ユーザの眼前に位置することができる第１の位置と前記ユーザの眼前から待避することができる第２の位置と間で移動可能に支持すると共に、ユーザの頭部に装着するための支持部と、
前記画像出力部を移動させるためのアクチュエータと、
前記アクチュエータの起動トリガーとして用いるためのセンサと、を備え、
前記センサは、特定の範囲にある物体を検知することを特徴とするヘッドマウントディスプレイ。In a head-mounted display that is mounted on the user's head and displays an image,
An image output unit for displaying an image;
The image output unit is movably supported between a first position where the image output unit can be positioned in front of the user's eyes and a second position where the image output unit can be retracted from the user's eyes when the head is worn. A support for mounting on the user's head;
An actuator for moving the image output unit;
A sensor for use as a start trigger of the actuator,
The head-mounted display, wherein the sensor detects an object in a specific range.

請求項１に記載のヘッドマウントディスプレイにおいて、
前記支持部は、前記画像出力部を支持する第１の部材と、該第１の部材を移動自在に支持する第２の部材とを有し、
前記アクチュエータは、前記第１の部材を第２の部材に対して移動させることで前記画像出力部を移動させることを特徴とするヘッドマウントディスプレイ。The head mounted display according to claim 1,
The support unit includes a first member that supports the image output unit, and a second member that supports the first member in a movable manner.
The actuator is configured to move the image output unit by moving the first member relative to a second member.

請求項２に記載のヘッドマウントディスプレイであって、
前記センサは、接触センサ、近接センサ或いは距離センサのうちの少なくとも一つであること
を特徴とする請求項１のヘッドマウントディスプレイ。The head mounted display according to claim 2,
The head mounted display according to claim 1, wherein the sensor is at least one of a contact sensor, a proximity sensor, and a distance sensor.

請求項３記載のヘッドマウントディスプレイであって、
前記センサが、前記画像出力部に装備されていること
を特徴とするヘッドマウントディスプレイ。The head mounted display according to claim 3,
A head-mounted display, wherein the sensor is provided in the image output unit.

請求項４記載のヘッドマウントディスプレイであって、
前記センサは、その検知域が前記頭部に装着される際、ユーザの存在が予想させれる空間であること
を特徴とするヘッドマウントディスプレイ。The head mounted display according to claim 4,
The head-mounted display, wherein the sensor is a space in which a detection area is expected to be present when a user wears the sensor.

請求項１〜４記載のヘッドマウントディスプレイであって、
前記センサは、その検知域がユーザの前方域であること
を特徴とするヘッドマウントディスプレイ。The head mounted display according to claim 1,
The head-mounted display, wherein the sensor has a detection area in front of the user.

請求項１〜４記載のヘッドマウントディスプレイであって、
前記センサは、その検知域が前記画像出力部が移動する際の移動経路であることを特徴とするヘッドマウントディスプレイ。The head mounted display according to claim 1,
The head-mounted display, wherein the sensor has a detection area as a movement path when the image output unit moves.

請求項１〜７の内いずれか一項に記載のヘッドマウントディスプレイであって、
前記センサが、その検知域に障害物が入ったことを検知すると、前記画像出力部が前記第２の位置に位置するように前記アクチュエータを制御する制御手段とを備えることを特徴とするヘッドマウントディスプレイ。The head mounted display according to any one of claims 1 to 7,
And a control means for controlling the actuator so that the image output unit is positioned at the second position when the sensor detects that an obstacle has entered the detection area. display.

請求項１〜７の内いずれか一項に記載のヘッドマウントディスプレイにおいて、
前記画像出力部が移動する際に、前記センサが、前記画像出力部が移動する際の移動経路に障害物検知すると、
前記アクチュエータの駆動を停止し、所定時間たった後、または次の指示が与えられた後前記アクチュエータを駆動させる制御を行なう制御手段を備えること
を特徴とするヘッドマウントディスプレイ。In the head mounted display as described in any one of Claims 1-7,
When the image output unit moves, when the sensor detects an obstacle on the movement path when the image output unit moves,
A head-mounted display comprising: control means for controlling the actuator to be driven after a predetermined time has elapsed or the next instruction has been given.

請求項８に記載のヘッドマウントディスプレイにおいて、
前記画像出力部の移動開始位置で示す情報を記憶する記憶手段と
前記制御手段は、前記画像出力部を前記第２の位置へ移動した後、所定時間後に、ないしは次の指示が与えられた後、前記センサでの前記障害物の検出に応じ、前記画像出力部を前記記憶手段で記憶された移動開始位置になるように、制御を行なうことを特徴とするヘッドマウントディスプレイ。The head mounted display according to claim 8,
The storage means for storing the information indicating the movement start position of the image output unit and the control means, after moving the image output part to the second position, after a predetermined time or after the next instruction is given A head-mounted display that controls the image output unit to be at the movement start position stored in the storage unit in response to detection of the obstacle by the sensor.

前記前方域が、ユーザの略手の届く範囲であることを特徴とする請求項６記載のヘッドマウントディスプレイ。The head-mounted display according to claim 6, wherein the front area is a range that can be reached by a user's hand.

前記前方域が、ユーザの前方略歩幅範囲であることを特徴とする請求項６記載のヘッドマウントディスプレイ。The head-mounted display according to claim 6, wherein the front area is a front stride range in front of the user.

前記前方域が、ユーザ選択できることを特徴とする請求項６記載のヘッドマウントディスプレイ。The head-mounted display according to claim 6, wherein the front area is user-selectable.