JP2016219897A - 表示装置、表示装置の制御方法、及び、プログラム - Google Patents
表示装置、表示装置の制御方法、及び、プログラム Download PDFInfo
- Publication number
- JP2016219897A JP2016219897A JP2015099600A JP2015099600A JP2016219897A JP 2016219897 A JP2016219897 A JP 2016219897A JP 2015099600 A JP2015099600 A JP 2015099600A JP 2015099600 A JP2015099600 A JP 2015099600A JP 2016219897 A JP2016219897 A JP 2016219897A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- display
- imaging
- image
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】撮像部を備え、撮像部の動きを検出することが可能な表示装置、表示装置の制御方法、及び、プログラムを提供する。【解決手段】表示装置を構成する虚像表示装置1は、外景を視認可能に、画像を表示する表示部3を備える。虚像表示装置1は、表示部3を通して視認される範囲に重なる撮像範囲を撮像する撮像部23を備える。虚像表示装置1は、少なくとも1つの可動部を有し、撮像部23を表示部3に連結する連結部を備え、制御部により、撮像部23の撮像画像に基づいて撮像部23と表示部3との相対位置関係を検出する。【選択図】図2
Description
本発明は、表示装置、表示装置の制御方法、及び、プログラムに関する。
従来、使用者(ユーザー)の頭部に装着されるHMD(Head Mounted Display)等の表示装置が知られている(例えば、特許文献1参照)。この種の表示装置において、ビデオカメラ等の撮像部を備え、撮影画像を表示に利用するものがあった。例えば、特許文献1記載のHMDは、撮像部をHMDに対して上下方向に動かすスライダーを具備する。
特許文献1に記載の構成ではユーザーがビデオカメラを動かして、表示するCGの視点を変化させる。これに対し、撮像部が動いても表示画像を変化させないようにする場合、撮像部の動きを検出する必要がある。撮像部の動きを検出する方法として、特許文献1には、撮像部からの映像を画像解析して位置姿勢を求める等の記載があるが、単に画像を解析するだけでは正確な検出はできない。
本発明は、上記課題に鑑みてなされたものであり、撮像部を備え、撮像部の動きを検出することが可能な表示装置、表示装置の制御方法、及び、プログラムを提供することを目的とする。
本発明は、上記課題に鑑みてなされたものであり、撮像部を備え、撮像部の動きを検出することが可能な表示装置、表示装置の制御方法、及び、プログラムを提供することを目的とする。
上記課題を解決するため、本発明の表示装置は、外景を視認可能に、画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、少なくとも1つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出する制御部と、を備えることを特徴とする。
本発明によれば、撮像部が動かされた場合であっても、撮像部と表示部とを撮像可能な環境において、撮像画像に基づき、移動後の撮像部の位置を検出できる。
本発明によれば、撮像部が動かされた場合であっても、撮像部と表示部とを撮像可能な環境において、撮像画像に基づき、移動後の撮像部の位置を検出できる。
また、本発明は、上記表示装置において、前記制御部は、前記撮像画像における前記撮像部の位置と前記表示部の位置とに基づいて、前記撮像部と前記表示部との相対位置関係を検出すること、を特徴とする。
本発明によれば、撮像部と表示部とが撮像画像に写るように撮像を行うことで、容易に撮像部の位置を検出できる。
本発明によれば、撮像部と表示部とが撮像画像に写るように撮像を行うことで、容易に撮像部の位置を検出できる。
また、本発明は、上記表示装置において、使用者が装着する装着型表示装置として構成され、前記制御部によって前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出する位置検出処理が行われる際に、前記撮像部で鏡を撮像するよう前記使用者に案内を行うこと、を特徴とする。
本発明によれば、使用者に対して、撮像部の位置を検出するために必要な動作を案内することで、使用者に複雑な操作を行わせることなく、容易に撮像部の位置を検出できる。
本発明によれば、使用者に対して、撮像部の位置を検出するために必要な動作を案内することで、使用者に複雑な操作を行わせることなく、容易に撮像部の位置を検出できる。
また、本発明は、上記表示装置において、前記制御部は、前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出し、検出した相対位置関係に基づき、前記表示部における画像の表示位置の調整に係る調整データを生成すること、を特徴とする。
本発明によれば、撮像部の変位に対応して、画像の表示位置等を制御できる。
本発明によれば、撮像部の変位に対応して、画像の表示位置等を制御できる。
また、上記課題を解決するため、本発明の表示装置の制御方法は、上記表示装置において、外景を視認可能に画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、少なくとも1つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、を有する表示装置を制御して、前記撮像部に撮像を実行させ、前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出すること、を特徴とする。
本発明によれば、撮像部が動かされた場合であっても、撮像部と表示部とを撮像可能な環境において、撮像画像に基づき、移動後の撮像部の位置を検出できる。
本発明によれば、撮像部が動かされた場合であっても、撮像部と表示部とを撮像可能な環境において、撮像画像に基づき、移動後の撮像部の位置を検出できる。
また、上記課題を解決するため、本発明は、外景を視認可能に画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、少なくとも1つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、を有する表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、前記撮像部に撮像を実行させ、前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出する制御部として機能させるプログラムである。
本発明によれば、撮像部が動かされた場合であっても、撮像部と表示部とを撮像可能な環境において、撮像画像に基づき、移動後の撮像部の位置を検出できる。
本発明によれば、撮像部が動かされた場合であっても、撮像部と表示部とを撮像可能な環境において、撮像画像に基づき、移動後の撮像部の位置を検出できる。
以下、本発明の一実施形態を、図面に基づいて説明する。
[虚像表示装置の概略構成]
図1は、本実施形態に係るHMD(Head Mounted Display:頭部装着型表示装置)100の構成を示す斜視図であり、虚像表示装置1が使用者に装着された状態を示す。また、図2及び図3は、虚像表示装置1を正面側及び背面側から見た斜視図である。換言すると、図2は、虚像表示装置1を使用者側とは反対側から見た斜視図であり、図3は、使用者側から見た斜視図である。
[虚像表示装置の概略構成]
図1は、本実施形態に係るHMD(Head Mounted Display:頭部装着型表示装置)100の構成を示す斜視図であり、虚像表示装置1が使用者に装着された状態を示す。また、図2及び図3は、虚像表示装置1を正面側及び背面側から見た斜視図である。換言すると、図2は、虚像表示装置1を使用者側とは反対側から見た斜視図であり、図3は、使用者側から見た斜視図である。
HMD100(表示装置)は、使用者(観察者、ユーザー)USの頭部に装着された状態で使用者に虚像を視認させる虚像表示装置1と、虚像表示装置1を制御する制御装置300と、を備えている。制御装置300は、使用者がHMD100を操作するコントローラーとしても機能する。本明細書では、HMD100によって使用者が視認する虚像を便宜的に「表示画像」と呼ぶ。また、画像データに基づいて生成された画像光を虚像表示装置1が射出することを「画像を表示する」ともいう。
虚像表示装置1は、ケーブルCBで制御装置300に接続される。ケーブルCBは、制御装置300から虚像表示装置1へ電源を供給する電源ケーブル(図示略)、及び、虚像表示装置1と制御装置300とが各種データを送受信するデータ通信ケーブル(図示略)を内蔵する。
また、制御装置300には、ケーブルCBと分岐するオーディオケーブルCOが接続する。オーディオケーブルCOは、右イヤホン33及び左イヤホン34と、マイク63とが接続される。右イヤホン33及び左イヤホン34は、音声処理部187(図9)が出力する音声信号に基づき音声を出力する。
また、制御装置300には、ケーブルCBと分岐するオーディオケーブルCOが接続する。オーディオケーブルCOは、右イヤホン33及び左イヤホン34と、マイク63とが接続される。右イヤホン33及び左イヤホン34は、音声処理部187(図9)が出力する音声信号に基づき音声を出力する。
マイク63は、音声を集音して、音声信号を後述する音声処理部187(図9)に出力する。マイク63は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
ここで、虚像表示装置1が電池等の電源を有する場合には、虚像表示装置1と制御装置300とを無線通信により接続することも可能である。
ここで、虚像表示装置1が電池等の電源を有する場合には、虚像表示装置1と制御装置300とを無線通信により接続することも可能である。
虚像表示装置1は、詳しくは、観察者によって視認可能に虚像を表示するとともに、外光を透過させて外界(外景)を観察可能とするシースルー型の表示装置である。この虚像表示装置1は、図1〜図3に示すように、使用者の頭部又は頭部に装着されたヘルメット等に装着される本体部としてのヘッドバンド部2と、虚像を表示する表示部3と、ヘッドバンド部2に対して回動可能に取り付けられ、これらヘッドバンド部2及び表示部3を接続する一対のアーム部4と、表示部3をアーム部4に対して移動させる移動機構5(図6参照)とを備える。
なお、以下の説明において、Z方向は、虚像表示装置1を装着した使用者が正面を向いた場合の視方向であり、X方向及びY方向は、当該Z方向に直交し、かつ、互いに直交する方向である。これらのうち、X方向は、虚像表示装置1を装着した使用者から見て左から右に向かう方向であり、Y方向は、当該使用者から見て下から上に向う方向である。更に、Z方向側とは、Z方向における下流側(Z方向先端側)を指し、Z方向とは反対側とは、Z方向における上流側(Z方向基端側)を指す。他の方向も同様である。
[ヘッドバンド部の構成]
ヘッドバンド部2は、後述するアーム部4の一端が取り付けられるとともに、虚像表示装置1における機能の一部を制御するものである。
このヘッドバンド部2は、使用者USの頭部に沿う円弧状の外形を有し、図2に示すように、使用者USの頭部に沿って配置される本体ケース21と、当該ヘッドバンド部2を使用者USの頭部やヘルメット等の固定部位に固定する固定部としてのバンド22と、撮像部23と、制御基板24とを有する。なお、固定部位は、使用者USの頭部(詳しくは、眉及び耳を通る頭部の外周線より上側の部位)に応じた位置であり、頭部とヘッドバンド部2との間にヘルメット等が介在していてもよい。
制御基板24は、ケーブルCBにより制御装置300に接続される。制御基板24は、撮像部23及び撮像部23に付随する回路(図示略)、及び、9軸センサー238(図9)を実装する。
ヘッドバンド部2は、後述するアーム部4の一端が取り付けられるとともに、虚像表示装置1における機能の一部を制御するものである。
このヘッドバンド部2は、使用者USの頭部に沿う円弧状の外形を有し、図2に示すように、使用者USの頭部に沿って配置される本体ケース21と、当該ヘッドバンド部2を使用者USの頭部やヘルメット等の固定部位に固定する固定部としてのバンド22と、撮像部23と、制御基板24とを有する。なお、固定部位は、使用者USの頭部(詳しくは、眉及び耳を通る頭部の外周線より上側の部位)に応じた位置であり、頭部とヘッドバンド部2との間にヘルメット等が介在していてもよい。
制御基板24は、ケーブルCBにより制御装置300に接続される。制御基板24は、撮像部23及び撮像部23に付随する回路(図示略)、及び、9軸センサー238(図9)を実装する。
図4は、虚像表示装置1をY方向とは反対方向から見た平面図である。また、図5は、虚像表示装置1をX方向から見た側面図である。
本体ケース21は、図4に示すように、使用者US(図4における点線で輪郭を示す使用者US)の前額部に沿って配置され、頭部にバンド22によって固定される。この本体ケース21は、上記制御基板24(図2参照)やケーブルCB等を内部に収納し、かつ、撮像部23やアーム部4を支持する筐体である。
この本体ケース21は、使用者USの前額部及び側頭部の形状に沿う略半円形状(略U字状)の外形を有する。すなわち、本体ケース21において、使用者USの前額部から側頭部に対向する内面211は、Y方向側から見て、使用者USの頭部に沿って湾曲している。
また、図5に示すように、本体ケース21の円弧状の両端近傍には、それぞれのアーム部4の一端を回動可能に軸支する回動軸部25が設けられている。なお、後に詳述するが、各アーム部4における当該一端は、本体ケース21の内部に配置されている。
本体ケース21は、図4に示すように、使用者US(図4における点線で輪郭を示す使用者US)の前額部に沿って配置され、頭部にバンド22によって固定される。この本体ケース21は、上記制御基板24(図2参照)やケーブルCB等を内部に収納し、かつ、撮像部23やアーム部4を支持する筐体である。
この本体ケース21は、使用者USの前額部及び側頭部の形状に沿う略半円形状(略U字状)の外形を有する。すなわち、本体ケース21において、使用者USの前額部から側頭部に対向する内面211は、Y方向側から見て、使用者USの頭部に沿って湾曲している。
また、図5に示すように、本体ケース21の円弧状の両端近傍には、それぞれのアーム部4の一端を回動可能に軸支する回動軸部25が設けられている。なお、後に詳述するが、各アーム部4における当該一端は、本体ケース21の内部に配置されている。
バンド22は、当該本体ケース21を使用者USの頭部に固定する。このバンド22は、図4に示すように、本体ケース21の内面211に取り付けられるバンド本体221と、バンド本体221に取り付けられる帯部222とを有する。
バンド本体221は、図3及び図4に示すように、両端に帯部222を取り付ける環状部221Aを有する。
帯部222は、図4に示すように、バンド本体221の両端の環状部221Aに取り付けられ、バンド本体221とともに環状のバンド22を構成する。帯部222は、例えば、伸縮性を有する帯状の部材で形成される。この帯部222が、バンド本体221側に向かって使用者USの頭部やヘルメット等の装着対象を押圧することにより、バンド22ひいてはヘッドバンド部2が、使用者USの頭部に固定される。
バンド本体221は、図3及び図4に示すように、両端に帯部222を取り付ける環状部221Aを有する。
帯部222は、図4に示すように、バンド本体221の両端の環状部221Aに取り付けられ、バンド本体221とともに環状のバンド22を構成する。帯部222は、例えば、伸縮性を有する帯状の部材で形成される。この帯部222が、バンド本体221側に向かって使用者USの頭部やヘルメット等の装着対象を押圧することにより、バンド22ひいてはヘッドバンド部2が、使用者USの頭部に固定される。
撮像部23は、図2及び図4に示すように、本体ケース21において上記内面211とは反対側に位置する外面212における略中央に配置されており、使用者USの前方、すなわち、当該使用者USの視野における一部の領域を撮像する。この撮像部23は、図2に示すように、ステレオカメラ231と、外光の照度を検出する照度センサー232と、LED233と、これらを内部に収納するモジュール筐体234とを備える。なお、LED233は、例えば、虚像表示装置1の駆動時に点灯され、非駆動時に消灯されるパワーインジケーターとして機能する。
モジュール筐体234は、図2に示すように、Z方向側の面に、透光性部材によって覆われた窓部235を有し、上記ステレオカメラ231は、当該窓部235を介して外部を撮像する他、上記照度センサー232は、窓部235を介して入射される外光の照度を検出する。
また、モジュール筐体234のX方向に交差する側面234Aには、当該側面234AからX方向に沿って突出する回動軸部236が設けられている。詳述すると、回動軸部236は、側面234AにおけるY方向とは反対側の位置に突設されている。この回動軸部236は、モジュール筐体234が配置される本体ケース21の凹部213に設けられた軸受け部(図示省略)によって支持されている。これら回動軸部236及び軸受け部等により、本発明の調整機構が構成される。なお、図2では、2つの側面234AのX方向の基端側における回動軸部236のみを図示しているが、X方向の先端側の側面の対応する位置にも回動軸部が設けられている。
このようなモジュール筐体234は、回動軸部236によって規定されるX方向に平行な回動軸R1を中心として所定範囲内にて回動可能である。このため、本体ケース21に対するモジュール筐体234の姿勢を調整することにより、ステレオカメラ231の撮像方向(すなわち、撮像部23による撮像方向)を調整できる。
また、モジュール筐体234のX方向に交差する側面234Aには、当該側面234AからX方向に沿って突出する回動軸部236が設けられている。詳述すると、回動軸部236は、側面234AにおけるY方向とは反対側の位置に突設されている。この回動軸部236は、モジュール筐体234が配置される本体ケース21の凹部213に設けられた軸受け部(図示省略)によって支持されている。これら回動軸部236及び軸受け部等により、本発明の調整機構が構成される。なお、図2では、2つの側面234AのX方向の基端側における回動軸部236のみを図示しているが、X方向の先端側の側面の対応する位置にも回動軸部が設けられている。
このようなモジュール筐体234は、回動軸部236によって規定されるX方向に平行な回動軸R1を中心として所定範囲内にて回動可能である。このため、本体ケース21に対するモジュール筐体234の姿勢を調整することにより、ステレオカメラ231の撮像方向(すなわち、撮像部23による撮像方向)を調整できる。
[表示部の構成]
表示部3は、入力される画像情報に応じた画像を形成して、当該画像を虚像として使用者に視認させる。この表示部3は、使用者の右眼と左眼のそれぞれに対して配置される一対の光学装置31(左眼用及び右眼用光学装置を、それぞれ31L,31Rとする)と、一対の光学装置31を保持する略U字状のフレーム部32とを備える。一対の光学装置31のうちの左眼用光学装置31Lは、ハーフミラーを含む導光部材313Lを有し、右眼用光学装置31Rは、ハーフミラーを含む導光部材313Rを有する。なお、左眼用光学装置31Lと、右眼用光学装置31Rとは、互いに鏡面対称の関係を有する。
表示部3は、入力される画像情報に応じた画像を形成して、当該画像を虚像として使用者に視認させる。この表示部3は、使用者の右眼と左眼のそれぞれに対して配置される一対の光学装置31(左眼用及び右眼用光学装置を、それぞれ31L,31Rとする)と、一対の光学装置31を保持する略U字状のフレーム部32とを備える。一対の光学装置31のうちの左眼用光学装置31Lは、ハーフミラーを含む導光部材313Lを有し、右眼用光学装置31Rは、ハーフミラーを含む導光部材313Rを有する。なお、左眼用光学装置31Lと、右眼用光学装置31Rとは、互いに鏡面対称の関係を有する。
図6は、カバー部材311の一部を除き、光学装置31の内部を示す図である。
一対の光学装置31のそれぞれは、カバー部材311と、光学ユニット312(図6参照)と、導光部材313(図3参照)とを有する。
カバー部材311は、光学ユニット312を内部に収納する筐体である。
光学ユニット312は、カバー部材311の内部に配置されており、後述する画像生成部20が生成する画像光を、対応する導光部材313に出射する。
一対の光学装置31のそれぞれは、カバー部材311と、光学ユニット312(図6参照)と、導光部材313(図3参照)とを有する。
カバー部材311は、光学ユニット312を内部に収納する筐体である。
光学ユニット312は、カバー部材311の内部に配置されており、後述する画像生成部20が生成する画像光を、対応する導光部材313に出射する。
導光部材313(右眼用及び左眼用の導光部材を、それぞれ313R,313Lとする)は、使用者USの眼に応じた位置に配置される。この導光部材313は、内部に、ハーフミラーの形態を有する半透過層(半反射層)が形成されており、当該半透過層を介して外界を観察可能に構成されている他、上記光学ユニット312から出射されて当該半透過層にて反射された画像光が眼に入射されることにより虚像が視認される。このような導光部材313は、可視光領域で高い光透過性を示す樹脂(例えばシクロオレフィンポリマー)により主に形成される。
光学装置31R,31Lには、光学ユニット312に画像光を送出する画像生成部20R、20Lがそれぞれ配置される。画像生成部20R、20Lには、画像情報(画像信号)を出力するケーブルCRが接続されており、当該ケーブルCRは、図3及び図6に示すように、カバー部材311外に延出した後、図5に示すように、アーム部4内に挿入される。画像生成部20(画像生成部20R、20L)は、図9を参照して後述するように、制御装置300(図1)の制御により発光する光源としてのバックライト、及び、制御装置300が出力する画像信号に基づき画像光を生成するLCD等を備える。画像生成部20が生成する画像光は光学ユニット312に入射され、光学ユニット312から導光部材313を経て使用者の眼球に照射される。
フレーム部32は、Y方向の先端側において、一対の光学装置31を保持する。このフレーム部32のX方向の基端側には、左眼用光学装置31Lが固定され、X方向の先端側には、右眼用光学装置31Rが固定される。
[アーム部の構成]
一対のアーム部4は、図2及び図3に示したように、ヘッドバンド部2の本体ケース21と、表示部3の各カバー部材311とを接続するとともに、当該本体ケース21に対して回動可能に構成されている。これらアーム部4における本体ケース21側の端部は、図5に示すように、当該本体ケース21の下面214(Y方向とは反対側の面214)に形成された開口部214Aを介して、本体ケース21の内に回動自在に支持されている。これらアーム部4は、それぞれ、第1端部41及び第2端部42を有する。
一対のアーム部4は、図2及び図3に示したように、ヘッドバンド部2の本体ケース21と、表示部3の各カバー部材311とを接続するとともに、当該本体ケース21に対して回動可能に構成されている。これらアーム部4における本体ケース21側の端部は、図5に示すように、当該本体ケース21の下面214(Y方向とは反対側の面214)に形成された開口部214Aを介して、本体ケース21の内に回動自在に支持されている。これらアーム部4は、それぞれ、第1端部41及び第2端部42を有する。
第1端部41は、アーム部4においてZ方向とは反対側の端部であり、X方向側から見た場合に、略円形状に形成されている。この第1端部41は、上記開口部214Aを挿通して、本体ケース21内にて回動軸部25によって軸支されている。このため、アーム部4は、当該第1端部41の軸支位置を通り、かつ、X方向に平行な回動軸R2を中心とする所定範囲で回動可能である。
第2端部42は、アーム部4においてZ方向側の端部であり、当該第2端部42には、後述する移動機構5を構成するスライド部材52が設けられている。このスライド部材52は、当該移動機構5を構成し、表示部3のカバー部材311内に配置されたガイドレール51と係合しており、これにより、第2端部42と表示部3とが接続される。
図7は、表示部3及びアーム部4が回動する様子を示す図である。図7では、図5に示す状態から、X軸に平行、すなわち視方向に略直交する回動軸R2を中心に時計回りにアーム部4が回転された場合を示す。
本実施形態では、図7に示すように、アーム部4は、表示部3及びアーム部4のいずれかがヘッドバンド部2と接触するまで、当該ヘッドバンド部2側に上記回動軸R2を中心として、図中に矢印RAで示す方向に回動可能である。一方、アーム部4は、開口部214AのZ方向とは反対側の端部と、アーム部4とが接触するまで、上記とは逆方向すなわち図中に矢印RBで示す方向に回動可能である。
本実施形態では、図7に示すように、アーム部4は、表示部3及びアーム部4のいずれかがヘッドバンド部2と接触するまで、当該ヘッドバンド部2側に上記回動軸R2を中心として、図中に矢印RAで示す方向に回動可能である。一方、アーム部4は、開口部214AのZ方向とは反対側の端部と、アーム部4とが接触するまで、上記とは逆方向すなわち図中に矢印RBで示す方向に回動可能である。
このようにアーム部4を回動させることにより、表示部3の位置や角度を調整でき、図7に示すように、虚像を視認しづらくなる位置、すなわち、外界(使用者USの周囲)を観察しやすい位置に当該表示部3を移動させることができる。また、使用者が、表示部3で表示される画像を視認しなくてよいとき等に、アーム部4を回動させて表示部3をRA方向に動かすことで、使用者の視界から表示部3を退避させることができる。
また、虚像表示装置1は、ヘッドバンド部2と表示部3とを別体とし、アーム部4により連結した構成を有する。この構成により、虚像表示装置1の荷重による使用者への負荷を軽減している。すなわち、虚像表示装置1は、ヘッドバンド部2により使用者の頭部に装着されるので、使用者は虚像表示装置1の荷重を頭部で支えればよく、使用者は鼻や耳で荷重を受け止めなくて良いので、負担感が軽い。このような構成でありながら、虚像表示装置1は、使用者の眼前に表示部3を位置させて、後述するAR(Augmented Reality:拡張現実)表示を行うことができる。また、ヘッドバンド部2は使用者の頭部に直接接触する必要はなく、例えば使用者が保護帽の上から虚像表示装置1を装着できる。
なお、上記表示部3からアーム部4内に挿入されたケーブルCR(図6参照)は、図5に示すように当該アーム部4内を通って、第1端部41から上記本体ケース21内に侵入する。そして、このケーブルCRは、上記本体ケース21内にて制御基板24から延出するケーブルCBとともに、図1〜図7に示すように、本体ケース21の一端(X方向とは反対側の端部)から、外部に延出する。
[移動機構の構成]
移動機構5は、表示部3とアーム部4とを接続するとともに、アーム部4に対して表示部3を、ヘッドバンド部2に接離する方向(すなわちY方向及びY方向とは反対方向)に移動可能に構成されている。この移動機構5は、図6に示すように、ガイドレール51及びスライド部材52を2組備える。
移動機構5は、表示部3とアーム部4とを接続するとともに、アーム部4に対して表示部3を、ヘッドバンド部2に接離する方向(すなわちY方向及びY方向とは反対方向)に移動可能に構成されている。この移動機構5は、図6に示すように、ガイドレール51及びスライド部材52を2組備える。
ガイドレール51は、上記第2端部42に設けられたスライド部材52のY方向及びY方向とは反対方向への移動を案内するものであり、それぞれのカバー部材311の内部に固定されている。このガイドレール51は、円柱状の部材であり、導光部材313から使用者の眼に向かう画像光の進行方向がZ方向に平行となる場合に、軸方向がY方向に沿うように配置されている。このようなガイドレール51の外周面には、スライド部材52の停止位置を決めるための周方向に沿う溝511が、軸方向に沿った複数位置に形成され、スライド部材52をガイドレール51に沿って段階的に移動させることができるように構成されている他、スライド部材52のスライド時にクリック感を生じさせている。
図8は、移動機構5によって表示部3が移動される様子を示す図である。なお、図8では、移動機構5による移動方向が、Y方向に沿うようにアーム部4が位置決めされている状態を図示している。
スライド部材52は、上記のように、各アーム部4の第2端部42におけるZ方向側の面から突設されている。このスライド部材52は、ガイドレール51の軸方向に沿って摺動可能に係合されている。これにより、図8に示すように、表示部3がY方向に移動され、ヘッドバンド部2と表示部3との距離を調整することができる。すなわち、表示部3は、矢印TAで示すようにY方向に沿って上昇する方向、及び、矢印TBで示すように、Y方向に沿って下降するように、動かすことができる。
スライド部材52は、上記のように、各アーム部4の第2端部42におけるZ方向側の面から突設されている。このスライド部材52は、ガイドレール51の軸方向に沿って摺動可能に係合されている。これにより、図8に示すように、表示部3がY方向に移動され、ヘッドバンド部2と表示部3との距離を調整することができる。すなわち、表示部3は、矢印TAで示すようにY方向に沿って上昇する方向、及び、矢印TBで示すように、Y方向に沿って下降するように、動かすことができる。
このように表示部3を上下にスライド可能に支持することにより、使用者は、例えば作業の状況に合わせて表示部3の表示画像の位置を自在に調整できる。例えば、AR表示により作業支援を行う場合、使用者は、手元を見ながら作業をする場合に表示部3をTB方向に下降させ、棚など上部の作業時には表示部3をTA方向に上昇させればよい。この場合、使用者が作業のために外部(手元や上方)を見やすいように、表示部3をスライドさせ、表示部3の位置を変更できる。表示部3を移動させる方向としては、理想的には、使用者の眼球の回転中心を通る軸の回りで、表示部3を回動させることが好ましいが、表示部3を眼の近くで上下(TA、TB方向)にスライドさせることで、理想的な回動に代えることができる。
また、上述のように、表示部3は、第1端部41のR2軸を中心として回動させることができる。このR2軸まわりの回動は、表示部3を使用者の視界から退避させる退避用の動作として有用であるが、回動により表示部3と使用者の眼球との間の距離が変化することから、R2軸まわりに表示部3を動かすと、移動量(回動角)が小さくても表示部3が見にくくなることがある。これに対し、移動機構5を利用して表示部3を上下にスライドさせる動作、及び、眼球の回転中心を通る軸を中心として表示部3を回動させる動作は、表示部3と眼との間の距離を一定にしたまま表示部3を変位させるので、視認性は良好に保たれる。
虚像表示装置1は、R2軸を中心として表示部3を回動させる機構と、移動機構5により表示部3を上下にスライドさせる機構との両方を具備することで、使用者の視界から表示部3を退避させることも、表示部3の表示を見る位置を変更することもできる。なお、眼球の回転中心を通る仮想軸を中心として表示部3を回動させる機構が採用され、当該構造において表示部3の回動範囲で表示部3が利用者の顔に抵触しないような構成(例えば長い回動半径、または小さい表示部3)が採用されてもよい。そのような機構によれば、適切に表示部3を退避させることと、適切に表示部3の表示を見る位置を変更することと、を一つの可動部で実現し得る。
虚像表示装置1は、R2軸を中心として表示部3を回動させる機構と、移動機構5により表示部3を上下にスライドさせる機構との両方を具備することで、使用者の視界から表示部3を退避させることも、表示部3の表示を見る位置を変更することもできる。なお、眼球の回転中心を通る仮想軸を中心として表示部3を回動させる機構が採用され、当該構造において表示部3の回動範囲で表示部3が利用者の顔に抵触しないような構成(例えば長い回動半径、または小さい表示部3)が採用されてもよい。そのような機構によれば、適切に表示部3を退避させることと、適切に表示部3の表示を見る位置を変更することと、を一つの可動部で実現し得る。
また、ヘッドバンド部2においては、回動軸R1を中心として撮像部23、図8に矢印RCで示す方向、及びその逆方向(矢印RD)に回動させることにより、ステレオカメラ231の撮像方向を動かすことができる。これにより、ステレオカメラ231の撮像範囲を上下に調整できる。
虚像表示装置1は、ヘッドバンド部2と表示部3とを、アーム部4を介してRA、RB方向の回動及びTA、TB方向のスライドが可能なように連結することで、撮像部23の撮像範囲と表示部3の位置との相対位置が変化する。この構成は、撮像部23をヘッドバンド部2に設けることで表示部3を軽量化できる点で有利である。表示部3を軽量化することで、表示部3を支える構造、例えば移動機構5、及び第1端部41の支持構造をシンプルかつ軽量な構成とすることができる。また、使用者の意図に応じて、使用者が弱い力で表示部3を動かすことができるという利点もある。
虚像表示装置1は、ヘッドバンド部2と表示部3とを、アーム部4を介してRA、RB方向の回動及びTA、TB方向のスライドが可能なように連結することで、撮像部23の撮像範囲と表示部3の位置との相対位置が変化する。この構成は、撮像部23をヘッドバンド部2に設けることで表示部3を軽量化できる点で有利である。表示部3を軽量化することで、表示部3を支える構造、例えば移動機構5、及び第1端部41の支持構造をシンプルかつ軽量な構成とすることができる。また、使用者の意図に応じて、使用者が弱い力で表示部3を動かすことができるという利点もある。
なお、スライド部材52は、図7に示すように、上記ガイドレール51が挿通する孔部521と、Y方向における中間位置に孔部521を横切るように形成されたスリット522と、図示を省略するが、アナンゴム等の弾性体により形成されたOリングとを有する。Oリングは、スリット522に配置され、ガイドレール51が挿通される。このOリングがガイドレール51を内径方向に締め付けることにより、適度な抵抗感を付与しつつ、スライド部材52がガイドレール51に沿ってスライド可能とされている。そして、当該Oリングが、ガイドレール51の溝511に嵌合することにより、これらの相対位置が維持される。しかしながら、移動機構5の構成はこれに限らず、スライド部材52は、ガイドレール51の高さ方向に沿って連続的に相対移動可能としてもよい。この場合、溝511を設けなくてもよい。
このように構成される虚像表示装置1では、以下の利点がある。
使用者USの頭部に沿う本体部としてのヘッドバンド部2は、当該ヘッドバンド部2とアーム部4を介して接続される表示部3によって表示される虚像が使用者USによって視認可能な位置に固定される。これによれば、ヘッドバンド部2は、額に沿って配置された状態で、使用者USの額等の固定部位に固定されるので、虚像表示装置1の荷重が使用者の鼻に加わることを抑制できる。従って、虚像表示装置1の使用時における使用者USへの負荷を軽減でき、使用感を向上させることができる。
使用者USの頭部に沿う本体部としてのヘッドバンド部2は、当該ヘッドバンド部2とアーム部4を介して接続される表示部3によって表示される虚像が使用者USによって視認可能な位置に固定される。これによれば、ヘッドバンド部2は、額に沿って配置された状態で、使用者USの額等の固定部位に固定されるので、虚像表示装置1の荷重が使用者の鼻に加わることを抑制できる。従って、虚像表示装置1の使用時における使用者USへの負荷を軽減でき、使用感を向上させることができる。
アーム部4は、ヘッドバンド部2との接続部位を中心として回動可能であるので、当該アーム部4を回動させることにより、ヘッドバンド部2に対する表示部3の位置や角度を調整できる。これによれば、装着時の使用者USの視線方向に応じた位置に表示部3を位置させて、当該表示部3によって表示される虚像の視認性を向上させることができる。また、上記虚像を視認しない場合には、使用者の眼前から表示部3を退避させることができる。従って、虚像表示装置1の利便性を向上させることができる。
アーム部4は、上記回動軸R2を中心として回動可能にヘッドバンド部2に接続されている。これによれば、アーム部4に対する回動操作によって、表示部3の位置を簡易に調整できる他、上記虚像を視認しない場合に、使用者の眼前から表示部3を確実に退避させることができる。従って、虚像表示装置1の利便性を確実に向上させることができる。
移動機構5は、ヘッドバンド部2に対して接離する方向に表示部3を移動させる。これによれば、使用者USの眼の位置に応じて、視方向に重なるように表示部3の位置を調整しやすくすることができる。従って、使用者USに応じて表示部3の位置を調整でき、虚像表示装置1の利便性及び汎用性を向上させることができる。
ヘッドバンド部2が有する撮像部23により、使用者USの視野における一部の領域を撮像できるので、例えば、撮像部23による撮像画像を表示部3に表示したり、或いは、当該撮像画像を外部に出力したりすることにより、使用者USの周囲の状況を、当該使用者US又は他者が把握できる。
ここで、表示部3に撮像部23が位置する場合には、撮像部23の荷重によって虚像表示装置1の重量バランスがずれることが考えられる。これに対し、撮像部23は、上記固定部位に固定されるヘッドバンド部2に位置することにより、表示部3の重量を低減できるだけでなく、虚像表示装置1の重量バランスを適正化しやすくすることができる。従って、使用者USへの負荷を一層軽減できる。
ここで、表示部3に撮像部23が位置する場合には、撮像部23の荷重によって虚像表示装置1の重量バランスがずれることが考えられる。これに対し、撮像部23は、上記固定部位に固定されるヘッドバンド部2に位置することにより、表示部3の重量を低減できるだけでなく、虚像表示装置1の重量バランスを適正化しやすくすることができる。従って、使用者USへの負荷を一層軽減できる。
撮像部23は、回動軸R2を中心に回動可能に構成される。これにより、使用者USの視線方向に応じた位置に、撮像部23の撮像方向を調整できる。従って、撮像部23によって、使用者USの視野における少なくとも一部の領域を確実に撮像できる。
虚像表示装置1の少なくとも一部の機能を制御する制御基板24は、ヘッドバンド部2内に配置されている。これにより、上記撮像部23と同様に、表示部3に制御基板24が設けられる場合と比べて、表示部3の重量を低減できるだけでなく、虚像表示装置1の重量バランスを適正化しやすくすることができる。従って、使用者USへの負荷を一層軽減できる。
ここで、表示部3からケーブルを直接外部に延出させる場合には、ケーブルが動くことを考慮して、表示部3の外形を構成する筐体としてのカバー部材311やフレーム部32の強度を高める必要がある。また、表示部3からケーブルが外部に延出していると見た目がよくないという問題がある。
これに対し、表示部3から延出したケーブルCRは、アーム部4内及びヘッドバンド部2内を通って制御基板24に接続される。また、制御基板24から延出したケーブルCBは、ヘッドバンド部2内を通って外部に延出する。これによれば、カバー部材311やフレーム部32等の強度を高める必要がない他、虚像表示装置1の外観を良好なものにすることができる。
これに対し、表示部3から延出したケーブルCRは、アーム部4内及びヘッドバンド部2内を通って制御基板24に接続される。また、制御基板24から延出したケーブルCBは、ヘッドバンド部2内を通って外部に延出する。これによれば、カバー部材311やフレーム部32等の強度を高める必要がない他、虚像表示装置1の外観を良好なものにすることができる。
ヘッドバンド部2は、使用者USの頭部に沿う円弧状の外形を有する。これによれば、当該ヘッドバンド部2をより確実に頭部に沿うように配置できるため、装着感を向上させることができる他、虚像表示装置1の装着時の外観を良好なものとすることができる。
表示部3は、左眼用光学装置31L及び右眼用光学装置31Rにより、使用者USの左目及び右目にてそれぞれ同じ虚像を視認させることができるだけでなく、それぞれ異なる虚像を視認させることができる。従って、虚像表示装置1の利便性及び汎用性を向上させることができる。
虚像表示装置1は、虚像を形成する光を使用者USの眼に導光するとともに、外光を透過する導光部材313を有する、シースルー型の構成を採用している。これにより、導光部材313を介して、上記虚像と使用者の周囲とを観察できる。このため、虚像を視認中の使用者USに安心感を付与できる他、周囲の風景に重ね合わせた虚像を視認させることにより、拡張現実を実現できる。従って、虚像表示装置1の利便性及び汎用性を一層向上させることができる。
[制御系の構成]
図9は、HMD100を構成する各部の機能ブロック図である。
図9に示すように、HMD100は、インターフェイス125を介して外部機器OAに接続される。インターフェイス125は、制御装置300に対して、コンテンツの供給元となる種々の外部機器OAを接続する。インターフェイス125としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。
外部機器OAは、HMD100に画像を供給する画像供給装置として用いられ、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等が用いられる。
図9は、HMD100を構成する各部の機能ブロック図である。
図9に示すように、HMD100は、インターフェイス125を介して外部機器OAに接続される。インターフェイス125は、制御装置300に対して、コンテンツの供給元となる種々の外部機器OAを接続する。インターフェイス125としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。
外部機器OAは、HMD100に画像を供給する画像供給装置として用いられ、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等が用いられる。
制御装置300は、制御部140と、操作部111と、入力情報取得部110と、記憶部120と、送信部(Tx)131及び送信部(Tx)132とを有している。制御装置300は、表示部3に設けられる画像生成部20が備える受信部133、134に対し、各種信号を送信する。
操作部111は、使用者による操作を検出する。操作部111は、図1に示した電源スイッチ301、トラックパッド302、キースイッチ部303、及び上下キー305を含む。入力情報取得部110は、使用者による操作入力に対応して操作部111が出力する操作信号あるいは操作データを取得する。
また、制御装置300は、電源部130を備え、制御装置300及び虚像表示装置1の各部に電源を供給する。
また、制御装置300は、電源部130を備え、制御装置300及び虚像表示装置1の各部に電源を供給する。
記憶部120は、不揮発性の記憶装置であって、種々のコンピュータープログラムを格納している。また、記憶部120には、HMD100の虚像表示装置1に表示する画像データが格納されていても良い。また、制御部140が、記憶部120に記憶されるプログラムを実行することにより、虚像表示装置1が表示する表示データを生成してもよい。
制御部140には、3軸センサー113、GPS115、及び通信部117が接続される。3軸センサー113は3軸の加速度センサーであり、3軸センサー113の検出値を制御部140が取得可能である。GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置300の現在位置を求める。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御装置300の制御部140が計時する時刻を修正させる機能を備えてもよい。
通信部117は、無線LAN(WiFi(登録商標))や、Miracast(登録商標)等の無線通信の規格に準じた無線データ通信を実行する。また、通信部117は、Bluetooth(登録商標)や、Bluetooth Low Energy、RFID、Felica(登録商標)等の近距離無線通信の規格に準じた無線データ通信を実行することも可能である。
外部機器OAが、通信部117に無線接続された場合、制御部140は、コンテンツデータを通信部117より取得して、虚像表示装置1に画像を表示するための制御を行う。一方、外部機器OAが、インターフェイス125に有線接続された場合には、制御部140は、コンテンツデータをインターフェイス125より取得して、虚像表示装置1に画像を表示するための制御を行う。よって、通信部117及びインターフェイス125を、以下総称してデータ取得部と呼ぶ。データ取得部は、外部機器OAからコンテンツデータを取得する。また、コンテンツデータは、例えば記憶部120に記憶してもよい。
制御部140は、CPU、ROM、RAM(いずれも図示略)等を備える。制御部140は、記憶部120またはROMに記憶したプログラムを読み出して実行することにより、HMD100の各部を制御する。また、制御部140は、上記プログラムを実行して、オペレーティングシステム(OS)150、画像処理部160、表示制御部170、撮像制御部181、位置検出制御部182、AR表示制御部183、及び音声処理部187として機能する。
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、コンテンツに含まれる画像を表示するための垂直同期信号VSync、水平同期信号HSync等の同期信号、クロック信号PCLK、及びディジタル画像データ(図中、Data)を送信部131により、画像生成部20R、20Lのそれぞれに送信する。また、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。送信部131、132は、制御装置300と虚像表示装置1との間におけるシリアル伝送のためのトランシーバーとして機能する。
画像生成部20R、20Lは、画像処理部160から受信部133、134を介して入力される信号に基づき、右バックライト205、左バックライト206が発する光を変調して画像光を生成する。
画像生成部20Rは、LED等の光源と拡散板とを有する右バックライト205と、右バックライト205を駆動する右バックライト制御部201とを備える。また、右バックライト205が発する光の光路上に配置される透過型の右LCD241、及び、右LCD241を駆動する右LCD制御部203を備える。
右LCD241を透過した画像光は光学ユニット312に入射する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
画像生成部20Rは、LED等の光源と拡散板とを有する右バックライト205と、右バックライト205を駆動する右バックライト制御部201とを備える。また、右バックライト205が発する光の光路上に配置される透過型の右LCD241、及び、右LCD241を駆動する右LCD制御部203を備える。
右LCD241を透過した画像光は光学ユニット312に入射する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
同様に、画像生成部20Lは、LED等の光源と拡散板とを有する左バックライト206と、左バックライト206を制御する左バックライト制御部202とを備える。また、左バックライト206が発する光の光路上に配置される透過型の左LCD242、及び、左LCD242を駆動する左LCD制御部204を備える。左LCD242を透過した画像光は光学ユニット312に入射する。左LCD242は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
表示制御部170は、虚像表示装置1が備える画像生成部20R、20Lに対して制御信号を送信する。表示制御部170は、画像生成部20R、20Lが備える右バックライト205、左バックライト206の点灯を制御する右バックライト制御部201及び左バックライト制御部202に対して制御信号を送信する。
右バックライト制御部201及び左バックライト制御部202は、表示制御部170から受信する制御信号に従って、右バックライト205及び左バックライト206のそれぞれに対し、点灯、消灯の制御および発光輝度の制御を行う。右バックライト205及び左バックライト206は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体であり、レーザー光源やランプを用いて構成してもよい。
右バックライト制御部201及び左バックライト制御部202は、表示制御部170から受信する制御信号に従って、右バックライト205及び左バックライト206のそれぞれに対し、点灯、消灯の制御および発光輝度の制御を行う。右バックライト205及び左バックライト206は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体であり、レーザー光源やランプを用いて構成してもよい。
表示制御部170は、虚像表示装置1が備える画像生成部20R、20Lのそれぞれに制御信号を送信する。右バックライト制御部201及び左バックライト制御部202は、表示制御部170から受信する制御信号に従って、右バックライト205及び左バックライト206のそれぞれに対し、点灯、消灯の制御および発光輝度の制御を行う。右バックライト205及び左バックライト206は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体であり、レーザー光源やランプを用いて構成してもよい。
画像生成部20R、20Lは、それぞれ、表示制御部170から受信する制御信号に従って、右バックライト205、左バックライト206、右LCD241、及び左LCD242の駆動のオン/オフを切り替える。従って、表示制御部170の制御により、画像生成部20におけるバックライトの点灯/消灯や画像の表示が制御される。
音声処理部187は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、オーディオケーブルCOにより右イヤホン33及び左イヤホン34に出力する。
また、音声処理部187は、マイク63により集音された音声をディジタルデータに変換する。音声処理部187は、ディジタル音声データから特徴を抽出してモデル化することにより、例えば話者認識処理や音声認識処理を実行する。話者認識処理では、マイク63が集音する音声から人間の声を検出し、検出した人間の声を人毎に識別して、声ごとに話している人間を特定する。また、音声認識処理では、例えば、マイク63が集音した音声をテキストに変換するテキスト変換を行う。
また、音声処理部187は、マイク63により集音された音声をディジタルデータに変換する。音声処理部187は、ディジタル音声データから特徴を抽出してモデル化することにより、例えば話者認識処理や音声認識処理を実行する。話者認識処理では、マイク63が集音する音声から人間の声を検出し、検出した人間の声を人毎に識別して、声ごとに話している人間を特定する。また、音声認識処理では、例えば、マイク63が集音した音声をテキストに変換するテキスト変換を行う。
虚像表示装置1の各部はインターフェイス28を介して制御部140に接続する。インターフェイス28は、ケーブルCB、及び、ケーブルCBを接続するコネクター等で構成され、ケーブルCBに代えて無線通信回線により構成してもよい。インターフェイス28は、送信部131により送信されるクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、画像データDataを、対応する受信部(Rx)133、134に出力する。また、インターフェイス28は、表示制御部170が送信する制御信号を、受信部133、134に出力する。
また、インターフェイス28は、ステレオカメラ231の撮像画像を制御部140に出力し、制御部140が送出するLED233の駆動信号を、LED233に出力する。これにより、LED233は、制御部140の制御に従って点灯及び消灯する。
また、インターフェイス28は、ステレオカメラ231の撮像画像を制御部140に出力し、制御部140が送出するLED233の駆動信号を、LED233に出力する。これにより、LED233は、制御部140の制御に従って点灯及び消灯する。
また、虚像表示装置1は、9軸センサー238を備える。9軸センサー238は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサー(慣性センサー)である。9軸センサー238はインターフェイス28を介して制御部140に接続する。制御部140は、虚像表示装置1が使用者の頭部に装着されているとき、9軸センサー238の検出値に基づいて使用者の頭部の動きを検出できる。
受信部133、134は、制御装置300と虚像表示装置1との間におけるシリアル伝送のためのレシーバーとして機能する。
受信部133、134は、制御装置300と虚像表示装置1との間におけるシリアル伝送のためのレシーバーとして機能する。
HMD100は、虚像表示装置1を装着する使用者の視線方向に対応して、虚像表示装置1で表示する画像の表示態様を調整する機能を具備する。
図10は、HMD100の表示に係る制御の説明図であり、(A)はAR表示の例を示し、(B)は位置検出の様子を示し、(C)は位置検出における撮像画像の例を示す。図10(C)は、特に、撮像画像に写る鏡像MPを示す。
虚像表示装置1が備える表示部3は、使用者が外景を視認でき、かつ、導光部材313により画像を視認するシースルー型の表示装置である。HMD100は、使用者が表示部3を透過して外景を視認する場合に、外景と重なって視認される画像を表示する。この表示の一態様として、実空間である外景に関する情報を提供する、いわゆるAR効果を奏する画像(以下、AR画像という)を表示する。AR画像は、実空間に存在する対象物に関する情報を、対象物と重なって、或いは対象物と並ぶように表示される。AR画像を見ることで、使用者は、対象物と、対象物に関する各種の情報とを同時に見ることができる。AR画像の表示は、使用者にとって対象物が見える位置に合わせて表示するときにより効果的である。
図10は、HMD100の表示に係る制御の説明図であり、(A)はAR表示の例を示し、(B)は位置検出の様子を示し、(C)は位置検出における撮像画像の例を示す。図10(C)は、特に、撮像画像に写る鏡像MPを示す。
虚像表示装置1が備える表示部3は、使用者が外景を視認でき、かつ、導光部材313により画像を視認するシースルー型の表示装置である。HMD100は、使用者が表示部3を透過して外景を視認する場合に、外景と重なって視認される画像を表示する。この表示の一態様として、実空間である外景に関する情報を提供する、いわゆるAR効果を奏する画像(以下、AR画像という)を表示する。AR画像は、実空間に存在する対象物に関する情報を、対象物と重なって、或いは対象物と並ぶように表示される。AR画像を見ることで、使用者は、対象物と、対象物に関する各種の情報とを同時に見ることができる。AR画像の表示は、使用者にとって対象物が見える位置に合わせて表示するときにより効果的である。
図10(A)には、実空間すなわち外景に存在する対象物OBに重なるように、画像AR1を表示する例を示す。図中のVRは使用者の視界を示す。この例では、対象物OBである自転車をHMD100が検出し、使用者が対象物OBを見る位置に合わせて画像AR1の表示位置を決めて、矢印形状の画像AR1を表示する。画像AR1の表示位置を決定するため、HMD100は、撮像部23で撮像を実行し、撮像画像から、対象物OBの画像を検出する。HMD100は、撮像画像における対象物OBの位置を特定し、撮像画像の位置と表示部3が画像を表示する表示領域の位置との対応関係に基づき、画像AR1の表示位置を決定する。
すなわち、AR表示を行う場合、HMD100は、撮像部23で撮像を実行し、撮像画像から、対象物の画像を検出する。HMD100は、撮像画像における対象物の位置を特定し、撮像画像における位置と表示部3が画像を表示する表示領域における位置との対応関係に基づき、AR画像の表示位置を決定する。または、撮像画像に基づいて撮像部23に対する対象物の姿勢と距離(回転と並進)を推定し、後述のキャリブレーションデータ121に基づいて、使用者が仮想オブジェクトが当該対象物に重畳または位置合わせされて視認するように、仮想オブジェクトをレンダリングする。本実施形態では、レンダリングされた仮想オブジェクトがAR画像である。
すなわち、AR表示を行う場合、HMD100は、撮像部23で撮像を実行し、撮像画像から、対象物の画像を検出する。HMD100は、撮像画像における対象物の位置を特定し、撮像画像における位置と表示部3が画像を表示する表示領域における位置との対応関係に基づき、AR画像の表示位置を決定する。または、撮像画像に基づいて撮像部23に対する対象物の姿勢と距離(回転と並進)を推定し、後述のキャリブレーションデータ121に基づいて、使用者が仮想オブジェクトが当該対象物に重畳または位置合わせされて視認するように、仮想オブジェクトをレンダリングする。本実施形態では、レンダリングされた仮想オブジェクトがAR画像である。
このため、制御部140は、撮像制御部181、位置検出制御部182、及びAR表示制御部183を備える。
撮像制御部181は、虚像表示装置1が備える撮像部23を制御して撮像を実行させ、撮像画像データを取得する。
AR表示制御部183は、撮像制御部181の機能により取得される撮像画像を解析し、撮像画像から対象物OBの画像を検出する。HMD100では、検出する対象物OBの画像について、形状、色彩などの特徴量に関するデータを記憶部120に記憶する。AR表示制御部183は、記憶部120に記憶したデータを用いて、撮像画像から対象物OBの画像を検出し、撮像画像における対象物OBの位置を特定する。さらに、AR表示制御部183は、表示部3の表示領域、すなわち、導光部材313R、313Lにおいて画像光を使用者の眼に向けて反射する領域に対する画像AR1の位置を特定し、画像AR1を表示制御部170に表示させる。画像AR1の画像データは、インターフェイス125を介して取得するコンテンツデータ、記憶部120に記憶されたコンテンツデータ、または、AR表示制御部183がデータ処理により生成する画像データ等である。
撮像制御部181は、虚像表示装置1が備える撮像部23を制御して撮像を実行させ、撮像画像データを取得する。
AR表示制御部183は、撮像制御部181の機能により取得される撮像画像を解析し、撮像画像から対象物OBの画像を検出する。HMD100では、検出する対象物OBの画像について、形状、色彩などの特徴量に関するデータを記憶部120に記憶する。AR表示制御部183は、記憶部120に記憶したデータを用いて、撮像画像から対象物OBの画像を検出し、撮像画像における対象物OBの位置を特定する。さらに、AR表示制御部183は、表示部3の表示領域、すなわち、導光部材313R、313Lにおいて画像光を使用者の眼に向けて反射する領域に対する画像AR1の位置を特定し、画像AR1を表示制御部170に表示させる。画像AR1の画像データは、インターフェイス125を介して取得するコンテンツデータ、記憶部120に記憶されたコンテンツデータ、または、AR表示制御部183がデータ処理により生成する画像データ等である。
HMD100においては、表示部3における表示位置と撮像部23の撮像画像における位置とを対応付けるため、初期キャリブレーションが実行される。初期キャリブレーションは、使用者が虚像表示装置1を頭部に装着し、虚像表示装置1の装着位置や帯部222の止め具合等の調整を行い、ヘッドバンド部2と使用者の眼との相対位置が固定された後、この位置に適合するように行われる。
初期キャリブレーションには、種々の方法があるが、例えば、本実施形態では、次のようなステップを実行する。
(I)眼間距離:
制御部140が、表示部3における2つの光学装置に、同一のキャリブレーション用画像を表示させる。そうすると、表示部3を掛ける使用者は、左右の眼を介して、キャリブレーション用画像を視認する。そこで、使用者は、ユーザーインターフェイス(トラックパッドなど)を介して制御部140に指示を与えることで、2つのキャリブレーション用画像が一致して視認できるように、表示された2つのキャリブレーション用画像の少なくとも一方を他方に対して相対移動させる。2つのキャリブレーション用画像を一致して視認したタイミングで、使用者はユーザーインターフェイスを介して制御部140に通知する。制御部140は、その通知に応じて、当該タイミングでの2つのキャリブレーション用画像の光学装置に対する位置に基づき、画像処理部160に画像の光学装置上での表示位置を調整させる。このことにより、眼間距離に対応した表示部3のキャリブレーションができる。
(I)眼間距離:
制御部140が、表示部3における2つの光学装置に、同一のキャリブレーション用画像を表示させる。そうすると、表示部3を掛ける使用者は、左右の眼を介して、キャリブレーション用画像を視認する。そこで、使用者は、ユーザーインターフェイス(トラックパッドなど)を介して制御部140に指示を与えることで、2つのキャリブレーション用画像が一致して視認できるように、表示された2つのキャリブレーション用画像の少なくとも一方を他方に対して相対移動させる。2つのキャリブレーション用画像を一致して視認したタイミングで、使用者はユーザーインターフェイスを介して制御部140に通知する。制御部140は、その通知に応じて、当該タイミングでの2つのキャリブレーション用画像の光学装置に対する位置に基づき、画像処理部160に画像の光学装置上での表示位置を調整させる。このことにより、眼間距離に対応した表示部3のキャリブレーションができる。
(II)ARオブジェクトと実物体との位置合わせ:
上記(I)により眼間距離についてのキャリブレーションがされた後で、制御部140が、表示部3の中央にキャリブレーション用画像(例えば仮想2Dマーカー)を固定して表示させる。また、制御部140は、キャリブレーション用画像に対応した参照実物体(例えば、仮想2Dマーカーに相似で、大きさが既知の2Dマーカー)を、撮像部23を介して撮像し、その特徴点に基づいて、撮像部23に対する参照実物体の回転、並進を検出する。使用者は、頭部を動かし、キャリブレーション用画像を参照実物体にアライン(位置、大きさ、向きを一致)させ、アラインしたタイミングで、制御部140に通知する。このとき、表示部3と参照用実物体との間の回転、並進が既定の関係になる。制御部140は、上記通知の当該タイミングでの参照実物体の撮像画像における位置情報を取得し、ARオブジェクトと実物体とを重ねて表示するためのパラメーター(キャリブレーションデータ121)を、その使用者用にカスタマイズする。キャリブレーションデータ121は、表示部3に対する撮像部23の回転と並進を表すパラメーターを含む。
上記(I)により眼間距離についてのキャリブレーションがされた後で、制御部140が、表示部3の中央にキャリブレーション用画像(例えば仮想2Dマーカー)を固定して表示させる。また、制御部140は、キャリブレーション用画像に対応した参照実物体(例えば、仮想2Dマーカーに相似で、大きさが既知の2Dマーカー)を、撮像部23を介して撮像し、その特徴点に基づいて、撮像部23に対する参照実物体の回転、並進を検出する。使用者は、頭部を動かし、キャリブレーション用画像を参照実物体にアライン(位置、大きさ、向きを一致)させ、アラインしたタイミングで、制御部140に通知する。このとき、表示部3と参照用実物体との間の回転、並進が既定の関係になる。制御部140は、上記通知の当該タイミングでの参照実物体の撮像画像における位置情報を取得し、ARオブジェクトと実物体とを重ねて表示するためのパラメーター(キャリブレーションデータ121)を、その使用者用にカスタマイズする。キャリブレーションデータ121は、表示部3に対する撮像部23の回転と並進を表すパラメーターを含む。
この結果、HMD100において、使用者の視野VRと表示部3の表示領域との対応付け、及び、表示部3の表示領域と撮像部23の撮像画像との対応付けがなされるので、その後は、AR表示制御部183が、撮像部23の撮像画像を利用してAR表示を行う。すなわち、位置検出制御部182は、キャリブレーションデータ121を用いて表示位置を調整することで、例えば図10(A)に示すように、使用者に、対象物OBの位置に合わせて画像AR1を視認させることができる。
ところで、上述したように、撮像部23は、回動軸R1により回動可能にヘッドバンド部2に設けられる。また、表示部3は、回動軸R2、及び移動機構5を介してヘッドバンド部2に取り付けられる。従って、撮像部23と表示部3とは、3つの可動部である回動軸部236、回動軸部25、及び移動機構5によって、相対位置が変化するように支持される。これらは本発明の連結部に相当する。また、これらの連結部は、撮像部23と表示部3とのうち一方を他方に支持する支持部として機能する。
3つの可動部である回動軸部236、回動軸部25、及び移動機構5における変位が発生すると、撮像部23と表示部3との相対位置が変化する。この種の動きは、例えば、使用者が表示部3の見え方を再調整するために表示部3を回動軸R2まわりに動かす場合に発生する。また、使用者が、表示部3を視界(視野VR)から退避させるためにRA方向に動かし、その後、表示部3をRB方向に戻す場合も、表示部3が退避前と全く同じ位置に戻されるとは限らない。さらに、撮像部23の撮像範囲の調整のために、使用者が撮像部23を動かす可能性もある。
上記可動部における動きにより、撮像部23と表示部3との相対位置が変化すると、初期キャリブレーションで対応付けられた位置関係から逸脱する。このため、AR表示を行う場合に、AR用の画像(例えば、画像AR1)を適切な表示位置に表示できない可能性がある。
そこで、虚像表示装置1は、撮像部23の撮像画像を利用して、撮像部23と表示部3との相対位置関係を検出し、キャリブレーションデータ121を補正することにより、表示部3における画像の表示位置を適正に維持する。
図11は、HMD100の動作を示すフローチャートであり、特に、撮像画像を利用したキャリブレーションに係る動作を示す。この図11の動作は、主に制御部140の位置検出制御部182が実行する。
図11に示す動作では、使用者が鏡の前に立ち、この鏡に映る鏡像を撮像部23により撮像し、撮像画像を解析して、撮像部23と表示部3との相対位置に関するデータを得る。このため、図11の動作を実行する前に、鏡像を撮像した撮像画像データ又は撮像画像データを解析した結果と、撮像部23と表示部3との相対位置に関するデータとが、対応付けられていることが好ましい。例えば、上述した初期キャリブレーションが実行された場合に、使用者を鏡の前に立たせて鏡像を撮像部23で撮像し、この撮像画像データ又は撮像画像データを解析した結果を、撮像部23と表示部3との相対位置に関するデータ(例えば、初期キャリブレーションで得たキャリブレーションデータ121)に対応付けて記憶することが好ましい。或いは、後述する図11のステップST14で撮像する鏡像の撮像画像データ又はその解析結果と、撮像部23と表示部3との相対位置に関するデータ(例えば、ステップST19で更新するキャリブレーションデータ121)とを対応付けて、記憶部120に記憶してもよい。
図11に示す動作では、使用者が鏡の前に立ち、この鏡に映る鏡像を撮像部23により撮像し、撮像画像を解析して、撮像部23と表示部3との相対位置に関するデータを得る。このため、図11の動作を実行する前に、鏡像を撮像した撮像画像データ又は撮像画像データを解析した結果と、撮像部23と表示部3との相対位置に関するデータとが、対応付けられていることが好ましい。例えば、上述した初期キャリブレーションが実行された場合に、使用者を鏡の前に立たせて鏡像を撮像部23で撮像し、この撮像画像データ又は撮像画像データを解析した結果を、撮像部23と表示部3との相対位置に関するデータ(例えば、初期キャリブレーションで得たキャリブレーションデータ121)に対応付けて記憶することが好ましい。或いは、後述する図11のステップST14で撮像する鏡像の撮像画像データ又はその解析結果と、撮像部23と表示部3との相対位置に関するデータ(例えば、ステップST19で更新するキャリブレーションデータ121)とを対応付けて、記憶部120に記憶してもよい。
制御部140は、キャリブレーションの実行条件が成立するまで、表示等に待機し(ステップST11)、実行条件が成立した場合は(ステップST11;Yes)、キャリブレーションを開始する(ステップST12)。
キャリブレーションの実行条件は、例えば、トラックパッド302に対する操作が挙げられるが、9軸センサー238が閾値を超えるヘッドバンド部2の動きを検出した場合としてもよい。具体的には、9軸センサー238により、ヘッドバンド部2の着脱、ヘッドバンド部2への衝撃などを検出したことを実行条件としてもよい。
制御部140は、表示制御部170を制御して、使用者に対し、鏡の前に立つよう案内する画像を表示部3に表示させる(ステップST13)。使用者の制御装置300への操作により、制御部140は撮像部23による撮像を実行して撮像画像データを取得する(ステップST14)。
図10(B)には、使用者USが鏡Mの前に立った状態を示す。ステップST13で虚像表示装置1が表示する画像は、例えば図10(B)に示すように使用者を誘導する画像や文字を含む。ここで、鏡Mは使用者USの全身を映すものでなくてもよい。ステップST14の撮像を実行する際に、少なくとも、撮像部23及び表示部3が鏡Mに映り、この撮像部23及び表示部3の鏡像を、撮像部23が撮像できればよい。この要件に従えば、鏡Mが小さくても鏡Mから使用者USまでの距離が遠ければ、鏡Mに撮像部23及び表示部3が映った鏡像を撮像部23で撮像できる。実際には、撮像画像における撮像部23及び表示部3の画像が小さいと、後述するように撮像画像から撮像部23及び表示部3の鏡像を検出する処理で、処理の精度が低下する可能性がある。従って、ステップST13で表示する画像において、使用者USから鏡Mまでの距離を案内することが好ましい。上述のように、記憶部120に、初期キャリブレーションを実行した際など、以前に鏡像を撮像した撮像画像データまたはその解析結果が記憶された場合には、使用者USと鏡Mとの間の距離を対応させることが好ましい。具体的には、ステップST13で案内する使用者USから鏡Mまでの距離を、記憶部120に記憶する撮像画像データの撮像時の距離に対応する距離とすることが好ましい。
図10(B)には、使用者USが鏡Mの前に立った状態を示す。ステップST13で虚像表示装置1が表示する画像は、例えば図10(B)に示すように使用者を誘導する画像や文字を含む。ここで、鏡Mは使用者USの全身を映すものでなくてもよい。ステップST14の撮像を実行する際に、少なくとも、撮像部23及び表示部3が鏡Mに映り、この撮像部23及び表示部3の鏡像を、撮像部23が撮像できればよい。この要件に従えば、鏡Mが小さくても鏡Mから使用者USまでの距離が遠ければ、鏡Mに撮像部23及び表示部3が映った鏡像を撮像部23で撮像できる。実際には、撮像画像における撮像部23及び表示部3の画像が小さいと、後述するように撮像画像から撮像部23及び表示部3の鏡像を検出する処理で、処理の精度が低下する可能性がある。従って、ステップST13で表示する画像において、使用者USから鏡Mまでの距離を案内することが好ましい。上述のように、記憶部120に、初期キャリブレーションを実行した際など、以前に鏡像を撮像した撮像画像データまたはその解析結果が記憶された場合には、使用者USと鏡Mとの間の距離を対応させることが好ましい。具体的には、ステップST13で案内する使用者USから鏡Mまでの距離を、記憶部120に記憶する撮像画像データの撮像時の距離に対応する距離とすることが好ましい。
制御部140は、撮像画像を解析し(ステップST15)、撮像画像から撮像部23またはヘッドバンド部2の画像と、表示部3の画像とを検出する(ステップST16)。ここで、制御部140は、記憶部120に記憶した撮像部23の画像や表示部3の画像の特徴量のデータを利用してもよい。
図10(C)には、撮像画像に含まれるHMD100の鏡像MPの例を示す。図10(C)に示すように、図11の処理では、使用者USが鏡Mのほぼ正面に位置して、鏡像MPがHMD100の正面の像となることが好ましい。
図10(C)には、撮像画像に含まれるHMD100の鏡像MPの例を示す。図10(C)に示すように、図11の処理では、使用者USが鏡Mのほぼ正面に位置して、鏡像MPがHMD100の正面の像となることが好ましい。
ステップST16で、制御部140は、鏡像MPを検出して、撮像画像における撮像部23の画像の位置(撮像部23の位置)、及び、撮像画像における表示部3の画像の位置(表示部3の位置)を取得する。また、制御部140は撮像画像における撮像部23と表示部3との距離を求める。さらに、制御部140は、撮像画像における鏡像MPのサイズ等に基づき、撮像部23から鏡Mまでの距離を算出する。なお、制御部140は、表示部3の画像の位置として、鏡像MPにおける表示部3の画像の中心、或いは、表示部3の左右の端部など予め指定された1又は複数箇所の点の位置を検出すればよい。
そして、制御部140は、撮像画像における撮像部23の位置及び表示部3の位置と、撮像部23から鏡Mまでの距離に基づき、回動軸部236(回動軸R1)まわりの撮像部23の角度を求める。ここで、制御部140は、9軸センサー238によりヘッドバンド部2の角度を検出し、このヘッドバンド部2の角度を加味して、回動軸R1まわりの23の角度を求めてもよい。さらに、制御部140は、撮像部23から鏡Mまでの距離と、撮像画像における撮像部23と表示部3との距離とをもとに、撮像部23と表示部3との実際の距離を求める。ここで求められる距離は、回動軸R2まわりのアーム部4の回動と、移動機構5における移動機構5のスライドとの両方を反映する。
従って、ステップST16では、可動部である回動軸R1、R2及び移動機構5における動きと位置に関する解析結果のデータを得ることができる。
上述のように、記憶部120に、以前に鏡像を撮像した撮像画像データまたはその解析結果が記憶された場合、これらのデータをステップST16で活用できる。例えば、ステップST16で撮像部23と表示部3との相対位置に関するデータを求める処理において、記憶部120に記憶した撮像画像データまたはその解析結果と、ステップST15で撮像画像データを解析した結果とを比較する処理を行ってもよい。
従って、ステップST16では、可動部である回動軸R1、R2及び移動機構5における動きと位置に関する解析結果のデータを得ることができる。
上述のように、記憶部120に、以前に鏡像を撮像した撮像画像データまたはその解析結果が記憶された場合、これらのデータをステップST16で活用できる。例えば、ステップST16で撮像部23と表示部3との相対位置に関するデータを求める処理において、記憶部120に記憶した撮像画像データまたはその解析結果と、ステップST15で撮像画像データを解析した結果とを比較する処理を行ってもよい。
ステップST16で解析データを取得した後、制御部140は、取得したデータを、既に記憶部120に記憶しているキャリブレーションデータ121と比較する(ステップST17)。制御部140は比較結果の判定を行い(ステップST18)、閾値以上の差異がある場合は(ステップST18;Yes)、キャリブレーションデータ121を更新するとともに、現在表示している画像があれば、その表示位置を調整する(ステップST19)。または、本実施形態では、制御部140は、上記差異に基づき、撮像部23と左眼用光学装置におけるスクリーンとの間での回転および並進の少なくとも一方を表すパラメーター、撮像部23と右眼用光学装置におけるスクリーンとの間での回転および並進の少なくとも一方を表すパラメーターを補正することでキャリブレーションデータ121を補正する。この場合、本実施形態では、左右のそれぞれのスクリーンの中心は、左眼用・右眼用光学装置が有するそれぞれのハーフミラーの曲面上または平面上に位置し、かつ、それらスクリーンは左眼用・右眼用光学装置のそれぞれの光軸を法線とするそれぞれのXY平面で規定されている。制御部140は、補正後のキャリブレーションデータ121により、記憶部120に記憶されたキャリブレーションデータ121を更新する。また、ステップST16で取得したデータが示す撮像部23と表示部3との位置関係が、既に記憶されているキャリブレーションデータ121と、閾値以上の差異を有さない場合(ステップST18;No)、制御部140は本処理を終了する。
なお、本処理を終了した後、制御部140は、再びステップST21で実行条件の成立を監視すれば良い。
なお、本処理を終了した後、制御部140は、再びステップST21で実行条件の成立を監視すれば良い。
また、図11の処理では、撮像部23が光学ズーム機構(図示略)を備える場合、撮像部23と表示部3を拡大して撮像してもよい。例えば、ステップST15で撮像画像から検出した撮像部23の位置と表示部3の位置に基づき、撮像部23と表示部3とがより大きく撮像されるようにズーム調整を行って、再度、ステップST14に戻って撮像を実行してもよい。また、ステップST13で表示する画像により、撮像部23と表示部3に合わせてズーム調整を行うように、使用者USに案内をしてもよい。
また、制御部140は、HMD100の電源がオンの間、或いは表示部3により画像を表示中に、撮像部23の撮像画像を常時取得する構成としてもよい。この場合、制御部140は、撮像画像において撮像部23と表示部3の画像を検出したときに、ステップST11のキャリブレーション条件が成立したと判定して、図11の動作を実行してもよい。この場合、ステップST12〜ST14を省略してもよい。
また、撮像部23の画像を検出する処理に代えて、ヘッドバンド部2の画像を検出してもよい。
また、撮像部23の画像を検出する処理に代えて、ヘッドバンド部2の画像を検出してもよい。
また、撮像部23またはその近傍、及び、表示部3に、検出の目標として外観上識別可能なマーカーを付してもよい。マーカーは撮像画像において特徴的な色彩、形状、模様等を有することが好ましく、バーコード、二次元コード、幾何学図形等が挙げられる。
また、撮像部23はAR表示に利用する可視光による撮像に加え、赤外光等の可視領域外の光による撮像を行う構成としてもよい。この場合、制御部140は、キャリブレーション条件が成立した場合に、撮像部23により可視領域外の光による撮像を実行させて撮像画像を取得して解析する。また、可視領域外の光で撮像した場合に撮像画像に写るマーカーを利用することができ、可視光では視認しにくいマーカーを採用すれば、HMD100の外観のデザインへの影響を小さくできる。さらに、ステップST13でLED233を点灯させてマーカーとして利用してもよい。
また、撮像部23はAR表示に利用する可視光による撮像に加え、赤外光等の可視領域外の光による撮像を行う構成としてもよい。この場合、制御部140は、キャリブレーション条件が成立した場合に、撮像部23により可視領域外の光による撮像を実行させて撮像画像を取得して解析する。また、可視領域外の光で撮像した場合に撮像画像に写るマーカーを利用することができ、可視光では視認しにくいマーカーを採用すれば、HMD100の外観のデザインへの影響を小さくできる。さらに、ステップST13でLED233を点灯させてマーカーとして利用してもよい。
以上説明したように、本発明を適用したHMD100は、外景を視認可能に、画像を表示する表示部3を備える。HMD100は、表示部3を通して視認される範囲に重なる撮像範囲を撮像する撮像部23を備える。HMD100は、少なくとも1つの可動部を有し、撮像部23を表示部3に連結する連結部を有する。制御部140は、撮像部23の撮像画像に基づいて撮像部23と表示部3との相対位置関係を検出する。これにより、撮像画像に基づき、可動部における動きを反映した移動後の撮像部23の位置を検出できる。
また、制御部140は、撮像画像における撮像部23の位置と表示部3の位置とに基づいて、撮像部23と表示部3との相対位置関係を検出する。これにより、撮像部23と表示部3とが撮像画像に写るように撮像を行うことで、容易に撮像部23の位置を検出できる。
また、HMD100は、使用者USが装着する装着型表示装置として構成される。制御部140によって撮像部23の撮像画像に基づいて撮像部23と表示部3との相対位置関係を検出する位置検出処理が行われる際に、撮像部23で鏡を撮像するよう使用者USに案内を行う。これにより、使用者USに対して、撮像部23の位置を検出するために必要な動作を案内し、使用者USに複雑な操作を行わせることなく、容易に撮像部23の位置を検出できる。
また、HMD100は、使用者USが装着する装着型表示装置として構成される。制御部140によって撮像部23の撮像画像に基づいて撮像部23と表示部3との相対位置関係を検出する位置検出処理が行われる際に、撮像部23で鏡を撮像するよう使用者USに案内を行う。これにより、使用者USに対して、撮像部23の位置を検出するために必要な動作を案内し、使用者USに複雑な操作を行わせることなく、容易に撮像部23の位置を検出できる。
また、制御部140は、撮像部23の撮像画像に基づいて撮像部23と表示部3との相対位置関係を検出し、検出した相対位置関係に基づき、表示部3における画像の表示位置の調整に係る調整データとしてのキャリブレーションデータ121を生成する。これにより、撮像部23の変位に対応して、画像の表示位置等を制御できる。
[実施形態の変形]
本発明は、上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上記実施形態では、一対のアーム部4を備え、これら一対のアーム部4が表示部3をX方向の両側から支持する構成を例示した。しかしながら、本発明は、これに限らない。例えば、1つのアーム部4を備える構成としてもよい。この際、アーム部4は、表示部3のX方向における略中央と接続されていてもよく、X方向における一端側に接続されていてもよい。このような構成では、虚像表示装置1を構成する部品点数を減らすことができ、軽量化を図ることができる。なお、表示部3を一対のアーム部4で両側から支持する構成では、1箇所で支持するよりも、表示部3を安定的に支持することができる。
本発明は、上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上記実施形態では、一対のアーム部4を備え、これら一対のアーム部4が表示部3をX方向の両側から支持する構成を例示した。しかしながら、本発明は、これに限らない。例えば、1つのアーム部4を備える構成としてもよい。この際、アーム部4は、表示部3のX方向における略中央と接続されていてもよく、X方向における一端側に接続されていてもよい。このような構成では、虚像表示装置1を構成する部品点数を減らすことができ、軽量化を図ることができる。なお、表示部3を一対のアーム部4で両側から支持する構成では、1箇所で支持するよりも、表示部3を安定的に支持することができる。
上記実施形態では、表示部3は、左眼用光学装置31Lと、右眼用光学装置31Rとを備え、これら一対の光学装置31がフレーム部32によって一体的に固定され、1対のアーム部4によって一体的に回動される構成を例示した。しかしながら、本発明はこれに限らない。例えば、右眼用光学装置31Rは、使用者から見て右側のアーム部4によって、左眼用光学装置31Lは、使用者から見て左側のアーム部4によって、個別に回動可能に構成されてもよい。
上記実施形態では、表示部3は、左眼用光学装置31Lと、右眼用光学装置31Rとを備える構成を例示した。しかしながら、本発明はこれに限らない。すなわち、左眼用光学装置31L及び右眼用光学装置31Rのうちのいずれか一方を備える構成を採用してもよい。この場合、表示部3を1つのアーム部4のみで支持する構成、例えば、左眼用光学装置31Lを左側のアーム部4のみで支持する構成としてもよく、1対のアーム部4で支持する構成としてもよい。
上記実施形態では、アーム部4は、使用者が視認する際の視方向と略直交するX軸に平行な回動軸R2を中心に回動可能に構成された。しかしながら、本発明はこれに限らない。すなわち、ヘッドバンド部2との接続部位を中心として回動可能とする各種の構成を採用してもよい。
例えば、1つのアーム部4で表示部3を支持する構成や、上述のように左側のアーム部4で左眼用光学装置31Lを、右側のアーム部4で右眼用光学装置31Rを個別に支持する構成において、Y軸に平行な回動軸を中心にアーム部4を回動可能としてもよい。
また、例えば、ZX面に沿い、かつ、使用者USの視方向と交差する回動軸を中心にアーム部4を回動可能としてもよい。
例えば、1つのアーム部4で表示部3を支持する構成や、上述のように左側のアーム部4で左眼用光学装置31Lを、右側のアーム部4で右眼用光学装置31Rを個別に支持する構成において、Y軸に平行な回動軸を中心にアーム部4を回動可能としてもよい。
また、例えば、ZX面に沿い、かつ、使用者USの視方向と交差する回動軸を中心にアーム部4を回動可能としてもよい。
上記実施形態では、本体部としてのヘッドバンド部2は、略半円形状(略U字状)に形成されていた。しかしながら、本発明はこれに限らない。すなわち、ヘッドバンド部2は、使用者の頭部(頭部の中心軸を中心とする周方向に沿い、かつ、両眼を通る線より上の部位)に沿って配置可能に構成されていればよく、例えば、少なくとも一部に頭部に沿った円弧状の内面を有する構成でもよい。また、例えば、前額部に相当する部分と側頭部に対応する部位とが互いに略直交する構成でもよい。このように、ヘッドバンド部2(本体ケース21)は、バンド22によって頭部に沿って配置可能であれば、その外形は特に制限されない。
また、ヘッドバンド部2は、固定部としてバンド22を有するとした。しかしながら、本発明はこれに限らない。すなわち、アーム部を介して本体部に接続された表示部によって表示された虚像が使用者によって視認される位置に本体部を固定できれば、固定部の構成は問わない。例えば、固定部が、帽子又はヘルメットのように、使用者の頭部(詳しくは、頭部における上部分)の少なくとも一部を覆う形状及び構成であってもよい。
具体的には、固定部の構成として、固定部位を覆って装着されるヘッドキャップ型や、固定部位に沿う複数のバンドが頭頂部において交差する交差バンド型や、固定部位の周囲を囲み配置されるベルト型の構成を採用してもよい。また、固定部は、使用者の前後方向や、左右方向から、固定部位を挟むように当接される2以上の当接部材と、当該当接部材を連結する連結部と、を備える構成であってもよい。
具体的には、固定部の構成として、固定部位を覆って装着されるヘッドキャップ型や、固定部位に沿う複数のバンドが頭頂部において交差する交差バンド型や、固定部位の周囲を囲み配置されるベルト型の構成を採用してもよい。また、固定部は、使用者の前後方向や、左右方向から、固定部位を挟むように当接される2以上の当接部材と、当該当接部材を連結する連結部と、を備える構成であってもよい。
上記実施形態では、ヘッドバンド部2との接続部位を中心としてアーム部4を回動可能とし、表示部3の位置を調整可能とする構成を例示した。しかしながら、本発明はこれに限らない。例えば、アーム部4が可動部を備え、表示部3の位置を調整可能な構成を採用してもよい。また、アーム部4が、ヘッドバンド部2に対して固定されて回動可能とされず、かつ、可動部も備えない構成、すなち、ヘッドバンド部2に対して表示部3の所定の位置や角度に設定された構成としてもよい。
上記実施形態では、移動機構5として、表示部3側に設けられたガイドレール51と、アーム部4側に設けられたスライド部材52とを備える構成を例示した。しかしながら、本発明はこれに限らない。すなわち、ガイドレール51がアーム部4側に、スライド部材52が表示部3側に設けられてもよい。
また、移動機構5は、ガイドレール51に沿ってスライド部材52を摺動させる構成に限らず、表示部3とアーム部4とを相対的に移動させることで、ヘッドバンド部2に対して表示部3を接離させることができる移動機構であればよい。例えば、表示部3に接続されたアーム部4が、本体部としてのヘッドバンド部2に対してY方向に沿って移動可能に構成されていてもよい。
また、移動機構5は、ガイドレール51に沿ってスライド部材52を摺動させる構成に限らず、表示部3とアーム部4とを相対的に移動させることで、ヘッドバンド部2に対して表示部3を接離させることができる移動機構であればよい。例えば、表示部3に接続されたアーム部4が、本体部としてのヘッドバンド部2に対してY方向に沿って移動可能に構成されていてもよい。
上記実施形態では、撮像部23は、X方向に平行な回動軸R1を中心に回動されることにより、YZ面内、すなわち図1における上下方向で撮像方向を調整可能に構成されていた。しかしながら、本発明はこれに限らない。すなわち、上下方向以外の他の方向、例えば左右方向に撮像方向を調整可能に構成してもよいし、上下方向及び左右方向に撮像方向を調整可能に構成してもよい。また、撮像部23の撮像方向が固定されていてもよい。また、撮像部23を設けなくてもよい。
上記実施形態では、導光部材313L,313Rは、それぞれ固定されていた。しかしながら、本発明はこれに限らない。例えば、X方向に沿う回動軸を中心として、導光部材313L,313Rをそれぞれ独立して、或いは、連動して、使用者とは反対側に回動可能に構成してもよい。この場合、当該回動軸を、導光部材313におけるY方向側又はY方向とは反対側に位置するように構成することにより、導光部材313を回動させて、使用者USの視方向から退避させることができる。
上記実施形態では、制御基板24が、ヘッドバンド部2に設けられる構成を例示した。しかしながら、本発明はこれに限らない。例えば、制御基板24は、表示部3やアーム部4に設けられていてもよい。
上記実施形態では、ケーブルCBがヘッドバンド部2の内部を引き回され、ケーブルCRがアーム部4の内部を引き回された後、ヘッドバンド部2の内部を引き回されて制御基板24に接続される構成を例示した。しかしながら、本発明はこれに限らない。例えば、ケーブルCB,CRが、ヘッドバンド部2やアーム部4の外側を引き回された構成としてもよい。
上記実施形態では、ケーブルCBがヘッドバンド部2の内部を引き回され、ケーブルCRがアーム部4の内部を引き回された後、ヘッドバンド部2の内部を引き回されて制御基板24に接続される構成を例示した。しかしながら、本発明はこれに限らない。例えば、ケーブルCB,CRが、ヘッドバンド部2やアーム部4の外側を引き回された構成としてもよい。
上記実施形態では、使用者による各種入力操作を受け付けるコントローラーが接続され、当該コントローラーからの入力に応じて、制御基板24により虚像表示装置1が制御されていた。しかしながら、本発明はこれに限らない。
例えば、コントローラーが接続される構成において、虚像表示装置1(画像表示装置)とコントローラーとのうちの一方が、使用者の操作に応じた操作情報を取得する機能と、画像情報を取得して当該画像情報に応じて表示部3を駆動させる機能と、電力を供給する機能の少なくともいずれかを有し、他方が、残りの機能を有するように構成してもよい。
また、虚像表示装置1(画像表示装置)が、コントローラーを介して画像供給装置(PC等)に接続されてもよく、コントローラーを介さずに当該画像供給装置に直接接続されてもよい。このような構成において、虚像表示装置1は、画像供給装置における画像表示部分として用いられ、虚像表示装置1の各種動作は、画像供給装置によって制御される構成としてもよい。なお、この場合、画像供給装置が、虚像表示装置1を駆動させる電力を供給してもよい。
また、虚像表示装置1(例えば、ヘッドバンド部2や表示部3)にバッテリーや、画像処理装置等の制御装置が配置されてもよく、更に、メモリーカード等のスロットが設けられていてもよい。更に、虚像表示装置1に、使用者の操作を受け付ける操作部を設けてもよく、タップ操作を検出可能な構成を設けてもよい。すなわち、コントローラーは無くてもよい。
例えば、コントローラーが接続される構成において、虚像表示装置1(画像表示装置)とコントローラーとのうちの一方が、使用者の操作に応じた操作情報を取得する機能と、画像情報を取得して当該画像情報に応じて表示部3を駆動させる機能と、電力を供給する機能の少なくともいずれかを有し、他方が、残りの機能を有するように構成してもよい。
また、虚像表示装置1(画像表示装置)が、コントローラーを介して画像供給装置(PC等)に接続されてもよく、コントローラーを介さずに当該画像供給装置に直接接続されてもよい。このような構成において、虚像表示装置1は、画像供給装置における画像表示部分として用いられ、虚像表示装置1の各種動作は、画像供給装置によって制御される構成としてもよい。なお、この場合、画像供給装置が、虚像表示装置1を駆動させる電力を供給してもよい。
また、虚像表示装置1(例えば、ヘッドバンド部2や表示部3)にバッテリーや、画像処理装置等の制御装置が配置されてもよく、更に、メモリーカード等のスロットが設けられていてもよい。更に、虚像表示装置1に、使用者の操作を受け付ける操作部を設けてもよく、タップ操作を検出可能な構成を設けてもよい。すなわち、コントローラーは無くてもよい。
上記実施形態では、虚像表示装置として、シースルー型の虚像表示装置1を例示した。しかしながら、本発明はこれに限らない。すなわち、外界を観察できない非透過型の虚像表示装置や、外界を撮像する撮像素子による撮像画像を表示するビデオシースルー型の虚像表示装置に対しても、本発明を適用できる。
上記実施形態において、虚像表示装置1において画像光を生成する構成として、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよい。また、画像光を生成する構成として、LCOS(Liquid crystal on silicon, LCoSは登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明はLCDにより光を変調して画像光を生成する構成に限定されない。例えば、MEMS(Micro Electro Mechanical System)ミラーを用いた走査光学系を採用し、MEMSディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像生成部20は、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がMEMSミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。
また、図9に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図9に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部140が実行するプログラムは、記憶部120又は制御装置300内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部117又はインターフェイス125を介して取得して実行する構成としてもよい。また、制御装置300に形成された構成のうち、操作部111のみが単独の使用者インターフェイス(UI)として形成されてもよい。また、制御装置300に形成された構成が重複して虚像表示装置1に形成されていてもよい。例えば、図9に示す制御部140が制御装置300と虚像表示装置1との両方に形成されていてもよいし、制御装置300に形成された制御部140と虚像表示装置1に形成されたCPUとが行う機能が別々に分けられている構成としてもよい。
1…虚像表示装置、3…表示部、4…アーム部(連結部)、5…移動機構(連結部、可動部)、20…画像生成部、20L…画像生成部、20R…画像生成部、21…本体ケース、22…バンド、23…撮像部、25…回動軸部(連結部、可動部)、31…光学装置、31L…左眼用光学装置、31R…右眼用光学装置、41…第1端部、51…ガイドレール、52…スライド部材、100…HMD(表示装置)、120…記憶部、121…キャリブレーションデータ、140…制御部、160…画像処理部、170…表示制御部、181…撮像制御部、182…位置検出制御部、183…AR表示制御部、231…ステレオカメラ、236…回動軸部(連結部、可動部)、300…制御装置、302…トラックパッド、313…導光部材、313L…導光部材、313R…導光部材、A…撮像範囲、M…鏡、OB…対象物、R1…回動軸、R2…回動軸、US…使用者、VR…視野。
Claims (6)
- 外景を視認可能に、画像を表示する表示部と、
前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、
少なくとも1つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、
前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出する制御部と、
を備えることを特徴とする表示装置。 - 前記制御部は、前記撮像画像における前記撮像部の位置と前記表示部の位置とに基づいて、前記撮像部と前記表示部との相対位置関係を検出すること、
を特徴とする請求項1記載の表示装置。 - 使用者が装着する装着型表示装置として構成され、
前記制御部によって前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出する位置検出処理が行われる際に、前記撮像部で鏡を撮像するよう前記使用者に案内を行うこと、
を特徴とする請求項1または2記載の表示装置。 - 前記制御部は、前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出し、検出した相対位置関係に基づき、前記表示部における画像の表示位置の調整に係る調整データを生成すること、
を特徴とする請求項1から3のいずれかに記載の表示装置。 - 外景を視認可能に画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、少なくとも1つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、を有する表示装置を制御して、
前記撮像部に撮像を実行させ、
前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出すること、
を特徴とする表示装置の制御方法。 - 外景を視認可能に画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、少なくとも1つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、を有する表示装置を制御するコンピューターが実行可能なプログラムであって、
前記コンピューターを、
前記撮像部に撮像を実行させ、
前記撮像部の撮像画像に基づいて前記撮像部と前記表示部との相対位置関係を検出する制御部として機能させる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015099600A JP2016219897A (ja) | 2015-05-15 | 2015-05-15 | 表示装置、表示装置の制御方法、及び、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015099600A JP2016219897A (ja) | 2015-05-15 | 2015-05-15 | 表示装置、表示装置の制御方法、及び、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016219897A true JP2016219897A (ja) | 2016-12-22 |
Family
ID=57581652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015099600A Pending JP2016219897A (ja) | 2015-05-15 | 2015-05-15 | 表示装置、表示装置の制御方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016219897A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019176308A1 (ja) * | 2018-03-12 | 2019-09-19 | ソニー株式会社 | 情報処理装置、情報処理方法、および、プログラム |
CN112103616A (zh) * | 2017-08-01 | 2020-12-18 | 宏达国际电子股份有限公司 | 可传输WiGig频段的天线结构及收折与延伸该天线结构的方法 |
-
2015
- 2015-05-15 JP JP2015099600A patent/JP2016219897A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112103616A (zh) * | 2017-08-01 | 2020-12-18 | 宏达国际电子股份有限公司 | 可传输WiGig频段的天线结构及收折与延伸该天线结构的方法 |
US11942680B2 (en) | 2017-08-01 | 2024-03-26 | Htc Corporation | Antenna structure capable of transmitting a WiGig band and head-mounted wireless transmission display device |
WO2019176308A1 (ja) * | 2018-03-12 | 2019-09-19 | ソニー株式会社 | 情報処理装置、情報処理方法、および、プログラム |
CN111819521A (zh) * | 2018-03-12 | 2020-10-23 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
US11372249B2 (en) | 2018-03-12 | 2022-06-28 | Sony Corporation | Information processing device and information processing method |
CN111819521B (zh) * | 2018-03-12 | 2024-04-12 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6550885B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
US10306217B2 (en) | Display device, control method for display device, and computer program | |
US9959591B2 (en) | Display apparatus, method for controlling display apparatus, and program | |
US9898868B2 (en) | Display device, method of controlling the same, and program | |
JP6693060B2 (ja) | 表示システム、表示装置、表示装置の制御方法、及び、プログラム | |
CN105988219B (zh) | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 | |
JP6492531B2 (ja) | 表示装置、及び、表示装置の制御方法 | |
US9794684B2 (en) | Head-mounted display device, control method for the same, and computer program | |
US9904053B2 (en) | Display device, and method of controlling display device | |
JP2016004340A (ja) | 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム | |
JP6432197B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP2016122177A (ja) | 表示装置、及び、表示装置の制御方法 | |
JP2016033759A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP2016024208A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP6439448B2 (ja) | 表示システム、プログラム、及び、表示装置の制御方法 | |
JP2017092628A (ja) | 表示装置、及び、表示装置の制御方法 | |
JP6565310B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2016219897A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2016033763A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP6638195B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP2016090853A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2016116066A (ja) | 表示装置、及び、表示装置の制御方法 | |
JP2016206284A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2016034091A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP2016051102A (ja) | 表示装置およびその制御方法、並びにコンピュータープログラム |