JP2016163136A - 表示装置、及び、表示装置の制御方法 - Google Patents
表示装置、及び、表示装置の制御方法 Download PDFInfo
- Publication number
- JP2016163136A JP2016163136A JP2015038654A JP2015038654A JP2016163136A JP 2016163136 A JP2016163136 A JP 2016163136A JP 2015038654 A JP2015038654 A JP 2015038654A JP 2015038654 A JP2015038654 A JP 2015038654A JP 2016163136 A JP2016163136 A JP 2016163136A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- display
- camera
- imaging
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】撮像する機能を備えた頭部装着型の表示装置において、撮像範囲の変更を可能とする。【解決手段】使用者の頭部に装着される頭部装着型の頭部装着型表示装置100は、使用者の頭部に装着される表示部本体を有する画像表示部20と、表示部本体に対し変位可能に連結されたカメラ61と、表示部本体に対するカメラ61の位置または変位を検出する第1センサー71及び第2センサー72とを備える。頭部装着型表示装置100は、第1センサー71及び第2センサー72により本体とカメラ61との相対位置を求める位置検出部184を備える。【選択図】図3
Description
本発明は、表示装置、及び、表示装置の制御方法に関する。
従来、頭部に装着する表示装置が知られている(例えば、特許文献1参照)。特許文献1記載のディスプレイは、眼鏡型のフレームにシースルーの導光手段を設けたディスプレイであり、フレームに撮像装置が取り付けられる。このディスプレイは、撮像装置によって撮像した画像と、導光手段を通してユーザーが視認する対象物の像とを一致させることで、補正データを生成し、その補正データに基づいて撮像データをユーザーの視野と一致させる。これにより、対象物の像に対して対象物に関する各種のデータを重ねて表示するAR(Augmented Reality)技術を実現する。
特許文献1記載のディスプレイが備える撮像装置は、フレームに固定的に設けられるため、撮像装置の撮像範囲を変化させるためには、ユーザーが頭部を動かす必要があった。
本発明は上記事情に鑑みてなされたものであり、撮像する機能を備えた頭部装着型の表示装置において、撮像範囲を変更できるようにすることを目的とする。
本発明は上記事情に鑑みてなされたものであり、撮像する機能を備えた頭部装着型の表示装置において、撮像範囲を変更できるようにすることを目的とする。
上記課題を解決するため、本発明は、使用者の頭部に装着される表示部本体を有する表示部と、前記表示部本体に対し、変位可能に連結された撮像部と、前記表示部本体に対する前記撮像部の位置または変位を検出する検出部と、前記検出部により前記表示部本体と前記撮像部との相対位置を求める制御部と、を備えることを特徴とする。
本発明によれば、表示部本体に対して変位可能な撮像部を備えることで、撮像範囲を変化させることができる。また、撮像部を動かした場合に表示部本体と撮像部との相対位置を求めるので、撮像部の動きに伴い必要な補正等の処理を実行できる。
本発明によれば、表示部本体に対して変位可能な撮像部を備えることで、撮像範囲を変化させることができる。また、撮像部を動かした場合に表示部本体と撮像部との相対位置を求めるので、撮像部の動きに伴い必要な補正等の処理を実行できる。
また、本発明は、上記表示装置において、前記撮像部と前記表示部本体とを回動可能に連結する連結部を有し、前記検出部は前記連結部における前記撮像部と前記表示部本体との角度の大きさまたは角度の変化を検出すること、を特徴とする。
本発明によれば、撮像部を表示部本体に対し可動に連結し、撮像部の位置または変位を検出する構成を、容易に実現できる。
本発明によれば、撮像部を表示部本体に対し可動に連結し、撮像部の位置または変位を検出する構成を、容易に実現できる。
また、本発明は、上記表示装置において、複数の前記検出部を備え、前記制御部は複数の前記検出部の検出値に基づいて、前記表示部本体と前記撮像部との相対位置を求めること、を特徴とする。
本発明によれば、複数の検出部を用いて撮像部の位置または変位を、より正確に検出できる。
本発明によれば、複数の検出部を用いて撮像部の位置または変位を、より正確に検出できる。
また、本発明は、上記表示装置において、前記撮像部の撮像画像に基づき前記表示部にコンテンツを表示する表示処理部を備えること、を特徴とする。
本発明によれば、撮像部が撮影した画像に基づきコンテンツを表示することができ、この撮像部を変位させて撮像範囲を変えることができる。
本発明によれば、撮像部が撮影した画像に基づきコンテンツを表示することができ、この撮像部を変位させて撮像範囲を変えることができる。
また、本発明は、上記表示装置において、前記表示処理部は、前記制御部が求める前記表示部本体と前記撮像部との相対位置に基づき、前記コンテンツの表示位置を調整すること、を特徴とする。
本発明によれば、撮像部が撮影した画像に基づきコンテンツを表示することができ、この撮像部を変位させた場合に表示位置を調整して、表示の整合性を保つことができる。このため、コンテンツの表示を継続した状態で撮像部を変位させることができる。
本発明によれば、撮像部が撮影した画像に基づきコンテンツを表示することができ、この撮像部を変位させた場合に表示位置を調整して、表示の整合性を保つことができる。このため、コンテンツの表示を継続した状態で撮像部を変位させることができる。
また、本発明は、上記表示装置において、前記表示処理部は、前記表示部本体と前記撮像部との相対位置に基づき、前記使用者の視界の中心軸と、前記撮像部の光軸とのズレを補償するように前記コンテンツの表示位置を調整すること、を特徴とする。
本発明によれば、撮像部が撮影した画像に基づき表示するコンテンツの位置を、使用者の視線に適した位置に補正できる。
本発明によれば、撮像部が撮影した画像に基づき表示するコンテンツの位置を、使用者の視線に適した位置に補正できる。
また、本発明は、上記表示装置において、前記制御部は、前記検出部の検出結果に基づき、前記コンテンツの表示位置の調整の要否を判定すること、を特徴とする。
本発明によれば、コンテンツの表示位置を、適切な精度で制御できる。
本発明によれば、コンテンツの表示位置を、適切な精度で制御できる。
また、本発明は、上記表示装置において、前記表示処理部は、前記コンテンツの表示位置を調整する前に報知を行うこと、を特徴とする。
本発明によれば、表示部本体を装着して使用する使用者の利便性の向上を図ることができる。
本発明によれば、表示部本体を装着して使用する使用者の利便性の向上を図ることができる。
また、本発明は、上記表示装置において、前記撮像部と前記制御部とを有線接続し、前記撮像部の撮像画像を前記制御部に伝送する接続部を備え、前記接続部は前記撮像部と前記表示部本体とを連結する連結部に沿って配置されること、を特徴とする。
本発明によれば、撮像部が撮影する画像をより確実に制御部に伝送できる。
本発明によれば、撮像部が撮影する画像をより確実に制御部に伝送できる。
また、本発明は、上記表示装置において、前記撮像部の撮像画像を前記制御部に無線伝送する無線伝送部を備えること、を特徴とする。
本発明によれば、撮像部を、より高い自由度で変位させることができる。
本発明によれば、撮像部を、より高い自由度で変位させることができる。
また、上記課題を解決するため、本発明は、使用者の頭部に装着される表示部本体に表示部を設け、前記表示部本体に対し変位可能に連結された撮像部を備える表示装置において、前記表示部本体に対する前記撮像部の位置または変位を検出することにより、前記表示部本体と前記撮像部との相対位置を求めること、を特徴とする。
本発明によれば、表示部本体に対して撮像部を動かし、撮像範囲を変化させることができる。そして、撮像部を動かした場合に表示部本体と撮像部との相対位置を求めるので、撮像部の動きに伴い必要な補正等の処理を実行できる。
本発明によれば、表示部本体に対して撮像部を動かし、撮像範囲を変化させることができる。そして、撮像部を動かした場合に表示部本体と撮像部との相対位置を求めるので、撮像部の動きに伴い必要な補正等の処理を実行できる。
[第1実施形態]
図1は、本発明を適用した実施形態に係る頭部装着型表示装置100(表示装置)の外観構成を示す説明図である。
頭部装着型表示装置100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置10と、を備えている。制御装置10は、使用者が頭部装着型表示装置100を操作するコントローラーとしても機能する。
図1は、本発明を適用した実施形態に係る頭部装着型表示装置100(表示装置)の外観構成を示す説明図である。
頭部装着型表示装置100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置10と、を備えている。制御装置10は、使用者が頭部装着型表示装置100を操作するコントローラーとしても機能する。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状のフレーム2を有する。フレーム2は、右保持部21及び左保持部23を有する。右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21は使用者の頭部において右耳またはその近傍に当接し、左保持部23は使用者の左耳またはその近傍に当接して、使用者の頭部に画像表示部20を保持する。フレーム2は、画像表示部20の本体(表示部本体)を構成する。頭部装着型表示装置100の本体がフレーム2であるか、制御装置10であるかは限定されない。
フレーム2には、右表示駆動部22と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、マイク63とが設けられる。
眼鏡型のフレーム2は、使用者の右眼の前に位置する右部2A、及び、左眼の前に位置する左部2Bを有し、右部2Aと左部2Bとがブリッジ部2Cで連結された形状である。ブリッジ部2Cは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、右部2Aと左部2Bとを互いに連結する。
右部2A及び左部2Bは、それぞれテンプル部2D、2Eに連結される。テンプル部2D、2Eは眼鏡のテンプルのようにして、フレーム2を使用者の頭部に支持する。本実施形態のテンプル部2Dは右保持部21で構成され、テンプル部2Eは左保持部23で構成される。
右光学像表示部26は右部2Aに配置され、左光学像表示部28は左部2Bに配置される、それぞれ、使用者が画像表示部20を装着した際に使用者の右及び左の眼前に位置する。
眼鏡型のフレーム2は、使用者の右眼の前に位置する右部2A、及び、左眼の前に位置する左部2Bを有し、右部2Aと左部2Bとがブリッジ部2Cで連結された形状である。ブリッジ部2Cは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、右部2Aと左部2Bとを互いに連結する。
右部2A及び左部2Bは、それぞれテンプル部2D、2Eに連結される。テンプル部2D、2Eは眼鏡のテンプルのようにして、フレーム2を使用者の頭部に支持する。本実施形態のテンプル部2Dは右保持部21で構成され、テンプル部2Eは左保持部23で構成される。
右光学像表示部26は右部2Aに配置され、左光学像表示部28は左部2Bに配置される、それぞれ、使用者が画像表示部20を装着した際に使用者の右及び左の眼前に位置する。
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部22及び左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26及び左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」と呼ぶ)、図3を参照して後述する投写光学系251,252等を含む。
右光学像表示部26及び左光学像表示部28は、導光板261,262(図2)と、調光板20Aとを備える。導光板261,262は、光透過性の樹脂等によって形成され、表示駆動部22,24が出力する画像光を、使用者の眼に導く。調光板20Aは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置される。調光板20Aは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板20Aの光学特性(光透過率など)を適宜選択することにより、外部から右光学像表示部26及び左光学像表示部28に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、画像表示部20を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板20Aを用いる場合について説明する。調光板20Aは、光学素子である右導光板261及び左導光板262を保護し、右導光板261及び左導光板262の損傷や汚れの付着等を抑制する。
調光板20Aは、右光学像表示部26及び左光学像表示部28に対し着脱可能としてもよく、複数種類の調光板20Aを交換して装着可能としてもよいし、省略してもよい。
右光学像表示部26及び左光学像表示部28は、導光板261,262(図2)と、調光板20Aとを備える。導光板261,262は、光透過性の樹脂等によって形成され、表示駆動部22,24が出力する画像光を、使用者の眼に導く。調光板20Aは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置される。調光板20Aは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板20Aの光学特性(光透過率など)を適宜選択することにより、外部から右光学像表示部26及び左光学像表示部28に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、画像表示部20を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板20Aを用いる場合について説明する。調光板20Aは、光学素子である右導光板261及び左導光板262を保護し、右導光板261及び左導光板262の損傷や汚れの付着等を抑制する。
調光板20Aは、右光学像表示部26及び左光学像表示部28に対し着脱可能としてもよく、複数種類の調光板20Aを交換して装着可能としてもよいし、省略してもよい。
また、フレーム2には、カメラユニット3が設けられる。カメラユニット3は、カメラ61が配置されるカメラ台座部3Cと、カメラ台座部3Cを支持するアーム部3A、3Bとを有する。アーム部3Aは、右保持部21の先端部APに設けられたヒンジ21A(連結部)により、回動可能に右保持部21に連結される。アーム部3Bは、左保持部23の先端部APに設けられたヒンジ23A(連結部)により、回動可能に左保持部23に連結される。このため、カメラユニット3は全体として、図中矢印Kで示す方向、すなわち装着状態において上下に回動可能である。カメラユニット3は、回動範囲の下端でフレーム2に接する。また、カメラユニット3の回動範囲の上端はヒンジ21A、23Aの仕様等で決定される。
ヒンジ21Aには、後述する第1センサー71(図3)が設けられ、ヒンジ23Aには後述する第2センサー72(図3)が設けられる。第1センサー71及び第2センサー72は、検出部として機能し、ヒンジ21A、23Aの回動位置、または、回動の動作を検出する。第1センサー71及び第2センサー72は、例えば、ロータリーエンコーダーで構成することもできる。詳細には、発光部と受光部とを有する光センサーとヒンジ21A、23Aを中心とする回動に伴い動作する遮光板とを備え、遮光板に設けられるスリットを透過する光を検出する構成が挙げられる。この場合、第1センサー71は、ヒンジ21Aにおけるテンプル部2Dとアーム部3Aとの角度が拡大する動作、及び、角度が縮小する動作を検出し、動作量をカウント可能である。また、第2センサー72は、ヒンジ23Aに関して同様に検出を行う。また、第1センサー71及び第2センサー72は、可変抵抗器や磁気センサーを用い、ヒンジ21Aにおけるテンプル部2Dとアーム部3Aとの角度、及び、ヒンジ23Aにおけるテンプル部2Eとアーム部3Bとの角度を、それぞれ検出してもよい。
本実施形態で、第1センサー71及び第2センサー72は、光学的に検出を行うロータリーエンコーダーとする。第1センサー71は、ヒンジ21Aでテンプル部2Dに対しアーム部3Aが回動すると、所定角度回動する毎にパルスを出力する。第2センサー72は、ヒンジ23Aでテンプル部2Eに対しアーム部3Bが回動すると、所定角度回動する毎にパルスを出力する。第1センサー71、第2センサー72は、回動方向を示す信号を出力してもよい。
また、第1センサー71及び第2センサー72が、ロータリーエンコーダーのパルスをカウントする機能を備え、パルスのカウント値及び回転方向に基づき、ヒンジ21A、23Aの角度を出力してもよい。
また、第1センサー71及び第2センサー72が、ロータリーエンコーダーのパルスをカウントする機能を備え、パルスのカウント値及び回転方向に基づき、ヒンジ21A、23Aの角度を出力してもよい。
カメラ台座部3Cは、右部2A、左部2B及びブリッジ部2Cの上部に跨がって位置する板状または棒状部材であり、ブリッジ部2Cの上に相当する位置に、カメラ61が埋込設置される。カメラ61(撮像部)は、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ61は、頭部装着型表示装置100の表側方向、換言すれば、画像表示部20を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ61の撮像範囲の広さは適宜設定可能であるが、例えばカメラユニット3の回動範囲の下端において、カメラ61の撮像範囲が、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界を含むことが好ましい。さらに、調光板20Aを通した使用者の視界の全体を撮像できるようにカメラ61の撮像範囲が設定されているとより好ましい。
カメラ61は、制御部140が備える撮像処理部181(図3)の制御に従って撮像を実行し、撮像画像データを撮像処理部181に出力する。
カメラ61は、頭部装着型表示装置100の表側方向、換言すれば、画像表示部20を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ61の撮像範囲の広さは適宜設定可能であるが、例えばカメラユニット3の回動範囲の下端において、カメラ61の撮像範囲が、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界を含むことが好ましい。さらに、調光板20Aを通した使用者の視界の全体を撮像できるようにカメラ61の撮像範囲が設定されているとより好ましい。
カメラ61は、制御部140が備える撮像処理部181(図3)の制御に従って撮像を実行し、撮像画像データを撮像処理部181に出力する。
画像表示部20は、制御装置10に接続部40を介して接続する。接続部40は、制御装置10に接続される本体コード48、右コード42、左コード44、及び、連結部材46を備える。右コード42及び左コード44は、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続される。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続される。
連結部材46は、本体コード48と、右コード42及び左コード44との分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有する。イヤホンプラグ30からは、右イヤホン32及び左イヤホン34が延伸する。イヤホンプラグ30の近傍にはマイク63が設けられる。イヤホンプラグ30からマイク63までは一本のコードにまとめられ、マイク63からコードが分岐して、右イヤホン32と左イヤホン34のそれぞれに繋がる。
マイク63は、例えば図1に示すように、マイク63の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部187(図3)に出力する。マイク63は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
右コード42、左コード44、及び、本体コード48は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード42と左コード44とを一本のコードにまとめた構成としてもよい。
画像表示部20と制御装置10とは、接続部40を介して各種信号を伝送する。本体コード48の連結部材46とは反対側の端部、及び、制御装置10には、互いに嵌合するコネクター(図示略)が設けられる。本体コード48のコネクターと制御装置10のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置10と画像表示部20とを接離できる。
制御装置10は、頭部装着型表示装置100を制御する。制御装置10は、決定キー11、点灯部12、表示切替キー13、輝度切替キー15、方向キー16、メニューキー17、及び電源スイッチ18を含むスイッチ類を備える。また、制御装置10は、使用者が手指で操作するトラックパッド14を備える。
決定キー11は、押下操作を検出して、制御装置10で操作された内容を決定する信号を出力する。点灯部12は、LED(Light Emitting Diode)等の光源を備え、光源の点灯状態により、頭部装着型表示装置100の動作状態(例えば、電源のON/OFF)を通知する。表示切替キー13は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。
トラックパッド14は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー15は、押下操作に応じて画像表示部20の輝度の増減を指示する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ18は、頭部装着型表示装置100の電源オン/オフを切り替えるスイッチである。
図2は、画像表示部20が備える光学系の構成を示す要部平面図である。図2には説明のため使用者の左眼LE及び右眼REを図示する。
左表示駆動部24は、左バックライト222、左LCD242、及び左投写光学系252を備える。左バックライト222はLED等の光源と拡散板とを有する。左LCD242は、左バックライト222の拡散板から発せられる光の光路上に配置され、複数の画素をマトリクス状に配置した透過型液晶パネルである。左投写光学系252は、左LCD242を透過した画像光Lを導くレンズ群等を備える。
左表示駆動部24は、左バックライト222、左LCD242、及び左投写光学系252を備える。左バックライト222はLED等の光源と拡散板とを有する。左LCD242は、左バックライト222の拡散板から発せられる光の光路上に配置され、複数の画素をマトリクス状に配置した透過型液晶パネルである。左投写光学系252は、左LCD242を透過した画像光Lを導くレンズ群等を備える。
左投写光学系252は、左LCD242から射出された画像光Lを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Lは、左導光板262(光学素子)に入射される。左導光板262は、画像光Lを反射する複数の反射面が形成されたプリズムであり、画像光Lは、左導光板262の内部において複数回の反射を経て左眼LE側に導かれる。左導光板262には、左眼LEの眼前に位置するハーフミラー262A(反射面)が形成される。
ハーフミラー262Aで反射した画像光Lは左眼LEに向けて左光学像表示部28から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。
ハーフミラー262Aで反射した画像光Lは左眼LEに向けて左光学像表示部28から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。
右表示駆動部22は、左表示駆動部24と左右対称に構成される。右表示駆動部22は、右バックライト221、右LCD241、及び右投写光学系251を備える。右バックライト221はLED等の光源と拡散板とを有する。右LCD241は、右バックライト221の拡散板から発せられる光の光路上に配置され、複数の画素をマトリクス状に配置した透過型液晶パネルである。右投写光学系251は、右LCD241を透過した画像光Lを導くレンズ群等を備える。
右投写光学系251は、右LCD241から射出された画像光Lを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Lは、右導光板261(光学素子)に入射される。右導光板261は、画像光Lを反射する複数の反射面が形成されたプリズムであり、画像光Lは、右導光板261の内部において複数回の反射を経て右眼RE側に導かれる。右導光板261には、右眼REの眼前に位置するハーフミラー261A(反射面)が形成される。
ハーフミラー261Aで反射した画像光Lは右眼REに向けて右光学像表示部26から射出され、この画像光Lが右眼REの網膜に像を結び、使用者に画像を視認させる。
ハーフミラー261Aで反射した画像光Lは右眼REに向けて右光学像表示部26から射出され、この画像光Lが右眼REの網膜に像を結び、使用者に画像を視認させる。
使用者の右眼REには、ハーフミラー261Aで反射した画像光Lと、調光板20Aを透過した外光OLとが入射する。左眼LEには、ハーフミラー262Aで反射した画像光Lと、調光板20Aを透過した外光OLとが入射する。このように、頭部装着型表示装置100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させ、使用者にとっては、調光板20Aを透かして外景が見え、この外景に重ねて、画像光Lによる画像が視認される。このように、頭部装着型表示装置100は、シースルー型の表示装置として機能する。
なお、左投写光学系252と左導光板262とを総称して「左導光部」とも呼び、右投写光学系251と右導光板261とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
図3は、頭部装着型表示装置100を構成する各部の機能ブロック図である。
頭部装着型表示装置100は、コンテンツの供給元となる種々の外部機器OAを接続するインターフェイス125を備える。インターフェイス125は、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器OAは、頭部装着型表示装置100に画像を供給する画像供給装置であり、パーソナルコンピューター(PC)、携帯電話端末、携帯型ゲーム機等が用いられる。
頭部装着型表示装置100は、コンテンツの供給元となる種々の外部機器OAを接続するインターフェイス125を備える。インターフェイス125は、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器OAは、頭部装着型表示装置100に画像を供給する画像供給装置であり、パーソナルコンピューター(PC)、携帯電話端末、携帯型ゲーム機等が用いられる。
制御装置10は、制御部140、入力情報取得部110、記憶部120、送信部(Tx)51及び送信部(Tx)52を有する。
入力情報取得部110は、操作部135に接続される。操作部135は、上記のトラックパッド14、方向キー16、電源スイッチ18等を含み、入力情報取得部110は、操作部135から入力される信号に基づき、入力内容を取得する。また、制御装置10は、電源部130を備え、制御装置10及び画像表示部20の各部に電源を供給する。
入力情報取得部110は、操作部135に接続される。操作部135は、上記のトラックパッド14、方向キー16、電源スイッチ18等を含み、入力情報取得部110は、操作部135から入力される信号に基づき、入力内容を取得する。また、制御装置10は、電源部130を備え、制御装置10及び画像表示部20の各部に電源を供給する。
記憶部120は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部120は、画像表示部20に表示する静止画像や動画像のデータを記憶しても良い。
記憶部120は、設定データ121を記憶する。設定データ121は、制御部140が実行する各種処理に係る設定値を含む。例えば、画像処理部160及び表示制御部170が画像信号を処理する場合の解像度等の設定値を含む。設定データ121が含む設定値は、予め操作部135の操作で入力された値であってもよいし、通信部117またはインターフェイス125を介して外部機器OAまたは他の装置(図示略)から設定値を受信して記憶してもよい。
記憶部120は、設定データ121を記憶する。設定データ121は、制御部140が実行する各種処理に係る設定値を含む。例えば、画像処理部160及び表示制御部170が画像信号を処理する場合の解像度等の設定値を含む。設定データ121が含む設定値は、予め操作部135の操作で入力された値であってもよいし、通信部117またはインターフェイス125を介して外部機器OAまたは他の装置(図示略)から設定値を受信して記憶してもよい。
記憶部120は、コンテンツデータ123を記憶する。コンテンツデータ123は、AR表示制御部186がAR表示するコンテンツの画像(静止画像、或いは動画像)データ、及び/又は音声データを含む。
制御部140には、センサー113、GPS115、通信部117及び音声認識部(図示略)が接続される。センサー113は、加速度センサーや角速度センサー等の慣性センサーを有し、制御部140はセンサー113の検出値を取得する。センサー113は、例えば3軸の加速度センサーや、3軸の加速度センサーと3軸の角速度センサーと3軸の磁気センサーとを有する9軸センサーとして構成してもよい。
GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置10の現在位置を算出する。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御部140が計時する時刻を修正させる機能を備えていてもよい。
GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置10の現在位置を算出する。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御部140が計時する時刻を修正させる機能を備えていてもよい。
通信部117は、無線LAN(WiFi(登録商標))、Miracast(登録商標)、Bluetooth(登録商標)等の規格に準じた無線データ通信を実行する。
外部機器OAが、通信部117に無線接続された場合、制御部140は、コンテンツデータ123を通信部117より取得して、画像表示部20に画像を表示させる。一方、外部機器OAが、インターフェイス125に有線接続された場合、制御部140は、コンテンツデータ123をインターフェイス125より取得して、画像表示部20に画像を表示させる。通信部117及びインターフェイス125は、外部機器OAからコンテンツデータ123を取得するデータ取得部DAとして機能する。
外部機器OAが、通信部117に無線接続された場合、制御部140は、コンテンツデータ123を通信部117より取得して、画像表示部20に画像を表示させる。一方、外部機器OAが、インターフェイス125に有線接続された場合、制御部140は、コンテンツデータ123をインターフェイス125より取得して、画像表示部20に画像を表示させる。通信部117及びインターフェイス125は、外部機器OAからコンテンツデータ123を取得するデータ取得部DAとして機能する。
制御部140は、プログラムを実行するCPU(図示略)、CPUが実行するプログラムやデータを一時的に格納するRAM(図示略)、及び、CPUが実行する基本制御プログラムやデータを不揮発的に記憶するROM(図示略)を有する。制御部140は、CPUにより制御プログラムを実行することで、頭部装着型表示装置100の各部を制御する。また、制御部140は、記憶部120が記憶するコンピュータープログラムを読み出して実行し、制御部140の各種機能を実現する。すなわち、オペレーティングシステム(OS)150、画像処理部160、表示制御部170、撮像処理部181、位置検出部184(制御部)、AR表示制御部186(表示処理部)、及び、音声処理部187として機能する。
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示略)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示略)を用いてディジタル画像信号に変換する。画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データ(図中、Data)として、1フレームごとに、制御部140のRAMに格納する。この画像データは、例えばRGBデータである。
なお、画像処理部160は、必要に応じて、画像データの解像度を右表示駆動部22及び左表示駆動部24に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部160は、画像データの輝度や彩度を調整する画像調整処理、3D画像データから2D画像データを作成し、或いは2D画像データから3D画像データを生成する2D/3D変換処理等を実行してもよい。
なお、画像処理部160は、必要に応じて、画像データの解像度を右表示駆動部22及び左表示駆動部24に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部160は、画像データの輝度や彩度を調整する画像調整処理、3D画像データから2D画像データを作成し、或いは2D画像データから3D画像データを生成する2D/3D変換処理等を実行してもよい。
画像処理部160は、クロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、RAMに格納された画像データDataのそれぞれを、送信部51、52を介して送信する。送信部51、52は、トランシーバーとして機能し、制御装置10と画像表示部20との間におけるシリアル伝送を実行する。なお、送信部51を介して送信される画像データDataを「右眼用画像データ」と呼び、送信部52を介して送信される画像データDataを「左眼用画像データ」と呼ぶ。
表示制御部170は、右表示駆動部22及び左表示駆動部24を制御する制御信号を生成し、この制御信号により、右表示駆動部22及び左表示駆動部24のそれぞれによる画像光の生成及び射出を制御する。具体的には、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFFを制御する。また、表示制御部170は、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFを制御する。
撮像処理部181は、カメラ61を制御して撮像を実行させ、撮像画像データを取得する。
位置検出部184は、第1センサー71及び第2センサー72に接続して、ヒンジ21Aにおけるテンプル部2Dとアーム部3Aとの角度、及び、ヒンジ23Aにおけるテンプル部2Eとアーム部3Bとの角度を検出する。
位置検出部184は、第1センサー71及び第2センサー72に接続して、ヒンジ21Aにおけるテンプル部2Dとアーム部3Aとの角度、及び、ヒンジ23Aにおけるテンプル部2Eとアーム部3Bとの角度を検出する。
AR表示制御部186は、記憶部120が記憶するコンテンツデータ123を読み出し、画像処理部160及び表示制御部170を制御して、AR表示用の画像を画像表示部20により表示させる。また、AR表示制御部186は、コンテンツデータ123が音声データを含む場合、音声処理部187を制御して、右イヤホン32、左イヤホン34からコンテンツの音声を出力させる。
AR表示制御部186は、位置検出部184が検出するヒンジ21A、23Aにおける回動位置に基づき、ARコンテンツの表示を制御する。
AR表示制御部186は、使用者が画像表示部20越しに対象物を見ている状態でARコンテンツを表示する。AR表示制御部186は、対象物に対応する位置に画像や文字等を表示するAR表示を行うことで、対象物に関する情報を提供し、或いは、画像表示部20越しに見える対象物の姿の見え方を変える。ARコンテンツは、対象物に対応する位置に表示される画像や文字のデータを含む。また、ARコンテンツに、対象物を特定するデータ、及び、画像や文字の表示位置に関するデータ等を含んでもよい。ARコンテンツの表示位置は対象物に重なる位置であっても対象物の周囲であってもよい。対象物は物体であればよく、建物等の不動産であってもよいし、自動車や電車などの移動体であってもよく、人間や動物などの生物であってもよい。AR表示制御部186は、撮像処理部181が取得する撮像画像データから、使用者の視界に位置する対象物を検出する。そして、AR表示制御部186は、検出した対象物に対応するARコンテンツの表示位置を決定し、ARコンテンツを表示する。
AR表示制御部186は、使用者が画像表示部20越しに対象物を見ている状態でARコンテンツを表示する。AR表示制御部186は、対象物に対応する位置に画像や文字等を表示するAR表示を行うことで、対象物に関する情報を提供し、或いは、画像表示部20越しに見える対象物の姿の見え方を変える。ARコンテンツは、対象物に対応する位置に表示される画像や文字のデータを含む。また、ARコンテンツに、対象物を特定するデータ、及び、画像や文字の表示位置に関するデータ等を含んでもよい。ARコンテンツの表示位置は対象物に重なる位置であっても対象物の周囲であってもよい。対象物は物体であればよく、建物等の不動産であってもよいし、自動車や電車などの移動体であってもよく、人間や動物などの生物であってもよい。AR表示制御部186は、撮像処理部181が取得する撮像画像データから、使用者の視界に位置する対象物を検出する。そして、AR表示制御部186は、検出した対象物に対応するARコンテンツの表示位置を決定し、ARコンテンツを表示する。
ARコンテンツは、使用者が対象物を視認する位置に重なるように、或いは、対象物を視認する位置に合わせて、表示することが望ましい。このため、AR表示制御部186は、撮像処理部181の撮像画像データから対象物の画像を検出し、検出した対象物の画像と撮像画像全体との位置関係に基づき、カメラ61の撮像範囲における対象物の位置を特定する。AR表示制御部186は、カメラ61の撮像範囲と、画像表示部20の表示領域との位置関係に基づき、対象物の位置に対応するARコンテンツの表示位置を決定する。
図4は、頭部装着型表示装置100の装着状態を示す側面図であり、(A)はカメラユニット3を回動させない状態を示し、(B)はカメラユニット3をフレーム2に対して上向きに回動させた状態を示す。
図4(A)において、一点鎖線L1は使用者の視線を示し、使用者の視野を符号W1で示す。二点鎖線L2はカメラ61の撮像方向、すなわち、カメラ61が備える撮像光学系(図示略)の光軸を示す。また、図ではカメラ61の撮像範囲を符号W2で示す。
使用者の視線方向に対象物OBが位置している場合、AR表示制御部186は、対象物OBの位置に合わせて、ARコンテンツOB´を表示する。ARコンテンツOB´は対象物OBに重なって見える画像であり、画像表示部20が使用者の眼に向けて発する画像光Lが形成する虚像である。図4(A)には、使用者がARコンテンツOB´を視認(知覚)する仮想の位置を、破線で示す。
図4(A)において、一点鎖線L1は使用者の視線を示し、使用者の視野を符号W1で示す。二点鎖線L2はカメラ61の撮像方向、すなわち、カメラ61が備える撮像光学系(図示略)の光軸を示す。また、図ではカメラ61の撮像範囲を符号W2で示す。
使用者の視線方向に対象物OBが位置している場合、AR表示制御部186は、対象物OBの位置に合わせて、ARコンテンツOB´を表示する。ARコンテンツOB´は対象物OBに重なって見える画像であり、画像表示部20が使用者の眼に向けて発する画像光Lが形成する虚像である。図4(A)には、使用者がARコンテンツOB´を視認(知覚)する仮想の位置を、破線で示す。
図4(A)の状態で、使用者には、対象物OBに重なってARコンテンツOB´が視認される。これに対し、カメラユニット3をフレーム2に対して上向きに回動させると、図4(B)に示すように、カメラ61の撮像方向L2及び撮像範囲W2は、上方に移動する。この場合、カメラ61の撮像範囲W2と使用者の視野W1との対応関係が変化する。具体的には、カメラ61の撮像範囲W2における対象物OBの位置が変化するので、AR表示制御部186が検出する対象物OBの位置が変化する。従って、対象物OBと使用者との相対位置が変化していなくても、AR表示制御部186が求める対象物OBの位置は変化する。AR表示制御部186は、変化した対象物OBの位置に基づきARコンテンツOB´の表示位置を決定する。このため、図4(B)に示すように、使用者には、ARコンテンツOB´の表示位置が、対象物OBの位置に対応しないように見える。
また、カメラユニット3をフレーム2に対し上向きに動かす場合だけでなく、フレーム2を下向きに動かす場合も、変化が生じる。この場合は、使用者の視野W1が下方に移動するため、AR表示制御部186が検出する対象物OBの位置と、使用者の視野W1で使用者が視認する対象物OBの位置とがずれる。従って、図4(B)に示すケースと同様に、使用者には、ARコンテンツOB´の表示位置が、対象物OBの位置に対応しないように見える。
AR表示制御部186は、図4(A)から(B)に示すように、カメラユニット3、またはフレーム2が回動した場合に、この回動に合わせてARコンテンツOB´の表示位置を調整する機能を有する。AR表示制御部186は、カメラ61の撮像範囲と、画像表示部20の表示領域との位置関係に基づき、対象物の位置に対応するARコンテンツの表示位置を決定した後で、表示位置を調整する。
すなわち、AR表示制御部186は、使用者が画像表示部20越しに視認する視界の中心軸と、カメラ61の光軸とのズレ量を求め、このズレ量を補償するようにARコンテンツの表示位置を補正する。この表示位置の調整(補正)は、位置検出部184が検出する第1センサー71、及び第2センサー72の検出値に基づく。この調整については後述する。
すなわち、AR表示制御部186は、使用者が画像表示部20越しに視認する視界の中心軸と、カメラ61の光軸とのズレ量を求め、このズレ量を補償するようにARコンテンツの表示位置を補正する。この表示位置の調整(補正)は、位置検出部184が検出する第1センサー71、及び第2センサー72の検出値に基づく。この調整については後述する。
音声処理部187は、AR表示制御部186の制御によりコンテンツの音声信号を取得し、取得した音声信号を増幅して、右イヤホン32および左イヤホン34に出力する。また、音声処理部187は、マイク63により集音される音声を取得してディジタル音声データに変換する。音声処理部187は、ディジタル音声データに対して予め設定された処理を行ってもよい。
画像表示部20は、インターフェイス25と、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262とを備える。また、画像表示部20は、上述したカメラ61、第1センサー71、及び第2センサー72を備える。カメラ61はフレーム2(図1)とは別体のカメラユニット3に設けられるが、インターフェイス25に接続される。
インターフェイス25は、右コード42と左コード44とが接続されるコネクターを備える。インターフェイス25は、送信部51から送信されるクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、画像データDataを、対応する受信部(Rx)53、54に出力する。また、インターフェイス25は、表示制御部170から送信される制御信号を、対応する受信部53、54、右バックライト制御部201又は左バックライト制御部202に出力する。
インターフェイス25は、カメラ61、第1センサー71、及び第2センサー72を接続するインターフェイスである。カメラ61の撮像画像データや撮像信号、第1センサー71及び第2センサー72の検出結果等は、インターフェイス25を介して制御部140に送られる。
インターフェイス25は、カメラ61、第1センサー71、及び第2センサー72を接続するインターフェイスである。カメラ61の撮像画像データや撮像信号、第1センサー71及び第2センサー72の検出結果等は、インターフェイス25を介して制御部140に送られる。
カメラ61は、カメラ接続部61aによりインターフェイス25に接続される。カメラ接続部61aは、例えば、カメラ台座部3C及びアーム部3A、3Bの内部を通り、或いは外面に沿って配設されるケーブルであり、フレーム2の内部に配設されるインターフェイス25に有線接続される。カメラ接続部61aは、接続部40及びインターフェイス25とともに、カメラ61を制御部140に接続する接続部を構成する。
なお、カメラ接続部61aを無線通信回線に置き換えることも可能である。この場合、カメラ61側に無線通信部を設け、フレーム2に無線通信部を設け、これら無線通信部が撮影画像データや制御データをWiFi等の無線で送受信する構成としてもよい。また、カメラ61側の無線通信部が通信部117と通信を行ってもよい。
なお、カメラ接続部61aを無線通信回線に置き換えることも可能である。この場合、カメラ61側に無線通信部を設け、フレーム2に無線通信部を設け、これら無線通信部が撮影画像データや制御データをWiFi等の無線で送受信する構成としてもよい。また、カメラ61側の無線通信部が通信部117と通信を行ってもよい。
右表示駆動部22は、上述した右バックライト221、右LCD241、及び右投写光学系251を備える。また、右表示駆動部22は、受信部53、右バックライト(BL)221を制御する右バックライト(BL)制御部201、及び、右LCD241を駆動する右LCD制御部211を備える。
受信部53は、送信部51に対応するレシーバーとして動作し、制御装置10と画像表示部20との間におけるシリアル伝送を実行する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データDataと、に基づいて、右LCD241を駆動する。
左表示駆動部24は、右表示駆動部22と同様の構成を有する。左表示駆動部24は、上述した左バックライト222、左LCD242、及び左投写光学系252を備える。また、左表示駆動部24は、受信部54、左バックライト222を駆動する左バックライト制御部202、及び、左LCD242を駆動する左LCD制御部212を備える。
受信部54は、送信部52に対応するレシーバーとして動作し、制御装置10と画像表示部20との間におけるシリアル伝送を実行する。左バックライト制御部202は、入力された制御信号に基づいて、左バックライト222を駆動する。左LCD制御部212は、受信部54を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データDataと、に基づいて、左LCD242を駆動する。
なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242とを総称して、左の「画像光生成部」とも呼ぶ。
なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242とを総称して、左の「画像光生成部」とも呼ぶ。
図5は、頭部装着型表示装置100の動作を示すフローチャートであり、特に、制御部140が、ARコンテンツOB´を表示する動作を示す。
制御部140は、操作部135等により入力される指示に従ってARコンテンツの表示を開始し(ステップS11)、位置検出部184が第1センサー71及び第2センサー72の検出値を取得する(ステップS12)。位置検出部184は、第1センサー71及び第2センサー72の検出値が、いずれも正常範囲内の値であるか否かを判定する(ステップS13)。すなわち、ヒンジ21A、23Aの可動範囲を超えて、カメラユニット3、またはフレーム2が回動した状態でないかを判定する。ヒンジ21A、23Aが可動範囲を逸脱した状態であれば、故障を防止するため、速やかに動作を停止させるためである。
制御部140は、操作部135等により入力される指示に従ってARコンテンツの表示を開始し(ステップS11)、位置検出部184が第1センサー71及び第2センサー72の検出値を取得する(ステップS12)。位置検出部184は、第1センサー71及び第2センサー72の検出値が、いずれも正常範囲内の値であるか否かを判定する(ステップS13)。すなわち、ヒンジ21A、23Aの可動範囲を超えて、カメラユニット3、またはフレーム2が回動した状態でないかを判定する。ヒンジ21A、23Aが可動範囲を逸脱した状態であれば、故障を防止するため、速やかに動作を停止させるためである。
位置検出部184は、第1センサー71及び第2センサー72のいずれか、または両方の検出値が正常範囲から外れている場合(ステップS13;NO)、異常を報知する動作を行い(ステップS14)、動作を終了する。ステップS14の異常の報知は、例えば、画像表示部20によりメッセージを表示させる、点灯部12を点灯、または点滅させる、右イヤホン32、左イヤホン34から警報音や報知メッセージの音声を出力する等の方法で行えばよい。
位置検出部184が、第1センサー71及び第2センサー72の検出値が正常範囲内の値であると判定した場合(ステップS13;YES)、AR表示制御部186は、記憶部120からコンテンツデータ123を取得する(ステップS15)。次いで、撮像処理部181がカメラ61に撮像を実行させ、AR表示制御部186が撮像画像データから対象物を検出する(ステップS16)。AR表示制御部186は、対象物の位置に基づいてARコンテンツの表示位置を決定し(ステップS17)、ARコンテンツの表示を開始する(ステップS18)。
ARコンテンツの表示開始後、位置検出部184が第1センサー71及び第2センサー72の検出値を取得し(ステップS19)、位置検出処理を実行する(ステップS20)。第1実施形態の位置検出処理は、位置検出部184が、ヒンジ21Aにおけるアーム部3Aとテンプル部2Dとの角度、及び、ヒンジ23Aにおけるアーム部3Bとテンプル部2Eとの角度を求める処理である。また、位置検出部184は、カメラ61の撮像方向と、基準位置の撮像方向との差を求めてもよい。基準位置とは、カメラユニット3の回動範囲において予め設定された位置である。例えば、ヒンジ21Aにおけるアーム部3Aとテンプル部2Dとの角度、及び、ヒンジ23Aにおけるアーム部3Bとテンプル部2Eとの角度が最も小さい位置である。また、例えば、カメラユニット3がフレーム2側に最も接近する位置である。
AR表示制御部186は、位置検出部184が検出した角度に基づき、ARコンテンツの表示位置の補正が必要か否かを判定する(ステップS21)。例えば、位置検出部184が検出した角度が、設定データ121に含まれるしきい値を超える場合に、表示位置の補正が必要と判定する。
表示位置の補正が必要と判定した場合(ステップS21;YES)、AR表示制御部186は、ARコンテンツの表示位置の補正量を算出する(ステップS22)。ステップS22では、設定データ121に含まれる演算式、関数、テーブル、パラメーター等を用い、ステップS20で検出した位置から補正量を算出する。
AR表示制御部186は、表示位置の補正を行う旨の報知を行う(ステップS23)。ステップS23では、例えば、画像表示部20により報知用のメッセージや画像を表示する。このメッセージや画像は、ARコンテンツと同様に対象物の位置に合わせて表示してもよく、補正後のARコンテンツの表示位置に、報知用のメッセージや画像を表示してもよい。ここで、AR表示制御部186は、ステップS23で報知を行わずにステップS24に移行してもよいし、ステップS23の報知を行った後で所定時間が経過した後に、自動的にステップS24に移行してもよい。或いは、ステップS23で報知を行った後で使用者の操作を待機し、使用者が実行を指示する操作を行った場合にステップS24に移行してもよい。
AR表示制御部186は、表示位置の補正を行う旨の報知を行う(ステップS23)。ステップS23では、例えば、画像表示部20により報知用のメッセージや画像を表示する。このメッセージや画像は、ARコンテンツと同様に対象物の位置に合わせて表示してもよく、補正後のARコンテンツの表示位置に、報知用のメッセージや画像を表示してもよい。ここで、AR表示制御部186は、ステップS23で報知を行わずにステップS24に移行してもよいし、ステップS23の報知を行った後で所定時間が経過した後に、自動的にステップS24に移行してもよい。或いは、ステップS23で報知を行った後で使用者の操作を待機し、使用者が実行を指示する操作を行った場合にステップS24に移行してもよい。
また、AR表示制御部186は、ステップS22において算出した補正量が、AR表示制御部186により補正可能な量を超える場合に、異常を報知してもよい。例えば、ARコンテンツの補正量の上限値が補正方向ごとに予め設定されており、この上限値を超える補正量を算出した場合に、報知を行ってもよい。また、ステップS21で、位置検出部184が検出した角度が、補正可能な角度の範囲として予め設定された範囲を逸脱しているか否かを判定してもよい。そして、検出した角度が補正可能な範囲外であると判定した場合に、報知を行ってもよい。報知の方法は、例えばステップS14で行う報知と同様の方法とすることができる。
AR表示制御部186は、ステップS22で算出した補正量に従って、ARコンテンツの表示位置を補正し(ステップS24)、終了条件の正否を判定する(ステップS25)。また、位置検出処理で位置検出部184が検出したヒンジ21A、23Aにおける角度をもとに、表示位置を補正しないと判定した場合(ステップS21;NO)、制御部140はステップS25に移行して終了条件の正否を判定する。
制御部140は、終了条件が成立している場合(ステップS25;YES)、本処理を終了する。また、終了条件が成立していない場合は(ステップS25;NO)、ステップS19に戻る。終了条件は、例えば、ARコンテンツを最後まで表示し、表示が完了すること、操作部135の操作によりARコンテンツの表示の終了が指示されたこと、インターフェイス125を介して外部機器より動作終了が指示されたこと、等である。
制御部140は、終了条件が成立している場合(ステップS25;YES)、本処理を終了する。また、終了条件が成立していない場合は(ステップS25;NO)、ステップS19に戻る。終了条件は、例えば、ARコンテンツを最後まで表示し、表示が完了すること、操作部135の操作によりARコンテンツの表示の終了が指示されたこと、インターフェイス125を介して外部機器より動作終了が指示されたこと、等である。
図5の動作において、操作部135の操作により表示位置の補正が指示された場合、AR表示制御部186は、ステップS21で、表示位置の補正が必要と判定する。この場合、操作部135の操作により補正が指示された後でステップS19、S20、S22の動作を行い、補正量を算出する。操作部135の操作によって補正量が指定された場合は、指定された補正量に基づき補正を行う。また、操作部135の操作により補正の方向が指示された場合、指示された方向に、予め設定された量の補正量で表示位置を補正してもよい。この一連の動作は、図5の動作の実行中に操作部135の操作が行われることをトリガーとして、割り込み制御により実行してもよい。
また、図5の動作においてステップS19〜S25の動作はフロー制御に限定されない。例えば、位置検出部184が、第1センサー71及び第2センサー72の出力値に基づき回動を検出すると、この回動の検出をトリガーとして割り込み制御により、ステップS19〜S25の動作を実行してもよい。
また、頭部装着型表示装置100は、位置検出部184とは別に、第1センサー71及び第2センサー72の検出値を取得して、使用者の視界の中心軸(視線方向)とカメラ61の光軸とのズレ量を求めるズレ量検出部(図示略)を備えてもよい。このズレ量算出部は、制御部140のCPUがプログラムを実行して、位置検出部184とは別に処理を実行できる処理部として実現してもよい。また、制御部140とは別の処理部として設けてもよい。ズレ量検出部は、位置検出部184の処理とは別に、ヒンジ21Aにおけるアーム部3Aとテンプル部2Dとの角度、及び、ヒンジ23Aにおけるアーム部3Bとテンプル部2Eとの角度を求める。この場合、位置検出部184は、AR表示制御部186がARコンテンツを表示する際に、フレーム2に対するカメラ61の位置または変位の量、或いは使用者の視界の中心軸とカメラ61の光軸とのズレ量を、ズレ量検出部から取得する。また、ズレ量検出部が設定されたしきい値を超えるズレ量を検出したときに、制御部140に対して、割り込みによりズレ量を入力する構成としてもよい。
以上説明したように、使用者の頭部に装着される頭部装着型の頭部装着型表示装置100は、使用者の頭部に装着されるフレーム2を有する。頭部装着型表示装置100は、フレーム2に設けられる画像表示部20、フレーム2に対し変位可能に連結されたカメラ61、及び、フレーム2に対するカメラ61の位置または変位を検出する第1センサー71及び第2センサー72を備える。また、第1センサー71及び第2センサー72によりフレーム2とカメラ61との相対位置を求める位置検出部184を備える。これにより、画像表示部20に対して変位可能なカメラ61を備えることで、撮像範囲を変化させることができ、カメラ61を動かした場合に、カメラ61の動きに伴い必要なARコンテンツの表示位置の補正ができる。
頭部装着型表示装置100は、カメラ61とフレーム2とを回動可能に連結するヒンジ21A、23Aを有する。第1センサー71及び第2センサー72は、ヒンジ21A、23Aにおける角度の大きさまたは角度の変化を検出する。ここで、検出する角度は、例えば、ヒンジ21A、23Aにおけるフレーム2とカメラユニット3との角度である。このため、カメラ61をフレーム2に対し可動に連結し、カメラ61の位置または変位を検出する構成を、容易に実現できる。
頭部装着型表示装置100は、検出部として複数のセンサーである第1センサー71及び第2センサー72を備える。位置検出部184は、複数のセンサーの検出値に基づいて、フレーム2とカメラ61との相対位置を求めることで、カメラ61の位置または変位をより正確に検出できる。
頭部装着型表示装置100は、検出部として複数のセンサーである第1センサー71及び第2センサー72を備える。位置検出部184は、複数のセンサーの検出値に基づいて、フレーム2とカメラ61との相対位置を求めることで、カメラ61の位置または変位をより正確に検出できる。
頭部装着型表示装置100は、カメラ61の撮像画像に基づき表示部にARコンテンツを表示するAR表示制御部186を備え、カメラ61が撮影した画像に基づきコンテンツを表示できる。また、カメラ61を変位させて撮像範囲を変えることができる。
AR表示制御部186は、位置検出部184が求めるフレーム2とカメラ61との相対位置に基づき、コンテンツの表示位置を調整できる。このため、カメラ61を変位させた場合に表示位置を調整して、表示の整合性を保つことができる。従って、コンテンツの表示を継続した状態でカメラ61を変位させることができる。また、AR表示制御部186は、コンテンツの表示位置を調整する前に報知を行うので、使用者の利便性の向上を図ることができる。
また、AR表示制御部186は、フレーム2とカメラ61との相対位置に基づき、使用者の視界の中心軸と、カメラ61の光軸とのズレを補償するようにARコンテンツの表示位置を調整する。このため、カメラ61が撮影した画像に基づき表示するARコンテンツの位置を、使用者の視線に適した位置に補正できる。
また、AR表示制御部186は、位置検出部184の検出結果に基づき、ARコンテンツの表示位置の調整の要否を判定するので、ARコンテンツの表示位置を、適切な精度で制御できる。
AR表示制御部186は、位置検出部184が求めるフレーム2とカメラ61との相対位置に基づき、コンテンツの表示位置を調整できる。このため、カメラ61を変位させた場合に表示位置を調整して、表示の整合性を保つことができる。従って、コンテンツの表示を継続した状態でカメラ61を変位させることができる。また、AR表示制御部186は、コンテンツの表示位置を調整する前に報知を行うので、使用者の利便性の向上を図ることができる。
また、AR表示制御部186は、フレーム2とカメラ61との相対位置に基づき、使用者の視界の中心軸と、カメラ61の光軸とのズレを補償するようにARコンテンツの表示位置を調整する。このため、カメラ61が撮影した画像に基づき表示するARコンテンツの位置を、使用者の視線に適した位置に補正できる。
また、AR表示制御部186は、位置検出部184の検出結果に基づき、ARコンテンツの表示位置の調整の要否を判定するので、ARコンテンツの表示位置を、適切な精度で制御できる。
また、頭部装着型表示装置100では、カメラ61と制御部140とを有線接続し、カメラ61の撮像画像を制御部に伝送するカメラ接続部61aを含む接続部を備え、接続部はカメラ61とフレーム2とを連結する連結部に沿って配置される。このため、カメラ61が撮影する画像をより確実に制御部に伝送できる。
また、頭部装着型表示装置100において、カメラ61の撮像画像を制御部に無線伝送する無線伝送部を備える構成としてもよく、この場合、カメラ61を、より高い自由度で変位させることができる。
また、頭部装着型表示装置100において、カメラ61の撮像画像を制御部に無線伝送する無線伝送部を備える構成としてもよく、この場合、カメラ61を、より高い自由度で変位させることができる。
第1実施形態ではロータリーエンコーダー等、ヒンジ21A、23Aに設けられる第1センサー71及び第2センサー72により、カメラユニット3の回動、またはカメラユニット3とフレーム2の相対位置を検出した。本発明はこれに限定されず、その他の方法によりフレーム2とカメラユニット3との相対位置を求めることが可能である。具体的な例を、第2実施形態及び第3実施形態として説明する。
[第2実施形態]
図6は、第2実施形態に係る頭部装着型表示装置100Bを構成する各部の機能ブロック図である。
第2実施形態の頭部装着型表示装置100Bは、画像表示部20に代えて、画像表示部20Bを有する。画像表示部20Bは、画像表示部20の第1センサー71及び第2センサー72を排し、代わりに距離センサー74を設けた構成であり、その他の各部は共通の構成である。頭部装着型表示装置100Bにおいて、第1実施形態の頭部装着型表示装置100と共通する構成部については、同符号を付して図示及び説明を省略する。
図6は、第2実施形態に係る頭部装着型表示装置100Bを構成する各部の機能ブロック図である。
第2実施形態の頭部装着型表示装置100Bは、画像表示部20に代えて、画像表示部20Bを有する。画像表示部20Bは、画像表示部20の第1センサー71及び第2センサー72を排し、代わりに距離センサー74を設けた構成であり、その他の各部は共通の構成である。頭部装着型表示装置100Bにおいて、第1実施形態の頭部装着型表示装置100と共通する構成部については、同符号を付して図示及び説明を省略する。
図7は第2実施形態の頭部装着型表示装置100Bの概略構成を示す説明図であり、頭部装着型表示装置100Bを側面視で示す。
距離センサー74(検出部)は、フレーム2のテンプル部2Eに、カメラユニット3のアーム部3B側を向けて配置される。距離センサー74は光波測距儀であり、具体的には、LEDやレーザー光源等の光源と、受光素子と、プリズム等の光学素子を有する。距離センサー74は、光源が発する光をアーム部3Bの底面に向けて射出し、その反射光74Aを検出する。距離センサー74は、光を射出してから反射光74Aを受光するまでの振動数や位相差に基づき、テンプル部2Eからアーム部3Bまでの距離を検出する。制御部140が有する位置検出部184は、距離センサー74の距離の検出値を取得し、この距離から、ヒンジ23Aにおけるテンプル部2Eとアーム部3Bの角度を求める。
距離センサー74(検出部)は、フレーム2のテンプル部2Eに、カメラユニット3のアーム部3B側を向けて配置される。距離センサー74は光波測距儀であり、具体的には、LEDやレーザー光源等の光源と、受光素子と、プリズム等の光学素子を有する。距離センサー74は、光源が発する光をアーム部3Bの底面に向けて射出し、その反射光74Aを検出する。距離センサー74は、光を射出してから反射光74Aを受光するまでの振動数や位相差に基づき、テンプル部2Eからアーム部3Bまでの距離を検出する。制御部140が有する位置検出部184は、距離センサー74の距離の検出値を取得し、この距離から、ヒンジ23Aにおけるテンプル部2Eとアーム部3Bの角度を求める。
ヒンジ21A、23Aはいずれも一方向の回動のみ可能な、自由度の低い連結部であるから、距離センサー74は、ヒンジ21A又はヒンジ23Aのいずれか一方にのみ設ければよい。図7の例ではヒンジ23Aの近傍に配置したが、ヒンジ21A側に設けてもよい。また、アーム部3Bの底面に、距離センサー74が発する光を反射する反射板を設けてもよく、距離センサー74をアーム部3Bに設け、アーム部3Bからテンプル部2Eに向けて光を発し、その反射光を検出してもよい。さらに、距離センサー74を、右部2A、左部2B或いはブリッジ部2C(図1)に設けてもよい。カメラユニット3を動かした場合に、距離センサー74とカメラユニット3との距離、または距離センサー74とフレーム2との距離が変化するように、距離センサー74を配置すればよい。
第2実施形態の頭部装着型表示装置100Bは、上記第1実施形態の頭部装着型表示装置100と同様に、図5で説明した動作を実行する。この場合、図5のステップS12で、位置検出部184は距離センサー74の検出値を取得し、ヒンジ21A、23Aにおける角度、またはカメラユニット3の回動量を求める。また、図5のステップS20の位置検出処理においても、位置検出部184は、距離センサー74の検出値に基づきヒンジ21A、23Aにおける角度、またはカメラユニット3の回動量を求める。
このように、カメラ61を、フレーム2に対して変位可能に連結した構成では、ヒンジ21A、23Aに第1センサー71及び第2センサー72を設けることで、カメラ61の位置に対応した表示位置の補正等を行える。また、距離センサー74を用いてカメラユニット3の一部と、このカメラユニット3の一部に対向するフレーム2の一部との距離を測定、或いは検出する構成としても、カメラ61の位置に対応した表示位置の補正等を行える。
[第3実施形態]
図8は、第3実施形態に係る頭部装着型表示装置100Cを構成する各部の機能ブロック図である。
第3実施形態の頭部装着型表示装置100Cは、画像表示部20に代えて、画像表示部20Cを有する。頭部装着型表示装置100Cにおいて、第1実施形態の頭部装着型表示装置100と共通する構成部については、同符号を付して図示及び説明を省略する。
図8は、第3実施形態に係る頭部装着型表示装置100Cを構成する各部の機能ブロック図である。
第3実施形態の頭部装着型表示装置100Cは、画像表示部20に代えて、画像表示部20Cを有する。頭部装着型表示装置100Cにおいて、第1実施形態の頭部装着型表示装置100と共通する構成部については、同符号を付して図示及び説明を省略する。
図9は第3実施形態の頭部装着型表示装置100Cの装着状態を示す図であり、(A)、(C)は側面図、(B)及び(D)は平面図である。
画像表示部20Cは、フレーム2を有する画像表示部20に対し、カメラ62を、フレキシブルアーム36(連結部)により連結した構成である。フレキシブルアーム36は、自在に屈曲させることが可能な、金属製または合成樹脂製のアームであり、フレキシブルアーム36の基端部はテンプル部2Eに固定される。また、フレキシブルアーム36の先端部には、カメラ62を収容したカメラケース35が取り付けられる。
画像表示部20Cは、フレーム2を有する画像表示部20に対し、カメラ62を、フレキシブルアーム36(連結部)により連結した構成である。フレキシブルアーム36は、自在に屈曲させることが可能な、金属製または合成樹脂製のアームであり、フレキシブルアーム36の基端部はテンプル部2Eに固定される。また、フレキシブルアーム36の先端部には、カメラ62を収容したカメラケース35が取り付けられる。
例えば図9(A)及び(B)に示すように、カメラ62を、フレーム2に近い位置に配置し、カメラ62の撮像範囲と画像表示部20Cを装着した使用者の視野とが近い範囲となるように使用できる。また、図9(C)に示すように、画像表示部20Cは、カメラケース35を上方に移動させて使用することもできる。この場合、例えば図9(D)に示すように、カメラケース35を、使用者に対し左右方向に移動させてもよい。図9(D)の例では、カメラケース35がテンプル部2D及びテンプル部2Eの内側にある。この位置では、カメラ62の撮像範囲は、使用者の右眼の視野及び左眼の視野の両方に跨がるようになる。
図8に示すように、頭部装着型表示装置100Cは、画像表示部20Cにおいてフレーム側センサー76、及びカメラユニットセンサー78を備える。
フレーム側センサー76及びカメラユニットセンサー78は、動きセンサー(モーションセンサー)であり、例えば、加速度センサーや角速度(ジャイロ)センサーである。フレキシブルアーム36は、カメラケース35を3次元的に移動させることが可能であるため、フレーム側センサー76及びカメラユニットセンサー78は、3軸センサーであることが好ましい。また、フレーム側センサー76及びカメラユニットセンサー78は、3軸の加速度センサーと、3軸のジャイロセンサーとを有する構成など、複合的なセンサーとしてもよい。また、磁気センサー等を合わせて備えてもよい。
フレーム側センサー76及びカメラユニットセンサー78は、動きセンサー(モーションセンサー)であり、例えば、加速度センサーや角速度(ジャイロ)センサーである。フレキシブルアーム36は、カメラケース35を3次元的に移動させることが可能であるため、フレーム側センサー76及びカメラユニットセンサー78は、3軸センサーであることが好ましい。また、フレーム側センサー76及びカメラユニットセンサー78は、3軸の加速度センサーと、3軸のジャイロセンサーとを有する構成など、複合的なセンサーとしてもよい。また、磁気センサー等を合わせて備えてもよい。
フレーム側センサー76は、フレーム2に設けられ、フレーム2の動きに関して検出値を出力する。フレーム側センサー76はフレーム2に固定されればよく、フレーム2におけるフレーム側センサー76の位置は制限されない。フレーム2が、変位可能な部分を有する場合には、フレキシブルアーム36とともに変位する部分にフレーム側センサー76を設けるとよい。例えば、フレーム2において、テンプル部2Eが左部2Bに対し回動可能な構成である場合、フレーム側センサー76は、フレキシブルアーム36が固定されるテンプル部2Eに設けることが好ましい。つまり、フレーム側センサー76は、フレキシブルアーム36に対し相対位置が固定されるように、配置されることが好ましい。
カメラユニットセンサー78は、カメラケース35に設けられ、カメラ62の動きに関して検出値を出力する。カメラユニットセンサー78は、カメラ62に対して相対位置が固定されるように、カメラケース35に取り付けられ、或いは内蔵される。
カメラ62及びカメラユニットセンサー78は、カメラ接続部62aによりインターフェイス25に接続される。カメラ接続部62aは、例えば、フレキシブルアーム36の内部の中空部を通し、或いはフレキシブルアーム36の外面に沿って配設されるケーブルである。カメラ接続部62aは、フレーム2の内部に配設されるインターフェイス25に有線接続される。カメラ接続部62aは、接続部40及びインターフェイス25とともに、カメラ62を制御部140に接続する接続部を構成する。
なお、カメラ接続部62aを無線通信回線に置き換えることも可能である。この場合、カメラ62及びカメラユニットセンサー78に接続する無線通信部をカメラケース35内部に設け、フレーム2に無線通信部を設け、これら無線通信部が撮影画像データ、センサー検出値のデータ、及び制御データ等をWiFi等の無線で送受信する構成としてもよい。また、カメラケース35内の無線通信部が通信部117と通信を行ってもよい。
なお、カメラ接続部62aを無線通信回線に置き換えることも可能である。この場合、カメラ62及びカメラユニットセンサー78に接続する無線通信部をカメラケース35内部に設け、フレーム2に無線通信部を設け、これら無線通信部が撮影画像データ、センサー検出値のデータ、及び制御データ等をWiFi等の無線で送受信する構成としてもよい。また、カメラケース35内の無線通信部が通信部117と通信を行ってもよい。
カメラ62(撮像部)は、カメラ61と同様に、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。カメラ62は、図9(A)及び(B)に示す基準位置で、頭部装着型表示装置100の表側方向、換言すれば、画像表示部20を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ62の撮像範囲の広さは適宜設定可能であるが、例えば基準位置において、カメラ61の撮像範囲が、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界を含むことが好ましい。さらに、調光板20Aを通した使用者の視界の全体を撮像できるようにカメラ62の撮像範囲が設定されているとより好ましい。カメラ62は、制御部140が備える撮像処理部181の制御に従って撮像を実行し、撮像画像データを撮像処理部181に出力する。
制御部140が有する位置検出部184は、カメラユニットセンサー78の検出値に基づき、カメラケース35の動きを検出する。このカメラケース35の動きを3次元的に積算することで、カメラ62が基準位置から変位した変位量及び変位方向を求めることができる。そして、位置検出部184は、カメラ62の位置とカメラ62の撮像方向とを求めることができる。
ここで、カメラユニットセンサー78が検出する動きは、画像表示部20Cの全体の動きの成分を含む。そこで、位置検出部184は、フレーム側センサー76の検出値に基づき、画像表示部20Cの動きを検出し、この画像表示部20Cの動きと、カメラユニットセンサー78が検出するカメラケース35の動きとの差分を求める。この差分は、フレーム2に対するカメラケース35の変位に相当する。このように位置検出部184は、画像表示部20C全体の変位の影響を排して、フレーム2に対するカメラ62の相対的な変位を検出できる。
なお、画像表示部20Cを装着した使用者が、カメラケース35を動かす間に、フレーム2、及び、フレーム2を装着した頭部を動かさないようにすれば、カメラユニットセンサー78の検出値に基づきカメラ62の変位を正確に検出できる。
なお、画像表示部20Cを装着した使用者が、カメラケース35を動かす間に、フレーム2、及び、フレーム2を装着した頭部を動かさないようにすれば、カメラユニットセンサー78の検出値に基づきカメラ62の変位を正確に検出できる。
第3実施形態の頭部装着型表示装置100Cは、上記第1実施形態の頭部装着型表示装置100と同様に、図5で説明した動作を実行する。
この場合、位置検出部184は、フレーム側センサー76及びカメラユニットセンサー78の検出値を常時取得する。位置検出部184が検出値の取得を開始する時点で、カメラケース35は、図9(A)及び(B)に示す基準位置、またはその他の基準位置にあることが望ましい。このため、頭部装着型表示装置100Cは、位置検出部184が検出値の取得を開始する前に、カメラケース35を基準位置に配置させるように、報知や案内を行ってもよい。
この場合、位置検出部184は、フレーム側センサー76及びカメラユニットセンサー78の検出値を常時取得する。位置検出部184が検出値の取得を開始する時点で、カメラケース35は、図9(A)及び(B)に示す基準位置、またはその他の基準位置にあることが望ましい。このため、頭部装着型表示装置100Cは、位置検出部184が検出値の取得を開始する前に、カメラケース35を基準位置に配置させるように、報知や案内を行ってもよい。
位置検出部184は、位置検出部184はフレーム側センサー76及びカメラユニットセンサー78の検出値を常時取得し、フレーム2に対するカメラケース35の位置を求める。位置検出部184は、フレーム2に対するカメラケース35の位置は正常範囲を逸脱したか否かを、常時判定できる。そして、正常範囲を逸脱した場合は、図5のステップS14と同様に報知を行うことができる。
また、AR表示制御部186は、図5のステップS21において、位置検出部184が常時検出するカメラケース35の位置に基づき、位置補正を行うか否かを判定すればよい。
このように、カメラ62を、フレーム2に対してフレキシブルアーム36により自在に変位可能に連結した構成としても、フレーム2に対するカメラ62の相対的な変位を検出し、検出した変位量や変位の方向に合わせて表示位置の補正等を行える。
[第4実施形態]
図10は、第4実施形態に係る頭部装着型表示装置100Dの外観構成を示す説明図である。
本第4実施形態の頭部装着型表示装置100Dは、上記第1実施形態の頭部装着型表示装置100が備える画像表示部20を、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20D(表示部)に代えた構成である。画像表示部20Dには、上記各実施形態で説明した制御装置10が接続される。
図10は、第4実施形態に係る頭部装着型表示装置100Dの外観構成を示す説明図である。
本第4実施形態の頭部装着型表示装置100Dは、上記第1実施形態の頭部装着型表示装置100が備える画像表示部20を、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20D(表示部)に代えた構成である。画像表示部20Dには、上記各実施形態で説明した制御装置10が接続される。
画像表示部20Dは、フレーム2にカメラユニット4を設けた構成である。カメラユニット4は、カメラユニット3と同様に、フレーム2にヒンジ21A、23Aを介して回動可能に連結され、フレーム2に対して上下に回動可能であり、回動範囲の下端位置でフレーム2に接する。
カメラユニット4は、アーム部3A、3Bに相当するアーム部4A、4Bを備える。アーム部4A、4Bは、使用者の側頭部に位置して、ヒンジ21A、23Aによりフレーム2に連結される。
カメラユニット4は、アーム部3A、3Bに相当するアーム部4A、4Bを備える。アーム部4A、4Bは、使用者の側頭部に位置して、ヒンジ21A、23Aによりフレーム2に連結される。
カメラ台座部4Cは、右部2A、左部2B及びブリッジ部2Cの上部に跨がって位置する板状または棒状部材であり、ブリッジ部2Cの上に相当する位置に、カメラ64が埋込設置される。
カメラ64(撮像部)は、カメラ61と同様にCCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ64は球形状のケースを有する。カメラ台座部4Cの中央に形成されたカメラジョイント部4Dに埋め込まれる。カメラジョイント部4Dは球形の凹部を有し、カメラ64のケースは、カメラジョイント部4Dにボールジョイントにより結合される。このため、カメラ64は、頭部装着型表示装置100Dの装着状態において上下及び左右を含む任意の方向に回動可能である。カメラジョイント部4Dにおいてカメラ64を回動させる範囲は制限されており、例えば、カメラ64のケースに露出する撮像レンズが、カメラジョイント部4Dの凹部に入り込まない範囲で、回動可能である。
カメラ64は球形状のケースを有する。カメラ台座部4Cの中央に形成されたカメラジョイント部4Dに埋め込まれる。カメラジョイント部4Dは球形の凹部を有し、カメラ64のケースは、カメラジョイント部4Dにボールジョイントにより結合される。このため、カメラ64は、頭部装着型表示装置100Dの装着状態において上下及び左右を含む任意の方向に回動可能である。カメラジョイント部4Dにおいてカメラ64を回動させる範囲は制限されており、例えば、カメラ64のケースに露出する撮像レンズが、カメラジョイント部4Dの凹部に入り込まない範囲で、回動可能である。
カメラ64は、使用者が画像表示部20を透過して外景を視認する場合の視線方向に、カメラ64の光軸が重なる或いは平行になる方向に向けることができる。この状態において、カメラ64の撮像範囲は、カメラ61と同様に、頭部装着型表示装置100の表側方向、換言すれば、画像表示部20を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。また、カメラ64の撮像範囲画角の広さは適宜設定可能であるが、例えばカメラユニット4の回動範囲の下端において、カメラ64の撮像範囲が、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界を含むことが好ましい。さらに、調光板20Aを通した使用者の視界の全体を撮像できるようにカメラ64の撮像範囲が設定されているとより好ましい。
また、カメラ64は、魚眼レンズ等の広角レンズであってもよく、具体的には、カメラジョイント部4Dにおいて、カメラ64が回動可能な範囲の端にある状態で、カメラ64の撮像範囲に使用者の視線方向が含まれるようにしてもよい。
カメラ64は、制御部140が備える撮像処理部181(図11)の制御に従って撮像を実行し、撮像画像データを撮像処理部181に出力する。
カメラ64は、制御部140が備える撮像処理部181(図11)の制御に従って撮像を実行し、撮像画像データを撮像処理部181に出力する。
図11は、頭部装着型表示装置100Dを構成する各部の機能ブロック図である。
頭部装着型表示装置100Dにおいて、制御装置10が備える制御部140には、カメラ64と、カメラ方向センサー73とが接続される。カメラ方向センサー73は、図10に示したカメラジョイント部4Dの内部、或いは、カメラ台座部4C内部においてカメラジョイント部4Dに向けて設けられる。カメラ方向センサー73は、カメラ64の光軸方向、或いは、項軸方向の変化を検出して、検出値を制御部140に出力する。カメラ方向センサー73は、例えば、光センサーによりカメラ64のケースの動きを光学的に検出し、或いは、磁気センサーを利用してカメラ64のケースの動きを検出する構成とすることができる。また、カメラ64のケースに導体を設け、カメラ方向センサー73がカメラ64のケースに接する電極を設け、カメラ方向センサー73がカメラ64のケースの動きを電気的に検出する構成としてもよい。
頭部装着型表示装置100Dにおいて、制御装置10が備える制御部140には、カメラ64と、カメラ方向センサー73とが接続される。カメラ方向センサー73は、図10に示したカメラジョイント部4Dの内部、或いは、カメラ台座部4C内部においてカメラジョイント部4Dに向けて設けられる。カメラ方向センサー73は、カメラ64の光軸方向、或いは、項軸方向の変化を検出して、検出値を制御部140に出力する。カメラ方向センサー73は、例えば、光センサーによりカメラ64のケースの動きを光学的に検出し、或いは、磁気センサーを利用してカメラ64のケースの動きを検出する構成とすることができる。また、カメラ64のケースに導体を設け、カメラ方向センサー73がカメラ64のケースに接する電極を設け、カメラ方向センサー73がカメラ64のケースの動きを電気的に検出する構成としてもよい。
また、画像表示部20Dは、第1実施形態の画像表示部20と同様に第1センサー71及び第2センサー72を備える。位置検出部184は、第1センサー71及び第2センサー72の検出値により、ヒンジ21A、23Aにおける回動量またはフレーム2とカメラユニット4とがなす角度を検出する。位置検出部184は、カメラ方向センサー73の検出値に基づき、カメラ64の光軸の方向を検出する。そして、制御部140は、図5に示す動作を実行して、ARコンテンツの表示位置を補正する。
カメラ64及びカメラ方向センサー73は、カメラ接続部64aによりインターフェイス25に接続される。カメラ接続部64aは、例えば、カメラ台座部4C、及び、アーム部4Aまたはアーム部4Bの内部を通り、或いは外側に沿って配設されるケーブルである。カメラ接続部64aは、フレーム2の内部に配設されるインターフェイス25に有線接続される。カメラ接続部64aは、接続部40及びインターフェイス25とともに、カメラ64を制御部140に接続する接続部を構成する。
なお、カメラ接続部64aを無線通信回線に置き換えることも可能である。この場合、カメラ64側に、カメラ64及びカメラ方向センサー73に繋がる無線通信部を設け、フレーム2に無線通信部を設け、これら無線通信部が撮影画像データ、センサー検出値のデータ、及び制御データをWiFi等の無線で送受信する構成としてもよい。また、カメラ64側の無線通信部が通信部117と通信を行ってもよい。
なお、カメラ接続部64aを無線通信回線に置き換えることも可能である。この場合、カメラ64側に、カメラ64及びカメラ方向センサー73に繋がる無線通信部を設け、フレーム2に無線通信部を設け、これら無線通信部が撮影画像データ、センサー検出値のデータ、及び制御データをWiFi等の無線で送受信する構成としてもよい。また、カメラ64側の無線通信部が通信部117と通信を行ってもよい。
第4実施形態の頭部装着型表示装置100Dによれば、カメラ64の光軸を、上下左右を含む方向に自在に向けることができ、このカメラ64を指示するカメラ台座部4Cが上下に回動することと合わせて、カメラ64の撮像方向を特定できる。このため、使用者の視線方向と、カメラ64の光軸方向と、ARコンテンツの表示位置との相対的な関係に基づき、ARコンテンツの表示位置を正確に補正できる。従って、図10及び図11に示す構成においても、上記第1〜第3実施形態で得られる効果を得ることが可能である。さらに、カメラ64の光軸を変位させる範囲が広いため、使用者が直視できない範囲をカメラ64で撮像できるという利点がある。
[第5実施形態]
図12は、本発明を適用した第5実施形態の頭部装着型表示装置100Eの外観構成を示す説明図である。
第5実施形態の頭部装着型表示装置100Eは、上記第1実施形態の頭部装着型表示装置100が備える画像表示部20を、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20E(表示部)に代えた構成である。画像表示部20Eには、上記各実施形態で説明した制御装置10が接続される。
図12は、本発明を適用した第5実施形態の頭部装着型表示装置100Eの外観構成を示す説明図である。
第5実施形態の頭部装着型表示装置100Eは、上記第1実施形態の頭部装着型表示装置100が備える画像表示部20を、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20E(表示部)に代えた構成である。画像表示部20Eには、上記各実施形態で説明した制御装置10が接続される。
画像表示部20Eは、使用者の頭部に装着される装着体であり、使用者の頭部に装着され固定される頭部保持ユニット5と、頭部保持ユニット5に連結された表示部フレーム6をとを有し、全体として眼鏡形状を有する。
頭部保持ユニット5は使用者の頭部に固定され、表示部フレーム6は、頭部保持ユニット5に対して回動可能に連結される。頭部保持ユニット5は後述するカメラ65(撮像部)を有し、表示部フレーム6は、画像を表示する構成部を備える。
頭部保持ユニット5は使用者の頭部に固定され、表示部フレーム6は、頭部保持ユニット5に対して回動可能に連結される。頭部保持ユニット5は後述するカメラ65(撮像部)を有し、表示部フレーム6は、画像を表示する構成部を備える。
頭部保持ユニット5は、使用者の顔の前に位置するカメラ台座部5Aと、カメラ台座部5Aに繋がるバンド部5Bとを有する。バンド部5Bは、使用者の側頭部から後頭部にかけて接するベルト状の部材であり、頭部保持ユニット5を使用者の頭部に支持する。
頭部保持ユニット5はヒンジ部5F、5Gを有し、ヒンジ部5F、5Gにより表示部フレーム6が回動可能に連結される。
表示部フレーム6には、右表示駆動部22と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、マイク63とが設けられる。
表示部フレーム6には、右表示駆動部22と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、マイク63とが設けられる。
表示部フレーム6は、使用者の右眼の前と左眼の前に跨がって位置する表示部6Aを有する。表示部6Aの左右両端には、使用者が画像表示部20Eを装着した際の使用者の側頭部に対応する位置にかけて延伸されたアーム部6D、6Eが接続される。アーム部6D、6Eは、それぞれ、ヒンジ部5F、5Gにより、頭部保持ユニット5に回動可能に連結される。これにより、表示部フレーム6は、図中矢印K´で示すように、表示部6Aを上下に動かす方向に回動可能である。
表示部6Aには、使用者の右眼の前に右光学像表示部26が配置され、使用者の左眼の前に左光学像表示部28が配置される。これら右光学像表示部26及び左光学像表示部28は、表示部フレーム6に設けられる右表示駆動部22、左表示駆動部24、LCD241,242E、及び、投写光学系251,252とともに、画像を表示する。
ヒンジ部5Fには、後述する第3センサー71A(図12)が設けられ、ヒンジ部5Gには後述する第4センサー72A(図3)が設けられる。第3センサー71A及び第4センサー72Aは、検出部として機能し、ヒンジ部5F、5Gの回動位置、または、回動の動作を検出する。第3センサー71A及び第4センサー72Aは、例えば、ロータリーエンコーダーで構成することもできる。詳細には、発光部と受光部とを有する光センサーとヒンジ部5F、5Gを中心とする回動に伴い動作する遮光板とを備え、遮光板に設けられるスリットを透過する光を検出する構成が挙げられる。この場合、第3センサー71Aは、ヒンジ部5Fにおける頭部保持ユニット5とアーム部6Dとの角度が拡大する動作、及び、角度が縮小する動作を検出し、動作量をカウント可能である。また、第4センサー72Aは、ヒンジ部5Gに関して同様に検出を行う。また、第3センサー71A及び第4センサー72Aは、可変抵抗器や磁気センサーを用い、ヒンジ部5Fにおける頭部保持ユニット5とアーム部6Dとの角度、及び、ヒンジ部5Gにおける頭部保持ユニット5とアーム部6Eとの角度を、それぞれ検出してもよい。本実施形態では第3センサー71A及び第4センサー72Aは光学的に検出を行うロータリーエンコーダーとする。第3センサー71Aは、ヒンジ部5Fで頭部保持ユニット5にアーム部6Dが回動すると、所定角度回動する毎にパルスを出力する。第4センサー72Aは、ヒンジ部5Gで頭部保持ユニット5に対しアーム部6Eが回動すると、所定角度回動する毎にパルスを出力する。第3センサー71A、第4センサー72Aは、回動方向を示す信号を出力してもよい。
画像表示部20Eは接続部40Eを介して制御装置10に接続される。接続部40Eは、接続部40(図1)と同様に、制御データ、映像データ、音声データ等を伝送するケーブルで構成される。接続部40Eは、頭部保持ユニット5に接続される右コード42E、及び左コード44Eを有する。右コード42E、及び左コード44Eは、頭部保持ユニット5に接続された上で、頭部保持ユニット5の内部を通って表示部フレーム6の内部に達する。これにより、頭部保持ユニット5が備える各部と表示部フレーム6が備える各部とが、制御装置10に接続される。
この構成により、画像表示部20Eは、制御装置10の制御に従って、表示部フレーム6により画像を表示して使用者に視認させることができる。また、画像表示部20Eは外景を透過して視認可能なシースルー表示部である。
さらに、表示部フレーム6は、例えば使用者が手で表示部6Aを押し下げることで、下方に回動できる。このため、使用者は、表示部6Aを下方に移動させて、外景を直接視認することもできる。また、上記のように、表示部6Aを眼前に位置させて、画像表示部20Eの表示画像を見ることもできる。
さらに、表示部フレーム6は、例えば使用者が手で表示部6Aを押し下げることで、下方に回動できる。このため、使用者は、表示部6Aを下方に移動させて、外景を直接視認することもできる。また、上記のように、表示部6Aを眼前に位置させて、画像表示部20Eの表示画像を見ることもできる。
カメラ65は、カメラ61と同様にCCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。カメラ65は球形状のケースを有する。カメラ台座部5Aの中央に形成されたカメラジョイント部5Cに埋め込まれる。カメラジョイント部5Cは球形の凹部を有し、カメラ65のケースは、カメラジョイント部5Cにボールジョイントにより結合される。このため、カメラ65は、頭部装着型表示装置100Eの装着状態において上下及び左右を含む任意の方向に回動可能である。カメラジョイント部5Cにおいてカメラ65を回動させる範囲は制限されており、例えば、カメラ65のケースに露出する撮像レンズが、カメラジョイント部5Cの凹部に入り込まない範囲で、回動可能である。
カメラ65は、使用者が画像表示部20を透過して外景を視認する場合の視線方向に、カメラ65の光軸が重なる或いは平行になる方向に向けることができる。この状態において、カメラ65の撮像範囲は、カメラ61と同様に、頭部装着型表示装置100の表側方向、換言すれば、画像表示部20を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。また、カメラ65の撮像範囲画角の広さは適宜設定可能であるが、例えばカメラユニット4の回動範囲の下端において、カメラ65の撮像範囲が、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界を含むことが好ましい。さらに、調光板20Aを通した使用者の視界の全体を撮像できるようにカメラ65の撮像範囲が設定されているとより好ましい。
また、カメラ65は、魚眼レンズ等の広角レンズであってもよく、具体的には、カメラジョイント部5Cにおいて、カメラ65が回動可能な範囲の端にある状態で、カメラ65の撮像範囲に使用者の視線方向が含まれるようにしてもよい。
カメラ65は、制御部140が備える撮像処理部181(図13)の制御に従って撮像を実行し、撮像画像データを撮像処理部181に出力する。
カメラ65は、制御部140が備える撮像処理部181(図13)の制御に従って撮像を実行し、撮像画像データを撮像処理部181に出力する。
図13は、頭部装着型表示装置100Eを構成する各部の機能ブロック図である。
頭部装着型表示装置100Eにおいて、制御装置10が備える制御部140には、カメラ65と、カメラ方向センサー79とが接続される。カメラ方向センサー79は、図12に示したカメラジョイント部5Cの内部、或いは、カメラ台座部5A内部においてカメラジョイント部5Cに向けて設けられる。カメラ方向センサー79は、カメラ65の光軸方向、或いは、項軸方向の変化を検出して、検出値を制御部140に出力する。カメラ方向センサー79は、例えば、光センサーによりカメラ65のケースの動きを光学的に検出し、或いは、磁気センサーを利用してカメラ65のケースの動きを検出する構成とすることができる。また、カメラ65のケースに導体を設け、カメラ方向センサー79がカメラ65のケースに接する電極を設け、カメラ方向センサー79がカメラ65のケースの動きを電気的に検出する構成としてもよい。
頭部装着型表示装置100Eにおいて、制御装置10が備える制御部140には、カメラ65と、カメラ方向センサー79とが接続される。カメラ方向センサー79は、図12に示したカメラジョイント部5Cの内部、或いは、カメラ台座部5A内部においてカメラジョイント部5Cに向けて設けられる。カメラ方向センサー79は、カメラ65の光軸方向、或いは、項軸方向の変化を検出して、検出値を制御部140に出力する。カメラ方向センサー79は、例えば、光センサーによりカメラ65のケースの動きを光学的に検出し、或いは、磁気センサーを利用してカメラ65のケースの動きを検出する構成とすることができる。また、カメラ65のケースに導体を設け、カメラ方向センサー79がカメラ65のケースに接する電極を設け、カメラ方向センサー79がカメラ65のケースの動きを電気的に検出する構成としてもよい。
カメラ65及びカメラ方向センサー79は、カメラ接続部65aによりインターフェイス25に接続される。カメラ接続部65aは、例えば、カメラ台座部4C、及び、アーム部6Dまたはアーム部6Eの内部を通り、或いは外側に沿って配設されるケーブルである。カメラ接続部65aは、表示部フレーム6の内部に配設されるインターフェイス25に有線接続される。カメラ接続部65aは、接続部40E及びインターフェイス25とともに、カメラ65を制御部140に接続する接続部を構成する。
なお、カメラ接続部65aを無線通信回線に置き換えることも可能である。この場合、カメラ65側に、カメラ65及びカメラ方向センサー79に繋がる無線通信部を設け、表示部フレーム6に無線通信部を設け、これら無線通信部が撮影画像データ、センサー検出値のデータ、及び制御データをWiFi等の無線で送受信する構成としてもよい。また、カメラ65側の無線通信部が通信部117と通信を行ってもよい。
なお、カメラ接続部65aを無線通信回線に置き換えることも可能である。この場合、カメラ65側に、カメラ65及びカメラ方向センサー79に繋がる無線通信部を設け、表示部フレーム6に無線通信部を設け、これら無線通信部が撮影画像データ、センサー検出値のデータ、及び制御データをWiFi等の無線で送受信する構成としてもよい。また、カメラ65側の無線通信部が通信部117と通信を行ってもよい。
また、画像表示部20Dは、ヒンジ部5Fに設けられる第3センサー71Aと、ヒンジ部5Gに設けられる第4センサー72Aとを備える。位置検出部184は、第3センサー71A及び第4センサー72Aの検出値により、ヒンジ部5F、5Gにおける回動量または頭部保持ユニット5とアーム部6D、6Eとがなす角度を検出する。位置検出部184は、カメラ方向センサー79の検出値に基づき、カメラ65の光軸の方向を検出する。そして、制御部140は、図5に示す動作を実行して、ARコンテンツの表示位置を補正する。
第4実施形態の頭部装着型表示装置100Eによれば、カメラ65の光軸を、上下左右を含む方向に自在に向けることができ、このカメラ65を指示するカメラ台座部5Aが上下に回動することと合わせて、カメラ65の撮像方向を特定できる。このため、使用者の視線方向と、カメラ65の光軸方向と、ARコンテンツの表示位置との相対的な関係に基づき、ARコンテンツの表示位置を正確に補正できる。従って、図12及び図13に示す構成においても、上記第1〜第4実施形態で得られる効果を得ることが可能である。さらに、カメラ65の光軸を変位させる範囲が広いため、使用者が直視できない範囲をカメラ65で撮像できるという利点がある。
また、頭部装着型表示装置100Eでは、画像表示部20Eの表示部フレーム6を下方に回動させて、使用者の眼に対する右光学像表示部26及び左光学像表示部28の位置を変位させることができる。このため、使用者は直接外景を見ることもできる。この構成において、位置検出部184は、ヒンジ部5F、5Gにおける回動量や、頭部保持ユニット5に対し表示部フレーム6がなす角度を検出する。これにより、頭部保持ユニット5に対する表示部フレーム6の相対位置が変化しても、ARコンテンツの表示位置を適切に調整できる。
なお、本発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
上記実施形態では、眼鏡型の外形を有するフレーム2を備えた画像表示部20、20B、20Cについて説明したが、フレーム2を、帽子やヘルメット等の身体防護具に組み込んだ構成とすることも可能である。また、カメラユニット3を、フレーム2に一体に設ける構成としてもよい。また、カメラユニット3は、フレーム2に対して、ヒンジ21A、23A以外の部材で連結して、より高い自由度で可動な構成にしてもよい。
上記実施形態では、眼鏡型の外形を有するフレーム2を備えた画像表示部20、20B、20Cについて説明したが、フレーム2を、帽子やヘルメット等の身体防護具に組み込んだ構成とすることも可能である。また、カメラユニット3を、フレーム2に一体に設ける構成としてもよい。また、カメラユニット3は、フレーム2に対して、ヒンジ21A、23A以外の部材で連結して、より高い自由度で可動な構成にしてもよい。
また、例えば、上記第1から第3実施形態では、検出部として、1または2の動きセンサーを用いて撮像部の相対位置、或いは、相対位置の変化を検出する例を示したが、3以上のセンサーを用いることも勿論可能である。
また、撮像部として一つのカメラ61、62を備えた構成を例示したが、複数の撮像部を設けてもよい。この場合、複数の撮像部は互いの相対位置が固定されていてもよいし、それぞれの撮像部が、フレーム2に対して独立して変位可能な構成であってもよい。また、フレーム2またはカメラユニット3の一箇所に、複数の撮像部を設けてもよい。また、フレーム2またはカメラユニット3の複数の箇所に、それぞれ複数の撮像部を設けてもよい。この場合、位置検出部184は、事前の設定に従って、少なくともいずれか1以上の撮像部について変位または変位量を検出すればよい。AR表示制御部186は、事前に選択された一方の撮像部の位置に対応して表示位置を補正してもよく、両方の撮像部の位置を平均或いは合成した結果に基づき、表示位置を補正しても良い。
また、撮像部として一つのカメラ61、62を備えた構成を例示したが、複数の撮像部を設けてもよい。この場合、複数の撮像部は互いの相対位置が固定されていてもよいし、それぞれの撮像部が、フレーム2に対して独立して変位可能な構成であってもよい。また、フレーム2またはカメラユニット3の一箇所に、複数の撮像部を設けてもよい。また、フレーム2またはカメラユニット3の複数の箇所に、それぞれ複数の撮像部を設けてもよい。この場合、位置検出部184は、事前の設定に従って、少なくともいずれか1以上の撮像部について変位または変位量を検出すればよい。AR表示制御部186は、事前に選択された一方の撮像部の位置に対応して表示位置を補正してもよく、両方の撮像部の位置を平均或いは合成した結果に基づき、表示位置を補正しても良い。
さらに、上記各実施形態では、頭部装着型表示装置100、100B、100Cは、画像表示部20、20B、20Cと制御装置10とが分離され、接続部40を介して接続された構成として説明した。本発明はこれに限定されず、制御装置10を、画像表示部20、20B、20Cと一体に構成してもよい。また、頭部装着型表示装置100、100B、100Cは、少なくとも、表示を行う画像表示部20、20B、20Cが、使用者(作業者、指令者)の頭部に装着される装置であればよい。制御装置10の装着状態は限定されない。このため、制御装置10として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置10として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置10が画像表示部20、20B、20Cと分離して構成され、制御装置10と画像表示部20、20B、20Cとの間で無線通信により各種信号を送受信する構成としてもよい。
また、例えば、画像表示部20が画像光を生成する構成として、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよい。また、画像光を生成する構成として、LCOS(Liquid crystal on silicon, LCoSは登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。
また、画像光を使用者の眼に導く光学素子は、右導光板261、左導光板262に限定されない。すなわち、外部から装置に向けて入射する外光を透過し、画像光とともに使用者の眼に入射させる光学素子であればよい。例えば、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学素子を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学素子を採用してもよい。また、光学素子の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び/または反射させて導く機能のみを有する光学素子としてもよい。さらに、本発明の光学素子は、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
また、画像光を使用者の眼に導く光学素子は、右導光板261、左導光板262に限定されない。すなわち、外部から装置に向けて入射する外光を透過し、画像光とともに使用者の眼に入射させる光学素子であればよい。例えば、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学素子を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学素子を採用してもよい。また、光学素子の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び/または反射させて導く機能のみを有する光学素子としてもよい。さらに、本発明の光学素子は、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、MEMSミラーを用いた走査光学系を採用し、MEMSディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がMEMSミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板261及び左導光板262のように、複数回の反射を経て光を導く部品であってもよく、ハーフミラー面を利用してもよい。
また、本発明を、MEMSミラーを用いた走査光学系を採用し、MEMSディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がMEMSミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板261及び左導光板262のように、複数回の反射を経て光を導く部品であってもよく、ハーフミラー面を利用してもよい。
また、図3、図6及び図8に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、ハードウェア資源の配置はブロック図の構成に限定されない。また、制御部140が実行するプログラムは、記憶部120または制御装置10内の記憶装置に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部117又はインターフェイス125を介して取得して実行する構成としてもよい。また、制御装置10に形成された構成が重複して画像表示部20、20B、20Cに形成されていてもよい。例えば、図4、図6に示す制御部140が、画像表示部20、20B、20Cに設けられた構成としてもよく、この場合、制御部140と画像表示部20、20B、20Cの制御部とが機能を分担してもよい。
2…フレーム(表示部本体)、2D…テンプル部、2E…テンプル部、3…カメラユニット、3A…アーム部、3B…アーム部、3C…カメラ台座部、10…制御装置、20、20B、20C…画像表示部(表示部)、21…右保持部、21A、23A…ヒンジ(連結部)、23…左保持部、35…カメラケース、36…フレキシブルアーム、40…接続部、61…カメラ(撮像部)、62…カメラ(撮像部)、63…マイク、71…第1センサー、72…第2センサー、74…距離センサー、76…フレーム側センサー、78…カメラユニットセンサー、100、100B、100C…頭部装着型表示装置(表示装置)、120…記憶部、121…設定データ、123…コンテンツデータ、135…操作部、140…制御部、160…画像処理部、170…表示制御部、181…撮像処理部、184…位置検出部(制御部)、186…AR表示制御部(表示処理部)、187…音声処理部。
Claims (11)
- 使用者の頭部に装着される表示部本体を有する表示部と、
前記表示部本体に対し、変位可能に連結された撮像部と、
前記表示部本体に対する前記撮像部の位置または変位を検出する検出部と、
前記検出部により前記表示部本体と前記撮像部との相対位置を求める制御部と、
を備えることを特徴とする表示装置。 - 前記撮像部と前記表示部本体とを回動可能に連結する連結部を有し、
前記検出部は前記連結部における前記撮像部と前記表示部本体との角度の大きさまたは角度の変化を検出すること、
を特徴とする請求項1記載の表示装置。 - 複数の前記検出部を備え、
前記制御部は複数の前記検出部の検出値に基づいて、前記表示部本体と前記撮像部との相対位置を求めること、
を特徴とする請求項1または2記載の表示装置。 - 前記撮像部の撮像画像に基づき前記表示部にコンテンツを表示する表示処理部を備えること、
を特徴とする請求項1から3のいずれかに記載の表示装置。 - 前記表示処理部は、前記制御部が求める前記表示部本体と前記撮像部との相対位置に基づき、前記コンテンツの表示位置を調整すること、
を特徴とする請求項4記載の表示装置。 - 前記表示処理部は、前記表示部本体と前記撮像部との相対位置に基づき、前記使用者の視界の中心軸と、前記撮像部の光軸とのズレを補償するように前記コンテンツの表示位置を調整すること、
を特徴とする請求項5記載の表示装置。 - 前記制御部は、前記検出部の検出結果に基づき、前記コンテンツの表示位置の調整の要否を判定すること、
を特徴とする請求項5または6記載の表示装置。 - 前記表示処理部は、前記コンテンツの表示位置を調整する前に報知を行うこと、
を特徴とする請求項5から7のいずれかに記載の表示装置。 - 前記撮像部と前記制御部とを有線接続し、前記撮像部の撮像画像を前記制御部に伝送する接続部を備え、
前記接続部は前記撮像部と前記表示部本体とを連結する連結部に沿って配置されること、
を特徴とする請求項1から8のいずれかに記載の表示装置。 - 前記撮像部の撮像画像を前記制御部に無線伝送する無線伝送部を備えること、
を特徴とする請求項1から8のいずれかに記載の表示装置。 - 使用者の頭部に装着される表示部本体に表示部を設け、前記表示部本体に対し変位可能に連結された撮像部を備える表示装置において、
前記表示部本体に対する前記撮像部の位置または変位を検出することにより、前記表示部本体と前記撮像部との相対位置を求めること、
を特徴とする表示装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015038654A JP2016163136A (ja) | 2015-02-27 | 2015-02-27 | 表示装置、及び、表示装置の制御方法 |
US14/968,384 US20160170482A1 (en) | 2014-12-15 | 2015-12-14 | Display apparatus, and control method for display apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015038654A JP2016163136A (ja) | 2015-02-27 | 2015-02-27 | 表示装置、及び、表示装置の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016163136A true JP2016163136A (ja) | 2016-09-05 |
Family
ID=56845649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015038654A Withdrawn JP2016163136A (ja) | 2014-12-15 | 2015-02-27 | 表示装置、及び、表示装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016163136A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020059157A1 (ja) * | 2018-09-20 | 2020-03-26 | 株式会社ソニー・インタラクティブエンタテインメント | 表示システム、プログラム、表示方法、及び頭部装着装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007104036A (ja) * | 2005-09-30 | 2007-04-19 | Konica Minolta Photo Imaging Inc | 表示装置 |
JP2008070551A (ja) * | 2006-09-13 | 2008-03-27 | Nikon Corp | 頭部装着型ディスプレイ |
JP2011066549A (ja) * | 2009-09-15 | 2011-03-31 | Brother Industries Ltd | ヘッドマウントディスプレイ |
WO2011058707A1 (ja) * | 2009-11-11 | 2011-05-19 | コニカミノルタオプト株式会社 | 撮影装置および遠隔作業支援システム |
US20110261176A1 (en) * | 2010-02-12 | 2011-10-27 | Drew Incorporated (Pennsylvania C-corporation) | Tactical vision system |
JP2012008290A (ja) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | 眼鏡型表示装置及びサーバ |
JP2012156930A (ja) * | 2011-01-28 | 2012-08-16 | Brother Ind Ltd | 頭部装着型遠隔撮像システム、頭部装着撮像装置、撮像方向表示方法 |
-
2015
- 2015-02-27 JP JP2015038654A patent/JP2016163136A/ja not_active Withdrawn
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007104036A (ja) * | 2005-09-30 | 2007-04-19 | Konica Minolta Photo Imaging Inc | 表示装置 |
JP2008070551A (ja) * | 2006-09-13 | 2008-03-27 | Nikon Corp | 頭部装着型ディスプレイ |
JP2011066549A (ja) * | 2009-09-15 | 2011-03-31 | Brother Industries Ltd | ヘッドマウントディスプレイ |
WO2011058707A1 (ja) * | 2009-11-11 | 2011-05-19 | コニカミノルタオプト株式会社 | 撮影装置および遠隔作業支援システム |
US20110261176A1 (en) * | 2010-02-12 | 2011-10-27 | Drew Incorporated (Pennsylvania C-corporation) | Tactical vision system |
JP2012008290A (ja) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | 眼鏡型表示装置及びサーバ |
JP2012156930A (ja) * | 2011-01-28 | 2012-08-16 | Brother Ind Ltd | 頭部装着型遠隔撮像システム、頭部装着撮像装置、撮像方向表示方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020059157A1 (ja) * | 2018-09-20 | 2020-03-26 | 株式会社ソニー・インタラクティブエンタテインメント | 表示システム、プログラム、表示方法、及び頭部装着装置 |
US11906740B2 (en) | 2018-09-20 | 2024-02-20 | Sony Interactive Entertainment Inc. | Display system, program, display method, and head mounted device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6693060B2 (ja) | 表示システム、表示装置、表示装置の制御方法、及び、プログラム | |
US9898868B2 (en) | Display device, method of controlling the same, and program | |
JP6492531B2 (ja) | 表示装置、及び、表示装置の制御方法 | |
JP6550885B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
US10306217B2 (en) | Display device, control method for display device, and computer program | |
CN105739095B (zh) | 显示装置以及显示装置的控制方法 | |
US10782528B2 (en) | Head mounted display and control method thereof | |
JP2018142857A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP2014132305A (ja) | 表示装置、および、表示装置の制御方法 | |
US20160170482A1 (en) | Display apparatus, and control method for display apparatus | |
JP6405991B2 (ja) | 電子機器、表示装置、及び、電子機器の制御方法 | |
JP6554948B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2016122177A (ja) | 表示装置、及び、表示装置の制御方法 | |
JP2016224086A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2016024208A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP2017092628A (ja) | 表示装置、及び、表示装置の制御方法 | |
JP2016126589A (ja) | 表示システム、プログラム、及び、表示装置の制御方法 | |
JP2016090853A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2017079389A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP6638325B2 (ja) | 表示装置、及び、表示装置の制御方法 | |
JP2016163136A (ja) | 表示装置、及び、表示装置の制御方法 | |
JP2016116066A (ja) | 表示装置、及び、表示装置の制御方法 | |
JP6565310B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2016181864A (ja) | 表示装置、及び、表示装置の制御方法 | |
JP2016219897A (ja) | 表示装置、表示装置の制御方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190205 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20190404 |