JP2016033611A - 情報提供システム、表示装置、および、表示装置の制御方法 - Google Patents
情報提供システム、表示装置、および、表示装置の制御方法 Download PDFInfo
- Publication number
- JP2016033611A JP2016033611A JP2014156698A JP2014156698A JP2016033611A JP 2016033611 A JP2016033611 A JP 2016033611A JP 2014156698 A JP2014156698 A JP 2014156698A JP 2014156698 A JP2014156698 A JP 2014156698A JP 2016033611 A JP2016033611 A JP 2016033611A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- display
- display device
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Digital Computer Display Output (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】使用者が装着して使用する表示装置によって、使用者を特定した表示を行うことが可能な情報提供システム、表示装置、および、表示装置の制御方法を提供する。【解決手段】情報提供システム1は、使用者の身体に装着して使用される頭部装着型表示装置100と、頭部装着型表示装置100と通信可能に接続される情報提供装置4と、を備える。情報提供装置4は、通信部401と、頭部装着型表示装置100を識別する識別部411と、情報の送信先の頭部装着型表示装置100を識別し、通信部401により情報を送信する通信制御部412と、を備える。頭部装着型表示装置100は、情報提供装置4と通信する第2の通信部と、第2の通信部により情報提供装置4から情報を受信して表示部に表示する情報表示制御部と、を備える。【選択図】図2
Description
本発明は、情報提供システム、表示装置、および、表示装置の制御方法に関する。
従来、ウェアラブル表示装置において、外界視野と重畳して表示を行うものが知られている(例えば、特許文献1参照)。特許文献1記載の装置は、外界視野と文字を重畳して表示し、表示する一部の文字又は単語についてフォントサイズや文字の色等の表示属性を変更する機能を有する。これにより、例えば街中にいる人や移動中の人が、ウェアラブル表示装置を使用して文章データを読むことができる。
特許文献1は、ウェアラブル表示装置を、予め作成される文章データを読む用途に用いる構成が開示するが、従来、この種の表示装置が使用者を特定した表示を行う手法は、提案されていない。
本発明は、上述した事情に鑑みてなされるものであり、使用者が装着して使用する表示装置によって、使用者を特定した表示を行うことが可能な情報提供システム、表示装置、および、表示装置の制御方法を提供することを目的とする。
本発明は、上述した事情に鑑みてなされるものであり、使用者が装着して使用する表示装置によって、使用者を特定した表示を行うことが可能な情報提供システム、表示装置、および、表示装置の制御方法を提供することを目的とする。
上記目的を達成するために、本発明の情報提供システムは、使用者の身体に装着して使用される表示装置と、前記表示装置と通信可能に接続される情報提供装置と、を備え、前記情報提供装置は、前記表示装置と通信する第1の通信部と、前記表示装置を識別する識別部と、前記識別部によって情報の送信先の前記表示装置を識別し、前記第1の通信部により情報を送信する通信制御部と、を備え、前記表示装置は、前記情報提供装置と通信する第2の通信部と、前記第2の通信部により前記情報提供装置から情報を受信して前記表示部に表示する情報表示制御部と、を備えること、を特徴とする。
本発明によれば、使用者の身体に装着して使用される表示装置に対し、表示装置を識別して情報を送信することができ、表示装置を使用する使用者に、個別に情報を提供できる。
本発明によれば、使用者の身体に装着して使用される表示装置に対し、表示装置を識別して情報を送信することができ、表示装置を使用する使用者に、個別に情報を提供できる。
また、本発明は、上記情報提供システムにおいて、前記表示装置は、使用者に画像を視認させるとともに外景を透過する前記表示部と、前記使用者の視線方向の対象物を検出する対象検出部と、を備え、前記情報表示制御部は、前記対象検出部で検出した前記対象物に関連する関連情報を前記表示部に表示し、前記第2の通信部により前記情報提供装置から受信する情報を前記表示部に表示させること、を特徴とする。
本発明によれば、使用者の視線方向に位置する対象物に関連する関連情報、及び、情報提供装置が表示装置に送信する情報を、外景とともに見えるように表示できる。このため、外景を透過する表示部の特性を生かして、使用者に情報を見せることができる。
本発明によれば、使用者の視線方向に位置する対象物に関連する関連情報、及び、情報提供装置が表示装置に送信する情報を、外景とともに見えるように表示できる。このため、外景を透過する表示部の特性を生かして、使用者に情報を見せることができる。
また、本発明は、上記情報提供システムにおいて、前記情報表示制御部は、前記第2の通信部で前記情報提供装置から受信する情報を、前記関連情報とともに、前記関連情報よりも強調される態様で前記表示部に表示すること、を特徴とする。
本発明によれば、使用者の視線方向に位置する対象物に関連する関連情報と、情報提供装置が表示装置に送信する情報とを合わせて表示できる。また、情報提供装置が表示装置に送信する情報を、関連情報よりも強調して表示し、使用者に強く注目させることができる。
本発明によれば、使用者の視線方向に位置する対象物に関連する関連情報と、情報提供装置が表示装置に送信する情報とを合わせて表示できる。また、情報提供装置が表示装置に送信する情報を、関連情報よりも強調して表示し、使用者に強く注目させることができる。
また、本発明は、上記情報提供システムにおいて、前記情報表示制御部は、前記情報提供装置から受信する情報を、前記外景に重なる表示位置に表示すること、を特徴とする。
本発明によれば、外景に重なるように情報を表示できる。このため、例えば外景として使用者が見る事物に関する案内や説明を表示できる。
本発明によれば、外景に重なるように情報を表示できる。このため、例えば外景として使用者が見る事物に関する案内や説明を表示できる。
また、本発明は、上記情報提供システムにおいて、前記情報提供装置の前記通信制御部は、前記使用者を誘導する画像を含む誘導情報を、前記第1の通信部により前記表示装置に送信し、前記情報表示制御部は、前記第2の通信部で受信する前記誘導情報に基づき、前記使用者を誘導する画像を前記表示部で表示すること、を特徴とする。
本発明によれば、使用者に画像を見せることにより使用者をスムーズに誘導できる。
本発明によれば、使用者に画像を見せることにより使用者をスムーズに誘導できる。
また、本発明は、上記情報提供システムにおいて、前記情報提供装置の前記識別部は、前記表示装置を識別して各々の前記表示装置の位置を特定し、前記通信制御部は、前記識別部により特定した前記表示装置の位置に対応する前記誘導情報を前記第1の通信部で送信すること、を特徴とする。
本発明によれば、情報提供装置が表示装置を識別し、表示装置の位置に対応する誘導情報を送信できる。これにより、表示装置を使用する使用者に対し、使用者の位置に対応した情報を提供して、より適切に誘導できる。
本発明によれば、情報提供装置が表示装置を識別し、表示装置の位置に対応する誘導情報を送信できる。これにより、表示装置を使用する使用者に対し、使用者の位置に対応した情報を提供して、より適切に誘導できる。
また、本発明は、上記情報提供システムにおいて、前記情報提供装置の前記通信制御部は、複数の前記表示装置に対して共通の情報を送信し、さらに、特定の前記表示装置を前記識別部で識別して前記共通の情報とは異なる情報を送信すること、を特徴とする。
本発明によれば、複数の表示装置に共通の情報を送信して表示させ、そのうち特定の表示装置に対しては共通でない情報を送信できる。このため、複数の表示装置に対して、様々な形態で情報を送信し、表示させることができる。
本発明によれば、複数の表示装置に共通の情報を送信して表示させ、そのうち特定の表示装置に対しては共通でない情報を送信できる。このため、複数の表示装置に対して、様々な形態で情報を送信し、表示させることができる。
また、本発明は、上記情報提供システムにおいて、前記表示装置は、撮像部を備え、前記対象検出部は、前記撮像部の撮像画像に基づいて、前記使用者が前記表示部を透過して視認する前記対象物を検出すること、を特徴とする。
本発明によれば、使用者の視線方向の対象物を速やかに検出できる。
本発明によれば、使用者の視線方向の対象物を速やかに検出できる。
また、本発明は、上記情報提供システムにおいて、前記撮像部は、IR(赤外線)カメラ、暗視カメラ、または、サーモグラフィーカメラであること、を特徴とする。
本発明によれば、対象物が、人間の目には見えない、或いは、見えにくい状態であっても検出できる。
本発明によれば、対象物が、人間の目には見えない、或いは、見えにくい状態であっても検出できる。
また、本発明は、上記情報提供システムにおいて、前記表示装置は、前記対象検出部により検出された前記対象物と前記使用者との距離を検出する距離検出部を備え、前記情報表示制御部は、前記距離検出部が検出した距離に応じた態様で情報を表示すること、を特徴とする。
本発明によれば、情報の表示態様に、対象物との距離を反映できるので、対象物との距離を使用者に知覚させることができる。
本発明によれば、情報の表示態様に、対象物との距離を反映できるので、対象物との距離を使用者に知覚させることができる。
また、上記目的を達成するために、本発明は、使用者の身体に装着して使用される表示装置であって、前記使用者に画像を視認させるとともに外景を透過する表示部と、外部の情報提供装置と通信する通信部と、前記使用者の視線方向の対象物を検出する対象検出部と、前記対象検出部で検出した前記対象物に関連する関連情報、及び、前記通信部により前記情報提供装置から受信する情報を、前記表示部に表示する情報表示制御部と、を備えることを特徴とする。
本発明によれば、使用者の身体に装着して使用される表示装置に対し、表示装置を識別して情報を送信することができ、表示装置を使用する使用者に、個別に情報を提供できる。
本発明によれば、使用者の身体に装着して使用される表示装置に対し、表示装置を識別して情報を送信することができ、表示装置を使用する使用者に、個別に情報を提供できる。
また、上記目的を達成するために、本発明は、使用者に画像を視認させるとともに外景を透過する表示部を備え、使用者の身体に装着して使用される表示装置の制御方法であって、外部の情報提供装置と通信して前記情報提供装置が送信する情報を受信し、前記使用者の視線方向の対象物を検出し、前記対象物に関連する関連情報、及び、前記情報提供装置から受信する情報を、前記表示部により表示すること、を特徴とする。
本発明によれば、使用者の身体に装着して使用される表示装置に対し、表示装置を識別して情報を送信することができ、表示装置を使用する使用者に、個別に情報を提供できる。
本発明によれば、使用者の身体に装着して使用される表示装置に対し、表示装置を識別して情報を送信することができ、表示装置を使用する使用者に、個別に情報を提供できる。
図1は、頭部装着型表示装置100の外観構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(HMD:Head Mounted Display)とも呼ばれる。本実施形態の頭部装着型表示装置100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置100によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成される画像光を射出することを「画像を表示する」ともいう。
頭部装着型表示装置100は、使用者の頭部に装着される状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御装置10と、を備える。制御装置10は、使用者が頭部装着型表示装置100を操作するためのコントローラーとしても機能する。画像表示部20は、単に「表示部」とも呼ぶ。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61(撮像部)と、マイク63と、を備える。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続される。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置される。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」とも呼び、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図3参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図3参照)と調光板20Aとを備える。導光板261,262は、光透過性の樹脂等によって形成され、表示駆動部22,24から出力される画像光を使用者の眼に導く。調光板20Aは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置される。調光板20Aは、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰または反射するもの等、種々のものを用いることができる。調光板20Aの光学特性(光透過率など)を適宜選択することにより、外部から右光学像表示部26および左光学像表示部28に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置100を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板20Aを用いる場合について説明する。調光板20Aは右導光板261、左導光板262を保護し、右導光板261、左導光板262の損傷や汚れの付着等を抑制する。
調光板20Aは右光学像表示部26および左光学像表示部28に対し着脱可能としてもよく、複数種類の調光板20Aを交換して装着可能としてもよいし、省略してもよい。
調光板20Aは右光学像表示部26および左光学像表示部28に対し着脱可能としてもよく、複数種類の調光板20Aを交換して装着可能としてもよいし、省略してもよい。
カメラ61は、右光学像表示部26の他端である端部ERに配置される。カメラ61は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。図1に示す本実施形態のカメラ61は、単眼カメラであるが、ステレオカメラであってもよい。
カメラ61の撮影方向すなわち画角は、頭部装着型表示装置100の表側方向、換言すれば、頭部装着型表示装置100を装着した状態における使用者の視界方向の少なくとも一部の外景を撮影する方向である。また、カメラ61の画角の広さは適宜設定可能であるが、カメラ61の撮像範囲が、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界(外景)を含む範囲であることが好ましい。さらに、調光板20Aを通した使用者の視界の全体を撮影できるようにカメラ61の撮像範囲が設定されていると、より好ましい。
また、カメラ61は、赤外光を受光して撮像するIR(赤外線)カメラ、微弱な光や可視近赤外領域(VNIR:Visible and Near Infrared)の光を受光する暗視カメラ、或いは、赤外光を受光して撮像範囲の熱分布を示す撮像画像を生成するサーモグラフィーカメラ等の、人間の目には見えない、或いは、見えにくい波長の光を撮影するカメラとしてもよい。
カメラ61の撮影方向すなわち画角は、頭部装着型表示装置100の表側方向、換言すれば、頭部装着型表示装置100を装着した状態における使用者の視界方向の少なくとも一部の外景を撮影する方向である。また、カメラ61の画角の広さは適宜設定可能であるが、カメラ61の撮像範囲が、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界(外景)を含む範囲であることが好ましい。さらに、調光板20Aを通した使用者の視界の全体を撮影できるようにカメラ61の撮像範囲が設定されていると、より好ましい。
また、カメラ61は、赤外光を受光して撮像するIR(赤外線)カメラ、微弱な光や可視近赤外領域(VNIR:Visible and Near Infrared)の光を受光する暗視カメラ、或いは、赤外光を受光して撮像範囲の熱分布を示す撮像画像を生成するサーモグラフィーカメラ等の、人間の目には見えない、或いは、見えにくい波長の光を撮影するカメラとしてもよい。
画像表示部20は、さらに、画像表示部20を制御装置10に接続するための接続部40を有する。接続部40は、制御装置10に接続される本体コード48と、右コード42と、左コード44と、連結部材46と、を備える。右コード42と左コード44とは、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続される。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続される。
連結部材46は、本体コード48と、右コード42および左コード44と、の分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有する。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延びる。イヤホンプラグ30の近傍にはマイク63が設けられる。イヤホンプラグ30からマイク63までは一本のコードにまとめられ、マイク63からコードが分岐して、右イヤホン32と左イヤホン34のそれぞれに繋がる。
マイク63の具体的な仕様は任意であり、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。指向性を有するマイクとしては、例えば単一指向性(Cardioid)、狭指向性(Super cardioid)、鋭指向性(Hypercardioid)、超指向性(Ultra Cardioid)等が挙げられる。マイク63が指向性を有する場合、頭部装着型表示装置100を装着した使用者の視線方向からの音声を特に良好に集音し、検出する構成とすればよい。この場合、マイク63の指向性を確保するため、マイク63またはマイク63を収容する部品に構造的な特徴を持たせてもよい。例えば図1の例において、使用者が右イヤホン32及び左イヤホン34を装着した状態で、マイク63の集音部が、使用者の視線方向を向くように、マイク63及び連結部材46が設計されていればよい。或いは、マイク63を、右保持部21または左保持部23に埋込設置してもよい。この場合、右保持部21または左保持部23の前面側、すなわち右光学像表示部26、左光学像表示部28に並ぶ面に集音用の穴を穿設すれば、使用者の視線方向に対応する指向性を持たせることができる。使用者の視線方向とは、例えば、右光学像表示部26及び左光学像表示部28が面する方向、使用者が右光学像表示部26及び左光学像表示部28越しに見る視界の中心を向く方向、カメラ61の撮影方向等と言い換えることができる。なお、マイク63の指向性の方向を可変としてもよい。この場合、使用者の視線方向を検出して、その方向を向くようにマイク63の視線方向を調整する構成としてもよい。
なお、右コード42と左コード44とを一本のコードにまとめることも可能である。具体的には、右コード42の内部の導線を、画像表示部20の本体内部を通して左保持部23側に引き込み、左コード44内部の導線とともに樹脂で被覆して、一本のコードにまとめてもよい。
画像表示部20と制御装置10とは、接続部40を介して各種信号の伝送を行なう。本体コード48における連結部材46とは反対側の端部と、制御装置10と、のそれぞれには、互いに嵌合するコネクター(図示略)が設けられる。本体コード48のコネクターと制御装置10のコネクターとの嵌合/嵌合解除により、制御装置10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブルや光ファイバーを採用できる。
制御装置10は、頭部装着型表示装置100を制御するための装置である。制御装置10は、決定キー11、点灯部12、表示切替キー13、輝度切替キー15、方向キー16、メニューキー17、及び電源スイッチ18を含むスイッチ類を備える。また、制御装置10は、使用者が指によりタッチ操作するトラックパッド14を備える。
決定キー11は、押下操作を検出して、制御装置10で操作された内容を決定する信号を出力する。点灯部12は、頭部装着型表示装置100の動作状態を、その発光状態によって通知する。頭部装着型表示装置100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LED(Light Emitting Diode)が用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとを切り替える信号を出力する。
トラックパッド14は、トラックパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、頭部装着型表示装置100の電源投入状態を切り替える。
図2は、頭部装着型表示装置100を有する情報提供システム1の概略構成を示す図である。
情報提供システム1は、頭部装着型表示装置100と、情報提供装置4とを通信可能に接続した構成を有する。頭部装着型表示装置100と情報提供装置4との間の通信は、本実施形態では無線通信回線を介して行う。情報提供システム1は、頭部装着型表示装置100及び情報提供装置4の他に、通信を仲介する無線アクセスポイント装置やルーター装置等の通信装置(図示略)を備えてもよい。
情報提供システム1は、頭部装着型表示装置100と、情報提供装置4とを通信可能に接続した構成を有する。頭部装着型表示装置100と情報提供装置4との間の通信は、本実施形態では無線通信回線を介して行う。情報提供システム1は、頭部装着型表示装置100及び情報提供装置4の他に、通信を仲介する無線アクセスポイント装置やルーター装置等の通信装置(図示略)を備えてもよい。
情報提供装置4は、複数の頭部装着型表示装置100と通信可能であり、情報提供システム1が備える頭部装着型表示装置100の数について特に制限はない。
情報提供装置4は、頭部装着型表示装置100と通信する通信部401、情報提供装置4を操作するオペレーターの入力操作を受け付ける入力部402、及び、入力部402による入力内容や処理結果を表示する表示部403を備える。通信部401(第1の通信部)は、IEEE802.11規格に準拠した無線LAN、WiFi(登録商標)、Bluetooth(登録商標)等の各種無線通信を実行する。入力部402はキーボード、マウス、タッチパネル等の入力デバイスを備えてもよく、表示部403は、液晶ディスプレイ等の表示画面を備えていてもよい。また、情報提供装置4は、情報提供装置4と通信可能な他のコンピューターによりリモートアクセスされて操作されてもよい。
情報提供装置4は、据え置き型のコンピューターであっても携帯型のデバイスであってもよく、例えば、パーソナルコンピューター、サーバーコンピューター、タブレット型コンピューター、スマートフォン、携帯型電話機を用いて実現してもよい。また、情報提供装置4の位置について特に制限はない。
情報提供装置4は、頭部装着型表示装置100と通信する通信部401、情報提供装置4を操作するオペレーターの入力操作を受け付ける入力部402、及び、入力部402による入力内容や処理結果を表示する表示部403を備える。通信部401(第1の通信部)は、IEEE802.11規格に準拠した無線LAN、WiFi(登録商標)、Bluetooth(登録商標)等の各種無線通信を実行する。入力部402はキーボード、マウス、タッチパネル等の入力デバイスを備えてもよく、表示部403は、液晶ディスプレイ等の表示画面を備えていてもよい。また、情報提供装置4は、情報提供装置4と通信可能な他のコンピューターによりリモートアクセスされて操作されてもよい。
情報提供装置4は、据え置き型のコンピューターであっても携帯型のデバイスであってもよく、例えば、パーソナルコンピューター、サーバーコンピューター、タブレット型コンピューター、スマートフォン、携帯型電話機を用いて実現してもよい。また、情報提供装置4の位置について特に制限はない。
情報提供装置4は、制御部410を備える。制御部410は、図示しないCPU、ROM、RAM等を備え、ROMに記憶した基本制御プログラムを読み出して実行し、情報提供装置4の各部を制御する。制御部410は、上記基本制御プログラムを実行することにより、識別部411、通信制御部412、及び送信情報生成部413として機能する。
また、情報提供装置4は、制御部410が処理するデータ等を記憶する記憶部420を備える。記憶部420は、電磁的記憶媒体、光学的記憶媒体または半導体メモリーによりデータやプログラムを不揮発的に記憶する記憶装置を利用できる。記憶部420を、制御部410が備えるROMまたはRAMの記憶領域を利用して実現してもよい。本実施形態で、記憶部420は、HMD識別情報421、HMD位置情報422、及び送信用情報423を記憶する。
また、情報提供装置4は、制御部410が処理するデータ等を記憶する記憶部420を備える。記憶部420は、電磁的記憶媒体、光学的記憶媒体または半導体メモリーによりデータやプログラムを不揮発的に記憶する記憶装置を利用できる。記憶部420を、制御部410が備えるROMまたはRAMの記憶領域を利用して実現してもよい。本実施形態で、記憶部420は、HMD識別情報421、HMD位置情報422、及び送信用情報423を記憶する。
識別部411は、情報提供システム1が有する頭部装着型表示装置100を識別する。識別部411は、少なくとも複数の頭部装着型表示装置100のうちいずれか1台を、他の頭部装着型表示装置100と区別できればよい。例えば、情報提供システム1において、いずれか1台の頭部装着型表示装置100が特定対象として設定される場合、識別部411は、個々の頭部装着型表示装置100が特定対象か否かを判定できればよい。より複雑な制御が可能な場合、識別部411は、情報提供システム1の頭部装着型表示装置100のうち、特定対象の複数の頭部装着型表示装置100を、他の頭部装着型表示装置100と区別できればよい。さらに、特定対象の複数の頭部装着型表示装置100を、相互に識別できる構成としてもよい。また、識別部411が、情報提供システム1の全ての頭部装着型表示装置100を、個別に識別できる構成としてもよい。
本実施形態では、各々の頭部装着型表示装置100に、情報提供システム1の内部で他の頭部装着型表示装置100と区別できるように、識別情報が割り当てられる。情報提供システム1が無線LANを使用する場合、頭部装着型表示装置100が有するMAC(Media Access Control)アドレスまたはIP(Internet Protocol)アドレスを識別情報として使用できる。また、各々の頭部装着型表示装置100に、予め固有の識別情報が割り当てられてもよい。例えば、頭部装着型表示装置100の名称、番号、等である。この場合、頭部装着型表示装置100は、割り当てられた識別情報を記憶する。識別部411は、通信部401により通信可能な頭部装着型表示装置100の識別情報を、頭部装着型表示装置100から取得して、HMD識別情報421に書き込む。この構成では、情報提供システム1の頭部装着型表示装置100を、個別に特定できる。
HMD識別情報421は、識別部411が取得した頭部装着型表示装置100の識別情報と、情報提供システム1において頭部装着型表示装置100を呼び出すために必要な呼出情報とを対応付けて含む。呼出情報とは、例えば、頭部装着型表示装置100のネットワークアドレス等である。頭部装着型表示装置100の識別情報が、ネットワークアドレスを使用している場合、HMD識別情報421はネットワークアドレスのみを含む構成であってもよい。
HMD識別情報421には、頭部装着型表示装置100の識別情報に対応付けて、頭部装着型表示装置100が情報提供装置4と通信可能な状態か否かを示す情報を含んでもよいし、頭部装着型表示装置100を使用する使用者を特定する情報を含んでもよい。使用者を特定する情報とは氏名、使用者に付与された固有の番号等である。
HMD識別情報421には、頭部装着型表示装置100の識別情報に対応付けて、頭部装着型表示装置100が情報提供装置4と通信可能な状態か否かを示す情報を含んでもよいし、頭部装着型表示装置100を使用する使用者を特定する情報を含んでもよい。使用者を特定する情報とは氏名、使用者に付与された固有の番号等である。
また、識別部411は、情報提供システム1が有する頭部装着型表示装置100の位置を特定する機能を有する。識別部411は、各々の頭部装着型表示装置100の位置を、識別情報に対応付けてHMD位置情報422に書き込む。HMD位置情報422は、頭部装着型表示装置100の識別情報と位置とを対応付けて含む情報である。
識別部411が頭部装着型表示装置100の位置を特定する方法としては、以下の方法が挙げられる。
第1の方法は、頭部装着型表示装置100が位置を検出し、検出した位置を示す位置情報を情報提供装置4に送信する方法である。識別部411は、通信部401が頭部装着型表示装置100から受信する位置情報を取得することで、頭部装着型表示装置100の位置を特定する。
なお、この第1の方法で頭部装着型表示装置100が位置を検出する具体的な方法は、例えば、頭部装着型表示装置100が備えるGPS115を利用する方法がある。また、頭部装着型表示装置100が使用されるエリアに複数の無線送信機(図示略)を設置し、これら無線送信機が送信する無線信号を頭部装着型表示装置100が通信部117により受信する方法で位置検出を行える。この場合、頭部装着型表示装置100は、無線送信機の位置と各無線送信機から受信する無線信号とに基づいて現在位置を算出する。また、頭部装着型表示装置100が設置されるエリアに現在位置を示すタグを配置し、頭部装着型表示装置100がタグを読み取って、タグから読み取った情報を情報提供装置4に送信する方法がある。識別部411は、上記エリアに配置されたタグとタグの位置とを対応付ける情報を有し、この情報に基づいて、頭部装着型表示装置100の位置を特定できる。タグとしては非接触型の無線通信タグ(例えば、RFID(Radio Frequency IDentifier)タグ)や、図形コード(バーコード、二次元コードを含む)等を利用できる。
第1の方法は、頭部装着型表示装置100が位置を検出し、検出した位置を示す位置情報を情報提供装置4に送信する方法である。識別部411は、通信部401が頭部装着型表示装置100から受信する位置情報を取得することで、頭部装着型表示装置100の位置を特定する。
なお、この第1の方法で頭部装着型表示装置100が位置を検出する具体的な方法は、例えば、頭部装着型表示装置100が備えるGPS115を利用する方法がある。また、頭部装着型表示装置100が使用されるエリアに複数の無線送信機(図示略)を設置し、これら無線送信機が送信する無線信号を頭部装着型表示装置100が通信部117により受信する方法で位置検出を行える。この場合、頭部装着型表示装置100は、無線送信機の位置と各無線送信機から受信する無線信号とに基づいて現在位置を算出する。また、頭部装着型表示装置100が設置されるエリアに現在位置を示すタグを配置し、頭部装着型表示装置100がタグを読み取って、タグから読み取った情報を情報提供装置4に送信する方法がある。識別部411は、上記エリアに配置されたタグとタグの位置とを対応付ける情報を有し、この情報に基づいて、頭部装着型表示装置100の位置を特定できる。タグとしては非接触型の無線通信タグ(例えば、RFID(Radio Frequency IDentifier)タグ)や、図形コード(バーコード、二次元コードを含む)等を利用できる。
第2の方法は、頭部装着型表示装置100が使用されるエリア及びエリアにおける仕様位置を定める方法である。例えば、図6を参照して後述する情報提供システム1の適用例では、頭部装着型表示装置100が劇場THで使用される。各々の頭部装着型表示装置100が座席番号に対応付けられている場合、この座席番号を頭部装着型表示装置100の位置情報とすることができる。
第3の方法は、識別部411が頭部装着型表示装置100の位置を検出する動作を実行する方法である。例えば、識別部411は、通信部401が頭部装着型表示装置100と通信を行うときの通信遅延等に基づき、頭部装着型表示装置100の位置を算出できる。この第3の方法では、1つの通信部401を利用して、頭部装着型表示装置100と情報提供装置4との間の大まかな距離を求め、頭部装着型表示装置100の位置を推定できる。また、通信部401に相当する通信装置を情報提供装置4に接続して用いれば、より正確に頭部装着型表示装置100の位置を求めることができる。
識別部411は、上述した方法により頭部装着型表示装置100の位置を取得して、取得した位置を示す情報を、頭部装着型表示装置100の識別情報に対応付けてHMD位置情報422に書き込む。
通信制御部412は、通信部401を利用した頭部装着型表示装置100との通信を制御する。
通信制御部412は、入力部402が受け付ける操作により、特定の頭部装着型表示装置100が指定され、指定された頭部装着型表示装置100に通信するよう要求された場合に、HMD識別情報421を参照する。通信制御部412は、HMD識別情報421に含まれる情報に基づいて、通信部401を制御し、頭部装着型表示装置100への通信を実行する。
通信制御部412は、入力部402が受け付ける操作により、特定の頭部装着型表示装置100が指定され、指定された頭部装着型表示装置100に通信するよう要求された場合に、HMD識別情報421を参照する。通信制御部412は、HMD識別情報421に含まれる情報に基づいて、通信部401を制御し、頭部装着型表示装置100への通信を実行する。
送信情報生成部413は、頭部装着型表示装置100に送信する情報を生成する。送信情報生成部413が生成する情報は、通信部401により頭部装着型表示装置100に送信され、頭部装着型表示装置100が表示する。つまり、送信情報生成部413が生成する情報は頭部装着型表示装置100の装着者に見せることを目的とする情報である。
送信情報生成部413が生成する情報は特に制限されないが、本実施形態では、テキスト(文字)のみを含むテキスト情報、及び、画像を含む画像情報を生成する場合を例に挙げる。この情報に含まれる画像の実体はベクターデータであってもラスターデータであってもよい。また、複数の画像を含んでもよい。
本実施形態では、図6を参照して後述する適用例において、頭部装着型表示装置100を装着する使用者を誘導するための文字や画像を含む情報を、誘導情報とする。誘導情報の具体的な態様は任意であり、例えば、誘導情報の画像は、文字を画像化した画像、記号、矢印、誘導用の直線等の図形を含む画像、使用者の周辺を図案化した画像(例えば、建物内の経路図、地図など)等が挙げられる。また、文字のみを含む誘導情報、記号、図形、あるいは画像のみを含む誘導情報であってもよい。
送信情報生成部413が生成する情報は特に制限されないが、本実施形態では、テキスト(文字)のみを含むテキスト情報、及び、画像を含む画像情報を生成する場合を例に挙げる。この情報に含まれる画像の実体はベクターデータであってもラスターデータであってもよい。また、複数の画像を含んでもよい。
本実施形態では、図6を参照して後述する適用例において、頭部装着型表示装置100を装着する使用者を誘導するための文字や画像を含む情報を、誘導情報とする。誘導情報の具体的な態様は任意であり、例えば、誘導情報の画像は、文字を画像化した画像、記号、矢印、誘導用の直線等の図形を含む画像、使用者の周辺を図案化した画像(例えば、建物内の経路図、地図など)等が挙げられる。また、文字のみを含む誘導情報、記号、図形、あるいは画像のみを含む誘導情報であってもよい。
送信情報生成部413が生成する情報は、特定の頭部装着型表示装置100に対して送信することを目的とする情報と、複数の頭部装着型表示装置100に共通して送信することを目的とする情報とがある。送信情報生成部413は、複数の頭部装着型表示装置100に送信する情報を生成する場合、定型の文字列や画像を利用できる。これらの定型の文字列や画像は記憶部420に予め記憶される。また、送信情報生成部413は、特定の頭部装着型表示装置100に適する情報を生成することも可能であり、この場合は、文字列や画像を生成し、或いは、定型の文字列や画像に、別の文字列や画像を付加してもよい。
送信情報生成部413は、通信制御部412の制御により頭部装着型表示装置100に送信する情報を生成する。送信情報生成部413が生成する情報が、テキスト情報か画像情報かは、入力部402で入力される内容または通信制御部412が設定する内容により決まる。また、送信情報生成部413が、特定の頭部装着型表示装置100に対する情報を生成するか、複数の頭部装着型表示装置100に共通の情報を生成するかも、同様に、入力部402で入力される内容または通信制御部412が設定する内容により決まる。
送信情報生成部413が生成する情報は、記憶部420に送信用情報423として記憶される。通信制御部412は、記憶部420から送信用情報423を読み出して、通信部401により送信する。
図3は、頭部装着型表示装置100の機能的構成を示すブロック図である。
図3には、頭部装着型表示装置100に接続可能な外部機器OAを図示する。外部機器OAは、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等である。外部機器OAは、頭部装着型表示装置100に画像を供給する画像供給装置として用いられる。
図3には、頭部装着型表示装置100に接続可能な外部機器OAを図示する。外部機器OAは、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等である。外部機器OAは、頭部装着型表示装置100に画像を供給する画像供給装置として用いられる。
頭部装着型表示装置100の制御装置10は、制御部140と、操作部135と、入力情報取得部110と、記憶部120と、電源130と、インターフェイス180と、送信部(Tx)51および送信部(Tx)52と、を有する。
操作部135は、使用者による操作を検出する。操作部135は、図1に示した決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、電源スイッチ18の各部を備える。
操作部135は、使用者による操作を検出する。操作部135は、図1に示した決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、電源スイッチ18の各部を備える。
入力情報取得部110は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド14、方向キー16、電源スイッチ18、に対する操作入力がある。
電源130は、頭部装着型表示装置100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。
電源130は、頭部装着型表示装置100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。
記憶部120は、種々のコンピュータープログラムを格納する。記憶部120は、ROMやRAM等によって構成される。記憶部120には、頭部装着型表示装置100の画像表示部20に表示する画像データが格納されていても良い。また、記憶部120は、データ取得部DAが取得した表示データ、及び、通信部117が情報提供装置4から受信した情報等を記憶してもよい。
インターフェイス180は、制御装置10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。インターフェイス180としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。
制御部140は、記憶部120が記憶するコンピュータープログラムを読み出して実行することにより、各部の機能を実現する。すなわち、制御部140は、オペレーティングシステム(OS)150、画像処理部160、音声処理部170、対象検出部171、距離検出部173、情報表示制御部178、及び、表示制御部190として機能する。
制御部140には、3軸センサー113、GPS115、及び通信部117が接続される。3軸センサー113は3軸の加速度センサーであり、3軸センサー113の検出値を制御部140が取得可能である。GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置10の現在位置を求める。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御装置10の制御部140が計時する時刻を修正させる機能を備えていてもよい。
通信部117(第2の通信部)は、IEEE802.11規格に準拠した無線LAN、WiFi、Bluetooth等の各種無線通信を実行する。また、通信部117は、Miracast(登録商標)による画像データの送受信を行ってもよい。
外部機器OAが、通信部117に無線接続された場合には、制御部140は、コンテンツデータを通信部117より取得して、画像表示部20に画像を表示するための制御を行う。一方、外部機器OAが、インターフェイス180に有線接続された場合には、制御部140は、コンテンツデータをインターフェイス180より取得して、画像表示部20に画像を表示するための制御を行う。よって、通信部117、及び、インターフェイス180を、以下総称してデータ取得部DAと呼ぶ。
データ取得部DAは、外部機器OAから、頭部装着型表示装置100により表示するコンテンツデータを取得する。コンテンツデータは後述する表示データを含み、表示データは画像データやテキストデータ等の種々のデータとすることができる。
外部機器OAが、通信部117に無線接続された場合には、制御部140は、コンテンツデータを通信部117より取得して、画像表示部20に画像を表示するための制御を行う。一方、外部機器OAが、インターフェイス180に有線接続された場合には、制御部140は、コンテンツデータをインターフェイス180より取得して、画像表示部20に画像を表示するための制御を行う。よって、通信部117、及び、インターフェイス180を、以下総称してデータ取得部DAと呼ぶ。
データ取得部DAは、外部機器OAから、頭部装着型表示装置100により表示するコンテンツデータを取得する。コンテンツデータは後述する表示データを含み、表示データは画像データやテキストデータ等の種々のデータとすることができる。
また、通信部117は、情報提供装置4(図2)の通信部401から送信される情報を受信して、制御部140に出力する。制御部140は、通信部117により情報提供装置4から受信した情報を、後述するように情報表示制御部178の機能により処理する。
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示略)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示略)を用いてディジタル画像信号に変換する。その後、画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データ(図中、Data)として、1フレームごとに記憶部120内のDRAMに格納する。この画像データは、例えばRGBデータである。
なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、記憶部120内のDRAMに格納された画像データData、のそれぞれを、送信部51、52を介して送信する。なお、送信部51を介して送信された画像データDataを「右眼用画像データ」とも呼び、送信部52を介して送信された画像データDataを「左眼用画像データ」とも呼ぶ。送信部51、52は、制御装置10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFなど、を個別に制御する。これにより、表示制御部190は、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号のそれぞれを、送信部51および52を介して送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号のそれぞれを送信する。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61と、振動センサー65と、9軸センサー66と、を備える。
振動センサー65は、加速度センサーを利用して構成され、図1に示すように画像表示部20の内部に配置される。図1の例では右保持部21において、右光学像表示部26の端部ERの近傍に内蔵される。振動センサー65は、使用者が端部ERを叩く操作(ノック操作)を行った場合に、この操作による振動を検出して、検出結果を制御部140に出力する。この振動センサー65の検出結果により、制御部140は、使用者によるノック操作を検出する。
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)、を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられる。このため、使用者が頭部に画像表示部20を装着している状態で、9軸センサー66は使用者の頭部の動きを検出する。検出される使用者の頭部の動きから画像表示部20の向きがわかるため、制御部140は、使用者の視線方向を推定できる。
右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251と、を備える。右バックライト制御部201と右バックライト221とは、光源として機能する。右LCD制御部211と右LCD241とは、表示素子として機能する。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241と、を総称して「画像光生成部」とも呼ぶ。
受信部53は、制御装置10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力される制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されるクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データData1と、に基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系251は、右LCD241から射出される画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力される画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。なお、右投写光学系251と右導光板261とを総称して「導光部」とも呼ぶ。
左表示駆動部24は、右表示駆動部22と同様の構成を有する。左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252と、を備える。左バックライト制御部202と左バックライト222とは、光源として機能する。左LCD制御部212と左LCD242とは、表示素子として機能する。なお、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系252は、左LCD242から射出される画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部28としての左導光板262は、左投写光学系252から出力される画像光を、所定の光路に沿って反射させつつ使用者の左眼LEに導く。なお、左投写光学系252と左導光板262とを総称して「導光部」とも呼ぶ。
頭部装着型表示装置100は、使用者が右光学像表示部26及び左光学像表示部28を透過して外景を見ている場合に、この外景に重なるように表示データを表示する。
対象検出部171は、カメラ61に撮像を実行させる制御を行い、撮像画像を取得する。この撮像画像はカラー画像データまたはモノクロ画像データとしてカメラ61から出力されるが、カメラ61が画像信号を出力して、対象検出部171が画像信号から所定のファイルフォーマットに適合する画像データを生成してもよい。
対象検出部171は、取得した撮像画像データを解析する。対象検出部171は、撮像画像において、所定の特徴に適合する画像を検索し、適合する画像を対象物の画像として検出する。対象物とは、カメラ61の撮像方向すなわち使用者の視線方向に存在する物体または人である。対象検出部171が使用する対象物の特徴は、例えば、記憶部120に特徴量のデータとして記憶される。この特徴量のデータは、撮像画像から検出する画像の特徴量を含み、撮像画像のデータから特徴量のデータに該当する部分を検索することで、対象物を特定できる。本実施形態では、カメラ61の撮像方向が使用者の視線方向となっているため、対象検出部171は撮像画像データに基づき対象物を検出できる。対象物は、周囲の背景や別の物体と区別可能な人や物体であり、その大きさや、移動可能であるか否かは問わない。
対象検出部171は、カメラ61に撮像を実行させる制御を行い、撮像画像を取得する。この撮像画像はカラー画像データまたはモノクロ画像データとしてカメラ61から出力されるが、カメラ61が画像信号を出力して、対象検出部171が画像信号から所定のファイルフォーマットに適合する画像データを生成してもよい。
対象検出部171は、取得した撮像画像データを解析する。対象検出部171は、撮像画像において、所定の特徴に適合する画像を検索し、適合する画像を対象物の画像として検出する。対象物とは、カメラ61の撮像方向すなわち使用者の視線方向に存在する物体または人である。対象検出部171が使用する対象物の特徴は、例えば、記憶部120に特徴量のデータとして記憶される。この特徴量のデータは、撮像画像から検出する画像の特徴量を含み、撮像画像のデータから特徴量のデータに該当する部分を検索することで、対象物を特定できる。本実施形態では、カメラ61の撮像方向が使用者の視線方向となっているため、対象検出部171は撮像画像データに基づき対象物を検出できる。対象物は、周囲の背景や別の物体と区別可能な人や物体であり、その大きさや、移動可能であるか否かは問わない。
距離検出部173は、対象検出部171が検出した対象物までの距離を求める。例えば、距離検出部173は、カメラ61の撮像画像において対象検出部171が検出した対象物の画像のサイズに基づき、対象物までの距離を求める。
また、頭部装着型表示装置100は、レーザー光または超音波を利用して対象物までの距離を検出する距離計を備えていてもよい。この距離計は、例えば、レーザー光の光源と、この光源が発したレーザー光の反射光を受光する受光部とを備え、レーザー光の受光状態に基づき対象物までの距離を検出する。また、距離計は、例えば、超音波式の距離計としてもよい。すなわち、超音波を発する音源と、対象物に反射した超音波を検出する検出部とを備え、反射した超音波に基づき対象物までの距離を検出する距離計を用いてもよい。さらに、この距離計は、レーザー光を利用する距離計と超音波を用いる距離計とを合わせた構成とすることもできる。このような距離計は、画像表示部20の右保持部21または右表示駆動部22に設けることが好ましく、例えば、調光板20Aと並ぶ面に、前方を向いて設置するとよい。この距離計が距離を測定する方向は、カメラ61の撮像方向と同様に、使用者の視線方向であることが望ましい。
距離検出部173は、カメラ61または距離計から対象物までの距離を検出するが、この距離は、頭部装着型表示装置100の使用者から対象物までの距離と見なすことができる。また、対象検出部171が検出する対象物が特定の物体でない場合、距離検出部173は、例えば撮像画像の中央を仮想の対象物として、この対象物までの距離を検出する。
また、頭部装着型表示装置100は、レーザー光または超音波を利用して対象物までの距離を検出する距離計を備えていてもよい。この距離計は、例えば、レーザー光の光源と、この光源が発したレーザー光の反射光を受光する受光部とを備え、レーザー光の受光状態に基づき対象物までの距離を検出する。また、距離計は、例えば、超音波式の距離計としてもよい。すなわち、超音波を発する音源と、対象物に反射した超音波を検出する検出部とを備え、反射した超音波に基づき対象物までの距離を検出する距離計を用いてもよい。さらに、この距離計は、レーザー光を利用する距離計と超音波を用いる距離計とを合わせた構成とすることもできる。このような距離計は、画像表示部20の右保持部21または右表示駆動部22に設けることが好ましく、例えば、調光板20Aと並ぶ面に、前方を向いて設置するとよい。この距離計が距離を測定する方向は、カメラ61の撮像方向と同様に、使用者の視線方向であることが望ましい。
距離検出部173は、カメラ61または距離計から対象物までの距離を検出するが、この距離は、頭部装着型表示装置100の使用者から対象物までの距離と見なすことができる。また、対象検出部171が検出する対象物が特定の物体でない場合、距離検出部173は、例えば撮像画像の中央を仮想の対象物として、この対象物までの距離を検出する。
情報表示制御部178は、データ取得部DAにより取得した表示データに基づき、文字や画像を画像表示部20に表示させる。情報表示制御部178は、データ取得部DAが表示データを取得するときに、取得した表示データに基づく表示を行ってもよい。また、情報表示制御部178は、データ取得部DAが取得した表示データの中から表示対象のデータを抽出し、抽出したデータに基づき文字や画像を表示してもよい。本実施形態の情報表示制御部178は、データ取得部DAが取得した表示データの中から、対象検出部171が検出する対象物に関連する表示データを抽出する。
また、情報表示制御部178は、通信部117が情報提供装置4から受信する情報に基づき、文字や画像を表示するためのデータを生成して表示制御部190に出力し、画像表示部20に文字や画像を表示させる。
ここで、情報表示制御部178は、情報提供装置4から受信する情報に基づいて表示する文字や画像の表示属性を設定してもよい。この場合、情報提供装置4から受信する情報に基づく文字や画像を、表示データに基づき表示する文字や画像よりも目立つように、表示してもよい。
情報表示制御部178は、表示制御部190を制御して、画像生成部177が生成した表示用画像のデータに基づき、画像表示部20によって、画像を表示させる。
ここで、情報表示制御部178は、情報提供装置4から受信する情報に基づいて表示する文字や画像の表示属性を設定してもよい。この場合、情報提供装置4から受信する情報に基づく文字や画像を、表示データに基づき表示する文字や画像よりも目立つように、表示してもよい。
情報表示制御部178は、表示制御部190を制御して、画像生成部177が生成した表示用画像のデータに基づき、画像表示部20によって、画像を表示させる。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続される右イヤホン32内のスピーカー(図示略)および左イヤホン34内のスピーカー(図示略)に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34のそれぞれから、例えば周波数等が変えられた異なる音が出力される。
また、音声処理部170は、マイク63により集音される音声を取得してディジタル音声データに変換し、音声に係る処理を行う。例えば、音声処理部170は、取得した音声から特徴を抽出してモデル化することで、複数の人の声を別々に認識して、声ごとに話している人を特定する話者認識を行ってもよい。
制御部140には、3軸センサー113、GPS115、及び通信部117が接続される。3軸センサー113は3軸の加速度センサーであり、制御部140は3軸センサー113の検出値を取得して、制御装置10の動き及び動きの方向を検出可能である。
GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置10の現在位置を求める。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御装置10の制御部140が計時する時刻を修正させる機能を備えていてもよい。
GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置10の現在位置を求める。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御装置10の制御部140が計時する時刻を修正させる機能を備えていてもよい。
インターフェイス180は、制御装置10に対して、コンテンツの供給元となる種々の画像供給装置OAを接続するためのインターフェイスである。画像供給装置OAが供給するコンテンツは、静止画像または動画像を含み、音声を含んでもよい。画像供給装置OAとしては、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等、がある。インターフェイス180としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等、を利用できる。
ここで、画像供給装置OAを無線通信回線により制御装置10に接続することも可能である。この場合、画像供給装置OAは、通信部117と無線通信を実行して、コンテンツのデータをMiracast等の無線通信技術により送信する。
ここで、画像供給装置OAを無線通信回線により制御装置10に接続することも可能である。この場合、画像供給装置OAは、通信部117と無線通信を実行して、コンテンツのデータをMiracast等の無線通信技術により送信する。
図4は、頭部装着型表示装置100の動作を示すフローチャートであり、特に、情報表示制御部178の機能を利用する表示処理を示す。この表示処理は、使用者が右光学像表示部26及び左光学像表示部28を通して外景を見ている間に、外景に関連する表示データに基づき文字や画像を画像表示部20により表示する処理である。
制御部140は、まず、データ取得部DAにより表示データを取得し(ステップS11)、取得されたデータを記憶部120に記憶する(ステップS12)。
続いて、対象検出部171が対象物検出処理を実行する(ステップS13)。情報表示制御部178は、対象検出部171が検出した対象物に関連する表示データを、記憶部120が記憶する表示データの中から選択し、選択した表示データに基づき文字や画像を表示する(ステップS14)。ここで情報表示制御部178が選択する情報は、関連情報に相当する。関連情報は、対象検出部171が検出する対象物に関連を有する情報であり、文字、画像、動画像、図形等、画像表示部20が表示可能な情報であれば何でも良い。関連情報は、例えば記憶部120に予め記憶され、例えば、対象検出部171が対象物を検出する場合に用いる特徴量のデータに関連付けられる。この場合、対象検出部171が検出した対象物の特徴量のデータから、この対象物に関連を有する関連情報を取得できる。
続いて、対象検出部171が対象物検出処理を実行する(ステップS13)。情報表示制御部178は、対象検出部171が検出した対象物に関連する表示データを、記憶部120が記憶する表示データの中から選択し、選択した表示データに基づき文字や画像を表示する(ステップS14)。ここで情報表示制御部178が選択する情報は、関連情報に相当する。関連情報は、対象検出部171が検出する対象物に関連を有する情報であり、文字、画像、動画像、図形等、画像表示部20が表示可能な情報であれば何でも良い。関連情報は、例えば記憶部120に予め記憶され、例えば、対象検出部171が対象物を検出する場合に用いる特徴量のデータに関連付けられる。この場合、対象検出部171が検出した対象物の特徴量のデータから、この対象物に関連を有する関連情報を取得できる。
その後、制御部140はステップS11で取得したデータの全てについてステップS12〜S14で処理したか否かを判定する(ステップS15)。未処理のデータがある場合(ステップS15;NO)、制御部140はステップS13に戻り、未処理のデータに対する処理を行う。例えば、情報表示制御部178は、ステップS14で対象検出部171が検出した対象物に関連する表示データを選択するが、ここで選択されなかった表示データは、処理済みとしてもよい。
全てのデータの処理が済んだ場合(ステップS15;YES)、制御部140は表示を終了するか否かを判定する(ステップS16)。表示を継続する場合(ステップS16;NO)、制御部140はステップS11に戻る。また、操作部135が検出した操作等に従って表示を終了する場合(ステップS16;YES)、制御部140は表示制御部190による表示を停止させて本処理を終了する。
全てのデータの処理が済んだ場合(ステップS15;YES)、制御部140は表示を終了するか否かを判定する(ステップS16)。表示を継続する場合(ステップS16;NO)、制御部140はステップS11に戻る。また、操作部135が検出した操作等に従って表示を終了する場合(ステップS16;YES)、制御部140は表示制御部190による表示を停止させて本処理を終了する。
図5は、情報提供システム1の動作を示すフローチャートであり、(A)は情報提供装置4の動作を示し、(B)は頭部装着型表示装置100の動作を示す。図5(B)には情報提供システム1が備える複数の頭部装着型表示装置100のうち、情報の送信対象となった頭部装着型表示装置100の動作を示す。
この図5の動作は、情報提供装置4が情報を生成して頭部装着型表示装置100に送信し、頭部装着型表示装置100が表示を行う動作である。図5の動作は情報提供装置4に対する指示操作をトリガーとして開始される。このため、例えば、頭部装着型表示装置100が図4の処理の実行中に、図5の動作が開始されることもある。
この図5の動作は、情報提供装置4が情報を生成して頭部装着型表示装置100に送信し、頭部装着型表示装置100が表示を行う動作である。図5の動作は情報提供装置4に対する指示操作をトリガーとして開始される。このため、例えば、頭部装着型表示装置100が図4の処理の実行中に、図5の動作が開始されることもある。
情報提供装置4は、情報送信の指示がなされるまで待機する(ステップS21)。入力部402によって情報送信の指示を受け付けた場合(ステップS21;YES)、識別部411は、頭部装着型表示装置100の位置を特定し、特定した位置をHMD位置情報422に書き込む(ステップS22)。ステップS22で、頭部装着型表示装置100は、必要に応じて、情報提供装置4に対して位置データを送信する等の処理を行う(ステップS31)。
ステップS22で、識別部411は、入力部402の入力により指定された情報の送信先の頭部装着型表示装置100についてのみ、位置を特定すればよい。また、識別部411は、予め定められた周期で頭部装着型表示装置100の位置を特定してHMD位置情報422を更新する動作を行ってもよく、この場合、ステップS22の動作を省略してもよい。
ステップS22で、識別部411は、入力部402の入力により指定された情報の送信先の頭部装着型表示装置100についてのみ、位置を特定すればよい。また、識別部411は、予め定められた周期で頭部装着型表示装置100の位置を特定してHMD位置情報422を更新する動作を行ってもよく、この場合、ステップS22の動作を省略してもよい。
通信制御部412は、入力部402で受け付けた入力内容に基づき、情報の送信先の頭部装着型表示装置100を選択する(ステップS23)。通信制御部412が選択する頭部装着型表示装置100の数に制限はないが、複数の頭部装着型表示装置100を選択する場合、これら複数の頭部装着型表示装置100には同じ情報が送信される。また、情報提供装置4において、入力部402に対する操作によって全ての頭部装着型表示装置100に同じ情報を送信する一斉呼び出しが可能な構成としてもよく、この場合、ステップS23では全ての頭部装着型表示装置100が選択される。
続いて、送信情報生成部413が、頭部装着型表示装置100に送信する情報を生成する(ステップS24)。ここで生成する情報の内容は、上記のように、入力部402で受け付けた入力内容による。送信情報生成部413は生成した情報を記憶部420に記憶する。
続いて、送信情報生成部413が、頭部装着型表示装置100に送信する情報を生成する(ステップS24)。ここで生成する情報の内容は、上記のように、入力部402で受け付けた入力内容による。送信情報生成部413は生成した情報を記憶部420に記憶する。
通信制御部412は、記憶部420から、送信情報生成部413が生成した送信用情報423を読み出して、ステップS23で選択した頭部装着型表示装置100に送信する(ステップS25)。
頭部装着型表示装置100は、情報提供装置4が送信した情報を通信部117により受信し(ステップS32)、情報表示制御部178が、受信した情報を表示するためのデータを生成して表示制御部190に出力し、表示を実行する(ステップS33)。
通信制御部412は、指示された全ての頭部装着型表示装置100に対する情報の送信が完了したか否かを判定し(ステップS26)、送信が完了していない場合(ステップS26;NO)、ステップS23に戻って別の頭部装着型表示装置100への送信を実行する。また、指示された送信が完了した場合は(ステップS26;YES)、本処理を終了する。
頭部装着型表示装置100は、情報提供装置4が送信した情報を通信部117により受信し(ステップS32)、情報表示制御部178が、受信した情報を表示するためのデータを生成して表示制御部190に出力し、表示を実行する(ステップS33)。
通信制御部412は、指示された全ての頭部装着型表示装置100に対する情報の送信が完了したか否かを判定し(ステップS26)、送信が完了していない場合(ステップS26;NO)、ステップS23に戻って別の頭部装着型表示装置100への送信を実行する。また、指示された送信が完了した場合は(ステップS26;YES)、本処理を終了する。
図6は、情報提供システム1の典型的な適用例を示す説明図である。(A)は使用環境の説明図であり、(B)〜(E)は頭部装着型表示装置の表示例を示す。
図6(A)に示す劇場THは、ステージSTを向くように、頭部装着型表示装置100の使用者を含む観客用の座席SHが多数配置された構成を有する。頭部装着型表示装置100の使用者は、座席SHに着席してステージSTを見るときに、頭部装着型表示装置100を使用する。本実施形態では複数の使用者が劇場THに居り、頭部装着型表示装置100を使用する。
図6(A)に示す劇場THは、ステージSTを向くように、頭部装着型表示装置100の使用者を含む観客用の座席SHが多数配置された構成を有する。頭部装着型表示装置100の使用者は、座席SHに着席してステージSTを見るときに、頭部装着型表示装置100を使用する。本実施形態では複数の使用者が劇場THに居り、頭部装着型表示装置100を使用する。
図6(B)の視野VRは、画像表示部20の右光学像表示部26及び左光学像表示部28越しに、使用者が見る視野を示している。画像表示部20は外景を透過して視認可能であるという特性を有するので、視野VRには、ステージSTが見えている。視野VRには、ステージSTの上方及び左右端に配置されたカーテンCT、ステージSTの左右の側方にある舞台袖SSが含まれる。ステージSTには出演者Aの姿が見える。この例ではステージST上に出演者Aが居り、使用者は出演者Aを見ている。
この例で、頭部装着型表示装置100がステップS11(図4)で取得する表示データは、劇場THで上演される演劇プログラムに関するテキストデータであり、出演者Aが発話する台詞、及び、演劇プログラムに関する説明のテキストを含む。制御部140は、ステップS11で、演劇プログラム全体、または、一部についてテキストデータを取得する。情報表示制御部178は、取得したテキストデータの中から、使用者の視線方向に位置する対象物である出演者Aの台詞を選択して表示する。ここで表示される台詞を、音声対応文字列301として図示する。
情報表示制御部178は、演劇プログラムの進行に合わせて、表示データを取得または選択して、表示する。
情報表示制御部178は、演劇プログラムの進行に合わせて、表示データを取得または選択して、表示する。
図6(C)には、情報提供装置4が送信する情報を表示した例を示す。図6(C)の例では、頭部装着型表示装置100は、音声対応文字列301を表示した状態で、情報提供装置4が送信する情報に基づいて呼出文字列321を表示する。呼出文字列321は、頭部装着型表示装置100を装着する使用者に対し、受付に来るように要請する文字列である。呼出文字列321は、頭部装着型表示装置100を装着する使用者本人にしか見えない。このため、劇場THにいる他の人に気づかれることがなく、呼出文字列321は劇場THで上映中の演劇の妨げにもならない。
このように、情報提供装置4が頭部装着型表示装置100を識別して選択し、選択した頭部装着型表示装置100に情報を送信することにより、選択された頭部装着型表示装置100を装着する使用者に情報を伝えることができる。
このように、情報提供装置4が頭部装着型表示装置100を識別して選択し、選択した頭部装着型表示装置100に情報を送信することにより、選択された頭部装着型表示装置100を装着する使用者に情報を伝えることができる。
また、図6(C)に示すように、頭部装着型表示装置100は、音声対応文字列301よりも呼出文字列321を強調して表示する。図6(C)の例では文字サイズを大きくすることで強調しているが、文字の表示色を音声対応文字列301とは異なる色にする、太字、斜体字、下線等の文字装飾を付与する等の方法により強調してもよい。また、呼出文字列321に背景色を付して強調してもよい。また、呼出文字列321及び呼出文字列321の背景の透明度を低くすることで、呼出文字列321に重なる範囲で外景の視認性を低くすることで、強調してもよい。これにより、頭部装着型表示装置100を装着する使用者が呼出文字列321に速やかに気づくので、より速やかに情報を伝えることができる。
図6(D)は情報提供装置4から頭部装着型表示装置100に画像を含む情報を送信する場合の表示例を示す。図6(D)では頭部装着型表示装置100により、誘導画像325が表示される。
図6(D)に示すように、頭部装着型表示装置100は、情報提供装置4から受信した情報に基づく表示を行う場合に、それまで表示していた音声対応文字列301の表示を停止してもよい。
誘導画像325は、使用者に対して受付に来るよう案内する呼出文字列326と、この呼出文字列326で指定した受付の場所を示す画像とを含む。この画像は劇場THの平面図であって、劇場THにおける座席SHの配置、及び、受付の場所を示す記号を含む。この誘導画像325により、使用者に対し、メッセージとともに詳細な情報を伝えることができる。
誘導画像325は、使用者を受付に呼び出す場合には、使用者の現在位置や使用者の属性にかかわらず使用可能な情報である。呼出文字列321、326も同様である。従って、誘導画像325及び呼出文字列321、326は、情報提供装置4において、予め記憶部420に記憶しておき、送信情報生成部413は、記憶部420が記憶する誘導画像325及び呼出文字列321、326を、そのまま送信用情報423にすればよい。
図6(D)に示すように、頭部装着型表示装置100は、情報提供装置4から受信した情報に基づく表示を行う場合に、それまで表示していた音声対応文字列301の表示を停止してもよい。
誘導画像325は、使用者に対して受付に来るよう案内する呼出文字列326と、この呼出文字列326で指定した受付の場所を示す画像とを含む。この画像は劇場THの平面図であって、劇場THにおける座席SHの配置、及び、受付の場所を示す記号を含む。この誘導画像325により、使用者に対し、メッセージとともに詳細な情報を伝えることができる。
誘導画像325は、使用者を受付に呼び出す場合には、使用者の現在位置や使用者の属性にかかわらず使用可能な情報である。呼出文字列321、326も同様である。従って、誘導画像325及び呼出文字列321、326は、情報提供装置4において、予め記憶部420に記憶しておき、送信情報生成部413は、記憶部420が記憶する誘導画像325及び呼出文字列321、326を、そのまま送信用情報423にすればよい。
図6(E)は、情報提供装置4から頭部装着型表示装置100に画像を含む情報を送信する場合の別の表示例を示し、誘導画像327が表示される。
誘導画像327は、使用者に対して受付に来るよう案内する呼出文字列326と、この呼出文字列326で指定した受付の場所を示す画像と、頭部装着型表示装置100の位置から受付までの経路を案内する誘導情報328とを含む。誘導情報328は、識別部411により特定された頭部装着型表示装置100の位置に基づいて、送信情報生成部413が生成する情報である。この誘導情報328を含む誘導画像327により、使用者に対し、使用者の位置に適応する情報を伝えることができる。
誘導画像327は、使用者に対して受付に来るよう案内する呼出文字列326と、この呼出文字列326で指定した受付の場所を示す画像と、頭部装着型表示装置100の位置から受付までの経路を案内する誘導情報328とを含む。誘導情報328は、識別部411により特定された頭部装着型表示装置100の位置に基づいて、送信情報生成部413が生成する情報である。この誘導情報328を含む誘導画像327により、使用者に対し、使用者の位置に適応する情報を伝えることができる。
ところで、外景の明るさが暗い場合、例えば照明を暗くした劇場TH内、映画館の室内等では、情報表示制御部178が表示する誘導画像325の表示輝度が外景に対して相対的に高くなる。この場合、誘導画像325が良好に視認される一方、外景が視認しにくくなる可能性がある。
そこで、情報表示制御部178は、誘導画像を、外景に重ねて視認されることを前提として、外景の状態に合わせて誘導画像を含む情報の表示形態を調整してもよい。例えば、画像表示部20越しに見える外景の明るさが所定以下の場合に、外景に重なるように表示する情報の視認性を低下させてもよい。例えば、情報の表示輝度を低下させると、情報を透過して外景を見やすくなり、情報よりも外景が見やすくなる。また、画像を表示する場合に輪郭のみ表示することで、外景を視認しやすくすることができる。
そこで、情報表示制御部178は、誘導画像を、外景に重ねて視認されることを前提として、外景の状態に合わせて誘導画像を含む情報の表示形態を調整してもよい。例えば、画像表示部20越しに見える外景の明るさが所定以下の場合に、外景に重なるように表示する情報の視認性を低下させてもよい。例えば、情報の表示輝度を低下させると、情報を透過して外景を見やすくなり、情報よりも外景が見やすくなる。また、画像を表示する場合に輪郭のみ表示することで、外景を視認しやすくすることができる。
また、例えば、誘導画像として矢印や直線を用い、使用者が通る通路が外景として見える場合に、この外景の通路に重なるように矢印や直線を表示してもよい。この場合、通路に矢印や直線が付加されたAR(Augmented Reality:拡張現実)により、通路が目立って見えるため、認識しやすくなる。ここで、矢印や直線等の情報の表示の輝度を、外景に合わせて調整してもよい。また、外景をカメラ61で撮像した撮像画像の全部または一部を情報表示制御部178により表示してもよい。この場合、情報表示制御部178は、撮像画像の表示位置を、使用者が画像表示部20越しに見る外景に合わせて調整できることが好ましい。これにより、外景が暗く、見えづらい状態で、外景と同じ撮像画像を見やすく(視認性の高い状態で)表示することで、使用者の視覚を補助することができる。ここで、情報表示制御部178は、画像表示部20で表示する撮像画像に情報を重畳した合成画像を表示してもよい。また、カメラ61が、上記のようにIRカメラ、暗視カメラ、または、サーモグラフィーカメラである場合には、使用者が裸眼で見えない、或いは見えにくい状態の外景を視認しやすく表示できるため、使用者の視覚をより効果的に補助できる。
図6に示した例のほか、情報提供システム1の具体的な適用について例示する。
(1)情報提供システム1により屋外における案内を行うことが可能である。具体的には、屋外における頭部装着型表示装置100の位置に対応して、案内の音声や画像を頭部装着型表示装置100が出力する。限られた範囲の市街地または地域において、名所、旧跡、寺社、店舗等を対象として観光案内の音声や画像を出力する例が挙げられる。この場合、図6(C)〜(E)のように案内用のテキストや画像を出力するだけでなく、案内を行う人物の画像を、例えばアバターの画像として画像表示部20に表示し、この人物が言葉を発する様子を模した画像を、頭部装着型表示装置100の位置に対応して出力する形態が考えられる。この画像の表示とともに、音声処理部170により音声を出力してもよい。この例では、アバターを利用したARによる案内を行うことができる。
(2)空港や駅等の公共交通機関の拠点において、頭部装着型表示装置100を装着する使用者が乗客となる場合に、交通機関への乗車または搭乗の案内を行う例が挙げられる。より具体的には、空港において飛行機への搭乗案内、航空会社カウンターにおけるチェックイン、空港の出国審査、手荷物検査、飛行機への搭乗までの一連の行動について、使用者の位置に応じて誘導および案内をする例が挙げられる。例えば、飛行機のファーストクラスに搭乗する顧客に頭部装着型表示装置100を貸し出して、誘導及び案内のサービスを行うビジネスに適用できる。
(3)野球場やオリンピックのスタジアムなど、スポーツ施設における入り口、座席、トイレ、売店、その他必要な場所までの誘導及び案内を行う例にも適用できる。
(4)百貨店などの大規模店舗、複数の店舗や施設を有するモールにおいて、店舗、施設、トイレ、その他の必要な場所への誘導及び案内を行う例にも適用できる。
(5)上記のように特定の運営主体が管理する施設や限られ地域に限定されず、屋外、屋内と問わず案内を行うことも可能である。例えば、カメラ61の撮像画像、マイク63が集音する音声、9軸センサー66が検出する頭部装着型表示装置100の動き等に基づき、使用者に危険を及ぼす可能性がある場合に、警告の情報を含む画像や音声を出力する。例えば、頭部装着型表示装置100が、使用者が通行する方向における障害物、段差の存在、人や物の接近等を検知し、警告の情報を出力する。接近する人や物については、接近速度や、画像の特徴から、危険度を判定して情報を出力してもよい。また、カメラ61が赤外光を受光するカメラ、暗視カメラ、広角カメラ等、人間の視覚では認知が困難な物や人を検知可能なものであれば、より有用である。
上記の各例において、頭部装着型表示装置100の位置を求める方法としては、例えば、GPS115で現在位置を検出する方法、既知の場所に設置される無線アクセスポイントと通信部117との無線通信により頭部装着型表示装置100の位置を算出する方法、赤外光等の光を利用する光ビーコンや電波ビーコンを頭部装着型表示装置100が受信して位置を算出する方法等を利用できる。また、頭部装着型表示装置100に情報を提供する情報提供装置4は、頭部装着型表示装置100と直接無線通信を実行可能な位置に設置されてもよいし、頭部装着型表示装置100から離れた遠隔地に設置され、無線通信回線や有線通信回線を経由して、頭部装着型表示装置100に接続されてもよい。さらに、情報提供システム1を、複数の情報提供装置4と、複数の頭部装着型表示装置100とを含む構成とすることも勿論可能である。
(1)情報提供システム1により屋外における案内を行うことが可能である。具体的には、屋外における頭部装着型表示装置100の位置に対応して、案内の音声や画像を頭部装着型表示装置100が出力する。限られた範囲の市街地または地域において、名所、旧跡、寺社、店舗等を対象として観光案内の音声や画像を出力する例が挙げられる。この場合、図6(C)〜(E)のように案内用のテキストや画像を出力するだけでなく、案内を行う人物の画像を、例えばアバターの画像として画像表示部20に表示し、この人物が言葉を発する様子を模した画像を、頭部装着型表示装置100の位置に対応して出力する形態が考えられる。この画像の表示とともに、音声処理部170により音声を出力してもよい。この例では、アバターを利用したARによる案内を行うことができる。
(2)空港や駅等の公共交通機関の拠点において、頭部装着型表示装置100を装着する使用者が乗客となる場合に、交通機関への乗車または搭乗の案内を行う例が挙げられる。より具体的には、空港において飛行機への搭乗案内、航空会社カウンターにおけるチェックイン、空港の出国審査、手荷物検査、飛行機への搭乗までの一連の行動について、使用者の位置に応じて誘導および案内をする例が挙げられる。例えば、飛行機のファーストクラスに搭乗する顧客に頭部装着型表示装置100を貸し出して、誘導及び案内のサービスを行うビジネスに適用できる。
(3)野球場やオリンピックのスタジアムなど、スポーツ施設における入り口、座席、トイレ、売店、その他必要な場所までの誘導及び案内を行う例にも適用できる。
(4)百貨店などの大規模店舗、複数の店舗や施設を有するモールにおいて、店舗、施設、トイレ、その他の必要な場所への誘導及び案内を行う例にも適用できる。
(5)上記のように特定の運営主体が管理する施設や限られ地域に限定されず、屋外、屋内と問わず案内を行うことも可能である。例えば、カメラ61の撮像画像、マイク63が集音する音声、9軸センサー66が検出する頭部装着型表示装置100の動き等に基づき、使用者に危険を及ぼす可能性がある場合に、警告の情報を含む画像や音声を出力する。例えば、頭部装着型表示装置100が、使用者が通行する方向における障害物、段差の存在、人や物の接近等を検知し、警告の情報を出力する。接近する人や物については、接近速度や、画像の特徴から、危険度を判定して情報を出力してもよい。また、カメラ61が赤外光を受光するカメラ、暗視カメラ、広角カメラ等、人間の視覚では認知が困難な物や人を検知可能なものであれば、より有用である。
上記の各例において、頭部装着型表示装置100の位置を求める方法としては、例えば、GPS115で現在位置を検出する方法、既知の場所に設置される無線アクセスポイントと通信部117との無線通信により頭部装着型表示装置100の位置を算出する方法、赤外光等の光を利用する光ビーコンや電波ビーコンを頭部装着型表示装置100が受信して位置を算出する方法等を利用できる。また、頭部装着型表示装置100に情報を提供する情報提供装置4は、頭部装着型表示装置100と直接無線通信を実行可能な位置に設置されてもよいし、頭部装着型表示装置100から離れた遠隔地に設置され、無線通信回線や有線通信回線を経由して、頭部装着型表示装置100に接続されてもよい。さらに、情報提供システム1を、複数の情報提供装置4と、複数の頭部装着型表示装置100とを含む構成とすることも勿論可能である。
以上説明したように、本発明を適用した実施形態に係る情報提供システム1は、使用者の身体に装着して使用される頭部装着型表示装置100と、頭部装着型表示装置100と通信可能に接続される情報提供装置4と、を備える。情報提供装置4は、頭部装着型表示装置100と通信する通信部401と、頭部装着型表示装置100を識別する識別部411と、情報の送信先の頭部装着型表示装置100を識別し、通信部401により情報を送信する通信制御部412とを備える。頭部装着型表示装置100は、情報提供装置4と通信する通信部117と、情報提供装置4から情報を受信して画像表示部20に表示する情報表示制御部178と、を備える。このため、頭部装着型表示装置100を識別して情報を送信することができ、頭部装着型表示装置100を使用する使用者に、個別に情報を提供できる。
また、頭部装着型表示装置100は、使用者に画像を視認させるとともに外景を透過する画像表示部20を備える。頭部装着型表示装置100は、使用者の視線方向の対象物を検出する対象検出部171を備え、情報表示制御部178は、対象検出部171で検出した対象物に関連する関連情報を画像表示部20に表示する。さらに、情報表示制御部178は、通信部117により情報提供装置4から受信する情報を画像表示部20に表示させる。このため、使用者の視線方向に位置する対象物に関連する関連情報、及び、情報提供装置4が頭部装着型表示装置100に送信する情報を、外景とともに見えるように表示できる。このため、外景を透過する画像表示部20の特性を生かして、使用者に情報を見せることができる。
ここで、情報表示制御部178は、右光学像表示部26及び左光学像表示部28により、関連情報を含む視差(輻輳角)を有する画像を表示させて、使用者に立体(3D)画像を視認させるようにしてもよい。この場合、関連情報を立体画像として表示するか平面画像として表示するかを、表示態様の1つとして情報表示制御部178が設定、変更してもよい。
情報表示制御部178は、距離検出部173で対象物までの距離を検出する場合に、検出された距離に応じた態様で情報を表示できる。例えば、立体画像を視認させる場合、情報表示制御部178は、距離検出部173が求めた距離に対応して、使用者に見せる画像の視差を決定する。一例としては、情報表示制御部178は、対象物までの距離が近いほど視差が小さく、距離が遠いほど視差が大きくなるように、データ取得部DAにより取得したデータから表示用の立体画像データを生成する。また、情報表示制御部178は、対象物の種類に対応して立体画像データを生成してもよい。例えば、対象検出部171が検出する対象物が、特定の人間または人間を模したキャラクターの顔であるか、一般的な人間の顔または人間の顔に類似するものであるか、顔である場合は顔の向きは正面か、等に対応して、視差を変更してもよい。この場合、対象物が、使用者の正面から使用者を見る向きの顔である場合に、視差を小さくして、この顔に重なる画像が使用者の近くに見えるようにしてもよい。さらに、画像表示制御部176は、カメラ61の撮像画像における対象物の画像のサイズに対応して、視差を大きくしたり、小さくしたりしてもよい。また、この場合、対象検出部171が使用する特徴量のデータに、対象物の属性を示すデータを含ませれば、対象検出部171が、対象物を検出するとともに対象物の属性を判定できる。
情報表示制御部178は、距離検出部173で対象物までの距離を検出する場合に、検出された距離に応じた態様で情報を表示できる。例えば、立体画像を視認させる場合、情報表示制御部178は、距離検出部173が求めた距離に対応して、使用者に見せる画像の視差を決定する。一例としては、情報表示制御部178は、対象物までの距離が近いほど視差が小さく、距離が遠いほど視差が大きくなるように、データ取得部DAにより取得したデータから表示用の立体画像データを生成する。また、情報表示制御部178は、対象物の種類に対応して立体画像データを生成してもよい。例えば、対象検出部171が検出する対象物が、特定の人間または人間を模したキャラクターの顔であるか、一般的な人間の顔または人間の顔に類似するものであるか、顔である場合は顔の向きは正面か、等に対応して、視差を変更してもよい。この場合、対象物が、使用者の正面から使用者を見る向きの顔である場合に、視差を小さくして、この顔に重なる画像が使用者の近くに見えるようにしてもよい。さらに、画像表示制御部176は、カメラ61の撮像画像における対象物の画像のサイズに対応して、視差を大きくしたり、小さくしたりしてもよい。また、この場合、対象検出部171が使用する特徴量のデータに、対象物の属性を示すデータを含ませれば、対象検出部171が、対象物を検出するとともに対象物の属性を判定できる。
さらに、対象検出部171は、カメラ61の撮像画像から対象物の画像を検出することで対象物を検出するものに限定されない。例えば、対象検出部171は、使用者の視線方向に超音波や光を照射し、その反射に基づき、対象物を検出してもよい。
或いは、対象検出部171は、カメラ61として上記のIRカメラを使用してもよく、この場合に、赤外線撮像画像から対象物の画像を検出するための画像の特徴量のデータを、記憶部120に記憶してもよい。
或いは、対象検出部171は、カメラ61として上記のIRカメラを使用してもよく、この場合に、赤外線撮像画像から対象物の画像を検出するための画像の特徴量のデータを、記憶部120に記憶してもよい。
さらにまた、対象検出部171、距離検出部173が処理する撮像画像データに代えて、頭部装着型表示装置100に外部接続されるカメラが撮像し入力する撮像画像データを利用してもよい。外部接続されるカメラは、例えば、インターフェイス180にUSB等で接続されるカメラであってもよいし、通信部117と通信可能な無線通信機能を備え、撮像画像データを無線送信するカメラであってもよい。
また、情報表示制御部178は、通信部117で情報提供装置4から受信する情報を、関連情報とともに、関連情報よりも強調される態様で画像表示部20に表示してもよい。この場合、使用者の視線方向に位置する対象物に関連する関連情報と、情報提供装置4が頭部装着型表示装置100に送信する情報とを合わせて表示できる。また、情報提供装置4が頭部装着型表示装置100に送信する情報を、関連情報よりも強調して表示し、使用者に強く注目させることができる。
例えば、通信制御部412は、使用者を誘導する画像を含む誘導情報を、通信部401により頭部装着型表示装置100に送信してもよい。この場合、情報表示制御部178は、通信部117で受信する誘導情報に基づき、使用者を誘導する誘導画像325、327を画像表示部20で表示するので、使用者をスムーズに誘導できる。
例えば、通信制御部412は、使用者を誘導する画像を含む誘導情報を、通信部401により頭部装着型表示装置100に送信してもよい。この場合、情報表示制御部178は、通信部117で受信する誘導情報に基づき、使用者を誘導する誘導画像325、327を画像表示部20で表示するので、使用者をスムーズに誘導できる。
また、識別部411は、頭部装着型表示装置100を識別して各々の頭部装着型表示装置100の位置を特定する。通信制御部412は、識別部411により特定した頭部装着型表示装置100の位置に対応する誘導情報を通信部401で送信してもよい。この場合、頭部装着型表示装置100の位置に対応する誘導情報を送信し、頭部装着型表示装置100は、例えば誘導画像327を表示する。この場合、頭部装着型表示装置100を使用する使用者に対し、使用者の位置に対応した情報を提供して、より適切に誘導できる。
また、通信制御部412は、複数の頭部装着型表示装置100に対して共通の情報を送信してもよい。さらに、特定の頭部装着型表示装置100を識別部411で識別して共通の情報とは異なる情報を送信してもよい。これにより、複数の頭部装着型表示装置100に共通の情報を送信して表示させ、そのうち特定の頭部装着型表示装置100に対しては共通でない情報を送信できる。例えば、通信制御部412は、複数の頭部装着型表示装置100に対し、図6(D)に示す誘導画像325に関する情報を送信し、そのうち一部の頭部装着型表示装置100に対しては、図6(E)に示す誘導情報328に関する情報を付加して送信する。この場合、一部の頭部装着型表示装置100は、誘導画像325を表示し、一部の頭部装着型表示装置100は誘導情報328を含む誘導画像327を表示する。このように、複数の頭部装着型表示装置100に対して、様々な形態で情報を送信し、表示させることができる。
なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
上記実施形態においては、頭部装着型表示装置100がデータ取得部DAにより取得した表示データに基づく表示を行っている間に、情報提供装置4から受信した情報に基づく表示を行う例を示したが、本発明はこれに限定されない。頭部装着型表示装置100が動作中であって情報提供装置4から情報を受信可能であれば、いつでも図5に示す動作を実行して、情報提供装置4が送信する情報に基づき頭部装着型表示装置100が表示を実行できる。また、頭部装着型表示装置100は、対象検出部171が検出する対象物に関連する表示データ(関連情報)に限らず、データ取得部DAにより取得した表示データを全て表示することも可能である。この表示データの表示中に、情報提供装置4から受信した情報に基づく表示を行うことも勿論可能である。
上記実施形態においては、頭部装着型表示装置100がデータ取得部DAにより取得した表示データに基づく表示を行っている間に、情報提供装置4から受信した情報に基づく表示を行う例を示したが、本発明はこれに限定されない。頭部装着型表示装置100が動作中であって情報提供装置4から情報を受信可能であれば、いつでも図5に示す動作を実行して、情報提供装置4が送信する情報に基づき頭部装着型表示装置100が表示を実行できる。また、頭部装着型表示装置100は、対象検出部171が検出する対象物に関連する表示データ(関連情報)に限らず、データ取得部DAにより取得した表示データを全て表示することも可能である。この表示データの表示中に、情報提供装置4から受信した情報に基づく表示を行うことも勿論可能である。
また、画像表示部として、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されるヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ(Head-up Display;HUD)であってもよい。
さらに、上記実施形態では、画像表示部20と制御装置10とが分離され、接続部40を介して接続される構成を例に挙げて説明したが、制御装置10と画像表示部20とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置10と画像表示部20とが、より長いケーブルまたは無線通信回線により接続され、制御装置10として、ノート型コンピューター、タブレット型コンピューターまたはデスクトップ型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
また、制御装置10と画像表示部20とが、より長いケーブルまたは無線通信回線により接続され、制御装置10として、ノート型コンピューター、タブレット型コンピューターまたはデスクトップ型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
また、例えば、画像表示部20において画像光を生成する構成として、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよいし、LCOS(Liquid crystal on silicon, LCoSは登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。
画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び/または反射させて導く機能のみを有するものであってもよい。
また、本発明を、MEMSミラーを用いた走査光学系を採用し、MEMSディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がMEMSミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板261及び左導光板262のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。
また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的にまたは可動に設置される透光性の平面や曲面(ガラスや透明なプラスチック等)に、画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車中の使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置される透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。
また、図3に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図3に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部140が実行するプログラムは、記憶部120または制御装置10内の記憶装置に記憶されてもよいし、外部の装置に記憶されるプログラムを通信部117またはインターフェイス180を介して取得して実行する構成としてもよい。また、制御装置10に形成される構成の内、操作部135のみが単独の使用者インターフェース(UI)として形成されてもよいし、上記実施形態における電源130が単独で形成されて、交換可能な構成であってもよい。また、制御装置10に形成される構成が重複して画像表示部20に形成されていてもよい。例えば、図3に示す制御部140が制御装置10と画像表示部20との両方に形成されていてもよいし、制御装置10に形成される制御部140と画像表示部20に形成されるCPUとが行なう機能が別々に分けられている構成としてもよい。
1…情報提供システム、4…情報提供装置、10…制御装置、20…画像表示部(表示部)、21…右保持部、22…右表示駆動部、23…左保持部、24…左表示駆動部、26…右光学像表示部、28…左光学像表示部、61…カメラ(撮像部)、63…マイク、100…頭部装着型表示装置(表示装置)、117…通信部(第2の通信部)、120…記憶部、140…制御部、150…オペレーティングシステム、160…画像処理部、170…音声処理部、171…対象検出部、173…距離検出部、178…情報表示制御部、180…インターフェイス、190…表示制御部、201…右バックライト制御部、202…左バックライト制御部、211…右LCD制御部、212…左LCD制御部、221…右バックライト、222…左バックライト、241…右LCD、242…左LCD、251…右投写光学系、252…左投写光学系、261…右導光板、262…左導光板、401…通信部(第1の通信部)、402…入力部、403…表示部、410…制御部、411…識別部、412…通信制御部、413…送信情報生成部、420…記憶部、421…HMD識別情報、422…HMD位置情報、423…送信用情報、DA…データ取得部。
Claims (12)
- 使用者の身体に装着して使用される表示装置と、前記表示装置と通信可能に接続される情報提供装置と、を備え、
前記情報提供装置は、
前記表示装置と通信する第1の通信部と、
前記表示装置を識別する識別部と、
前記識別部によって情報の送信先の前記表示装置を識別し、前記第1の通信部により情報を送信する通信制御部と、を備え、
前記表示装置は、
前記情報提供装置と通信する第2の通信部と、
前記第2の通信部により前記情報提供装置から情報を受信して表示部に表示する情報表示制御部と、を備えること、
を特徴とする情報提供システム。 - 前記表示装置は、
使用者に画像を視認させるとともに外景を透過する前記表示部と、
前記使用者の視線方向の対象物を検出する対象検出部と、を備え、
前記情報表示制御部は、前記対象検出部で検出した前記対象物に関連する関連情報を前記表示部に表示し、
前記第2の通信部により前記情報提供装置から受信する情報を前記表示部に表示させること、
を特徴とする請求項1記載の情報提供システム。 - 前記情報表示制御部は、前記第2の通信部で前記情報提供装置から受信する情報を、前記関連情報とともに、前記関連情報よりも強調される態様で前記表示部に表示すること、を特徴とする請求項2記載の情報提供システム。
- 前記情報表示制御部は、前記情報提供装置から受信する情報を、前記外景に重なる表示位置に表示すること、を特徴とする請求項2または3記載の情報提供システム。
- 前記情報提供装置の前記通信制御部は、前記使用者を誘導する画像を含む誘導情報を、前記第1の通信部により前記表示装置に送信し、
前記情報表示制御部は、前記第2の通信部で受信する前記誘導情報に基づき、前記使用者を誘導する画像を前記表示部で表示すること、を特徴とする請求項1から4のいずれかに記載の情報提供システム。 - 前記情報提供装置の前記識別部は、前記表示装置を識別して各々の前記表示装置の位置を特定し、
前記通信制御部は、前記識別部により特定した前記表示装置の位置に対応する前記誘導情報を前記第1の通信部で送信すること、を特徴とする請求項5記載の情報提供システム。 - 前記情報提供装置の前記通信制御部は、複数の前記表示装置に対して共通の情報を送信し、さらに、特定の前記表示装置を前記識別部で識別して前記共通の情報とは異なる情報を送信すること、を特徴とする請求項1から6のいずれかに記載の情報提供システム。
- 前記表示装置は、
撮像部を備え、
前記対象検出部は、前記撮像部の撮像画像に基づいて、前記使用者が前記表示部を透過して視認する前記対象物を検出すること、
を特徴とする請求項2または3記載の情報提供システム。 - 前記撮像部は、IRカメラ、暗視カメラ、または、サーモグラフィーカメラであること、を特徴とする請求項8記載の情報提供システム。
- 前記表示装置は、前記対象検出部により検出された前記対象物と前記使用者との距離を検出する距離検出部を備え、
前記情報表示制御部は、前記距離検出部が検出した距離に応じた態様で情報を表示すること、を特徴とする請求項1から9のいずれかに記載の情報提供システム。 - 使用者の身体に装着して使用される表示装置であって、
前記使用者に画像を視認させるとともに外景を透過する表示部と、
外部の情報提供装置と通信する通信部と、
前記使用者の視線方向の対象物を検出する対象検出部と、
前記対象検出部で検出した前記対象物に関連する関連情報、及び、前記通信部により前記情報提供装置から受信する情報を、前記表示部に表示する情報表示制御部と、
を備えることを特徴とする表示装置。 - 使用者に画像を視認させるとともに外景を透過する表示部を備え、使用者の身体に装着して使用される表示装置の制御方法であって、
外部の情報提供装置と通信して前記情報提供装置が送信する情報を受信し、
前記使用者の視線方向の対象物を検出し、
前記対象物に関連する関連情報、及び、前記情報提供装置から受信する情報を、前記表示部により表示すること、
を特徴とする表示装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014156698A JP2016033611A (ja) | 2014-07-31 | 2014-07-31 | 情報提供システム、表示装置、および、表示装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014156698A JP2016033611A (ja) | 2014-07-31 | 2014-07-31 | 情報提供システム、表示装置、および、表示装置の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016033611A true JP2016033611A (ja) | 2016-03-10 |
Family
ID=55452537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014156698A Withdrawn JP2016033611A (ja) | 2014-07-31 | 2014-07-31 | 情報提供システム、表示装置、および、表示装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016033611A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018072949A (ja) * | 2016-10-25 | 2018-05-10 | 富士通株式会社 | 送信制御プログラム、送信制御方法および情報処理装置 |
JP2019008199A (ja) * | 2017-06-27 | 2019-01-17 | 株式会社システム・サイエンス | 画像表示システム及びプログラム |
JP2019114050A (ja) * | 2017-12-22 | 2019-07-11 | セイコーエプソン株式会社 | 処理装置、表示システム、及びプログラム |
WO2022172692A1 (ja) * | 2021-02-12 | 2022-08-18 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、画像処理システム |
EP4088648A1 (en) * | 2021-05-10 | 2022-11-16 | J. Morita Manufacturing Corporation | Imaging device, ocular movement data processing system, and control method |
EP4088647A1 (en) * | 2021-05-10 | 2022-11-16 | J. Morita Manufacturing Corporation | Imaging device, ocular movement data processing system, and control method |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000235163A (ja) * | 1999-02-12 | 2000-08-29 | Canon Inc | ヘッドマウント型表示装置およびその警告表示方法 |
JP2003271722A (ja) * | 2002-03-14 | 2003-09-26 | Mitsubishi Heavy Ind Ltd | 顧客サービス支援システム |
JP2004141417A (ja) * | 2002-10-24 | 2004-05-20 | Toto Ltd | トイレ用情報表示装置及びトイレ用情報表示システム |
JP2004248116A (ja) * | 2003-02-17 | 2004-09-02 | Fuji Photo Film Co Ltd | 表示制御装置 |
JP2009237801A (ja) * | 2008-03-26 | 2009-10-15 | Nippon Tokei Jimu Center:Kk | 通信システム及び通信方法 |
JP2010067083A (ja) * | 2008-09-11 | 2010-03-25 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2010205030A (ja) * | 2009-03-04 | 2010-09-16 | Kddi Corp | 関連情報表示位置特定方法、関連情報表示位置特定システムおよび関連情報表示位置特定用プログラム |
JP2012034216A (ja) * | 2010-07-30 | 2012-02-16 | Brother Ind Ltd | 画像提供システム、画像表示装置、および画像表示プログラム |
JP2012163853A (ja) * | 2011-02-08 | 2012-08-30 | Ns Solutions Corp | 表示装置、情報提供システム、情報提供方法、及びプログラム |
JP2014106490A (ja) * | 2012-11-29 | 2014-06-09 | Buffalo Inc | 符号画像処理システム、符号画像表示装置、画像表示装置、及びプログラム |
JP2014119786A (ja) * | 2012-12-13 | 2014-06-30 | Seiko Epson Corp | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム |
JP2014127968A (ja) * | 2012-12-27 | 2014-07-07 | Seiko Epson Corp | 表示装置、および、表示装置の制御方法 |
-
2014
- 2014-07-31 JP JP2014156698A patent/JP2016033611A/ja not_active Withdrawn
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000235163A (ja) * | 1999-02-12 | 2000-08-29 | Canon Inc | ヘッドマウント型表示装置およびその警告表示方法 |
JP2003271722A (ja) * | 2002-03-14 | 2003-09-26 | Mitsubishi Heavy Ind Ltd | 顧客サービス支援システム |
JP2004141417A (ja) * | 2002-10-24 | 2004-05-20 | Toto Ltd | トイレ用情報表示装置及びトイレ用情報表示システム |
JP2004248116A (ja) * | 2003-02-17 | 2004-09-02 | Fuji Photo Film Co Ltd | 表示制御装置 |
JP2009237801A (ja) * | 2008-03-26 | 2009-10-15 | Nippon Tokei Jimu Center:Kk | 通信システム及び通信方法 |
JP2010067083A (ja) * | 2008-09-11 | 2010-03-25 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2010205030A (ja) * | 2009-03-04 | 2010-09-16 | Kddi Corp | 関連情報表示位置特定方法、関連情報表示位置特定システムおよび関連情報表示位置特定用プログラム |
JP2012034216A (ja) * | 2010-07-30 | 2012-02-16 | Brother Ind Ltd | 画像提供システム、画像表示装置、および画像表示プログラム |
JP2012163853A (ja) * | 2011-02-08 | 2012-08-30 | Ns Solutions Corp | 表示装置、情報提供システム、情報提供方法、及びプログラム |
JP2014106490A (ja) * | 2012-11-29 | 2014-06-09 | Buffalo Inc | 符号画像処理システム、符号画像表示装置、画像表示装置、及びプログラム |
JP2014119786A (ja) * | 2012-12-13 | 2014-06-30 | Seiko Epson Corp | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム |
JP2014127968A (ja) * | 2012-12-27 | 2014-07-07 | Seiko Epson Corp | 表示装置、および、表示装置の制御方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018072949A (ja) * | 2016-10-25 | 2018-05-10 | 富士通株式会社 | 送信制御プログラム、送信制御方法および情報処理装置 |
JP2019008199A (ja) * | 2017-06-27 | 2019-01-17 | 株式会社システム・サイエンス | 画像表示システム及びプログラム |
JP2019114050A (ja) * | 2017-12-22 | 2019-07-11 | セイコーエプソン株式会社 | 処理装置、表示システム、及びプログラム |
JP7013850B2 (ja) | 2017-12-22 | 2022-02-01 | セイコーエプソン株式会社 | 処理装置、表示システム、及びプログラム |
WO2022172692A1 (ja) * | 2021-02-12 | 2022-08-18 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、画像処理システム |
EP4088648A1 (en) * | 2021-05-10 | 2022-11-16 | J. Morita Manufacturing Corporation | Imaging device, ocular movement data processing system, and control method |
EP4088647A1 (en) * | 2021-05-10 | 2022-11-16 | J. Morita Manufacturing Corporation | Imaging device, ocular movement data processing system, and control method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6476643B2 (ja) | 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム | |
US9898868B2 (en) | Display device, method of controlling the same, and program | |
US9959591B2 (en) | Display apparatus, method for controlling display apparatus, and program | |
US9784976B2 (en) | Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program | |
CN112130329B (zh) | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 | |
US10303435B2 (en) | Head-mounted display device, method of controlling head-mounted display device, and computer program | |
JP6705124B2 (ja) | 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム | |
JP6432197B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP2016033611A (ja) | 情報提供システム、表示装置、および、表示装置の制御方法 | |
JP6492673B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム | |
JP2016004340A (ja) | 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム | |
JP2016033757A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
US20160035137A1 (en) | Display device, method of controlling display device, and program | |
US20160021360A1 (en) | Display device, method of controlling display device, and program | |
JP2017091433A (ja) | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム | |
US20160116740A1 (en) | Display device, control method for display device, display system, and computer program | |
JP6539981B2 (ja) | 表示装置、表示装置の制御方法、表示システム、及び、プログラム | |
US20220375172A1 (en) | Contextual visual and voice search from electronic eyewear device | |
JP2016033763A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP6828235B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム | |
JP2016142966A (ja) | 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム | |
JP2016009056A (ja) | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム | |
JP2016034091A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP6394174B2 (ja) | 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム | |
JP2016031373A (ja) | 表示装置、表示方法、表示システム、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170525 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180403 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20180523 |