JP2010067154A - ヘッドマウントディスプレイ、情報閲覧システム及び管理サーバ - Google Patents

Abstract

【課題】識別体に対応する付加情報に関して利便性の向上を図ることができるヘッドマウントディスプレイ、情報閲覧システム及び管理サーバを提供する。
【解決手段】ヘッドマウントディスプレイは、観察者の視野範囲のうち少なくとも一部を撮像し、撮像領域内における識別体を検出する。また、ヘッドマウントディスプレイは、識別体に対応する付加情報を入力し、その入力された付加情報を識別体に対応させて記憶する。また、ヘッドマウントディスプレイは、検出された識別体に対応し、記憶された付加情報を、表示手段を透過して観察者に視認される当該識別体と関連させて表示手段により表示させる制御を行う。
【選択図】図９

Description

本発明は、ヘッドマウントディスプレイ、情報閲覧システム及び管理サーバに関するものであり、特に、外光を透過しつつ、コンテンツ情報に応じた画像光を観察者の眼に投射するシースルー型のヘッドマウントディスプレイ、又は、そのヘッドマウントディスプレイを含む情報閲覧システム、及びそのヘッドマウントディスプレイと通信可能な管理サーバに関するものである。

従来より、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報を記憶する記憶手段と、この記憶手段に記憶したコンテンツ情報を再生する再生手段とを備えた情報処理装置が知られている。

この情報処理装置の代表例としては、パーソナルコンピュータがある。一般にパーソナルコンピュータは、前記記憶手段や前記再生手段等を備えたコンピュータ本体と、このコンピュータ本体に所定の動作を行わせるために使用者が操作するキーボードやマウス等の機械的な操作手段と、再生手段により再生されたコンテンツ情報を画像として表示するディスプレイ等とから構成されている。

この表示情報を表示するディスプレイとしては、観察者が頭部に装着した状態で画像を視認することができるＨＭＤ（ヘッドマウントディスプレイ）が開発されている。このようなＨＭＤとしては、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ等の卓上に載置して使用する表示装置や、画像光の走査を行う光走査部を備えた表示装置が一般的に採用されている。
この表示情報を表示するディスプレイとしては、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ等の卓上に載置して使用する表示装置が一般的であったが、液晶表示素子を画像表示デバイスとして用い、観察者が頭部に装着した状態で画像を視認することができるＨＭＤ（ヘッドマウントディスプレイ）等も開発されてきていた。

この光走査部は、表示情報を画像信号に変換し、この画像信号に基づいて生成した画像光（以下、「画像光」という。）を観察者の眼に導いて走査するものである。そして、観察者が頭部に装着した状態でこのような光走査部を動作させることによって、画像光を観察者の網膜上で２次元方向に走査させて、観察者に画像を視認させることができる。
しかし、近年、画像信号に基づいて生成した画像光（以下、「画像光」という。）を２次元方向に走査し、観察者の眼に導く光走査部を備え、観察者が頭部に装着した状態で前記光走査部を動作させることによって、その２次元方向に走査された画像光を観察者の網膜上に投影表示し、観察者に画像を視認させることができるものも開発されている。

これらのようなＨＭＤには、外界視野が透過して視認可能であるシースルー型のＨＭＤがある。このようなシースルー型のＨＭＤにおいては、例えば、特許文献１に示すように、掲示物等の識別体に対して赤外線を照射させ、反射させることによって得ることができる識別体ＩＤ等に基づき識別体に対応付けられたコンテンツ情報が、その識別体に重ねて関連付けて表示される装置が開示されている。
特開２００３−２４２１６８号公報

ところが、上記従来の装置では、識別体が検出された場合には、その識別体に対応するコンテンツ情報を表示させたが、例えば、そのコンテンツ情報に対するメモ書きをするなど、そのコンテンツ情報に対してユーザが新たな情報（以下、付加情報と称することがある）を付加することができず、利便性の向上が望まれている。

本発明は、上述したような課題に鑑みてなされたものであり、識別体に対応する付加情報に関して利便性の向上を図ることができるヘッドマウントディスプレイ、情報閲覧システム及び管理サーバを提供することを目的とする。

以上のような目的を達成するために、本発明は、以下のようなものを提供する。

すなわち、請求項１記載の本発明では、外光を透過しつつ、表示情報に応じた画像光を観察者の眼に投射して当該観察者に前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、前記観察者の視野範囲のうち少なくとも一部を撮像する撮像手段と、前記撮像手段による撮像領域内における識別体を検出する識別体検出手段と、識別体に対応する付加情報を入力する付加情報入力手段と、前記付加情報入力手段によって入力された付加情報を前記識別体に対応させて記憶する付加情報記憶手段と、前記識別体検出手段によって検出された識別体に対応し、前記付加情報記憶手段に記憶された付加情報を、前記表示手段を透過して前記観察者に視認される当該識別体と関連させて前記表示手段により表示させる制御を行う表示制御手段と、を備えたことを特徴とするものである。

すなわち、請求項２記載の本発明では、請求項１に記載の発明において、ネットワークを介して通信可能な外部装置から識別体に対応する付加情報を受信する受信手段を備え、前記付加情報入力手段は、前記受信手段によって受信された識別体に対応する付加情報を入力し、前記付加情報記憶手段は、前記受信手段によって受信された付加情報を前記識別体に対応させて記憶することを特徴とするものである。

すなわち、請求項３記載の本発明では、請求項２に記載の発明において、前記付加情報記憶手段によって新たに付加情報が識別体に対応させて記憶された場合には、当該新たな付加情報を当該識別体と対応させて前記外部装置に送信する送信手段を備えたことを特徴とするものである。

すなわち、請求項４記載の本発明では、請求項１から３のいずれかに記載の発明において、前記付加情報入力手段は、前記撮像手段によって撮像された結果に応じた付加情報を前記撮像手段によって撮像された識別体に対応する付加情報として入力し、 前記付加情報記憶手段は、前記撮像手段によって撮像された結果に応じた付加情報を前記識別体に対応させて記憶することを特徴とするものである。

すなわち、請求項５記載の本発明では、請求項４に記載の発明において、前記撮像手段によって撮像された結果に基づいて、前記識別体に対する観察者の接触度合いを検出する接触度合い検出手段を備え、前記付加情報入力手段は、前記接触度合い検出手段によって検出された前記識別体に対する観察者の接触度合いを、前記撮像手段によって撮像された識別体に対応する付加情報として入力し、前記付加情報記憶手段は、前記接触度合い検出手段によって検出された観察者の接触度合いを前記識別体に対応させて記憶することを特徴とするものである。

すなわち、請求項６記載の本発明では、請求項５に記載の発明において、前記接触度合い検出手段は、前記撮像手段によって撮像領域内において識別体として撮像された識別体領域、前記撮像手段によって撮像領域内において所定色の画素として撮像された所定色領域に基づいて、前記識別体に対する観察者の接触度合いを検出することを特徴とするものである。

すなわち、請求項７記載の本発明では、請求項１から６のいずれかに記載の発明において、前記識別体の各々に対応する対応情報を記憶する対応情報記憶手段を備え、前記表示制御手段は、前記識別体に対応付けられた対応情報を所定の表示態様で、前記表示手段を透過して前記観察者に視認される識別体と関連させて前記表示手段により表示させる制御を行い、前記付加情報入力手段は、前記表示制御手段によって表示された前記識別体に対応付けられた対応情報の表示態様を、前記表示制御手段によって表示された識別体に対応する付加情報として入力し、前記付加情報記憶手段は、前記表示制御手段によって表示された前記識別体に対応付けられた対応情報の表示態様を、当該識別体に対応して記憶することを特徴とするものである。

すなわち、請求項８記載の本発明では、請求項１から７のいずれかに記載の発明において、観察者によって操作可能な操作手段を有し、前記付加情報入力手段は、前記操作手段の操作に応じて識別体に対応する付加情報を入力し、前記付加情報記憶手段は、前記操作手段の操作に応じた付加情報を前記識別体に対応させて記憶することを特徴とするものである。

すなわち、請求項９記載の本発明では、請求項１から８のいずれかに記載の発明において、前記付加情報記憶手段は、前記付加情報入力手段によって入力された付加情報を、当該付加情報を入力した観察者を識別可能な観察者識別情報に対応させて記憶することを特徴とするものである。

すなわち、請求項１０記載の本発明では、請求項１から９のいずれかに記載の発明において、前記付加情報記憶手段は、前記付加情報入力手段によって付加情報を、当該付加情報を入力したヘッドマウントディスプレイを識別可能な装置識別情報に対応させて記憶することを特徴とするものである。

すなわち、請求項１１記載の本発明では、外光を透過しつつ、表示情報に応じた画像光を観察者の眼に投射して当該観察者に前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイと、当該ヘッドマウントディスプレイとネットワークを介して通信可能とする管理サーバと、を備えた情報閲覧システムにおいて、前記ヘッドマウントディスプレイは、前記観察者の視野範囲のうち少なくとも一部を撮像する撮像手段と、前記撮像手段による撮像領域内における識別体を検出する識別体検出手段と、識別体に対応する付加情報を入力する付加情報入力手段と、前記付加情報入力手段によって入力された付加情報を前記識別体に対応させて記憶する付加情報記憶手段と、前記付加情報記憶手段に対応する付加情報を、前記表示手段を透過して前記観察者に視認される当該識別体と関連させて前記表示手段により表示させる制御を行う表示制御手段と、を有することを特徴とするものである。

すなわち、請求項１２記載の本発明では、請求項１１に記載の発明において、前記管理サーバは、前記ヘッドマウントディスプレイから、当該ヘッドマウントディスプレイにおける前記付加情報入力手段によって入力された識別体に対応する付加情報を受信する付加情報受信手段と、前記付加情報受信手段によって受信された付加情報を前記識別体に対応させて記憶する第二の付加情報記憶手段と、前記第二の付加情報記憶手段に記憶されている識別体に対応する付加情報をヘッドマウントディスプレイに送信する付加情報送信手段と、を有することを特徴とするものである。

すなわち、請求項１３記載の本発明では、請求項１１又は１２に記載の発明において、前記管理サーバは、前記ヘッドマウントディスプレイとの通信履歴を記憶する通信履歴記憶手段を有することを特徴とするものである。

本発明によれば、識別体に対応した付加情報を付加可能とし、表示させることによって、識別体に対応する付加情報に関して利便性の向上を図ることができる。

以下、本発明の一実施形態について、図面を参照して具体的に説明する。図１は、本実施形態に係る情報閲覧システムを示す説明図である。図２は、本実施形態に係るヘッドマウントディスプレイシステムを示す説明図である。

［情報閲覧システム構成］
情報閲覧システムＳ１は、図１に示すように、ヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）１、管理サーバ３００、パーソナルコンピュータ３１０及び携帯型端末装置３１２が、ネットワーク網３０２に接続され、相互に通信可能に構成する。

詳しく後述するが、ＨＭＤ１は、外光を透過しつつ、画像光を観察者の眼に投射して観察者に画像光に応じた画像を視認させるシースルー型のヘッドマウントディスプレイである。

管理サーバ３００は、各種のコンテンツに関する情報を管理する装置である。特に、管理サーバ３００は、コンテンツに対応する付加情報などを記憶している。また、管理サーバ３００は、所定のタイミングでＨＭＤ１との通信によってそれら情報を供給するが、これに限らず、例えば、これらの通信をパーソナルコンピュータ３１０や携帯型端末装置３１２を介して行ってもよい。

なお、本実施形態においては、ＨＭＤ１において操作スイッチ７（図３参照）などが設けられ、その操作に応じて、自体で各種の処理を行っていたが、これに限らず、例えば、ＨＭＤ１と、パーソナルコンピュータ３１０や携帯型端末装置３１２とが接続され、相互に通信可能に構成することによって、操作信号がＨＭＤ１に供給されるようにしてもよい。

［ＨＭＤ概観］
図２に示すように、本実施形態に係るＨＭＤシステムＳは、観察者Ｐが頭部に装着した状態で、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報を画像としてその観察者Ｐに視認可能に表示するＨＭＤ１を備えている。

このＨＭＤ１は、内部又は外部に記憶されている各種コンテンツ情報を画像信号に変換し、この画像信号に基づいて生成した画像光（以下、「画像光」という。）を観察者Ｐの眼に導いて走査する光走査部１０（図３参照）を備え、観察者Ｐが頭部に装着した状態で光走査部１０を動作させることによって、画像光を観察者の網膜上で２次元方向に走査させることにより、観察者Ｐにコンテンツ情報に対応する画像（以下、単に「コンテンツ」という。）を視認させることができるように構成している。なお、このＨＭＤ１の具体的構成については、後に詳述する。

また、このＨＭＤ１は、コンテンツを表示している最中であっても、観察者Ｐの視野の中で、そのコンテンツを表示している領域以外の領域では、観察者Ｐが外界を視認できるように構成している。

すなわち、このＨＭＤ１は、外光を透過しつつ、コンテンツ情報に応じた画像光を観察者Ｐの眼に投射するシースルー型のヘッドマウントディスプレイである。

そして、このＨＭＤシステムＳでは、２次元コード（例えば、ＱＲコード）などの識別体を検出し、その識別体に対応付けられたコンテンツ情報を表示させる表示制御をＨＭＤ１に実行させることができるように構成している。このため、識別体に対応するコンテンツ情報を対応情報として以下に称することがある。

すなわち、本実施形態のＨＭＤ１は、観察者Ｐの視野範囲のうち少なくとも一部の領域を撮像する撮像手段としてのＣＣＤ（Charge Coupled Devices）センサ２を備え、このＣＣＤセンサ２の撮像領域に識別体があることを条件に、複数種類のコンテンツ情報の中から、その識別体に対応付けられたコンテンツ情報を選択し、表示させることとなる。

また、本実施形態においては、コンテンツ情報以外に、検出された識別体に対応して付加情報が付加されていることがある。この場合において、この付加情報は、通信制御回路９（図３参照）を介して管理サーバ３００から供給される情報か、ＨＭＤ１の操作に応じた情報である。

なお、図１に示すように、ＨＭＤ１は、外界の明るさを検出する輝度センサ８と、ＣＣＤセンサ２の撮像領域を照らす照明手段としてのＬＥＤ（Light Emitting Diode）３と、を備えており、輝度センサ８により外界の明るさが所定の明るさを下回ったことが検知されたときに、ＬＥＤ３がＣＣＤセンサ２の撮像領域を照らすこととなる。

［ＨＭＤ電気的構成］
ここで、本実施形態に係るＨＭＤ１の電気的構成等について、図３を参照して説明する。図３は、本実施形態に係るＨＭＤ１の電気的及び光学的構成を示す説明図である。

図３に示すように、このＨＭＤ１は、当該ＨＭＤ１全体の動作を統括制御する制御部１１０と、この制御部１１０から供給される画像信号に基づいて生成した画像光を２次元的に走査することにより画像を表示することによって、画像信号に応じた画像を視認させる光走査部１０と、を備えている。

光走査部１０は、この制御部１１０から供給される画像信号をドットクロック毎に読み出し、読み出した映像信号に応じて強度変調された画像光を生成して出射する画像光生成部２０を備え、さらに、その画像光生成部２０と観察者Ｐの眼Ｅとの間には、画像光生成部２０で生成され、光ファイバ１００を介して出射されるレーザビーム（画像光）を平行光化するコリメート光学系６１と、このコリメート光学系６１で平行光化された画像光を画像表示のために水平方向（第１方向）に往復走査する第１光走査部として機能する水平走査部７０と、水平走査部７０で水平方向に走査された画像光を垂直方向（第１方向と略直交する第２方向）に往復走査する第２光走査部として機能する垂直走査部８０と、水平走査部７０と垂直走査部８０との間に設けられたリレー光学系７５と、このように水平方向と垂直方向に走査（２次元的に走査）された画像光を瞳孔Ｅａへ出射するためのリレー光学系９０と、を備えている。

また、画像光生成部２０には、パーソナルコンピュータ（図示略）等の外部装置から供給される画像データが、インターフェース１０４と制御部１１０とを介して入力され、それに基づいて画像を合成するための要素となる各信号等を発生する信号処理回路２１が設けられ、この信号処理回路２１において、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各画像信号２２ａ〜２２ｃが生成され、出力される。また、信号処理回路２１は、水平走査部７０で使用される水平駆動信号２３と、垂直走査部８０で使用される垂直駆動信号２４とをそれぞれ出力する。

さらに、画像光生成部２０は、信号処理回路２１からドットクロック毎に出力される３つの画像信号（Ｂ，Ｒ，Ｇ）２２ａ〜２２ｃをそれぞれ画像光にする画像光出力部として機能する光源部３０と、これらの３つの画像光を１つの画像光に結合して任意の画像光を生成するための光合成部４０を備えている。

光源部３０は、青色の画像光を発生させるＢレーザ３４及びＢレーザ３４を駆動するＢレーザドライバ３１と、緑色の画像光を発生させるＧレーザ３５及びＧレーザ３５を駆動するＧレーザドライバ３２と、赤色の画像光を発生させるＲレーザ３６及びＲレーザ３６を駆動するＲレーザドライバ３３とを備えている。なお、各レーザ３４、３５、３６は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、画像光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて画像光の強度変調を行う必要がある。

光合成部４０は、光源部３０から入射する画像光を平行光にコリメートするように設けられたコリメート光学系４１、４２、４３と、このコリメートされた画像光を合成するためのダイクロイックミラー４４、４５、４６と、合成された画像光を光ファイバ１００に導く結合光学系４７とを備えている。

各レーザ３４、３５、３６から出射したレーザ光は、コリメート光学系４１、４２、４３によってそれぞれ平行化された後に、ダイクロイックミラー４４、４５、４６に入射される。その後、これらのダイクロイックミラー４４、４５、４６により、各画像光が波長に関して選択的に反射・透過される。

具体的には、Ｂレーザ３４から出射した青色画像光は、コリメート光学系４１によって平行光化された後に、ダイクロイックミラー４４に入射される。Ｇレーザ３５から出射した緑色画像光は、コリメート光学系４２を経てダイクロイックミラー４５に入射される。Ｒレーザ３６から出射した赤色画像光は、コリメート光学系４３を経てダイクロイックミラー４６に入射される。

それら３つのダイクロイックミラー４４、４５、４６にそれぞれ入射した３原色の画像光は、波長選択的に反射または透過して結合光学系４７に達し、集光され光ファイバ１００へ出力される。

水平走査部７０及び垂直走査部８０は、光ファイバ１００から入射された画像光を画像として投影可能な状態にするために、水平方向と垂直方向に走査して走査画像光とするものである。

水平走査部７０は、画像光を水平方向に走査するための反射面を有する共振型偏向素子７１と、この共振型偏向素子７１を共振させ、共振型偏向素子７１の反射面を揺動させる駆動信号を発生する駆動信号発生器としての水平走査駆動回路７２と、共振型偏向素子７１から出力される変位信号に基づいて、共振型偏向素子７１の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する水平走査角検出回路７３とを有している。

本実施形態において、水平走査角検出回路７３は、検出した共振型偏向素子７１の揺動状態を示す信号を制御部１１０へ入力するようにしている。

垂直走査部８０は、画像光を垂直方向に走査するための偏向素子８１と、この偏向素子８１を駆動させる垂直走査制御回路８２と、この垂直走査制御回路８２による反射面の揺動範囲及び揺動周波数等の揺動状態を検出する垂直走査角検出回路８３とを備えている。

また、水平走査駆動回路７２と垂直走査制御回路８２は、信号処理回路２１から出力される水平駆動信号２３と垂直駆動信号２４に基づいてそれぞれ駆動し、垂直走査角検出回路８３は、検出した偏向素子８１の揺動状態を示す信号を制御部１１０へ入力するようにしている。

そして、後に詳述する制御部１１０は、信号処理回路２１の動作を制御することによって、これら水平駆動信号２３と垂直駆動信号２４とを調整することによって、水平走査部７０と垂直走査部８０に画像光の走査角を変更させて、表示する画像の輝度を調整するようにしている。

こうして変更された走査角度は水平走査角検出回路７３および垂直走査角検出回路８３からの検出信号に基づいて制御部１１０により検出され、信号処理回路２１と水平走査駆動回路７２とを介して水平駆動信号２３にフィードバックされると共に、信号処理回路２１と垂直走査制御回路８２とを介して垂直駆動信号２４にフィードバックされる。

また、水平走査部７０と垂直走査部８０との間での画像光を中継するリレー光学系７５を備えており、共振型偏向素子７１によって水平方向に走査された光は、リレー光学系７５によって偏向素子８１の反射面に収束され、偏向素子８１によって垂直方向に走査されて、２次元的に走査された走査画像光として、リレー光学系９０へ出射される。

リレー光学系９０は、正の屈折力を持つレンズ系９１、９４を有している。垂直走査部８０から出射された表示用の走査画像光は、レンズ系９１によって、それぞれの画像光がその画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。そして、レンズ系９４によってそれぞれほぼ平行な画像光となると共に、これらの画像光の中心線が観察者の瞳孔Ｅａに収束するように変換される。

なお、本実施形態においては、光ファイバ１００から入射された画像光を、水平走査部７０で水平方向に走査した後、垂直走査部８０によって垂直方向に走査することとしたが、水平走査部７０と垂直走査部８０との配置を入れ替え、垂直走査部８０によって垂直方向に走査した後、水平走査部７０で水平方向に走査するようにしてもよい。

また、制御部１１０は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）としての不揮発性メモリであるフラッシュメモリ（図中においてはFlash Memoryと示す）１０２と、ＲＡＭ（Random Access Memory）１０３と、表示させる画像データを記憶しておくＶＲＡＭ（Video Random Access Memory）１０５とを備えている。

そして、これらＣＰＵ１０１、フラッシュメモリ１０２、ＲＡＭ１０３、ＶＲＡＭ１０５は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。

また、この制御部１１０は、当該ＨＭＤ１の電源スイッチＳＷ、識別体を含む画像を撮像するＣＣＤセンサ２、外界の明るさ（輝度）を検知する輝度センサ８、輝度センサ８により外界の明るさが所定の明るさを下回ったことが検知されたときに、ＣＣＤセンサ２の撮像領域Ａ（図９参照）を照らすＬＥＤ３、観察者によって操作可能な操作スイッチ７、他の装置との通信を制御するための通信制御回路９、パーソナルコンピュータ等の外部装置と接続可能なインターフェース１０４とも接続されている。

ＣＰＵ１０１は、フラッシュメモリ１０２に記憶されている各種情報処理プログラムを実行することにより、ＨＭＤ１を構成する図示しない各種回路を動作させて、ＨＭＤ１が備える各種機能を実行させる演算処理装置である。

フラッシュメモリ１０２は、ＨＭＤ１により表示するコンテンツの再生、停止、早送り、巻き戻し等の表示制御を行う際に画像光生成部２０、水平走査部７０、垂直走査部８０等を動作させるための情報処理プログラム等、制御部１１０がＨＭＤ１全体の動作を統括制御するためにＣＰＵ１０１により実行される各種情報処理プログラムを記憶している。

さらに、このフラッシュメモリ１０２には、制御部１１０がＣＣＤセンサ２により撮像した識別体の形態を判別するために用いるテーブル等、制御部１１０が各種表示制御を行う際に参照する複数種類のテーブルが記憶されている。

［ＨＭＤ機能構成］
ここで、本実施形態に係るＨＭＤ１の機能構成等について、図４を参照して説明する。図４は、本実施形態に係るＨＭＤ１の機能構成を示す説明図である。

図４に示すように、このＨＭＤ１におけるＣＣＤセンサ２は、撮像手段２０１を有している。この撮像手段２０１は、観察者の視野範囲のうち少なくとも一部を撮像する。そして、撮像手段２０１は、制御部１１０にその撮像データを供給することとなる。

そして、ＨＭＤ１における制御部１１０は、対応情報記憶手段２０２と、識別体検出手段２０３と、付加情報入力手段２０４と、接触度合い検出手段２０５と、付加情報記憶手段２０６と、表示制御手段２０７と、を有している。ＨＭＤ１の制御部１１０において、後述のＣＰＵ１０１が所定の情報処理プログラムを実行することによって、識別体検出手段２０３、付加情報入力手段２０４、接触度合い検出手段２０５、付加情報記憶手段２０６、表示制御手段２０７として制御部１１０が機能することとなる。

対応情報記憶手段２０２は、上述したフラッシュメモリ１０２が相当し、識別体の各々に対応するコンテンツ情報（対応情報）を記憶する。また、識別体の種別によっては、識別体の各々に対応するコンテンツ情報として一種類又は複数種類のコンテンツ情報が対応付けられている。複数種類のコンテンツ情報としては、例えば、識別体の各々に対応付けられたコンテンツ情報を示す図柄、文字、静止画像、動画像である。

識別体検出手段２０３は、撮像手段２０１による撮像領域内における画像データから識別体を検出する。

付加情報入力手段２０４は、識別体に対応する付加情報を入力する。具体的には、付加情報入力手段２０４は、管理サーバ３００から受信された識別体に対応する付加情報や、識別体に対する観察者の接触度合いなどの撮像された結果に応じた付加情報、識別体に対応付けられたコンテンツ情報（対応情報）の表示態様を示す付加情報、操作スイッチ７の操作に応じて識別体に対応する付加情報を入力することとなる。

接触度合い検出手段２０５は、撮像領域内において識別体として撮像された識別体領域、所定色の画素として撮像された所定色領域に基づいて、識別体に対する観察者の接触度合いを検出する。

付加情報記憶手段２０６は、付加情報入力手段２０４によって入力された付加情報を識別体に対応させて記憶する。

表示制御手段２０７は、識別体検出手段２０３によって検出された識別体に対応するコンテンツ情報を所定の表示態様で表示させる制御を行う。特に、この表示制御手段２０７は、識別体に対応付けられた対応情報を、表示手段２１１を透過して観察者に視認される識別体と関連させて表示手段２１１により表示させる制御を行う。

また、表示制御手段２０７は、識別体検出手段２０３によって検出された識別体に対応し、付加情報記憶手段２０６に記憶された付加情報を、表示手段２１１を透過して観察者に視認される識別体と関連させて表示手段２１１により表示させる制御を行うこととなる。

このＨＭＤ１における操作スイッチ７は、観察者によって操作可能な操作手段２０８を有している。

また、このＨＭＤ１における通信制御回路９は、受信手段２０９と、送信手段２１０とを有している。この受信手段２０９は、ネットワーク網３０２を介して通信可能な管理サーバ３００（外部装置）から識別体に対応する付加情報を受信する。一方、送信手段２１０は、付加情報記憶手段２０６によって新たに付加情報が識別体に対応させて記憶された場合には、その新たな付加情報を識別体と対応させて管理サーバ３００（外部装置）に送信する。

また、このＨＭＤ１における光走査部１０は、表示手段２１１を有している。この表示手段２１１は、外光を透過しつつ、画像情報（表示情報）に応じた画像光を観察者の眼に投射してその観察者に前記画像光に応じた画像を視認させる。

［管理サーバ電気的構成］
ここで、本実施形態に係る管理サーバ３００の電気的構成等について、図５を参照して説明する。図５は、本実施形態に係る管理サーバ３００の電気的及び光学的構成を示す説明図である。

図５に示すように、この管理サーバ３００は、当該管理サーバ３００全体の動作を統括制御する制御部３２０と、外部装置との通信を行うための通信制御回路３２５と、を備えている。

制御部３２０は、ＣＰＵ（Central Processing Unit）３２１と、各種プログラム等が記憶されたＲＯＭ（Read Only Memory）３２２と、ＲＡＭ（Random Access Memory）３２３と、ハードディスクドライブ（図中においてはＨＤＤと示し、以下、ＨＤＤと称する）３２４と、を備えている。

そして、これらＣＰＵ３２１、ＲＯＭ３２２、ＲＡＭ３２３、ＨＤＤ３２４は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。

また、この制御部３２０は、他の装置との通信を制御するための通信制御回路９とも接続されている。

ＣＰＵ３２１は、ＲＯＭ３２２に記憶されている各種情報処理プログラムを実行することにより、管理サーバ３００を構成する図示しない各種回路を動作させて、管理サーバ３００が備える各種機能を実行させる演算処理装置である。

ＲＯＭ３２２は、制御部３２０が管理サーバ３００全体の動作を統括制御するためにＣＰＵ３２１により実行される各種情報処理プログラムを記憶している。

ＨＤＤ３２４は、各種のデータが記憶されている。具体的には、ＨＤＤ３２４には、コンテンツ情報や付加情報が識別体に対応して記憶されている。

［コンテンツ対応テーブル］
ここで、管理サーバ３００のＨＤＤ３２４内に記憶されたコンテンツ対応テーブルについて図６を用いて以下に説明する。尚、このコンテンツ対応テーブルは、管理サーバ３００のＨＤＤ３２４と同じように、ＨＭＤ１のフラッシュメモリ１０２にも記憶されている。

上述したＨＤＤ３２４には、図６に示すようなコンテンツ対応テーブルが記憶されている。コンテンツ対応テーブルは、識別体に対応するコンテンツ情報を関連付けるためのテーブルである。

このコンテンツ対応テーブルには、識別体と、一又は複数のコンテンツ情報と、が対応付けられている。このコンテンツ情報は、例えば、識別体の存在を示す画像や、識別体に対応するコンテンツの名称、識別体に対応するコンテンツの静止画像、識別体に対応するコンテンツの動画像などが含まれている。

［付加情報対応テーブル］
また、管理サーバ３００のＨＤＤ３２４内に記憶された付加情報対応テーブルについて図７を用いて以下に説明する。尚、この付加情報対応テーブルは、管理サーバ３００のＨＤＤ３２４と同じように、ＨＭＤ１のフラッシュメモリ１０２にも記憶されている。

上述したＨＤＤ３２４には、図７に示すような付加情報対応テーブルが記憶されている。付加情報対応テーブルは、識別体に対応する付加情報を関連付けるためのテーブルである。

この付加情報対応テーブルには、識別体と、一又は複数の付加情報と、が対応付けられている。この付加情報には、例えば、付加情報を識別するためのＩＤ、付加情報の種別、付加情報の内容、付加情報が入力されたユーザ、付加情報が入力された装置、付加情報が入力された日時等が含まれている。付加情報の種類としては、ＨＭＤ１等の各種の端末装置などによって入力されたコンテンツ情報（識別体）に対応する文章情報（例えば、コメント）や、ＨＭＤ１等の各種の端末装置などによってどのコンテンツ情報を表示させたかの情報（例えば、静止画像を表示した）、ユーザによって識別体がふされた物に対する接触度合い（例えば、ＣＤを手に取った）などが含まれている。

このように、識別体やコンテンツ情報に付加情報が対応付けられている。

［管理サーバ機能構成］
ここで、本実施形態に係る管理サーバ３００の機能構成等について、図８を参照して説明する。図８は、本実施形態に係る管理サーバ３００の機能構成を示す説明図である。

図８に示すように、この管理サーバ３００における制御部３２０は、対応情報記憶手段３３１と、第二の付加情報記憶手段３３２と、通信履歴記憶手段３３３と、を有している。管理サーバ３００の制御部３２０において、後述のＣＰＵ３２１が所定の情報処理プログラムを実行することによって、第二の付加情報記憶手段３３２、通信履歴記憶手段３３３として制御部３２０が機能することとなる。

対応情報記憶手段３３１は、上述したＨＤＤ３２４が相当し、識別体の各々に対応するコンテンツ情報（対応情報）を記憶する。また、識別体の種別によっては、識別体の各々に対応するコンテンツ情報として一種類又は複数種類のコンテンツ情報が対応付けられている。複数種類のコンテンツ情報としては、例えば、識別体の各々に対応付けられたコンテンツ情報を示す図柄、文字、静止画像、動画像である。

第二の付加情報記憶手段３３２は、付加情報を識別体に対応させて記憶する。

通信履歴記憶手段３３３は、ＨＭＤ１との通信履歴を記憶する。

また、この管理サーバ３００における通信制御回路３２５は、付加情報受信手段３３４と、付加情報送信手段３３５とを有している。この付加情報受信手段３３４は、ネットワーク網３０２を介して通信可能なＨＭＤ１から、そのＨＭＤ１における付加情報入力手段２０４によって入力された識別体に対応する付加情報を受信する。一方、付加情報送信手段３３５は、第二の付加情報記憶手段３３２に記憶されている識別体に対応する付加情報をＨＭＤ１に送信する。

［ＨＭＤ表示内容］
ここで、本実施形態に係るＨＭＤ１における表示内容等について、図９を参照して説明する。図９は、本実施形態に係るＨＭＤ１の表示内容等を示す説明図である。

ＨＭＤ１を装着した観察者Ｐが、レンタル店のような場所でレンタル物を探すような状況を一例とする。図９（ａ）に示すように、レンタル店の棚には、各種レンタル物が並べられている。観察者Ｐの視野範囲のうちの一部の領域が撮像領域Ａとして設定されている。

このような状況において、図９（ａ）に示すように撮像領域Ａ内において１０個の識別体が検出された場合には、撮像領域Ａ内における全ての識別体の各々に対応するコンテンツ情報として、その識別体に関連付けるように黒丸印のドットや、コンテンツ情報のタイトル（名称）が表示される。これによって、識別体が付された場所が認識可能であり、大まかなレンタル物の数が認識可能となる。具体的には、７つの識別体に関連付けるようにタイトルが表示され、３つの識別体に関連付けるようにドットが表示される。

そして、観察者Ｐがレンタル物に近づくと、図９（ｂ）に示すように撮像領域Ａ内において３個の識別体が検出される。この場合には、撮像領域Ａ内における全ての識別体の各々に対応するコンテンツ情報として、その識別体に関連付けるように画像、タイトルが表示される。具体的には、２つの識別体に関連付けるように静止画像が表示され、１つの識別体に関連付けるようにタイトルが表示される。

これによって、識別体が付されたレンタル物に関連する画像が認識可能であり、大まかなレンタル物の内容が認識可能となる。

更に、図９（ｃ）に示す状態において、操作スイッチ７の操作に応じて静止画像が指定されると、図９（ｃ）に示すように、指定された静止画像に対応する識別体に関連付けられたコメント画像が表示される。このコメント画像は、そのコンテンツ情報に対するコメントであり、ユーザによって付加される付加情報である。

このように、撮像領域Ａにおける識別体の存在や、その識別体におけるコンテンツ情報のタイトル情報などが認識可能であり、更には、その識別体に対応して付加された付加情報が視認可能となる。

また、図９（ｄ）に示すように、撮像領域Ａにおいて撮像された結果に応じて、ユーザなどによって識別体がふされたレンタル物に手が接触したか否かなどの接触度合いが認識可能である。そして、識別体に対応してこのような接触度合いが付加情報として記憶されることもある。これによって、以前の接触度合いが認識可能となる。これは、識別体のサイズが大きくなることによって近づいて視認したことが認識可能となり、撮像領域Ａ内において肌の色として撮像された範囲によって手に取ったか否かなどが認識可能となる。

［制御動作］
次に、図１０から図１２のフローチャートを参照して、ＨＭＤ１や管理サーバ３００の動作について説明する。図１０から図１２は、ＨＭＤ１や管理サーバ３００において実行される処理の動作を示すフローチャートである。特に、図１０に示すメイン処理は、ＨＭＤ１の電源がオンされた際に制御部１１０によって実行される。ここでは、ＨＭＤ１の制御部１１０（以下、単に「制御部１１０」という。）がメイン処理について説明することとし、その他の処理については説明を省略する。

本実施形態のＨＭＤ１において、制御部１１０は、フラッシュメモリ１０２内に記憶している情報処理プログラムを実行することによって、上記した識別体検出手段２０３、付加情報入力手段２０４、接触度合い検出手段２０５、付加情報記憶手段２０６、表示制御手段２０７等として機能することとなる。

［メイン処理］
最初に、図１０に示すように、ＨＭＤ１に電源が投入されると、制御部１１０は、初期設定を行う（ステップＳ１１）。この処理において、制御部１１０は、ＲＡＭアクセス許可、作業領域の初期化等を実行する。また、制御部１１０は、観察者（ユーザ）を示すＩＤやＨＭＤ１の装置独自のＩＤをＲＡＭ１０３にセットする。この処理が終了した場合には、ステップＳ１２に処理を移す。

ステップＳ１２において、制御部１１０は、撮像処理を実行する。この処理において、制御部１１０は、撮像手段２０１としてのＣＣＤセンサ２に撮像領域Ａの画像を撮像させる制御を行う。この処理が終了した場合には、ステップＳ１３に処理を移す。

ステップＳ１３において、制御部１１０は、対応情報制御処理を実行する。この処理において、制御部１１０は、ＣＣＤセンサ２によって撮像された撮像領域Ａの画像を取り込み、その画像から識別体を検出し、その検出結果（例えば、識別体の数）に基づいて、複数種類の表示態様の中から、表示手段２１１によって識別体の各々に対応付けられるコンテンツ情報の表示態様を決定することとなる。つまり、制御部１１０は、取り込んだ撮像領域Ａの画像から、識別体を検出する。このような処理を実行することによって、制御部１１０は、識別体検出手段２０３として機能する。この処理が終了した場合には、ステップＳ１４に処理を移す。

ステップＳ１４において、制御部１１０は、付加情報制御処理を実行する。詳しくは図１１及び図１２を用いて後述するが、この処理において、制御部１１０は、撮像領域Ａにおいて検出された識別体に対応する付加情報に関して、付加情報記憶手段２０６に記憶されていない場合にはその付加情報を管理サーバ３００に要求し、ＨＭＤ１において付加情報が新たに更新された場合には、その更新を行い、その更新結果を管理サーバ３００に供給することとなる。この処理が終了した場合には、ステップＳ１５に処理を移す。

ステップＳ１５において、制御部１１０は、検出された識別体に対応するコンテンツ情報、付加情報を表示させるための画像データをフラッシュメモリ１０２から読み込み、画像としてＶＲＡＭ１０５におけるフレームバッファ上に描画する。これによって、制御部１１０は、このフレームバッファ上に描画した画像を光走査部１０に供給することとなり、観察者Ｐによって視認可能に表示させることとなる。つまり、制御部１１０は、ステップＳ１３において決定された表示態様で、識別体に対応付けられたコンテンツ情報及び付加情報を、その識別体と関連させて表示させる制御を行うこととなる。また、表示手段２１１は、図９に示すように、透過して視認可能な視野範囲の識別体と関連付けることができるように、識別体と対応するコンテンツ情報、付加情報を表示させることとなる。つまり、制御部１１０は、識別体の各々に対応するコンテンツ情報、付加情報を、表示手段２１１を透過して観察者に視認される当該識別体と関連させて表示させる制御を行うこととなる。このような処理を実行することによって、制御部１１０は、表示制御手段２０７として機能する。尚、制御部１１０は、選択された識別体に対応する対応情報が動画コンテンツである場合にも、識別体に対応する対応情報を所定周期毎に画像としてフレームバッファ上に描画する。この処理が終了した場合には、ステップＳ１６に処理を移す。

ステップＳ１６において、制御部１１０は、操作検知処理を実行する。この処理において、制御部１１０は、操作スイッチ７からの操作信号の有無を検知する。この処理が終了した場合には、ステップＳ１７に処理を移す。

ステップＳ１７において、制御部１１０は、その他制御処理を実行する。そして、制御部１１０は、電源オフであるか否かを判定する（ステップＳ１８）。この処理において、制御部１１０は、電源スイッチＳＷの操作等に応じて、電源オフであるか否かを判定することとなる。制御部１１０は、電源オフであると判定すると（ステップＳ１８：ＹＥＳ）、メイン処理を終了する。一方、制御部１１０は、電源オフではないと判定すると（ステップＳ１８：ＮＯ）、再度、ステップＳ１２に処理を移す。これによって、制御部１１０は、電源オフとなるまで、ステップＳ１２からステップＳ１７を繰り返し実行することとなる。

［付加情報制御処理］
図１０のステップＳ１４において実行されるサブルーチンについて図１１及び図１２を用いて説明する。

最初に、図１１に示すように、ＨＭＤ１の制御部１１０は、撮像領域Ａにおいて検知した識別体の付加情報が付加情報記憶手段２０６に記憶されているか否かを判定する（ステップＳ２１）。

制御部１１０は、識別体の付加情報が付加情報記憶手段２０６に記憶されていると判定した場合には（ステップＳ２１：ＹＥＳ）、ステップＳ２２からステップＳ２４を実行することなく、ステップＳ２５に処理を移す。

一方、制御部１１０は、識別体の付加情報が付加情報記憶手段２０６に記憶されていないと判定した場合には（ステップＳ２１：ＮＯ）、付加情報要求処理を実行する（ステップＳ２２）。この処理において、制御部１１０は、記憶されていないと判定された付加情報の要求を、ネットワーク網３０２を介して管理サーバ３００に行う。この処理においては、制御部１１０は、識別体の種別、ユーザＩＤ、装置ＩＤなどを管理サーバ３００に送信することとなる。

管理サーバ３００において、制御部３２０は、付加情報要求を受信した場合には（ステップＳ１０１）、その要求の識別体に対応する付加情報を取得する付加情報取得処理を実行し（ステップＳ１０２）、要求のあったＨＭＤ１に対して通信制御回路３２５を介して送信する付加情報送信処理を実行する（ステップＳ１０３）。このような処理を実行することによって、通信制御回路３２５は、付加情報送信手段３３５として機能する。

また、制御部３２０は、ユーザ、ＨＭＤ１毎に通信履歴を記憶する通信履歴記憶処理を実行する（ステップＳ１０４）。このような処理を実行することによって、制御部３２０は、通信履歴記憶手段３３３として機能する。これによって、管理サーバ３００において、観察者、ＨＭＤ１毎の通信履歴が認識可能となり、情報閲覧システムの利用状況を認識可能となる。

ＨＭＤ１において、制御部１１０は、管理サーバ３００からの付加情報を受信する付加情報受信処理を実行し（ステップＳ２３）、その受信した付加情報をフラッシュメモリ１０２に記憶する付加情報記憶処理を実行する（ステップＳ２４）。これによって、通信制御回路９は、ネットワーク網３０２を介して通信可能な管理サーバ３００から識別体に対応する付加情報を受信し、制御部１１０は、通信制御回路９（受信手段２０９）によって受信された識別体に対応する付加情報を入力し、その付加情報を識別体に対応させて記憶することとなる。このような処理を実行することによって、制御部１１０は、付加情報入力手段２０４、付加情報記憶手段２０６として機能する。この処理が終了した場合には、ステップＳ２５に処理を移す。

ＨＭＤ１では、ステップＳ２５において、制御部１１０は、付加情報表示指示があったか否かを判定する。この処理において、制御部１１０は、操作スイッチ７からの操作信号に応じて、付加情報表示指示があったか否かを判定することとなる。

制御部１１０は、付加情報表示指示があったと判定した場合には（ステップＳ２５：ＹＥＳ）、付加情報表示指示をＲＡＭ１０３の所定領域にセットし（ステップＳ２６）、ステップＳ２７に処理を移す。これによって、制御部１１０は、上述したステップＳ１５において、付加情報表示指示のあった識別体に対応する付加情報を表示させる制御を行うこととなる。

一方、制御部１１０は、付加情報表示指示がなかったと判定した場合には（ステップＳ２５：ＮＯ）、ステップＳ２６を実行することなく、ステップＳ２７に処理を移す。

ステップＳ２７において、制御部１１０は、操作スイッチ７の操作に応じて付加情報入力があったか否かを判定する。

この処理において、制御部１１０は、操作スイッチ７の操作に応じて付加情報入力があったと判定した場合には（ステップＳ２７：ＹＥＳ）、操作に応じて入力された付加情報をフラッシュメモリ１０２に記憶する付加情報記憶処理を実行し（ステップＳ２８）、ステップＳ２９に処理を移す。

具体的な一例としては、制御部１１０は、コンテンツ情報のコメントを操作スイッチ７に応じて入力した場合には、そのコメントが付加情報として識別体に対応付けられることとなる。また、例えば、制御部１１０は、そのコンテンツ情報としてレンタル物を借りた場合において、操作スイッチ７に応じてその借りた旨が付加情報として入力したときには、その旨が識別体に対応付けられることとなる。

これによって、制御部１１０は、操作手段２０８の操作に応じて識別体に対応する付加情報を入力し、識別体に対応させて記憶することとなる。また、制御部１１０は、付加情報を、識別体以外に、ユーザＩＤ、装置ＩＤに対応して記憶することとなる。このユーザＩＤは、付加情報を入力した観察者を識別可能な観察者識別情報であり、装置ＩＤは、付加情報を入力したＨＭＤ１を識別可能な装置識別情報である。このような処理を実行することによって、制御部１１０は、付加情報入力手段２０４、付加情報記憶手段２０６として機能する。

一方、制御部１１０は、操作スイッチ７の操作に応じて付加情報入力がなかったと判定した場合には（ステップＳ２７：ＮＯ）、ステップＳ２８を実行することなく、ステップＳ２９に処理を移す。

ステップＳ２９において、制御部１１０は、対応情報（コンテンツ情報）の表示態様が更新されたか否かを判定する。この処理において、制御部１１０は、表示手段２１１によって表示された識別体の表示態様が新規に表示された表示態様であるか否かによって、対応情報の表示態様が更新されたか否かを判定することとなる。

制御部１１０は、対応情報の表示態様が更新されたと判定した場合には（ステップＳ２９：ＹＥＳ）、表示された表示態様に応じて入力された付加情報をフラッシュメモリ１０２に記憶する付加情報記憶処理を実行し（ステップＳ３０）、図１２のステップＳ３１に処理を移す。

具体的な一例としては、制御部１１０は、識別体に対応するコンテンツ情報の表示態様としてタイトルが表示された場合には、そのタイトルまで表示した旨を付加情報として記憶することとなる。また、その後、制御部１１０は、識別体に対応するコンテンツ情報の表示態様として静止画像が表示された場合には、その静止画像まで表示した旨を付加情報として記憶することとなる。

これによって、制御部１１０は、表示された識別体に対応付けられた対応情報の表示態様を、識別体に対応する付加情報として入力し、識別体に対応させて記憶することとなる。また、制御部１１０は、付加情報を、識別体以外に、ユーザＩＤ、装置ＩＤに対応して記憶することとなる。このような処理を実行することによって、制御部１１０は、付加情報入力手段２０４、付加情報記憶手段２０６として機能する。

一方、制御部１１０は、対応情報の表示態様が更新されていないと判定した場合には（ステップＳ２９：ＮＯ）、ステップＳ３０を実行することなく、図１２のステップＳ３１に処理を移す。

図１２のステップＳ３１において、制御部１１０は、撮像手段２０１によって撮像領域Ａ内において識別体として撮像された識別体領域のサイズを検出する識別体サイズ検出処理を実行する。そして、制御部１１０は、撮像手段２０１によって撮像領域Ａ内において所定色（肌の色）の画素として撮像された所定色領域を検出する所定色領域検出処理を実行する（ステップＳ３２）。

そして、制御部１１０は、その識別体領域、所定色領域に基づいて、識別体に対する観察者の接触度合いを検出し、その結果をＲＡＭ１０３の所定領域にセットすることとなる（ステップＳ３３）。具体的には、識別体として撮像された識別体領域が所定サイズ以上となった場合には、ある程度の近距離で視認したと判定し、接触度合いを近くで観た旨として認識することとなる。また、制御部１１０は、肌の色などの所定色の画素として撮像された所定色領域と、上述した識別体領域との組合せによって、識別体領域が変化し、その識別体領域の近傍に所定色領域が位置している場合には、手に取ってレンタル物等を視認したと判定し、接触度合いを手に取った旨として認識することとなる。

これによって、制御部１１０は、撮像手段２０１によって撮像された結果（識別体領域、所定色領域）に基づいて、識別体に対する観察者の接触度合いを検出することとなる。このような処理を実行することによって、制御部１１０は、付加情報入力手段２０４、接触度合い検出手段２０５として機能する。

そして、制御部１１０は、ステップＳ３３において検出された接触度合いが更新されたか否かを判定する（ステップＳ３４）。

この処理において、制御部１１０は、接触度合いが更新されたと判定した場合には（ステップＳ３４：ＹＥＳ）、その接触度合いを付加情報としてフラッシュメモリ１０２に記憶する付加情報記憶処理を実行し（ステップＳ３５）、ステップＳ３６に処理を移す。

具体的な一例としては、制御部１１０は、識別体に対応する接触度合いが手に取ったと新たに検出された場合には、その接触度合いを付加情報として記憶することとなる。

これによって、制御部１１０は、撮像手段２０１によって撮像された結果、言い換えると、識別体に対する観察者の接触度合いを、識別体に対応する付加情報として入力し、識別体に対応させて記憶することとなる。また、制御部１１０は、付加情報を、識別体以外に、ユーザＩＤ、装置ＩＤに対応して記憶することとなる。このような処理を実行することによって、制御部１１０は、付加情報入力手段２０４、付加情報記憶手段２０６として機能する。

一方、この処理において、制御部１１０は、接触度合いが更新されていないと判定した場合には（ステップＳ３４：ＮＯ）、ステップＳ３５を実行することなく、ステップＳ３６に処理を移す。

ＨＭＤ１では、ステップＳ３６において、制御部１１０は、識別体の付加情報の更新があったか否かを判定する。この処理において、制御部１１０は、識別体に対応して新たに付加情報が記憶された場合に、識別体の付加情報の更新があったか否かを判定することとなる。

制御部１１０は、識別体の付加情報の更新があったと判定した場合には（ステップＳ３６：ＹＥＳ）、その更新された付加情報を、ネットワーク網３０２を介して管理サーバ３００に送信する付加情報送信処理を実行する（ステップＳ３７）。この処理において、制御部１１０は、付加情報として、その付加情報の種別、内容、ユーザＩＤ、装置ＩＤ、更新日時等を管理サーバ３００に送信することとなる。

これによって、通信制御回路９は、新たに付加情報が識別体に対応させて記憶された場合には、それら新たな付加情報を識別体と対応させて管理サーバ３００に送信する。このような処理を実行することによって、通信制御回路９は、送信手段２１０として機能する。この処理が終了した場合には、本サブルーチンを終了する。

一方、制御部１１０は、識別体の付加情報の更新がなかったと判定した場合には（ステップＳ３６：ＮＯ）、ステップＳ３７を実行することなく、本サブルーチンを終了する。

また、管理サーバ３００では、ステップＳ１１１において、制御部３２０は、ＨＭＤ１から付加情報を受信する付加情報受信処理を実行し、その付加情報を記憶する付加情報記憶処理を実行する（ステップＳ１１２）。この処理において、制御部３２０は、付加情報として、その付加情報の種別、内容、ユーザＩＤ、装置ＩＤ、更新日時等をＨＭＤ１から受信し、付加情報対応テーブルとして記憶することとなる。

これによって、制御部３２０は、ＨＭＤ１から、そのＨＭＤ１における付加情報入力手段２０４によって入力された識別体に対応する付加情報を受信し、受信された付加情報を識別体に対応させて記憶することとなる。このような処理を実行することによって、通信制御回路３２５は、付加情報受信手段３３４として機能し、制御部３２０は、第二の付加情報記憶手段３３２として機能する。

また、制御部３２０は、ユーザ、ＨＭＤ１毎に通信履歴を記憶する通信履歴記憶処理を実行する（ステップＳ１１３）。このような処理を実行することによって、制御部３２０は、通信履歴記憶手段３３３として機能する。これによって、管理サーバ３００において、観察者、ＨＭＤ１毎の通信履歴が認識可能となり、情報閲覧システムの利用状況を認識可能となる。

このように、観察者の視野範囲のうち少なくとも一部を撮像し、撮像領域内における識別体を検出する。また、識別体に対応する付加情報を入力し、その入力された付加情報を識別体に対応させて記憶する。また、検出された識別体に対応し、記憶された付加情報を、表示手段を透過して観察者に視認される当該識別体と関連させて表示手段により表示させる制御を行う。従って、識別体に対応した付加情報を付加可能とし、表示させることによって、識別体に対応する付加情報に関して利便性の向上を図ることができる。具体的には、識別体に対して観察者自身がメモを残せたりする。

また、ネットワークを介して通信可能な外部装置から識別体に対応する付加情報を受信した場合には、その受信された識別体に対応する付加情報を入力し、識別体に対応させて記憶する。また、新たに付加情報が識別体に対応させて記憶された場合には、それら新たな付加情報を識別体と対応させて外部装置に送信する。また、管理サーバは、ヘッドマウントディスプレイから、そのヘッドマウントディスプレイにおける前記付加情報入力手段によって入力された識別体に対応する付加情報を受信し、その付加情報を前記識別体に対応させて記憶する。また、管理サーバは、記憶されている識別体に対応する付加情報をヘッドマウントディスプレイに送信する。従って、複数のヘッドマウントディスプレイによって入力された付加情報がそれぞれの装置で共有することができ、簡便である。

また、撮像された結果に応じた付加情報を撮像された識別体に対応する付加情報として入力し、その付加情報を識別体に対応させて記憶する。従って、撮像された結果に基づく付加情報を記憶可能であり、簡便である。特に、撮像された結果に基づいて、識別体に対する観察者の接触度合いを検出し、検出された識別体に対する観察者の接触度合いを、識別体に対応する付加情報として入力し、記憶する。従って、観察者の接触度合いを付加情報とすることができ、観察者の接触度合いに基づく制御が可能となる。具体的には、識別体に対応する物を手に取ったか否かが付加情報によって認識可能となるため、既に手に取っているような物に関しては、興味がある可能性が高いと認識可能である。尚、上述した実施形態においては、撮像領域内において識別体として撮像された識別体領域、撮像領域内において所定色の画素として撮像された所定色領域に基づいて、識別体に対する観察者の接触度合いを検出することとなる。

また、識別体に対応付けられた対応情報を所定の表示態様で、表示手段を透過して観察者に視認される識別体と関連させて表示させる。また、表示された識別体に対応付けられた対応情報の表示態様を、表示された識別体に対応する付加情報として入力し、その識別体に対応付けられた対応情報の表示態様を、識別体に対応して記憶する。従って、対応情報の表示態様を付加情報とすることができ、表示態様に基づく制御が可能となる。例えば、以前にタイトルを表示したと付加情報として記憶されていれば、次に、静止画像を表示し、更に、その静止画像を表示したことを付加情報として記憶すれば、次に、動画像を表示するといった制御が可能である。

また、観察者によって操作可能な操作手段の操作に応じて識別体に対応する付加情報を入力し、その付加情報を識別体に対応させて記憶する。従って、観察者の意思によって付加情報が入力可能となり、入力した観察者だけではなく、他の観察者も簡便である。

また、入力された付加情報を、その付加情報を入力した観察者を識別可能な観察者識別情報や、その付加情報を入力したヘッドマウントディスプレイを識別可能な装置識別情報に対応させて記憶する。従って、観察者識別情報や装置識別情報に基づく付加情報が記憶可能であり、簡便である。具体的には、付加情報を表示する場合に、その付加情報を入力した観察者が認識可能であり、簡便である。

［その他の実施形態］
なお、上述した実施形態においては、識別体に対応するコメント、識別体の表示態様、識別体に対応する操作入力、識別体に対応する観察者の接触度合いなどを全て付加情報としたが、これに限らず、例えば、これらのいずれかであればよい。

また、上述した実施形態においては、操作スイッチ７の操作に応じて付加情報を表示させたが、これに限らず、例えば、操作スイッチ７の操作に拘わらず、必ず、付加情報を表示させてもよい。また、例えば、所定時間、識別体が表示されていることを条件に、付加情報を表示させてもよい。

また、上述した実施形態においては、ＨＭＤ１自体に設置された操作スイッチ７の操作に応じて、各種の操作指示を行うようにしたが、これに限らず、例えば、操作手段としてレーザマーカを用いて、レーザが照射されたか否かによって各種の設定や決定を行うようにしてもよい。

また、上述した実施形態においては、コンテンツ情報や付加情報の表示位置を識別体周囲の近傍としたが、これに限らず、例えば、関連付けられていれば、その識別体周囲でなくてもよい。

また、上述した実施形態においては、ＨＭＤ１によって各種の付加情報が入力され、管理サーバ３００に供給されたが、これに限らず、例えば、付加情報は、上述したパーソナルコンピュータ３１０や携帯型端末装置３１２の入力によって管理サーバ３００に供給され、その管理サーバ３００からＨＭＤ１に供給されることがあってもよい。

また、上述した実施形態においては、ＨＭＤ１、管理サーバ３００、パーソナルコンピュータ３１０、携帯型端末装置３１２がネットワーク網３０２で通信可能に接続されていたが、これに限らず、パーソナルコンピュータ３１０、携帯型端末装置３１２などが接続されていなくてもよい。もちろん、例えば、管理サーバ３００がない構成や、ＨＭＤ１が通信しない構成であっても問題ない。

本発明の一実施形態に係る情報閲覧システムを示す説明図である。 本発明の一実施形態に係るＨＭＤシステムを示す説明図である。 本発明の一実施形態に係るＨＭＤの電気的及び光学的構成を示す説明図である。 本発明の一実施形態に係るＨＭＤの機能構成を示す説明図である。 本発明の一実施形態に係るサーバの電気的構成を示す説明図である。 コンテンツ対応テーブルの一例を示す説明図である。 付加情報対応テーブルの一例を示す説明図である。 本発明の一実施形態に係るサーバの機能構成を示す説明図である。 本発明の一実施形態に係るＨＭＤの表示内容等を示す説明図である。 ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 ＨＭＤ及びサーバにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 ＨＭＤ及びサーバにおいて制御を行う際に実行する処理の一例を示すフローチャートである。

符号の説明

１ ＨＭＤ
２ ＣＣＤセンサ
１１０ 制御部
３００ サーバ
３２０ 制御部
Ｓ１ 情報閲覧システム

Claims (13)

1. 外光を透過しつつ、表示情報に応じた画像光を観察者の眼に投射して当該観察者に前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、
   前記観察者の視野範囲のうち少なくとも一部を撮像する撮像手段と、
   前記撮像手段による撮像領域内における識別体を検出する識別体検出手段と、
   識別体に対応する付加情報を入力する付加情報入力手段と、
   前記付加情報入力手段によって入力された付加情報を前記識別体に対応させて記憶する付加情報記憶手段と、
   前記識別体検出手段によって検出された識別体に対応し、前記付加情報記憶手段に記憶された付加情報を、前記表示手段を透過して前記観察者に視認される当該識別体と関連させて前記表示手段により表示させる制御を行う表示制御手段と、を備えたことを特徴とするヘッドマウントディスプレイ。
2. ネットワークを介して通信可能な外部装置から識別体に対応する付加情報を受信する受信手段を備え、
   前記付加情報入力手段は、前記受信手段によって受信された識別体に対応する付加情報を入力し、
   前記付加情報記憶手段は、前記受信手段によって受信された付加情報を前記識別体に対応させて記憶することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記付加情報記憶手段によって新たに付加情報が識別体に対応させて記憶された場合には、当該新たな付加情報を当該識別体と対応させて前記外部装置に送信する送信手段を備えたことを特徴とする請求項２に記載のヘッドマウントディスプレイ。
4. 前記付加情報入力手段は、前記撮像手段によって撮像された結果に応じた付加情報を前記撮像手段によって撮像された識別体に対応する付加情報として入力し、
   前記付加情報記憶手段は、前記撮像手段によって撮像された結果に応じた付加情報を前記識別体に対応させて記憶することを特徴とする請求項１から３のいずれかに記載のヘッドマウントディスプレイ。
5. 前記撮像手段によって撮像された結果に基づいて、前記識別体に対する観察者の接触度合いを検出する接触度合い検出手段を備え、
   前記付加情報入力手段は、前記接触度合い検出手段によって検出された前記識別体に対する観察者の接触度合いを、前記撮像手段によって撮像された識別体に対応する付加情報として入力し、
   前記付加情報記憶手段は、前記接触度合い検出手段によって検出された観察者の接触度合いを前記識別体に対応させて記憶することを特徴とする請求項４に記載のヘッドマウントディスプレイ。
6. 前記接触度合い検出手段は、前記撮像手段によって撮像領域内において識別体として撮像された識別体領域、前記撮像手段によって撮像領域内において所定色の画素として撮像された所定色領域に基づいて、前記識別体に対する観察者の接触度合いを検出することを特徴とする請求項５に記載のヘッドマウントディスプレイ。
7. 前記識別体の各々に対応する対応情報を記憶する対応情報記憶手段を備え、
   前記表示制御手段は、前記識別体に対応付けられた対応情報を所定の表示態様で、前記表示手段を透過して前記観察者に視認される識別体と関連させて前記表示手段により表示させる制御を行い、
   前記付加情報入力手段は、前記表示制御手段によって表示された前記識別体に対応付けられた対応情報の表示態様を、前記表示制御手段によって表示された識別体に対応する付加情報として入力し、
   前記付加情報記憶手段は、前記表示制御手段によって表示された前記識別体に対応付けられた対応情報の表示態様を、当該識別体に対応して記憶することを特徴とする請求項１から６のいずれかに記載のヘッドマウントディスプレイ。
8. 観察者によって操作可能な操作手段を有し、
   前記付加情報入力手段は、前記操作手段の操作に応じて識別体に対応する付加情報を入力し、
   前記付加情報記憶手段は、前記操作手段の操作に応じた付加情報を前記識別体に対応させて記憶することを特徴とする請求項１から７のいずれかに記載のヘッドマウントディスプレイ。
9. 前記付加情報記憶手段は、前記付加情報入力手段によって入力された付加情報を、当該付加情報を入力した観察者を識別可能な観察者識別情報に対応させて記憶することを特徴とする請求項１から８のいずれかに記載のヘッドマウントディスプレイ。
10. 前記付加情報記憶手段は、前記付加情報入力手段によって付加情報を、当該付加情報を入力したヘッドマウントディスプレイを識別可能な装置識別情報に対応させて記憶することを特徴とする請求項１から９のいずれかに記載のヘッドマウントディスプレイ。
11. 外光を透過しつつ、表示情報に応じた画像光を観察者の眼に投射して当該観察者に前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイと、当該ヘッドマウントディスプレイとネットワークを介して通信可能とする管理サーバと、を備えた情報閲覧システムにおいて、
    前記ヘッドマウントディスプレイは、
    前記観察者の視野範囲のうち少なくとも一部を撮像する撮像手段と、
    前記撮像手段による撮像領域内における識別体を検出する識別体検出手段と、
    識別体に対応する付加情報を入力する付加情報入力手段と、
    前記付加情報入力手段によって入力された付加情報を前記識別体に対応させて記憶する付加情報記憶手段と、
    前記付加情報記憶手段に対応する付加情報を、前記表示手段を透過して前記観察者に視認される当該識別体と関連させて前記表示手段により表示させる制御を行う表示制御手段と、を有することを特徴とする情報閲覧システム。
12. 前記管理サーバは、
    前記ヘッドマウントディスプレイから、当該ヘッドマウントディスプレイにおける前記付加情報入力手段によって入力された識別体に対応する付加情報を受信する付加情報受信手段と、
    前記付加情報受信手段によって受信された付加情報を前記識別体に対応させて記憶する第二の付加情報記憶手段と、
    前記第二の付加情報記憶手段に記憶されている識別体に対応する付加情報をヘッドマウントディスプレイに送信する付加情報送信手段と、を有することを特徴とする請求項１１に記載の情報閲覧システム。
13. 前記管理サーバは、前記ヘッドマウントディスプレイとの通信履歴を記憶する通信履歴記憶手段を有することを特徴とする請求項１１又は１２に記載の情報閲覧システム。

Images