JP2004054890A

JP2004054890A - 画像表示装置および方法、送信装置および方法、画像表示システム、記録媒体、並びにプログラム

Info

Publication number: JP2004054890A
Application number: JP2003104100A
Authority: JP
Inventors: Hidenori Koyaizu; 小柳津　秀紀
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-05-29
Filing date: 2003-04-08
Publication date: 2004-02-19

Abstract

【課題】あたかも現実空間の物体の表面で画像が表示されているかのように、外部画像を合成して表示する。
【解決手段】光ビーコン２−１乃至２−４が長方形の頂点となるように壁面５には位置されている場合、撮像領域３上の光ビーコン２−１乃至２−４で構成される外部画像表示領域４の形状に合わせて、外部画像を変形した後、外部画像表示領域４に外部画像を合成して表示するようにしたので、画像表示部の動きに合わせて、撮像領域３の動きに合わせて、合成画像表示領域４の表示位置を変化させるようにした。本発明は、外部画像を撮像した画像に合成して表示させる装置に適用させることができる。
【選択図】　　　図１７

Description

【０００１】
【発明の属する技術分野】
本発明は、画像表示装置および方法、送信装置および方法、画像表示システム、記録媒体、並びにプログラムに関し、特に、画像を、あたかも現実空間上の物体に表示しているかのように見せることを可能にした画像表示装置および方法、送信装置および方法、画像表示システム、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
テレビジョン放送で表示される画像を、高い臨場感と迫力で楽しむために、近年、大画面のテレビジョン受像機やプロジェクタ装置が使われるようになってきている。
【０００３】
しかしながら、これらの製品は高価であるのみならず、装置自体が大きく、広い設置場所が必要となるため、広い空間を確保するのが困難なユーザへの普及率はあまり高くない。このため、狭い空間でもテレビジョン放送で表示される画像を、高い臨場感と迫力で楽しめるテレビジョン受像機に対する要望が高まりつつある。
【０００４】
そのような要望に対応すべく、映像をＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）上に表示させることにより、あたかも眼前に大きなディスプレイが広がっているかのように見せる装置が提案されている。ＨＭＤとは、メガネ型のディスプレイであり、ユーザは、このメガネ型のディスプレイを、メガネをかけるようにして見ることにより、あたかも大きなディスプレイに表示されているような臨場感や迫力を得ることができる。さらに、ＨＭＤは、メガネ型のディスプレイであるため、ユーザは自由な姿勢で表示された画像を楽しむことができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述したようなＨＭＤでは、所定の画像が表示されるのみであり、ＨＭＤ自体の動きに対応した画像を表示させることができないので、例えば、ユーザの頭が動いても、そこに表示された画像は頭の動きと無関係に表示されてしまう（頭が動いても表示が変化しない）。また、左右の目に同じ画像が表示されるため、視差による距離感を感じることができない。結果として、ＨＭＤでは、大画面のディスプレイで見ているというより、単にメガネレンズサイズの小さなディスプレイが、目の前にあるような感じしか得られず、臨場感や迫力に欠けるように感じられてしまうという課題があった。
【０００６】
また、目の前をディスプレイ部が塞いでしまうため、ＨＭＤをかけている間（ＨＭＤに表示された画像を見ている間）、ユーザは、外界から遮断され、閉塞感を感じてしまうという課題があった。また、ディスプレイの一部をシースルーにして、外界が見えるようにしたシステムも提案されているが、ディスプレイの中央部に画像が表示されているため、外界が見える部分は実際にはほとんど存在しないため、大きな改善にはいたっていない。
【０００７】
さらに、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）と呼ばれる技術が提案されている。これは、ユーザの視点に合わせたカメラから撮像した画像に、他の画像を向きや位置を合わせて合成すると言うものである。これを利用すれば、実空間上の画像として巨大なスクリーンを撮像して、撮像されたスクリーン部分に表示したい画像を合成することであたかも巨大なスクリーンに表示されているような画像を表現することができる。
【０００８】
しかしながら、この方法においては、ユーザの視点に合わせたカメラで撮像する画像内に、予め３次元空間の位置が既知となる３点以上のマーカを配置して撮像する必要があるため、事前に、この既知のマーカの位置を測定するといったキャリブレーションが必要であった。このため、ＡＲ技術は、実際に家庭などで使用することができないという課題があった。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、現実空間上の部分に、あたかも画像が表示されているかのようにすることで、表示される画像に臨場感を与えるようにするものである。
【００１０】
【課題を解決するための手段】
本発明の画像表示装置は、所定の点滅パターンで発光し、データを送信する送信装置を撮像する撮像手段と、撮像手段により撮像された送信装置の撮像位置を検出する検出手段と、第１の画像を入力する入力手段と、検出手段により検出された送信装置の撮像位置に基づいて、第１の画像を変形する変形手段と、変形手段により変形された第１の画像を、送信装置の撮像位置に対応した表示位置に表示する表示手段とを備えることを特徴とする。
【００１１】
前記送信装置により発せられる所定の点滅パターンに含まれるデータを解析する解析手段をさらに設けるようにさせることができる。
【００１２】
前記データには、リンクデータ、コンテンツデータ、または、送信装置が属するグループを示すグループデータを含ませるようにすることができる。
【００１３】
前記リンクデータには、第１の画像の情報が存在するネットワーク上のリンク先を含ませるようにすることができる。
【００１４】
リンクデータに含まれるリンク先にアクセスし、第１の画像を取得する取得手段をさらに設けるようにさせることができる。
【００１５】
前記コンテンツデータには、第１の画像の情報を含ませるようにすることができる。
【００１６】
前記入力手段には、コンテンツデータに含まれる第１の画像を入力させるようにすることができる。
【００１７】
前記変形手段には、同一のグループデータを含む４個の送信装置の撮像位置に基づいて、第１の画像を変形させ、第１の画像が４角形である場合、表示手段は、変形手段により変形された第１の画像を、その４隅が４個の送信装置の撮像位置に対応した表示位置となるように表示させるようにすることができる。
【００１８】
前記所定の点滅パターンで発光し、データを送信する送信装置に加えて、さらに、第２の画像を撮像させるようにすることができる。
【００１９】
前記第２の画像と、変形手段により変形された第１の画像を合成し、合成画像を生成する合成画像生成手段とをさらに設けるようにさせることができ、表示手段には、合成画像に合成されている第１の画像が、送信装置の撮像位置に対応した表示位置に表示されるように、合成画像を表示させるようにすることができる。
【００２０】
前記表示手段には、透過性のスクリーンと、スクリーン上の送信装置の撮像位置に対応した表示位置に遮光領域を生成する遮光領域生成手段とをさらに設けるようにさせることができ、変形手段により変形された前記第１の画像を、前記遮光領域に表示させるようにすることができる。
【００２１】
前記撮像手段、前記入力手段、前記変形手段、および、前記表示手段は、それぞれ人間の両目用に一対とするようにすることができる。
【００２２】
前記撮像手段のリフレッシュレートは、表示手段のリフレッシュレートよりも高くすることができる。
【００２３】
前記変形手段には、送信装置の撮像位置に基づいて、射影変換により第１の画像を変形させるようにすることができる。
【００２４】
本発明の画像表示方法は、所定の点滅パターンで発光し、データを送信する送信装置を撮像する撮像ステップと、撮像ステップの処理で撮像された送信装置の撮像位置を検出する検出ステップと、第１の画像を入力する入力ステップと、検出ステップの処理で検出された送信装置の撮像位置に基づいて、第１の画像を変形する変形ステップと、変形ステップの処理で変形された第１の画像を、送信装置の撮像位置に対応した表示位置に表示する表示ステップとを含むことを特徴とする。
【００２５】
本発明の第１の記録媒体のプログラムは、所定の点滅パターンで発光し、データを送信する送信装置の撮像を制御する撮像制御ステップと、撮像制御ステップの処理で撮像が制御された送信装置の撮像位置の検出を制御する検出制御ステップと、第１の画像の入力を制御する入力制御ステップと、検出制御ステップの処理で検出が制御された送信装置の撮像位置に基づいて、第１の画像の変形を制御する変形制御ステップと、変形制御ステップの処理で変形が制御された第１の画像の、送信装置の撮像位置に対応した表示位置への表示を制御する表示制御ステップとを含むことを特徴とする。
【００２６】
本発明の第１のプログラムは、所定の点滅パターンで発光し、データを送信する送信装置の撮像を制御する撮像制御ステップと、撮像制御ステップの処理で撮像が制御された送信装置の撮像位置の検出を制御する検出制御ステップと、第１の画像の入力を制御する入力制御ステップと、検出制御ステップの処理で検出が制御された送信装置の撮像位置に基づいて、第１の画像の変形を制御する変形制御ステップと、変形制御ステップの処理で変形が制御された第１の画像の、送信装置の撮像位置に対応した表示位置への表示を制御する表示制御ステップとをコンピュータに実行させることを特徴とする。
【００２７】
本発明の送信装置は、データに対応して所定の点滅パターンを発生するパターン発生手段と、パターン発生手段により発生された所定の点滅パターンで発光する発光手段とを備えることを特徴とする。
【００２８】
前記データには、リンクデータ、コンテンツデータ、または、自らが属するグループを示すグループデータを含ませるようにすることができる。
【００２９】
前記リンクデータには、画像表示装置に表示される画像の情報が存在するネットワーク上のリンク先を含ませるようにすることができる。
【００３０】
前記コンテンツデータには、画像表示装置に表示される画像の情報を含ませるようにすることができる。
【００３１】
本発明の送信方法は、データに対応して所定の点滅パターンを発生するパターン発生ステップと、パターン発生ステップの処理で発生された所定の点滅パターンで発光する発光ステップとを含むことを特徴とする。
【００３２】
本発明の第２の記録媒体のプログラムは、データに対応して所定の点滅パターンの発生を制御するパターン発生制御ステップと、パターン発生制御ステップの処理で発生された所定の点滅パターンでの発光を制御する発光制御ステップとを含むことを特徴とする。
【００３３】
本発明の第２のプログラムは、データに対応して所定の点滅パターンの発生を制御するパターン発生制御ステップと、パターン発生制御ステップの処理で発生された所定の点滅パターンでの発光を制御する発光制御ステップとをコンピュータに実行させることを特徴とする。
【００３４】
本発明の画像表示システムは、画像表示装置が、所定の点滅パターンで発光し、データを送信する送信装置を撮像する撮像手段と、撮像手段により撮像された送信装置の撮像位置を検出する検出手段と、画像を入力する入力手段と、検出手段により検出された送信装置の撮像位置に基づいて、画像を変形する変形手段と、変形手段により変形された画像を、送信装置の撮像位置に対応した表示位置に表示する表示手段とを備え、送信装置が、データに対応して所定の点滅パターンを発生するパターン発生手段と、パターン発生手段により発生された所定の点滅パターンで発光する発光手段とを備えることを特徴とする。
【００３５】
本発明の画像表示装置および方法、並びにプログラムにおいては、所定の点滅パターンで発光し、データを送信する送信装置が撮像され、撮像された送信装置の撮像位置が検出され、第１の画像が入力され、検出された送信装置の撮像位置に基づいて、第１の画像が変形され、変形された第１の画像が、送信装置の撮像位置に対応した表示位置に表示される。
【００３６】
本発明の送信装置および方法、並びにプログラムにおいては、データに対応して所定の点滅パターンが発生され、発生された所定の点滅パターンで発光される。
【００３７】
本発明の画像表示システムにおいては、画像表示装置により、所定の点滅パターンで発光し、データを送信する送信装置が撮像され、撮像された送信装置の撮像位置が検出され、画像が入力され、検出された送信装置の撮像位置に基づいて、画像が変形され、変形された画像が、送信装置の撮像位置に対応した表示位置に表示され、送信装置により、データに対応して所定の点滅パターンが発生され、発生された所定の点滅パターンで発光される。
【００３８】
【発明の実施の形態】
図１は、本発明に係る画像合成表示システムの一実施の形態の構成を示すブロック図である。
【００３９】
画像合成表示システムは、画像合成表示装置１と光ビーコン２−１乃至２−４から構成される。
【００４０】
画像合成表示システムの画像合成表示装置１は、光ビーコン２−１乃至２−４を含む撮像領域（実際に表示される画像となる領域）３を撮像した場合、撮像した撮像領域３上の、光ビーコン２−１乃至２−４で囲まれる外部画像表示領域４を認識し、その外部画像表示領域４に適合するように外部画像を変形した後、合成して画像表示部１５に表示するものである。すなわち、画像合成表示装置１は、現実空間内で光ビーコン２−１乃至２−４で囲まれる外部画像表示領域４を、あたかも現実空間に配置されたスクリーンのようにして、外部画像を合成して表示するものである。
【００４１】
光ビーコン２−１乃至２−４は、所定の発光パターンで光を発することによりデータを送信する。このデータは、ＩＤデータと呼ばれるものであり、光ビーコン２−１乃至２−４をそれぞれ識別するものであるが、転送可能なデータ量に余裕があるため、その他のデータを含めて送信することも可能である。例えば、ＩＤデータに含められるデータとしては、コンテンツデータ（画像データ、音声データ、または、テキストデータなど）、リンク先データ（ＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）、アドレス、ホストネームなどのデータ）、および、自らが所属するグループを識別するグループ識別データなどがあるが、これらに限るものではなく、電子データとして管理できるデータであれば含めて送信することが可能である。このように、光ビーコン２−１乃至２−４は、その発光パターンを変化させることによりＩＤデータのみならず、様々なデータを送信することができる。
【００４２】
ここで、自らが所属するグループを識別するグループ識別データについて説明する。例えば、図１においては、外部画像表示領域４が１個であるが、これが、複数に存在する場合、個々の外部画像表示領域４を構成する複数の光ビーコン２の群はグループと称され、これらのグループを識別するデータがグループ識別データとなる。したがって、今の場合、光ビーコン２−１乃至２−４は、同一のグループに属しているので、同一のグループ識別データを発する。尚、複数の外部画像を表示させる例については後述する。ここでは、光ビーコン２−１乃至２−４は、壁面５上に長方形の頂点を形成するように配置されているものとする。
【００４３】
尚、以下において、光ビーコン２−１乃至２−４を特に区別する必要が無い場合、単に光ビーコン２と称するものとする。また、これ以外の構成についても同様とする。また、ＩＤ認識カメラ１、および、光ビーコン２については、図２乃至図１０を参照して後述する。
【００４４】
次に、画像合成表示装置１の構成について説明する。ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）認識カメラ１１は、上述の撮像領域３を撮像した画像データを画像合成部１４に出力すると共に、撮像された光ビーコン２から発せられている発光パターンからＩＤデータと位置データを生成し、ＩＤデータを表示位置取得部１２、および、リンク先データ解析部１６に、撮像位置データをＩＤ画像変換部２０にそれぞれ出力する。
【００４５】
表示位置取得部１２は、光ビーコン２−１乃至２−４のそれぞれが撮像領域３のうちのどの位置であるかを示す位置データを取得し、外部画像表示領域４の表示位置情報として画像変形部１３に出力する。
【００４６】
リンク先データ解析部１６は、光ビーコン２の発光パターンにより送信されてくるデータのうち、ＩＤデータを解析して、リンク先データが含まれているとき、リンク先データを抽出して、リンク先画像取得部１７に出力する。
【００４７】
リンク先画像取得部１７は、例えば、モデムなどから構成されており、リンク先データ解析部１６より入力されたリンク先データに基づいて、インターネットなどの図示せぬネットワークを介してリンク先にアクセスし、そこに記憶されている外部画像を取得すると共に、取得した外部画像を外部画像入力部１８に出力する。
【００４８】
ＩＤ画像変換部２０は、ＩＤデータにコンテンツデータとして外部画像が含まれている場合、ＩＤデータを外部画像に変換して（ＩＤデータから外部画像を抽出して）、外部画像入力部１８に出力する。記憶部１９は、予め入力された外部画像を記憶しており、外部画像入力部１８に記憶された外部画像を供給する。
【００４９】
外部画像入力部１８は、リンク先より取得された外部画像であるか、ＩＤ画像変換部２０より入力されたＩＤデータに含まれた外部画像であるか、または、記憶部１９に記憶された外部画像のうち、入力部２１がユーザにより操作されて指定された外部画像を読み出し、画像変形部１３に出力する。
【００５０】
画像変形部１３は、メモリ１３ａを適宜使用しながら、表示位置取得部１２より入力された光ビーコン２−１乃至２−４の撮像位置から外部画像表示領域４の形状（撮像画像上の形状）を求め、求められた形状に適合するように、外部画像入力部１８より入力された外部画像を変形し、変形した外部画像を画像合成部１４に出力する。
【００５１】
画像合成部１４は、ＩＤ認識カメラ１１より撮像された撮像画像（撮像領域３の画像）と、変形された外部画像を合成し、すなわち、撮像された撮像領域３のうちの、外部画像表示領域４に変形された外部画像を合成して、画像表示部１５に出力し、表示させる。
【００５２】
ここで、図２を参照して、ＩＤ認識カメラ１１の詳細な構成について説明する。イメージセンサ３１の受光部４１は、撮像される対象となる撮像領域３の光を電気信号に光電変換した後、演算部４２に出力する。また、受光部４１の受光素子５１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ−Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子からなり、従来のＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）素子よりも高速に動作することができる。より詳細には、受光素子５１が、撮像される対象となる撮像領域３の光を光電変換し、増幅器５２に出力する。増幅器５２は、受光素子５１より入力される光電変換された電気信号を増幅して、演算部４２に出力する。
【００５３】
演算部４２の記憶部６１は、受光部４１より入力された増幅されている電気信号を記憶し、適宜比較部６２に出力する。比較部６２は、記憶部６１に記憶された電気信号の値に基づいて、演算処理を行い、演算結果を所定のリファレンス値（＝基準信号レベル）と比較して、比較結果を出力部６３に出力する。出力部６３は、比較結果に基づいてセンサ出力信号を生成してデータ生成部３２に出力する。但し、演算部４２の処理内容は、画像モードとＩＤモードの２つの動作モードにより異なる。尚、この２つの異なる動作モードによる演算内容の詳細については後述する。
【００５４】
データ生成部３２の画像デコード処理部７１は、画像モードの場合、センサ出力信号をデコード処理して撮像画像を生成して、画像合成部１４に出力する。また、ＩＤモードの場合、ＩＤデコード処理部７２は、センサ出力信号をデコード処理してＩＤデータと位置データを生成し、表示位置取得部１２、リンク先データ解析部１６、およびＩＤ画像変換部２０に出力する。
【００５５】
次に、図３を参照して、画像デコード処理部７１の詳細な構成について説明する。画像デコード処理部７１の画素値決定部８１は、センサ出力信号に基づいて画素値を決定し、フレームメモリ８２の対応する画素位置に決定した画素値を記憶させる。フレームメモリ８２は、１フレーム分の画素値を記憶するメモリであり、画素位置毎に画素値を記憶する。
【００５６】
出力部８３は、フレームメモリ８２に１フレーム分の画素値が記憶されたとき、順次画像データとして読出し、出力する。
【００５７】
次に、図４を参照して、ＩＤデコード処理部７２の詳細な構成について説明する。ＩＤデコード部１０１のＩＤデコード回路１１１は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅ　Ａｒｒａｙ）などのデバイスにより構成されており、イメージセンサ３１から入力されるセンサ出力信号より各画素のＩＤデータを復元する。このＩＤデコード回路１１１は、処理能力が十分であれば、マイクロプロセッサやＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）によってソフトウェアで構成するようにしても良い。
【００５８】
フラグレジスタ１１２は、ＩＤデータをデコードするために必要なフラグ類を記憶するためのレジスタであり、データレジスタ１１３は、デコード途中またはデコードを完了したＩＤを記憶しておくためのレジスタである。
【００５９】
尚、図４においては、ＩＤデコード部１０１は、１個のみが示されているが、処理速度の要求により、例えば、各画素毎に設けるようにしてもよいし、垂直方向、または、水平方向のライン毎に設けるようにしても良い。
【００６０】
タイミング制御部１０２は、ＩＤデコード処理部７２の全体の動作に必要なタイミングを制御するタイミング制御信号を出力する。より具体的には、タイミング制御部１０２は、ＩＤデコード回路１１１とセンサ出力信号のタイミングの同期をとり、所望のセンサ出力信号に対して、対応するフレームメモリ１０３のフラグデータをフラグレジスタ１１２に、ＩＤデータをデータレジスタ１１３に、それぞれロードして、ＩＤデコード処理を進めるためのタイミング制御信号を生成し、ＩＤデコード部１０１（のＩＤデコード回路１１１、フラグレジスタ１１２、および、データレジスタ１１３）に供給する。また、このとき、タイミング制御部１０２は、フレームメモリ１０３へのアドレス信号、リードライトなどのタイミング制御信号を生成し供給する。さらに、タイミング制御部１０２は、重心計算部１０４のＩＤレジスタ１２１、および、ＩＤ重心計算回路１２２、並びに、ＩＤ座標格納メモリ１０５のタイミング制御を行うタイミング制御信号を生成して供給する。
【００６１】
フレームメモリ１０３は、受光素子５１、または演算部４２毎に演算されたセンサ出力信号がデコードされたＩＤデータとフラグデータを格納するメモリであり、イメージセンサ３１が１画素につき１個の演算部４２をもつ場合には、センサの画像サイズであるＭ画素×Ｎ画素と同じサイズとなり、データ幅はフラグレジスタ１１２とデータレジスタ１１３のビット幅の和で構成される。図４においては、各画素の位置に対応する座標が、Ｉ軸とＪ軸により示されており、それぞれの座標位置にＩＤデータとフラグデータが格納される。
【００６２】
重心計算部１０４は、同一のＩＤデータを持つ撮像画像上の画素の重心位置の座標を求め、ＩＤデータに、光ビーコン２の検出位置としての位置データ（＝光ビーコン２の撮像画像上の位置データ）を付して出力する。より詳細には、重心計算部１０４のＩＤレジスタ１２１は、タイミング制御部１０２より入力される所定のＩＤデータがデコード部１０１よりデコードされたことを示すタイミング制御信号によりフレームメモリ１０３に今記憶されたＩＤデータを読出し、ＩＤ重心計算回路１２２に出力する。ＩＤ重心計算回路１２２は、入力されたＩＤデータ毎に、対応する画素の座標位置のＩ座標とＪ座標、並びにデータの個数を順次加算してＩＤ座標格納メモリ１０５に記憶させる。また、ＩＤ重心計算回路１２２は、フレームメモリ１０３に１フレーム分のデータが格納されたとき、ＩＤ座標格納メモリ１０５よりＩＤ毎にＩ座標の和とＪ座標の和を、データの個数で割ることにより重心位置の座標を求めて、ＩＤデータと共に出力する。
【００６３】
次に、図５，図６を参照して、光ビーコン２の構成について説明する。
【００６４】
図５の光ビーコン２は、送信データ保存用メモリ１５１、点滅制御部１５２、発光部１５３から構成される。送信データ保存メモリ１５１は、予め送信するためのデータを記憶しており、適宜読み出して点滅制御部１５２に出力する。点滅制御部１５２は、発信器とＩＣ，ＡＳＩＣ，ＦＰＧＡ、ワンチップマイコンなどのデジタル回路によって構成されており、送信データ保存用メモリ１５１に記憶されたデータの内容に基づいて、点滅パターンを発生させると共に、発生された点滅パターンで発光部１５３を発光させる。発光部１５３は、高速に点滅することができる光源であれば良く、出力波長もセンサが反応する範囲であれば良い。また、発光部１５３が発する光は、可視光だけではなく、赤外域などでもよく、応答速度や、寿命の点から、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｓｓｉｏｎ　Ｄｉｏｄｅ）は最適な光源の１つであるといえる。
【００６５】
また、図６は、図示せぬネットワークを介して他の装置と通信することによりデータを可変とすることが可能な光ビーコン２のその他の構成を示している。このため、図６においては、送信データ保存用メモリ１５１に替えて、データ送受信部１６１が設けられている。ここでネットワークとは、有線・無線の通信回線、例えば電話回線、ＩＳＤＮ、ＲＳ−２３２Ｃ、ＲＳ−４２２、Ｅｔｈｅｒｎｅｔ（Ｒ）（１０ｂａｓｅ−Ｔ，１００ｂａｓｅ−Ｔ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｅｌｅｃｔｒｉｃａｌ　ａｎｄ　Ｅｌｅｃｔｒｏｎｉｃ　Ｅｎｇｉｎｅｅｒｓ）１３９４、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＢｌｕｅＴｏｏｔｈなどの通信手段により他の装置とデータ通信ができる環境をいう。また、データ送受信部１６１は、この通信手段に対応するデータ通信用ＩＣ及びドライバから構成されており、ネットワークを介して受信した光ビーコン２の送信データを、点滅制御部１５２に出力する。点滅制御部１５２は、送信データに基づいて、点滅パターンを発生し、データに応じた点滅パターンで発光部１５３を発光させる。
【００６６】
次に、ＩＤ認識カメラ１１の動作について説明する。
【００６７】
受光部４１の受光素子５１は、光を光電変換し、変換した電気信号を増幅部５２に出力する。増幅部５２は、電気信号を増幅して演算部４２に出力する。演算部４２の記憶部６１は、受光部４１より入力された電気信号を順次記憶して、４フレーム分の電気信号を記憶し、いっぱいになると、最も古いフレームの電気信号を消去して、最新のフレームの電気信号を記憶する処理を繰り返して、常に最新の４フレーム分の電気信号を記憶しており、その４フレーム分の電気信号を比較部６２に出力する。
【００６８】
比較部６２の動作は、画像モードとＩＤモードにより異なる。この動作モードは、例えば、図７で示すように図示せぬ制御装置により、所定の時間間隔で交互に切り替えるようにしてもよい。また、画像モードとＩＤモードがそれぞれ３０ｆｐｓ（ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ）や６０ｆｐｓといった従来のフレームレートで切り替えられるようにしても良い。さらに、ＩＤモードには、ＩＤデータをデコードするＩＤデコード処理区間と、デコードされたＩＤデータを持つ画素の座標位置としての位置データを求めるＩＤ重心計算区間がある。
【００６９】
尚、図７においては、画像モードとＩＤモードが同時間の場合を示しているが、それぞれの動作モードの時間は、同時間でも良いし、同時間でなくてもよい。また、図７の下段で示すように、各画像モードの後のタイミングでは、画像デコード処理部７１により、センサ出力信号がデコードされて撮像画像の画像データが出力され、ＩＤモードの後のタイミングで、ＩＤデコード処理部７２により、センサ出力信号がデコードされてＩＤデータと位置データが出力される。
【００７０】
まず、画像モードの場合の動作について説明する。
【００７１】
画像モードの場合、イメージセンサ３１の比較部６２は、各画素の受光部４１で検出した輝度を示す信号レベル（記憶部６１に記憶された電気信号）を、基準信号レベルと比較して、図８で示すように、基準信号レベルよりも低くなったときに、図９で示すようにアクティブになるような信号（図９中の１の信号）を出力する。
【００７２】
ここで、図８は、輝度信号レベルを示しており、図９は、センサ出力信号を示している。輝度信号レベルは、実質的に受光素子５１の充電電圧の変化を示している。受光素子５１は、所定のタイミングで充電される電圧と逆極性の所定のリセットレベルの電圧が印加され、その後のタイミングから受光素子により蓄積される電荷量に対応して電圧レベルが低下する。従って、図８においては、時刻０において蓄積される電荷は０であるので、輝度信号レベルは、リセットレベル（所定のレベル）となっている。この状態から時間が経過するに従って、電荷が蓄積されて、輝度信号レベルが低下する。今の場合、図８中のＨで示す直線が、比較的輝度信号レベルの高い（明るい）画素値として、Ｌで示す直線が、比較的輝度信号レベルの低い（暗い）画素値として示されている。
【００７３】
画素値のレベルが高い輝度信号レベルの変化Ｈは、時刻０から時間Ｔ（Ｈ）だけ経過したタイミングである時刻Ｔ（Ｈ）において、基準信号レベルに達する電荷が蓄積されていることが示されている。一方、画素値のレベルが低い輝度信号レベルの変化Ｌは、時刻０から時間Ｔ（Ｌ）だけ経過したタイミングである時刻Ｔ（Ｌ）において、基準信号レベルに達する電荷が蓄積されていることが示されている。
【００７４】
すなわち、図８で示すように、明るい画素ほど基準信号レベルに達する時間が短く（図中Ｔ（Ｈ））、暗い画素ほど基準信号レベルに達する時間（図中Ｔ（Ｌ））が長くなる（Ｔ（Ｈ）＜Ｔ（Ｌ））。比較部６２は、実際の受光部４１より出力される各画素の電気信号（輝度信号）が、前記基準信号レベルに達したかどうかの比較結果（コンパレータ出力）を図９で示すように２値のセンサ出力信号として出力する。このような処理により、イメージセンサ３１は、画像を高速に撮像して基準信号との比較演算を行い、１画面（フレーム）分の結果をセンサ出力信号として出力する。
【００７５】
さらに、画像デコード処理部７１の画素値決定部８１は、この時間Ｔ（Ｈ），Ｔ（Ｌ）を計測するために、このイメージセンサ３１が１画面単位で出力する結果を、フレーム単位でカウントし、各画素で何番目のフレームでセンサ出力信号が図９で示すようにアクティブになるかを示すセンサ出力信号をエンコードして画像データとして出力する。今の場合、センサ出力信号は、時刻Ｔ（Ｈ）が、フレーム数Ｆ（Ｈ）であり、時刻Ｔ（Ｌ）が、フレーム数Ｆ（Ｌ）である。
【００７６】
すなわち、画像モードの場合、画像デコード処理部７１の画素値決定部８１が、このセンサ出力信号を正しい明るさの値に変換するために、この基準信号に到達するまでの時間（フレーム数）の逆数を各画素毎に計算することで、センサ出力信号を画像データにデコードし、フレームメモリ８２に記憶させる。そして、１フレーム分の画像データが蓄積された時、出力部８３は、フレームメモリ８２に記憶された画素値を画像データとして順次読出して出力する。この動作により、ＩＤ認識カメラ１１は、画像モードにおいて画像データを出力することができる（詳細は、４８Ｋｆｒａｍｅｓ／ｓ　ＣＭＯＳ　Ｉｍａｇｅ　Ｓｅｎｓｏｒ　ｆｏｒ　Ｒｅａｌ−ｔｉｍｅ　３−Ｄ　Ｓｅｎｓｉｎｇ　ａｎｄ　Ｍｏｔｉｏｎ　Ｄｅｔｅｃｔｉｏｎ”　ＩＳＳＣＣ　Ｄｉｇｅｓｔ　ｏｆ　Ｔｅｃｈｎｉｃａｌ　Ｐａｐｅｒｓ，　　ｐｐ．９４−９５，　　Ｆｅｂ．２００１、または、特開２００１−３２６８５７を参照されたい）。
【００７７】
一方、動作モードがＩＤモードの場合、比較部６２は、記憶部６１に記憶されている時間的に連続する４フレーム分の電気信号を輝度信号として以下の式（１）のような演算処理を実行する。
Ｖ（Ｎ）＝Ｆ（Ｎ）＋Ｆ（Ｎ−１）−Ｆ（Ｎ−２）−Ｆ（Ｎ−３）・・・（１）
【００７８】
ここで、Ｎはフレーム番号を表し、Ｖ（Ｎ）は、Ｎフレーム目の輝度値が入力された時点での比較値を示し、Ｆ（Ｎ）はＮフレーム目の受光部４１に蓄積された輝度を示す。この演算により、光の変化を検出することができるため、その演算結果をセンサ出力信号としてデータ生成部３２に出力する。データ生成部３２は、このセンサ出力信号を用いて、後述するＩＤデコード処理を行うことで、点滅パターンからなるＩＤデータを復元し、光ビーコン２からのＩＤデータを生成することが可能となる。
【００７９】
尚、比較部６２の演算方法は、式（１）に限るものではなく、他の演算（１次微分や２値化画像の比較など）によって実現するようにしてもよいが、以下の説明においては、光変化の検出の安定性の高い、式（１）を用いて説明するものとする。
【００８０】
ここで、ＩＤデコード処理部７２の動作について説明する。
【００８１】
ＩＤデコード部１０１のＩＤデコード回路１１１は、タイミング制御部１０２からのセンサ出力信号のタイミングの同期を図るためのタイミング制御信号に基づいて、イメージセンサ３１から入力されるセンサ出力信号より各画素のＩＤデータを復元する。この際、ＩＤデコード回路１１１は、タイミング制御信号に応じて、フラグレジスタ１１２を制御して、フレームメモリ１０３にロードされたフラグデータを用いて、センサ出力信号からＩＤデータをデコードし、デコード途中またはデコードを完了したＩＤをデータレジスタ１１３に記憶させる。
【００８２】
さらに、フレームメモリ１０３は、これらのデコード処理がなされたフラグデータとＩＤデータを対応する座標位置に格納する。
【００８３】
重心計算部１０４のＩＤレジスタ１２１は、タイミング制御部１０２より入力される所定のＩＤデータがデコード部１０１よりデコードされたことを示すタイミング制御信号により、フレームメモリ１０３に今記憶されたＩＤデータの情報をＩＤ重心計算回路１２２に読み出させる。
【００８４】
ＩＤ重心計算回路１２２は、読み出したＩＤデータに対応する画素の座標位置のＩ座標とＪ座標を順次加算して、これに画素の個数の情報を付してＩＤ座標格納メモリ１０５に記憶させ、この処理を繰り返す。
【００８５】
そして、フレームメモリ１０３に１フレーム分のデータが格納されたとき、ＩＤ重心計算回路１２２は、ＩＤ座標格納メモリ１０５よりＩＤ毎にＩ座標の和とＪ座標の和を、データの個数で割ることにより重心位置の座標を位置データとして求めて、対応するＩＤデータと共に出力する。
【００８６】
以上の動作により、例えば、図１０で示すように、２個の光ビーコン２−１，２−２が、点滅しながら発光してデータを送信する場合、ＩＤ認識カメラ１１には、図１０上部に示すような現実空間上の光ビーコン２−１，２−２の物理的な位置に応じた、撮像画像上の位置の画素で光の信号を受光する。例えば、光ビーコン２−１から発せられた光が座標位置（１０，１０）の受光素子５１で受光されるものとし、光ビーコン２−２から発せられた光が座標位置（９０，９０）の受光素子５１で受光されるものとする。このとき、各受光部４１の座標位置（１０，１０）と（９０，９０）の受光素子５１では、それぞれが光ビーコン２−１と２−２の点滅パターンにより受光強度（明るさ）の時間的変化として信号を受信することができる。今の場合、座標（１０，１０）の位置データに対応する画素は、ＩＤデータとして「３２１」が、座標（９０，９０）の位置データに対応する画素は、ＩＤデータとして１０５がデコード結果として求められている。
【００８７】
結果として、この受光強度の変化を上述の式（１）などにより２値化することにより１／０のビット列からなるＩＤデータを取得する事ができる。
【００８８】
次に、図１１のフローチャートを参照して、画像合成表示装置１による画像合成表示処理について説明する。
【００８９】
ステップＳ１において、ＩＤ認識カメラ１１は、例えば、図１で示すように、撮像領域３を撮像し、その中に含まれる光ビーコン２−１乃至２−４のＩＤデータとその位置データを取得すると共に、撮像画像の撮像画像データを生成し、ＩＤデータをリンク先データ解析部１６、および、ＩＤ画像変換部２０に、位置データを表示位置取得部１２に、撮像画像データを画像合成部１４にそれぞれ出力する。
【００９０】
ステップＳ２において、表示位置取得部１２は、ＩＤ認識カメラ１１より入力された位置データに基づいて、外部画像の表示位置を取得し、その表示位置の情報を画像変形部１３に出力する。すなわち、光ビーコン２−１乃至２−４が撮像されるとき、その４点からなる４角形の中が、外部画像表示領域４になるが、現実空間内での、ＩＤ認識カメラ１１と光ビーコン２−１乃至２−４のそれぞれの位置関係により、撮像画像中の外部画像表示領域４の形状や、撮像領域３内の位置が変化することになるので、光ビーコン２−１乃至２−４の、撮像画像３内の位置データに基づいて、外部画像表示領域４の４隅の位置（撮像画像３内の光ビーコン２−１乃至２−４の位置）を決定するための、表示位置を取得する。
【００９１】
ステップＳ３において、リンク先データ解析部１６は、ＩＤデータを解析し、解析結果をリンク先画像取得部１７に出力する。ステップＳ４において、リンク先画像取得部１７は、ＩＤデータの解析結果から、ＩＤデータにリンク先データが含まれているとき、そのリンク先データに基づいて、リンク先にアクセスし、外部画像を取得し、取得した外部画像を外部画像入力部１８に出力する。尚、ＩＤデータにリンク先データが付加されていなかったときは、この処理は、スキップされることになる。
【００９２】
ステップＳ５において、ＩＤ画像変換部２０は、ＩＤデータに外部画像データが含まれているとき、その外部画像データを抽出して、外部画像に変換し外部画像入力部１８に出力する。
【００９３】
ステップＳ６において、外部画像入力部１８は、入力部２１が操作されて、リンク先の外部画像が選択されたか否かを判定し、例えば、リンク先の外部画像が選択された場合、その処理は、ステップＳ７に進む。
【００９４】
ステップＳ７において、外部画像入力部１８は、リンク先画像取得部１７より入力された外部画像を画像変形部１３に出力する。
【００９５】
ステップＳ８において、画像変形部１３は、外部画像入力部１８より入力された外部画像を、表示位置取得部１２より入力された表示位置のデータ、すなわち、外部画像表示領域４の４隅の位置データに基づいて、外部画像データの変形処理を実行する。
【００９６】
ここで、図１２のフローチャートを参照して、画像変形処理について説明する。
【００９７】
ステップＳ３１において、画像変形部１３は、入力された外部画像表示領域４の４隅の座標ｒ１、ｒ２、ｒ３、ｒ４をメモリ１３ａに読み出す。すなわち、光ビーコン２−１乃至２−４の撮像画像上の座標位置がメモリ１３ａに読み出される。
【００９８】
ステップＳ３２において、図１３のように、画像変形部１３は、外部画像Ｐ上の４隅の座標をｒ１’＝（ｘｌ’，ｙｌ’），ｒ２’＝（ｘｈ’，ｙｌ’），ｒ３’＝（ｘｌ’，ｙｈ’），ｒ４’＝（ｘｈ’，ｙｈ’）とする。
【００９９】
ステップＳ３３において、画像変形部１３は、外部座標Ｐ上の４隅の座標と、入力された外部画像表示領域４の４隅の座標との関係をｒ’＝Ｈｒと置く。
【０１００】
任意の四角形を構成する４点ｒ１，ｒ２，ｒ３，ｒ４から、それぞれ別の任意の四角形を構成する４点ｒ１’，ｒ２’，ｒ３’，ｒ４’への変換は、射影変換によって表現できることが知られている。
【０１０１】
すなわち、以下の式で表される射影変換行列Ｈを求めることにより、入力された外部画像表示領域４の４隅の座標ｒ１，ｒ２，ｒ３，ｒ４に囲まれた領域の点を、外部画像入力装置９の画像の４隅の座標ｒ１’，ｒ２’，ｒ３’，ｒ４’に変換することができる。
【０１０２】
【数１】

【０１０３】
【数２】

・・・（２）
【０１０４】
【数３】

・・・（３）
【０１０５】
ここで、ｒは射影変換前の斉次座標であり、入力された外部画像表示領域（ｘｐ，ｙｐ）の座標を示す。ｒ’は射影変換後の斉次座標であり、外部画像入力装置８の画像の座標（ｘｐ’，ｙｐ’）を示す。式（２）に、入力された外部画像表示領域の４隅の座標（ｘｐ，ｙｐ）と、それに対応する外部画像入力装置８の画像の座標（ｘｐ’，ｙｐ’）を４点ずつ代入することで、行列Ｈを求めることができる。
【０１０６】
ステップＳ３４において、画像変形部１３は、出力画像データＰ（ｐｘ，ｐｙ）のメモリ１３ａ上の領域を全て初期化する。すなわち、変形された外部画像が格納される領域が全て初期化される。
【０１０７】
ステップＳ３５において、画像変形部１３は、自らに内蔵するカウンタｘｐ，ｙｐを初期化する。
【０１０８】
ステップＳ３６において、画像変形部１３は、入力された外部画像表示領域内の点（ｘｐ，ｙｐ）に対応する点（ｘｐ’，ｙｐ’）を、式（２），（３）によって計算する。
【０１０９】
ステップＳ３７において、ｗ’≠０のときに、計算したｘｐ’，ｙｐ’の値が、外部画像Ｐ上の４隅の点の内側にあれば、すなわちｗ’≠０かつｘｌ’≦ｘｐ’≦ｘｈ’かつｙｌ’≦ｙｐ’≦ｙｈ’を満たすのであれば、ステップＳ３８にあるように、画像変形部１３は、外部画像Ｐ’上の座標（ｘｐ’，ｙｐ’）の画素値を外部画像表示領域４の座標（ｘｐ，ｙｐ）の画素値に置き換えてメモリ１３ａに記憶させる。すなわち、図１３にあるように、外部画像表示領域４上に表示される外部画像の画素値が決定されることになる。
【０１１０】
ステップＳ３９において、画像変形部１３は、カウンタｘｐを１だけインクリメントして、ステップＳ４１において、今現在のカウンタｘｐが外部画像表示領域４のｘ方向の大きさと一致したか否かを判定し、一致していないと判定した場合、その処理は、ステップＳ３６に戻る。また、ステップＳ４０において、今現在のカウンタｘｐが外部画像表示領域４のｘ方向の大きさと一致した場合、その処理は、ステップＳ４１に進む。
【０１１１】
ステップＳ４１において、画像変形部１３は、カウンタｙｐを１だけインクリメントすると共に、カウンタｘｐを初期化し、ステップＳ４２において、今現在のカウンタｙｐが外部画像表示領域４のｙ方向の大きさと一致したか否かを判定し、一致していないと判定した場合、その処理は、ステップＳ３６に戻る。また、ステップＳ４２において、今現在のカウンタｙｐが外部画像表示領域４のｙ方向の大きさと一致した場合、すなわち、ステップＳ３９乃至Ｓ４２の処理により、外部画像表示領域４内の全ての座標について、ステップＳ３６乃至Ｓ３８の処理が実行された場合、ステップＳ４３において、画像変形部１３は、メモリ１３ａに記憶された変形された外部画像を画像合成部１４に出力する。
【０１１２】
ステップＳ３７において、ｗ’≠０かつｘｌ’≦ｘｐ’≦ｘｈ’　かつ　ｙｌ’≦ｙｐ’≦ｙｈ’を満たさないときは、外部画像Ｐ上の４隅の点の内側にはないため、ステップＳ３８の処理はスキップされる。すなわち、外部画像表示領域４内の座標ではないので、画素値の置き換え処理がスキップされる。
【０１１３】
以上の処理は、射影変換であり、この変換により、外部画像の各画素値が、
撮像位置により変形する外部画像表示領域４の画素値に置き換えられることによって、実質的に外部画像が変形されることになる。すなわち、例えば、図１４で示すような外部画像を用いる場合、図１で示すように外部画像表示領域４が形成されるとき、図１４で示す外部画像は、図１５で示すように、図１で示す外部画像表示領域４の形状に変形される。
【０１１４】
ここで、図１１のフローチャートの説明に戻る。
【０１１５】
ステップＳ９において、画像合成部１４は、変形された外部画像と撮像画像を合成して、合成画像を生成し、画像表示部１５に出力する。ステップＳ１０において、画像表示部１５は、画像合成部１４より入力された合成画像を表示し、その処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。
【０１１６】
ステップＳ６において、リンク先の画像が選択されなかったと判定された場合、ステップＳ１１において、外部画像入力部１８は、入力部２１が操作されて、ＩＤデータに含まれた外部画像データから生成された外部画像が選択されたか否かを判定し、ＩＤデータに含まれた外部画像が選択された場合、その処理は、ステップＳ１２に進む。
【０１１７】
ステップＳ１２において、外部画像入力部１８は、ＩＤ画像変換部２０より入力されたＩＤデータに含まれた外部画像を読み出して、画像変形部１３に出力し、その処理は、ステップＳ８に進む。
【０１１８】
ステップＳ１１において、ＩＤ画像データが選択されなかった場合、ステップＳ１３において、外部画像入力部１８は、記憶部１９に予め記憶された外部画像を読み出して、画像変形部１３に出力し、その処理は、ステップＳ８に進む。
【０１１９】
以上のような処理により、例えば、図１５で示すように、変形された外部画像は、図１６で示すように合成されて、撮像領域３で示す画像が画像表示部１５に表示されることになる。
【０１２０】
また、この処理が繰り返されるので、ＩＤ認識カメラ１１の向きが変化して、撮像領域３から、例えば、図１６で示すように、撮像領域３ａまたは３ｂで示すように変化しても、外部画像表示領域４は、光ビーコン２−１乃至２−４により構成される長方形で示した範囲の内側となるので、あたかも壁面５に外部画像を表示するスクリーンが存在しているかのような画像を表示することができる。
【０１２１】
さらに、光ビーコン２が撮像される撮像領域３上の位置により、外部画像表示領域４が決定されるので、予め画像合成表示装置１と光ビーコン２の位置関係を設定する、いわゆるキャリブレーションを必要としないので利用が容易となる。
【０１２２】
また、図１７で示すように、画像合成表示装置１をメガネ型に構成することにより、いわゆるＨＭＤを構成してもよい。すなわち、図１７のＨＭＤでは、左右の目の視差に対応する１対の画像合成表示装置１ａ，１ｂと表示部１５ａ，１５ｂ（表示画像は、図中の紙面裏側に表示される）が設けられている。
【０１２３】
このような構成とすることにより、画像合成表示装置１ａ，１ｂは、それぞれ左右の目の視差に対応して光ビーコン２を撮像することになるため、外部画像表示領域４についても、左右の目の視差を表現することが可能となり、表示する外部画像に立体感を持たせることが可能となる。
【０１２４】
さらに、表示部１５ａ，１５ｂをいわゆるシースルー状の構成とすることにより、表示部１５ａ，１５ｂには、それぞれ外部画像表示領域４上を遮光して外部画像を表示させ、それ以外の領域は、ユーザにより目視できるような構成（シースルー：透明、または、半透明な構成）としても良い。このようにすると、撮像画像の表示そのものは、不要となるので画像合成部１４の処理も必要がなく、外部画像のみを外部画像表示領域４に表示させるだけでよい。また、シースルーであるので、ユーザは、ＨＭＤを装着している間も閉塞感を持つことがなく、しかも自由な姿勢で合成画像を楽しむことが可能となる。
【０１２５】
次に、図１８のブロック図を参照して、光ビーコン２より発せられるデータに、上述のパラメータｓ，ｔのデータを付加させて所定の点滅パターンで発光させるようにした画像合成表示装置１のその他の構成例について説明する。尚、図１８において、図１の画像合成表示装置１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１２６】
図１８の画像合成表示装置１は、基本的に図１の画像合成表示装置１と同様であるが、パラメータ取得部１７１が設けられ、画像変形部１３に替えて画像変換部１７２が設けられている点が異なる。パラメータ取得部１７１は、各光ビーコン２より発せられるＩＤデータに含まれるパラメータｓ，ｔを取得して、画像変形部１７２に出力する。画像変形部１７２は、外部画像入力部１８より入力された外部画像を、パラメータ取得部１７１より入力されたパラメータｓ，ｔに基づいて複数の領域に分割し、外部画像を分割した領域毎に変形して、画像合成部１４に出力する。
【０１２７】
例えば、図１９で示すように、壺１８１の曲面に光ビーコン２−１１乃至２−１９が設けられているものとする。ここで、壺１８１の曲面に沿って、光ビーコン２−１１乃至２−１９は、光ビーコン２−１１乃至１３、２−１４乃至１６、２−１７乃至１９、２−１１，１４，１７、２−１２，１５，１８、および、２−１３，１６，１９が、それぞれ等間隔に配置されている（平面であれば格子状に配置されるが、曲面に沿っているので、やや歪な格子状の配置となる）。この場合、外部画像表示領域４は、図１９で示すように、撮像位置から見て光ビーコン２−１１乃至２−１４、および、２−１６乃至２−１９で囲まれる範囲である。
【０１２８】
この状態で、光ビーコン２−１１乃至２−１９が、自らの外部画像上における位置を示すパラメータｓ，ｔのデータを含むように所定の点滅パターンで発光する。例えば、図２０で示すように、パラメータ（ｓ，ｔ）が、光ビーコン２−１１乃至２−１９について、それぞれ（０，０），（０．５，０），（１，０），（０，０．５），（０．５，０．５），（１，０．５），（０，１），（０．５，１），（１，１）であるものとする。
【０１２９】
ここで、図２１で示すような外部画像を、図１９の外部画像表示領域４に表示させるときの画像合成表示処理について、図２２のフローチャートを参照して説明する。尚、ステップＳ６１乃至６７，Ｓ７０、およびＳ７２乃至Ｓ７６の処理は、図１１のステップＳ１乃至Ｓ１３の処理と同様であるので、その説明は省略する。
【０１３０】
ステップＳ６８において、パラメータ取得部１７１は、ＩＤデータよりパラメータｓ，ｔの情報を取得し、取得したパラメータｓ，ｔを画像変形部１７２に出力する。すなわち、今の場合、パラメータ取得部１７１は、光ビーコン２−１１乃至２−１９について、それぞれ（０，０），（０．５，０），（１，０），（０，０．５），（０．５，０．５），（１，０．５），（０，１），（０．５，１），（１，１）のパラメータ（ｓ，ｔ）を取得し、画像変形部１７２に出力する。
【０１３１】
ステップＳ６９において、画像変形部１７２は、パラメータｓ，ｔに基づいて、図２１で示すように、外部画像データを領域１９１−１乃至１９１−４に分割する。すなわち、今の場合、画像変形部１７２は、入力された外部画像を、元の外部画像の縦横それぞれ１／２のサイズの４個の領域１９１−１乃至１９１−４に分割する。
【０１３２】
ステップＳ７０において、画像変形部１７２は、分割した領域１９１−１乃至１９１−４毎に画像を変形し、ステップＳ７１において、画像変形部１７２は、図２３で示すように、全ての領域１９１−１乃至１９１−４を外部画像表示領域４−１乃至４−４で示すようにそれぞれ変形されたか否かを判定し、全ての領域１９１において変形が終了するまで、ステップＳ７０の変形処理を繰り返す。
【０１３３】
この処理により、画像表示部１５は、図２３で示すように、ユーザには、あたかも壺１８１上の曲面に沿って外部画像が表示されているような（外部画像が曲面にフィットしているような）、表示効果を発生させることができる。また、以上の例においては、光ビーコン２が９個の場合について説明してきたが、光ビーコン２の数は、それ以上であってもよく、曲面に光ビーコン２を設置する場合、曲率が高い曲面ほど、より高い密度で光ビーコン２を設けることにより、曲面に対してより滑らかに（より曲面にフィットした）外部画像を合成して表示させることができる。
【０１３４】
また、以上の例においては、１個の外部画像を撮像画像に合成する例について説明してきたが、複数の外部画像を表示させるようにしても良い。
【０１３５】
図２４は、複数の外部画像を表示させるようにした画像合成表示装置１を示している。尚、図２４において、図１の画像合成表示装置１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。図２４の画像合成表示装置１は、基本的な構成において、図１の画像合成表示装置１と同様であるが、グループ認識部２０１が新たに設けられ、外部画像入力部１８に替えて、外部画像入力部２０２が、画像変形部１３に替えて、画像変形部２０３がそれぞれ設けられている点が異なる。
【０１３６】
グループ認識部２０１は、ＩＤデータに含まれる外部画像表示領域４毎に設定された光ビーコン２のグループ識別データを読み出し、グループ識別データを外部画像入力部２０２、および、画像変形部２０３に出力する。より詳細には、グループ認識部２０１は、グループ識別データにより識別されたグループ（外部画像）毎にグループ番号（ナンバー）を付して識別する。
【０１３７】
外部画像入力部２０２は、グループ識別データ毎にリンク先より取得された外部画像であるか、ＩＤ画像変換部２０より入力されたＩＤデータに含まれた外部画像であるか、または、記憶部１９に予め記憶された外部画像のうち、入力部２１がユーザにより操作されて指定された外部画像を読み出し、画像変形部２０３に出力する。
【０１３８】
画像変形部２０３は、外部画像入力部２０２より入力された外部画像データを、グループ識別データに基づいて、グループ毎に外部画像を変形し、画像合成部１４に出力する。
【０１３９】
次に、図２５のフローチャートを参照して、複数の外部画像を合成して表示する画像合成表示処理について説明する。
【０１４０】
ステップＳ９１乃至Ｓ９５，Ｓ９７乃至Ｓ９９，Ｓ１０１乃至１０５の処理は、図１１のフローチャートにおけるステップＳ１乃至Ｓ１３の処理と同様であるので、その説明は省略する。
【０１４１】
ステップＳ９６において、グループ認識部２０１は、ＩＤデータに含まれるグループ識別データを全ての光ビーコン２毎に取得し、外部画像入力部２０２、および、画像変形部２０３に出力する。
【０１４２】
ステップＳ９７乃至Ｓ９９，Ｓ１０３乃至Ｓ１０５の処理の後、画像変形部２０３は、ステップＳ１００において、全てのグループについて外部画像が変形されたか否かを判定し、全ての外部画像が変形されていないと判定した場合、その処理は、ステップＳ９７に戻り、全ての外部画像が変形されたと判定されるまで、ステップＳ９７乃至Ｓ９９，Ｓ１０３乃至Ｓ１０５の処理が繰り返される。ステップＳ１００において、全てのグループについて外部画像が変形された場合、その処理は、ステップＳ１０１に進み、それ以降の処理が繰り返される。
【０１４３】
以上のような処理により、例えば、図２６で示すように、光ビーコン２−３１乃至３４により形成される外部画像表示領域４−１１に外部画像Ａを表示し、光ビーコン２−４１乃至４４により形成される外部画像表示領域４−１２に外部画像Ｂを表示することにより、外部画像Ａ，Ｂの２枚の外部画像を表示できる。この場合、光ビーコン２−３１乃至３４は、外部画像表示領域４−１１を形成する同一のグループであることを、光ビーコン２−４１乃至４４は、外部画像表示領域４−１２を形成する同一のグループであることを、それぞれに示すグループ識別データをＩＤデータに含めて送信する。また、画像合成表示装置１は、このＩＤ信号に含まれるグループ識別データに応じて、グループ毎に外部画像表示領域４を形成し、個々の外部画像を合成して表示する。尚、これ以上の数の外部画像が表示できるようにしても良い。
【０１４４】
以上の処理により、外部画像上の光ビーコン２の各々のパラメータｓ，ｔをＩＤデータとして送信するようにして、現実空間上の曲面で表示しているかのように外部画像が変形されて、表示されるので、現実空間上の曲面上に、あたかも表示されているかのように画像を合成して表示することが可能となる。
【０１４５】
以上、本発明によれば、光ビーコンを現実空間に配置し、その光ビーコンの撮像画像上の配置に合わせて外部画像を変形させて合成することにより、あたかも現実空間上に合成された外部画像が表示されているかのような効果を与えることができる。
【０１４６】
また、光ビーコンが発光することにより送信されるＩＤデータにグループ識別データを含ませることで、複数枚の外部画像を同時に合成して表示させることができる。
【０１４７】
さらに、ＩＤデータ内に表示する外部画像のリンク先データが含まれるようにすることにより、光ビーコン２より送信されてくるデータを変化することで、異なる外部画像を合成して表示することができる。
【０１４８】
また、光ビーコンから送信されるデータに画像データそのものを含ませることにより、外部画像を受信するための他の通信手段を設けることなく、外部画像を合成して表示させることができる。
【０１４９】
さらに、１対の画像合成表示装置１をＨＭＤの人間の左右の目の視差を考慮して設置することにより、合成される外部画像に対する両眼の視差を再現させることができ、臨場感の高い外部画像を合成して表示することができる。
【０１５０】
また、光ビーコンに自らの外部画像中の位置を示すパラメータを含ませておき、複数の光ビーコンを配置することにより、より現実空間の光ビーコンが配置されている曲面に適合した状態で外部画像を合成して表示することができる。
【０１５１】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１５２】
図２７は、画像合成表示装置１を、図２８は、光ビーコン２をそれぞれソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのＣＰＵ２１１，２３１は、パーソナルコンピュータの動作の全体を制御する。また、ＣＰＵ２１１，２３１は、バス２１４，２３４および入出力インタフェース２１５，２３５を介してユーザからキーボードやマウスなどからなる入力部２１６，２３６から指令が入力されると、それに対応してＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２１２，２３２に格納されているプログラムを実行する。あるいはまた、ＣＰＵ２１１，２３１は、ドライブ２２０，２４０に接続された磁気ディスク２２１，２５１、光ディスク２２２，２５２、光磁気ディスク２２３，２５３、または半導体メモリ２２４，２５４から読み出され、記憶部２０８，２３８にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０３，２３３にロードして実行し、出力部２１７，２３７が実行結果を出力する。さらに、ＣＰＵ２１１，２３１は、通信部２１９，２３９を制御して、外部と通信し、データの授受を実行する。
【０１５３】
プログラムが記録されている記録媒体は、図２７，図２８に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２２１，２５１（フレキシブルディスクを含む）、光ディスク２２２，２５２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ−Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）を含む）、光磁気ディスク２２３，２５３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）を含む）、もしくは半導体メモリ２３４，２５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ２１２，２３２や、記憶部２１８，２３８に含まれるハードディスクなどで構成される。
【０１５４】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１５５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１５６】
【発明の効果】
本発明によれば、撮像した画像内で、あたかも現実空間の物体の表面で画像が表示されているかのように、外部画像を合成して表示することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像合成表示システムのブロック図である。
【図２】図１のＩＤ認識カメラのブロック図である。
【図３】図２の画像デコード処理部のブロック図である。
【図４】図２のＩＤデコード処理部のブロック図である。
【図５】図１の光ビーコンのブロック図である。
【図６】図１の光ビーコンのブロック図である。
【図７】ＩＤ認識カメラの動作を説明する図である。
【図８】ＩＤ認識カメラが画像信号を生成する動作を説明する図である。
【図９】ＩＤ認識カメラが画像信号を生成する動作を説明する図である。
【図１０】ＩＤ認識カメラが点滅パターンをデコードする動作を説明する図である。
【図１１】画像合成表示処理を説明するフローチャートである。
【図１２】画像変形処理を説明するフローチャートである。
【図１３】画像変形処理を説明する図である。
【図１４】画像変形処理を説明する図である。
【図１５】画像変形処理を説明する図である。
【図１６】画像合成処理を説明する図である。
【図１７】画像合成表示装置を用いたＨＭＤを説明する図である。
【図１８】画像合成表示装置のその他の構成例を示すブロック図である。
【図１９】光ビーコンが壺の曲面に配置されている例を示す図である。
【図２０】光ビーコンの配置と、外部画像のパラメータの例を示す図である。
【図２１】外部画像を説明する図である。
【図２２】画像合成表示処理を説明するフローチャートである。
【図２３】外部画像を合成して表示した例を示す図である。
【図２４】画像合成表示装置のその他の構成例を示すブロック図である。
【図２５】画像合成表示処理を説明するフローチャートである。
【図２６】複数の外部画像を合成して表示した例を示す図である。
【図２７】媒体を説明する図である。
【図２８】媒体を説明する図である。
【符号の説明】
１，１ａ，１ｂ　画像合成表示装置，　２，２−１乃至２−４，２−１１乃至２−１９，２−３１乃至２−３４，２−４１乃至４４　光ビーコン，　３　撮像領域，　４，４−１乃至４−４　外部画像表示領域，　５　壁面，　１１　ＩＤ認識カメラ，１２　表示位置取得部，　１３　画像変形部，　１４　画像合成部，１５，１５ａ，１５ｂ　画像表示部，　１６　リンク先データ解析部，　１７リンク先画像取得部，　１８　外部画像入力部，　１９　記憶部，　２０　ＩＤ画像変換部，　２１　入力部，　１７１　パラメータ取得部，　１７１　画像変形部，　１８１　壺，　１９１，１９１−１乃至１９１−４　領域，　２０１　グループ認識部，　２０２　外部画像入力部，　２０３　画像変形部

Claims

所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像手段と、
前記撮像手段により撮像された前記複数の送信装置の撮像位置を検出する検出手段と、
第１の画像を入力する入力手段と、
前記検出手段により検出された前記送信装置の撮像位置に基づいて、前記第１の画像を変形する変形手段と、
前記変形手段により変形された前記第１の画像を、前記送信装置の撮像位置に対応した表示位置に表示する表示手段と
を備えることを特徴とする画像表示装置。
前記複数の送信装置により発せられる所定の点滅パターンに含まれる前記データを解析する解析手段をさらに備える
ことを特徴とする請求項１に記載の画像表示装置。
前記データは、リンクデータ、コンテンツデータ、または、前記複数の送信装置が属するグループを示すグループデータを含む
ことを特徴とする請求項２に記載の画像表示装置。
前記リンクデータは、前記第１の画像の情報が存在するネットワーク上のリンク先を含む
ことを特徴とする請求項３に記載の画像表示装置。
前記リンクデータに含まれる前記リンク先にアクセスし、前記第１の画像を取得する取得手段をさらに備える
ことを特徴とする請求項４に記載の画像表示装置。
前記コンテンツデータは、前記第１の画像の情報を含む
ことを特徴とする請求項３に記載の画像表示装置。
前記入力手段は、前記コンテンツデータに含まれる前記第１の画像を入力する
ことを特徴とする請求項６に記載の画像表示装置。
前記変形手段は、同一の前記グループデータを含む４個の送信装置の撮像位置に基づいて、前記第１の画像を変形し、
前記第１の画像が４角形である場合、前記表示手段は、前記変形手段により変形された前記第１の画像を、その４隅が前記４個の送信装置の撮像位置に対応した表示位置となるように表示する
ことを特徴とする請求項３に記載の画像表示装置。
所定の点滅パターンで発光し、データを送信する複数の送信装置に加えて、さらに、第２の画像を撮像する
ことを特徴とする請求項１に記載の画像表示装置。
前記第２の画像と、前記変形手段により変形された前記第１の画像を合成し、合成画像を生成する合成画像生成手段とをさらに備え、
前記表示手段は、前記合成画像に合成されている前記第１の画像が、前記送信装置の撮像位置に対応した表示位置に表示されるように、前記合成画像を表示する
ことを特徴とする請求項９に記載の画像表示装置。
前記表示手段は、
透過性のスクリーンと、
前記スクリーン上の前記送信装置の撮像位置に対応した表示位置に遮光領域を生成する遮光領域生成手段とをさらに備え、
前記変形手段により変形された前記第１の画像を、前記遮光領域に表示する
ことを特徴とする請求項１に記載の画像表示装置。
前記撮像手段、前記入力手段、前記変形手段、および、前記表示手段は、それぞれ人間の両目用に一対である
ことを特徴とする請求項１に記載の画像表示装置。
前記撮像手段のリフレッシュレートは、前記表示手段のリフレッシュレートよりも高い
ことを特徴とする請求項１に記載の画像表示装置。
前記変形手段は、前記送信装置の撮像位置に基づいて、射影変換により前記第１の画像を変形する
ことを特徴とする請求項１に記載の画像表示装置。
所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像ステップと、
前記撮像ステップの処理で撮像された前記複数の送信装置の撮像位置を検出する検出ステップと、
第１の画像を入力する入力ステップと、
前記検出ステップの処理で検出された前記送信装置の撮像位置に基づいて、前記第１の画像を変形する変形ステップと、
前記変形ステップの処理で変形された前記第１の画像を、前記送信装置の撮像位置に対応した表示位置に表示する表示ステップと
を含むことを特徴とする画像表示方法。
所定の点滅パターンで発光し、データを送信する複数の送信装置の撮像を制御する撮像制御ステップと、
前記撮像制御ステップの処理で撮像が制御された前記複数の送信装置の撮像位置の検出を制御する検出制御ステップと、
第１の画像の入力を制御する入力制御ステップと、
前記検出制御ステップの処理で検出が制御された前記送信装置の撮像位置に基づいて、前記第１の画像の変形を制御する変形制御ステップと、
前記変形制御ステップの処理で変形が制御された前記第１の画像の、前記送信装置の撮像位置に対応した表示位置への表示を制御する表示制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
所定の点滅パターンで発光し、データを送信する複数の送信装置の撮像を制御する撮像制御ステップと、
前記撮像制御ステップの処理で撮像が制御された前記複数の送信装置の撮像位置の検出を制御する検出制御ステップと、
第１の画像の入力を制御する入力制御ステップと、
前記検出制御ステップの処理で検出が制御された前記送信装置の撮像位置に基づいて、前記第１の画像の変形を制御する変形制御ステップと、
前記変形制御ステップの処理で変形が制御された前記第１の画像の、前記送信装置の撮像位置に対応した表示位置への表示を制御する表示制御ステップと
をコンピュータに実行させるプログラム。
所定の点滅パターンで発光することによりデータを送信する送信装置において、
データに対応して前記所定の点滅パターンを発生するパターン発生手段と、
前記パターン発生手段により発生された前記所定の点滅パターンで発光する発光手段と
を備えることを特徴とする送信装置。
前記データは、リンクデータ、コンテンツデータ、または、自らが属するグループを示すグループデータを含む
ことを特徴とする請求項１８に記載の送信装置。
前記リンクデータは、前記画像表示装置に表示される画像の情報が存在するネットワーク上のリンク先を含む
ことを特徴とする請求項１９に記載の送信装置。
前記コンテンツデータは、前記画像表示装置に表示される画像の情報を含む
ことを特徴とする請求項１９に記載の送信装置。
所定の点滅パターンで発光することによりデータを送信する送信装置の送信方法において、
データに対応して前記所定の点滅パターンを発生するパターン発生ステップと、
前記パターン発生ステップの処理で発生された前記所定の点滅パターンで発光する発光ステップと
を含むことを特徴とする送信方法。
所定の点滅パターンで発光することによりデータを送信する送信装置を制御するプログラムであって、
データに対応して前記所定の点滅パターンの発生を制御する点滅パターン発生制御ステップと、
前記パターン発生制御ステップの処理で発生された前記所定の点滅パターンでの発光を制御する発光制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
所定の点滅パターンで発光することによりデータを送信する送信装置を制御するコンピュータに、
データに対応して前記所定の点滅パターンの発生を制御するパターン発生制御ステップと、
前記パターン発生制御ステップの処理で発生された前記所定の点滅パターンでの発光を制御する発光制御ステップと
を実行させるプログラム。
画像表示装置と送信装置からなる画像表示システムにおいて、
前記画像表示装置は、
所定の点滅パターンで発光し、データを送信する複数の送信装置を撮像する撮像手段と、
前記撮像手段により撮像された前記複数の送信装置の撮像位置を検出する検出手段と、
画像を入力する入力手段と、
前記検出手段により検出された前記送信装置の撮像位置に基づいて、前記画像を変形する変形手段と、
前記変形手段により変形された前記画像を、前記送信装置の撮像位置に対応した表示位置に表示する表示手段と
を備え、
前記送信装置は、
データに対応して前記所定の点滅パターンを発生するパターン発生手段と、
前記パターン発生手段により発生された前記所定の点滅パターンで発光する発光手段と
を備える
ことを特徴とする画像表示システム。