JP4032776B2 - 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム - Google Patents
複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP4032776B2 JP4032776B2 JP2002057838A JP2002057838A JP4032776B2 JP 4032776 B2 JP4032776 B2 JP 4032776B2 JP 2002057838 A JP2002057838 A JP 2002057838A JP 2002057838 A JP2002057838 A JP 2002057838A JP 4032776 B2 JP4032776 B2 JP 4032776B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- identification information
- teaching index
- input
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、コンピュータやネットワーク上で実装された仮想空間上で実世界の様相を組み込む複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、ユーザが存在する場所や実世界オブジェクトの実空間上の位置・姿勢などの実世界状況を積極的に利用して仮想空間を現実世界に拡張する複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示する複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、実物体を模倣した仮想物体を現実空間に合成して表示する複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【０００３】
【従来の技術】
情報処理技術や情報通信技術が高度に発達した現代においては、パーソナル・コンピュータや携帯情報端末を始めとする情報機器がオフィスや家庭内などの実世界上のいたるところに遍在する。このような環境下では、機器どうしを接続して、いつでもどこでも欲しい情報を入手する「ユビキタス（Ubiquitous）・コンピューティング」や、実世界の状況（実世界の事物やユーザの位置など）を積極的に利用した拡張現実システム（Augmented Reality：ＡＲ）の実現が期待される。
【０００４】
ユビキタス・コンピューティングの概念は、人がどこに移動しても利用できるコンピュータの環境が同じであることである。すなわち、「いつでもどこでも」なのだから、究極のユビキタス・コンピューティングは、必ずしもコンピュータやＰＤＡ（Personal Digital Assistant）や携帯電話機などの情報端末を必要とはしない。
【０００５】
また、拡張現実システムによれば、ユーザの位置などの実世界状況を利用したサービスを提供することができる。この場合、ユーザは携帯端末を保持するだけで、システムはユーザの近傍や視界中にある実世界の事物に応じた情報を提示して、ネットワーク上にある膨大な情報を利用して日常生活のあらゆる局面を支援することができる。例えば、ショッピング・モールでカメラ付き携帯端末をかざしてＣＤショップを訪ねると、お薦めの新譜が端末上で表示される。また、レストランの看板を見ると、料理の感想が表示される。
【０００６】
例えば、家庭内の家具や電化製品、インテリアなどを購入する際、それらが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなど、実際に購入する前に調べたいことが多々ある。また、部屋の模様替えを行う際、実際に家具や家電製品、インテリアなどの配置をいろいろと変更し、試したいものである。
【０００７】
ユーザが現実世界でのみ生活する場合、購入前に実際に自宅の部屋に実物を配置することは困難である。また、一般に家具や電化製品、インテリアなどは大きく重いので、実際に実物を動かしたり、室内でさまざまな配置を試みることは重労働であり現実的でない。
【０００８】
これに対し、コンピュータ上に実際の住居を模倣した３次元の仮想住居を構築して、この仮想住居の中に家具や電化製品、インテリアなどの３次元モデルを配置して、さまざまな視点から住居を眺めることができるアプリケーションが考案されている。これらのアプリケーションは、近年におけるコンピュータの処理速度の向上や、３次元コンピュータ・グラフィックス（３ＤＣＧ）技術の発展に伴い、リアリティ溢れる表現力を可能にしている。
【０００９】
しかしながら、これらの仮想現実アプリケーションを実際に利用する場合、いくつかの問題点がある。
【００１０】
まず、自分が住んでいる部屋のモデルを構築しなければならない点である。住んでいる部屋の間取りを、瞬時に、かつ正確に作成できる人は稀であり、一般にはメジャー等で実際に部屋を計測したり、家を購入する際に入手した間取り図を参考に構築しなければならない。概略的な部屋の雰囲気を表現したいのであれば大まかな部屋モデルで十分であるが、家具や電化製品、インテリアなどのサイズを調べるには正確な部屋モデルの構築が不可欠となる。
【００１１】
また、住居を模倣するには所有している家具や電化製品、インテリアなどの３次元モデルが必要であるが、これらの完全なモデルを作成あるいは入手することは困難であり、複数の３次元モデル素材の中から最も近似しているモデルを選択するのが現状である。このため、現実の住居とは異なる仮想住居が構築されてしまう。
【００１２】
さらに、コンピュータの処理速度の向上とともに、ＣＧ技術が発展し、表現力が格段に向上されたとは言え、現実と見間違えるような表現は難しく、可能であっても多大な計算時間を要するのがほとんどである。
【００１３】
【発明が解決しようとする課題】
本発明の目的は、コンピュータやネットワーク上で実装された仮想空間上で実世界の様相を組み込むことができる、優れた複合現実感表示装置及び方法、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、ユーザが存在する場所や実世界オブジェクトの実空間上の位置・姿勢などの実世界状況を積極的に利用して仮想空間を現実世界に拡張することができる、優れた複合現実感表示装置及び方法、並びにコンピュータ・プログラムを提供することにある。
【００１５】
本発明のさらなる目的は、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示することができる、優れた複合現実感表示装置及び方法、並びにコンピュータ・プログラムを提供することにある。
【００１６】
本発明のさらなる目的は、実物体を模倣した仮想物体を現実空間に合成して表示することができる、優れた複合現実感表示装置及び方法、並びにコンピュータ・プログラムを提供することにある。
【００１７】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、仮想物体を現実空間に合成して表示する複合現実感表示装置又は方法であって、
物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力部又はステップと、
前記画像入力部又はステップによる入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算部又はステップと、
前記画像入力部又はステップによる入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識部又はステップと、
前記物体認識部又はステップにより認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算部又はステップにより算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成部又はステップと、
を具備することを特徴とする複合現実感表示装置又は方法である。
【００１８】
本発明の第１の側面に係る複合現実感表示装置又は方法によれば、物体教示指標をカメラで撮影して、この撮影画像を基に物体教示指標が持つ識別情報を取得するとともに、物体教示指標が現実空間に配置された３次元位置・姿勢を取得する。さらに、仮想空間において、検出した識別情報に対応する３次元モデルを、物体教示指標から求められた３次元位置・姿勢に配置することによって、複合現実空間を比較的短時間で且つ低コストに作成することができる。
【００１９】
例えば、家庭内の家具や電化製品、インテリアなどを購入する際、それらが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなど、実際に購入する前に調べたいことが多々ある。また、部屋の模様替えを行う際、実際に家具や家電製品、インテリアなどの配置をいろいろと変更し、試したいものである。ところが、購入前に実際に自宅の部屋に実物を配置することは困難である。また、一般に家具や電化製品、インテリアなどは大きく重いので、実際に実物を動かしたり、室内でさまざまな配置を試みることは重労働であり現実的でない。
【００２０】
これに対し、本発明の第１の側面に係る複合現実感表示装置又は方法によれば、家具や家電製品、インテリアなどの現実の物体を配置してみたい場合には、現実の物体に代えて、物体教示指標を設置するだけで、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示することができる。
【００２１】
したがって、ユーザは、実空間上のシーンに仮想物体が合成された複合現実感画像を基に、家庭内の家具や電化製品、インテリアなどが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなどを、実際に購入する前に判断することが可能となる。また、家具や電化製品、インテリアなどの仮想物体以外の室内の風景や物体は、カメラから取り込まれた現実の画像をそのまま利用する。すなわち、現実空間について完全なモデルを作成あるいは入手する必要がなく、容易に拡張現実感画像を生成することができる。
【００２２】
ここで、前記画像合成部又はステップは、前記物体認識部により認識された現実物体に関する料金や仕様、あるいはその他の関連情報を入力画像上にさらに合成するようにしてもよい。
【００２３】
また、さらに前記物体教示指標までの距離を測定する距離測定部又はステップを備えていてもよい。このような場合、前記画像合成部又はステップは、前記距離測定部又はステップにより得られた距離に基づいて前記仮想物体に陰面処理を適用することにより、より自然な合成画像を得ることができる。
【００２４】
前記物体教示指標には光学的識別情報が配設されている。光学的識別情報とは、例えば、固有の色、形状、又はバーコードなどのビジュアルコード、あるいは識別情報やその他のデータを符号化した光の点滅パターンなどで構成される。
【００２５】
このような場合、前記物体認識部又はステップは、入力画像から光学的識別情報を抽出して物体の識別情報を取得することができる。
【００２６】
また、物体教示指標に互いの位置関係が既知である複数の光学的識別情報を配設するようにしてもよい。このような場合、前記位置・姿勢計算部又はステップは、入力画像から光学的識別情報を抽出して、該入力画像における各光学的識別情報の検出位置に基づいてその空間的な位置及び姿勢を算出することができる。
【００２７】
例えば、Robert M. Haralick、Chung-nan Lee、Karsten Ottenberg、及びMichael Nolle共著の論文"Analysis and Solutions of The Three Point Perspective Pose Estimation Problem"（In Proceedings of the Conference on Computer Vision and Pattern Recognition, Maui, Hawaii, USA, pp.592-598, 1991）には、対象物体上に配設された既知の３点の位置から該物体の３次元位置及び姿勢を計測する方法について記述されている。したがって、３個以上の光学的識別情報を物体教示指標に配設しておけば、前記位置・姿勢計算部又はステップは、このＲｏｂｅｒｔ外著の方法を用いて、入力画像上で抽出される３つの光学的識別情報の検出位置を基に対応する３次元位置及び姿勢を数学的に算出することができる。
【００２８】
また、加藤博一、Mark Billinghurst、浅野浩一、橘啓八郎共著の論文『マーカー追跡に基づく拡張現実感システムとそのキャリブレーション』（日本バーチャルリアリティ学会論文誌, Vol.4, No.4, 1999）には、平行四辺形の各頂点に配置された４つのマーカを基に平行四辺形の３次元位置及び姿勢を計測する方法について記載されている。したがって、平行四辺形の頂点をなす４個以上の光学的識別情報を物体教示指標に配設しておけば、前記位置・姿勢計算部又はステップは、この加藤外著の方法を用いて、入力画像上で抽出される４つの光学的識別情報の検出位置を基に対応する３次元位置及び姿勢を数学的に算出する選択することができる。
【００２９】
光学的識別情報が光の点滅パターンとして表されている場合には、前記物体認識部又はステップは、入力画像を基に各点滅光源からの点滅パターンを抽出するとともにこれらを復号化して前記物体教示指標が持つ識別情報を認識することができる。
【００３０】
また、このような場合、前記位置・姿勢計算部又はステップは、入力画像を基に各点滅光源からの点滅パターンを抽出しこれらを復号化して各々を識別するとともに、該入力画像における各点滅光源の検出位置に基づいてその空間的な位置及び姿勢を算出することができる。
【００３１】
また、本発明の第２の側面は、仮想物体を現実空間に合成して表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力ステップと、
前記画像入力ステップにおける入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算ステップと、
前記画像入力ステップにおける入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識ステップと、
前記物体認識ステップにおいて認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算ステップにおいて算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成ステップと、を具備することを特徴とする記憶媒体である。
【００３２】
本発明の第２の側面に係る記憶媒体は、例えば、さまざまなプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、ＤＶＤ（Digital Versatile Disc）やＣＤ（Compact Disc）、ＦＤ（Flexible Disk）、ＭＯ（Magneto-Optical disc）などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク（ネットワークは無線、有線の区別を問わない）などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。
【００３３】
また、本発明の第２の側面に係る記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第２の側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る複合現実感表示装置又はその方法と同様の作用効果を得ることができる。
【００３４】
また、本発明の第３の側面は、仮想物体を現実空間に合成して表示するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力ステップと、
前記画像入力ステップにおける入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算ステップと、
前記画像入力ステップにおける入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識ステップと、
前記物体認識ステップにおいて認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算ステップにおいて算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成ステップと、を具備することを特徴とするコンピュータ・プログラムである。
【００３５】
本発明の第３の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第３の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１側面に係る複合現実感表示装置又はその方法と同様の作用効果を得ることができる。
【００３６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３７】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３８】
本発明に係る複合現実感表示システムは、実世界上に存在する物理オブジェクトに対して複数の光学的な識別情報を取り付けるとともに、これを２次元イメージ・センサを利用して撮影して画像処理・画像認識により、オブジェクトの同定するとともにその３次元的な位置や姿勢などのオブジェクトが持つ実世界状況を基にした拡張現実（ＡＲ：Augmented Reality）サービスを実現するものであり、例えば、現実空間の一部が仮想世界に拡張された複合現実感画像を提供する。
【００３９】
実世界オブジェクトに取り付ける光学的な識別情報として、色の空間パターンに符号化されたビジュアル・コードの他に、ＬＥＤのような点滅する光源からなる光学信号を利用することができる。後者の場合、距離に応じてデータが変化しない点滅パターンなどの時系列の光学信号に符号化して、データを送信することができる。
【００４０】
また、イメージ・センサは、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補性金属酸化膜半導体）センサやＣＣＤ（Charge Coupled Device：電荷結合素子）センサなどのように、無数の受光素子すなわち画素が２次元アレイ上に配置された構成であり、光学信号並びにその空間的情報を全画素でデコードする。イメージ・センサは、普通のカメラとしてシーンを撮影するとともに、そのイメージ・センサの視界中に配置された光学信号を長距離から受信することができる。したがって、光学的な識別情報を備えた実世界オブジェクトを、実世界状況を発信するための送信機としても利用することができる。
【００４１】
実世界オブジェクトに取り付けられる複数の光学的識別情報は、互いに識別可能であるだけでなく、互いの空間的な位置関係があらかじめ分かっているものとする。このような場合、空間的な解像度を持つ測定装置により実世界オブジェクトを認識することにより、単にその実世界オブジェクトを同定するだけでなく、その３次元的な位置や姿勢などを測定することができる。実世界オブジェクトが持つ空間的な位置や姿勢は、言わば実世界状況に相当する。
【００４２】
したがって、実世界オブジェクトの３次元位置・姿勢の計測結果を実世界の状況（実世界の事物やユーザの位置など）として積極的に利用することにより、拡張現実システム（Augmented Reality：ＡＲ）の実現に役立てることができる。
【００４３】
拡張現実システムによれば、ユーザの位置などの実世界情報を利用したサービスを提供することができる。この場合、ユーザは携帯端末を保持するだけで、システムはユーザの近傍や視界中にある実世界の事物に応じた情報を提示して、ネットワーク上にある膨大な情報を利用して日常生活のあらゆる局面で支援を享受することができる。例えば、ショッピング・モールでカメラ付き携帯端末をかざしてＣＤショップを訪ねると、お薦めの新譜が端末上で表示される。また、レストランの看板を見ると、料理の感想が表示される。
【００４４】
なお、本出願人に既に譲渡されている特願２００１−３２５３５６号明細書には光学的な形式で識別情報やその他のデータを担持又は伝送する光学信号と、これを捕捉する高速な２次元イメージ・センサを利用することで、空間解像度を持つとともに、遠距離でも利用可能なデータ伝送を実現するデータ通信システムについて開示している。同明細書に記載のデータ通信システムでは、ＬＥＤのような点滅する光源を光学信号とし、ビジュアル・コードのように色の空間パターンに符号化するのではなく、距離に応じてデータが変化しない点滅パターンなどの時系列の光学信号に符号化してデータを送信する。イメージ・センサは、例えばＣＭＯＳセンサやＣＣＤセンサなどのように無数の受光素子すなわち画素が２次元アレイ上に配置された構成であり、光学信号並びにその空間的情報を全画素でデコードする。したがって、イメージ・センサは、普通のカメラとしてシーンを撮影するとともに、そのイメージ・センサの視界中に配置された光学信号を長距離から受信することができる。
【００４５】
Ａ．複合現実感システムの構成
図１には、本発明の一実施形態に係る複合現実感システムの構成を模式的に示している。同図に示すように、このシステムは、カメラ１０１と、複合現実感装置１０２と、画像表示装置１０３と、物体教示指標１０４とで構成される。
【００４６】
物体教示指標１０４には、物体の３次元位置・姿勢計測を可能にするため、それぞれ識別可能な複数個のマーカが取り付けられている（後述）。各マーカは、それぞれ固有の色、形状、パターン、又は光の点滅パターンなどからなる視覚的な識別情報を持ち、マーカ毎に識別可能であるとする。また、各マーカが持つこれらの視覚的識別情報や各マーカ間の空間的な位置関係は、複合現実感システムにおいて既知であるとする。
【００４７】
カメラ１０１は、例えばレンズ歪などのない理想的なピンホール・レンズを使用して、ＣＣＤやＣＭＯＳなどの２次元イメージ・センサにより物体教示指標１０４を含む風景やその他のシーンを撮像することができる。カメラ１０１により撮像された画像フレームは空間的分解能を持つ受信データとして複合現実感装置１０２に入力される。
【００４８】
複合現実感装置１０２は、例えばパーソナル・コンピュータ（ＰＣ）などの計算機システムで構成され、ＵＳＢ（Universal Serial Bus）あるいはその他の外部インターフェースを介してカメラ１０１を接続して、撮影画像をコンピュータ・ファイルの形式で取り込むことができる。該装置１０２上では、画像フレーム中からマーカ検出に基づく３次元位置・姿勢計測処理を行なうアプリケーションが起動しており、物体教示指標１０３を含むシーン画像からマーカを３次元位置及び入力画像上の位置を基にその３次元位置及び姿勢などの実世界状況を測定する。そして、複合現実感装置１０２は、実世界状況に応じた拡張現実感サービス（後述）を提供する。
【００４９】
図１に示す例では、物体教示指標１０４は、リビング内でスピーカに挟まれたテレビ台の上に配置されて、仮想的にテレビ受像機（以下、「テレビ」とする）の存在を代行する。このとき、カメラ１０１を用いて物体教示指標１０４を含んだ領域（シーン）が撮影される。
【００５０】
カメラ１０１で取得された画像データは、空間分解能を持ち、複合現実感装置１０２へ入力されて、物体教示指標１０４の識別情報とその空間的位置や姿勢が抽出される。そして、抽出された物体教示指標１０４の識別情報に対応した仮想物体１０５（ここではテレビの３次元モデル)を入力された画像データに合成して、画像表示装置１０３に出力する。このとき、テレビの３次元モデルは、物体教示指標１０４から得られた空間的位置や姿勢などの実世界状況に基づいて現実空間の座標系にマッピングされる。
【００５１】
このようにして、カメラ１０１からの入力画像を表示出力する画像表示装置１０３の表示スクリーン上には、実際に存在しない仮想物体１０５（テレビ）が現実空間を撮影した画像上に現れる（重畳表示される）。したがって、ユーザは、現実空間内に家具や電化製品などの実物体を配置することなく、その大きさや色などといった外観が周囲環境に調和しているかを表示することが可能である。
【００５２】
図２には、本実施形態に係る複合現実感装置１０２のハードウェア構成を模式的に示している。
【００５３】
メイン・コントローラであるＣＰＵ（Central Processing Unit）１は、オペレーティング・システム（ＯＳ）の制御下で、各種のアプリケーションを実行する。
【００５４】
本実施形態では、ＣＰＵ１は、例えば、カメラ１０１の撮影画像のような空間的解像度を持つデータを基に物体教示指標１０４の空間的な位置や姿勢を計測するための３次元位置・姿勢計測アプリケーションや、物体教示指標１０４の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況を利用した拡張現実感（ＡＲ）サービスを提供するＡＲサービス・アプリケーションなどを実行することができる。
【００５５】
図示の通り、ＣＰＵ１は、バス８によって他の機器類（後述）と相互接続されている。
【００５６】
主メモリ２は、ＣＰＵ１において実行されるプログラム・コードをロードしたり、実行プログラムの作業データを一時保管するために使用される記憶装置であり、例えばＤＲＡＭ（Dynamic RAM）のような半導体メモリが使用される。例えば、カメラ１０１の撮影画像のような空間的解像度を持つデータを基に物体教示指標１０４の空間的な位置や姿勢を計測するための３次元位置・姿勢計測アプリケーションや、物体教示指標１０４の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況に応じた拡張現実感（ＡＲ）サービスを提供するＡＲサービス・アプリケーションなどが主メモリ２にロードされる。また、カメラ１０１による撮影画像に基づく物体教示指標１０４の空間的位置や姿勢に関する計算結果や、この計算結果から得られた実世界状況に応じて生成される各種のＡＲサービス・コンテンツ（例えば、家具や電化製品、インテリアなど仮想物体の３次元モデル）などが作業データとして主メモリ２に一時的に格納される。
【００５７】
また、ＲＯＭ（Read Only Memory）３は、データを恒久的に格納する半導体メモリであり、例えば、起動時の自己診断テスト（ＰＯＳＴ：Power On Self Test）や、ハードウェア入出力用のプログラム・コード（ＢＩＯＳ：Basic Input/Output System）などが書き込まれている。
【００５８】
ディスプレイ・コントローラ４は、ＣＰＵ１が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ４において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、ＣＲＴ（Cathode Ray Tube：陰極線管）ディスプレイやＬＣＤ（Liquid Crystal Display：液晶表示ディスプレイ）などからなる画像表示装置１０３によって画面出力される。
【００５９】
画像表示装置１０３の表示画面は、一般に、ユーザからの入力内容やその処理結果、あるいはエラーその他のシステム・メッセージをユーザに視覚的にフィードバックする役割を持つ。また、本実施形態においては、画像表示装置１０３の表示画面には、物体教示指標１０４に対応した仮想物体１０５をカメラ１０１による撮影画像に合成した拡張現実感シーンのようなＡＲサービス・コンテンツなどを表示出力するために利用される。ここで言うＡＲサービス・コンテンツには、例えば、家具や電化製品、インテリアなど仮想物体の３次元モデルがカメラ１０１による撮影画像に組み込まれた複合現実感画像を挙げることができる。複合現実感画像の生成方法の詳細については後述に譲る。
【００６０】
入力機器インターフェース５は、キーボード１２やマウス１３などのユーザ入力機器を複合現実感装置１０２に接続するための装置である。
【００６１】
キーボード１２やマウス１３は、データやコマンドなどのユーザ入力をシステムに取り込む役割を持つ。本実施形態では、キーボード１２やマウス１３は、３次元位置・姿勢計測アプリケーションの起動、ＡＲサービス・アプリケーションの起動、ＡＲサービスの指定などをユーザが指示するために使用される。
【００６２】
ネットワーク・インターフェース６は、Ｅｔｈｅｒｎｅｔ（登録商標）などの所定の通信プロトコルに従って、システム１０２をＬＡＮ（Local Area Network）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。
【００６３】
ネットワーク上では、複数のホスト端末（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信サービスを行なうことができる。例えば、カメラ１０１の撮影画像のような空間的解像度を持つデータを基に物体教示指標１０４の空間的な位置や姿勢を計測するための３次元位置・姿勢計測アプリケーションや、撮影画像から検出された複数点のマーカを基に３次元位置・推定を行なう複数のアルゴリズム（例えばライブラリ化されている）、物体教示指標１０４の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況に応じた拡張現実感（ＡＲ）サービスを提供するＡＲサービス・アプリケーションなどを、ネットワーク経由でダウンロードすることができる。また、ＡＲサービス・アプリケーションにおいて利用されるＡＲサービス・コンテンツ（例えば、家具や電化製品、インテリアなど仮想物体の３次元モデル）などを、ネットワーク経由で他のホスト装置との間で配信・配布することができる。また、複合現実感画像を提供するＡＲサービスとして、家具や電化製品、インテリアなどの商品を取り扱う場合には、その価格（若しくは拡張現実感サービスの利用料金）や製品仕様、在庫数など、実物体に関する付加情報をネットワーク経由でダウンロードしてもよい。
【００６４】
外部機器インターフェース７は、ハード・ディスク・ドライブ（ＨＤＤ）１４やメディア・ドライブ１５などの外部装置を複合現実感装置１０２に接続するための装置である。
【００６５】
ＨＤＤ１４は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり（周知）、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェア・プログラムを実行可能な状態でＨＤＤ１４上に置くことを、プログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ１４には、ＣＰＵ１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。例えば、カメラ１０１の撮影画像のような空間的解像度を持つデータを基に物体教示指標１０４の空間的な位置や姿勢を計測するための３次元位置・姿勢計測アプリケーションや、物体教示指標１０４の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況に応じた拡張現実感（ＡＲ）サービスを提供するＡＲサービス・アプリケーションなどを、ＨＤＤ１４上にインストールすることができる。また、撮影画像から検出された複数点のマーカを基に３次元位置・姿勢推定を行なう複数のアルゴリズム（例えばライブラリ化されている）や、ＡＲサービス・アプリケーションにおいて利用されるＡＲサービス・コンテンツ（例えば、家具や電化製品、インテリアなど仮想物体の３次元モデル）などをＨＤＤ１４上に蓄積しておいてもよい。また、複合現実感画像を提供するＡＲサービスとして、家具や電化製品、インテリアなどの商品を取り扱う場合には、その価格（若しくは拡張現実感サービスの利用料金）や製品仕様、在庫数など、実物体に関する付加情報を蓄積していてもよい。
【００６６】
メディア・ドライブ１５は、ＣＤ（Compact Disc）やＭＯ（Magneto-Optical disc）、ＤＶＤ（Digital Versatile Disc）などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。
【００６７】
可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。例えば、カメラ１０１の撮影画像のような空間的解像度を持つデータを基に物体教示指標１０４の空間的な位置や姿勢を計測するための３次元位置・姿勢計測アプリケーションや、物体教示指標１０４の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況に応じた拡張現実感（ＡＲ）サービスを提供するＡＲサービス・アプリケーションなどを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。また、撮影画像から検出された複数点のマーカを基に３次元位置・姿勢推定を行なう複数のアルゴリズム（例えばライブラリ化されている）や、ＡＲサービス・アプリケーションにおいて利用されるＡＲサービス・コンテンツ（例えば、家具や電化製品、インテリアなど仮想物体の３次元モデル）などを他の装置との間で交換するために、可搬型メディアを利用することができる。また、複合現実感画像を提供するＡＲサービスとして、家具や電化製品、インテリアなどの商品を取り扱う場合には、その価格（若しくは拡張現実感サービスの利用料金）や製品仕様、在庫数など、実物体に関する付加情報を可搬型メディア経由で流通させてもよい。
【００６８】
カメラ・インターフェース９は、カメラ１０１を接続するための装置であり、例えばＵＳＢインターフェースで構成される。あるいはビデオ・キャプチャ・カードのようにカメラ１０１から動画像を取得するインターフェースで構成されていてもよい。カメラ１０１は、画素が２次元アレイ上に配置された構成で、物体教示指標１０４から光学信号並びにその空間的情報を全画素でデコードする。
【００６９】
なお、図２に示すような複合現実感装置１０２の一例は、米ＩＢＭ社のパーソナル・コンピュータ"ＰＣ／ＡＴ（Personal Computer/Advanced Technology）"の互換機又は後継機である。勿論、他のアーキテクチャで構成されるコンピュータを、本実施形態に係る複合現実感装置１０２として適用することも可能である。
【００７０】
図３には、複合現実感装置１０２上で実行される複合現実感表示の処理手順をフローチャートの形式で示している。この処理手順は、実際には、ＣＰＵ１が所定の複合現実感処理アプリケーションを起動して、カメラ１０１からの入力画像を処理して、画面表示装置１０３に処理結果を表示出力するという形態で実現される。以下、このフローチャートを参照しながら、複合現実感表示処理について詳解する。
【００７１】
カメラ１０１から画像データが入力されると（ステップＳ１）、別途定義されている「物体教示指標の抽出、その識別情報、３次元位置・姿勢情報の取得」処理ルーチン（後述）により、撮影された画像データ中の物体教示指標１０４が抽出され、さらにその識別情報並びに３次元位置・姿勢情報が取得される（ステップＳ２）。
【００７２】
実世界状況に応じた拡張現実感サービス（ステップＳ７，Ｓ８）において、画像データ中の物体教示指標１０４の位置にその識別情報に対応した２次元画像を単に重ねて表示する場合には、ステップＳ２における処理ルーチンでは、物体教示指標１０４の３次元位置・姿勢情報の取得は省略してもよい。物体教示指標１０４の識別情報並びに３次元位置・姿勢情報の取得方法は物体教示指標１０４の態様に依存する処理であるので、後述で物体教示指標１０４の実施形態とともに詳細に説明する。
【００７３】
次いで、カメラ１０１から入力された画像から物体教示指標１０４が抽出されたがどうかを判定する（ステップＳ３）。抽出された場合には、後続のステップＳ４へ進み、抽出された物体教示指標１０４の識別情報に対応した実物体についての３次元モデルの取得を試みる。
【００７４】
ここで、３次元モデルは、実物体の販売者あるいは３次元モデル作成サービスを行なう第３者などが実物体を模倣し作成したものであり、例えばハード・ディスク装置１４上にあらかじめ格納されていたり、あるいはネットワークを介して所定の情報提供サーバ（例えば、３次元モデル・データベース）から逐次的にダウンロードするようにしてもよい。また、実物体が家具や電化製品、インテリアなどの商品である場合にはその価格（若しくは拡張現実感サービスの利用料金）や製品仕様、在庫数など、実物体に関する付加情報やその他のリアルタイム・コンテンツなどを同時にダウンロードしてもよい。
【００７５】
次いで、３次元モデルが成功裏に取得されたがどうかを判定する（ステップＳ５）。
【００７６】
３次元モデルを無事に取得することができた場合には、さらに次ステップＳ６に進み、取得した３次元モデルを、先行ステップＳ２で取得した物体教示指標１０４の３次元位置・姿勢情報に合わせて回転・移動させる。そして、ステップＳ１においてカメラ１０１から入力された現実空間のシーンである画像データと３次元モデルとを合成して、複合現実空間画像を作成する（ステップＳ７）。このとき、ＡＲサービスに関連する料金や商品の仕様、在庫数など、実物体に関する付加情報と画像データとをさらに合成してもよい。
【００７７】
次いで、前ステップＳ７によって合成された複合現実空間画像を画像表示装置１０３で表示出力する（ステップＳ８）。実空間上のシーンに仮想物体が合成された複合現実感画像を基に、家庭内の家具や電化製品、インテリアなどが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなどを、実際に購入する前に判断することが可能となる。
【００７８】
また、ステップＳ３において入力画像から物体教示指標１０４が抽出されないと判定された場合や、ステップＳ５において３次元モデルを取得することができなかった場合には、ステップＳ１で取得された画像データをそのまま画像表示装置１０３で表示出力するようにしてもよい。
【００７９】
次いで、この複合現実感表示処理を続行させるかどうか判定する（ステップＳ９）。そして、本処理ルーチンを続行するならば、ステップＳ１へ戻って上述と同様の動作を繰り返し実行する。他方、非続行ならば、ここで本処理ルーチン全体を終了させる。
【００８０】
本処理ルーチンの終了条件は、例えばキーボード１２やマウス１３を介したユーザ入力であってもよいし、アプリケーション内であらかじめ定められたルール(例えばゲームにおけるゲーム・オーバー)であってもよい。また、メモリフルなどのハードウェア又はソフトウェア上の制約を終了条件にしてもよい。
【００８１】
Ｂ．物体教示指標の構成例
（１）構成例１：
図４には、物体教示指標１０４の１つの構成例を示している。同図に示すように、物体教示指標１０４は板状の三角形をしており、その各頂点には光学的に識別可能なマーカ１０５ａ〜１０５ｃが配置されている。各マーカ１０５ａ〜１０５ｃが持つ識別情報の組み合わせにより対応する実物体を特定することができる。また、物体教示指標１０４には、対応する実物体に関連した情報（例えば、製品型番の文字情報など）が明記（印字）されている。
【００８２】
各マーカ１０５ａ〜１０５ｃは、それぞれ固有の色、形状、パターンなどからなる光学的に一意な識別情報を持ち、マーカ毎に識別可能である。また、各マーカ１０５ａ〜１０５ｃが持つこれらの視覚的識別情報や各マーカ間の空間的な位置関係は、本システムにおいて既知であるとする。したがって、物体教示指標１０４は、ある実物体に取り付けられることにより、各マーカ１０５ａ〜１０５ｃが持つ識別情報の組み合わせによりこのオブジェクトを特定するための情報を与えるとともに、空間的な位置や姿勢などの実世界状況に関する情報を与えることができる。
【００８３】
一方、複合現実感表示装置１０２に接続されているカメラ１０１は、例えばＣＭＯＳセンサやＣＣＤセンサなどのように、無数の受光素子すなわち画素が２次元アレイ上に配置されたイメージ・センサ（図示しない）を備えており、物体教示指標１０４上の各マーカ１０５ａ〜１０５ｃに対して空間的な分解能を持つ。
【００８４】
ここで、物体教示指標１０４上に配置されているすべてのマーカ１０５ａ〜１０５ｃの３次元的な位置関係は既知である。物体教示指標１０４を例えばＸ軸回りにα、Ｙ軸回りにβ、Ｚ軸回りにγだけそれぞれ回転したものとすると、計測対象物体１０１の回転行列Ｒは以下のように表される。
【００８５】
【数１】
【００８６】
また、物体教示指標１０４がカメラ座標系の位置（Ｘt，Ｙt，Ｚt）に移動したものとすると、平行移動行列Ｔは以下のように表される。
【００８７】
【数２】
【００８８】
ここで、物体教示指標１０４の点（Ｘm，Ｙm，Ｚm）に位置するマーカ１０５が回転及び平行移動した後、点（Ｘc，Ｙc，Ｚc）に変換されたものとすると、これらの関係は以下のように表される。
【００８９】
【数３】
【００９０】
上式は物体教示指標１０４を撮像した画像上から空間的な位置関係が既知である３点のマーカを検出することができれば、連立方程式の解としてＲ及びＴ、すなわち物体教示指標１０４の３次元位置及び姿勢を求められることを示している。例えば、Robert M. Haralick、Chung-nan Lee、Karsten Ottenberg、及びMichael Nolle共著の論文"Analysis and Solutions of The Three Point Perspective Pose Estimation Problem"（In Proceedings of the Conference on Computer Vision and Pattern Recognition, Maui, Hawaii, USA, pp.592-598, 1991）には対象物体上に配設された既知の３点の位置から該物体の３次元位置及び姿勢を計測する方法について記述されている。
【００９１】
なお、点（Ｘc，Ｙc，Ｚc）に移動したマーカ１０５の２次元撮像画像上の座標値（Ｘ，Ｙ）は以下の通りとなる。
【００９２】
【数４】
【００９３】
したがって、撮像画像上から空間的な位置関係が既知である３点のマーカを検出することができれば、連立方程式の解としてＲ及びＴ、すなわち物体教示指標１０４の３次元位置及び姿勢を数学的な算出により求めることができる。
【００９４】
また、加藤博一、Mark Billinghurst、浅野浩一、橘啓八郎共著の論文『マーカー追跡に基づく拡張現実感システムとそのキャリブレーション』（日本バーチャルリアリティ学会論文誌, Vol.4, No.4, 1999）には、平行四辺形の各頂点に配置された４つのマーカを基に平行四辺形の３次元位置及び姿勢を計測する方法について記載されている。したがって、物体教示指標１０４に４つのマーカ１０５ａ〜１０５ｄを平行四辺形状に配置することによって、加藤外著の論文で記述された方法に従って、物体教示指標１０４の位置・姿勢を数学的に算出することもできる。３点より４点の情報を用いた方が、より精度の高い計測が期待できるということを充分理解されたい。
【００９５】
図５には、図４に示した物体教示指標１０４を用いた場合の物体教示指標１０４の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順をフローチャートの形式で示している。この処理手順は、図３に示した処理ルーチンのステップＳ２に相当し、実際には、ＣＰＵ１が所定の物体教示指標の抽出、並びにその識別情報及び３次元位置・姿勢情報の取得処理アプリケーションを起動して、カメラ１０１からの入力画像を処理するという形態で実現される。以下、このフローチャートを参照しながら、物体教示指標１０４の認識処理について詳解する。
【００９６】
カメラ１０１からの入力画像からマーカが抽出されると（ステップＳ１１）、抽出されたマーカが３つかどうかを判定する（ステップＳ１２）。これは、Ｒｏｂｅｒｔ外著の論文（前述）に記述された数学的算出方法によれば３点の画像座標から３次元位置及び姿勢を推定できることに依拠する。物体教示指標１０４上に３点以上のマーカを設置した場合、３次元位置及び姿勢を推定するアルゴリズムによっては、必要なマーカの数は３つ以上に設定してもよい。
【００９７】
ステップＳ１２において、抽出されたマーカの数は３つと判定された場合には、次いで、Ｒｏｂｅｒｔ外著の論文（前述）に記述されている数学的算出方法に従い３次元位置及び姿勢を推定する（ステップＳ１３）。
【００９８】
また、ステップＳ１２及びＳ１３における３次元位置及び姿勢の代替的な処理として、物体教示指標１０４上に平行四辺形を形成するように４つのマーカを配設しておき、カメラ１０１からの入力画像から平行四辺形状に４つのマーカを抽出することができたときに、加藤外著の論文（前述）に記載されている方法に従い、数学的算出により物体教示指標１０４の３次元位置及び姿勢を推定する。また、この場合で３つのマーカしか抽出できないときに、Ｒｏｂｅｒｔ外著の論文（前述）に記述されている数学的算出方法に従い３次元位置及び姿勢を推定するようにしてもよい。
【００９９】
次いで、物体教示指標１０４の識別情報を認識する（ステップＳ１４）。物体教示指標１０４には型番などの識別情報が例えば文字情報の形式で明記されているので、これを文字認識技術などを用いて認識する。あるいは、物体教示指標１０４には文字ではなくバーコードやその他のビジュアル・コードの形式で識別情報が明記されている場合には、そのパターン認識によって識別情報を認識することも可能である。
【０１００】
一方、ステップＳ１２において、抽出されたマーカの個数が３つに満たないと判定された場合には、物体教示指標１０４の識別は不可能という結果を返して、本処理ルーチンを終了する。
【０１０１】
上述したように、カメラ１０１及び複合現実感表示装置１０２からなる本実施形態に係るシステムによれば、物体教示指標１０４からその識別情報及び３次元位置・姿勢情報を同時に取得することができる。
【０１０２】
図４に示したように物体教示指標１０４に複数のマーカ１０５ａ〜１０５ｃを設置するのは、カメラ１０１による撮像画像に対する物体教示指標１０４の３次元位置及び姿勢を推定したいため（言い換えれば、物体認識においてカメラ１０１が持つ空間的分解能を活用したいため）である。したがって、物体教示指標１０４の認識において３次元位置及び姿勢が必要でない場合、例えば、画像データ中の物体教示指標１０４の位置に識別情報に対応した２次元画像を単に重ねて表示する場合には、識別情報を得るための単一のマーカのみを物体教示指標１０４に配設しておけば充分である。
【０１０３】
また、物体教示指標１０４にマーカ１０５が１つであっても、カメラ１０１を複数用いることによって、三角測量の原理（周知）より物体教示指標１０４の３次元位置および姿勢を推定することが可能である。
【０１０４】
（２）構成例２：
図６には、物体教示指標１０４の他の構成例を示している。同図において、物体教示指標１０４の各頂点に配設されているマーカは、色、形状、パターンなどの静的な光学識別情報の代わりに、パルス発信が可能なＬＥＤなどの光源１０５ａ’〜１０５ｃ’が設置されている。これらの光源はそれぞれ識別可能なようにＩＤを持っており、各ＩＤに応じた点滅パターンに従って、光源を点滅させる。また、各光源１０５ａ’〜１０５ｃ’は、ＩＤ以外の送信データを点滅パターンに符号化して送信することもできる。
【０１０５】
また、物体教示指標１０４の略中央には、対応する実物体に関連した情報（例えば、製品型番の文字情報など）が明記（印字）されている。但し、各光源１０５ａ’〜１０５ｃ’のＩＤと物体教示指標の識別情報をともに点滅パターンに符号化して同時に送信することも可能である。例えば、８ビットのデータを送信する場合、上位６ビットを物体教示指標１０４が持つ識別情報に割り当て、下位２ビットを各光源１０５ａ’〜１０５ｃ’のＩＤに割り当てることができる。このような場合、物体教示指標１０４本体への情報の印字（並びに印字情報の画像認識）を省略することができる。
【０１０６】
複合現実感表示装置１０２に接続されているカメラ１０１は、例えばＣＭＯＳセンサやＣＣＤセンサなどのように、無数の受光素子すなわち画素が２次元アレイ上に配置されたイメージ・センサ（図示しない）を備えており、物体教示指標１０４上の点滅光源からなる各マーカ１０５ａ’〜１０５ｃ’に対して空間的な分解能を持つ。そして、カメラ１０１で捕捉される動画像を基に各光源１０５ａ’〜１０５ｃ’の点滅パターンを空間的に認識して、それぞれの点滅パターンの受光位置及び点滅パターンによって表されるＩＤを認識することができる。
【０１０７】
このように各マーカ１０５ａ’〜１０５ｃ’がＬＥＤのように光の点滅するデバイスで構成されている場合、各マーカ１０５ａ’〜１０５ｃ ’は、データを点滅パターンなどの時系列の光学信号に符号化して送信することができる。このような場合、各マーカ１０５ａ’〜１０５ｃ’を備えた物体教示指標１０４は、単に実物体の識別情報や空間的な位置や姿勢を計測するための指標としてだけでなく、送信装置としても機能することができる。また、光学信号は距離に応じてデータが変化しないことから、距離に関しロバストなデータ伝送を行なうことができる。このような光の点滅パターンを利用したデータ通信システムに関しては、本出願人に既に譲渡されている特願２００１−３２５３５６号明細書（前述）に開示されている。
【０１０８】
図７には、物体教示指標１０４が各マーカ１０５ａ’〜１０５ｃ’として３個の発光ダイオードを装備したときのカメラ１０１及び複合現実感表示装置１０２側での動作特性を模式的に示している。それぞれの発光ダイオード１０５ａ’〜１０５ｃ ’は識別情報等の送信したいデータを光の点滅パターンに符号化して光学信号として送出することができる。勿論、送信データからなるベースバンド信号をそのまま光の点滅パターンで表してもよいし、あるいは周波数変調や振幅変調などの変調処理を施した後に光学信号を出力するようにしてもよい。
【０１０９】
この場合、各発光ダイオードの点滅パターンは、集光レンズ系（図示しない）によってカメラ１０１側の２次元イメージ・センサの受光面上に結像されて、物体教示指標１０４の実空間上の位置や姿勢に対応した位置の受光素子で検出される。
【０１１０】
例えば、イメージ・センサが持つ２次元受光面において各発光ダイオード１０５ａ’〜１０５ｃ ’の点灯光が結像される受光素子（画素）の座標値をそれぞれ（１０，１０）、（９０，９０）、（４０，７０）とすると、各画素位置では対応する発光ダイオードの点滅パターンが受光強度（明るさ）の時間的変化として検出される。受光強度を所定の閾値で２値化処理することにより、元の送信データに相当する１／０のビット列を復元することができる。
【０１１１】
このように、複合現実感表示装置１０２は、カメラ１０１によって測定対象物体１０１を含んだシーンの撮影画像を全画素でデコードすることによって、各マーカ１０５ａ’〜１０５ｃ ’から送出される光学信号、並びに物体教示指標１０４の空間的情報をすることができる。すなわち、光学信号により物体教示指標１０４との間でデータ伝送を行なうことができるとともに、空間的情報が意味する実世界状況に基づく拡張現実サービスを提供することができる。
【０１１２】
図８には、図６に示した物体教示指標１０４を用いた場合の物体教示指標１０４の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順をフローチャートの形式で示している。この処理手順は、図３に示した処理ルーチンのステップＳ２に相当し、実際には、ＣＰＵ１が所定の物体教示指標の抽出、並びにその識別情報及び３次元位置・姿勢情報の取得処理アプリケーションを起動して、カメラ１０１からの入力画像を処理するという形態で実現される。以下、このフローチャートを参照しながら、物体教示指標１０４の認識処理について詳解する。
【０１１３】
まず、カメラ１０１からの入力画像を画像処理して、点滅パターンの抽出、並びに点滅パターンによって表される送信データのデコードを行なう（ステップＳ２１）
【０１１４】
次いで、抽出された点滅パターンが３つかどうかを判定する（ステップＳ２２）。これは、Ｒｏｂｅｒｔ外著の論文（前述）に記述された数学的算出方法によれば３点の画像座標から３次元位置及び姿勢を推定できることに依拠する。
【０１１５】
ステップＳ２２において、抽出されたマーカの数は３つと判定された場合には、次いで、Ｒｏｂｅｒｔ外著の論文（前述）に記述されている数学的算出方法に従い３次元位置及び姿勢を推定する（ステップＳ２３）。また、点滅パターンの形式で物体教示指標１０４からデータが送られてくる場合には、そのデコード結果と統合して、３次元位置及び姿勢を推定するようにしてもよい。
【０１１６】
また、ステップＳ２２及びＳ２３における３次元位置及び姿勢の代替的な処理として、物体教示指標１０４上に平行四辺形を形成するように４つの点滅光源を配設しておき、カメラ１０１からの入力画像から平行四辺形状に４つの点滅パターンを抽出することができたときに、加藤外著の論文（前述）に記載されている方法に従い、数学的算出により物体教示指標１０４の３次元位置及び姿勢を推定する。
【０１１７】
次いで、物体教示指標１０４の識別情報を認識する（ステップＳ２４）。物体教示指標１０４には型番などの識別情報が例えば文字情報の形式で明記されているので、これを文字認識技術などを用いて認識する。あるいは、物体教示指標１０４には文字ではなくバーコードやその他のビジュアル・コードの形式で識別情報が明記されている場合には、そのパターン認識によって識別情報を認識することも可能である。
【０１１８】
また、点滅パターンの形式で物体教示指標１０４からデータが送られてくる場合には、ステップＳ２４では、そのデコード結果と統合して、識別情報を認識するようにしてもよい。
【０１１９】
あるいは、各光源１０５ａ’〜１０５ｃ’により点滅パターンの形式で送信されるＩＤのみで情報が伝達され、物体教示指標１０４に情報の印字がない場合には、ステップＳ２４では各光源１０５ａ’〜１０５ｃ’における点滅パターンのデコード結果のみにより識別情報の認識を行なう。例えば、各光源１０５ａ’〜１０５ｃ’からは上位６ビットを物体教示指標１０４が持つ識別情報に割り当て、下位２ビットを各光源１０５ａ’〜１０５ｃ’のＩＤに割り当てた８ビットのデータが送信されており、これをデコード処理する。
【０１２０】
図９には、図６に示した物体教示指標１０４の変形例を示している。同図において、物体教示指標１０４の各頂点には、パルス発信が可能なＬＥＤなどの光源１０５ａ’〜１０５ｃ’が設置されている。また、物体教示指標１０４の略中央には、対応する実物体に関連した情報（例えば、製品型番の文字情報など）を印字する代わりに、これらの情報を光の点滅パターンに符号化して送信する光源１０６が追加して配設されている。
【０１２１】
このような場合、複合現実感表示装置１０２側では、カメラ１０１からの入力画像を基に、光源１０６の点滅パターンを空間的に認識することによって、物体教示指標１０４における識別情報をデコードすることができる。
【０１２２】
（３）構成例３：
図１０には、物体教示指標１０４の他の構成例を示している。同図に示す物体教示指標１０４の光学的な識別情報は、「サイバーコード（Ｃｙｂｅｒｃｏｄｅ）」で構成されている。
【０１２３】
このサイバーコードは、２次元的なビジュアル・コードの一種であり、サイバーコードの所在を表すための「ガイド・バー表示領域」と、２次元状のコード・パターンを表示する「コード・パターン表示領域」とで構成されてモザイク状の模様をなす。コード・パターン表示領域内は、ｎ×ｍマトリックス（同図では７×７）に配列されたセルで構成され、各セルを白又は黒の２値表現することで識別情報を付与することができる。但し、コード・パターン表示領域の４隅のコーナー・セルは、識別情報としてではなく位置合わせ（Image Registration）パターンとして、常に黒パターンとなっている。
【０１２４】
サイバーコードの認識手順は、撮像画像を２値化するステップと、２値画像中からガイド・バー１００２の候補を発見するステップと、ガイド・バー１００２の位置や方向に基づいてコーナー・セル１００３を探索するステップと、ガイド・バー１００２及びコーナー・セル１００３を検出したことに応答して画像ビットマップ・パターンを復号化するステップとに大別される。さらに、エラービットの検査を行うことで、撮像画像中に正しいサイバー・コードが含まれていることを確認して、該コードの識別情報や位置情報を導出することができる。また、コーナー・セル１００３の位置に基づいて、カメラやオブジェクトの傾きによって生じる歪みを算出して補償することができる。
【０１２５】
サイバーコードの詳細については、例えば、本出願人に既に譲渡されている特開２０００−８２１０８号公報（「２次元コ―ド認識処理方法、２次元コ―ド認識処理装置、および媒体」）にも開示されている。
【０１２６】
図１１には、図１０に示した物体教示指標１０４を用いた場合の物体教示指標１０４の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順をフローチャートの形式で示している。この処理手順は、図３に示した処理ルーチンのステップＳ２に相当し、実際には、ＣＰＵ１が所定の物体教示指標の抽出、並びにその識別情報及び３次元位置・姿勢情報の取得処理アプリケーションを起動して、カメラ１０１からの入力画像を処理するという形態で実現される。以下、このフローチャートを参照しながら、物体教示指標１０４の認識処理について詳解する。
【０１２７】
まず、カメラ１０１からの入力画像の２値化処理を行ない（ステップＳ３１）、次いでこの２値化画像中からガイド・バー１００２の候補を抽出する（ステップＳ３２）。そして、ガイド・バー１００２が抽出されたかどうかを判定する（ステップＳ３３）。
【０１２８】
ガイド・バー１００２が抽出されたならば、後続のステップＳ３４へ進み、ガイド・バー１００２の位置や方向を基準にして、さらにコーナー・セル１００３を探索する。そして、コーナー・セル１００３が抽出されたかどうかを判定する（ステップＳ３５）。
【０１２９】
そして、コーナー・セル１００３を抽出することができたならば、さらに後続のステップＳ３６へ進んで、ガイド・バー１００２及びコーナー・セル１００３を検出したことに応答して画像ビットマップ・パターンを復号化して、物体教示指標１００１の識別情報を取得する。
【０１３０】
次いで、入力画像中で検出されたガイド・バー１００２及びコーナー・セル１００３の位置から物体教示指標１００１のカメラ１０１に対する３次元位置及び姿勢を推定する（ステップＳ３７）。
【０１３１】
ここで、サイバーコードの４箇所のコーナー・セル１００３の画像座標から３次元位置及び姿勢を推定するためには、例えば、加藤博一、Mark Billinghurst、浅野浩一、橘啓八郎共著の論文“マーカー追跡に基づく拡張現実感システムとそのキャリブレーション”（日本バーチャルリアリティ学会論文誌, Vol.4, No.4, 1999）（前述）に記載されているような、識別可能な平行四辺形の４頂点に基づいてその３次元位置及び姿勢を数学的に算出する方法を適用することができる。
【０１３２】
なお、図４に示した構成の物体教示指標１０４では、各コーナー・セル１００３を単体では識別することはできないが、ガイド・バー１００２との位置関係を用いると識別することができ、同様の手法により３次元位置及び姿勢を推定することが可能である。
【０１３３】
一方、ステップＳ３３においてガイド・バー１００２を発見することができなかった場合、及びステップＳ３５においてコーナー・セル１００３を認識することができなかった場合には、物体教示指標１０４の３次元位置及び姿勢の取得が不能である旨の結果を返して、本処理ルーチン全体を終了する。
【０１３４】
Ｃ．画像データの合成
Ｂ項で示したような方法によって、現実空間に配置した物体教示指標１０４の識別情報及びカメラ１０１に対する３次元位置・姿勢を取得することができる。さらに、仮想空間において、検出した識別情報に対応する３次元モデルを、物体教示指標１０４から求められた３次元位置・姿勢に配置することによって、複合現実空間を作成することができる。
【０１３５】
家具、家電製品、インテリアなど、製品毎に物体教示指標１０４を作成することが望ましい。例えば、図１２に示すような商品パンフレット１２０１の一部に物体教示指標１２０２を貼り付ける。
【０１３６】
消費者は、例えば訪れた店舗で、商品を購入しなくても、商品パンフレット１２０１だけを持ち帰ればよい。そして、自宅の部屋の所望の位置に、該当する商品についての物体教示指標１２０２を配置して、カメラ１０１で室内の風景を撮影する。
【０１３７】
この撮影画像を複合現実感表示装置１０２に投入すると、現実空間に配置した物体教示指標１０４の識別情報及びカメラ１０１に対する３次元位置・姿勢を取得する。さらに、仮想空間において、検出した識別情報に対応する商品の３次元モデルを、物体教示指標１０４から求められた３次元位置・姿勢に配置することによって、複合現実空間画像を作成して、画面表示装置１０３に出力する。この結果、消費者は、実際に商品を室内に配置することなく、複合現実空間画像の表示出力を基に、商品のサイズや色など、部屋との調和を購入前に確認することが可能となる。
【０１３８】
このような仮想空間上に３次元モデルを合成する処理は、図３に示したフローチャートのステップＳ７で行われる処理に相当する。以下、画像データと３次元モデルの合成方法について、再び図３を参照しながら説明する。
【０１３９】
まず、カメラ１０１から入力された画像データを出力画像に相当するフレームバッファに描画する（ステップＳ１）。このとき、入力画像の大きさと出力画像の大きさが異なる場合には、入力画像を縮小又は拡大して、出力画像の大きさに合わせる。
【０１４０】
次いで、物体教示指標の抽出、その識別情報、３次元位置・姿勢情報の取得処理ルーチンにより、撮影された画像データ中の物体教示指標１０４を抽出して（ステップＳ２，Ｓ３）、さらに、抽出された物体教示指標１０４の識別情報に対応した実物体（家具、家電製品、インテリアなど）についての３次元モデルを取得する（ステップＳ４）。
【０１４１】
次いで、ステップＳ４で取得された３次元モデルを、カメラ１０１の入力画像で示される現実空間上でステップＳ２で取得された３次元位置・姿勢に配置して（ステップＳ６）、レンダリングする。このとき、画角などといった仮想空間上のカメラの属性を現実世界のカメラの属性（カメラの種類やレンズ歪など）に合わせなければならない。
【０１４２】
このようにして入力画像が表す現実空間上に仮想的な３次元モデルを重ねて表示することによって、複合現実空間画像を作成することが可能である。
【０１４３】
上記の方法では、入力画像上に3次元モデルを重ねて描画しているだけである。このため、例えば図１３に示すように、カメラ１０１と物体教示指標１０４の間にユーザの手などの障害物がある場合（但し、物体教示指標１０４のマーカ１０５ａ〜１０５ｃは手で隠れていないものとする）、合成画像Ａ０３は、図示のように、手の上に仮想物体Ａ０２が表示され、不自然な画像になる。
【０１４４】
一方、例えば"Entertainment Vision Sensor"のようなカメラからの距離情報を検出できる３次元計測機能を搭載したイメージセンサを用いた場合には、画像データと同時にカメラに対する物体の距離情報を取得することができるので、上記の問題を回避することができる。あるいは、カメラ１０１に対する物体教示指標１０４の位置関係が既知である空間内では、カメラ１０１からの距離情報に基づいて描画する物体を判断することができるので、同様に上記の問題を回避することができる。
【０１４５】
つまり、各画素を描画する際に最もカメラに近い物体を選択し描画することによって、図１４に示すような自然な合成画像Ｂ０１を得ることが可能である。
【０１４６】
なお、"Entertainment Vision Sensor"は、１チップでカラー動画像と３次元距離情報の両方を、毎秒１５フレーム又は３０フレームで取得可能な高機能ＣＭＯＳイメージ・センサである。これら動画像と距離情報を同時に利用することにより、画像認識、物体認識、動き検出など、これまで外部に複雑な情報処理を必要としていた機能を小規模なシステムで実現することができます。これにより、ＰＣ、ゲームなどのユーザ・インターフェースや３次元モデリング、ロボットの障害物検知・人物検知、セキュリティ・システムにおける個人認証、テレビ電話の画像抽出機能など、さまざまな分野において多様なアプリケーションを提供することができる（http://www.sony.co.jp/SonyInfo/News/Press/）。
【０１４７】
［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１４８】
【発明の効果】
以上詳記したように、本発明によれば、コンピュータやネットワーク上で実装された仮想空間上で実世界の様相を組み込むことができる、優れた複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１４９】
また、本発明によれば、ユーザが存在する場所や実世界オブジェクトの実空間上の位置・姿勢などの実世界状況を積極的に利用して仮想空間を現実世界に拡張することができる、優れた複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１５０】
また、本発明によれば、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示することができる、優れた複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１５１】
また、本発明によれば、実物体を模倣した仮想物体を現実空間に合成して表示することができる、優れた複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１５２】
本発明に係る複合現実感表示装置によれば、実空間上のシーンに仮想物体が合成された複合現実感画像を基に、家庭内の家具や電化製品、インテリアなどが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなどを、実際に購入する前に判断することが可能である。また、家具や電化製品、インテリアなどの仮想物体以外の室内の風景や物体は、カメラから取り込まれた現実の画像をそのまま利用する。すなわち、現実空間について完全なモデルを作成あるいは入手する必要がなく、容易に拡張現実感画像を生成することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る複合現実感システムの構成を模式的に示した図である。
【図２】本実施形態に係る複合現実感装置１０２のハードウェア構成を模式的に示した図である。
【図３】複合現実感装置１０２上で実行される複合現実感表示の処理手順を示したフローチャートである。
【図４】物体教示指標１０４の１つの構成例を示した図である。
【図５】図４に示した物体教示指標１０４を用いた場合の物体教示指標の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順を示したフローチャートである。
【図６】物体教示指標１０４の他の構成例を示した図である。
【図７】物体教示指標１０４が各マーカ１０５ａ’〜１０５ｃ’として３個の発光ダイオードを装備したときのカメラ１０１及び複合現実感表示装置１０２側での動作特性を模式的に示した図である。
【図８】図６に示した物体教示指標１０４を用いた場合の物体教示指標１０４の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順を示したフローチャートである。
【図９】図６に示した物体教示指標１０４の変形例を示した図である。
【図１０】物体教示指標１０４の他の構成例を示した図である。
【図１１】図１０に示した物体教示指標１０４を用いた場合の物体教示指標１０４の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順を示したフローチャートである。
【図１２】複合現実感画像の構成例を示した図である。
【図１３】複合現実感画像の構成例を示した図である。
【図１４】複合現実感画像の構成例を示した図である。
【符号の説明】
１…ＣＰＵ
２…主メモリ，３…ＲＯＭ
４…ディスプレイ・コントローラ
５…入力機器インターフェース
６…ネットワーク・インターフェース
７…外部機器インターフェース
８…バス，９…カメラ・インターフェース
１１…ディスプレイ
１２…キーボード，１３…マウス
１４…ハード・ディスク装置
１５…メディア・ドライブ
１０１…カメラ
１０２…複合現実感装置
１０３…画像表示装置
１０４…物体教示指標
１０５ａ〜１０５ｃ…マーカ
１０５ａ’〜１０５ｃ’…マーカ(光源)
１０６…光源
【発明の属する技術分野】
本発明は、コンピュータやネットワーク上で実装された仮想空間上で実世界の様相を組み込む複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、ユーザが存在する場所や実世界オブジェクトの実空間上の位置・姿勢などの実世界状況を積極的に利用して仮想空間を現実世界に拡張する複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示する複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、実物体を模倣した仮想物体を現実空間に合成して表示する複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【０００３】
【従来の技術】
情報処理技術や情報通信技術が高度に発達した現代においては、パーソナル・コンピュータや携帯情報端末を始めとする情報機器がオフィスや家庭内などの実世界上のいたるところに遍在する。このような環境下では、機器どうしを接続して、いつでもどこでも欲しい情報を入手する「ユビキタス（Ubiquitous）・コンピューティング」や、実世界の状況（実世界の事物やユーザの位置など）を積極的に利用した拡張現実システム（Augmented Reality：ＡＲ）の実現が期待される。
【０００４】
ユビキタス・コンピューティングの概念は、人がどこに移動しても利用できるコンピュータの環境が同じであることである。すなわち、「いつでもどこでも」なのだから、究極のユビキタス・コンピューティングは、必ずしもコンピュータやＰＤＡ（Personal Digital Assistant）や携帯電話機などの情報端末を必要とはしない。
【０００５】
また、拡張現実システムによれば、ユーザの位置などの実世界状況を利用したサービスを提供することができる。この場合、ユーザは携帯端末を保持するだけで、システムはユーザの近傍や視界中にある実世界の事物に応じた情報を提示して、ネットワーク上にある膨大な情報を利用して日常生活のあらゆる局面を支援することができる。例えば、ショッピング・モールでカメラ付き携帯端末をかざしてＣＤショップを訪ねると、お薦めの新譜が端末上で表示される。また、レストランの看板を見ると、料理の感想が表示される。
【０００６】
例えば、家庭内の家具や電化製品、インテリアなどを購入する際、それらが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなど、実際に購入する前に調べたいことが多々ある。また、部屋の模様替えを行う際、実際に家具や家電製品、インテリアなどの配置をいろいろと変更し、試したいものである。
【０００７】
ユーザが現実世界でのみ生活する場合、購入前に実際に自宅の部屋に実物を配置することは困難である。また、一般に家具や電化製品、インテリアなどは大きく重いので、実際に実物を動かしたり、室内でさまざまな配置を試みることは重労働であり現実的でない。
【０００８】
これに対し、コンピュータ上に実際の住居を模倣した３次元の仮想住居を構築して、この仮想住居の中に家具や電化製品、インテリアなどの３次元モデルを配置して、さまざまな視点から住居を眺めることができるアプリケーションが考案されている。これらのアプリケーションは、近年におけるコンピュータの処理速度の向上や、３次元コンピュータ・グラフィックス（３ＤＣＧ）技術の発展に伴い、リアリティ溢れる表現力を可能にしている。
【０００９】
しかしながら、これらの仮想現実アプリケーションを実際に利用する場合、いくつかの問題点がある。
【００１０】
まず、自分が住んでいる部屋のモデルを構築しなければならない点である。住んでいる部屋の間取りを、瞬時に、かつ正確に作成できる人は稀であり、一般にはメジャー等で実際に部屋を計測したり、家を購入する際に入手した間取り図を参考に構築しなければならない。概略的な部屋の雰囲気を表現したいのであれば大まかな部屋モデルで十分であるが、家具や電化製品、インテリアなどのサイズを調べるには正確な部屋モデルの構築が不可欠となる。
【００１１】
また、住居を模倣するには所有している家具や電化製品、インテリアなどの３次元モデルが必要であるが、これらの完全なモデルを作成あるいは入手することは困難であり、複数の３次元モデル素材の中から最も近似しているモデルを選択するのが現状である。このため、現実の住居とは異なる仮想住居が構築されてしまう。
【００１２】
さらに、コンピュータの処理速度の向上とともに、ＣＧ技術が発展し、表現力が格段に向上されたとは言え、現実と見間違えるような表現は難しく、可能であっても多大な計算時間を要するのがほとんどである。
【００１３】
【発明が解決しようとする課題】
本発明の目的は、コンピュータやネットワーク上で実装された仮想空間上で実世界の様相を組み込むことができる、優れた複合現実感表示装置及び方法、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、ユーザが存在する場所や実世界オブジェクトの実空間上の位置・姿勢などの実世界状況を積極的に利用して仮想空間を現実世界に拡張することができる、優れた複合現実感表示装置及び方法、並びにコンピュータ・プログラムを提供することにある。
【００１５】
本発明のさらなる目的は、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示することができる、優れた複合現実感表示装置及び方法、並びにコンピュータ・プログラムを提供することにある。
【００１６】
本発明のさらなる目的は、実物体を模倣した仮想物体を現実空間に合成して表示することができる、優れた複合現実感表示装置及び方法、並びにコンピュータ・プログラムを提供することにある。
【００１７】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、仮想物体を現実空間に合成して表示する複合現実感表示装置又は方法であって、
物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力部又はステップと、
前記画像入力部又はステップによる入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算部又はステップと、
前記画像入力部又はステップによる入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識部又はステップと、
前記物体認識部又はステップにより認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算部又はステップにより算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成部又はステップと、
を具備することを特徴とする複合現実感表示装置又は方法である。
【００１８】
本発明の第１の側面に係る複合現実感表示装置又は方法によれば、物体教示指標をカメラで撮影して、この撮影画像を基に物体教示指標が持つ識別情報を取得するとともに、物体教示指標が現実空間に配置された３次元位置・姿勢を取得する。さらに、仮想空間において、検出した識別情報に対応する３次元モデルを、物体教示指標から求められた３次元位置・姿勢に配置することによって、複合現実空間を比較的短時間で且つ低コストに作成することができる。
【００１９】
例えば、家庭内の家具や電化製品、インテリアなどを購入する際、それらが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなど、実際に購入する前に調べたいことが多々ある。また、部屋の模様替えを行う際、実際に家具や家電製品、インテリアなどの配置をいろいろと変更し、試したいものである。ところが、購入前に実際に自宅の部屋に実物を配置することは困難である。また、一般に家具や電化製品、インテリアなどは大きく重いので、実際に実物を動かしたり、室内でさまざまな配置を試みることは重労働であり現実的でない。
【００２０】
これに対し、本発明の第１の側面に係る複合現実感表示装置又は方法によれば、家具や家電製品、インテリアなどの現実の物体を配置してみたい場合には、現実の物体に代えて、物体教示指標を設置するだけで、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示することができる。
【００２１】
したがって、ユーザは、実空間上のシーンに仮想物体が合成された複合現実感画像を基に、家庭内の家具や電化製品、インテリアなどが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなどを、実際に購入する前に判断することが可能となる。また、家具や電化製品、インテリアなどの仮想物体以外の室内の風景や物体は、カメラから取り込まれた現実の画像をそのまま利用する。すなわち、現実空間について完全なモデルを作成あるいは入手する必要がなく、容易に拡張現実感画像を生成することができる。
【００２２】
ここで、前記画像合成部又はステップは、前記物体認識部により認識された現実物体に関する料金や仕様、あるいはその他の関連情報を入力画像上にさらに合成するようにしてもよい。
【００２３】
また、さらに前記物体教示指標までの距離を測定する距離測定部又はステップを備えていてもよい。このような場合、前記画像合成部又はステップは、前記距離測定部又はステップにより得られた距離に基づいて前記仮想物体に陰面処理を適用することにより、より自然な合成画像を得ることができる。
【００２４】
前記物体教示指標には光学的識別情報が配設されている。光学的識別情報とは、例えば、固有の色、形状、又はバーコードなどのビジュアルコード、あるいは識別情報やその他のデータを符号化した光の点滅パターンなどで構成される。
【００２５】
このような場合、前記物体認識部又はステップは、入力画像から光学的識別情報を抽出して物体の識別情報を取得することができる。
【００２６】
また、物体教示指標に互いの位置関係が既知である複数の光学的識別情報を配設するようにしてもよい。このような場合、前記位置・姿勢計算部又はステップは、入力画像から光学的識別情報を抽出して、該入力画像における各光学的識別情報の検出位置に基づいてその空間的な位置及び姿勢を算出することができる。
【００２７】
例えば、Robert M. Haralick、Chung-nan Lee、Karsten Ottenberg、及びMichael Nolle共著の論文"Analysis and Solutions of The Three Point Perspective Pose Estimation Problem"（In Proceedings of the Conference on Computer Vision and Pattern Recognition, Maui, Hawaii, USA, pp.592-598, 1991）には、対象物体上に配設された既知の３点の位置から該物体の３次元位置及び姿勢を計測する方法について記述されている。したがって、３個以上の光学的識別情報を物体教示指標に配設しておけば、前記位置・姿勢計算部又はステップは、このＲｏｂｅｒｔ外著の方法を用いて、入力画像上で抽出される３つの光学的識別情報の検出位置を基に対応する３次元位置及び姿勢を数学的に算出することができる。
【００２８】
また、加藤博一、Mark Billinghurst、浅野浩一、橘啓八郎共著の論文『マーカー追跡に基づく拡張現実感システムとそのキャリブレーション』（日本バーチャルリアリティ学会論文誌, Vol.4, No.4, 1999）には、平行四辺形の各頂点に配置された４つのマーカを基に平行四辺形の３次元位置及び姿勢を計測する方法について記載されている。したがって、平行四辺形の頂点をなす４個以上の光学的識別情報を物体教示指標に配設しておけば、前記位置・姿勢計算部又はステップは、この加藤外著の方法を用いて、入力画像上で抽出される４つの光学的識別情報の検出位置を基に対応する３次元位置及び姿勢を数学的に算出する選択することができる。
【００２９】
光学的識別情報が光の点滅パターンとして表されている場合には、前記物体認識部又はステップは、入力画像を基に各点滅光源からの点滅パターンを抽出するとともにこれらを復号化して前記物体教示指標が持つ識別情報を認識することができる。
【００３０】
また、このような場合、前記位置・姿勢計算部又はステップは、入力画像を基に各点滅光源からの点滅パターンを抽出しこれらを復号化して各々を識別するとともに、該入力画像における各点滅光源の検出位置に基づいてその空間的な位置及び姿勢を算出することができる。
【００３１】
また、本発明の第２の側面は、仮想物体を現実空間に合成して表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力ステップと、
前記画像入力ステップにおける入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算ステップと、
前記画像入力ステップにおける入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識ステップと、
前記物体認識ステップにおいて認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算ステップにおいて算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成ステップと、を具備することを特徴とする記憶媒体である。
【００３２】
本発明の第２の側面に係る記憶媒体は、例えば、さまざまなプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、ＤＶＤ（Digital Versatile Disc）やＣＤ（Compact Disc）、ＦＤ（Flexible Disk）、ＭＯ（Magneto-Optical disc）などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク（ネットワークは無線、有線の区別を問わない）などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。
【００３３】
また、本発明の第２の側面に係る記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第２の側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る複合現実感表示装置又はその方法と同様の作用効果を得ることができる。
【００３４】
また、本発明の第３の側面は、仮想物体を現実空間に合成して表示するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力ステップと、
前記画像入力ステップにおける入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算ステップと、
前記画像入力ステップにおける入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識ステップと、
前記物体認識ステップにおいて認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算ステップにおいて算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成ステップと、を具備することを特徴とするコンピュータ・プログラムである。
【００３５】
本発明の第３の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第３の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１側面に係る複合現実感表示装置又はその方法と同様の作用効果を得ることができる。
【００３６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３７】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３８】
本発明に係る複合現実感表示システムは、実世界上に存在する物理オブジェクトに対して複数の光学的な識別情報を取り付けるとともに、これを２次元イメージ・センサを利用して撮影して画像処理・画像認識により、オブジェクトの同定するとともにその３次元的な位置や姿勢などのオブジェクトが持つ実世界状況を基にした拡張現実（ＡＲ：Augmented Reality）サービスを実現するものであり、例えば、現実空間の一部が仮想世界に拡張された複合現実感画像を提供する。
【００３９】
実世界オブジェクトに取り付ける光学的な識別情報として、色の空間パターンに符号化されたビジュアル・コードの他に、ＬＥＤのような点滅する光源からなる光学信号を利用することができる。後者の場合、距離に応じてデータが変化しない点滅パターンなどの時系列の光学信号に符号化して、データを送信することができる。
【００４０】
また、イメージ・センサは、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補性金属酸化膜半導体）センサやＣＣＤ（Charge Coupled Device：電荷結合素子）センサなどのように、無数の受光素子すなわち画素が２次元アレイ上に配置された構成であり、光学信号並びにその空間的情報を全画素でデコードする。イメージ・センサは、普通のカメラとしてシーンを撮影するとともに、そのイメージ・センサの視界中に配置された光学信号を長距離から受信することができる。したがって、光学的な識別情報を備えた実世界オブジェクトを、実世界状況を発信するための送信機としても利用することができる。
【００４１】
実世界オブジェクトに取り付けられる複数の光学的識別情報は、互いに識別可能であるだけでなく、互いの空間的な位置関係があらかじめ分かっているものとする。このような場合、空間的な解像度を持つ測定装置により実世界オブジェクトを認識することにより、単にその実世界オブジェクトを同定するだけでなく、その３次元的な位置や姿勢などを測定することができる。実世界オブジェクトが持つ空間的な位置や姿勢は、言わば実世界状況に相当する。
【００４２】
したがって、実世界オブジェクトの３次元位置・姿勢の計測結果を実世界の状況（実世界の事物やユーザの位置など）として積極的に利用することにより、拡張現実システム（Augmented Reality：ＡＲ）の実現に役立てることができる。
【００４３】
拡張現実システムによれば、ユーザの位置などの実世界情報を利用したサービスを提供することができる。この場合、ユーザは携帯端末を保持するだけで、システムはユーザの近傍や視界中にある実世界の事物に応じた情報を提示して、ネットワーク上にある膨大な情報を利用して日常生活のあらゆる局面で支援を享受することができる。例えば、ショッピング・モールでカメラ付き携帯端末をかざしてＣＤショップを訪ねると、お薦めの新譜が端末上で表示される。また、レストランの看板を見ると、料理の感想が表示される。
【００４４】
なお、本出願人に既に譲渡されている特願２００１−３２５３５６号明細書には光学的な形式で識別情報やその他のデータを担持又は伝送する光学信号と、これを捕捉する高速な２次元イメージ・センサを利用することで、空間解像度を持つとともに、遠距離でも利用可能なデータ伝送を実現するデータ通信システムについて開示している。同明細書に記載のデータ通信システムでは、ＬＥＤのような点滅する光源を光学信号とし、ビジュアル・コードのように色の空間パターンに符号化するのではなく、距離に応じてデータが変化しない点滅パターンなどの時系列の光学信号に符号化してデータを送信する。イメージ・センサは、例えばＣＭＯＳセンサやＣＣＤセンサなどのように無数の受光素子すなわち画素が２次元アレイ上に配置された構成であり、光学信号並びにその空間的情報を全画素でデコードする。したがって、イメージ・センサは、普通のカメラとしてシーンを撮影するとともに、そのイメージ・センサの視界中に配置された光学信号を長距離から受信することができる。
【００４５】
Ａ．複合現実感システムの構成
図１には、本発明の一実施形態に係る複合現実感システムの構成を模式的に示している。同図に示すように、このシステムは、カメラ１０１と、複合現実感装置１０２と、画像表示装置１０３と、物体教示指標１０４とで構成される。
【００４６】
物体教示指標１０４には、物体の３次元位置・姿勢計測を可能にするため、それぞれ識別可能な複数個のマーカが取り付けられている（後述）。各マーカは、それぞれ固有の色、形状、パターン、又は光の点滅パターンなどからなる視覚的な識別情報を持ち、マーカ毎に識別可能であるとする。また、各マーカが持つこれらの視覚的識別情報や各マーカ間の空間的な位置関係は、複合現実感システムにおいて既知であるとする。
【００４７】
カメラ１０１は、例えばレンズ歪などのない理想的なピンホール・レンズを使用して、ＣＣＤやＣＭＯＳなどの２次元イメージ・センサにより物体教示指標１０４を含む風景やその他のシーンを撮像することができる。カメラ１０１により撮像された画像フレームは空間的分解能を持つ受信データとして複合現実感装置１０２に入力される。
【００４８】
複合現実感装置１０２は、例えばパーソナル・コンピュータ（ＰＣ）などの計算機システムで構成され、ＵＳＢ（Universal Serial Bus）あるいはその他の外部インターフェースを介してカメラ１０１を接続して、撮影画像をコンピュータ・ファイルの形式で取り込むことができる。該装置１０２上では、画像フレーム中からマーカ検出に基づく３次元位置・姿勢計測処理を行なうアプリケーションが起動しており、物体教示指標１０３を含むシーン画像からマーカを３次元位置及び入力画像上の位置を基にその３次元位置及び姿勢などの実世界状況を測定する。そして、複合現実感装置１０２は、実世界状況に応じた拡張現実感サービス（後述）を提供する。
【００４９】
図１に示す例では、物体教示指標１０４は、リビング内でスピーカに挟まれたテレビ台の上に配置されて、仮想的にテレビ受像機（以下、「テレビ」とする）の存在を代行する。このとき、カメラ１０１を用いて物体教示指標１０４を含んだ領域（シーン）が撮影される。
【００５０】
カメラ１０１で取得された画像データは、空間分解能を持ち、複合現実感装置１０２へ入力されて、物体教示指標１０４の識別情報とその空間的位置や姿勢が抽出される。そして、抽出された物体教示指標１０４の識別情報に対応した仮想物体１０５（ここではテレビの３次元モデル)を入力された画像データに合成して、画像表示装置１０３に出力する。このとき、テレビの３次元モデルは、物体教示指標１０４から得られた空間的位置や姿勢などの実世界状況に基づいて現実空間の座標系にマッピングされる。
【００５１】
このようにして、カメラ１０１からの入力画像を表示出力する画像表示装置１０３の表示スクリーン上には、実際に存在しない仮想物体１０５（テレビ）が現実空間を撮影した画像上に現れる（重畳表示される）。したがって、ユーザは、現実空間内に家具や電化製品などの実物体を配置することなく、その大きさや色などといった外観が周囲環境に調和しているかを表示することが可能である。
【００５２】
図２には、本実施形態に係る複合現実感装置１０２のハードウェア構成を模式的に示している。
【００５３】
メイン・コントローラであるＣＰＵ（Central Processing Unit）１は、オペレーティング・システム（ＯＳ）の制御下で、各種のアプリケーションを実行する。
【００５４】
本実施形態では、ＣＰＵ１は、例えば、カメラ１０１の撮影画像のような空間的解像度を持つデータを基に物体教示指標１０４の空間的な位置や姿勢を計測するための３次元位置・姿勢計測アプリケーションや、物体教示指標１０４の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況を利用した拡張現実感（ＡＲ）サービスを提供するＡＲサービス・アプリケーションなどを実行することができる。
【００５５】
図示の通り、ＣＰＵ１は、バス８によって他の機器類（後述）と相互接続されている。
【００５６】
主メモリ２は、ＣＰＵ１において実行されるプログラム・コードをロードしたり、実行プログラムの作業データを一時保管するために使用される記憶装置であり、例えばＤＲＡＭ（Dynamic RAM）のような半導体メモリが使用される。例えば、カメラ１０１の撮影画像のような空間的解像度を持つデータを基に物体教示指標１０４の空間的な位置や姿勢を計測するための３次元位置・姿勢計測アプリケーションや、物体教示指標１０４の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況に応じた拡張現実感（ＡＲ）サービスを提供するＡＲサービス・アプリケーションなどが主メモリ２にロードされる。また、カメラ１０１による撮影画像に基づく物体教示指標１０４の空間的位置や姿勢に関する計算結果や、この計算結果から得られた実世界状況に応じて生成される各種のＡＲサービス・コンテンツ（例えば、家具や電化製品、インテリアなど仮想物体の３次元モデル）などが作業データとして主メモリ２に一時的に格納される。
【００５７】
また、ＲＯＭ（Read Only Memory）３は、データを恒久的に格納する半導体メモリであり、例えば、起動時の自己診断テスト（ＰＯＳＴ：Power On Self Test）や、ハードウェア入出力用のプログラム・コード（ＢＩＯＳ：Basic Input/Output System）などが書き込まれている。
【００５８】
ディスプレイ・コントローラ４は、ＣＰＵ１が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ４において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、ＣＲＴ（Cathode Ray Tube：陰極線管）ディスプレイやＬＣＤ（Liquid Crystal Display：液晶表示ディスプレイ）などからなる画像表示装置１０３によって画面出力される。
【００５９】
画像表示装置１０３の表示画面は、一般に、ユーザからの入力内容やその処理結果、あるいはエラーその他のシステム・メッセージをユーザに視覚的にフィードバックする役割を持つ。また、本実施形態においては、画像表示装置１０３の表示画面には、物体教示指標１０４に対応した仮想物体１０５をカメラ１０１による撮影画像に合成した拡張現実感シーンのようなＡＲサービス・コンテンツなどを表示出力するために利用される。ここで言うＡＲサービス・コンテンツには、例えば、家具や電化製品、インテリアなど仮想物体の３次元モデルがカメラ１０１による撮影画像に組み込まれた複合現実感画像を挙げることができる。複合現実感画像の生成方法の詳細については後述に譲る。
【００６０】
入力機器インターフェース５は、キーボード１２やマウス１３などのユーザ入力機器を複合現実感装置１０２に接続するための装置である。
【００６１】
キーボード１２やマウス１３は、データやコマンドなどのユーザ入力をシステムに取り込む役割を持つ。本実施形態では、キーボード１２やマウス１３は、３次元位置・姿勢計測アプリケーションの起動、ＡＲサービス・アプリケーションの起動、ＡＲサービスの指定などをユーザが指示するために使用される。
【００６２】
ネットワーク・インターフェース６は、Ｅｔｈｅｒｎｅｔ（登録商標）などの所定の通信プロトコルに従って、システム１０２をＬＡＮ（Local Area Network）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。
【００６３】
ネットワーク上では、複数のホスト端末（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信サービスを行なうことができる。例えば、カメラ１０１の撮影画像のような空間的解像度を持つデータを基に物体教示指標１０４の空間的な位置や姿勢を計測するための３次元位置・姿勢計測アプリケーションや、撮影画像から検出された複数点のマーカを基に３次元位置・推定を行なう複数のアルゴリズム（例えばライブラリ化されている）、物体教示指標１０４の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況に応じた拡張現実感（ＡＲ）サービスを提供するＡＲサービス・アプリケーションなどを、ネットワーク経由でダウンロードすることができる。また、ＡＲサービス・アプリケーションにおいて利用されるＡＲサービス・コンテンツ（例えば、家具や電化製品、インテリアなど仮想物体の３次元モデル）などを、ネットワーク経由で他のホスト装置との間で配信・配布することができる。また、複合現実感画像を提供するＡＲサービスとして、家具や電化製品、インテリアなどの商品を取り扱う場合には、その価格（若しくは拡張現実感サービスの利用料金）や製品仕様、在庫数など、実物体に関する付加情報をネットワーク経由でダウンロードしてもよい。
【００６４】
外部機器インターフェース７は、ハード・ディスク・ドライブ（ＨＤＤ）１４やメディア・ドライブ１５などの外部装置を複合現実感装置１０２に接続するための装置である。
【００６５】
ＨＤＤ１４は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり（周知）、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェア・プログラムを実行可能な状態でＨＤＤ１４上に置くことを、プログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ１４には、ＣＰＵ１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。例えば、カメラ１０１の撮影画像のような空間的解像度を持つデータを基に物体教示指標１０４の空間的な位置や姿勢を計測するための３次元位置・姿勢計測アプリケーションや、物体教示指標１０４の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況に応じた拡張現実感（ＡＲ）サービスを提供するＡＲサービス・アプリケーションなどを、ＨＤＤ１４上にインストールすることができる。また、撮影画像から検出された複数点のマーカを基に３次元位置・姿勢推定を行なう複数のアルゴリズム（例えばライブラリ化されている）や、ＡＲサービス・アプリケーションにおいて利用されるＡＲサービス・コンテンツ（例えば、家具や電化製品、インテリアなど仮想物体の３次元モデル）などをＨＤＤ１４上に蓄積しておいてもよい。また、複合現実感画像を提供するＡＲサービスとして、家具や電化製品、インテリアなどの商品を取り扱う場合には、その価格（若しくは拡張現実感サービスの利用料金）や製品仕様、在庫数など、実物体に関する付加情報を蓄積していてもよい。
【００６６】
メディア・ドライブ１５は、ＣＤ（Compact Disc）やＭＯ（Magneto-Optical disc）、ＤＶＤ（Digital Versatile Disc）などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。
【００６７】
可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。例えば、カメラ１０１の撮影画像のような空間的解像度を持つデータを基に物体教示指標１０４の空間的な位置や姿勢を計測するための３次元位置・姿勢計測アプリケーションや、物体教示指標１０４の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況に応じた拡張現実感（ＡＲ）サービスを提供するＡＲサービス・アプリケーションなどを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。また、撮影画像から検出された複数点のマーカを基に３次元位置・姿勢推定を行なう複数のアルゴリズム（例えばライブラリ化されている）や、ＡＲサービス・アプリケーションにおいて利用されるＡＲサービス・コンテンツ（例えば、家具や電化製品、インテリアなど仮想物体の３次元モデル）などを他の装置との間で交換するために、可搬型メディアを利用することができる。また、複合現実感画像を提供するＡＲサービスとして、家具や電化製品、インテリアなどの商品を取り扱う場合には、その価格（若しくは拡張現実感サービスの利用料金）や製品仕様、在庫数など、実物体に関する付加情報を可搬型メディア経由で流通させてもよい。
【００６８】
カメラ・インターフェース９は、カメラ１０１を接続するための装置であり、例えばＵＳＢインターフェースで構成される。あるいはビデオ・キャプチャ・カードのようにカメラ１０１から動画像を取得するインターフェースで構成されていてもよい。カメラ１０１は、画素が２次元アレイ上に配置された構成で、物体教示指標１０４から光学信号並びにその空間的情報を全画素でデコードする。
【００６９】
なお、図２に示すような複合現実感装置１０２の一例は、米ＩＢＭ社のパーソナル・コンピュータ"ＰＣ／ＡＴ（Personal Computer/Advanced Technology）"の互換機又は後継機である。勿論、他のアーキテクチャで構成されるコンピュータを、本実施形態に係る複合現実感装置１０２として適用することも可能である。
【００７０】
図３には、複合現実感装置１０２上で実行される複合現実感表示の処理手順をフローチャートの形式で示している。この処理手順は、実際には、ＣＰＵ１が所定の複合現実感処理アプリケーションを起動して、カメラ１０１からの入力画像を処理して、画面表示装置１０３に処理結果を表示出力するという形態で実現される。以下、このフローチャートを参照しながら、複合現実感表示処理について詳解する。
【００７１】
カメラ１０１から画像データが入力されると（ステップＳ１）、別途定義されている「物体教示指標の抽出、その識別情報、３次元位置・姿勢情報の取得」処理ルーチン（後述）により、撮影された画像データ中の物体教示指標１０４が抽出され、さらにその識別情報並びに３次元位置・姿勢情報が取得される（ステップＳ２）。
【００７２】
実世界状況に応じた拡張現実感サービス（ステップＳ７，Ｓ８）において、画像データ中の物体教示指標１０４の位置にその識別情報に対応した２次元画像を単に重ねて表示する場合には、ステップＳ２における処理ルーチンでは、物体教示指標１０４の３次元位置・姿勢情報の取得は省略してもよい。物体教示指標１０４の識別情報並びに３次元位置・姿勢情報の取得方法は物体教示指標１０４の態様に依存する処理であるので、後述で物体教示指標１０４の実施形態とともに詳細に説明する。
【００７３】
次いで、カメラ１０１から入力された画像から物体教示指標１０４が抽出されたがどうかを判定する（ステップＳ３）。抽出された場合には、後続のステップＳ４へ進み、抽出された物体教示指標１０４の識別情報に対応した実物体についての３次元モデルの取得を試みる。
【００７４】
ここで、３次元モデルは、実物体の販売者あるいは３次元モデル作成サービスを行なう第３者などが実物体を模倣し作成したものであり、例えばハード・ディスク装置１４上にあらかじめ格納されていたり、あるいはネットワークを介して所定の情報提供サーバ（例えば、３次元モデル・データベース）から逐次的にダウンロードするようにしてもよい。また、実物体が家具や電化製品、インテリアなどの商品である場合にはその価格（若しくは拡張現実感サービスの利用料金）や製品仕様、在庫数など、実物体に関する付加情報やその他のリアルタイム・コンテンツなどを同時にダウンロードしてもよい。
【００７５】
次いで、３次元モデルが成功裏に取得されたがどうかを判定する（ステップＳ５）。
【００７６】
３次元モデルを無事に取得することができた場合には、さらに次ステップＳ６に進み、取得した３次元モデルを、先行ステップＳ２で取得した物体教示指標１０４の３次元位置・姿勢情報に合わせて回転・移動させる。そして、ステップＳ１においてカメラ１０１から入力された現実空間のシーンである画像データと３次元モデルとを合成して、複合現実空間画像を作成する（ステップＳ７）。このとき、ＡＲサービスに関連する料金や商品の仕様、在庫数など、実物体に関する付加情報と画像データとをさらに合成してもよい。
【００７７】
次いで、前ステップＳ７によって合成された複合現実空間画像を画像表示装置１０３で表示出力する（ステップＳ８）。実空間上のシーンに仮想物体が合成された複合現実感画像を基に、家庭内の家具や電化製品、インテリアなどが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなどを、実際に購入する前に判断することが可能となる。
【００７８】
また、ステップＳ３において入力画像から物体教示指標１０４が抽出されないと判定された場合や、ステップＳ５において３次元モデルを取得することができなかった場合には、ステップＳ１で取得された画像データをそのまま画像表示装置１０３で表示出力するようにしてもよい。
【００７９】
次いで、この複合現実感表示処理を続行させるかどうか判定する（ステップＳ９）。そして、本処理ルーチンを続行するならば、ステップＳ１へ戻って上述と同様の動作を繰り返し実行する。他方、非続行ならば、ここで本処理ルーチン全体を終了させる。
【００８０】
本処理ルーチンの終了条件は、例えばキーボード１２やマウス１３を介したユーザ入力であってもよいし、アプリケーション内であらかじめ定められたルール(例えばゲームにおけるゲーム・オーバー)であってもよい。また、メモリフルなどのハードウェア又はソフトウェア上の制約を終了条件にしてもよい。
【００８１】
Ｂ．物体教示指標の構成例
（１）構成例１：
図４には、物体教示指標１０４の１つの構成例を示している。同図に示すように、物体教示指標１０４は板状の三角形をしており、その各頂点には光学的に識別可能なマーカ１０５ａ〜１０５ｃが配置されている。各マーカ１０５ａ〜１０５ｃが持つ識別情報の組み合わせにより対応する実物体を特定することができる。また、物体教示指標１０４には、対応する実物体に関連した情報（例えば、製品型番の文字情報など）が明記（印字）されている。
【００８２】
各マーカ１０５ａ〜１０５ｃは、それぞれ固有の色、形状、パターンなどからなる光学的に一意な識別情報を持ち、マーカ毎に識別可能である。また、各マーカ１０５ａ〜１０５ｃが持つこれらの視覚的識別情報や各マーカ間の空間的な位置関係は、本システムにおいて既知であるとする。したがって、物体教示指標１０４は、ある実物体に取り付けられることにより、各マーカ１０５ａ〜１０５ｃが持つ識別情報の組み合わせによりこのオブジェクトを特定するための情報を与えるとともに、空間的な位置や姿勢などの実世界状況に関する情報を与えることができる。
【００８３】
一方、複合現実感表示装置１０２に接続されているカメラ１０１は、例えばＣＭＯＳセンサやＣＣＤセンサなどのように、無数の受光素子すなわち画素が２次元アレイ上に配置されたイメージ・センサ（図示しない）を備えており、物体教示指標１０４上の各マーカ１０５ａ〜１０５ｃに対して空間的な分解能を持つ。
【００８４】
ここで、物体教示指標１０４上に配置されているすべてのマーカ１０５ａ〜１０５ｃの３次元的な位置関係は既知である。物体教示指標１０４を例えばＸ軸回りにα、Ｙ軸回りにβ、Ｚ軸回りにγだけそれぞれ回転したものとすると、計測対象物体１０１の回転行列Ｒは以下のように表される。
【００８５】
【数１】
また、物体教示指標１０４がカメラ座標系の位置（Ｘt，Ｙt，Ｚt）に移動したものとすると、平行移動行列Ｔは以下のように表される。
【００８７】
【数２】
ここで、物体教示指標１０４の点（Ｘm，Ｙm，Ｚm）に位置するマーカ１０５が回転及び平行移動した後、点（Ｘc，Ｙc，Ｚc）に変換されたものとすると、これらの関係は以下のように表される。
【００８９】
【数３】
上式は物体教示指標１０４を撮像した画像上から空間的な位置関係が既知である３点のマーカを検出することができれば、連立方程式の解としてＲ及びＴ、すなわち物体教示指標１０４の３次元位置及び姿勢を求められることを示している。例えば、Robert M. Haralick、Chung-nan Lee、Karsten Ottenberg、及びMichael Nolle共著の論文"Analysis and Solutions of The Three Point Perspective Pose Estimation Problem"（In Proceedings of the Conference on Computer Vision and Pattern Recognition, Maui, Hawaii, USA, pp.592-598, 1991）には対象物体上に配設された既知の３点の位置から該物体の３次元位置及び姿勢を計測する方法について記述されている。
【００９１】
なお、点（Ｘc，Ｙc，Ｚc）に移動したマーカ１０５の２次元撮像画像上の座標値（Ｘ，Ｙ）は以下の通りとなる。
【００９２】
【数４】
したがって、撮像画像上から空間的な位置関係が既知である３点のマーカを検出することができれば、連立方程式の解としてＲ及びＴ、すなわち物体教示指標１０４の３次元位置及び姿勢を数学的な算出により求めることができる。
【００９４】
また、加藤博一、Mark Billinghurst、浅野浩一、橘啓八郎共著の論文『マーカー追跡に基づく拡張現実感システムとそのキャリブレーション』（日本バーチャルリアリティ学会論文誌, Vol.4, No.4, 1999）には、平行四辺形の各頂点に配置された４つのマーカを基に平行四辺形の３次元位置及び姿勢を計測する方法について記載されている。したがって、物体教示指標１０４に４つのマーカ１０５ａ〜１０５ｄを平行四辺形状に配置することによって、加藤外著の論文で記述された方法に従って、物体教示指標１０４の位置・姿勢を数学的に算出することもできる。３点より４点の情報を用いた方が、より精度の高い計測が期待できるということを充分理解されたい。
【００９５】
図５には、図４に示した物体教示指標１０４を用いた場合の物体教示指標１０４の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順をフローチャートの形式で示している。この処理手順は、図３に示した処理ルーチンのステップＳ２に相当し、実際には、ＣＰＵ１が所定の物体教示指標の抽出、並びにその識別情報及び３次元位置・姿勢情報の取得処理アプリケーションを起動して、カメラ１０１からの入力画像を処理するという形態で実現される。以下、このフローチャートを参照しながら、物体教示指標１０４の認識処理について詳解する。
【００９６】
カメラ１０１からの入力画像からマーカが抽出されると（ステップＳ１１）、抽出されたマーカが３つかどうかを判定する（ステップＳ１２）。これは、Ｒｏｂｅｒｔ外著の論文（前述）に記述された数学的算出方法によれば３点の画像座標から３次元位置及び姿勢を推定できることに依拠する。物体教示指標１０４上に３点以上のマーカを設置した場合、３次元位置及び姿勢を推定するアルゴリズムによっては、必要なマーカの数は３つ以上に設定してもよい。
【００９７】
ステップＳ１２において、抽出されたマーカの数は３つと判定された場合には、次いで、Ｒｏｂｅｒｔ外著の論文（前述）に記述されている数学的算出方法に従い３次元位置及び姿勢を推定する（ステップＳ１３）。
【００９８】
また、ステップＳ１２及びＳ１３における３次元位置及び姿勢の代替的な処理として、物体教示指標１０４上に平行四辺形を形成するように４つのマーカを配設しておき、カメラ１０１からの入力画像から平行四辺形状に４つのマーカを抽出することができたときに、加藤外著の論文（前述）に記載されている方法に従い、数学的算出により物体教示指標１０４の３次元位置及び姿勢を推定する。また、この場合で３つのマーカしか抽出できないときに、Ｒｏｂｅｒｔ外著の論文（前述）に記述されている数学的算出方法に従い３次元位置及び姿勢を推定するようにしてもよい。
【００９９】
次いで、物体教示指標１０４の識別情報を認識する（ステップＳ１４）。物体教示指標１０４には型番などの識別情報が例えば文字情報の形式で明記されているので、これを文字認識技術などを用いて認識する。あるいは、物体教示指標１０４には文字ではなくバーコードやその他のビジュアル・コードの形式で識別情報が明記されている場合には、そのパターン認識によって識別情報を認識することも可能である。
【０１００】
一方、ステップＳ１２において、抽出されたマーカの個数が３つに満たないと判定された場合には、物体教示指標１０４の識別は不可能という結果を返して、本処理ルーチンを終了する。
【０１０１】
上述したように、カメラ１０１及び複合現実感表示装置１０２からなる本実施形態に係るシステムによれば、物体教示指標１０４からその識別情報及び３次元位置・姿勢情報を同時に取得することができる。
【０１０２】
図４に示したように物体教示指標１０４に複数のマーカ１０５ａ〜１０５ｃを設置するのは、カメラ１０１による撮像画像に対する物体教示指標１０４の３次元位置及び姿勢を推定したいため（言い換えれば、物体認識においてカメラ１０１が持つ空間的分解能を活用したいため）である。したがって、物体教示指標１０４の認識において３次元位置及び姿勢が必要でない場合、例えば、画像データ中の物体教示指標１０４の位置に識別情報に対応した２次元画像を単に重ねて表示する場合には、識別情報を得るための単一のマーカのみを物体教示指標１０４に配設しておけば充分である。
【０１０３】
また、物体教示指標１０４にマーカ１０５が１つであっても、カメラ１０１を複数用いることによって、三角測量の原理（周知）より物体教示指標１０４の３次元位置および姿勢を推定することが可能である。
【０１０４】
（２）構成例２：
図６には、物体教示指標１０４の他の構成例を示している。同図において、物体教示指標１０４の各頂点に配設されているマーカは、色、形状、パターンなどの静的な光学識別情報の代わりに、パルス発信が可能なＬＥＤなどの光源１０５ａ’〜１０５ｃ’が設置されている。これらの光源はそれぞれ識別可能なようにＩＤを持っており、各ＩＤに応じた点滅パターンに従って、光源を点滅させる。また、各光源１０５ａ’〜１０５ｃ’は、ＩＤ以外の送信データを点滅パターンに符号化して送信することもできる。
【０１０５】
また、物体教示指標１０４の略中央には、対応する実物体に関連した情報（例えば、製品型番の文字情報など）が明記（印字）されている。但し、各光源１０５ａ’〜１０５ｃ’のＩＤと物体教示指標の識別情報をともに点滅パターンに符号化して同時に送信することも可能である。例えば、８ビットのデータを送信する場合、上位６ビットを物体教示指標１０４が持つ識別情報に割り当て、下位２ビットを各光源１０５ａ’〜１０５ｃ’のＩＤに割り当てることができる。このような場合、物体教示指標１０４本体への情報の印字（並びに印字情報の画像認識）を省略することができる。
【０１０６】
複合現実感表示装置１０２に接続されているカメラ１０１は、例えばＣＭＯＳセンサやＣＣＤセンサなどのように、無数の受光素子すなわち画素が２次元アレイ上に配置されたイメージ・センサ（図示しない）を備えており、物体教示指標１０４上の点滅光源からなる各マーカ１０５ａ’〜１０５ｃ’に対して空間的な分解能を持つ。そして、カメラ１０１で捕捉される動画像を基に各光源１０５ａ’〜１０５ｃ’の点滅パターンを空間的に認識して、それぞれの点滅パターンの受光位置及び点滅パターンによって表されるＩＤを認識することができる。
【０１０７】
このように各マーカ１０５ａ’〜１０５ｃ’がＬＥＤのように光の点滅するデバイスで構成されている場合、各マーカ１０５ａ’〜１０５ｃ ’は、データを点滅パターンなどの時系列の光学信号に符号化して送信することができる。このような場合、各マーカ１０５ａ’〜１０５ｃ’を備えた物体教示指標１０４は、単に実物体の識別情報や空間的な位置や姿勢を計測するための指標としてだけでなく、送信装置としても機能することができる。また、光学信号は距離に応じてデータが変化しないことから、距離に関しロバストなデータ伝送を行なうことができる。このような光の点滅パターンを利用したデータ通信システムに関しては、本出願人に既に譲渡されている特願２００１−３２５３５６号明細書（前述）に開示されている。
【０１０８】
図７には、物体教示指標１０４が各マーカ１０５ａ’〜１０５ｃ’として３個の発光ダイオードを装備したときのカメラ１０１及び複合現実感表示装置１０２側での動作特性を模式的に示している。それぞれの発光ダイオード１０５ａ’〜１０５ｃ ’は識別情報等の送信したいデータを光の点滅パターンに符号化して光学信号として送出することができる。勿論、送信データからなるベースバンド信号をそのまま光の点滅パターンで表してもよいし、あるいは周波数変調や振幅変調などの変調処理を施した後に光学信号を出力するようにしてもよい。
【０１０９】
この場合、各発光ダイオードの点滅パターンは、集光レンズ系（図示しない）によってカメラ１０１側の２次元イメージ・センサの受光面上に結像されて、物体教示指標１０４の実空間上の位置や姿勢に対応した位置の受光素子で検出される。
【０１１０】
例えば、イメージ・センサが持つ２次元受光面において各発光ダイオード１０５ａ’〜１０５ｃ ’の点灯光が結像される受光素子（画素）の座標値をそれぞれ（１０，１０）、（９０，９０）、（４０，７０）とすると、各画素位置では対応する発光ダイオードの点滅パターンが受光強度（明るさ）の時間的変化として検出される。受光強度を所定の閾値で２値化処理することにより、元の送信データに相当する１／０のビット列を復元することができる。
【０１１１】
このように、複合現実感表示装置１０２は、カメラ１０１によって測定対象物体１０１を含んだシーンの撮影画像を全画素でデコードすることによって、各マーカ１０５ａ’〜１０５ｃ ’から送出される光学信号、並びに物体教示指標１０４の空間的情報をすることができる。すなわち、光学信号により物体教示指標１０４との間でデータ伝送を行なうことができるとともに、空間的情報が意味する実世界状況に基づく拡張現実サービスを提供することができる。
【０１１２】
図８には、図６に示した物体教示指標１０４を用いた場合の物体教示指標１０４の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順をフローチャートの形式で示している。この処理手順は、図３に示した処理ルーチンのステップＳ２に相当し、実際には、ＣＰＵ１が所定の物体教示指標の抽出、並びにその識別情報及び３次元位置・姿勢情報の取得処理アプリケーションを起動して、カメラ１０１からの入力画像を処理するという形態で実現される。以下、このフローチャートを参照しながら、物体教示指標１０４の認識処理について詳解する。
【０１１３】
まず、カメラ１０１からの入力画像を画像処理して、点滅パターンの抽出、並びに点滅パターンによって表される送信データのデコードを行なう（ステップＳ２１）
【０１１４】
次いで、抽出された点滅パターンが３つかどうかを判定する（ステップＳ２２）。これは、Ｒｏｂｅｒｔ外著の論文（前述）に記述された数学的算出方法によれば３点の画像座標から３次元位置及び姿勢を推定できることに依拠する。
【０１１５】
ステップＳ２２において、抽出されたマーカの数は３つと判定された場合には、次いで、Ｒｏｂｅｒｔ外著の論文（前述）に記述されている数学的算出方法に従い３次元位置及び姿勢を推定する（ステップＳ２３）。また、点滅パターンの形式で物体教示指標１０４からデータが送られてくる場合には、そのデコード結果と統合して、３次元位置及び姿勢を推定するようにしてもよい。
【０１１６】
また、ステップＳ２２及びＳ２３における３次元位置及び姿勢の代替的な処理として、物体教示指標１０４上に平行四辺形を形成するように４つの点滅光源を配設しておき、カメラ１０１からの入力画像から平行四辺形状に４つの点滅パターンを抽出することができたときに、加藤外著の論文（前述）に記載されている方法に従い、数学的算出により物体教示指標１０４の３次元位置及び姿勢を推定する。
【０１１７】
次いで、物体教示指標１０４の識別情報を認識する（ステップＳ２４）。物体教示指標１０４には型番などの識別情報が例えば文字情報の形式で明記されているので、これを文字認識技術などを用いて認識する。あるいは、物体教示指標１０４には文字ではなくバーコードやその他のビジュアル・コードの形式で識別情報が明記されている場合には、そのパターン認識によって識別情報を認識することも可能である。
【０１１８】
また、点滅パターンの形式で物体教示指標１０４からデータが送られてくる場合には、ステップＳ２４では、そのデコード結果と統合して、識別情報を認識するようにしてもよい。
【０１１９】
あるいは、各光源１０５ａ’〜１０５ｃ’により点滅パターンの形式で送信されるＩＤのみで情報が伝達され、物体教示指標１０４に情報の印字がない場合には、ステップＳ２４では各光源１０５ａ’〜１０５ｃ’における点滅パターンのデコード結果のみにより識別情報の認識を行なう。例えば、各光源１０５ａ’〜１０５ｃ’からは上位６ビットを物体教示指標１０４が持つ識別情報に割り当て、下位２ビットを各光源１０５ａ’〜１０５ｃ’のＩＤに割り当てた８ビットのデータが送信されており、これをデコード処理する。
【０１２０】
図９には、図６に示した物体教示指標１０４の変形例を示している。同図において、物体教示指標１０４の各頂点には、パルス発信が可能なＬＥＤなどの光源１０５ａ’〜１０５ｃ’が設置されている。また、物体教示指標１０４の略中央には、対応する実物体に関連した情報（例えば、製品型番の文字情報など）を印字する代わりに、これらの情報を光の点滅パターンに符号化して送信する光源１０６が追加して配設されている。
【０１２１】
このような場合、複合現実感表示装置１０２側では、カメラ１０１からの入力画像を基に、光源１０６の点滅パターンを空間的に認識することによって、物体教示指標１０４における識別情報をデコードすることができる。
【０１２２】
（３）構成例３：
図１０には、物体教示指標１０４の他の構成例を示している。同図に示す物体教示指標１０４の光学的な識別情報は、「サイバーコード（Ｃｙｂｅｒｃｏｄｅ）」で構成されている。
【０１２３】
このサイバーコードは、２次元的なビジュアル・コードの一種であり、サイバーコードの所在を表すための「ガイド・バー表示領域」と、２次元状のコード・パターンを表示する「コード・パターン表示領域」とで構成されてモザイク状の模様をなす。コード・パターン表示領域内は、ｎ×ｍマトリックス（同図では７×７）に配列されたセルで構成され、各セルを白又は黒の２値表現することで識別情報を付与することができる。但し、コード・パターン表示領域の４隅のコーナー・セルは、識別情報としてではなく位置合わせ（Image Registration）パターンとして、常に黒パターンとなっている。
【０１２４】
サイバーコードの認識手順は、撮像画像を２値化するステップと、２値画像中からガイド・バー１００２の候補を発見するステップと、ガイド・バー１００２の位置や方向に基づいてコーナー・セル１００３を探索するステップと、ガイド・バー１００２及びコーナー・セル１００３を検出したことに応答して画像ビットマップ・パターンを復号化するステップとに大別される。さらに、エラービットの検査を行うことで、撮像画像中に正しいサイバー・コードが含まれていることを確認して、該コードの識別情報や位置情報を導出することができる。また、コーナー・セル１００３の位置に基づいて、カメラやオブジェクトの傾きによって生じる歪みを算出して補償することができる。
【０１２５】
サイバーコードの詳細については、例えば、本出願人に既に譲渡されている特開２０００−８２１０８号公報（「２次元コ―ド認識処理方法、２次元コ―ド認識処理装置、および媒体」）にも開示されている。
【０１２６】
図１１には、図１０に示した物体教示指標１０４を用いた場合の物体教示指標１０４の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順をフローチャートの形式で示している。この処理手順は、図３に示した処理ルーチンのステップＳ２に相当し、実際には、ＣＰＵ１が所定の物体教示指標の抽出、並びにその識別情報及び３次元位置・姿勢情報の取得処理アプリケーションを起動して、カメラ１０１からの入力画像を処理するという形態で実現される。以下、このフローチャートを参照しながら、物体教示指標１０４の認識処理について詳解する。
【０１２７】
まず、カメラ１０１からの入力画像の２値化処理を行ない（ステップＳ３１）、次いでこの２値化画像中からガイド・バー１００２の候補を抽出する（ステップＳ３２）。そして、ガイド・バー１００２が抽出されたかどうかを判定する（ステップＳ３３）。
【０１２８】
ガイド・バー１００２が抽出されたならば、後続のステップＳ３４へ進み、ガイド・バー１００２の位置や方向を基準にして、さらにコーナー・セル１００３を探索する。そして、コーナー・セル１００３が抽出されたかどうかを判定する（ステップＳ３５）。
【０１２９】
そして、コーナー・セル１００３を抽出することができたならば、さらに後続のステップＳ３６へ進んで、ガイド・バー１００２及びコーナー・セル１００３を検出したことに応答して画像ビットマップ・パターンを復号化して、物体教示指標１００１の識別情報を取得する。
【０１３０】
次いで、入力画像中で検出されたガイド・バー１００２及びコーナー・セル１００３の位置から物体教示指標１００１のカメラ１０１に対する３次元位置及び姿勢を推定する（ステップＳ３７）。
【０１３１】
ここで、サイバーコードの４箇所のコーナー・セル１００３の画像座標から３次元位置及び姿勢を推定するためには、例えば、加藤博一、Mark Billinghurst、浅野浩一、橘啓八郎共著の論文“マーカー追跡に基づく拡張現実感システムとそのキャリブレーション”（日本バーチャルリアリティ学会論文誌, Vol.4, No.4, 1999）（前述）に記載されているような、識別可能な平行四辺形の４頂点に基づいてその３次元位置及び姿勢を数学的に算出する方法を適用することができる。
【０１３２】
なお、図４に示した構成の物体教示指標１０４では、各コーナー・セル１００３を単体では識別することはできないが、ガイド・バー１００２との位置関係を用いると識別することができ、同様の手法により３次元位置及び姿勢を推定することが可能である。
【０１３３】
一方、ステップＳ３３においてガイド・バー１００２を発見することができなかった場合、及びステップＳ３５においてコーナー・セル１００３を認識することができなかった場合には、物体教示指標１０４の３次元位置及び姿勢の取得が不能である旨の結果を返して、本処理ルーチン全体を終了する。
【０１３４】
Ｃ．画像データの合成
Ｂ項で示したような方法によって、現実空間に配置した物体教示指標１０４の識別情報及びカメラ１０１に対する３次元位置・姿勢を取得することができる。さらに、仮想空間において、検出した識別情報に対応する３次元モデルを、物体教示指標１０４から求められた３次元位置・姿勢に配置することによって、複合現実空間を作成することができる。
【０１３５】
家具、家電製品、インテリアなど、製品毎に物体教示指標１０４を作成することが望ましい。例えば、図１２に示すような商品パンフレット１２０１の一部に物体教示指標１２０２を貼り付ける。
【０１３６】
消費者は、例えば訪れた店舗で、商品を購入しなくても、商品パンフレット１２０１だけを持ち帰ればよい。そして、自宅の部屋の所望の位置に、該当する商品についての物体教示指標１２０２を配置して、カメラ１０１で室内の風景を撮影する。
【０１３７】
この撮影画像を複合現実感表示装置１０２に投入すると、現実空間に配置した物体教示指標１０４の識別情報及びカメラ１０１に対する３次元位置・姿勢を取得する。さらに、仮想空間において、検出した識別情報に対応する商品の３次元モデルを、物体教示指標１０４から求められた３次元位置・姿勢に配置することによって、複合現実空間画像を作成して、画面表示装置１０３に出力する。この結果、消費者は、実際に商品を室内に配置することなく、複合現実空間画像の表示出力を基に、商品のサイズや色など、部屋との調和を購入前に確認することが可能となる。
【０１３８】
このような仮想空間上に３次元モデルを合成する処理は、図３に示したフローチャートのステップＳ７で行われる処理に相当する。以下、画像データと３次元モデルの合成方法について、再び図３を参照しながら説明する。
【０１３９】
まず、カメラ１０１から入力された画像データを出力画像に相当するフレームバッファに描画する（ステップＳ１）。このとき、入力画像の大きさと出力画像の大きさが異なる場合には、入力画像を縮小又は拡大して、出力画像の大きさに合わせる。
【０１４０】
次いで、物体教示指標の抽出、その識別情報、３次元位置・姿勢情報の取得処理ルーチンにより、撮影された画像データ中の物体教示指標１０４を抽出して（ステップＳ２，Ｓ３）、さらに、抽出された物体教示指標１０４の識別情報に対応した実物体（家具、家電製品、インテリアなど）についての３次元モデルを取得する（ステップＳ４）。
【０１４１】
次いで、ステップＳ４で取得された３次元モデルを、カメラ１０１の入力画像で示される現実空間上でステップＳ２で取得された３次元位置・姿勢に配置して（ステップＳ６）、レンダリングする。このとき、画角などといった仮想空間上のカメラの属性を現実世界のカメラの属性（カメラの種類やレンズ歪など）に合わせなければならない。
【０１４２】
このようにして入力画像が表す現実空間上に仮想的な３次元モデルを重ねて表示することによって、複合現実空間画像を作成することが可能である。
【０１４３】
上記の方法では、入力画像上に3次元モデルを重ねて描画しているだけである。このため、例えば図１３に示すように、カメラ１０１と物体教示指標１０４の間にユーザの手などの障害物がある場合（但し、物体教示指標１０４のマーカ１０５ａ〜１０５ｃは手で隠れていないものとする）、合成画像Ａ０３は、図示のように、手の上に仮想物体Ａ０２が表示され、不自然な画像になる。
【０１４４】
一方、例えば"Entertainment Vision Sensor"のようなカメラからの距離情報を検出できる３次元計測機能を搭載したイメージセンサを用いた場合には、画像データと同時にカメラに対する物体の距離情報を取得することができるので、上記の問題を回避することができる。あるいは、カメラ１０１に対する物体教示指標１０４の位置関係が既知である空間内では、カメラ１０１からの距離情報に基づいて描画する物体を判断することができるので、同様に上記の問題を回避することができる。
【０１４５】
つまり、各画素を描画する際に最もカメラに近い物体を選択し描画することによって、図１４に示すような自然な合成画像Ｂ０１を得ることが可能である。
【０１４６】
なお、"Entertainment Vision Sensor"は、１チップでカラー動画像と３次元距離情報の両方を、毎秒１５フレーム又は３０フレームで取得可能な高機能ＣＭＯＳイメージ・センサである。これら動画像と距離情報を同時に利用することにより、画像認識、物体認識、動き検出など、これまで外部に複雑な情報処理を必要としていた機能を小規模なシステムで実現することができます。これにより、ＰＣ、ゲームなどのユーザ・インターフェースや３次元モデリング、ロボットの障害物検知・人物検知、セキュリティ・システムにおける個人認証、テレビ電話の画像抽出機能など、さまざまな分野において多様なアプリケーションを提供することができる（http://www.sony.co.jp/SonyInfo/News/Press/）。
【０１４７】
［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１４８】
【発明の効果】
以上詳記したように、本発明によれば、コンピュータやネットワーク上で実装された仮想空間上で実世界の様相を組み込むことができる、優れた複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１４９】
また、本発明によれば、ユーザが存在する場所や実世界オブジェクトの実空間上の位置・姿勢などの実世界状況を積極的に利用して仮想空間を現実世界に拡張することができる、優れた複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１５０】
また、本発明によれば、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示することができる、優れた複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１５１】
また、本発明によれば、実物体を模倣した仮想物体を現実空間に合成して表示することができる、優れた複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１５２】
本発明に係る複合現実感表示装置によれば、実空間上のシーンに仮想物体が合成された複合現実感画像を基に、家庭内の家具や電化製品、インテリアなどが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなどを、実際に購入する前に判断することが可能である。また、家具や電化製品、インテリアなどの仮想物体以外の室内の風景や物体は、カメラから取り込まれた現実の画像をそのまま利用する。すなわち、現実空間について完全なモデルを作成あるいは入手する必要がなく、容易に拡張現実感画像を生成することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る複合現実感システムの構成を模式的に示した図である。
【図２】本実施形態に係る複合現実感装置１０２のハードウェア構成を模式的に示した図である。
【図３】複合現実感装置１０２上で実行される複合現実感表示の処理手順を示したフローチャートである。
【図４】物体教示指標１０４の１つの構成例を示した図である。
【図５】図４に示した物体教示指標１０４を用いた場合の物体教示指標の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順を示したフローチャートである。
【図６】物体教示指標１０４の他の構成例を示した図である。
【図７】物体教示指標１０４が各マーカ１０５ａ’〜１０５ｃ’として３個の発光ダイオードを装備したときのカメラ１０１及び複合現実感表示装置１０２側での動作特性を模式的に示した図である。
【図８】図６に示した物体教示指標１０４を用いた場合の物体教示指標１０４の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順を示したフローチャートである。
【図９】図６に示した物体教示指標１０４の変形例を示した図である。
【図１０】物体教示指標１０４の他の構成例を示した図である。
【図１１】図１０に示した物体教示指標１０４を用いた場合の物体教示指標１０４の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順を示したフローチャートである。
【図１２】複合現実感画像の構成例を示した図である。
【図１３】複合現実感画像の構成例を示した図である。
【図１４】複合現実感画像の構成例を示した図である。
【符号の説明】
１…ＣＰＵ
２…主メモリ，３…ＲＯＭ
４…ディスプレイ・コントローラ
５…入力機器インターフェース
６…ネットワーク・インターフェース
７…外部機器インターフェース
８…バス，９…カメラ・インターフェース
１１…ディスプレイ
１２…キーボード，１３…マウス
１４…ハード・ディスク装置
１５…メディア・ドライブ
１０１…カメラ
１０２…複合現実感装置
１０３…画像表示装置
１０４…物体教示指標
１０５ａ〜１０５ｃ…マーカ
１０５ａ’〜１０５ｃ’…マーカ(光源)
１０６…光源
Claims (10)
- 仮想物体を現実空間に合成して表示する複合現実感表示装置であって、
物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力部と、
前記画像入力部による入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算部と、
前記画像入力部による入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識部と、
前記物体認識部により認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算部により算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成部と、
を備え、
前記物体教示指標は、互いの位置関係が既知となるように配設された複数の光学的識別情報であり、
前記物体認識部は、前記複数の光学的識別情報の組み合わせに基づいて前記物体教示指標が持つ識別情報を認識し、
前記位置・姿勢計算部は、前記画像入力部による入力画像を基に各光学的識別情報を抽出し、該入力画像における各光学的識別情報の検出位置に基づいて前記物体教示指標の空間的な位置及び姿勢を算出する、
ことを特徴とする複合現実感表示装置。 - 前記物体教示指標は、互いの位置関係が既知となるように配設された複数の点滅光源からなる光学的識別情報であり、各点滅光源は識別情報又はその他のデータを光の点滅パターンに符号化して送信し、
前記物体認識部は、前記画像入力部による入力画像を基に各点滅光源からの点滅パターンを抽出するとともにこれらを復号化して前記物体教示指標が持つ識別情報を認識し、
前記位置・姿勢計算部は、前記画像入力部による入力画像を基に各点滅光源からの点滅パターンを抽出しこれらを復号化して各々を識別するとともに、該入力画像における各点滅光源の検出位置に基づいて前記物体教示指標の空間的な位置及び姿勢を算出する、
ことを特徴とする請求項１に記載の複合現実感表示装置。 - 前記画像合成部は、前記物体認識部により認識された現実物体に関する料金や仕様、あるいはその他の関連情報を入力画像上にさらに合成する、
ことを特徴とする請求項１に記載の複合現実感表示装置。 - さらに前記物体教示指標までの距離を測定する距離測定部を備え、
前記画像合成部は、前記距離測定部により得られた距離に基づいて前記仮想物体に陰面処理を適用する、
ことを特徴とする請求項１に記載の複合現実感表示装置。 - コンピュータを用いて構築される複合現実感表示システム上で、仮想物体を現実空間に合成して表示する複合現実感表示方法であって、
前記コンピュータが備える画像入力手段が、物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力ステップと、
前記コンピュータが備える位置・姿勢計算手段が、前記画像入力ステップにおける入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算ステップと、
前記コンピュータが備える物体認識手段が、前記画像入力ステップにおける入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識ステップと、
前記コンピュータが備える画像合成手段が、前記物体認識ステップにおいて認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算ステップにおいて算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成ステップと、
を備え、
前記物体教示指標は、互いの位置関係が既知となるように配設された複数の光学的識別情報であり、
前記物体認識ステップでは、前記複数の光学的識別情報の組み合わせに基づいて前記物体教示指標が持つ識別情報を認識し、
前記位置・姿勢計算ステップでは、前記画像入力ステップにおける入力画像を基に各光学的識別情報を抽出し、該入力画像における各光学的識別情報の検出位置に基づいて前記物体教示指標の空間的な位置及び姿勢を算出する、
ことを特徴とする複合現実感表示方法。 - 前記物体教示指標は、互いの位置関係が既知となるように配設された複数の点滅光源からなる光学的識別情報であり、各点滅光源は識別情報又はその他のデータを光の点滅パターンに符号化して送信し、
前記物体認識ステップでは、前記画像入力ステップにおける入力画像を基に各点滅光源からの点滅パターンを抽出するとともにこれらを復号化して前記物体教示指標が持つ識別情報を認識し、
前記位置・姿勢計算ステップでは、前記画像入力ステップにおける入力画像を基に各点滅光源からの点滅パターンを抽出しこれらを復号化して各々を識別するとともに、該入力画像における各点滅光源の検出位置に基づいて前記物体教示指標の空間的な位置及び姿勢を算出する、
ことを特徴とする請求項５に記載の複合現実感表示方法。 - 前記画像合成ステップでは、前記物体認識ステップにおいて認識された現実物体に関する料金や仕様、あるいはその他の関連情報を入力画像上にさらに合成する、
ことを特徴とする請求項５に記載の複合現実感表示方法。 - 前記コンピュータが備える距離測定手段が前記物体教示指標までの距離を測定する距離測定ステップをさらに備え、
前記画像合成ステップでは、前記距離測定ステップにおいて得られた距離に基づいて前記仮想物体に陰面処理を適用する、
ことを特徴とする請求項５に記載の複合現実感表示方法。 - 仮想物体を現実空間に合成して表示するための処理をコンピュータ上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、前記コンピュータに対し、
物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力手順と、
前記画像入力手順における入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算手順と、
前記画像入力手順における入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識手順と、
前記物体認識手順において認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算ステップにおいて算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成手順と、
を実行させ、
前記物体教示指標は、互いの位置関係が既知となるように配設された複数の光学的識別情報であり、
前記物体認識手順では、前記複数の光学的識別情報の組み合わせに基づいて前記物体教示指標が持つ識別情報を認識し、
前記位置・姿勢計算手順では、前記画像入力手順における入力画像を基に各光学的識別情報を抽出し、該入力画像における各光学的識別情報の検出位置に基づいて前記物体教示指標の空間的な位置及び姿勢を算出する、
ことを特徴とする記憶媒体。 - 仮想物体を現実空間に合成して表示するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力手順と、
前記画像入力手順における入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算手順と、
前記画像入力手順における入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識手順と、
前記物体認識手順において認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算手順において算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成手順と、
を実行させ、
前記物体教示指標は、互いの位置関係が既知となるように配設された複数の光学的識別情報であり、
前記物体認識手順では、前記複数の光学的識別情報の組み合わせに基づいて前記物体教示指標が持つ識別情報を認識し、
前記位置・姿勢計算手順では、前記画像入力手順における入力画像を基に各光学的識別情報を抽出し、該入力画像における各光学的識別情報の検出位置に基づいて前記物体教示指標の空間的な位置及び姿勢を算出する、
ことを特徴とするコンピュータ・プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002057838A JP4032776B2 (ja) | 2002-03-04 | 2002-03-04 | 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002057838A JP4032776B2 (ja) | 2002-03-04 | 2002-03-04 | 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003256876A JP2003256876A (ja) | 2003-09-12 |
| JP4032776B2 true JP4032776B2 (ja) | 2008-01-16 |
Family
ID=28668010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002057838A Expired - Fee Related JP4032776B2 (ja) | 2002-03-04 | 2002-03-04 | 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4032776B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012144389A1 (ja) | 2011-04-20 | 2012-10-26 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 個人識別キャラクター表示システム、端末装置、個人識別キャラクター表示方法、及びコンピュータプログラム |
| US9741174B2 (en) | 2015-01-14 | 2017-08-22 | Ricoh Company, Ltd. | Information processing apparatus, information processing method, and computer-readable recording medium |
| US9905053B2 (en) | 2015-10-07 | 2018-02-27 | Ricoh Company, Ltd. | Information processing device, information processing method, and computer program product |
| CN109586998A (zh) * | 2018-11-09 | 2019-04-05 | 珠海格力电器股份有限公司 | 一种指示设备运行状态的方法、云端及设备 |
Families Citing this family (102)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4366165B2 (ja) * | 2003-09-30 | 2009-11-18 | キヤノン株式会社 | 画像表示装置及び方法並びに記憶媒体 |
| WO2006025137A1 (ja) * | 2004-09-01 | 2006-03-09 | Sony Computer Entertainment Inc. | 画像処理装置、ゲーム装置および画像処理方法 |
| JP4689380B2 (ja) * | 2004-09-28 | 2011-05-25 | キヤノン株式会社 | 情報処理方法および装置 |
| EP2330536B1 (en) | 2004-10-15 | 2013-03-27 | Sony Computer Entertainment Inc. | Object, image data, image data transmission method, card, game mat, card game system, image analysis apparatus and image analysis method |
| JP4627084B2 (ja) * | 2005-04-12 | 2011-02-09 | パイオニア株式会社 | 通信システム、通信装置及び方法、並びにコンピュータプログラム |
| JP2007058296A (ja) * | 2005-08-22 | 2007-03-08 | Fujifilm Holdings Corp | 情報提供システム |
| JP2007206807A (ja) * | 2006-01-31 | 2007-08-16 | Nippon Hoso Kyokai <Nhk> | 映像合成装置及び映像合成プログラム |
| JP2007219082A (ja) * | 2006-02-15 | 2007-08-30 | Canon Inc | 複合現実感表示システム |
| JP4847192B2 (ja) | 2006-04-14 | 2011-12-28 | キヤノン株式会社 | 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法 |
| US9867530B2 (en) | 2006-08-14 | 2018-01-16 | Volcano Corporation | Telescopic side port catheter device with imaging system and method for accessing side branch occlusions |
| FR2911211B1 (fr) * | 2007-01-05 | 2009-06-12 | Total Immersion Sa | Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images |
| EP2178442B1 (en) | 2007-07-12 | 2017-09-06 | Volcano Corporation | Catheter for in vivo imaging |
| WO2009009802A1 (en) | 2007-07-12 | 2009-01-15 | Volcano Corporation | Oct-ivus catheter for concurrent luminal imaging |
| US9596993B2 (en) | 2007-07-12 | 2017-03-21 | Volcano Corporation | Automatic calibration systems and methods of use |
| DE102007045834B4 (de) | 2007-09-25 | 2012-01-26 | Metaio Gmbh | Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung |
| DE102007045835B4 (de) | 2007-09-25 | 2012-12-20 | Metaio Gmbh | Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung |
| JP2009087176A (ja) * | 2007-10-02 | 2009-04-23 | Casio Comput Co Ltd | オブジェクト生成システム、オブジェクト生成装置、及び、オブジェクト生成プログラム |
| US9347765B2 (en) * | 2007-10-05 | 2016-05-24 | Volcano Corporation | Real time SD-OCT with distributed acquisition and processing |
| US8485038B2 (en) * | 2007-12-18 | 2013-07-16 | General Electric Company | System and method for augmented reality inspection and data visualization |
| JP5040796B2 (ja) * | 2008-05-09 | 2012-10-03 | 大日本印刷株式会社 | 室内調度品購入支援システム、方法、プログラム、媒体 |
| JP5413558B2 (ja) * | 2008-08-13 | 2014-02-12 | カシオ計算機株式会社 | 撮像装置、画像処理方法及び画像処理プログラム |
| JP5258549B2 (ja) * | 2008-12-26 | 2013-08-07 | 学校法人立命館 | 合成画像表示システム、合成画像表示方法、及び合成画像表示プログラム |
| JP5258548B2 (ja) * | 2008-12-26 | 2013-08-07 | 学校法人立命館 | 合成画像表示システム、合成画像表示方法、及び合成画像表示プログラム |
| JP4834116B2 (ja) * | 2009-01-22 | 2011-12-14 | 株式会社コナミデジタルエンタテインメント | 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム |
| JP5233709B2 (ja) * | 2009-02-05 | 2013-07-10 | 株式会社デンソーウェーブ | ロボットシミュレーション画像表示システム |
| JP5158007B2 (ja) * | 2009-04-28 | 2013-03-06 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
| JP2011095964A (ja) * | 2009-10-29 | 2011-05-12 | Toppan Printing Co Ltd | 携帯端末及び方法並びプログラム |
| KR101601280B1 (ko) * | 2009-11-25 | 2016-03-08 | 엘지전자 주식회사 | 일반 물체를 이용한 멀티미디어 컨텐츠 관리 방법 |
| US8610771B2 (en) * | 2010-03-08 | 2013-12-17 | Empire Technology Development Llc | Broadband passive tracking for augmented reality |
| JP5564300B2 (ja) * | 2010-03-19 | 2014-07-30 | 富士フイルム株式会社 | ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法 |
| JP5055402B2 (ja) * | 2010-05-17 | 2012-10-24 | 株式会社エヌ・ティ・ティ・ドコモ | オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法 |
| KR101330811B1 (ko) | 2010-08-25 | 2013-11-18 | 주식회사 팬택 | 인스턴트 마커를 이용한 증강 현실 장치 및 방법 |
| JP5646263B2 (ja) | 2010-09-27 | 2014-12-24 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
| US11141063B2 (en) | 2010-12-23 | 2021-10-12 | Philips Image Guided Therapy Corporation | Integrated system architectures and methods of use |
| US11040140B2 (en) | 2010-12-31 | 2021-06-22 | Philips Image Guided Therapy Corporation | Deep vein thrombosis therapeutic methods |
| JP5703890B2 (ja) * | 2011-03-25 | 2015-04-22 | 富士ゼロックス株式会社 | 認識対象物、対象物認識装置およびプログラム、対象物認識システム |
| US20140240652A1 (en) * | 2011-03-29 | 2014-08-28 | Sharp Kabushiki Kaisha | See-through display device, and electrical device and furniture piece each of which is provided with see-through display device |
| JP5961938B2 (ja) * | 2011-07-15 | 2016-08-03 | 国立大学法人山梨大学 | モノスペクトル・マーカならびにその検出方法および装置 |
| WO2013033592A1 (en) | 2011-08-31 | 2013-03-07 | Volcano Corporation | Optical-electrical rotary joint and methods of use |
| JP5821526B2 (ja) | 2011-10-27 | 2015-11-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5838747B2 (ja) | 2011-11-11 | 2016-01-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP6121647B2 (ja) | 2011-11-11 | 2017-04-26 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP5831149B2 (ja) * | 2011-11-14 | 2015-12-09 | コニカミノルタ株式会社 | シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム |
| JP5831150B2 (ja) * | 2011-11-14 | 2015-12-09 | コニカミノルタ株式会社 | シミュレーション方法、シミュレーション装置およびシミュレーション装置の制御プログラム |
| JP5810890B2 (ja) * | 2011-12-20 | 2015-11-11 | カシオ計算機株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP2013200793A (ja) | 2012-03-26 | 2013-10-03 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| JP2013200775A (ja) | 2012-03-26 | 2013-10-03 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| WO2013145883A1 (ja) | 2012-03-26 | 2013-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP6065477B2 (ja) * | 2012-09-13 | 2017-01-25 | カシオ計算機株式会社 | 画像処理装置及びプログラム |
| JP6159069B2 (ja) * | 2012-09-27 | 2017-07-05 | 京セラ株式会社 | 表示装置 |
| WO2014050957A1 (ja) * | 2012-09-27 | 2014-04-03 | 京セラ株式会社 | 表示装置、制御方法および制御プログラム |
| JP6125785B2 (ja) * | 2012-09-27 | 2017-05-10 | 京セラ株式会社 | 表示装置および制御方法 |
| US9307926B2 (en) | 2012-10-05 | 2016-04-12 | Volcano Corporation | Automatic stent detection |
| US11272845B2 (en) | 2012-10-05 | 2022-03-15 | Philips Image Guided Therapy Corporation | System and method for instant and automatic border detection |
| US9858668B2 (en) | 2012-10-05 | 2018-01-02 | Volcano Corporation | Guidewire artifact removal in images |
| US9324141B2 (en) | 2012-10-05 | 2016-04-26 | Volcano Corporation | Removal of A-scan streaking artifact |
| US9292918B2 (en) | 2012-10-05 | 2016-03-22 | Volcano Corporation | Methods and systems for transforming luminal images |
| US10568586B2 (en) | 2012-10-05 | 2020-02-25 | Volcano Corporation | Systems for indicating parameters in an imaging data set and methods of use |
| CA2887421A1 (en) | 2012-10-05 | 2014-04-10 | David Welford | Systems and methods for amplifying light |
| US9367965B2 (en) | 2012-10-05 | 2016-06-14 | Volcano Corporation | Systems and methods for generating images of tissue |
| US10070827B2 (en) | 2012-10-05 | 2018-09-11 | Volcano Corporation | Automatic image playback |
| US9286673B2 (en) | 2012-10-05 | 2016-03-15 | Volcano Corporation | Systems for correcting distortions in a medical image and methods of use thereof |
| US9840734B2 (en) | 2012-10-22 | 2017-12-12 | Raindance Technologies, Inc. | Methods for analyzing DNA |
| WO2014093374A1 (en) | 2012-12-13 | 2014-06-19 | Volcano Corporation | Devices, systems, and methods for targeted cannulation |
| US10942022B2 (en) | 2012-12-20 | 2021-03-09 | Philips Image Guided Therapy Corporation | Manual calibration of imaging system |
| US11406498B2 (en) | 2012-12-20 | 2022-08-09 | Philips Image Guided Therapy Corporation | Implant delivery system and implants |
| WO2014107287A1 (en) | 2012-12-20 | 2014-07-10 | Kemp Nathaniel J | Optical coherence tomography system that is reconfigurable between different imaging modes |
| JP6785554B2 (ja) | 2012-12-20 | 2020-11-18 | ボルケーノ コーポレイション | 平滑遷移カテーテル |
| WO2014113188A2 (en) | 2012-12-20 | 2014-07-24 | Jeremy Stigall | Locating intravascular images |
| US10939826B2 (en) | 2012-12-20 | 2021-03-09 | Philips Image Guided Therapy Corporation | Aspirating and removing biological material |
| US10413317B2 (en) | 2012-12-21 | 2019-09-17 | Volcano Corporation | System and method for catheter steering and operation |
| WO2014100162A1 (en) | 2012-12-21 | 2014-06-26 | Kemp Nathaniel J | Power-efficient optical buffering using optical switch |
| US10993694B2 (en) | 2012-12-21 | 2021-05-04 | Philips Image Guided Therapy Corporation | Rotational ultrasound imaging catheter with extended catheter body telescope |
| CA2895993A1 (en) | 2012-12-21 | 2014-06-26 | Jason Spencer | System and method for graphical processing of medical data |
| US10058284B2 (en) | 2012-12-21 | 2018-08-28 | Volcano Corporation | Simultaneous imaging, monitoring, and therapy |
| US9486143B2 (en) | 2012-12-21 | 2016-11-08 | Volcano Corporation | Intravascular forward imaging device |
| US9612105B2 (en) | 2012-12-21 | 2017-04-04 | Volcano Corporation | Polarization sensitive optical coherence tomography system |
| WO2014099896A1 (en) | 2012-12-21 | 2014-06-26 | David Welford | Systems and methods for narrowing a wavelength emission of light |
| CA2895940A1 (en) | 2012-12-21 | 2014-06-26 | Andrew Hancock | System and method for multipath processing of image signals |
| EP2934280B1 (en) | 2012-12-21 | 2022-10-19 | Mai, Jerome | Ultrasound imaging with variable line density |
| KR101348680B1 (ko) * | 2013-01-09 | 2014-01-09 | 국방과학연구소 | 영상추적기를 위한 표적포착방법 및 이를 이용한 표적포착장치 |
| WO2014138555A1 (en) | 2013-03-07 | 2014-09-12 | Bernhard Sturm | Multimodal segmentation in intravascular images |
| US10226597B2 (en) | 2013-03-07 | 2019-03-12 | Volcano Corporation | Guidewire with centering mechanism |
| US20140276923A1 (en) | 2013-03-12 | 2014-09-18 | Volcano Corporation | Vibrating catheter and methods of use |
| EP3895604A1 (en) | 2013-03-12 | 2021-10-20 | Collins, Donna | Systems and methods for diagnosing coronary microvascular disease |
| US9301687B2 (en) | 2013-03-13 | 2016-04-05 | Volcano Corporation | System and method for OCT depth calibration |
| US11026591B2 (en) | 2013-03-13 | 2021-06-08 | Philips Image Guided Therapy Corporation | Intravascular pressure sensor calibration |
| JP6339170B2 (ja) | 2013-03-13 | 2018-06-06 | ジンヒョン パーク | 回転式血管内超音波装置から画像を生成するためのシステム及び方法 |
| US10292677B2 (en) | 2013-03-14 | 2019-05-21 | Volcano Corporation | Endoluminal filter having enhanced echogenic properties |
| US10219887B2 (en) | 2013-03-14 | 2019-03-05 | Volcano Corporation | Filters with echogenic characteristics |
| US10426590B2 (en) | 2013-03-14 | 2019-10-01 | Volcano Corporation | Filters with echogenic characteristics |
| AU2014280335B2 (en) * | 2013-06-13 | 2018-03-22 | Basf Se | Detector for optically detecting an orientation of at least one object |
| KR101539087B1 (ko) * | 2013-08-22 | 2015-07-29 | 김정한 | 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법 |
| JP6303550B2 (ja) | 2014-02-03 | 2018-04-04 | ブラザー工業株式会社 | 表示プログラムおよび表示装置 |
| JP6467772B2 (ja) * | 2014-02-20 | 2019-02-13 | 株式会社三洋物産 | 遊技機 |
| JP2015179392A (ja) * | 2014-03-19 | 2015-10-08 | カシオ計算機株式会社 | コードシンボル表示装置、情報処理装置及びプログラム |
| JP6336351B2 (ja) * | 2014-08-08 | 2018-06-06 | 東芝テック株式会社 | 情報処理装置及びプログラム |
| JP2016149022A (ja) * | 2015-02-12 | 2016-08-18 | 株式会社キヌガワ京都 | 販売支援プログラム及び販売支援装置 |
| JP6105117B1 (ja) * | 2016-03-25 | 2017-03-29 | 東芝エレベータ株式会社 | エレベータの昇降路形状情報生成装置、およびこれに用いるマーカ部材 |
| CN106094540B (zh) * | 2016-06-14 | 2020-01-07 | 珠海格力电器股份有限公司 | 电器设备控制方法、装置及*** |
| JP7041868B2 (ja) * | 2017-08-28 | 2022-03-25 | 株式会社ヒナタデザイン | 表示装置及び表示方法並びに表示システム |
| JP7275484B2 (ja) * | 2018-07-05 | 2023-05-18 | 凸版印刷株式会社 | 物体配置支援システム、物体配置支援方法及びプログラム |
-
2002
- 2002-03-04 JP JP2002057838A patent/JP4032776B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012144389A1 (ja) | 2011-04-20 | 2012-10-26 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 個人識別キャラクター表示システム、端末装置、個人識別キャラクター表示方法、及びコンピュータプログラム |
| US9721388B2 (en) | 2011-04-20 | 2017-08-01 | Nec Corporation | Individual identification character display system, terminal device, individual identification character display method, and computer program |
| US9741174B2 (en) | 2015-01-14 | 2017-08-22 | Ricoh Company, Ltd. | Information processing apparatus, information processing method, and computer-readable recording medium |
| US9905053B2 (en) | 2015-10-07 | 2018-02-27 | Ricoh Company, Ltd. | Information processing device, information processing method, and computer program product |
| CN109586998A (zh) * | 2018-11-09 | 2019-04-05 | 珠海格力电器股份有限公司 | 一种指示设备运行状态的方法、云端及设备 |
| CN109586998B (zh) * | 2018-11-09 | 2021-06-04 | 珠海格力电器股份有限公司 | 一种指示设备运行状态的方法、云端及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003256876A (ja) | 2003-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4032776B2 (ja) | 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム | |
| US10121099B2 (en) | Information processing method and system | |
| Rekimoto | Matrix: A realtime object identification and registration method for augmented reality | |
| US20180336734A1 (en) | Augmented Reality System, Method, and Apparatus for Displaying an Item Image in a Contextual Environment | |
| CN102722881B (zh) | 可操作地处理单色图像数据的方法和*** | |
| JP6674192B2 (ja) | 画像処理装置と画像処理方法 | |
| WO2019035155A1 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
| JP2005250950A (ja) | マーカ提示用携帯端末および拡張現実感システムならびにその動作方法 | |
| JP2015001875A (ja) | 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット | |
| JP2000020728A (ja) | 画像処理装置及び方法 | |
| JP2005135355A (ja) | データオーサリング処理装置 | |
| CN111833457A (zh) | 图像处理方法、设备及存储介质 | |
| JP2009271822A (ja) | 室内調度品購入支援システム、方法、プログラム、媒体 | |
| KR101197126B1 (ko) | 인쇄물과 동영상의 증강현실 시스템 및 방법 | |
| KR20180032059A (ko) | 3차원 컨텐츠 제공 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 | |
| CN111508033A (zh) | 相机参数确定方法、图像处理方法、存储介质及电子装置 | |
| JP2021047722A (ja) | 購入商品管理システム、ユーザ端末、サーバ、購入商品管理方法、及びプログラム | |
| CN107330974B (zh) | 商品展示方法、装置及移动设备 | |
| CN111309212A (zh) | 一种分屏对比的试衣方法、装置、设备及存储介质 | |
| JP4288904B2 (ja) | データ通信システム、データ送信装置及び方法、並びにデータ受信装置及び方法 | |
| KR101010904B1 (ko) | 마커를 사용하지 않는 증강공간 제공 장치 | |
| CN110852132B (zh) | 一种二维码空间位置确认方法及装置 | |
| KR101618308B1 (ko) | 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템 | |
| CN110598605B (zh) | 定位方法、装置、终端设备及存储介质 | |
| CN114241046A (zh) | 数据标注方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041125 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070529 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070605 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071002 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071015 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |