JP2003256876A - 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム - Google Patents

Abstract

(57)【要約】 【課題】 現実空間に実物体を配置することなく実物体
の大きさや色などといった外観と周囲環境との調和が図
られた仮想現実世界をユーザに提示する。 【解決手段】 それぞれ識別情報を持つとともに互いの
位置関係が既知である複数のマーカが配設された物体教
示指標をカメラで撮影して、この撮影画像を基に物体教
示指標を特定するとともに、現実空間に配置された３次
元位置・姿勢を取得する。さらに、仮想空間において、
検出した識別情報に対応する３次元モデルを、物体教示
指標から求められた３次元位置・姿勢に配置することに
よって、複合現実空間を作成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータやネ
ットワーク上で実装された仮想空間上で実世界の様相を
組み込む複合現実感表示装置及び方法、記憶媒体、並び
にコンピュータ・プログラムに係り、特に、ユーザが存
在する場所や実世界オブジェクトの実空間上の位置・姿
勢などの実世界状況を積極的に利用して仮想空間を現実
世界に拡張する複合現実感表示装置及び方法、記憶媒
体、並びにコンピュータ・プログラムに関する。

【０００２】さらに詳しくは、本発明は、現実空間に実
物体を配置することなく実物体の大きさや色などといっ
た外観と周囲環境との調和が図られた仮想現実世界をユ
ーザに提示する複合現実感表示装置及び方法、記憶媒
体、並びにコンピュータ・プログラムに係り、特に、実
物体を模倣した仮想物体を現実空間に合成して表示する
複合現実感表示装置及び方法、記憶媒体、並びにコンピ
ュータ・プログラムに関する。

【０００３】

【従来の技術】情報処理技術や情報通信技術が高度に発
達した現代においては、パーソナル・コンピュータや携
帯情報端末を始めとする情報機器がオフィスや家庭内な
どの実世界上のいたるところに遍在する。このような環
境下では、機器どうしを接続して、いつでもどこでも欲
しい情報を入手する「ユビキタス（Ubiquitous）・コン
ピューティング」や、実世界の状況（実世界の事物やユ
ーザの位置など）を積極的に利用した拡張現実システム
（Augmented Reality：ＡＲ）の実現が期待される。

【０００４】ユビキタス・コンピューティングの概念
は、人がどこに移動しても利用できるコンピュータの環
境が同じであることである。すなわち、「いつでもどこ
でも」なのだから、究極のユビキタス・コンピューティ
ングは、必ずしもコンピュータやＰＤＡ（Personal Dig
ital Assistant）や携帯電話機などの情報端末を必要と
はしない。

【０００５】また、拡張現実システムによれば、ユーザ
の位置などの実世界状況を利用したサービスを提供する
ことができる。この場合、ユーザは携帯端末を保持する
だけで、システムはユーザの近傍や視界中にある実世界
の事物に応じた情報を提示して、ネットワーク上にある
膨大な情報を利用して日常生活のあらゆる局面を支援す
ることができる。例えば、ショッピング・モールでカメ
ラ付き携帯端末をかざしてＣＤショップを訪ねると、お
薦めの新譜が端末上で表示される。また、レストランの
看板を見ると、料理の感想が表示される。

【０００６】例えば、家庭内の家具や電化製品、インテ
リアなどを購入する際、それらが部屋の大きさに合って
いるのか、部屋や他の家具などの色と調和しているのか
など、実際に購入する前に調べたいことが多々ある。ま
た、部屋の模様替えを行う際、実際に家具や家電製品、
インテリアなどの配置をいろいろと変更し、試したいも
のである。

【０００７】ユーザが現実世界でのみ生活する場合、購
入前に実際に自宅の部屋に実物を配置することは困難で
ある。また、一般に家具や電化製品、インテリアなどは
大きく重いので、実際に実物を動かしたり、室内でさま
ざまな配置を試みることは重労働であり現実的でない。

【０００８】これに対し、コンピュータ上に実際の住居
を模倣した３次元の仮想住居を構築して、この仮想住居
の中に家具や電化製品、インテリアなどの３次元モデル
を配置して、さまざまな視点から住居を眺めることがで
きるアプリケーションが考案されている。これらのアプ
リケーションは、近年におけるコンピュータの処理速度
の向上や、３次元コンピュータ・グラフィックス（３Ｄ
ＣＧ）技術の発展に伴い、リアリティ溢れる表現力を可
能にしている。

【０００９】しかしながら、これらの仮想現実アプリケ
ーションを実際に利用する場合、いくつかの問題点があ
る。

【００１０】まず、自分が住んでいる部屋のモデルを構
築しなければならない点である。住んでいる部屋の間取
りを、瞬時に、かつ正確に作成できる人は稀であり、一
般にはメジャー等で実際に部屋を計測したり、家を購入
する際に入手した間取り図を参考に構築しなければなら
ない。概略的な部屋の雰囲気を表現したいのであれば大
まかな部屋モデルで十分であるが、家具や電化製品、イ
ンテリアなどのサイズを調べるには正確な部屋モデルの
構築が不可欠となる。

【００１１】また、住居を模倣するには所有している家
具や電化製品、インテリアなどの３次元モデルが必要で
あるが、これらの完全なモデルを作成あるいは入手する
ことは困難であり、複数の３次元モデル素材の中から最
も近似しているモデルを選択するのが現状である。この
ため、現実の住居とは異なる仮想住居が構築されてしま
う。

【００１２】さらに、コンピュータの処理速度の向上と
ともに、ＣＧ技術が発展し、表現力が格段に向上された
とは言え、現実と見間違えるような表現は難しく、可能
であっても多大な計算時間を要するのがほとんどであ
る。

【００１３】

【発明が解決しようとする課題】本発明の目的は、コン
ピュータやネットワーク上で実装された仮想空間上で実
世界の様相を組み込むことができる、優れた複合現実感
表示装置及び方法、並びにコンピュータ・プログラムを
提供することにある。

【００１４】本発明のさらなる目的は、ユーザが存在す
る場所や実世界オブジェクトの実空間上の位置・姿勢な
どの実世界状況を積極的に利用して仮想空間を現実世界
に拡張することができる、優れた複合現実感表示装置及
び方法、並びにコンピュータ・プログラムを提供するこ
とにある。

【００１５】本発明のさらなる目的は、現実空間に実物
体を配置することなく実物体の大きさや色などといった
外観と周囲環境との調和が図られた仮想現実世界をユー
ザに提示することができる、優れた複合現実感表示装置
及び方法、並びにコンピュータ・プログラムを提供する
ことにある。

【００１６】本発明のさらなる目的は、実物体を模倣し
た仮想物体を現実空間に合成して表示することができ
る、優れた複合現実感表示装置及び方法、並びにコンピ
ュータ・プログラムを提供することにある。

【００１７】

【課題を解決するための手段及び作用】本発明は、上記
課題を参酌してなされたものであり、その第１の側面
は、仮想物体を現実空間に合成して表示する複合現実感
表示装置又は方法であって、物体教示指標を含んだ現実
空間上のシーンを捕捉する画像入力部又はステップと、
前記画像入力部又はステップによる入力画像を基に前記
物体教示指標の空間的位置及び姿勢を計算する位置・姿
勢計算部又はステップと、前記画像入力部又はステップ
による入力画像を基に前記物体教示指標が持つ識別情報
を認識して対応する現実物体を認識する物体認識部又は
ステップと、前記物体認識部又はステップにより認識さ
れた現実物体についての３次元モデルからなる仮想物体
を前記位置・姿勢計算部又はステップにより算出された
空間的な位置及び姿勢に応じて回転・移動させて入力画
像上に合成する画像合成部又はステップと、を具備する
ことを特徴とする複合現実感表示装置又は方法である。

【００１８】本発明の第１の側面に係る複合現実感表示
装置又は方法によれば、物体教示指標をカメラで撮影し
て、この撮影画像を基に物体教示指標が持つ識別情報を
取得するとともに、物体教示指標が現実空間に配置され
た３次元位置・姿勢を取得する。さらに、仮想空間にお
いて、検出した識別情報に対応する３次元モデルを、物
体教示指標から求められた３次元位置・姿勢に配置する
ことによって、複合現実空間を比較的短時間で且つ低コ
ストに作成することができる。

【００１９】例えば、家庭内の家具や電化製品、インテ
リアなどを購入する際、それらが部屋の大きさに合って
いるのか、部屋や他の家具などの色と調和しているのか
など、実際に購入する前に調べたいことが多々ある。ま
た、部屋の模様替えを行う際、実際に家具や家電製品、
インテリアなどの配置をいろいろと変更し、試したいも
のである。ところが、購入前に実際に自宅の部屋に実物
を配置することは困難である。また、一般に家具や電化
製品、インテリアなどは大きく重いので、実際に実物を
動かしたり、室内でさまざまな配置を試みることは重労
働であり現実的でない。

【００２０】これに対し、本発明の第１の側面に係る複
合現実感表示装置又は方法によれば、家具や家電製品、
インテリアなどの現実の物体を配置してみたい場合に
は、現実の物体に代えて、物体教示指標を設置するだけ
で、現実空間に実物体を配置することなく実物体の大き
さや色などといった外観と周囲環境との調和が図られた
仮想現実世界をユーザに提示することができる。

【００２１】したがって、ユーザは、実空間上のシーン
に仮想物体が合成された複合現実感画像を基に、家庭内
の家具や電化製品、インテリアなどが部屋の大きさに合
っているのか、部屋や他の家具などの色と調和している
のかなどを、実際に購入する前に判断することが可能と
なる。また、家具や電化製品、インテリアなどの仮想物
体以外の室内の風景や物体は、カメラから取り込まれた
現実の画像をそのまま利用する。すなわち、現実空間に
ついて完全なモデルを作成あるいは入手する必要がな
く、容易に拡張現実感画像を生成することができる。

【００２２】ここで、前記画像合成部又はステップは、
前記物体認識部により認識された現実物体に関する料金
や仕様、あるいはその他の関連情報を入力画像上にさら
に合成するようにしてもよい。

【００２３】また、さらに前記物体教示指標までの距離
を測定する距離測定部又はステップを備えていてもよ
い。このような場合、前記画像合成部又はステップは、
前記距離測定部又はステップにより得られた距離に基づ
いて前記仮想物体に陰面処理を適用することにより、よ
り自然な合成画像を得ることができる。

【００２４】前記物体教示指標には光学的識別情報が配
設されている。光学的識別情報とは、例えば、固有の
色、形状、又はバーコードなどのビジュアルコード、あ
るいは識別情報やその他のデータを符号化した光の点滅
パターンなどで構成される。

【００２５】このような場合、前記物体認識部又はステ
ップは、入力画像から光学的識別情報を抽出して物体の
識別情報を取得することができる。

【００２６】また、物体教示指標に互いの位置関係が既
知である複数の光学的識別情報を配設するようにしても
よい。このような場合、前記位置・姿勢計算部又はステ
ップは、入力画像から光学的識別情報を抽出して、該入
力画像における各光学的識別情報の検出位置に基づいて
その空間的な位置及び姿勢を算出することができる。

【００２７】例えば、Robert M. Haralick、Chung-nan
Lee、Karsten Ottenberg、及びMichael Nolle共著の論
文"Analysis and Solutions of The Three Point Persp
ective Pose Estimation Problem"（In Proceedings of
the Conference on ComputerVision and Pattern Reco
gnition, Maui, Hawaii, USA, pp.592-598, 1991）に
は、対象物体上に配設された既知の３点の位置から該物
体の３次元位置及び姿勢を計測する方法について記述さ
れている。したがって、３個以上の光学的識別情報を物
体教示指標に配設しておけば、前記位置・姿勢計算部又
はステップは、このＲｏｂｅｒｔ外著の方法を用いて、
入力画像上で抽出される３つの光学的識別情報の検出位
置を基に対応する３次元位置及び姿勢を数学的に算出す
ることができる。

【００２８】また、加藤博一、Mark Billinghurst、浅
野浩一、橘啓八郎共著の論文『マーカー追跡に基づく拡
張現実感システムとそのキャリブレーション』（日本バ
ーチャルリアリティ学会論文誌, Vol.4, No.4, 1999）
には、平行四辺形の各頂点に配置された４つのマーカを
基に平行四辺形の３次元位置及び姿勢を計測する方法に
ついて記載されている。したがって、平行四辺形の頂点
をなす４個以上の光学的識別情報を物体教示指標に配設
しておけば、前記位置・姿勢計算部又はステップは、こ
の加藤外著の方法を用いて、入力画像上で抽出される４
つの光学的識別情報の検出位置を基に対応する３次元位
置及び姿勢を数学的に算出する選択することができる。

【００２９】光学的識別情報が光の点滅パターンとして
表されている場合には、前記物体認識部又はステップ
は、入力画像を基に各点滅光源からの点滅パターンを抽
出するとともにこれらを復号化して前記物体教示指標が
持つ識別情報を認識することができる。

【００３０】また、このような場合、前記位置・姿勢計
算部又はステップは、入力画像を基に各点滅光源からの
点滅パターンを抽出しこれらを復号化して各々を識別す
るとともに、該入力画像における各点滅光源の検出位置
に基づいてその空間的な位置及び姿勢を算出することが
できる。

【００３１】また、本発明の第２の側面は、仮想物体を
現実空間に合成して表示するための処理をコンピュータ
・システム上で実行するように記述されたコンピュータ
・ソフトウェアをコンピュータ可読形式で物理的に格納
した記憶媒体であって、前記コンピュータ・ソフトウェ
アは、物体教示指標を含んだ現実空間上のシーンを捕捉
する画像入力ステップと、前記画像入力ステップにおけ
る入力画像を基に前記物体教示指標の空間的位置及び姿
勢を計算する位置・姿勢計算ステップと、前記画像入力
ステップにおける入力画像を基に前記物体教示指標が持
つ識別情報を認識して対応する現実物体を認識する物体
認識ステップと、前記物体認識ステップにおいて認識さ
れた現実物体についての３次元モデルからなる仮想物体
を前記位置・姿勢計算ステップにおいて算出された空間
的な位置及び姿勢に応じて回転・移動させて入力画像上
に合成する画像合成ステップと、を具備することを特徴
とする記憶媒体である。

【００３２】本発明の第２の側面に係る記憶媒体は、例
えば、さまざまなプログラム・コードを実行可能な汎用
コンピュータ・システムに対して、コンピュータ・ソフ
トウェアをコンピュータ可読な形式で提供する媒体であ
る。このような媒体は、例えば、ＤＶＤ（Digital Vers
atile Disc）やＣＤ（Compact Disc）、ＦＤ（Flexible
Disk）、ＭＯ（Magneto-Optical disc）などの着脱自
在で可搬性の記憶媒体である。あるいは、ネットワーク
（ネットワークは無線、有線の区別を問わない）などの
伝送媒体などを経由してコンピュータ・ソフトウェアを
特定のコンピュータ・システムに提供することも技術的
に可能である。

【００３３】また、本発明の第２の側面に係る記憶媒体
は、コンピュータ・システム上で所定のコンピュータ・
ソフトウェアの機能を実現するための、コンピュータ・
ソフトウェアと記憶媒体との構造上又は機能上の協働的
関係を定義したものである。換言すれば、本発明の第２
の側面に係る記憶媒体を介して所定のコンピュータ・ソ
フトウェアをコンピュータ・システムにインストールす
ることによって、コンピュータ・システム上では協働的
作用が発揮され、本発明の第１の側面に係る複合現実感
表示装置又はその方法と同様の作用効果を得ることがで
きる。

【００３４】また、本発明の第３の側面は、仮想物体を
現実空間に合成して表示するための処理をコンピュータ
・システム上で実行するようにコンピュータ可読形式で
記述されたコンピュータ・プログラムであって、物体教
示指標を含んだ現実空間上のシーンを捕捉する画像入力
ステップと、前記画像入力ステップにおける入力画像を
基に前記物体教示指標の空間的位置及び姿勢を計算する
位置・姿勢計算ステップと、前記画像入力ステップにお
ける入力画像を基に前記物体教示指標が持つ識別情報を
認識して対応する現実物体を認識する物体認識ステップ
と、前記物体認識ステップにおいて認識された現実物体
についての３次元モデルからなる仮想物体を前記位置・
姿勢計算ステップにおいて算出された空間的な位置及び
姿勢に応じて回転・移動させて入力画像上に合成する画
像合成ステップと、を具備することを特徴とするコンピ
ュータ・プログラムである。

【００３５】本発明の第３の側面に係るコンピュータ・
プログラムは、コンピュータ・システム上で所定の処理
を実現するようにコンピュータ可読形式で記述されたコ
ンピュータ・プログラムを定義したものである。換言す
れば、本発明の第３の側面に係るコンピュータ・プログ
ラムをコンピュータ・システムにインストールすること
によって、コンピュータ・システム上では協働的作用が
発揮され、本発明の第１側面に係る複合現実感表示装置
又はその方法と同様の作用効果を得ることができる。

【００３６】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施形態や添付する図面に基づくより
詳細な説明によって明らかになるであろう。

【００３７】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施形態について詳解する。

【００３８】本発明に係る複合現実感表示システムは、
実世界上に存在する物理オブジェクトに対して複数の光
学的な識別情報を取り付けるとともに、これを２次元イ
メージ・センサを利用して撮影して画像処理・画像認識
により、オブジェクトの同定するとともにその３次元的
な位置や姿勢などのオブジェクトが持つ実世界状況を基
にした拡張現実（ＡＲ：Augmented Reality）サービス
を実現するものであり、例えば、現実空間の一部が仮想
世界に拡張された複合現実感画像を提供する。

【００３９】実世界オブジェクトに取り付ける光学的な
識別情報として、色の空間パターンに符号化されたビジ
ュアル・コードの他に、ＬＥＤのような点滅する光源か
らなる光学信号を利用することができる。後者の場合、
距離に応じてデータが変化しない点滅パターンなどの時
系列の光学信号に符号化して、データを送信することが
できる。

【００４０】また、イメージ・センサは、例えばＣＭＯ
Ｓ（Complementary Metal Oxide Semiconductor：相補
性金属酸化膜半導体）センサやＣＣＤ（Charge Coupled
Device：電荷結合素子）センサなどのように、無数の
受光素子すなわち画素が２次元アレイ上に配置された構
成であり、光学信号並びにその空間的情報を全画素でデ
コードする。イメージ・センサは、普通のカメラとして
シーンを撮影するとともに、そのイメージ・センサの視
界中に配置された光学信号を長距離から受信することが
できる。したがって、光学的な識別情報を備えた実世界
オブジェクトを、実世界状況を発信するための送信機と
しても利用することができる。

【００４１】実世界オブジェクトに取り付けられる複数
の光学的識別情報は、互いに識別可能であるだけでな
く、互いの空間的な位置関係があらかじめ分かっている
ものとする。このような場合、空間的な解像度を持つ測
定装置により実世界オブジェクトを認識することによ
り、単にその実世界オブジェクトを同定するだけでな
く、その３次元的な位置や姿勢などを測定することがで
きる。実世界オブジェクトが持つ空間的な位置や姿勢
は、言わば実世界状況に相当する。

【００４２】したがって、実世界オブジェクトの３次元
位置・姿勢の計測結果を実世界の状況（実世界の事物や
ユーザの位置など）として積極的に利用することによ
り、拡張現実システム（Augmented Reality：ＡＲ）の
実現に役立てることができる。

【００４３】拡張現実システムによれば、ユーザの位置
などの実世界情報を利用したサービスを提供することが
できる。この場合、ユーザは携帯端末を保持するだけ
で、システムはユーザの近傍や視界中にある実世界の事
物に応じた情報を提示して、ネットワーク上にある膨大
な情報を利用して日常生活のあらゆる局面で支援を享受
することができる。例えば、ショッピング・モールでカ
メラ付き携帯端末をかざしてＣＤショップを訪ねると、
お薦めの新譜が端末上で表示される。また、レストラン
の看板を見ると、料理の感想が表示される。

【００４４】なお、本出願人に既に譲渡されている特願
２００１−３２５３５６号明細書には光学的な形式で識
別情報やその他のデータを担持又は伝送する光学信号
と、これを捕捉する高速な２次元イメージ・センサを利
用することで、空間解像度を持つとともに、遠距離でも
利用可能なデータ伝送を実現するデータ通信システムに
ついて開示している。同明細書に記載のデータ通信シス
テムでは、ＬＥＤのような点滅する光源を光学信号と
し、ビジュアル・コードのように色の空間パターンに符
号化するのではなく、距離に応じてデータが変化しない
点滅パターンなどの時系列の光学信号に符号化してデー
タを送信する。イメージ・センサは、例えばＣＭＯＳセ
ンサやＣＣＤセンサなどのように無数の受光素子すなわ
ち画素が２次元アレイ上に配置された構成であり、光学
信号並びにその空間的情報を全画素でデコードする。し
たがって、イメージ・センサは、普通のカメラとしてシ
ーンを撮影するとともに、そのイメージ・センサの視界
中に配置された光学信号を長距離から受信することがで
きる。

【００４５】Ａ．複合現実感システムの構成 図１には、本発明の一実施形態に係る複合現実感システ
ムの構成を模式的に示している。同図に示すように、こ
のシステムは、カメラ１０１と、複合現実感装置１０２
と、画像表示装置１０３と、物体教示指標１０４とで構
成される。

【００４６】物体教示指標１０４には、物体の３次元位
置・姿勢計測を可能にするため、それぞれ識別可能な複
数個のマーカが取り付けられている（後述）。各マーカ
は、それぞれ固有の色、形状、パターン、又は光の点滅
パターンなどからなる視覚的な識別情報を持ち、マーカ
毎に識別可能であるとする。また、各マーカが持つこれ
らの視覚的識別情報や各マーカ間の空間的な位置関係
は、複合現実感システムにおいて既知であるとする。

【００４７】カメラ１０１は、例えばレンズ歪などのな
い理想的なピンホール・レンズを使用して、ＣＣＤやＣ
ＭＯＳなどの２次元イメージ・センサにより物体教示指
標１０４を含む風景やその他のシーンを撮像することが
できる。カメラ１０１により撮像された画像フレームは
空間的分解能を持つ受信データとして複合現実感装置１
０２に入力される。

【００４８】複合現実感装置１０２は、例えばパーソナ
ル・コンピュータ（ＰＣ）などの計算機システムで構成
され、ＵＳＢ（Universal Serial Bus）あるいはその他
の外部インターフェースを介してカメラ１０１を接続し
て、撮影画像をコンピュータ・ファイルの形式で取り込
むことができる。該装置１０２上では、画像フレーム中
からマーカ検出に基づく３次元位置・姿勢計測処理を行
なうアプリケーションが起動しており、物体教示指標１
０３を含むシーン画像からマーカを３次元位置及び入力
画像上の位置を基にその３次元位置及び姿勢などの実世
界状況を測定する。そして、複合現実感装置１０２は、
実世界状況に応じた拡張現実感サービス（後述）を提供
する。

【００４９】図１に示す例では、物体教示指標１０４
は、リビング内でスピーカに挟まれたテレビ台の上に配
置されて、仮想的にテレビ受像機（以下、「テレビ」と
する）の存在を代行する。このとき、カメラ１０１を用
いて物体教示指標１０４を含んだ領域（シーン）が撮影
される。

【００５０】カメラ１０１で取得された画像データは、
空間分解能を持ち、複合現実感装置１０２へ入力され
て、物体教示指標１０４の識別情報とその空間的位置や
姿勢が抽出される。そして、抽出された物体教示指標１
０４の識別情報に対応した仮想物体１０５（ここではテ
レビの３次元モデル)を入力された画像データに合成し
て、画像表示装置１０３に出力する。このとき、テレビ
の３次元モデルは、物体教示指標１０４から得られた空
間的位置や姿勢などの実世界状況に基づいて現実空間の
座標系にマッピングされる。

【００５１】このようにして、カメラ１０１からの入力
画像を表示出力する画像表示装置１０３の表示スクリー
ン上には、実際に存在しない仮想物体１０５（テレビ）
が現実空間を撮影した画像上に現れる（重畳表示され
る）。したがって、ユーザは、現実空間内に家具や電化
製品などの実物体を配置することなく、その大きさや色
などといった外観が周囲環境に調和しているかを表示す
ることが可能である。

【００５２】図２には、本実施形態に係る複合現実感装
置１０２のハードウェア構成を模式的に示している。

【００５３】メイン・コントローラであるＣＰＵ（Cent
ral Processing Unit）１は、オペレーティング・システ
ム（ＯＳ）の制御下で、各種のアプリケーションを実行
する。

【００５４】本実施形態では、ＣＰＵ１は、例えば、カ
メラ１０１の撮影画像のような空間的解像度を持つデー
タを基に物体教示指標１０４の空間的な位置や姿勢を計
測するための３次元位置・姿勢計測アプリケーション
や、物体教示指標１０４の空間的な位置や姿勢などを始
めとする実世界オブジェクトについての実世界状況を利
用した拡張現実感（ＡＲ）サービスを提供するＡＲサー
ビス・アプリケーションなどを実行することができる。

【００５５】図示の通り、ＣＰＵ１は、バス８によって
他の機器類（後述）と相互接続されている。

【００５６】主メモリ２は、ＣＰＵ１において実行され
るプログラム・コードをロードしたり、実行プログラム
の作業データを一時保管するために使用される記憶装置
であり、例えばＤＲＡＭ（Dynamic RAM）のような半導
体メモリが使用される。例えば、カメラ１０１の撮影画
像のような空間的解像度を持つデータを基に物体教示指
標１０４の空間的な位置や姿勢を計測するための３次元
位置・姿勢計測アプリケーションや、物体教示指標１０
４の空間的な位置や姿勢などを始めとする実世界オブジ
ェクトについての実世界状況に応じた拡張現実感（Ａ
Ｒ）サービスを提供するＡＲサービス・アプリケーショ
ンなどが主メモリ２にロードされる。また、カメラ１０
１による撮影画像に基づく物体教示指標１０４の空間的
位置や姿勢に関する計算結果や、この計算結果から得ら
れた実世界状況に応じて生成される各種のＡＲサービス
・コンテンツ（例えば、家具や電化製品、インテリアな
ど仮想物体の３次元モデル）などが作業データとして主
メモリ２に一時的に格納される。

【００５７】また、ＲＯＭ（Read Only Memory）３は、
データを恒久的に格納する半導体メモリであり、例え
ば、起動時の自己診断テスト（ＰＯＳＴ：Power On Sel
f Test）や、ハードウェア入出力用のプログラム・コー
ド（ＢＩＯＳ：Basic Input/Output System）などが書
き込まれている。

【００５８】ディスプレイ・コントローラ４は、ＣＰＵ
１が発行する描画命令を実際に処理するための専用コン
トローラである。ディスプレイ・コントローラ４におい
て処理された描画データは、例えばフレーム・バッファ
（図示しない）に一旦書き込まれた後、ＣＲＴ（Cathod
e Ray Tube：陰極線管）ディスプレイやＬＣＤ（Liquid
Crystal Display：液晶表示ディスプレイ）などからな
る画像表示装置１０３によって画面出力される。

【００５９】画像表示装置１０３の表示画面は、一般
に、ユーザからの入力内容やその処理結果、あるいはエ
ラーその他のシステム・メッセージをユーザに視覚的に
フィードバックする役割を持つ。また、本実施形態にお
いては、画像表示装置１０３の表示画面には、物体教示
指標１０４に対応した仮想物体１０５をカメラ１０１に
よる撮影画像に合成した拡張現実感シーンのようなＡＲ
サービス・コンテンツなどを表示出力するために利用さ
れる。ここで言うＡＲサービス・コンテンツには、例え
ば、家具や電化製品、インテリアなど仮想物体の３次元
モデルがカメラ１０１による撮影画像に組み込まれた複
合現実感画像を挙げることができる。複合現実感画像の
生成方法の詳細については後述に譲る。

【００６０】入力機器インターフェース５は、キーボー
ド１２やマウス１３などのユーザ入力機器を複合現実感
装置１０２に接続するための装置である。

【００６１】キーボード１２やマウス１３は、データや
コマンドなどのユーザ入力をシステムに取り込む役割を
持つ。本実施形態では、キーボード１２やマウス１３
は、３次元位置・姿勢計測アプリケーションの起動、Ａ
Ｒサービス・アプリケーションの起動、ＡＲサービスの
指定などをユーザが指示するために使用される。

【００６２】ネットワーク・インターフェース６は、Ｅ
ｔｈｅｒｎｅｔ（登録商標）などの所定の通信プロトコ
ルに従って、システム１０２をＬＡＮ（Local Area Net
work）などの局所的ネットワーク、さらにはインターネ
ットのような広域ネットワークに接続することができ
る。

【００６３】ネットワーク上では、複数のホスト端末
（図示しない）がトランスペアレントな状態で接続さ
れ、分散コンピューティング環境が構築されている。ネ
ットワーク上では、ソフトウェア・プログラムやデータ
・コンテンツなどの配信サービスを行なうことができ
る。例えば、カメラ１０１の撮影画像のような空間的解
像度を持つデータを基に物体教示指標１０４の空間的な
位置や姿勢を計測するための３次元位置・姿勢計測アプ
リケーションや、撮影画像から検出された複数点のマー
カを基に３次元位置・推定を行なう複数のアルゴリズム
（例えばライブラリ化されている）、物体教示指標１０
４の空間的な位置や姿勢などを始めとする実世界オブジ
ェクトについての実世界状況に応じた拡張現実感（Ａ
Ｒ）サービスを提供するＡＲサービス・アプリケーショ
ンなどを、ネットワーク経由でダウンロードすることが
できる。また、ＡＲサービス・アプリケーションにおい
て利用されるＡＲサービス・コンテンツ（例えば、家具
や電化製品、インテリアなど仮想物体の３次元モデル）
などを、ネットワーク経由で他のホスト装置との間で配
信・配布することができる。また、複合現実感画像を提
供するＡＲサービスとして、家具や電化製品、インテリ
アなどの商品を取り扱う場合には、その価格（若しくは
拡張現実感サービスの利用料金）や製品仕様、在庫数な
ど、実物体に関する付加情報をネットワーク経由でダウ
ンロードしてもよい。

【００６４】外部機器インターフェース７は、ハード・
ディスク・ドライブ（ＨＤＤ）１４やメディア・ドライブ
１５などの外部装置を複合現実感装置１０２に接続する
ための装置である。

【００６５】ＨＤＤ１４は、記憶担体としての磁気ディ
スクを固定的に搭載した外部記憶装置であり（周知）、
記憶容量やデータ転送速度などの点で他の外部記憶装置
よりも優れている。ソフトウェア・プログラムを実行可
能な状態でＨＤＤ１４上に置くことを、プログラムのシ
ステムへの「インストール」と呼ぶ。通常、ＨＤＤ１４
には、ＣＰＵ１が実行すべきオペレーティング・システ
ムのプログラム・コードや、アプリケーション・プログラ
ム、デバイス・ドライバなどが不揮発的に格納されてい
る。例えば、カメラ１０１の撮影画像のような空間的解
像度を持つデータを基に物体教示指標１０４の空間的な
位置や姿勢を計測するための３次元位置・姿勢計測アプ
リケーションや、物体教示指標１０４の空間的な位置や
姿勢などを始めとする実世界オブジェクトについての実
世界状況に応じた拡張現実感（ＡＲ）サービスを提供す
るＡＲサービス・アプリケーションなどを、ＨＤＤ１４
上にインストールすることができる。また、撮影画像か
ら検出された複数点のマーカを基に３次元位置・姿勢推
定を行なう複数のアルゴリズム（例えばライブラリ化さ
れている）や、ＡＲサービス・アプリケーションにおい
て利用されるＡＲサービス・コンテンツ（例えば、家具
や電化製品、インテリアなど仮想物体の３次元モデル）
などをＨＤＤ１４上に蓄積しておいてもよい。また、複
合現実感画像を提供するＡＲサービスとして、家具や電
化製品、インテリアなどの商品を取り扱う場合には、そ
の価格（若しくは拡張現実感サービスの利用料金）や製
品仕様、在庫数など、実物体に関する付加情報を蓄積し
ていてもよい。

【００６６】メディア・ドライブ１５は、ＣＤ（Compact
Disc）やＭＯ（Magneto-Optical disc）、ＤＶＤ（Dig
ital Versatile Disc）などの可搬型メディアを装填し
て、そのデータ記録面にアクセスするための装置であ
る。

【００６７】可搬型メディアは、主として、ソフトウェ
ア・プログラムやデータ・ファイルなどをコンピュータ可
読形式のデータとしてバックアップすることや、これら
をシステム間で移動（すなわち販売・流通・配布を含む）
する目的で使用される。例えば、カメラ１０１の撮影画
像のような空間的解像度を持つデータを基に物体教示指
標１０４の空間的な位置や姿勢を計測するための３次元
位置・姿勢計測アプリケーションや、物体教示指標１０
４の空間的な位置や姿勢などを始めとする実世界オブジ
ェクトについての実世界状況に応じた拡張現実感（Ａ
Ｒ）サービスを提供するＡＲサービス・アプリケーショ
ンなどを、これら可搬型メディアを利用して複数の機器
間で物理的に流通・配布することができる。また、撮影
画像から検出された複数点のマーカを基に３次元位置・
姿勢推定を行なう複数のアルゴリズム（例えばライブラ
リ化されている）や、ＡＲサービス・アプリケーション
において利用されるＡＲサービス・コンテンツ（例え
ば、家具や電化製品、インテリアなど仮想物体の３次元
モデル）などを他の装置との間で交換するために、可搬
型メディアを利用することができる。また、複合現実感
画像を提供するＡＲサービスとして、家具や電化製品、
インテリアなどの商品を取り扱う場合には、その価格
（若しくは拡張現実感サービスの利用料金）や製品仕
様、在庫数など、実物体に関する付加情報を可搬型メデ
ィア経由で流通させてもよい。

【００６８】カメラ・インターフェース９は、カメラ１
０１を接続するための装置であり、例えばＵＳＢインタ
ーフェースで構成される。あるいはビデオ・キャプチャ
・カードのようにカメラ１０１から動画像を取得するイ
ンターフェースで構成されていてもよい。カメラ１０１
は、画素が２次元アレイ上に配置された構成で、物体教
示指標１０４から光学信号並びにその空間的情報を全画
素でデコードする。

【００６９】なお、図２に示すような複合現実感装置１
０２の一例は、米ＩＢＭ社のパーソナル・コンピュータ"
ＰＣ／ＡＴ（Personal Computer/Advanced Technolog
y）"の互換機又は後継機である。勿論、他のアーキテク
チャで構成されるコンピュータを、本実施形態に係る複
合現実感装置１０２として適用することも可能である。

【００７０】図３には、複合現実感装置１０２上で実行
される複合現実感表示の処理手順をフローチャートの形
式で示している。この処理手順は、実際には、ＣＰＵ１
が所定の複合現実感処理アプリケーションを起動して、
カメラ１０１からの入力画像を処理して、画面表示装置
１０３に処理結果を表示出力するという形態で実現され
る。以下、このフローチャートを参照しながら、複合現
実感表示処理について詳解する。

【００７１】カメラ１０１から画像データが入力される
と（ステップＳ１）、別途定義されている「物体教示指
標の抽出、その識別情報、３次元位置・姿勢情報の取
得」処理ルーチン（後述）により、撮影された画像デー
タ中の物体教示指標１０４が抽出され、さらにその識別
情報並びに３次元位置・姿勢情報が取得される（ステッ
プＳ２）。

【００７２】実世界状況に応じた拡張現実感サービス
（ステップＳ７，Ｓ８）において、画像データ中の物体
教示指標１０４の位置にその識別情報に対応した２次元
画像を単に重ねて表示する場合には、ステップＳ２にお
ける処理ルーチンでは、物体教示指標１０４の３次元位
置・姿勢情報の取得は省略してもよい。物体教示指標１
０４の識別情報並びに３次元位置・姿勢情報の取得方法
は物体教示指標１０４の態様に依存する処理であるの
で、後述で物体教示指標１０４の実施形態とともに詳細
に説明する。

【００７３】次いで、カメラ１０１から入力された画像
から物体教示指標１０４が抽出されたがどうかを判定す
る（ステップＳ３）。抽出された場合には、後続のステ
ップＳ４へ進み、抽出された物体教示指標１０４の識別
情報に対応した実物体についての３次元モデルの取得を
試みる。

【００７４】ここで、３次元モデルは、実物体の販売者
あるいは３次元モデル作成サービスを行なう第３者など
が実物体を模倣し作成したものであり、例えばハード・
ディスク装置１４上にあらかじめ格納されていたり、あ
るいはネットワークを介して所定の情報提供サーバ（例
えば、３次元モデル・データベース）から逐次的にダウ
ンロードするようにしてもよい。また、実物体が家具や
電化製品、インテリアなどの商品である場合にはその価
格（若しくは拡張現実感サービスの利用料金）や製品仕
様、在庫数など、実物体に関する付加情報やその他のリ
アルタイム・コンテンツなどを同時にダウンロードして
もよい。

【００７５】次いで、３次元モデルが成功裏に取得され
たがどうかを判定する（ステップＳ５）。

【００７６】３次元モデルを無事に取得することができ
た場合には、さらに次ステップＳ６に進み、取得した３
次元モデルを、先行ステップＳ２で取得した物体教示指
標１０４の３次元位置・姿勢情報に合わせて回転・移動
させる。そして、ステップＳ１においてカメラ１０１か
ら入力された現実空間のシーンである画像データと３次
元モデルとを合成して、複合現実空間画像を作成する
（ステップＳ７）。このとき、ＡＲサービスに関連する
料金や商品の仕様、在庫数など、実物体に関する付加情
報と画像データとをさらに合成してもよい。

【００７７】次いで、前ステップＳ７によって合成され
た複合現実空間画像を画像表示装置１０３で表示出力す
る（ステップＳ８）。実空間上のシーンに仮想物体が合
成された複合現実感画像を基に、家庭内の家具や電化製
品、インテリアなどが部屋の大きさに合っているのか、
部屋や他の家具などの色と調和しているのかなどを、実
際に購入する前に判断することが可能となる。

【００７８】また、ステップＳ３において入力画像から
物体教示指標１０４が抽出されないと判定された場合
や、ステップＳ５において３次元モデルを取得すること
ができなかった場合には、ステップＳ１で取得された画
像データをそのまま画像表示装置１０３で表示出力する
ようにしてもよい。

【００７９】次いで、この複合現実感表示処理を続行さ
せるかどうか判定する（ステップＳ９）。そして、本処
理ルーチンを続行するならば、ステップＳ１へ戻って上
述と同様の動作を繰り返し実行する。他方、非続行なら
ば、ここで本処理ルーチン全体を終了させる。

【００８０】本処理ルーチンの終了条件は、例えばキー
ボード１２やマウス１３を介したユーザ入力であっても
よいし、アプリケーション内であらかじめ定められたル
ール(例えばゲームにおけるゲーム・オーバー)であって
もよい。また、メモリフルなどのハードウェア又はソフ
トウェア上の制約を終了条件にしてもよい。

【００８１】Ｂ．物体教示指標の構成例 （１）構成例１：図４には、物体教示指標１０４の１つ
の構成例を示している。同図に示すように、物体教示指
標１０４は板状の三角形をしており、その各頂点には光
学的に識別可能なマーカ１０５ａ〜１０５ｃが配置され
ている。各マーカ１０５ａ〜１０５ｃが持つ識別情報の
組み合わせにより対応する実物体を特定することができ
る。また、物体教示指標１０４には、対応する実物体に
関連した情報（例えば、製品型番の文字情報など）が明
記（印字）されている。

【００８２】各マーカ１０５ａ〜１０５ｃは、それぞれ
固有の色、形状、パターンなどからなる光学的に一意な
識別情報を持ち、マーカ毎に識別可能である。また、各
マーカ１０５ａ〜１０５ｃが持つこれらの視覚的識別情
報や各マーカ間の空間的な位置関係は、本システムにお
いて既知であるとする。したがって、物体教示指標１０
４は、ある実物体に取り付けられることにより、各マー
カ１０５ａ〜１０５ｃが持つ識別情報の組み合わせによ
りこのオブジェクトを特定するための情報を与えるとと
もに、空間的な位置や姿勢などの実世界状況に関する情
報を与えることができる。

【００８３】一方、複合現実感表示装置１０２に接続さ
れているカメラ１０１は、例えばＣＭＯＳセンサやＣＣ
Ｄセンサなどのように、無数の受光素子すなわち画素が
２次元アレイ上に配置されたイメージ・センサ（図示し
ない）を備えており、物体教示指標１０４上の各マーカ
１０５ａ〜１０５ｃに対して空間的な分解能を持つ。

【００８４】ここで、物体教示指標１０４上に配置され
ているすべてのマーカ１０５ａ〜１０５ｃの３次元的な
位置関係は既知である。物体教示指標１０４を例えばＸ
軸回りにα、Ｙ軸回りにβ、Ｚ軸回りにγだけそれぞれ
回転したものとすると、計測対象物体１０１の回転行列
Ｒは以下のように表される。

【００８５】

【数１】

【００８６】また、物体教示指標１０４がカメラ座標系
の位置（Ｘ_t，Ｙ_t，Ｚ_t）に移動したものとすると、平
行移動行列Ｔは以下のように表される。

【００８７】

【数２】

【００８８】ここで、物体教示指標１０４の点（Ｘ_m，
Ｙ_m，Ｚ_m）に位置するマーカ１０５が回転及び平行移動
した後、点（Ｘ_c，Ｙ_c，Ｚ_c）に変換されたものとする
と、これらの関係は以下のように表される。

【００８９】

【数３】

【００９０】上式は物体教示指標１０４を撮像した画像
上から空間的な位置関係が既知である３点のマーカを検
出することができれば、連立方程式の解としてＲ及び
Ｔ、すなわち物体教示指標１０４の３次元位置及び姿勢
を求められることを示している。例えば、Robert M. Ha
ralick、Chung-nan Lee、Karsten Ottenberg、及びMich
ael Nolle共著の論文"Analysis and Solutions of The
Three Point Perspective Pose Estimation Problem"
（In Proceedings of the Conference on ComputerVisi
on and Pattern Recognition, Maui, Hawaii, USA, pp.
592-598, 1991）には対象物体上に配設された既知の３
点の位置から該物体の３次元位置及び姿勢を計測する方
法について記述されている。

【００９１】なお、点（Ｘ_c，Ｙ_c，Ｚ_c）に移動したマ
ーカ１０５の２次元撮像画像上の座標値（Ｘ，Ｙ）は以
下の通りとなる。

【００９２】

【数４】

【００９３】したがって、撮像画像上から空間的な位置
関係が既知である３点のマーカを検出することができれ
ば、連立方程式の解としてＲ及びＴ、すなわち物体教示
指標１０４の３次元位置及び姿勢を数学的な算出により
求めることができる。

【００９４】また、加藤博一、Mark Billinghurst、浅
野浩一、橘啓八郎共著の論文『マーカー追跡に基づく拡
張現実感システムとそのキャリブレーション』（日本バ
ーチャルリアリティ学会論文誌, Vol.4, No.4, 1999）
には、平行四辺形の各頂点に配置された４つのマーカを
基に平行四辺形の３次元位置及び姿勢を計測する方法に
ついて記載されている。したがって、物体教示指標１０
４に４つのマーカ１０５ａ〜１０５ｄを平行四辺形状に
配置することによって、加藤外著の論文で記述された方
法に従って、物体教示指標１０４の位置・姿勢を数学的
に算出することもできる。３点より４点の情報を用いた
方が、より精度の高い計測が期待できるということを充
分理解されたい。

【００９５】図５には、図４に示した物体教示指標１０
４を用いた場合の物体教示指標１０４の抽出、並びにそ
の識別情報及び３次元位置・姿勢情報を取得するための
処理手順をフローチャートの形式で示している。この処
理手順は、図３に示した処理ルーチンのステップＳ２に
相当し、実際には、ＣＰＵ１が所定の物体教示指標の抽
出、並びにその識別情報及び３次元位置・姿勢情報の取
得処理アプリケーションを起動して、カメラ１０１から
の入力画像を処理するという形態で実現される。以下、
このフローチャートを参照しながら、物体教示指標１０
４の認識処理について詳解する。

【００９６】カメラ１０１からの入力画像からマーカが
抽出されると（ステップＳ１１）、抽出されたマーカが
３つかどうかを判定する（ステップＳ１２）。これは、
Ｒｏｂｅｒｔ外著の論文（前述）に記述された数学的算
出方法によれば３点の画像座標から３次元位置及び姿勢
を推定できることに依拠する。物体教示指標１０４上に
３点以上のマーカを設置した場合、３次元位置及び姿勢
を推定するアルゴリズムによっては、必要なマーカの数
は３つ以上に設定してもよい。

【００９７】ステップＳ１２において、抽出されたマー
カの数は３つと判定された場合には、次いで、Ｒｏｂｅ
ｒｔ外著の論文（前述）に記述されている数学的算出方
法に従い３次元位置及び姿勢を推定する（ステップＳ１
３）。

【００９８】また、ステップＳ１２及びＳ１３における
３次元位置及び姿勢の代替的な処理として、物体教示指
標１０４上に平行四辺形を形成するように４つのマーカ
を配設しておき、カメラ１０１からの入力画像から平行
四辺形状に４つのマーカを抽出することができたとき
に、加藤外著の論文（前述）に記載されている方法に従
い、数学的算出により物体教示指標１０４の３次元位置
及び姿勢を推定する。また、この場合で３つのマーカし
か抽出できないときに、Ｒｏｂｅｒｔ外著の論文（前
述）に記述されている数学的算出方法に従い３次元位置
及び姿勢を推定するようにしてもよい。

【００９９】次いで、物体教示指標１０４の識別情報を
認識する（ステップＳ１４）。物体教示指標１０４には
型番などの識別情報が例えば文字情報の形式で明記され
ているので、これを文字認識技術などを用いて認識す
る。あるいは、物体教示指標１０４には文字ではなくバ
ーコードやその他のビジュアル・コードの形式で識別情
報が明記されている場合には、そのパターン認識によっ
て識別情報を認識することも可能である。

【０１００】一方、ステップＳ１２において、抽出され
たマーカの個数が３つに満たないと判定された場合に
は、物体教示指標１０４の識別は不可能という結果を返
して、本処理ルーチンを終了する。

【０１０１】上述したように、カメラ１０１及び複合現
実感表示装置１０２からなる本実施形態に係るシステム
によれば、物体教示指標１０４からその識別情報及び３
次元位置・姿勢情報を同時に取得することができる。

【０１０２】図４に示したように物体教示指標１０４に
複数のマーカ１０５ａ〜１０５ｃを設置するのは、カメ
ラ１０１による撮像画像に対する物体教示指標１０４の
３次元位置及び姿勢を推定したいため（言い換えれば、
物体認識においてカメラ１０１が持つ空間的分解能を活
用したいため）である。したがって、物体教示指標１０
４の認識において３次元位置及び姿勢が必要でない場
合、例えば、画像データ中の物体教示指標１０４の位置
に識別情報に対応した２次元画像を単に重ねて表示する
場合には、識別情報を得るための単一のマーカのみを物
体教示指標１０４に配設しておけば充分である。

【０１０３】また、物体教示指標１０４にマーカ１０５
が１つであっても、カメラ１０１を複数用いることによ
って、三角測量の原理（周知）より物体教示指標１０４
の３次元位置および姿勢を推定することが可能である。

【０１０４】（２）構成例２：図６には、物体教示指標
１０４の他の構成例を示している。同図において、物体
教示指標１０４の各頂点に配設されているマーカは、
色、形状、パターンなどの静的な光学識別情報の代わり
に、パルス発信が可能なＬＥＤなどの光源１０５ａ’〜
１０５ｃ’が設置されている。これらの光源はそれぞれ
識別可能なようにＩＤを持っており、各ＩＤに応じた点
滅パターンに従って、光源を点滅させる。また、各光源
１０５ａ’〜１０５ｃ’は、ＩＤ以外の送信データを点
滅パターンに符号化して送信することもできる。

【０１０５】また、物体教示指標１０４の略中央には、
対応する実物体に関連した情報（例えば、製品型番の文
字情報など）が明記（印字）されている。但し、各光源
１０５ａ’〜１０５ｃ’のＩＤと物体教示指標の識別情
報をともに点滅パターンに符号化して同時に送信するこ
とも可能である。例えば、８ビットのデータを送信する
場合、上位６ビットを物体教示指標１０４が持つ識別情
報に割り当て、下位２ビットを各光源１０５ａ’〜１０
５ｃ’のＩＤに割り当てることができる。このような場
合、物体教示指標１０４本体への情報の印字（並びに印
字情報の画像認識）を省略することができる。

【０１０６】複合現実感表示装置１０２に接続されてい
るカメラ１０１は、例えばＣＭＯＳセンサやＣＣＤセン
サなどのように、無数の受光素子すなわち画素が２次元
アレイ上に配置されたイメージ・センサ（図示しない）
を備えており、物体教示指標１０４上の点滅光源からな
る各マーカ１０５ａ’〜１０５ｃ’に対して空間的な分
解能を持つ。そして、カメラ１０１で捕捉される動画像
を基に各光源１０５ａ’〜１０５ｃ’の点滅パターンを
空間的に認識して、それぞれの点滅パターンの受光位置
及び点滅パターンによって表されるＩＤを認識すること
ができる。

【０１０７】このように各マーカ１０５ａ’〜１０５
ｃ’がＬＥＤのように光の点滅するデバイスで構成され
ている場合、各マーカ１０５ａ’〜１０５ｃ ’は、デ
ータを点滅パターンなどの時系列の光学信号に符号化し
て送信することができる。このような場合、各マーカ１
０５ａ’〜１０５ｃ’を備えた物体教示指標１０４は、
単に実物体の識別情報や空間的な位置や姿勢を計測する
ための指標としてだけでなく、送信装置としても機能す
ることができる。また、光学信号は距離に応じてデータ
が変化しないことから、距離に関しロバストなデータ伝
送を行なうことができる。このような光の点滅パターン
を利用したデータ通信システムに関しては、本出願人に
既に譲渡されている特願２００１−３２５３５６号明細
書（前述）に開示されている。

【０１０８】図７には、物体教示指標１０４が各マーカ
１０５ａ’〜１０５ｃ’として３個の発光ダイオードを
装備したときのカメラ１０１及び複合現実感表示装置１
０２側での動作特性を模式的に示している。それぞれの
発光ダイオード１０５ａ’〜１０５ｃ ’は識別情報等
の送信したいデータを光の点滅パターンに符号化して光
学信号として送出することができる。勿論、送信データ
からなるベースバンド信号をそのまま光の点滅パターン
で表してもよいし、あるいは周波数変調や振幅変調など
の変調処理を施した後に光学信号を出力するようにして
もよい。

【０１０９】この場合、各発光ダイオードの点滅パター
ンは、集光レンズ系（図示しない）によってカメラ１０
１側の２次元イメージ・センサの受光面上に結像され
て、物体教示指標１０４の実空間上の位置や姿勢に対応
した位置の受光素子で検出される。

【０１１０】例えば、イメージ・センサが持つ２次元受
光面において各発光ダイオード１０５ａ’〜１０５ｃ
’の点灯光が結像される受光素子（画素）の座標値を
それぞれ（１０，１０）、（９０，９０）、（４０，７
０）とすると、各画素位置では対応する発光ダイオード
の点滅パターンが受光強度（明るさ）の時間的変化とし
て検出される。受光強度を所定の閾値で２値化処理する
ことにより、元の送信データに相当する１／０のビット
列を復元することができる。

【０１１１】このように、複合現実感表示装置１０２
は、カメラ１０１によって測定対象物体１０１を含んだ
シーンの撮影画像を全画素でデコードすることによっ
て、各マーカ１０５ａ’〜１０５ｃ ’から送出される
光学信号、並びに物体教示指標１０４の空間的情報をす
ることができる。すなわち、光学信号により物体教示指
標１０４との間でデータ伝送を行なうことができるとと
もに、空間的情報が意味する実世界状況に基づく拡張現
実サービスを提供することができる。

【０１１２】図８には、図６に示した物体教示指標１０
４を用いた場合の物体教示指標１０４の抽出、並びにそ
の識別情報及び３次元位置・姿勢情報を取得するための
処理手順をフローチャートの形式で示している。この処
理手順は、図３に示した処理ルーチンのステップＳ２に
相当し、実際には、ＣＰＵ１が所定の物体教示指標の抽
出、並びにその識別情報及び３次元位置・姿勢情報の取
得処理アプリケーションを起動して、カメラ１０１から
の入力画像を処理するという形態で実現される。以下、
このフローチャートを参照しながら、物体教示指標１０
４の認識処理について詳解する。

【０１１３】まず、カメラ１０１からの入力画像を画像
処理して、点滅パターンの抽出、並びに点滅パターンに
よって表される送信データのデコードを行なう（ステッ
プＳ２１）

【０１１４】次いで、抽出された点滅パターンが３つか
どうかを判定する（ステップＳ２２）。これは、Ｒｏｂ
ｅｒｔ外著の論文（前述）に記述された数学的算出方法
によれば３点の画像座標から３次元位置及び姿勢を推定
できることに依拠する。

【０１１５】ステップＳ２２において、抽出されたマー
カの数は３つと判定された場合には、次いで、Ｒｏｂｅ
ｒｔ外著の論文（前述）に記述されている数学的算出方
法に従い３次元位置及び姿勢を推定する（ステップＳ２
３）。また、点滅パターンの形式で物体教示指標１０４
からデータが送られてくる場合には、そのデコード結果
と統合して、３次元位置及び姿勢を推定するようにして
もよい。

【０１１６】また、ステップＳ２２及びＳ２３における
３次元位置及び姿勢の代替的な処理として、物体教示指
標１０４上に平行四辺形を形成するように４つの点滅光
源を配設しておき、カメラ１０１からの入力画像から平
行四辺形状に４つの点滅パターンを抽出することができ
たときに、加藤外著の論文（前述）に記載されている方
法に従い、数学的算出により物体教示指標１０４の３次
元位置及び姿勢を推定する。

【０１１７】次いで、物体教示指標１０４の識別情報を
認識する（ステップＳ２４）。物体教示指標１０４には
型番などの識別情報が例えば文字情報の形式で明記され
ているので、これを文字認識技術などを用いて認識す
る。あるいは、物体教示指標１０４には文字ではなくバ
ーコードやその他のビジュアル・コードの形式で識別情
報が明記されている場合には、そのパターン認識によっ
て識別情報を認識することも可能である。

【０１１８】また、点滅パターンの形式で物体教示指標
１０４からデータが送られてくる場合には、ステップＳ
２４では、そのデコード結果と統合して、識別情報を認
識するようにしてもよい。

【０１１９】あるいは、各光源１０５ａ’〜１０５ｃ’
により点滅パターンの形式で送信されるＩＤのみで情報
が伝達され、物体教示指標１０４に情報の印字がない場
合には、ステップＳ２４では各光源１０５ａ’〜１０５
ｃ’における点滅パターンのデコード結果のみにより識
別情報の認識を行なう。例えば、各光源１０５ａ’〜１
０５ｃ’からは上位６ビットを物体教示指標１０４が持
つ識別情報に割り当て、下位２ビットを各光源１０５
ａ’〜１０５ｃ’のＩＤに割り当てた８ビットのデータ
が送信されており、これをデコード処理する。

【０１２０】図９には、図６に示した物体教示指標１０
４の変形例を示している。同図において、物体教示指標
１０４の各頂点には、パルス発信が可能なＬＥＤなどの
光源１０５ａ’〜１０５ｃ’が設置されている。また、
物体教示指標１０４の略中央には、対応する実物体に関
連した情報（例えば、製品型番の文字情報など）を印字
する代わりに、これらの情報を光の点滅パターンに符号
化して送信する光源１０６が追加して配設されている。

【０１２１】このような場合、複合現実感表示装置１０
２側では、カメラ１０１からの入力画像を基に、光源１
０６の点滅パターンを空間的に認識することによって、
物体教示指標１０４における識別情報をデコードするこ
とができる。

【０１２２】（３）構成例３：図１０には、物体教示指
標１０４の他の構成例を示している。同図に示す物体教
示指標１０４の光学的な識別情報は、「サイバーコード
（Ｃｙｂｅｒｃｏｄｅ）」で構成されている。

【０１２３】このサイバーコードは、２次元的なビジュ
アル・コードの一種であり、サイバーコードの所在を表
すための「ガイド・バー表示領域」と、２次元状のコー
ド・パターンを表示する「コード・パターン表示領域」
とで構成されてモザイク状の模様をなす。コード・パタ
ーン表示領域内は、ｎ×ｍマトリックス（同図では７×
７）に配列されたセルで構成され、各セルを白又は黒の
２値表現することで識別情報を付与することができる。
但し、コード・パターン表示領域の４隅のコーナー・セ
ルは、識別情報としてではなく位置合わせ（Image Regi
stration）パターンとして、常に黒パターンとなってい
る。

【０１２４】サイバーコードの認識手順は、撮像画像を
２値化するステップと、２値画像中からガイド・バー１
００２の候補を発見するステップと、ガイド・バー１０
０２の位置や方向に基づいてコーナー・セル１００３を
探索するステップと、ガイド・バー１００２及びコーナ
ー・セル１００３を検出したことに応答して画像ビット
マップ・パターンを復号化するステップとに大別され
る。さらに、エラービットの検査を行うことで、撮像画
像中に正しいサイバー・コードが含まれていることを確
認して、該コードの識別情報や位置情報を導出すること
ができる。また、コーナー・セル１００３の位置に基づ
いて、カメラやオブジェクトの傾きによって生じる歪み
を算出して補償することができる。

【０１２５】サイバーコードの詳細については、例え
ば、本出願人に既に譲渡されている特開２０００−８２
１０８号公報（「２次元コ―ド認識処理方法、２次元コ
―ド認識処理装置、および媒体」）にも開示されてい
る。

【０１２６】図１１には、図１０に示した物体教示指標
１０４を用いた場合の物体教示指標１０４の抽出、並び
にその識別情報及び３次元位置・姿勢情報を取得するた
めの処理手順をフローチャートの形式で示している。こ
の処理手順は、図３に示した処理ルーチンのステップＳ
２に相当し、実際には、ＣＰＵ１が所定の物体教示指標
の抽出、並びにその識別情報及び３次元位置・姿勢情報
の取得処理アプリケーションを起動して、カメラ１０１
からの入力画像を処理するという形態で実現される。以
下、このフローチャートを参照しながら、物体教示指標
１０４の認識処理について詳解する。

【０１２７】まず、カメラ１０１からの入力画像の２値
化処理を行ない（ステップＳ３１）、次いでこの２値化
画像中からガイド・バー１００２の候補を抽出する（ス
テップＳ３２）。そして、ガイド・バー１００２が抽出
されたかどうかを判定する（ステップＳ３３）。

【０１２８】ガイド・バー１００２が抽出されたなら
ば、後続のステップＳ３４へ進み、ガイド・バー１００
２の位置や方向を基準にして、さらにコーナー・セル１
００３を探索する。そして、コーナー・セル１００３が
抽出されたかどうかを判定する（ステップＳ３５）。

【０１２９】そして、コーナー・セル１００３を抽出す
ることができたならば、さらに後続のステップＳ３６へ
進んで、ガイド・バー１００２及びコーナー・セル１０
０３を検出したことに応答して画像ビットマップ・パタ
ーンを復号化して、物体教示指標１００１の識別情報を
取得する。

【０１３０】次いで、入力画像中で検出されたガイド・
バー１００２及びコーナー・セル１００３の位置から物
体教示指標１００１のカメラ１０１に対する３次元位置
及び姿勢を推定する（ステップＳ３７）。

【０１３１】ここで、サイバーコードの４箇所のコーナ
ー・セル１００３の画像座標から３次元位置及び姿勢を
推定するためには、例えば、加藤博一、Mark Billinghu
rst、浅野浩一、橘啓八郎共著の論文“マーカー追跡に
基づく拡張現実感システムとそのキャリブレーション”
（日本バーチャルリアリティ学会論文誌, Vol.4, No.4,
1999）（前述）に記載されているような、識別可能な
平行四辺形の４頂点に基づいてその３次元位置及び姿勢
を数学的に算出する方法を適用することができる。

【０１３２】なお、図４に示した構成の物体教示指標１
０４では、各コーナー・セル１００３を単体では識別す
ることはできないが、ガイド・バー１００２との位置関
係を用いると識別することができ、同様の手法により３
次元位置及び姿勢を推定することが可能である。

【０１３３】一方、ステップＳ３３においてガイド・バ
ー１００２を発見することができなかった場合、及びス
テップＳ３５においてコーナー・セル１００３を認識す
ることができなかった場合には、物体教示指標１０４の
３次元位置及び姿勢の取得が不能である旨の結果を返し
て、本処理ルーチン全体を終了する。

【０１３４】Ｃ．画像データの合成 Ｂ項で示したような方法によって、現実空間に配置した
物体教示指標１０４の識別情報及びカメラ１０１に対す
る３次元位置・姿勢を取得することができる。さらに、
仮想空間において、検出した識別情報に対応する３次元
モデルを、物体教示指標１０４から求められた３次元位
置・姿勢に配置することによって、複合現実空間を作成
することができる。

【０１３５】家具、家電製品、インテリアなど、製品毎
に物体教示指標１０４を作成することが望ましい。例え
ば、図１２に示すような商品パンフレット１２０１の一
部に物体教示指標１２０２を貼り付ける。

【０１３６】消費者は、例えば訪れた店舗で、商品を購
入しなくても、商品パンフレット１２０１だけを持ち帰
ればよい。そして、自宅の部屋の所望の位置に、該当す
る商品についての物体教示指標１２０２を配置して、カ
メラ１０１で室内の風景を撮影する。

【０１３７】この撮影画像を複合現実感表示装置１０２
に投入すると、現実空間に配置した物体教示指標１０４
の識別情報及びカメラ１０１に対する３次元位置・姿勢
を取得する。さらに、仮想空間において、検出した識別
情報に対応する商品の３次元モデルを、物体教示指標１
０４から求められた３次元位置・姿勢に配置することに
よって、複合現実空間画像を作成して、画面表示装置１
０３に出力する。この結果、消費者は、実際に商品を室
内に配置することなく、複合現実空間画像の表示出力を
基に、商品のサイズや色など、部屋との調和を購入前に
確認することが可能となる。

【０１３８】このような仮想空間上に３次元モデルを合
成する処理は、図３に示したフローチャートのステップ
Ｓ７で行われる処理に相当する。以下、画像データと３
次元モデルの合成方法について、再び図３を参照しなが
ら説明する。

【０１３９】まず、カメラ１０１から入力された画像デ
ータを出力画像に相当するフレームバッファに描画する
（ステップＳ１）。このとき、入力画像の大きさと出力
画像の大きさが異なる場合には、入力画像を縮小又は拡
大して、出力画像の大きさに合わせる。

【０１４０】次いで、物体教示指標の抽出、その識別情
報、３次元位置・姿勢情報の取得処理ルーチンにより、
撮影された画像データ中の物体教示指標１０４を抽出し
て（ステップＳ２，Ｓ３）、さらに、抽出された物体教
示指標１０４の識別情報に対応した実物体（家具、家電
製品、インテリアなど）についての３次元モデルを取得
する（ステップＳ４）。

【０１４１】次いで、ステップＳ４で取得された３次元
モデルを、カメラ１０１の入力画像で示される現実空間
上でステップＳ２で取得された３次元位置・姿勢に配置
して（ステップＳ６）、レンダリングする。このとき、
画角などといった仮想空間上のカメラの属性を現実世界
のカメラの属性（カメラの種類やレンズ歪など）に合わ
せなければならない。

【０１４２】このようにして入力画像が表す現実空間上
に仮想的な３次元モデルを重ねて表示することによっ
て、複合現実空間画像を作成することが可能である。

【０１４３】上記の方法では、入力画像上に3次元モデ
ルを重ねて描画しているだけである。このため、例えば
図１３に示すように、カメラ１０１と物体教示指標１０
４の間にユーザの手などの障害物がある場合（但し、物
体教示指標１０４のマーカ１０５ａ〜１０５ｃは手で隠
れていないものとする）、合成画像Ａ０３は、図示のよ
うに、手の上に仮想物体Ａ０２が表示され、不自然な画
像になる。

【０１４４】一方、例えば"Entertainment Vision Sens
or"のようなカメラからの距離情報を検出できる３次元
計測機能を搭載したイメージセンサを用いた場合には、
画像データと同時にカメラに対する物体の距離情報を取
得することができるので、上記の問題を回避することが
できる。あるいは、カメラ１０１に対する物体教示指標
１０４の位置関係が既知である空間内では、カメラ１０
１からの距離情報に基づいて描画する物体を判断するこ
とができるので、同様に上記の問題を回避することがで
きる。

【０１４５】つまり、各画素を描画する際に最もカメラ
に近い物体を選択し描画することによって、図１４に示
すような自然な合成画像Ｂ０１を得ることが可能であ
る。

【０１４６】なお、"Entertainment Vision Sensor"
は、１チップでカラー動画像と３次元距離情報の両方
を、毎秒１５フレーム又は３０フレームで取得可能な高
機能ＣＭＯＳイメージ・センサである。これら動画像と
距離情報を同時に利用することにより、画像認識、物体
認識、動き検出など、これまで外部に複雑な情報処理を
必要としていた機能を小規模なシステムで実現すること
ができます。これにより、ＰＣ、ゲームなどのユーザ・
インターフェースや３次元モデリング、ロボットの障害
物検知・人物検知、セキュリティ・システムにおける個
人認証、テレビ電話の画像抽出機能など、さまざまな分
野において多様なアプリケーションを提供することがで
きる（http://www.sony.co.jp/SonyInfo/News/Press
/）。

【０１４７】［追補］以上、特定の実施形態を参照しな
がら、本発明について詳解してきた。しかしながら、本
発明の要旨を逸脱しない範囲で当業者が該実施形態の修
正や代用を成し得ることは自明である。すなわち、例示
という形態で本発明を開示してきたのであり、本明細書
の記載内容を限定的に解釈するべきではない。本発明の
要旨を判断するためには、冒頭に記載した特許請求の範
囲の欄を参酌すべきである。

【０１４８】

【発明の効果】以上詳記したように、本発明によれば、
コンピュータやネットワーク上で実装された仮想空間上
で実世界の様相を組み込むことができる、優れた複合現
実感表示装置及び方法、記憶媒体、並びにコンピュータ
・プログラムを提供することができる。

【０１４９】また、本発明によれば、ユーザが存在する
場所や実世界オブジェクトの実空間上の位置・姿勢など
の実世界状況を積極的に利用して仮想空間を現実世界に
拡張することができる、優れた複合現実感表示装置及び
方法、記憶媒体、並びにコンピュータ・プログラムを提
供することができる。

【０１５０】また、本発明によれば、現実空間に実物体
を配置することなく実物体の大きさや色などといった外
観と周囲環境との調和が図られた仮想現実世界をユーザ
に提示することができる、優れた複合現実感表示装置及
び方法、記憶媒体、並びにコンピュータ・プログラムを
提供することができる。

【０１５１】また、本発明によれば、実物体を模倣した
仮想物体を現実空間に合成して表示することができる、
優れた複合現実感表示装置及び方法、記憶媒体、並びに
コンピュータ・プログラムを提供することができる。

【０１５２】本発明に係る複合現実感表示装置によれ
ば、実空間上のシーンに仮想物体が合成された複合現実
感画像を基に、家庭内の家具や電化製品、インテリアな
どが部屋の大きさに合っているのか、部屋や他の家具な
どの色と調和しているのかなどを、実際に購入する前に
判断することが可能である。また、家具や電化製品、イ
ンテリアなどの仮想物体以外の室内の風景や物体は、カ
メラから取り込まれた現実の画像をそのまま利用する。
すなわち、現実空間について完全なモデルを作成あるい
は入手する必要がなく、容易に拡張現実感画像を生成す
ることができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る複合現実感システム
の構成を模式的に示した図である。

【図２】本実施形態に係る複合現実感装置１０２のハー
ドウェア構成を模式的に示した図である。

【図３】複合現実感装置１０２上で実行される複合現実
感表示の処理手順を示したフローチャートである。

【図４】物体教示指標１０４の１つの構成例を示した図
である。

【図５】図４に示した物体教示指標１０４を用いた場合
の物体教示指標の抽出、並びにその識別情報及び３次元
位置・姿勢情報を取得するための処理手順を示したフロ
ーチャートである。

【図６】物体教示指標１０４の他の構成例を示した図で
ある。

【図７】物体教示指標１０４が各マーカ１０５ａ’〜１
０５ｃ’として３個の発光ダイオードを装備したときの
カメラ１０１及び複合現実感表示装置１０２側での動作
特性を模式的に示した図である。

【図８】図６に示した物体教示指標１０４を用いた場合
の物体教示指標１０４の抽出、並びにその識別情報及び
３次元位置・姿勢情報を取得するための処理手順を示し
たフローチャートである。

【図９】図６に示した物体教示指標１０４の変形例を示
した図である。

【図１０】物体教示指標１０４の他の構成例を示した図
である。

【図１１】図１０に示した物体教示指標１０４を用いた
場合の物体教示指標１０４の抽出、並びにその識別情報
及び３次元位置・姿勢情報を取得するための処理手順を
示したフローチャートである。

【図１２】複合現実感画像の構成例を示した図である。

【図１３】複合現実感画像の構成例を示した図である。

【図１４】複合現実感画像の構成例を示した図である。

【符号の説明】

１…ＣＰＵ ２…主メモリ，３…ＲＯＭ ４…ディスプレイ・コントローラ ５…入力機器インターフェース ６…ネットワーク・インターフェース ７…外部機器インターフェース ８…バス，９…カメラ・インターフェース １１…ディスプレイ １２…キーボード，１３…マウス １４…ハード・ディスク装置 １５…メディア・ドライブ １０１…カメラ １０２…複合現実感装置 １０３…画像表示装置 １０４…物体教示指標 １０５ａ〜１０５ｃ…マーカ １０５ａ’〜１０５ｃ’…マーカ(光源) １０６…光源

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA04 AA37 BB05 BB29 FF04 JJ03 JJ26 QQ31 UU05 5B050 AA10 BA07 BA08 BA11 BA13 BA18 CA07 CA08 DA02 DA04 DA10 EA06 EA07 EA19 FA02 FA05 FA08 FA13 FA19 GA04 5B057 BA02 CA01 CA08 CA12 CA13 CA16 CA17 CB01 CB08 CB13 CB16 CC01 CE08 CH07 CH08 CH11 CH12 CH18 DA02 DA07 DA16 DB03 DB06 DB09 DC08 DC09 5C023 AA03 AA04 AA10 AA11 AA38 BA02 DA02 DA03 DA08

Claims (18)

【特許請求の範囲】
1. 【請求項１】仮想物体を現実空間に合成して表示する複
   合現実感表示装置であって、 物体教示指標を含んだ現実空間上のシーンを捕捉する画
   像入力部と、 前記画像入力部による入力画像を基に前記物体教示指標
   の空間的位置及び姿勢を計算する位置・姿勢計算部と、 前記画像入力部による入力画像を基に前記物体教示指標
   が持つ識別情報を認識して対応する現実物体を認識する
   物体認識部と、 前記物体認識部により認識された現実物体についての３
   次元モデルからなる仮想物体を前記位置・姿勢計算部に
   より算出された空間的な位置及び姿勢に応じて回転・移
   動させて入力画像上に合成する画像合成部と、を具備す
   ることを特徴とする複合現実感表示装置。
2. 【請求項２】前記画像合成部は、前記物体認識部により
   認識された現実物体に関する料金や仕様、あるいはその
   他の関連情報を入力画像上にさらに合成する、ことを特
   徴とする請求項１に記載の複合現実感表示装置。
3. 【請求項３】さらに前記物体教示指標までの距離を測定
   する距離測定部を備え、 前記画像合成部は、前記距離測定部により得られた距離
   に基づいて前記仮想物体に陰面処理を適用する、ことを
   特徴とする請求項１に記載の複合現実感表示装置。
4. 【請求項４】前記物体教示指標には光学的識別情報が配
   設されており、 前記物体認識部は、入力画像から光学的識別情報を抽出
   して物体の識別情報を取得する、ことを特徴とする請求
   項１に記載の複合現実感表示装置。
5. 【請求項５】前記物体教示指標には互いの位置関係が既
   知である複数の光学的識別情報が配設されており、 前記位置・姿勢計算部は、入力画像から光学的識別情報
   を抽出して、該入力画像における各光学的識別情報の検
   出位置に基づいてその空間的な位置及び姿勢を算出す
   る、ことを特徴とする請求項１に記載の複合現実感表示
   装置。
6. 【請求項６】前記物体教示指標には互いの位置関係が既
   知である複数の点滅光源が配設されて、各点滅光源は識
   別情報又はその他のデータを光の点滅パターンに符号化
   して送信する、ことを特徴とする請求項１に記載の複合
   現実感表示装置。
7. 【請求項７】前記物体認識部は、入力画像を基に各点滅
   光源からの点滅パターンを抽出するとともにこれらを復
   号化して前記物体教示指標が持つ識別情報を認識する、
   ことを特徴とする請求項６に記載の複合現実感表示装
   置。
8. 【請求項８】前記位置・姿勢計算部は、入力画像を基に
   各点滅光源からの点滅パターンを抽出しこれらを復号化
   して各々を識別するとともに、該入力画像における各点
   滅光源の検出位置に基づいてその空間的な位置及び姿勢
   を算出する、ことを特徴とする請求項６に記載の複合現
   実感表示装置。
9. 【請求項９】仮想物体を現実空間に合成して表示する複
   合現実感表示方法であって、 物体教示指標を含んだ現実空間上のシーンを捕捉する画
   像入力ステップと、 前記画像入力ステップにおける入力画像を基に前記物体
   教示指標の空間的位置及び姿勢を計算する位置・姿勢計
   算ステップと、 前記画像入力ステップにおける入力画像を基に前記物体
   教示指標が持つ識別情報を認識して対応する現実物体を
   認識する物体認識ステップと、 前記物体認識ステップにおいて認識された現実物体につ
   いての３次元モデルからなる仮想物体を前記位置・姿勢
   計算ステップにおいて算出された空間的な位置及び姿勢
   に応じて回転・移動させて入力画像上に合成する画像合
   成ステップと、を具備することを特徴とする複合現実感
   表示方法。
10. 【請求項１０】前記画像合成ステップでは、前記物体認
    識ステップにおいて認識された現実物体に関する料金や
    仕様、あるいはその他の関連情報を入力画像上にさらに
    合成する、ことを特徴とする請求項９に記載の複合現実
    感表示方法。
11. 【請求項１１】さらに前記物体教示指標までの距離を測
    定する距離測定ステップを備え、 前記画像合成ステップでは、前記距離測定ステップにお
    いて得られた距離に基づいて前記仮想物体に陰面処理を
    適用する、ことを特徴とする請求項９に記載の複合現実
    感表示方法。
12. 【請求項１２】前記物体教示指標には光学的識別情報が
    配設されており、 前記物体認識ステップでは、入力画像から光学的識別情
    報を抽出して物体の識別情報を取得する、ことを特徴と
    する請求項９に記載の複合現実感表示方法。
13. 【請求項１３】前記物体教示指標には互いの位置関係が
    既知である複数の光学的識別情報が配設されており、 前記位置・姿勢計算ステップでは、入力画像から光学的
    識別情報を抽出して、該入力画像における各光学的識別
    情報の検出位置に基づいてその空間的な位置及び姿勢を
    算出する、ことを特徴とする請求項９に記載の複合現実
    感表示方法。
14. 【請求項１４】前記物体教示指標には互いの位置関係が
    既知である複数の点滅光源が配設されて、各点滅光源は
    識別情報又はその他のデータを光の点滅パターンに符号
    化して送信する、ことを特徴とする請求項９に記載の複
    合現実感表示方法。
15. 【請求項１５】前記物体認識ステップでは、入力画像を
    基に各点滅光源からの点滅パターンを抽出するとともに
    これらを復号化して前記物体教示指標が持つ識別情報を
    認識する、ことを特徴とする請求項１４に記載の複合現
    実感表示方法。
16. 【請求項１６】前記位置・姿勢計算ステップは、入力画
    像を基に各点滅光源からの点滅パターンを抽出しこれら
    を復号化して各々を識別するとともに、該入力画像にお
    ける各点滅光源の検出位置に基づいてその空間的な位置
    及び姿勢を算出する、ことを特徴とする請求項１４に記
    載の複合現実感表示方法。
17. 【請求項１７】仮想物体を現実空間に合成して表示する
    ための処理をコンピュータ・システム上で実行するよう
    に記述されたコンピュータ・ソフトウェアをコンピュー
    タ可読形式で物理的に格納した記憶媒体であって、前記
    コンピュータ・ソフトウェアは、 物体教示指標を含んだ現実空間上のシーンを捕捉する画
    像入力ステップと、 前記画像入力ステップにおける入力画像を基に前記物体
    教示指標の空間的位置及び姿勢を計算する位置・姿勢計
    算ステップと、 前記画像入力ステップにおける入力画像を基に前記物体
    教示指標が持つ識別情報を認識して対応する現実物体を
    認識する物体認識ステップと、 前記物体認識ステップにおいて認識された現実物体につ
    いての３次元モデルからなる仮想物体を前記位置・姿勢
    計算ステップにおいて算出された空間的な位置及び姿勢
    に応じて回転・移動させて入力画像上に合成する画像合
    成ステップと、を具備することを特徴とする記憶媒体。
18. 【請求項１８】仮想物体を現実空間に合成して表示する
    ための処理をコンピュータ・システム上で実行するよう
    にコンピュータ可読形式で記述されたコンピュータ・プ
    ログラムであって、 物体教示指標を含んだ現実空間上のシーンを捕捉する画
    像入力ステップと、 前記画像入力ステップにおける入力画像を基に前記物体
    教示指標の空間的位置及び姿勢を計算する位置・姿勢計
    算ステップと、 前記画像入力ステップにおける入力画像を基に前記物体
    教示指標が持つ識別情報を認識して対応する現実物体を
    認識する物体認識ステップと、 前記物体認識ステップにおいて認識された現実物体につ
    いての３次元モデルからなる仮想物体を前記位置・姿勢
    計算ステップにおいて算出された空間的な位置及び姿勢
    に応じて回転・移動させて入力画像上に合成する画像合
    成ステップと、を具備することを特徴とするコンピュー
    タ・プログラム。