JP3991020B2 - 画像表示方法及び画像表示システム - Google Patents

Description

本発明は、任意視点における現実空間の映像情報に、仮想空間の映像情報を重畳し、観察者に提示する複合現実感システムにおける画像表示装置及び画像表示方法に関する。

複合現実感システムとは、現実空間映像と、ユーザの視点位置、視線方向等に応じて生成される仮想空間映像とを合成することにより得られる合成映像をユーザに提供するものである。複合現実感システムでは、現実空間中に仮想物体が実在しているかのような感覚を観察者に提示することが可能であり、従来の仮想現実感システム（ＶＲシステム）に比べてよりリアルに、実寸感覚を伴った観察が可能である（特許文献１参照）。

一方、従来、設計・製造分野において３次元ＣＡＤを使った設計（形状、デザイン）が主流になってきている。３次元ＣＡＤで設計された物体を評価する方法としては、３次元ＣＡＤで作成されたデータ（ソリッド形式）を３次元コンピュータグラフィックス（以下、３Ｄ−ＣＧ）として計算機の画面上に表示して視覚的に評価する方法や、ラピッド・プロトタイピング装置などで簡易試作物（簡易モックアップ）を作成し、視覚に加えて触覚的に評価する方法などが主流である。
特開平１１−１３６７０６号公報

しかし、３次元ＣＡＤデータを３Ｄ−ＣＧとして計算機の画面上に表示する方法では、仮想空間内での評価となり、現実空間内での実寸感覚で物体の評価をすることができない。また、ラピッド・プロトタイピング装置などで簡易試作物（簡易モックアップ）を作成する方法は、加工精度、素材などの制約により、おおまかな形状を把握するのには有効であるが、デザインや形状の詳細、色彩など、３Ｄ−ＣＡＤ上で設計した詳細な情報が再現されるものではない。したがって、より完成品に近い状況で、設計データを評価する方法が求められている。

本発明は上記の課題に鑑みてなされたものであり、簡易的に試作された模型を用いながら、完成品に近い形で設計評価を可能とすることを目的とする。

上記の目的を達成するための本発明による画像表示方法は、
任意視点における現実空間の現実画像に仮想空間の画像情報を重畳し、観察者に提示する画像表示装置の画像表示方法であって、
入力手段が、ＣＡＤデータに基づいて簡易的に作成された簡易模型を含む現実空間の画像情報を撮像デバイスによって撮像することにより得られた現実画像を取り込む入力工程と、
計測手段が、前記撮像デバイス及び前記簡易模型の位置及び姿勢を計測し、前記現実画像中の前記簡易模型の位置及び姿勢を示す位置／姿勢情報を取得する計測工程と、
抽出手段が、前記現実画像より、色情報記憶手段に記憶された所定の色を含む領域を抽出する領域抽出工程と、
合成手段が、前記位置／姿勢情報と前記ＣＡＤデータとに基づいて、前記領域抽出工程で抽出された領域以外の、前記現実画像中の前記簡易模型の部分にコンピュータグラフィック画像を描画して、前記現実画像と前記コンピュータグラフィック画像を合成する合成工程とを備え、
前記簡易模型が、前記色情報記憶手段に記憶されている前記所定の色とは異なる色で着色されている。

また、本発明の画像処理システムは、
任意視点における現実空間の現実画像に仮想空間の画像情報を重畳し、観察者に提示する画像表示システムであって、
ＣＡＤデータに基づいて簡易的に作成された簡易模型を含む現実空間の画像情報を撮像デバイスにより撮影することにより得られた現実画像を取り込む入力手段と、
前記撮像デバイス及び前記簡易模型の位置及び姿勢を計測し、前記現実画像中の該簡易模型の位置及び姿勢を示す位置／姿勢情報を取得する計測手段と、
前記現実画像より、色情報記憶手段に記憶された所定の色を含む領域を抽出する領域抽出手段と、
前記位置／姿勢情報と前記ＣＡＤデータとに基づいて、前記領域抽出手段で抽出された領域以外の、前記現実画像中の前記簡易模型の部分にコンピュータグラフィック画像を描画して、前記現実画像と前記コンピュータグラフィック画像を合成する合成手段とを備え、
前記簡易模型が、前記色情報記憶手段に記憶されている前記所定の色とは異なる色で着色されている。

上記の構成によれば、簡易的に試作された模型を用いながら、完成品に近い設計評価をすることが可能となる。

以下、添付図面に従って、本発明の好適な実施形態について説明する。

以下に説明する本実施形態の複合現実感システムでは、３次元ＣＡＤのデータよりラピッド・プロトタイピング装置で作成した簡易試作物（簡易モックアップ）に、同じ３次元ＣＡＤのデータを変換して作成した３次元ＣＧ（３Ｄ−ＣＧ）データを、複合現実感システムを使って位置・姿勢方向を一致させて重ね合わせ、表示する。これにより、視覚的な評価と触覚的な評価を同時に実現し、より完成品に近い状態での評価を可能とする。さらに、３Ｄ−ＣＡＤで生成された３次元データより簡易試作物を作成する際に、簡易試作物の色や形状などに処理を施すことによって、重ね合わせ処理の準備を容易に行うものである。

＜第１実施形態＞
第１実施形態では、３Ｄ−ＣＡＤで生成された３次元データに基づいて作成された簡易試作物（簡易モックアップ）やその背景の色を工夫することにより、簡易試作物に３ＤＣＧデータを重ね合わせて表示する際の、体験者の手に相当する部分の抽出を容易とした複合現実感システムを説明する。

第１実施形態によるシステム構成を図１に示す。

図１において、１００は観察者が頭部に装着して現実空間と仮想空間を合成した映像を観察するための頭部装着型映像入出力装置（頭部装着型ディスプレイ（Head Mounted Display）などと呼ばれる。以下、ＨＭＤと称する）である。また、２００は磁場を発生させる磁気トランスミッタ、２０１、２０２は磁気トランスミッタ２００が発生させた磁場の変化を計測するための磁気センサである。２０５は位置・姿勢計測装置であり、磁気センサ２０１、２０２の計測結果より、各磁気センサの位置・姿勢を計測する。磁気センサ２０１はＨＭＤ１００に取り付けられており、観察者の視点位置、視線方向を算出するのに用いられる。３００は観察者が手で保持、操作する操作手段としての簡易試作物（簡易モックアップ）である。簡易試作物３００には、ＨＭＤ１００と同様に磁気センサ２０２が組み込まれている。位置・姿勢計測装置２０５は、磁気センサ２０２の計測結果に基づいて、簡易試作物３００の位置・姿勢を算出する。３０１は簡易試作物を観察するための台である。

１０１はＨＭＤ１００に組み込まれている映像表示装置、１０２はＨＭＤ１００に組み込まれている映像入力装置であり、それぞれ右目、左目用に２セットずつ組み込まれている。４００は情報処理装置であって、位置・姿勢計測装置２０５により算出した位置・姿勢情報に合わせたＣＧ映像を生成し、ＨＭＤ１００の映像入力装置１０２より入力した映像に重畳し、得られた合成映像をＨＭＤ１００の映像表示装置１０１に向けて出力するものである。

次に、ＨＭＤ１００の具体的な構成について図２を参照して説明する。図２において１０１は図１でも示されている映像表示装置であり、０．５〜数インチ程度の小型の液晶表示デバイス等で構成される。１０３は、映像表示装置１０１の映像を拡大するレンズの役目を果たす自由曲面プリズムである。これらの構成により、映像表示装置１０１に表示された映像は、観察者にとってはたとえば２ｍ先に９０インチ相当の映像として提示される。

１０２は図１にも示されている映像入力装置であり、ＣＣＤカメラ、ＣＭＯＳカメラなどの撮像デバイスで構成されるものである。１０４は現実空間の光を映像入力装置１０２に収束させるためのレンズの役目をはたす撮像系プリズムである。撮像系プリズム１０４は自由曲面プリズム１０３の外側に、両プリズムにおける光軸を一致させるように配置することで、映像入力装置１０２で入力した映像と、映像表示装置１０１に表示した映像の視差をなくし、現実空間の映像を違和感なく再現することを可能としている。

次に、図１における情報処理装置４００の具体的な構成について、図３を使って説明する。

４０１Ｌ、Ｒは映像キャプチャ部であり、映像入力装置１０２より入力した映像データを取り込み、デジタル信号として情報処理装置４００内に提供する。４０４は位置・姿勢情報入力部であり、位置・姿勢計測装置２０５より送られるＨＭＤ１００と簡易試作物３００の位置・姿勢データを情報処理装置４００内に取り込む。４０５は位置・姿勢算出部であり、位置・姿勢入力部４０４からの入力データをもとに、ＨＭＤ１００と簡易試作物３００の相対的な位置関係を算出する。

４０６は簡易試作物３００に重畳させるための３ＤＣＧ描画データである。４０７はＣＧレンダリング部であり、位置・姿勢算出部４０５で算出したＨＭＤ１００と簡易試作物３００の相対的な位置関係に基づいて、ＣＧデータを描画させるべき位置、大きさ、角度（パース）などを計算し、その計算結果に基づいて３ＤＣＧ描画用データ４０６をレンダリングする。

４０２Ｌ、Ｒは映像合成部であり、映像キャプチャ部４０１Ｌ、Ｒで取り込んだ現実空間の映像データに、ＣＧレンダリング部４０７で生成したＣＧ映像を重畳する。４０３Ｌ、Ｒは映像生成部であり、合成した映像をアナログデータに変換し、映像表示装置１０１に出力する。

４２０は、映像キャプチャ部４０１Ｌ、Ｒで取り込んだ現実空間の映像データから、手色情報登録データ４２１に基づいて、手の領域を抽出してマスク画像を生成する手領域抽出部である。ここで、手領域抽出部４２０の処理例について、図４を参照してより詳細に説明する。

映像合成部４０２では、現実空間の映像データに、仮想空間の映像（ＣＧ映像）を重畳（上書き）することで合成映像を生成している。この場合には、本来ＣＧ映像より手前にあるべきはずのものも、ＣＧ映像で上書きされてしまうため、ＣＧ映像と現実物体との奥行き感に矛盾が生じる場合がある。

図４（ａ）は映像入力装置１０２より入力された現実空間の映像データの一例であり、簡易試作物を観察者の手で保持している映像である。手の一部（親指あたり）が簡易試作物の手前に存在している。この映像に、簡易試作物に対応するＣＧ映像を重畳すると、図４（ｂ）のような合成映像となる。すなわち簡易試作物よりも手前にあるはずの手の一部が、ＣＧ映像により隠れてしまい、奥行き感に矛盾が発生し、観察者にとって違和感のある映像となる。

そこで、第１実施形態の複合現実感システムでは、情報処理装置４００内に取り込んでいる現実空間の映像データを用いて、画像処理により、上記のような奥行き感の矛盾を解消する。すなわち、映像入力装置１０２から得られた映像データ（図４（ａ））より画像処理を用いて手の領域のみを抽出する。抽出された手の領域からマスク画像（図４（ｃ））を生成し、このマスク画像で指定された手領域以外の領域に関してＣＧ映像を生成し、現実空間の映像に重畳する。このようにすることで手の領域が簡易試作物よりも手前に表示されることになり、奥行き感の違和感が解消される。

ここで、本実施形態では、簡易試作物３００を体験者が手で保持した場合に、現実空間の映像情報から手に相当する部分を信頼度高く抽出するために、簡易試作物３００を手とは色相が大きく異なる色、たとえば青色で塗装する。また、現実空間の映像情報には、体験者の手と簡易試作物の他に、簡易試作物の背景の現実物体（簡易試作物を載せる台３０１や周囲の衝立など）も含まれる。そこで本実施形態では、現実空間の映像情報から手に相当する部分をさらに信頼度高く抽出するために、簡易試作物の背景の現実物体を手とは色相が大きく異なる色とする。たとえば緑色で塗装したり、緑色の布や紙を貼ったりする。

更に、簡易試作物３００とその背景の現実物体を略同一の色（たとえば青色）とすれば、デジタルデータとして入力された現実空間の映像情報から体験者の手に相当する部分を抽出するための、手色情報登録データ４２１の作成を、より容易に行うことができる。つまり、簡易試作物とその背景が別の色の場合には、色空間中のそれぞれの色の領域を考慮して抽出すべき手の色の領域を登録しなければならないのに対し、略同一の色である場合には、色空間中のその色の領域のみを考慮して抽出すべき手の色の領域を登録すればよい。この点についてさらに説明すれば次のとおりである。色の登録は色空間中での領域の指定によって行われるので、抽出すべき手の色の領域は背景色に応じて若干変化する。すなわち、背景色と手の色の色相が大きく異なる場合には抽出すべき手の色の領域は大まかに設定することができまるが、背景色と手の色の色相が近い場合には抽出すべき手の色の領域をより厳密に設定しなければならない。さもないと、背景色（の一部）も手の色として抽出されてしまうことになる。したがって、背景色と簡易試作物が略同一の色でない場合のほうが、両者の色が略同一である場合よりも抽出すべき手の色の領域をより厳密に設定しなければならなくなる。

なお、簡易試作物とその背景を略同一の色（たとえば青色）とする場合には、簡易試作物とその背景の現実物体との境界線（輪郭）が視覚的に目立たなくなるため、仮に簡易試作物とＣＧデータの重ね合わせ位置が若干ずれたとしても、そのずれが視覚的に目立たなくなるという効果も得られる。

上記構成による本実施形態の情報処理装置４００における処理の流れを、図５を参照して説明する。まず、３Ｄ−ＣＡＤのデータから簡易試作物３００と３ＤＣＧ描画用データ４０６を作成する手順を図５左側の処理手順で説明する。

通常３次元ＣＡＤシステムを使って形状やデザインなどの設計業務を行う（１０１０）場合、設計データはそれぞれの３次元ＣＡＤシステム固有のソリッドデータとして保存されるのが一般的である。簡易試作物３００は、このソリッドデータより、光造形などのラピッド・プロトタイピング装置を使って作成する（１１１０）。一方、３Ｄソリッドデータは、各設計部品の幾何学的なパラメータの集合で表現されており、そのままではＣＧとして描画することはできない。そこで、３Ｄソリッドデータを３ＤＣＧの描画に適したデータ形式（たとえばＶＲＭＬなど）に変換する（１２１０）。本実施形態の複合現実感システムでは、このように変換された３ＤＣＧ描画用データ４０６を使って仮想空間を生成する。

次に、本実施形態における複合現実感システムの処理手順について、図５右側の処理手順で説明する。

まず、処理２０１０の前の処理（不図示）において簡易試作物３００の初期位置・姿勢が実測される。たとえば簡易試作物を所定の位置に所定の姿勢で固定し、そのときのセンサの位置・姿勢の計測値を読み取り、計測値と所定値の差分を「センサの取り付けられた位置・姿勢」とする。磁気トランスミッタ２００と磁気センサ２０２のデータ及び初期位置・姿勢を使って、位置・姿勢計測装置２０５は簡易試作物３００の現実空間中における位置・姿勢を計測する（２０１０）。同様に、磁気トランスミッタ２００と磁気センサ２０１のデータを使って、位置・姿勢計測装置２０５は観察者が装着しているＨＭＤ１００の現実空間中における位置・姿勢を計測する（２０２０）。位置・姿勢計測装置２０５によって得られた計測データは、位置・姿勢情報入力部４０４を通して情報処理装置４００に取り込まれる。そして、位置・姿勢算出部４０５においてＨＭＤ１００と簡易試作物３００との相対的な位置・姿勢関係が計算される（２０３０）。

一方、上記の処理２０１０、２０２０、２０３０と並行して、ＨＭＤ装置１００の映像入力装置１０１からの現実空間の映像を、映像キャプチャ部４０１を通して情報処理装置４００に取り込む（３０１０）。

処理３０１０において情報処理装置４００の映像キャプチャ部４０１より現実空間の映像データが取り込まれると、手領域抽出部４２０は、各画素の色情報を、手色情報登録データ４２１にあらかじめ登録してある手領域の色情報と比較する。そして、手領域の色情報に一致した場合、その画素の色は人間の肌の色であると判断され、当該画素は手領域であると判断される（５０１０）。すべての画素について手の領域であるかどうかの判断を行い、手の領域と判断された画素のみを抽出して、ビデオバッファなどのメモリに手領域のデータのみを記録することにより、マスク画像が生成される（５０２０）。

ＣＧレンダリング部４０７では、処理２０３０で算出した相対的な位置関係と３ＤＣＧ描画用データ４０６を用いてＣＧを描画し、ビデオバッファなどのメモリ（不図示）に展開する（２０４０）。このとき、上述したようにＣＧレンダリング部４０７は、マスク画像中の手領域にはＣＧ画像を描画しないようにする。

一方、処理３０１０で取り込んだ現実空間の映像データもビデオバッファなどのメモリに展開する（３０２０）。映像合成部４０２Ｌ、Ｒは、上記の処理２０４０で生成したＣＧ映像を、処理３０２０で展開した映像データに重畳する（４０１０）。合成された映像は、映像生成部４０３にてアナログ等のビデオ信号に変換され、ＨＭＤ１００の映像表示装置１０１に表示される（４０２０）。こうして合成された画像には、マスク画像中の手領域部分にＣＧ画像が描画されないので図４（ｄ）に示したような自然な奥行き感の画像が得られることになる。

上記２０１０から４０２０までの処理を映像表示装置１０１における映像更新間隔あるいはＣＧ描画２０４０における更新間隔で繰り返し行うことで、リアルタイムに情報提示を行う。本実施形態による処理結果の例は、先に図４に示したとおりである。

なお、第１実施形態では、位置・姿勢を計測する手段として磁気を使った装置を例に説明したが、本発明はこれに限定されるものではなく、光学的な位置・姿勢計測装置など他の手段で実現できることはいうまでもない。

以上のように、第１実施形態によれば、３Ｄ−ＣＡＤで生成された３次元データより作成された簡易試作物３００に、同じ３次元データより作成された３ＤＣＧデータを重ね合わせて表示する際に、簡易試作物３００や背景物体の色を映像中より抽出すべき所定領域の色（手領域の色）と異なる色（たとえば補色）とすることにより、更に好ましくは簡易試作物と背景物体の色を略同一にすることにより、領域抽出をより容易且つ確実に行なうことができる。すなわち、簡易試作物と３ＤＣＧデータを重ね合わせる処理の準備（手色情報登録データの登録作業）を容易に行うことができる。

＜第２実施形態＞
第１実施形態においては、磁気を利用した位置・姿勢計測を例に説明した。しかしながら、磁気を利用した位置・姿勢計測においては、環境により計測精度が不安定になる場合がある。たとえば磁気トランスミッタの近傍に金属物体が存在する場合には磁場が乱れ、磁気センサの出力する値が不安定になる。また、磁気トランスミッタと磁気センサの距離が遠くなるほど、計測精度が悪化するなどの問題がある。このような計測精度の問題は、磁気利用のセンサに限らず、種々の方式の計測装置において発生する。

そこで、第２実施形態の複合現実感システムでは、情報処理装置４００内に取り込んでいる現実空間の映像データを用いて位置・姿勢を補正し、その計測精度を向上する。例えば、図６に示すように、簡易試作物３００に画像認識用のマーカを添付し、これを特徴点として用いる。マーカとしては、位置・姿勢補正のアルゴリズムにより、形状マーカ３０１あるいは、色マーカ３０２など種々のものが考えられる。更に、第２実施形態では、簡易試作物３００に目印を付加して、位置・姿勢補正用のマーカを添付する際の目安とすることにより、添付したマーカの位置情報を容易に求められるようにする。

ここで、マーカ（以下、特徴点という）を用いた位置・姿勢の補正方法について説明する。ここでは、一般的な補正方法として、映像入力部（カメラ）の外部パラメータを特徴点１点から補正する方法について説明する。なお、ここで特徴点とは、人工的に特定の色や形の情報をもったシール状のものなどを現実空間中の簡易試作物に貼り付けたマーカを用いても良いし、簡易試作物の形状の特徴的な部分を特徴点としても良い。

図１４は映像入力装置（カメラ）の外部パラメータ（位置・姿勢をあらわすパラメータ）の一般的な補正方法を説明する模式図である。図１４において、点Ａは映像入力装置（カメラ）及び簡易試作装置３００の位置・姿勢に基づいて予測される特徴点の位置、点Ｂはこの特徴点の実際の位置、点Ｃは映像入力装置（カメラ）視点の位置を表す。なおここでは、点Ａ、点Ｂが示す位置はカメラ座標系における位置であって、点Ｃは映像入力装置（カメラ）座標系の原点である。また、点Ｐは撮像面上における点Ａの位置、点Ｑは撮像面上における点Ｂの位置を示す。ここで、図１４に示すように、点Ｐ、Ｑの座標を各々（ｘ_p，ｙ_p）、（ｘ_q，ｙ_q）、撮像面の幅、高さを各々ｗ、ｈ、カメラの焦点距離（撮像面から映像入力装置までの距離）をｄとし、ｖ₁を点Ｃから点Ｑへのベクトル、ｖ₂を点Ｃから点Ｐへのベクトル、θをｖ₁とｖ₂のなす角度とする。

まず、特徴点１点を用いて姿勢をθだけ点Ｂ方向から点Ａ方向に変化させる方法（映像入力装置の回転による補正方法）について説明する。

上記の設定から、ｖ₁、ｖ₂を求めると、各々の成分は以下の（１）式のようになる。

次に、各々のベクトルを、以下の（２）式により大きさ１のベクトルに正規化する。なお、|ｖ|は、ベクトルｖの大きさをあらわす。

ここで、映像入力装置（カメラ）を回転させる場合、その回転軸はベクトルｖ₁、ｖ₂がなす平面と直行し、カメラ視点位置（点Ｃ）を通る直線となる。この回転軸の方向ベクトルは、（３）式に示すように、ベクトルｖ₁、ｖ₂の外積により求めることができる（実際には正規化したもの（ｖ₁’、ｖ₂’）を用いる）。

ここで、ｖ_xは回転軸の方向ベクトルであって、その成分を（ｌ,ｍ,ｎ）とする。また、回転角θはベクトルｖ₁、ｖ₂がなす角度なので、以下の（４）式のように求めることができる。

よって、映像入力装置の回転による補正に用いる補正行列ΔＭｃは、以下の（５）式のように計算される。

この補正行例を映像入力装置の位置・姿勢を示す行列にかけることで、映像入力装置の位置・姿勢が補正される。つまり、点Ｐが点Ｑの位置に表示され、撮像面上におけるランドマークの位置姿勢パラメータから予測される位置と実際の位置とが一致する。なお、上述の説明では、映像入力装置（カメラ）の回転を使った補正方法について説明したが、映像入力装置の平行移動により誤差を補正する方法なども使用可能である。また、複数の特徴点を使った補正方法でも同様の効果が得られるが、説明は省略する。

さて、マーカ添付のための目印は、たとえば、直交する直線群（図７（ａ））や、その交点を表す点群（図７（ｂ））といった格子柄によって表すことができる。なお、交差する直線同士のなす角は、９０度に限らず、たとえば６０度などの任意の角度でもよい。また、マーカを添付する位置が予め正確に決められている場合には、その位置のみに目印を付加してもよい。

目印の付加方法としては、たとえば、パターンの描画、パターンの投影、凹凸形状の付加などが考えられる。なお、物体に予め目印となるようなパターン模様や形状が含まれている場合には、改めて目印を付加しなくてもよい。

付加した目印の位置情報は、レーザ測量機など用いて計測する。ここで、目印が図７に示すように平面上に格子状に規則的に並んでいる場合には、同一直線上にない３点の目印の位置情報さえ計測しておけば、全ての目印の位置情報を容易に算出することができる。たとえば、図８において、目印Ａ、Ｂ、Ｃの位置情報がそれぞれＸ_A＝（ｘ_A，ｙ_A，ｚ_A）、Ｘ_B＝（ｘ_B，ｙ_B，ｚ_B）、Ｘ_C＝（ｘ_C，ｙ_C，ｚ_C）であるとすると、目印Ｄの位置情報は、
Ｘ_D＝Ｘ_A＋３×（Ｘ_B−Ｘ_A）＋４×（Ｘ_C−Ｘ_A） …（Ａ）
によって求めることができる。

以上のように、その位置が既知である目印を付加しておき、この目印に基づいてマーカを添付することにより、図１４で上述したような補正を実施することができ、また次のような利点が得られる。
（１）マーカが複数ある場合でも、「３点の目印みの計測」を行なっておけばよく、計測の回数が少なくて済む。
（２）マーカを貼り直した場合、マーカの位置は目印を目安に簡単に算出することができ、改めて計測をやり直す必要がない（レーザ計測器などを用いた計測には手間がかかる）。

なお、「目印の位置」、「マーカの位置」とは、簡易試作物に設定した座標系における目印及びマーカの位置である。

次に、第２実施形態による複合現実感システムの構成と処理の流れを、図９、図１０を参照して説明する。なお、第１実施形態の構成（図３）及び処理（図５）と同じ要素には同一の参照番号を付し、それらの詳細な説明は省略する。

マーカ検出部４１０は、映像キャプチャ部４０１Ｌ、Ｒより入力される映像より、図６に示したマーカを検出し、その検出結果（マーカの位置等）を位置・姿勢算出部４０５へ送る。位置・姿勢算出部４０５は、マーカ検出部４１０からの検出結果と、位置・姿勢情報入力部４０４より入力される位置・姿勢情報に基づいて得られるマーカの位置とに基づき補正情報を生成する。そして、位置・姿勢情報入力部４０４より入力される位置・姿勢情報に基づいて算出された簡易試作物３００の位置・姿勢を補正情報を用いて補正し、出力する。

３Ｄソリッドデータより光造形などのラピッド・プロトタイピング装置で作成した簡易試作物３００に対して目印を付加し（１１１１）、その目印の位置をレーザ測量機などを用いて計測し、得られた目印位置情報を記録する（１１１２）。そして、付加した目印を目安としてマーカを添付する（１１２０）。さらに、目印位置情報を参考にして、マーカを添付した位置情報を算出し、記録する（１１３０）。例えば、図８のように付加された目印の位置にマーカが添付されれば、そのマーカの位置は上記の式（Ａ）により算出することができる。

複合現実感システムの処理では、処理３０１０において現実空間の映像データを情報処理装置４００内に取り込んだ後に、マーカ検出部４１０にて、現実空間の映像データ中より簡易試作物３００に添付されたマーカの位置を抽出する（３０１１）。あらかじめ処理１１３０で記録したマーカ位置と、３０１１で映像データ中より抽出されたマーカ位置を用いて補正情報を算出し、位置・姿勢計測装置２０５より出力されて情報処理装置４００に取り込まれた計測結果を算出した補正情報により補正し（２０３１）、補正後のデータを用いてＣＧの描画を行う（２０４０）。

なお、本実施形態では、簡易試作物に目印を付加してマーカを添付する際の目安としたが、これに限らず、簡易試作物の背景の現実物体（たとえば台など）に目印を付加してマーカを添付する際の目安としてもよい。また、簡易試作物とその背景の現実物体の両方に目印を付加してもよい。

以上のように、第２実施形態によれば、簡易試作物に目印を付加して、マーカを添付する際の目安とすることにより、添付したマーカの位置情報を容易に求めることができる。すなわち、簡易試作物と３ＤＣＧデータを重ね合わせる処理の準備（マーカ位置情報の登録）を容易に行うことができる。

＜第３実施形態＞
第３実施形態では、第２実施形態における簡易試作物（簡易モックアップ）への目印の付加を、簡易試作物の３Ｄ−ＣＡＤデータに目印の形状データを付加することによって実現する。第３実施形態における処理の流れを図１１を参照して説明する。なお、第２実施形態の処理（図１０）と同じ処理については、同一の参照番号を付してある。また、第３実施形態における複合現実感システムの構成は、第２実施形態の構成（図９）と同じである。

まず、３次元ＣＡＤシステム１０１０を使って、３Ｄ−ＣＡＤソリッドデータに目印の形状データを付加し（１０１１）、その位置情報を記録する（１０１２）。すなわち、目印は、３Ｄ−ＣＡＤシステム１０１０上で、３Ｄ−ＣＡＤソリッドデータに形状データとして付加される。ここで、目印の形状データは、たとえば直交する複数の溝や、その交点を表す複数の小さな穴または突起で表すことができる（図７参照）。なお、交差する溝同士のなす角は、９０度に限らず、たとえば６０度などの任意の角度でもよい。もちろん、マーカを添付する位置が予め正確に決められている場合には、その位置のみに小さな穴や突起などの形状データを付加してもよい。ここで、目印の位置を指定するだけで、予め作成しておいた形状データが、指定した位置に自動的に付加されるような仕組みを、３Ｄ−ＣＡＤシステム１０１０に組み込んでおいてもよい。

次に、３Ｄ造形物生成の処理１１１０で、光造形などのラピッド・プロトタイピング装置で、目印形状が付加された簡易試作物３００を作成する。つまり、簡易試作物３００の表面には、小さな溝や小さな穴または突起が付加されることになる。例えば、図７に示すような目印を有する簡易試作物３００が作成される。そして、付加された目印形状を目安として、簡易試作物３００にマーカを添付する（１１２０）。

簡易試作物３００に添付したマーカの位置情報を３Ｄ−ＣＡＤソリッドデータに付加した目印の形状データの位置情報（１０１２）を基にして算出し、記録する（１１３０）。付加した「形状データの位置情報」は、３Ｄ−ＣＡＤシステム１０１０上で容易に求めることができる。そして、マーカの位置情報は、たとえば、最近傍の目印形状からの絶対距離や、背景の複数の目印形状からの距離の比などを用いて、容易に算出することができる。

一方、３ＤＣＧ描画データには目印が付加されている必要がないので、目印の形状データが付加されていない３Ｄ−ＣＡＤソリッドデータを３ＤＣＧの描画に適したデータ形式（たとえばＶＲＭＬなど）に変換する（１２１０）。たとえば、３Ｄ−ＣＡＤソリッドデータのうち、３ＤＣＧ描画データに付加しない形状データに非描画のフラグを設定しておき、３ＤＣＧ描画データ変換１２１０において、非描画のフラグが設定されていない形状データのみを３ＤＣＧデータへ変換する。

複合現実感システムでは、このように変換された３ＤＣＧ描画用データ４０６を使って仮想空間を生成する。複合現実感システムの処理は、第２実施形態と同じである。

なお、第３実施形態では、簡易試作物の３Ｄ−ＣＡＤデータに目印の形状データを付加してマーカを添付する際の目安としたが、これに限らず、簡易試作物の背景の現実物体（たとえば台など）の３Ｄ−ＣＡＤデータに目印の形状データを付加してマーカを添付する際の目安としてもよい。また、簡易試作物とその背景の現実物体の両方の３Ｄ−ＣＡＤに目印の形状データを付加してもよい。

また、第３実施形態では、３Ｄ−ＣＡＤデータに目印の形状データを付加したが、３Ｄ−ＣＡＤデータ上で目印の位置を指定するだけで、所定の目印の形状データが自動的に付加されるような仕組みを、３Ｄ−ＣＡＤシステム１０１０に組み込んでおいてもよい。例えば、所望の位置を指定して目印の形状データの付加を指示すると、指定位置を左下隅として図７（ａ）に示すような格子状の目印が付加されるようにしてもよい。

以上のように、第３の実施形態によれば、簡易試作物の３Ｄ−ＣＡＤデータに目印の形状データを付加して、マーカを添付する際の目安とすることにより、添付したマーカの位置情報を容易に求めることができる。すなわち、簡易試作物と３ＤＣＧデータを重ね合わせる処理の準備（マーカ位置情報の登録）を容易に行うことができる。

＜第４実施形態＞
第４実施形態では、３Ｄ−ＣＡＤデータ中にセンサ埋め込み位置を指定することにより、簡易試作物（簡易モックアップ）にセンサ埋め込み用の形状が作成されるようにした複合現実感システムを示す。

図１２に第４実施形態による情報処理装置４００の具体的な構成を示す。第４実施形態における情報処理装置４００の構成は第１実施形態（図３）と同様であるが、以下で説明する実施形態では手領域の抽出をしないので、手領域の抽出に関する構成（４２０および４２１）が省かれている。但し、第１実施形態のような手領域抽出、第２実施形態のようなマーカ抽出を行なう構成としてもよいことは言うまでもない。

次に、第４実施形態における処理の流れを、図１３を参照して説明する。なお、第１実施形態の処理（図５）と同様の処理には同一の参照番号を付してある。

まず、３Ｄ−ＣＡＤシステム１０１０を用いて、３Ｄ−ＣＡＤソリッドデータ中にセンサ埋め込み位置及び姿勢を指定する。センサ埋め込み位置としては、たとえばセンサの中心の位置を指定する。すなわち、３Ｄ−ＣＡＤソリッドデータにセンサ埋め込み用の形状データを付加し（１０１３）、その位置情報及び姿勢情報を記録する（１０１４）。これにより３Ｄ−ＣＡＤソリッドデータ中にセンサ埋め込み用の形状データが付加される。たとえば、予め作成しておいたセンサ埋め込み用の形状が、指定した位置で指定された姿勢となるように自動的に付加されるような仕組みを、３Ｄ−ＣＡＤシステム１０１０に組み込んでおけばよい。そして、光造形などのラピッド・プロトタイピング装置で、センサ埋め込み形状が付加された簡易試作物３００を作成する（１１１０）。

一方、３ＤＣＧ描画データにはセンサ埋め込み用の形状が付加されている必要がないので、３ＤＣＧ描画データ変換の処理１２１０では、センサ埋め込み用の形状が付加されていない３Ｄ−ＣＡＤソリッドデータを３ＤＣＧの描画に適したデータ形式（たとえばＶＲＭＬなど）に変換する（１２１０）。こうして、センサ埋め込み用の形状が付加されていない３ＤＣＧ描画データ４０６が作成される。これは、たとえば、３Ｄ−ＣＡＤソリッドデータのうち、センサ埋め込み用の形状に非描画のフラグを設定しておき、３ＤＣＧ描画データ変換の処理１２１０において、非描画のフラグが設定されたデータは変換を実行しないようにすることで実現できる。

複合現実感システムでは、このように変換された３ＤＣＧ描画用データ４０６を使って仮想空間を生成する。すなわち、処理１０１４で記録したセンサ位置情報を使って、簡易試作物３００の初期位置・姿勢を記録する（２００１）。そして、記録された初期位置・姿勢とトランスミッタ２００とセンサ２０２のデータを使って、簡易試作物３００の現実空間中における位置・姿勢を計測する（２０１０）。なお、第１乃至第３実施形態では、簡易試作物３００の初期位置・姿勢は、処理２０１０の前の処理（不図示）において実測される。たとえば簡易試作物を所定の位置に所定の姿勢で固定し、そのときのセンサの位置・姿勢の計測値を読み取り、計測値と所定値の差分を「センサの取り付けられた位置・姿勢」とする。

以上のように、第４実施形態によれば、３Ｄ−ＣＡＤデータ上でセンサ埋め込み位置を指定することにより、簡易試作物（試作品）にセンサ埋め込み用の形状を容易に作成することができる。すなわち、簡易試作物を作成してからセンサ埋め込み用の形状を作成するよりも容易にセンサ埋め込み用の形状が作成できるため、簡易試作物と３ＤＣＧデータを重ね合わせる処理の準備（センサ埋め込み用形状の作成）を容易に行うことができる。

以上説明したように、上記各実施形態によれば、３次元ＣＡＤのデータよりラピッド・プロトタイピング装置で製作した簡易試作物（簡易モックアップ）に、同じ３次元ＣＡＤのデータを変換して作成した３Ｄ−ＣＧデータを、複合現実感システムを使って位置・姿勢方向を一致させて重ね合わせる処理のための準備を容易に行うことができる。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

第１実施形態による複合現実感ステムの概略構成を示す図である。 頭部装着型映像入出力装置（ＨＭＤ）の構成を示す図である。 第１実施形態による情報処理装置の構成を示すブロック図である。 第１実施形態による手領域抽出処理の例を示す図である。 第１実施形態による処理の流れを示す図である。 簡易試作物に添付したマーカの例を示す図である。 目印の表現方法の例を示す図である。 目印の位置情報の算出方法の例を示す図である。 第２実施形態による情報処理装置の構成を示すブロック図である。 第２実施形態による処理の流れを示す図である。 第３実施形態による処理の流れを示す図である。 第４実施形態による情報処理装置の構成を示すブロック図である。 第４実施形態による処理の流れを示す図である。 特徴点による位置・姿勢計測の補正を説明する図である。

Claims (6)

1. 任意視点における現実空間の現実画像に仮想空間の画像情報を重畳し、観察者に提示する画像表示装置の画像表示方法であって、
   入力手段が、ＣＡＤデータに基づいて簡易的に作成された簡易模型を含む現実空間の画像情報を撮像デバイスによって撮像することにより得られた現実画像を取り込む入力工程と、
   計測手段が、前記撮像デバイス及び前記簡易模型の位置及び姿勢を計測し、前記現実画像中の前記簡易模型の位置及び姿勢を示す位置／姿勢情報を取得する計測工程と、
   抽出手段が、前記現実画像より、色情報記憶手段に記憶された所定の色を含む領域を抽出する領域抽出工程と、
   合成手段が、前記位置／姿勢情報と前記ＣＡＤデータとに基づいて、前記領域抽出工程で抽出された領域以外の、前記現実画像中の前記簡易模型の部分にコンピュータグラフィック画像を描画して、前記現実画像と前記コンピュータグラフィック画像を合成する合成工程とを備え、
   前記簡易模型が、前記色情報記憶手段に記憶されている前記所定の色とは異なる色で着色されていることを特徴とする画像表示方法。
2. 前記簡易模型が、前記色情報記憶手段に記憶されている前記所定の色に対して補色関係となる色で着色されていることを特徴とする請求項１に記載の画像表示方法。
3. 前記入力工程で入力される前記現実画像は、前記簡易模型の色と略同一色の背景の前で前記撮像デバイスにより前記簡易模型を撮像することにより得られたものであることを特徴とする請求項１に記載の画像表示方法。
4. 前記入力工程で入力される前記現実画像は、前記所定の色及び前記簡易模型の色とは異なる色の背景の前で前記撮像デバイスにより前記簡易模型を撮像することにより得られたものであることを特徴とする請求項１に記載の画像表示方法。
5. 任意視点における現実空間の現実画像に仮想空間の画像情報を重畳し、観察者に提示する画像表示システムであって、
   ＣＡＤデータに基づいて簡易的に作成された簡易模型を含む現実空間の画像情報を撮像デバイスにより撮影することにより得られた現実画像を取り込む入力手段と、
   前記撮像デバイス及び前記簡易模型の位置及び姿勢を計測し、前記現実画像中の該簡易模型の位置及び姿勢を示す位置／姿勢情報を取得する計測手段と、
   前記現実画像より、色情報記憶手段に記憶された所定の色を含む領域を抽出する領域抽出手段と、
   前記位置／姿勢情報と前記ＣＡＤデータとに基づいて、前記領域抽出手段で抽出された領域以外の、前記現実画像中の前記簡易模型の部分にコンピュータグラフィック画像を描画して、前記現実画像と前記コンピュータグラフィック画像を合成する合成手段とを備え、
   前記簡易模型が、前記色情報記憶手段に記憶されている前記所定の色とは異なる色で着色されていることを特徴とする画像表示システム。
6. 前記簡易模型が、前記色情報記憶手段に記憶されている前記所定の色に対して補色関係となる色で着色されていることを特徴とする請求項５に記載の画像表示システム。

Images