JP2007207251A - 現実の対象物の画像と重ね合わされるように設計されたデータモデルを決定するための方法及びシステム - Google Patents

Abstract

【課題】対象物トラッキング過程において、現実の対象物の画像と重ね合わされるように設計されたデータモデルを決定するための方法及びシステムを提供する。
【解決手段】光学的な対象物トラッキング過程において、現実の対象物の画像と重ね合わせられるように設計されたデータモデルは、現実の対象物を表現するための３次元ＣＡＤモデルを与え、その後３次元ＣＡＤモデルの異なる合成２次元景観を生成する工程と、生成された各景観に対し、各景観において少なくとも１つの抽出されたエッジを決定するためにエッジ抽出を行ない、各景観から抽出されたエッジは決定されるべき前記データモデルに対応する３次元輪郭モデルに変換する工程とを具備する。
【選択図】図３

Description

本発明は、対象物トラッキング過程において、現実の対象物の画像と重ね合わされるように設計された仮想情報のデータモデルを決定するための方法及びシステムに関する。それに加えて、本発明は対象物をトラッキングする方法に関連しており、特に拡張現実感システム（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｓｙｓｔｅｍ）では、上記方法で決定されたデータモデルを利用する。さらに本発明は、本発明に従った方法を実行するためのソフトウェアコード区分から成るコンピュータプログラム製品に関連している。

拡張現実感システムによって、コンピュータによって生成された仮想情報を現実の環境の視覚的な印象と重ね合わせることが可能となった。拡張現実感システムでは、現実の世界の視覚的な印象は、例えばユーザの頭に着用された半伝播的なデータ眼鏡（ｓｅｍｉ−ｔｒａｎｓｍｉｓｓｉｖｅ ｄａｔａ ｇｌａｓｓｅｓ）によって、仮想情報と混合される。仮想情報或いは対象物の混合は、状況に依存した方式、すなわちそれぞれの環境に合わせた或いはそれぞれの環境から得られた方式によって果たされる。仮想情報としては、基本的には任意の形式のデータ（例えばテキスト、画像等）を用いることができる。現実の環境は、例えばユーザの頭に装着されたカメラを用いることよって検知される。

拡張現実感システムを利用している人が頭を回転させると、景観の背景の変化に伴って全ての仮想対象物のトラッキングが必要になる。現実の環境は複雑な仕掛けになっていて、検知された対象物がその仕掛けの重要な構成要素になっている可能性がある。システムのユーザのために、状況に依存した情報が現実の環境に関して望まれる位置でディスプレイ装置の中で混合される間、対象物トラッキング操作に適当な作用過程を提供する保証、所謂トラッキング操作中に、初期化中に検知された現実の対象物は、仮想情報がカメラによって撮影された画像或いは写真において、表示或いは混合される位置を計算するための基準として役立つ。ユーザの位置や向きが変化するため、現実の対象物はユーザの位置や向きが変化しても正しい位置に仮想情報を表示する為に、継続的なトラッキングを受ける必要がある。それによって、ユーザの位置や向きに関わらず、情報は現実に関して状況に応じた正しい方式で、ディスプレイ装置に表示される。この点で、拡張現実感システムは、所謂マーカレストラッキングシステムを利用した例である。

拡張現実感の分野における主要な問題の１つに、頭に装着されたビデオカメラによるユーザの頭の位置と向きの決定がある。この問題は、前述のように、情報源としてビデオカメラの一連のビデオ或いは画像だけを用いて、対象物の姿勢を決定することに関連した対象物トラッキングの問題に関連すると共に、対象物トラッキングの問題に変換される。

この問題を解決する為に、所謂輪郭に基づいた対象物のトラッキングとして知られている方法が、実際の応用において特に有望となっている。この方法では、トラッキングされるべき所謂現実対象物の輪郭モデルがビデオにおける画像と比較され、最適な一致が得られる（最適化）まで調整される。しかし、このような輪郭モデルを有効な方式で与える方法に関しては、既知の研究はほとんど無い。既知の輪郭に基づくトラッキングの方法では、このような輪郭モデルは、それぞれ現実の対象物を利用して手動で生成される。しかし、現実の対象物の像に重ね合わせられるように設計して仮想情報のデータモデルを手動で生成するのは、比較的複雑で多くの時間を要する。

上述に示される形式のデータモデルを決定するための方法とシステムにおいて、輪郭モデルを現実の対象物の画像に重ね合わせる為に設計されたデータモデルとして、迅速かつ効率的に生成することを可能にする方法とシステムを提供することが本発明の目的である。

本発明によると、現実の対象物の画像と重ね合わせるために設計されたデータモデルが、現実の対象物を表現するために３次元ＣＡＤモデル（１０）を作成する工程と、その後、前記３次元ＣＡＤモデルの異なった合成２次元景観（ｖｉｅｗ）を生成する工程と、生成された各景観（３１〜３４）に対して、各景観において抽出された少なくとも１つのエッジ（３８、３９）を決定するためにエッジの抽出を行なう工程と、前記各景観から抽出された前記エッジが決定されるべき前記データモデルに対応した３次元輪郭モデル（８５、９１）に変換される工程とで決定される。

これに関して、本発明は３次元輪郭モデルを、特に３次元ＣＡＤモデルに基づいたマーカレス対象物トラッキング（ｍａｒｋｅｒｌｅｓｓ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ）における使用に対して、完全に自動的な方法で抽出できるという利点が得られる。従って、特に産業上の応用にとって興味深い技術を提供すると共に、データモデル生成のための半自動的或いは全自動的方法を提供することができる。

本発明の着想は、それぞれの現実の対象物を表現するための３次元ＣＡＤモデルによって、トラッキングされるべき対象物のどのエッジが、その次の光学的な輪郭に基づくトラッキングに関連しているかを、その後エッジを３次元輪郭モデルに変換する為に決定することにある。本発明の概念では、エッジフィルタを利用して、多くの異なる景観から抽出されたエッジは重要であると確認された。トラッキングされるべき現実の対象物の関連する視覚的なエッジを決定するために、トラッキングされるべき対象物の異なる景観が擬似的にシミュレーションされる。このために、３次元ＣＡＤモデルが使用される。現実対象物のビデオ画像の作成や使用の必要がなくなるので、この点で異なる景観の合成生成は、本発明の本質的な部分であると考えられる。これに加えて、異なる景観を生成する仮想カメラに関する完全な制御が行なわれる。

従って本発明によると、現実の対象物の画像に重ね合わされるように意図された輪郭モデルを作成する半自動的或いは全自動的な方法を提供することができるので、特に前述のようなシステムの産業上の利用が可能となる拡張現実感システムの分野に、特に本発明の技術的な概念は属する。それに加え、このようなデータモデルの手動生成と比較すると、拡張現実感システムが用いられる改良されたより厳密なトラッキング法を導くＣＡＤモデルを基に、より高い正確さが実現される。本発明の着想は、トラッキングされるべきどのエッジが、そのエッジを後から３次元輪郭モデルに変換するために、光学的な輪郭に基づくトラッキングに関連があるかを、ＣＡＤモデルによって決定することにある。この考えは、光学的な輪郭に基づくトラッキングの実施に関する光学的で技術的な関係についての
知識に基づいて作られたもので、対応する技術的な成果に基づく評価は、固有的特徴の光学的で技術的な関連性によって、又これらが前述の技術的な問題を解くのにどのように寄与するかによってなされる。

従って、全体的には、本発明は輪郭に基づく光学的な対象物トラッキングの生成に対し、産業上の応用、そして日常の実用的な応用にとって興味深い方法を提供する。

本発明の概念によると、３次元ＣＡＤモデルは光学的な輪郭に基づくトラッキングには直接用いられることはなく、むしろ３次元ＣＡＤモデルの異なる合成２次元景観を生成する中間過程によって、トラッキングされるべき現実の対象物のどのエッジが光学的な輪郭に基づくトラッキング過程に関連しているかが決定される。それぞれの景観から抽出されるエッジは、光学的な輪郭に基づいたトラッキングに対するデータモデルとして使用できる３次元輪郭モデルに変換される。

本発明の実施形態によると、エッジ抽出の後、例えば抽出されたエッジのエッジ画素の形成において、各２次元エッジ点の抽出が行なわれる。抽出されたエッジを変換すると、各エッジ点の３次元位置がＣＡＤモデルを利用して決定され、３次元輪郭モデルを決定するための１組の３次元点が得られる。ここで、それぞれのエッジ点は画像平面上で２次元点として解釈或いは検知され、エッジ点のＣＡＤモデルの座標系における３次元位置が決定される。

更に、本発明の実施形態によると、エッジ点の３次元位置は、３次元点の空間的な近傍を調査できるデータ構造に格納される。このデータ構造は、特にｋ−ｄ木（ｋ−ｄ ｔｒｅｅ）の形式になっている。

エッジ点の３次元位置の決定において、３次元点が既にこの３次元位置に存在していることを確認するとき、本発明の実施形態では、３次元点の計数値の増加が行なわれる。作業はこの方式で進行する。例えば、所望の数の合成景観が生成され、加工される。その結果、３次元点集団が得られ、それぞれの３次元点は、その点がある視覚的エッジに属するとして評価された回数を示すのに関連する値を保持している。この値は、それぞれの３次元点が視覚的なエッジに属する確率として解釈される。

意味上（ｓｅｍａｎｔｉｃａｌｌｙ）空間的に同じ３次元位置に属するエッジ点は、１つの３次元点に格納され、それぞれのエッジ点がこの３次元位置に配置されると、対応する計数値は増加、即ち関連する確率の値が増加する。

特にエッジ点が意味上同じ３次元位置に属するという事実を認識する為に、それぞれのエッジ点に対して同じ３次元位置の決定後に調査が開始され、前記調査では、極近傍に格納されている３次元点が、少なくとも１つは存在するかどうかが決定される。極近傍であるかどうかは、閾値によって定義される。極近傍に少なくとも１つの３次元点が格納されている場合、新たに３次元点が格納されることはなく、既に格納されている３次元点の計数値が増加される。

視覚的な関連性に関して決定された確率分布が得られると、関連する確率が閾値以下である３次元点を廃棄し、残りの３次元点で現実の対象物の視覚的に関連する輪郭が表現される。特に１組の３次元点は、高い確率で拡張現実感システムにおけるトラッキング過程に対して、現実の対象物の関連する輪郭を表現する領域となる。ここで、特定の閾値以下の確率、即ち計数値を保持した３次元点は、廃棄される。

本発明の更なる実施形態によると、１組の３次元点は、３次元点のユークリディアン最小全域木（Ｅｕｃｌｉｄｅａｎ ｍｉｎｉｍｕｍ ｓｐａｎｎｉｎｇ ｔｒｅｅ）を決定するアルゴリズムを用いて、連結された輪郭区分に分割される。

特に輪郭区分の３次元点の少なくとも一部は、例えば線、Ｂスプライン、ベジール（Ｂｅｚｉｅｒ）スプライン、ＮＵＲＢＳを利用した最適化法による近似によって、適当な輪郭表現に置き換えられる。曲線状の輪郭区分の代わりに、Ｂスプラインを用いた最適化法が利用される。

本発明の方法に従って３次元輪郭モデルを決定した後、光学的な対象物トラッキング法がこのような輪郭モデルを用いて実行される。この点で、輪郭モデルは、仮想情報のデータモデルとして、画像平面上に重ね合わされた現実対象物の画像を保持している。このために、カメラによって少なくとも現実対象物を含む画像或いは写真を撮影する。更に、データモデルを画像平面に投影する為の最適化法は、データモデルの投影において画像平面上に現実の対象物の画像を重ね合わせる為に実行される。

トラッキング操作の間、特にデータモデルの投影と現実対象物の画像の間の比較が実行され、その比較結果に基づいてカメラの姿勢が決定される。従って、その情報は、仮想情報がカメラによって撮影される画像に表示、或いは混合される位置を計算する基準として役立つ。現実の対象物の連続的なトラッキングは、ユーザやカメラの位置や向きが変わるときに実行される。現実の対象物に関して、カメラの位置や向きを決定するためのカメラパラメータを決定した後、技術的なデータモデルの輪郭を描く為のパラメータ値が、内部的なコンピュータモデルが物理的な世界に対応するように定義される。

更に本発明は、本発明の原理に従うように設計されたデータモデルを決定するための対応するシステムと関連している。このようなシステムは、特に３次元ＣＡＤモデルを与える手段と、ＣＡＤモデルの合成２次元景観を生成するための手段とで成っている。この手段は、それぞれの景観において少なくとも１つの抽出された景観を決定する為に、それぞれの生成された景観のエッジ抽出を行なう為に設計される。更に、各景観から抽出されたエッジを３次元輪郭モデルに変換する為の手段が提供される。このような手段は、本発明に従った方法の工程が記述された方式で実施されるように適合された一般的なコンピュータシステムの形式で実現される。

本発明に従った方法は、例えば、メモリ媒体内の、デジタルコンピュータの内部メモリにロードされるコンピュータプログラム製品において実施される。このようなコンピュータプログラム製品はソフトウェアコード区分から成り、それによって本発明に従う固有のの方法工程が、製品がコンピュータ上で実行されている際に実行される。

本発明は、トラッキングシステムやトラッキング方法を利用する多くの分野の応用において利用されると考えられる。考えられる応用は、サービスやメンテナンス、動的環境における一般的な応用と同様に生産環境における応用の分野における拡張現実感技術である。特に本発明は産業生産分野において利用され、そこでは産業ロボットのような産業機械が、撮影された現実環境に関して自動的に制御或いは統制される。

本発明の更なる実施形態は、特許請求の範囲の従属項において示される。

本発明によれば、対象物トラッキング過程において、現実の対象物の画像と重ね合わされるように設計されたデータモデルを決定するための方法及びシステムにおいて、現実の対象物の画像に重ね合わせる為に設計されたデータモデルとして、輪郭モデルを迅速に効率的に生成することを可能にする方法とシステムを提供することができる。本発明は３次元輪郭モデルを、特に３次元ＣＡＤモデルに基づいたマーカレス対象物トラッキングにおける使用に対して、完全に自動的な方法で抽出できるという利点がある。従って、特に産業上の応用にとって興味深い技術を提供し、データモデル生成のための半自動的或いは全自動的方法を提供することができる。

本発明によると、トラッキングされるべき現実の対象物のどのエッジが、視覚的な輪郭に基づくトラッキング法において重要であるかが、これらエッジから３次元の輪郭モデルに変換するために、３次元のＣＡＤの支援によって決定される。例えばソベル（Ｓｏｂｅｌ）或いはキャニイ（Ｃａｎｎｙ）によると、エッジフィルタ（ｅｄｇｅ ｆｉｌｔｅｒ）によって、できるだけ多くの景観の画像から抽出されるエッジは、この決定過程において重要である。図１はカメラによって撮影された現実の対象物に属する視覚的なエッジの景観を示しており、これらエッジはエッジフィルタによって抽出されたものである。特にこの場合、エッジはキャニイエッジフィルタによって抽出されたものである。抽出されたエッジは、現実の対象物で、それぞれライト／ダークとダーク／ライトの間の遷移を示す白線で示されている。図１に示される景観２０には、典型的な視覚的エッジに符号２１〜２３が付けられている。

３次元の輪郭モデルを作成するのに関係のある視覚的なエッジを決定するために、本発明はトラッキングするべき現実の対象物のさまざまな景観の合成シミュレーションを利用する。このため、具体的な実施例として、図２に例示されるように３次元ＣＡＤモデルが使用される。図２は、車のエンジンの部分を表現する典型的な３次元ＣＡＤモデル１０を示している。本発明によると、異なる景観の合成生成によって、視覚的なトラッキング過程の為に３次元輪郭モデルを手動で生成するのに、現実の対象物のビデオ画像を使用する必要性は無くなる。合成景観の生成の為に、３次元ＣＡＤモデルはできるだけ正確に現実の対象物を表現する。粗い３次元ＣＡＤモデルの使用は十分な量の輪郭から得るのに有利であるが、これは複雑な形状には適当ではない。相対的に複雑な形状は、例えば図２のような３次元ＣＡＤモデルによって与えられる。

図３は、本発明による方法の実施形態に関するフローチャートである。図３については、以下に図４〜図９を関連付けてより詳細に説明する。

図４は、３次元ＣＡＤモデルの異なった合成２次元景観の生成を模式的に表したものである。図３のステップＳ１０１では、まず仮想カメラの姿勢が、例えば図４のカメラ４１のように選択される。姿勢１では、仮想カメラ４１はＣＡＤモデル１０の２次元景観３１を生成する。姿勢２では、仮想カメラ４２はＣＡＤモデル１０の２次元景観３２を生成する。これに対応して、ＣＡＤモデル１０の２次元景観３３及び３４は、それぞれ仮想カメラ４３及び４４の姿勢３及び４において生成される。仮想カメラのそれぞれの位置付けは、ユーザによって定義された範囲で均一に、或いはそれに優先するある確率分布に従ってなされる。このような確率分布の使用については、以下により詳細に説明する。

このような方式で合成生成された景観３１〜３４に対してそれぞれエッジの抽出が行なわれる。エッジの抽出には、既知のソベル或いはキャニイのエッジフィルタが用いられると考えられる。後でトラッキング中に使用するのと同じエッジ抽出装置を使用することが薦められる。図５には、キャニイエッジ検知装置を使用して、図２のＣＡＤモデルの合成景観から抽出されたエッジを示している。抽出されたエッジは、黒い背景上で白く表されている。

対象物に視覚的に関連したエッジを決定するために、可能な限り粗いＣＡＤモデルが異なる景観（例えば１０００以上の景観が生成される）から繰り返し描写（レンダリング）される。ここで技術用語「レンダリング」は、仮想の３次元データモデルの画像を生成する過程を記述するものである。異なる景観の数は、ステップＳ１０６で調べられて定義される。即ち、ステップＳ１０１〜Ｓ１０５は、新たに生成される各景観に対して連続的に実行される。

ステップＳ１０２で生成される２次元景観は、現実の対象物に可能な限り類似したものである。景観の中で光源の条件、特に光源の向きが視覚的なエッジにおいて重要な効果を持っているため、異なる光源の状況でシミュレーションを行なうのが特に有効である。従って、写実的レンダリング（ｐｈｏｔｏ−ｒｅａｌｉｓｔｉｃ ｒｅｎｄｅｒｉｎｇ）を利用するのが有効になる。

ステップＳ１０３で、３次元ＣＡＤモデルの写実的レンダリングをした景観の２次元のエッジ（２Ｄエッジ）がエッジ抽出法（例えばソベルやキャニイによる標準的な方法）によって抽出され、２値画像の形式でさらなる工程で利用できるようになる。この過程において、抽出されたエッジは画像中で白く表され、それ以外の画素は黒く表される。この図は景観３０として図５に例示され、そこでは視覚的に抽出されたエッジは、３８及び３９で示されている。例えばエッジ３８は、白で表されるエッジ画素３７の多様性を構成している。

エッジ抽出の後、画像中で白く表される各エッジ画素は、２次元の点（２Ｄ点）として検知され、この２Ｄ点のＣＡＤモデルの座標系の３次元位置（３Ｄ位置）（図６の１１で示されている）が決定される。関連したエッジの輪郭を決定するには、各２Ｄエッジ画素に対して、それに対応する３Ｄ位置を計算する必要がある。図６は、各２Ｄエッジ画素に対して、どの３Ｄ位置が決定されるかについての方法を模式的に視覚化したものである。これに関して仮想カメラは基準位置４０を保持し、このＣＡＤモデル１０から図５に例示される２次元景観３０を生成する。

更に本実施形態では、カラーコーディングされたモデル５０を利用する。このために、ＣＡＤモデル１０の写実的景観（例えば、図４の景観３１〜３４）に対して、ＣＡＤモデルの各面に明確な色が割り当てられた合成カラー景観がレンダリングされる。例えば、面は３次元空間上の点と、これらの点の連結によって対象物の表面を記述する多角形モデルの３角形で表される。各エッジ画素は、合成カラー画像における対応する２Ｄ位置のカラー値を検索し、この値を３次元ＣＡＤモデルの対応する面（３角形）に効率的にアクセスするための指標として用いる。この３角形は、３次元空間上の平面に広がっている。２Ｄエッジ画素の求める３Ｄ位置７０は、カメラ４０の中心と各２次元画素を結ぶ直線（例えば直線６１、６２）と、３次元上の平面との交点である。ＣＡＤモデルの面のカラーコーディングにおいて、配置されたＣＡＤモデルの色はＣＡＤモデルのカラーコードに対応する位置で交差する点だけ必要であり、３次元ＣＡＤモデルのそれ以外の面との交差については必要ない。

このようにして決定されたエッジ画素の３Ｄ位置は、３Ｄ点の空間的近傍に関して効率よく調査できるデータ構造に格納される（例えばｋ−ｄ木によって）。図６に例示される２Ｄエッジの３次元空間への再投影が、図３のステップＳ１０４で実行される。

特にこの場合、２次元エッジは視覚できる関連するエッジを表現するので、いくつかの景観（例えば図４の景観３１〜３４）で視覚可能であると考えられる。これは、異なる景観における２次元画素に、同じ３Ｄ位置が割り当てられる可能性があることを意味する。空間上で同じ３次元投影に意味上属するエッジ画素は、３Ｄ位置に配置された各エッジ画素に対応するカウンタの値を増加させる（図３のステップＳ１０５）という効果を保持させた状態で、１つの３Ｄ点として格納される。言い換えると、エッジ画素の３Ｄ位置の決定後、３Ｄ点が既に３Ｄ位置に存在することが示されると、カウンタの計数値が３Ｄ点について増加される。

数値的な不正確さのため、３Ｄ位置はおそらく厳密には同一ではなく、お互いに少しずつずれている。１つの画素が同じ３Ｄ位置に意味上属することを認識する為に、各２Ｄエッジ画素に対して、その３Ｄ位置の決定の後、その極近傍に既に格納されている３Ｄ点が存在するかどうかについて調査を開始する必要がある。もし極近傍に３Ｄ点が存在するなら、新たに３Ｄ点は格納されず、むしろ既に存在する３Ｄ点の計数値が増加される。“極近傍”は閾値によって定義される。このような調査の効率的な実現を可能にするデータ構造は、前述のｋ−ｄ木である。

この方式で、所望の数の合成景観が生成され処理されるまで、図３のステップＳ１０１〜Ｓ１０４へ進む。この工程の結果が３Ｄ点の集合となり、それぞれの３Ｄ点はその点が１つの視覚的なエッジに属するとして評価された回数を示す値を保持している。この値は、それぞれの３次元位置が関連する視覚的なエッジに属する確率として解釈できるとものである。従って、ＣＡＤモデルの表面上での視覚的な関連性について確率分布が形成される。関連する視覚的エッジに属する確率が閾値よりも低い３Ｄ点は、廃棄或いは拒絶される。残りの３Ｄ点は、トラッキングされるべき現実の対象物の視覚的に関連する輪郭を表現する。

合成景観が生成され、対応する３Ｄ位置がすべての２Ｄエッジ画素に対して決定された後、生成された３Ｄ点の集合は、高い確率で特にトラッキングのために関連する輪郭を表現する領域となる。この作業は、特定の閾値より低い計数値（確率）を持った全ての３Ｄ点が廃棄される（図３のステップＳ１０７）簡単な閾値法によって実行される。

点の形式で関連する３次元輪郭を表現する３次元点の集合の生成において、この点集合は個々の輪郭区分に分割される。図７は、３Ｄ点７０を含む簡単な３次元点集合の個々の輪郭区分７１〜７５への可能な区分の例を示している。このような輪郭区分は、輪郭の簡潔な表現を可能にするため線、Ｂスプライン或いはＮＵＲＢＳを用いた最適化法（例えば、レーベンベルク（Ｌｅｖｅｎｂｅｒｇ）−マルカート（Ｍａｒｑｕａｒｄｔ））を使用して近似されることが考えられる。言い換えると、３次元点集合が個々の輪郭区分に分割されると、これらは対応する輪郭表現に置き換えられる。二つの可能な輪郭表現が図８及び図９に例示されている。図８は線を用いて３次元輪郭区分の可能な近似を行なった例であり、図９はＢスプラインを用いて３次元輪郭区分の可能な近似を行なった例である。例えばベジールスプラインやＮＵＲＢＳ等、これ以外の表現でも輪郭区分の近似が可能である。

図８に示されるように、輪郭区分は、必要な正確さが得られるまで一続きの線区分８１〜８５を用いていくつかの３次元点７０から近似されると考えられる。従って、決定された輪郭区分は、輪郭モデルの一部を表現すると考えられる。図９に示されるように、Ｂスプラインによってより大きな１組のデータを近似することが可能になる。こういう訳で、これらは輪郭区分を記述するのに大変適している。図９に示されるように、Ｂスプラインは、特に曲線の輪郭区分に関して、１組の制御点９２によって簡潔な表現で点集合の厳密な近似が可能になる。輪郭区分の同一化や線やＢスプライン等による輪郭区分の近似は、図３のステップＳ１０８やＳ１０９で実行される。例えばＢスプライン９１のように、このようにして決定された輪郭区分は、輪郭モデルの一部を表現すると考えられる。

以下では、輪郭区分を特定する実施形態が記述されており、これは図３のステップＳ１０８で実施される。

言及したように、点集合の選別は、相対的な閾値（最大のヒット比（ｈｉｔ ｒａｔｉｏ）に依存する）以上の３Ｄエッジ点だけを含む選別された点集合（ＦＰＣ）を与える。このＦＰＣは以下のような異なった領域（部分点集合）から成る。
（ａ）１つのエッジだけの分布にはならない、大きな分布を持った点から成る領域。
（ｂ）大変近接した幾つかのエッジに分布した点から成る領域。
（ｃ）１つのエッジに分布した点から成る領域（理想的な状況）。

初期状況の付加的な性質は、以下のようになる。
（ａ）１つのエッジを構成する点は連続的に１つの線上に分布するのではなく、理想的な
エッジの周りに分布し、理想的なエッジに対して誤差（ｎｏｉｓｅ）を持った状態
で分布する。
（ｂ）エッジの誤差は異なった大きさを持つ。即ち、理想のエッジから点までの直交距離
は変化する。エッジ生成のために点の位置の平均化を行なう場合、半径はエッジに
関連する全ての点を含むように十分大きく、又同時に近傍の異なるエッジの点を含
まないようにできるだけ小さくする必要がある。半径は可変である必要がある。

これに関して、点集合全体の中のこのような点について、エッジ形成とその次の工程のどれを、エッジを形成するために近似するか決定するという問題が生じる。

この初期状況を基礎として、前述にあるように特に２つの問題が生じる。
（ａ）近接した位置にあるエッジ。この場合、点集合の点は対応する領域で互いに近接し
ており、異なったエッジに関連付ける必要がある。これは図１０に示され、そこで
は互いに近接した位置にある典型的なエッジの選別された点集合２００が例示され
ている。
（ｂ）誤差の大きさの変動。即ち、点の理想のエッジからの直交距離が変動することが考
えられる。

これに関する解決法としては、所謂ユークリディアン最小全域木（ＥＭＳＴ）を利用したアルゴリズムが好適に用いられる。

点集合のＥＭＳＴを決定するには、点間の距離がエッジの許容できる最大の誤差ｒ＿ｍａｘ以下である全ての点を互いに連結する曲線Ｇが決定される。曲線ＧのＥＭＳＴは、エッジの長さの和が最小になるように曲線の全ての点を相互に連結する木（ｔｒｅｅ）（従って循環することは無い）である。

ＥＭＳＴを決定するために好適に用いられるアルゴリズムに、クルスカル（Ｋｒｕｓｋａｌ）によるアルゴリズムがある。クルスカルのアルゴリズムは、曲線が完全に繋がっていない場合に最小全域フォレスト（ｍｉｎｉｍｕｍ ｓｐａｎｎｉｎｇ ｆｏｒｅｓｔ）を生成するという性質を持っている。誤差ｒ＿ｍａｘによって選別された点集合から生成された曲線が完全には繋がっていないという性質は、高い確率を持っているので重要である。クルスカルのアルゴリズムの代わりになるものとして、プリム（Ｐｒｉｍ）によるアルゴリズムがあり、このアルゴリズムでは、曲線Ｇが完全には繋がっていない場合、１つの繋がった曲線から成る全域木（ｓｐａｎｎｉｎｇ ｔｒｅｅ）を生成する。

クルスカルのアルゴリズムは特に以下の工程を利用する。
（ａ）フォレスト（ｆｏｒｅｓｔ） Ｆ（１組の木）の生成。フォレスト Ｆではそれぞ
れの点はまず分離した木を構成する。
（ｂ）曲線Ｇの全てのエッジを含むセットＳの生成。
（ｃ）セットＳが何も含まないことがない限り、
− セットＳから最も低い重みを持ったエッジ（例えば最短のエッジ）を取り除
く。

− そのエッジが２つの木を連結する場合、１つの木を形成するた
めに２つの木とそのエッジを加える。

− それ以外の場合は、そのエッジは廃棄する。

このようにして形成された木が求めるＥＭＳＴであり、その例が図１１のＥＭＳＴ２０１に示される。そこでは近接した位置にあるエッジの選別された点集合から以前に決定された幾つかの点を連結している。ここでＥＭＳＴ２０１は、エッジ２１３と２１４に連結される二つの隣接したエッジ２１１と２１２のＥＭＳＴを表現する。ＥＭＳＴは点の所属を決定する。

近接位置に隣り合ったエッジやＥＭＳＴは、図１２にエッジ２１１と２１２を繋ぐ連結２２０によって典型的に示されるように、少なくとも一箇所で互いに繋がる。これらの連結は決定され、消去される必要がある。これらは間違った連結を構成している。このため、それぞれのエッジに対して分離したＥＭＳＴが得られる。これは、図１３にエッジ２１１と２１２に対する分離したＥＭＳＴ２０２と２０３の形で例示される。

それから分離したＥＭＳＴは、例えばそれぞれの部分木内の重心を決定することによって平均化されると考えられる。例えば図１３の２０５のように決定された点は、前述（図３のステップＳ１０３）に記述されるように輪郭区分を形成するように近似できる。

図４に関して前述に触れたように、仮想カメラの位置付けは、均一に、或いは確率分布に従って配置することが考えられる。ここで確率分布は、例えばエンジンのどの部分の景観が修理作業の観点から重要であるかが考慮されると考えられる。この方式で、現実における確率分布を生成することができる。このような確率分布は、例えばエッジの重みに影響を及ぼす。例えば、より重要な位置からの視覚的なエッジは、現実の観点から重要度の低い景観における視覚的なエッジよりも高い重みが付けられる。

輪郭モデルの完全に自動的な生成から成る本発明は有益に実行可能で、特に輪郭に基づく対象物トラッキング方法の産業上の応用にとって好都合である。この点で本発明は、重工業において頻繁に用いられるＣＡＤモデルの包括的なデータベースと、マーカレス対象物トラッキングのための輪郭に基づくアルゴリズムの間の隔たりを埋めることになる。

撮影された対象物に属する、エッジフィルタによって抽出された視覚的なエッジの景観を示す図である。 自動車のエンジン区分に対応する現実の対象物を表現する３次元ＣＡＤモデルを示す図である。 本発明による方法の実施形態のフローチャートを示す図である。 ＣＡＤモデルの異なる合成２次元景観の生成を視覚的に示す模式的な図である。 合成景観から抽出された典型的な２次元エッジを示す図である。 関連する３次元位置を２次元エッジ画素に対して決定する際の方法工程を視覚的に表した模式図である。 簡易な３次元点集合の個々の輪郭区分への可能な分割例を示す図である。 直線或いは曲線を用いて３次元輪郭区分の可能な近似例を示す図である。 Ｂスプラインを使用して３次元輪郭区分の可能な近似例を示す図である。 近接位置にあるエッジに関連した輪郭区分の同一化を、１つ或いはそれ以上のユークリディアン最小全域木を使用して示す図である。 近接位置にあるエッジに関連した輪郭区分の同一化を、１つ或いはそれ以上のユークリディアン最小全域木を使用して示す図である。 近接位置にあるエッジに関連した輪郭区分の同一化を、１つ或いはそれ以上のユークリディアン最小全域木を使用して示す図である。 近接位置にあるエッジに関連した輪郭区分の同一化を、１つ或いはそれ以上のユークリディアン最小全域木を使用して示す図である。

符号の説明

１０ ３次元３次元ＣＡＤモデル
２０、３０、３１〜３４ ３次元ＣＡＤモデル１０の２次元景観
２１、２３、２３ 視覚的なエッジ
１、２、３、４ カメラの姿勢
４０〜４４ 仮想カメラ
３７ エッジ画素
３８、３９ 視覚的に抽出されたエッジ
５０ カラーコーディングモデル
７０ ２次元エッジ画素の３次元位置
７１〜７５ 輪郭区分
８１〜８５ 線区分
９１ Ｂスプライン
９２ 制御点
２００ 選別された点集合
２０１，２０２，２０３ ＥＭＳＴ
２０５ 木の重心
２１１〜２１４ エッジ
２２０ エッジ２１１と２１２を繋ぐ連結

Claims (21)

1. 対象物トラッキング過程において、現実の対象物の画像と重ね合わされるように設計された仮想情報のデータモデルを決定するための方法であって、
   （ａ）前記現実の対象物を表現するために３次元ＣＡＤモデル（１０）を作成する工程と、
   （ｂ）前記３次元ＣＡＤモデル（１０）の異なった合成２次元景観（３１〜３４）を生成する工程と、
   （ｃ）前記生成された各景観（３１〜３４）に対して、前記各景観において抽出された少なくとも１つのエッジ（３８、３９）を決定するためにエッジ抽出を行なう工程と、
   （ｄ）前記各景観（３１〜３４）から抽出された前記エッジ（３８、３９）を前記データモデルに対応した３次元輪郭モデル（８５、９１）に変換する工程と、
   を具備したことを特徴とする仮想情報のデータモデルを決定する方法。
2. （ａ）前記エッジ抽出に続いて、抽出されたエッジ（３８、３９）の２次元エッジ点（３７）を決定する工程と、
   （ｂ）前記抽出されたエッジ（３８、３９）において、前記３次元ＣＡＤモデル（１０）を使用して前記各エッジ点（３７）の３次元における位置を決定し、前記３次元輪郭モデル（８５、９１）が決定される１組の３次元点（７０）を得る工程と、
   を具備している請求項１に記載の仮想情報のデータモデルを決定する方法。
3. 前記各エッジ点（３７）は画像平面上で２次元点として検知され、前記エッジ点の３次元における位置（７０）は、前記３次元ＣＡＤモデル（１０）の座標系（１１）において決定される請求項２に記載の仮想情報のデータモデルを決定する方法。
4. 前記エッジ点から得られた３次元位置（７０）は、３次元点の空間的近接位置を調査することができるデータ構造に格納され、前記データ構造は特にｋ−ｄ木の形式である請求項２又は３に記載の仮想情報のデータモデルを決定する方法。
5. 前記エッジ点の３次元位置（７０）の決定後、前記３次元位置に既に３次元点（７０）が存在することを確認する際に、前記３次元点に対する計数値を増加させるようになっている請求項２乃至４のいずれかに記載の仮想情報のデータモデルを決定する方法。
6. 空間上の同じ３次元位置に属するエッジ点（３７）が一つの３次元点（７０）として格納され、前記３次元位置にエッジ点が配置されると計数値を増加させるようになっている請求項２乃至５のいずれかに記載の仮想情報のデータモデルを決定する方法。
7. （ａ）同じ３次元上の位置に属するエッジ点を認識する為に、前記エッジ点の３次元位置の決定の後、前記各エッジ点（３７）に対して、前記エッジ点の極近傍に３次元点（７０）が少なくとも一つ格納されているかどうかについての検証を開始する工程と、
   （ｂ）前記エッジ点の極近傍に３次元点（７０）が少なくとも一つ格納されている場合、新たな３次元点は格納せず、前記すでに格納されている３次元点（７０）の計数値を増加させる工程と、
   （ｃ）前記極近傍を閾値によって決定する工程と、
   を更に具備している請求項６に記載の仮想情報のデータモデルを決定する方法。
8. 前記３次元点が１つの視覚的なエッジ（３８、３９）に属するとして評価された回数を示す値を、前記３次元点（７０）のそれぞれが保持している請求項２乃至７のいずれかに記載の仮想情報のデータモデルを決定する方法。
9. （ａ）閾値を利用して、前記閾値以下の関連する値を保持する３次元点（７０）を廃棄する工程と、
   （ｂ）残りの３次元点（７０）について、前記現実の対象物に視覚的に関連した輪郭を表現する工程と、
   を更に具備している請求項８に記載の仮想情報のデータモデルを決定する方法。
10. （ａ）１組の３次元点（７０）を、拡張現実感システムにおいて次に続くトラッキング法に対して、高い確率で前記現実の対象物の輪郭を表現する部分とする工程と、
    （ｂ）閾値法は、特定の閾値以下の関連する確率或いは関連する計数値を保持するどの３次元点（７０）を廃棄するかに関して使用する工程と、
    を更に具備している請求項２乃至９のいずれかに記載の仮想情報のデータモデルを決定する方法。
11. 前記１組の３次元点（７０）が、結合された輪郭区分（７１〜７５）に分割されるようになっている請求項２乃至１０のいずれかに記載の仮想情報のデータモデルを決定する方法。
12. 前記１組の３次元点（７０）を結合された輪郭区分（７１〜７５）に分割するために、前記３次元点のユークリディアン最小全域木（Ｅｕｃｉｄｅａｎ ｍｉｎｉｍｕｍ ｓｐａｎｎｉｎｇ ｔｒｅｅ）を決定する方法を採用したアルゴリズムが使用されるようになっている請求項１１に記載の仮想情報のデータモデルを決定する方法。
13. 点集合（２００）の前記ユークリディアン最小全域木（２０１）を決定するために、最初に前記点集合の内、互いの距離が最大許容誤差ｒ＿ｍａｘ以下である全ての点を相互に連結する曲線が形成されるようになっている請求項１２に記載の仮想情報のデータモデルを決定する方法。
14. 前記曲線Ｇの前記ユークリディアン最小全域木として、エッジの長さの総和が最小になるように前記曲線Ｇの全ての点を連結する木（２０１）が決定されるようになっている請求項１３に記載の仮想情報のデータモデルを決定する方法。
15. 前記輪郭区分内の前記３次元点（７０）の少なくとも一部が、特に曲線、Ｂスプライン、ベジールスプライン或いはＮＵＲＢＳを用いて近似される適当な輪郭表現（８１〜８５；９１）によって置き換えられる請求項１１乃至１４のいずれかに記載の仮想情報のデータモデルを決定する方法。
16. 前記３次元ＣＡＤモデルの異なる合成２次元景観（３１〜３４）を生成する際に、異なる光源の状況でシミュレーションを行なう請求項１乃至１５のいずれかに記載の仮想情報のデータモデルを決定する方法。
17. 前記３次元ＣＡＤモデル（１０）の各２次元景観（３１〜３４）に対して、各面に明確な色を割り当ててある個々の面を保持した合成カラー景観（５０）を生成し、同じ２次元位置における各エッジ点に対して、カラー値を前記合成カラー画像から回復し、前記決定されたカラー値は前記３次元ＣＡＤモデル（１０）の対応する面にアクセスするための指標として用いられ、前記３次元ＣＡＤモデルの各面は３次元空間上の平面に広がっており、２次元エッジ点が決定されるべき３次元位置（７０）は、前記３次元ＣＡＤモデル（１０）の前記対応する面の前記平面と、仮想カメラ（４０）の中心と、前記各２次元エッジ点を結ぶ直線との交点である請求項１乃至１６のいずれかに記載の仮想情報のデータモデルを決定する方法。
18. 画像平面上の現実の対象物の画像と重ね合わされ、仮想情報のデータモデルを利用する対象物トラッキング方法が、
    （ａ）請求項１乃至１７のいずれかの特徴に従って前記データモデルを作成する工程と、
    （ｂ）少なくとも前記現実の対象物を含むようにカメラを用いて２次元画像を撮影する工程、
    （ｃ）前記データモデルの投影を前記画像平面上の前記現実の対象物の画像と重ね合わせるために、前記データモデルを前記画像平面に投影する最適化法を実行する工程と、
    を具備したことを特徴とする対象物トラッキング方法。
19. （ａ）前記データモデルの投影を前記現実の対象物の画像と比較する工程と、
    （ｂ）前記比較の結果を基にして前記カメラの姿勢に関するパラメータを決定する工程と、
    を更に具備している請求項１８に記載の対象物トラッキング方法。
20. 拡張現実感システムによって現実の対象物の画像と重ね合わされるように設計された仮想情報のデータモデルを決定するためのシステムであって、
    （ａ）前記現実の対象物を表現するために３次元ＣＡＤモデル（１０）を作成する手段と、
    （ｂ）前記３次元ＣＡＤモデル（１０）の異なった合成２次元景観（３１〜３４）を生成すると共に、前記各景観（３１〜３４）に対して少なくとも１つの抽出された各エッジ（３８、３９）を決定するためにエッジの抽出を行なう手段と、
    （ｄ）前記各景観（３１〜３４）から抽出された前記エッジ（３８、３９）を前記データモデルに対応する３次元輪郭モデル（８５、９１）に変換する手段と、
    を具備したことを特徴とする仮想情報のデータモデルを決定するシステム。
21. デジタルコンピュータの内部メモリにロードされるように適用されるコンピュータプログラム製品であって、前記コンピュータプログラム製品は前記コンピュータ上で実行される時に請求項１乃至１７のいずれかに従う工程が実行される際に用いられるソフトウェアコード区分から成ることを特徴とするコンピュータプログラム製品。