JPH11504452A - ２次元投影図に基づいて３次元の対象物を再現し、取り扱うための装置と方法 - Google Patents

Abstract

(57)【要約】 ３次元の対象物を投影した２次元画像を最低１つ使用し、３次元の対象物に関する情報を生成する方法。この方法は、３次元の対象物の２次元投影画像を最低１つ提供するステップと、次の式で表される数の配列を生成するステップから構成される。 ただし、ａｊｋ及びｂｊｋはそれぞれ行列Ａ、Ｂの要素であり、ｖｉ′ｖｉ″はそれぞれベクトルｖ′、ｖ″の要素である。これらの行列とベクトルは全体として３次元の対象物を撮影した３つの画像のカメラパラメータを表す。この配列を使用して２次元の対象物に関する情報を生成する。

Description

【発明の詳細な説明】 ２次元投影図に基づいて３次元の対象物を再現し、取り扱うための装置と方法 発明の分野 本発明は、３次元の対象物の２次元投影図を処理するための装置や方法、特に 、２次元投影図画像の幾何学的分析のための装置や方法に関係する。 発明の背景 ３次元の対象物の２次元投影図を処理するための最新の方法と適切な技術を述 べた出版物は、下記に引用された参考文献で述べられている。この明細書の中で 参照しているすべての出版物とそこで引用された出版物の内容は、この明細書に 援用される。 発明の概要 本発明は、第１及び第２の参照画像から３次元のシーン（ｓｃｅｎｅ）の新し い画像を生成するために役立つ画像転送装置及び方法を与えるものである。 本発明はまた、第１、第２及び第３の画像から３次元のシーンの３次元表現を 生成するための３次元シーン再構成装置及び方法を与えるものである。 本発明はまた、３次元の対象物の２次元投影図を処理するための改良された装 置と方法を与えるものである。 本発明はまた、３次元の対象物の３つの画像上で定義されたトリリニア（ｔｒ ｉｌｉｎｅａｒ）・テンソルに基づいて、３次元の対象物を再構成する方法を与 えるものである。 さらに本発明は、３次元の対象物の３つの画像上で定義されたトリリニア・テ ンソルに基づいて、３次元の対象物の画像を転送する方法を与えるものである。 また、本発明は、第１及び第２の参照画像から、３次元のシーンの新しい画像 を生成するための画像転送方法を与えるもので、その方法は、３次元のシーンの 第１及び第２の参照画像を提供するステップ、第１の参照画像、第２の参照画像 及び新しい画像の間の幾何学的関係を表すトリリニア・テンソルを生成するため に、第１の参照画像、第２の参照画像及び新しい画像のそれぞれに関する幾何学 的情報を用いるステップ、及び、第１の参照画像及び第２の参照画像上の対応位 置とトリリニア・テンソルとに基づいて、第１及び第２の参照画像における異な る第１及び第２の対応位置にそれぞれ対応する複数の新しい画像上の位置を計算 することによって、新しい画像を生成するステップとを含んでいる。 例えば、提供するステップは、第１及び第２の参照画像を走査するステップを 含んでいる。 例えば、用いるステップは、第１の参照画像、第２の参照画像及び新しい画像 それぞれにおける第１、第２及び第３の対応位置の組を生成するステップを含ん でいる。 本発明の実施の形態によれば、第１及び第２の参照画像から３次元のシーンの 新しい画像を生成するための画像転送方法が与えられ、その方法は、３次元のシ ーンの第１及び第２の参照画像を提供するステップ、第１及び第２の参照画像及 び新しい画像の間の幾何学的関係を表すトリリニア・テンソルを生成するために 、第１の参照画像、第２の参照画像及び新しい画像それぞれに関する幾何学的情 報を用いるステップ、及び、第１及び第２の対応位置とトリリニア・テンソルに 基づいて、第１及び第２の異なる対応位置にそれぞれ対応する新しい画像上の複 数の位置を計算することによって、新しい画像を生成するステップを含んでいる 。 さらに、本発明の実施の形態によれば、提供するステップは、第１及び第２の 参照画像を走査するステップを含んでいる。 さらに、本発明の実施の形態によれば、用いるステップは、第１の参照画像、 第２の参照画像及び新しい画像それぞれにおける第１、第２及び第３の対応位置 の組を生成するステップを含んでいる。 そしてまた、本発明の実施の形態によれば、第１、第２及び第３の画像から、 ３次元のシーンの３次元表現を生成するための３次元再構成方法が提供され、そ の方法は、３次元のシーンの第１、第２及び第３の画像を与えるステップ、第１ 、第２及び第３の画像の間の幾何学的関係を表すトリリニア・テンソルを生成す るために、第１、第２及び第３の画像に関する幾何学的情報を用いるステップ、 及 び、トリリニア・テンソルから、３次元のシーンの３次元表現を生成するステッ プを含んでいる。 さらに、本発明の実施の形態によれば、３次元表現を生成するステップは、ト リリニア・テンソルから、第１及び第２の画像のエピポーラ（ｅｐｉｐｏｌａｒ ）構造表現を計算するステップと、エピポーラ構造表現から３次元表現を生成す るステップとを含んでいる。 また、本発明の別の実施の形態によれば、第１及び第２の参照画像から３次元 のシーンの新しい画像を生成するための画像転送装置が提供され、その装置は、 ３次元のシーンの第１及び第２の参照画像を提供する装置、第１及び第２の参照 画像及び新しい画像の間の幾何学的関係を表すトリリニア・テンソルを生成する ために、第１の参照画像、第２の参照画像及び新しい画像のそれぞれに関する幾 何学的情報を用いるよう動作するトリリニア・テンソル生成器、及び、第１及び 第２の対応位置とトリリニア・テンソルとに基づいて、第１及び第２の参照画像 における第１及び第２の異なる対応位置にそれぞれ対応する新しい画像上の複数 の位置を計算することによって、新しい画像を生成するよう動作する新規画像生 成器を含んでいる。 さらに、本発明の別の実施の形態によれば、第１、第２及び第３の画像から３ 次元のシーンの３次元表現を生成する３次元シーン再構成装置が提供され、その 装置は、３次元のシーンの第１、第２及び第３の画像を提供するための装置、第 １、第２及び第３の画像に関する幾何学的情報を用いて、第１、第２及び第３の 画像の間の幾何学的関係を表現するトリリニア・テンソルを生成するトリリニア ・テンソル生成器、及び、トリリニア・テンソルから３次元のシーンの３次元表 現を生成するよう動作する３次元シーン表現生成器を含んでいる。 また、本発明の別の実施の形態によれば、少なくとも１つ、好ましくは３つの ２次元投影図から３次元の対象物に関する情報を生成する方法が提供され、その 方法は、３次元の対象物の少なくとも１つ、好ましくは３つの２次元投影図を提 供するステップと、α_ijk＝ｖ_i′ｂ_jk−ｖ_j″ａ_jk（ｉ，ｊ，ｋ＝１，２，３） で表される数の配列を生成するステップと（ただし、ａ_jk及びｂ_jkはそれぞれ行 列Ａ及びＢの要素であり、ｖ_i′及びｖ_i″は、それぞれベクトルｖ′、ｖ″の 要素であり、これらの行列とベクトルは３次元の対象物の３つの画像のカメラ・ パラメータを表す）、３次元の対象物に関する情報を生成するためにその配列を 用いるステップとを含んでいる。 また、本発明の別の実施の形態によれば、対応するｎ個の点ｐ_i、ｐ_i′（ｉ＝ １、・・・、ｎ）を持つ第１及び第２の既存の画像から３次元の対象物の新しい 画像を生成する方法が提供され、その方法は、テンソルα_ijkを生成するステッ プと、点ｐ_i、ｐ_i′（ｉ＝１、・・・、ｎ）の値をトリリニア形式に代入し（ｐ ｌｕｇ ｉｎｔｏ）、新しい画像における位置を表すｘ″、ｙ″の値を求めるス テップと、代入の結果に基づいて、新しい画像を生成するステップとを含んでい る。 さらに、本発明の実施の形態によれば、少なくとも１つ、好ましくは３つの２ 次元投影図から３次元の対象物を再構成する方法が提供され、その方法は、３次 元の対象物の少なくとも１つ、好ましくは３つの２次元投影図を提供するステッ プと、α_ijk＝ｖ_i′ｂ_jk−ｖ_j″ａ_jk（ｉ，ｊ，ｋ＝１，２，３）で表される数 の配列を生成するステップと（ただし、ａ_jk及びｂ_jkはそれぞれ行列Ａ及びＢの 要素であり、ｖ_i′及びｖ_i″は、それぞれベクトルｖ′、ｖ″の要素であり、こ れらの行列とベクトルは３次元の対象物の３枚の画像のカメラ・パラメータを表 す）、該配列を３次元空間における３つの対応する面と関連付けられた３つのホ モグラフィ（ｈｏｍｏｇｒａｐｈｙ）行列へ並べ変えるステップと、３つのホモ グラフィ行列を用いて３次元の対象物を再構成するステップとを含む。 本発明の実施の形態によれば、視覚的認識方法が提供され、その方法は、トリ リニア関係が存在する３次元の対象物の３つの透視画像を提供するステップと、 整列によって視認するために画像間のトリリニア関係を用いるステップとを含ん でいる。 さらに、本発明の実施の形態によれば、その方法は、３次元の対象物を再投影 するステップを含んでいる。 さらに、本発明の実施の形態によれば、３次元の対象物に関する情報は、３次 元の対象物の再構成を含んでいる。 さらに、本発明の実施の形態によれば、３次元の対象物に関する情報は、３次 元の対象物を再構成することなく生成された３次元の対象物の少なくとも１つの 新しい画像を含んでいる。 さらに、本発明の実施の形態によれば、少なくとも１つ、好ましくは３つの２ 次元投影図は、少なくとも１つの航空写真を含んでいる。 さらに、本発明の実施の形態によれば、少なくとも１つ、好ましくは３つの２ 次元投影図は、少なくとも１つの衛星写真を含んでいる。 さらに、本発明の実施の形態によれば、３次元の対象物体に関する情報は、３ 次元物体の少なくとも１つの座標を含んでいる。 さらに、本発明の実施の形態によれば、３次元の対象物は、宇宙空間での物体 を含んでいる。 さらに、本発明の実施の形態によれば、３次元の対象物は、船のような大型の 対象物を含んでいる。 さらに、本発明の実施の形態によれば、３次元の対象物は、実在しない対象物 を含んでいる。 さらに、本発明の実施の形態によれば、少なくとも１つ、好ましくは３つの２ 次元投影図から３次元の対象物に関する情報を生成するための装置が提供され、 その装置は、３次元の対象物の少なくとも１つ、好ましくは３つの２次元投影図 を与える装置と、α_ijk＝ｖ_i′ｂ_jk−ｖ_j″ａ_jk（ｉ，ｊ，ｋ＝１，２，３）で 表される数の配列を生成するよう動作する配列生成器と（ただし、ａ_jk及びｂ_jk はそれぞれ行列Ａ及びＢの要素であり、ｖ_i′及びｖ_i″は、それぞれベクトルｖ ′、ｖ″の要素であり、これらの行列とベクトルは３次元の対象物の３つの画像 のカメラ・パラメータを表す）、３次元の対象物に関する情報を生成するために その配列を用いる配列分析器とを含んでいる。 さらに、本発明の実施の形態によれば、ｎ個の対応する点ｐ_i、ｐ_i′（ｉ＝１ 、・・・、ｎ）を持つ第１及び第２の既存の画像から３次元の対象物の新しい画 像を生成するための装置が提供され、その装置は、テンソルα_ijkを生成するた めの装置と、点ｐ_i、ｐ_i′（ｉ＝１、・・・、ｎ）の値をトリリニア形式に代入 し、新しい画像における位置を表すｘ″、ｙ″の値を求めるための装置と、代入 の結果に基づいて、新しい画像を生成する装置とを含んでいる。 さらに、本発明の実施の形態によれば、少なくとも１つ、好ましくは３つの２ 次元投影図から３次元の対象物を再構成する装置が提供され、その装置は、３次 元の対象物の少なくとも１つ、好ましくは３つの２次元投影図を与える装置と、 α_ijk＝ｖ_i′ｂ_jk−ｖ_j″ａ_jk（ｉ，ｊ，ｋ＝１，２，３）で表される数の配列 を生成するよう動作する配列生成器と（ただし、ａ_jk及びｂ_jkはそれぞれ行列Ａ 及びＢの要素であり、ｖ_i′及びｖ_i″は、それぞれベクトルｖ′、ｖ″の要素で あり、これらの行列とベクトルは３次元の対象物の３つの画像のカメラ・パラメ ータを表す）、該配列を３次元空間における３つの対応する面と関連付けられた ３つのホモグラフィ行列へ並べ変えるよう動作する配列順列器と、３つのホモグ ラフィ行列を用いて３次元の対象物を再構成する３次元物体再構成器とを含んで いる。 さらに、本発明の実施の形態によれば、視覚的認識装置が提供され、その装置 は、トリリニア関係が存在する３次元の対象物の３つの透視画像を与える装置と 、整列によって視認するために、画像間のトリリニア関係を用いる装置とを含ん でいる。 さらに、本発明の実施の形態によれば、航空写真、衛星写真からの及び宇宙空 間組立プラントや造船組立プラントにおける座標測定からの地図作成、工業用部 品の座標測定（ＣＭＭ）、光学的方法を用いた工業用部品の自動検査、ロボット のセル・アラインメント、ロボットの動作軌道の識別、３次元ロボットのフィー ドバック、シーンの３次元モデル化、物体の３次元モデル化、リバースエンジニ アリング及び３次元デジタル化の応用のうちの少なくとも１つを行うために、前 述の方法を実行した結果の少なくとも１つが用いられる。 認識に有用な代数計算過程が以下の図１〜図５を参照して記述される。 図面及び付録の簡単な説明 本発明は、図との関係を考慮して、以下の詳細な説明から理解し、評価されよ う。 図１は、画像雑音の存在下で、点線で示すエピポーラ交差方法と、破線で示す トリリニア関数方法との性能を比較した２つのグラフである。 図２は、３次元のシーンの２つのモデル画像と、その再投影画像を描いた図で ある。 図３は、トリリニアの結果を使用した再投影の図である。 図４は、エピポーラ線の交差を使用した再投影の図である。 図５は、画像線形結合方法を使用した再投影の図である。 図６は、本発明の実施の形態にしたがって構成され動作する、３次元のシーン の再構成装置の単純化した機能ブロック図であり、この装置は、３次元のシーン の少なくとも３つの画像から３次元のシーンの３次元表現を生成するよう動作す る。 図７は、本発明の実施の形態にしたがって動作し、図６の装置と併用すると有 用な、望ましい３次元シーン再構成方法の簡単なフローチャート図である。 図８は、本発明の実施の形態にしたがって構成され動作する画像転送装置の単 純化した機能ブロック図であり、この装置は３次元のシーンの少なくとも２つの 参照画像から３次元のシーンの新しい画像を生成するよう動作する。 図９は、本発明の実施の形態にしたがって動作し、図８の装置と併用すると有 用な、望ましい画像転送方法の簡単なフローチャート図である。 図１０は、図２にも図示した靴の３次元再構成の図である。 図１１は、製品の品質保証のための望ましい方法と装置の簡単なブロック図で ある。 図１２は、ディジタル化された地形図を生成するための望ましい方法と装置の 簡単なブロック図である。 更に、ここの図示され説明される本発明の１つの実施の形態を理解し、評価す るのを助ける付録が添付される。 付録Ａは、図６のトリリニア計算ユニット５０とエピポーラ構造生成ユニット ６０の好ましい具体例のＣ言語によるリストである。 付録Ｂは、本発明の実施の形態による構成され動作する３次元再構成装置の望 ましいソフトウェアのリストである。 好ましい実施の形態の詳細な説明 ３５ｍｍカメラ又はビデオレコーダーと同様に、ピンホールカメラは観察され た３次元（３Ｄ）の世界の２次元（２Ｄ）の投影図を生成する。その結果の画像 は、幾何学レベル及び側光レベルで分析することができる。幾何学レベルは、３ 次元での特徴（点及び線）の位置とそれぞれの２次元の画像における位置との間 の幾何学的な関係を意味する。測光レベルは、シーンと画像における光度（ピク セルのグレイ値）の間の放射計量的（表面の反射特性やシーンを照らしている光 源のスペクトルの特性など）な関係を意味する。 ３次元の世界は点群としてモデル化することができ、２次元の世界もまた同様 である。すなわち、３次元における点の特徴に対応する画像上の点の特徴を識別 することができる。これらの２組の点には幾何学的な関係がある。カメラが３次 元の中で動くと、同一の３次元の世界（すなわち、同一の３次元の点群）に関す る一層多くの画像を得ることができ、興味の中心は、２次元の画像点の対応する 組と３次元の点の組との間の幾何学的な関係である。すなわち、Ｐ_iを一組の３ 次元の点とし、ｐ_i、ｐ_i′、ｐ_i″を同じ３次元の点Ｐ_iに対応する指標ｉを付す よう配列された（３つの画面にわたる）３組の２次元の点とすると、画像の組だ けで３次元の組についての多くの情報を表すことができる。 興味の対象となる２つの問題がある。一つは、３次元の点の位置を復元（再構 成）するためには、２次元の画像において何を（何個の画像にわたって何個の点 を）計測すればよいのかということである。もう一つは、画像の対応が与えられ たとして、明示的に物体を再構成しなくても、新しい画像を合成することができ るか（画像転送の問題）ということである。本特許は両方の問題を扱う。 ２次元から３次元を再現するという一般的な題材はコンピュータ・ビジョンで 活発に研究されている分野であり（動きからの構成及び立体視）、写真計測業界 （航空写真や衛星写真からの地図作成や宇宙空間組立プラントや造船組み立てプ ラントでのの座標計測など）における唯一のエンジンである。 ３次元の点と２次元の点との間の関係は３×４の変換行列 ｐ ≒ ＭＰ で表すことができる。ここで、ｐ＝（ｗ，ｙ，ｌ）^Tは、同次座標における２次 元の点を表し（すなわち、画像平面は２次元の射影平面である）、ｘ、ｙは、 （ある任意の原点、例えば画像平面の幾何学的中心に関する）画像上の点の位置 の水平成分と垂直成分であり、Ｐは４つのベクトルによって表され、対象となる 空間を３次元射影空間に埋め込まれたものと見なすことを意味する。行列Ｍは３ ×４であり、カメラ・パラメータを表す（たとえば、ＭＱ＝０によって定義され るベクトルＱは、すべての光線が収束する点であるカメラの射影中心である）。 記号≒はスケール以下を表す。 画像と対象物を射影空間に埋め込んでいる（つまり、世界は剛体運動をするこ とも、引き延ばされたり剪断されたりすることもできることを意味する）ので、 最初の画像と関連するカメラ変換が［Ｉ、０］（ここで、Ｉは単位行列である） であるように、対象空間を変換することができる。３つの画像に対して、 が成立する。ここで、Ｐ＝（ｘ、ｙ、ｌ、ｋ）^Tであり、画像点ｐ＝（ｘ、ｙ、 ｌ）^T、ｐ′＝（ｘ′、ｙ′、ｌ）^T及びｐ″＝（ｘ″、ｙ″、ｌ）^Tである。た だし、画像において測定するものはｐ、ｐ′及びｐ″の位置であり、Ｐの位置（ すなわちｋの値）は未知である。Ａ及びＢは互いに独立ではない３×３行列であ り、ｖ′及びｖ″は３つの画像のカメラ・パラメータを記述する３次元ベクトル である。ただし、カメラ・パラメータＡ、Ｂ、ｖ′及びｖ″は未知である。すな わち、対応する点ｐ_i、ｐ_i′及びｐ_i″（ｉ＝１、・・・、ｎ）を持つ３枚の画 像が与えられると、すべてのｉに対して上記の式が成立するように、一組の数ｋ_i およびパラメータＡ、Ｂ、ｖ′及びｖ″が存在する。 Ｉ．トリリニア・テンソル α_ijk ＝ ｖ_i′ｂ_jk−ｖ_j″ａ_ik ｉ、ｊ、ｋ＝１，２，３ で表される２７個の数の配列を「トリリニア・テンソル」と呼ぶ。ここで、ａ_rs 及びｂ_rsはそれぞれＡ及びＢの要素であり、ｖ_r′及びｖ_r″はそれぞれｖ′及び ｖ″の要素である。これらの数は３次元及び２次元の世界の特別の射影座標に対 して不変量である。すなわち、それらは３つの画像に対して本質的なものである （これは、テンソルの一般的な特性の１つであるので、表現の基礎の選択に依存 しない）。 注：配列α_ijkは多くのアプリケーションの基礎を与える。画像測定値ｐ、ｐ ′及びｐ″から配列を生成する好ましい方法を以下に述べる。 Ａ．画像測定値からのα_ijkの再現 対応しているトリプレット（ｔｒｉｐｌｅｔ）ｐ、ｐ′及びｐ″は多数のトリ リニアの関係を満たす。第一の覚書：いくつかの指標を固定し、他の指標を変え ることによって、ベクトルと行列を識別することができる。例えば、α_ijkはス カラの組であり、α_ijは９つのベクトルの組であり（ｉ及びｊは一定であるがｋ は変化する）、α_iは３つの行列（α₁、α₂、α₃）の組であり、以下同様。 与えられた画像の順序（すなわち、画像を並び変えない）に対して、９つのト リリニア関数があり、４つの線型独立な式の組になる。これらの式の係数は配列 α_ijkの要素である。例えば、以下の４つの式は３枚の画像の線型独立な不変関 数である。 残りの関数はここに提示される式５−１１において記述される。 対応するトリプレットｐ、ｐ′及びｐ″のどれもが４つの線型独立な式を与え るので、３枚の画像上の対応する７つの点はテンソルα_ijkを（スケールまで） 一意的に決定する。 注１：これが意味することは、もし３つの画像上の対応する点の７つのトリプ レットを識別するならば（物体が人間の顔であり、３つの画像上の鼻の角を追跡 する場合、第１の画像におけるその位置は（ｘ、ｙ）によって示され、第２の画 像における鼻の位置は（ｘ′、ｙ′）によって示され、第３の画像における鼻の 位置は（ｘ″、ｙ″）で示される）、このようなトリプレットはそれぞれ、再現 しようとしている２７個のパラメータに対する４つの線型独立な式を与える。そ れゆえ、α_ijkを求めるのに解決するのよりも十分な２８個の式を得ることがで きる。 注２：たとえば最小二乗法や、最小二乗法の範囲内でアウトライアを除去する 粗い方法のように、未知数より方程式の数が多いとき（すなわち、７つより多い 対応のトリプレットが与えられるとき）、線型システムを解くための方法は多数 存在する。 II．階数４の制約：４枚以上の画像におけるテンソルの連結 ｍ（＞３）個の画像の組が与えられたとして、画像の全体の組の中から選ばれ た３つの画像のサブセットの種々のトリリニア・テンソルは独立ではなく、実際 は互いに線型の関係がある。この関係は、以下に述べるように、「階数４の制約 」と呼ばれる。 ３つの画像のテンソルをＧで表される９×３の行列におけるテンソルに配置す る。ここで、列ｊ＝１、２、３は要素α₁，_j，₁、α₁，_j，₂、・・・、α₃，_j，₃ を含んでいる。 ｍ個の画像の任意の組をψ₁、ψ₂、ψ_jとして配置する（ただし、ｊ＝３、・ ・・、ｍ）。＜ψ₁、ψ₂、ψ_j＞のｍ−２個のテンソルを考え、それに対応する 行列ＧをＧ_jによって表すことにする。Ｇ_j行列の９×３（ｍ−２）行列への連結 は、ｍの如何にかかわらず、階数４である（一般に、もしＧ_j行列が独立であっ たなら、その連結の階数はもっと小さな次元であったろう。すなわち、ｍ≧５の とき９である）。 階数４の制約は、連結行列の最も大きな４つの主成分が統計学的には最適な状 態で画像ψ₁、ψ₂の間の幾何学的配置を表すことを意味する。 Ａ．応用１：画像転送 対応する点ｐ_i、ｐ_i′（ただし、ｉ＝１、・・・、ｎ）を持つ２つの画像があ るとする。したいことは、同じ対象物の新しい画像を作ることである。テンソル α_ijkが与えられたとき、トリリニアの式にｐ_i、ｐ_i′の値を入れると、α_ijkが 求められた方法と無関係にｘ″及びｙ″の値が求まる。 テンソルα_ijkは、例えば、７つの点に対するｐ_i″（例えば、ｉ＝１、・・・ 、７）の位置が既知であるならば求めることができる。次に、８番目の点毎に、 対ｐ、ｐ′とテンソルからｐ″を再現することができる。 Ｂ．応用２：再構成 ３枚の画像のテンソル、あるいはｍ（＞３）個の画像の連結行列（IIを参照） の最も大きい４つの主成分を用いて、２つの画像の間のエピポーラ構造を再現す ることができ、それを用いてシーンの３次元モデルを再構成することができる。 Ｅ_j＝α_jを３つのの３×３行列とする。すなわち、Ｅ_j＝α₁，_j，₁、α₁，_j，₂ 、・・・，α₃，_j，₃である。２７個の数の配列を３つの行列への特別の順列（ ｐｅｒｍｕｔａｔｉｏｎ）は下記の結果をもたらす。 ３つの行列Ｅ₁、Ｅ₂、Ｅ₃は、３次元空間内の３つの平面に関連する射影変換 （ホモグラフィ行列）である。 これが意味することは、空間に３つの平面π_jが存在し、Ｐが（例えば）平面 π_jと同一面上にあり、ｐ、ｐ′を最初の２枚の画像上の画像位置であるとする と、Ｅ₁ｐ≒ｐ′が成立する。ｊ＝２、３についても同様である。 最初の２枚の画像間の「基本行列」Ｆ（あるいは、写真計測の文献に使われて いるような「同一平面の制約」）は、Ｆを求めるための式の線形系を与える関係 である Ｅ_j ^TＦ＋Ｆ^TＥ_j＝０ ｊ＝１、２、３ を満足する。 同様に、ｍ（＞３）個の画像に対する連結行列（IIを参照）の最も大きな４つ の主成分は、以下のように、Ｆを解くのに使われる。Ａ_k（ｋ＝１、・・・、４ ）を、３×３行列で行方向にそれぞれ配置された、連結行列の最も大きい４つの 主成分とすると、ｍ（＞３）個の画像からＦを線型に再現するための統計的に最 適な方法を与える Ａ_k ^TＦ＋Ｆ^TＡ_k＝０ ｋ＝１、２、３、４ が成立する。 「エピポーラ」点ｖ′は、関係Ｆ^Tｖ′＝０から、あるいは以下のように直接 にテンソルから求めることができる。 ３つの行列Ｅ₁、Ｅ₂及びＥ₃のうちの２つの行列の対応する列のクロス積はエ ピポーラ線、つまり、ｖ′と一致する直線を与える。同様に、ａ₁、ａ₂及びａ₃ によって１つの行列Ｅの列を表し、ｂ₁、ｂ₂及びｂ₃によって別の行列Ｅの列を 表すとすると、ａ_i×ｂ_j−ｂ_i×ａｊは、ｉ≠ｊに対してエピポーラ線である。 すべての組合せを考えると、テンソルは、その交差がエピポール（ｅｐｉｐｏｌ ｅ）ｖ′を定義する１８本のエピポーラ線を生じる。その交点は、例えば最小二 乗法で見つけることができる。 同様に、エピポーラ点ｖ′は、次のように、４つの最大の主成分の連結行列Ａ₁ 、・・・、Ａ₄から再現することができる。ａ₁、ａ₂及びａ₃を行列Ａ₁の列とし 、ｂ₁、ｂ₂及びｂ₃をのＡ₂の列とすると、ａ_i×ｂ_j−ｂ_i×ａ_jは、ｉ≠ｊに対し てエピポーラ線であり、ａ_i×ｂ_iは３本のエピポーラ線の別の組を与える。この 方法で４つの行列Ａ₁、・・・、Ａ₄から２つを選ぶことによって、ｖ′を解くた めの冗長な式の組を与える２４本のエピポーラ線を得る。 ３次元のシーンの射影のモデルはＦとｖ′とから得られる。たとえば、３×４ 行列［［ｖ′］Ｆ，ｖ′］は３次元座標から第２の画像の画像座標へのカメラ変 換である。すなわち第１と第２のの画像上の点の対応する対ｐ、ｐ′毎に、 ｐ′≒［ｖ′］Ｆｐ＋ｋｖ′ が成立し、座標ベクトル［ｘ，ｙ，ｌ，ｋ］はシーンの３次元（射影）モデルを 与える。 注１：順列α_i..もまた他の３つの平面の３つのホモグラフィ行列Ｗ₁、Ｗ₂及 びＷ₃を与える。ホモグラフィ行列は第１の画像から第３の画像からのものであ る。すなわち、Ｗ₁と関連する平面と同一平面上のＰから生ずるｐ、ｐ″に対し てＷ₁ｐ≒ｐ″が成り立つ。それゆえ、行列Ｅ₁、Ｅ₂及びＥ₃使用と同じようにし て、基本行列Ｆ″と、第１と第３の画像の間のエピポーラ構造と関連するエピポ ーラ点ｖ″を再現することができる。 ３枚の画像の間の画像対応を達成する ２次元の画像から３次元のシーンを操作するときの重要なステップの１つは、 手元の画像間の対応する点の信頼できる組を（可能なかぎり多く）集めるステッ プである。現在の最新の技術は、エピポーラ構造のような、幾何学的な情報と共 に２つの画像の画像強度の相関を用いる。 テンソルを用いることにより、カメラ校正を想定することなく、３つの画像を 一緒に利用して対応法を拡張することができる。３つの画像にわたる対応点の初 期の組が与えられると、トリリニア・テンソルを再現することができる。次に、 トリリニア・テンソルは、対応点を正確に定めるための相関法を用いるための制 約条件を与える。これは、以下のようになされる。 Ｅ₁、Ｅ₂及びＥ₃がテンソルの配列α._j.を表わし、Ｗ₁、Ｗ₂及びＷ₃がテンソ ルの配列α_i..を表わすとする。最初に、対応点間の変位がエピポーラ線に沿う ように、３つの画像すべてを整列させる。これは次のように行われる。 Ｅ＝Σ_iρ_jＥ_jとする。ここで、係数ρ_jは、それぞれ第１の画像と第２の画像 とにおけるすべての初期対応点ｐ_k、ｐ_k′に対する、線型最小二乗条件Ｅｐ_k≒ ｐ_k′の解である。同様に、Ｗ＝Σ_iμ_jＷ_iとする。ここで、係数μ_iは、それぞ れ第１の画像と第３の画像とにおける全部の初期対応点ｐ_k、ｐ_k″に対する線型 最小二乗条件Ｗｐ_k≒ｐ_k″の解である。画像２を変換Ｅ^-1で、画像３を変換Ｗ^-1 で「歪ませる（ｗａｒｐ）」処理により、２′及び３′で示される新しい画像を 、画像１と画像２′との間の対応点がエピポーラ線に沿っており画像１と画像３ ′との間の対応点がエピポーラ線に沿っているように生成することができる。 エピポーラ線は（好ましい実施の形態の詳細な説明の中のII．Ｂ）で提示したテ ンソルから得ることができる。ｗ′及びｗ″をそれぞれ１と２′との間及び１と ３′との間のエピポーラ線の方向ベクトルとする。ここから、ｐ＝（ｘ，ｙ）、 ｐ′＝（ｘ′，ｙ′）、ｐ″＝（x″，ｙ″）がそれぞれ画像１、２′、３′に おける対応点であるとすると、ある係数α及びβに対して、ｐ′＝ｐ＋αｗ′、 ｐ″＝ｐ＋βｗ″が成立する。ただし、ｗ′、ｗ″、α及びβは位置（ｘ，ｙ） と共に変動する量である。 ここに示されているトリリニア式（３）-（６）は、係数α及びβに対して構 造上の制約を与える。すなわち、αの任意の値に対して、βの値が一意的に定ま り、逆もまた同様である。α及びβを復元するために、以下のように、１、２′ 及び３′の画像強度を用いる。 係数α及びβは「定輝度方程式」 α（Ｉ_x，Ｉ_y）^Tｗ′＋Ｉ_t ¹²′＝０ β（Ｉ_x，Ｉ_y）^Tｗ″＋Ｉ_t ¹³′＝０ を満たす。ここで（Ｉ_x、Ｉ_y）は第１の画像における位置ｐ＝（ｘ，ｙ）での勾 配ベクトルであり、Ｉ_t ¹²′は画像１、２′間の時間導関数であり、Ｉ_t ¹³′は画 像１、３′間の時間導関数である（すべての導関数は、離散的な近似である）。 ここに示されているトリリニア式（３）-（６）から、ｆ（α、β）＝０を求め ることができる。ここで、関数ｆ（）の係数はテンソルの要素である。このよう にして、幾何学および測光の両方の制約を満たすα及びβに対して最小二乗解を 求めることができる。 全手順は、J.R.ベルゲン及びR．ヒンゴラーニ著「Hierarchical motion-based frame rate conversion」、Technical report、David Sarnoff Research Cente r、1990に述べられている、ラプラシアン・ピラミッドに沿って階層的に行われ る。 ここで、本発明の実施の形態に従って構成され動作し、少なくとも３つの画像 から３次元のシーンの３次元表現を生成するように動作する、３次元シーン再構 成装置の単純化した機能ブロック図を表わした図６を参照する。 図６の装置は、３つの異なる視点から動作するＣＣＤカメラ１０、又は、フィ ルム・カメラ２０から生成された画像をデジタル化するよう動作するツァイス製 ＰＳ−１のようなスキャナ３０と関連付けられ、航空機に搭載されることもある フィルム・カメラ２０のような、少なくとも３つのそれぞれの視点からの３次元 のシーンあるいは対象物の少なくとも３つのデジタル画像を提供するための装置 を含む。 少なくとも３つのデジタル画像は、３つのデジタル画像からの少なくとも７つ の、好ましくは複数のトリプレットの対応点を識別するよう動作する対応点検出 器４０に送られる。異なる画像からの「対応点」は、現実の３次元の世界におけ る一つの位置に対応する点あるいは位置である。たとえば、これらの点は手作業 で識別され得る。航空写真については、対応関数を実行するシュツットガルトの Ｉｎｆｏ社の販売に係るＭａｔｃｈ−Ｔパッケージのような市販の対応点ソフト ウエアを用いることができる。 対応点を見つけるための従来の方法は、Ｈ．ワング及びＪ．Ｍ．ブラディ著「 Corner detection：some new results」、IEEE colloquium Digest of Systems Aspects of Machine Perceptionand vision（ロンドン、1992、pp．1.1‐1.4） に述べられている。 トリリニア・テンソル計算ユニット５０は対応点のトリプレットを受け取り、 ３つの画像の間の幾何学的関係を表すトリリニア・テンソルを計算する。 次いで、トリリニア・テンソルは、３次元のシーンの３次元表現を生成するた めに用いられる。本発明の１つの実施の形態によると、トリリニア・テンソルは 、３つの画像のうちの２つの画像のエピポーラ構造表現を計算するために、エピ ポーラ構造生成ユニット６０によって用いられる。次に、３次元表現生成ユニッ ト７０は、ユニット６０のエピポーラ構造表現出力からシーンあるいは対象物の ３次元表現を生成する。これについては、以下に詳述されている。 a．Faugeras，O．D．“What can be seen in 3 dimensions with an u ncalibrated stereo rig?”Proceedings of the European Conference o n Computer Vision，pages 563‐578，Santa Margherita Ligure，Italy， June 1992． b．Hartley，R．et al，“Stereo from uncalibrated cameras.” Proceed ings IEEE Conf．on Computer Vision and Pattern Recognition，761− 764，Champaign，IL，June 1992．及び c．Shashua，A．“Projective structure from uncalibrated images： st ructure from motion and recognition.” IEEE Transactions on PAMI ，16（8）：778‐790，1994． ユニット５０及び６０の好ましいインプリメンテーションはＣ言語の形で付録 Ａに記述されている。ユニット５０の好ましいインプリメンテーションは、付録 Ａの１ページから４ページの終わり近くまで記述されている。ユニット６０の好 ましいインプリメンテーションは、付録Ａの４ページの終わりから８ページの中 ほどまで記述されている。上記プログラムを理解するのに役立つサブルーチンと 統計手続きは、付録Ａの８ページから記述されている。 対象物又はシーンの新しい画像を生成するために、レーザー・コンピュータ・ プリンタにより、３次元のシーンあるいは対象物の少なくとも一部あるいは一側 面を表す３次元情報を含む３次元表現が用いられる。または、対象物あるいはシ ーンの新しい画像を生成するために、従来のプロッタと一緒に従来のＣＡＤ（ｃ ｏｍｐｕｔｅｒ ａｉｄｅｄ ｄｅｓｉｇｎ）ソフトウェアが用いられ得る。ま た、ＣＡＤソフトは品質保証アプリケーションにおいて２つのＣＡＤファイルを 比較するように動作し得る。 本発明の実施の形態にしたがって動作し、図６の装置と併用すると有用である 、望ましい３次元シーン再構成方法の単純化したフローチャートである図７を参 照する。図７は一般的に自明である。シーンあるいは対象物の３つの画像は、デ ジタル・アーカイブからアクセスされ、又は、たとえばデジタルカメラによって 生成されたならば、デジタルであってよい。画像がデジタルでなければ、走査そ の他の方法でデジタル化される。 任意の適切な従来のあるいは他のフォーマットを用いることができる。たとえ ば、シリコン・グラフィックス社のＩｎｖｅｎｔｏｒフォーマットを、３次元表 現のために最初に用い得る。Ｉｎｖｅｎｔｏｒフォーマットは３次元表現の新し い画像を印刷するためにポストスクリプトに変換される。 図示したように、シーンの３次元表現は、シーンあるいは対象物の３次元計測 、シーンあるいは対象物の新しい画像の生成（例えばプリントアウト）、及び、 従来の方法を用いて対象物又はシーンの生成済みの３次元表現を所望の対象物又 はシーンあるいはそれらシーン又は対象物の所望の３次元表現と比較する品質保 証比較などの広範囲の活動に有用である。 ここで、本発明の実施の形態にしたがって構成され動作し、少なくとも２つの 参照画像から新しい画像を生成するように動作する画像転送装置の単純化したブ ロック線図を示した図８を参照する。図８の装置は図６の装置に似ている。しか し、図８においては、３次元のシーンの新しい画像は、中間の３次元表現を生成 せずに、少なくとも２つの参照画像のみから直接生成される。 図８において、２つの参照画像と所望の新しい画像とに関する幾何学的情報は 、３つの画像間の幾何学的関係を表すトリリニア・テンソルを生成するために使 用される。典型的には、新しい画像における位置の少なくとも７つのトリプレッ ト（これは、少なくとも２つの参照画像のそれぞれにおける７つの位置に対応す る）が例えばマニュアルで識別される。典型的には、新しい画像に関する少なく とも何等かの情報が利用可能である。たとえば、同じ地域の少なくとも２つの新 しい参照画像に基づいてＧＩＳ（地理情報システム）の古い画像を更新すること が望ましい場合、古い画像における少なくとも７つの位置（これは、２つの参照 画像における７つの位置に対応しており、まもなく生成される最新版の画像の中 に依然として存在すると想定される）を識別することは、一般に可能である。 典型的には、新しい画像は、第１と第２の参照画像における異なる第１と第２ の対応する位置にそれぞれ対応する新しい画像上の複数の位置を、第１と第２の の対応する位置とトリリニア・テンソルとに基づいて計算することによって生成 される。たとえば、対応点検出器１４０は、２つの参照画像から複数対の、たと えば１０００対の対応点を生成する。ユーザは、第１の７つの対に関しては、新 しい画像における７個の対応点をマニュアルで指示する。 一度、トリリニアテンソルがトリリニアテンソル計算ユニット１５０によって 生成されたなら、図９に見られるように、新しい画像の中の対応点８−１０００ の座標を生成するために、対応点の対８−１０００の座標がトリリニア・テンソ ルに代入される。 このようにして生成された新しい画像は１年前のものと同じ画像と例えば比較 され、１年間に当該シーンに発生した相違が識別される。 ここで、本発明の実施の形態に従って動作し、図８の装置と併用すると有用な 望ましい画像転送方法の簡単なフローチャート図である図９を参照する。図９は 一般に自明である。 ここで述べられている任意の実施の形態において、３つより多い画像が与えら れた場合は、それぞれの３つの画像に対して「中間」テンソルが計算される。次 いで、代表的なテンソルが、これらの「中間」テンソルの間の関係に基づいて計 算される。 図１０は、図２にも示されている靴の３次元再構成の図である。図１０は、対 応点を見出し、それらの点の３次元の位置を再構成することによって生成された のである。次に、図１０に示される面を生成するために、ＣＡＤソフトウエアに よって座標が処理される。 図１１は、製品の品質保証のための望ましい方法と装置の単純化したブロック 線図である。図１１は、単一の位置を狙っていて当該位置の３つの透視画をもた らす３つのＣＣＤカメラ２１０の配列２００を含む。ＣＣＤカメラはロボット・ アーム２１２に取り付けられ、したがって、コントローラ２２４からの適切な指 令に従って、コンベア・ベルト２２０に沿って到来する製品２１４に対して移動 することができる。 製品がＣＣＤカメラ２１０の視野に入ると、コンベア・ベルト２２０は典型的 には停止し、製品の表面領域の全体がカメラ２１０によって画像形成されるよう にする。コントローラ２２４は、ロボット・アーム２１２を介して、製品の全表 面の画像を形成できるように、製品の周囲にカメラの配列２００を移動させる。 たとえば、カメラの配列２００は製品の周囲の１０個の異なる位置に移動され、 各位置で、３台のＣＣＤカメラのそれぞれは製品の画像を形成する。用いられる 位置の数は部品の複雑性に依存する。 この過程は、それぞれの３つの透視画から、製品の同じ部分の３つのデジタル 画像をそれぞれ含む複数の画像トリプレットをもたらす。それぞれの画像トリプ レットに対して、配列２００とそれぞれのカメラ２１０との対応する位置は、既 知であるロボット・アームの位置に基づき、手と目による校正を使って計算され る。 それぞれの画像トリプレットは、図６のユニット４０、５０、６０、７０、９ ０とそれぞれ類似のユニット２４０、２５０、２６０、２７０、２９０によって 処理される。 それぞれの画像トリプレット（それぞれのプローブ位置）からＣＡＤソフトウ ェア２９０によって生成されたＣＡＤモデル情報は適宜のメモリ３００に記憶さ れる。計算ユニット３１０は、ＣＣＤカメラの配列２００の複数の位置に対応す る 複数のプローブ位置を単一の座標系に統合するように動作する。必要な座標変換 は、ＣＣＤカメラの配列の移動を定義する変換の逆を行うことによって計算され る。 計算ユニット３２０は、ユニット３１０の出力を参照ＣＡＤモデルと比較し、 それらの間の差を計算する。これらの差は計算ユニット３３０において許容誤差 と比較される。 また、図１１の装置は、リバースエンジニアリングやＣＡＤのための３次元デ ジタル化応用に適している。 図１２は、たとえば、都市の地図の更新、不法建築の検出、カーナビゲーショ ン・システムへの奉仕、集積回路のような微細な対象物の図面作製のためにデジ タルの地形図を生成するための望ましい方法と装置の単純化したブロック線図で ある。 航空機に搭載されたＣＣＤカメラ３３４はシーン上を飛行するが、デジタルの 地形図を作成することが望ましい。カメラ３３４は、３つのそれぞれの透視画か らシーンの３つのデジタル画像を生成する。その３つの画像は、図６のユニット ４０、５０、６０、７０に類似のユニット３４０、３５０、３６０、３７０によ って処理される。 表面補間手順は、３次元表現生成ユニット３７０の出力に対して表面補間ユニ ット３８０によって実行される。適切な表面補間方法は、W．E．L．グリムソン 著“A computational theory of visual surface interpolation”，Proc．of t he Royal Soc．of London B 298，pp.395‐427，1982に記載されている。 最後に、透視画の歪みは、正射写真生成ユニット３９０によって表面補間ユニ ット３８０の出力から除去され、その結果、正射写真（平面図の地図）が作成さ れる。ユニット３９０の適切な操作方法は、C．C．スラマ著“Manual of Photog rammetry”，American Society of Photogram，1980に記載されている。 また、本発明は３次元の対象物の視覚化、特に娯楽、アニメーション及び教育 の応用に有用である。図１１の配列２００のようなカメラ配列は、視覚化すべき 対象物の周囲を回り、ユーザに表示することが望ましい実質的に全表面領域の画 像を形成する。たとえば、カメラ配列は、対象物を取り囲む２００ケ所の位置の それぞれから対象物の画像を形成する。 次いで、前述の２００ヶ所の位置以外の位置に対して、合成画像が生成される 。所望の位置は、例えばジョイスティックにより、ユーザによって指示される。 本発明の装置は、当該位置に対する合成画像を生成するために使用することがで きる。 従来の操縦シュミレーション・ゲームは合成した背景を使用するが、本発明は 実際の背景を持つ操縦シュミレーション・ゲームを提供するために使用できる。 これを行うためには、少なくとも３台の、好ましくは５−１０台のカメラの配列 が、シーンの実質的に全体が少なくとも３つの、好ましくは更に多くの異なる透 視画からカメラ配列によって撮影されるように、所望のシーン内で移動される。 たとえば、シーンは、カメラ配列のほぼ１０００個の位置のそれぞれから撮影さ れる。次いで、本発明に従って、たとえばジョイスティックによって指示される 、ユーザの新しい画像に対する要求に合うように、新しい画像が生成される。 ここで、認識のために有用な代数関数が、IEEE Transaction on PAMIに発表さ れる「認識のための代数関数」という名称の論文に基づいて記述される。 認識のための代数関数 Ｉ．はじめに 本論文では、３次元のシーンの3つの透視図の間の代数的関係についての一般 的な結果を確立し、それを整列による視覚認識に適用する方法を明らかにする。 一般に、あるシーンの３つの透視図は画像座標からなる一対のトリリニア関数を 満足することを示す。３つの図がすべて正射写真であるような限定された場合に は、これらの関数は線形になり、[38]によって発見された形式に帰着する。トリ リニアな結果を使用すれば、シーン構造の再構成(計量的または非計量的)、カメ ラ変換、さらにはエピポーラ構造に頼らずに対象物の画像を操作できる(２つの モデル画像から新しい画像を生成するなど)。さらに、トリリニア関数は最低７ つの点からなる構成で、線形な方法で復元することができる。この構成について は、ある３次元のシーンの２つの参照画像上の対応する点を与えられたときに、 それを任意の新しい画像上に再投影するという問題の一般線形解を求めるための 必要最小限の構成の新しい下限であるように示される。これまでの解は、そのエ ピポーラ構造を復元するという方法をとるが、その場合には線形解のためには最 小限８つの点の構成が必要である。 結果の核心は定理１、２、３に含まれている。最初の定理は、校正されていな いピンホール・カメラで撮った固定した３次元の対象物のさまざまな画像Ψは、 いわゆるＦ（ψ、ψ₁、ψ₂）＝０という関係を満たすということである。ただし 、ψ₁及びψ₂は物体の任意の2枚の画像であり、Ｆは特殊なトリリニア形式をし ている。Ｆの係数はエピポーラ構造、対象物の３次元構造又はカメラの動きを決 定しなくても線形演算で復元することができる。定理１の証明に必要な補助定理 はそれだけで興味深い。平面の射影変換に関するある種の規則性を確立し、新し い画像不変量を導入するからである（補助定理４）。 定理２はトリリニア関数の係数を最も効率的な方法で復元するという問題を扱 っている。３枚の画像間で可能なすべてのトリリニア関数のなかで、線形独立な トリリニア関数は高々４つしかないということを証明している。その結果、この ような関数の係数は３つの画像間の対応する７つの点から線形演算で求めること が できる。 定理３は定理１の明白な系であるが、重要な実際的側面を含んでいる。つまり 、画像ψ₁及びψ₂が平行投影によって得られたものならば、Ｆは特殊な双一次形 式になるということである。言い換えれば、任意の透視図ψは2つの正射影の回 転線形関数によって求めることができる。双一次形式に帰着することは、メモリ に記憶されている２つの参照画像(モデル画像)が正射影ならば、より簡単な認識 機構が可能であることを示唆している。 このような結果はいくつかの応用分野があるが(セクションVIで検討する)、本 稿全体で力説しているのは、整列による３次元の対象物の認識という課題である 。整列による認識の方法は（[37,16]およびその中の参考文献）、３次元の剛体 の変換、アフィン変換、射影変換を受ける対象物の画像の同値類は（セルフ・オ クルージョン（ｓｅｌｆ ｏｃｃｌｕｓｉｏｎ）を無視して）、対象物の３次元 モデルを記憶するか、あるいは単に対象物の任意の２つの「モデル」画像を記憶 することで得ることができるという結果に基づいている。ただし、モデル画像の 間の対応関係の問題が何らかの方法で解決できるものと仮定する（[27,5,33]） 。認識の際に、特定の候補となる対象物のモデル画像を新しい画像に「再投影」 するためには、新しい入力画像とモデル画像の間の対応点のうちの少数の点だけ で十分である。再投影された画像が入力画像とうまく一致すれば、認識が達成さ れる。本論文では、対応点のうちの一定数の点だけを使用して、一組のモデル画 像から新しい画像を予測する問題を、再投影の問題と呼んでいる。 再投影の問題は原則的には、形状とカメラの動きを３次元で再構成するという 方法で扱える。これは、カメラの剛体運動パラメータと計量的な形状を復元する ための運動方法からの古典的な構造や［36,18,35,14,15］、比較的新しいもので は物体が３次元のアフィン変換または射影変換を受ける、言い換えればカメラが 校正されていないことを前提にした、非計量的な構造を再構成する方法がある[1 7,25,39,10,13,30]。透視図に対する古典的な手法は、画像に測定誤差がある、 視野が狭い、カメラが内部校正されている、といった場合には不安定であること がわかっているため、再投影という目的に実用化できる可能性はなさそうである 。非計量的な手法は一般に、実際の画像に対して十分にはテストされてはいない が、 これまで提案された方法ではまずエピポーラ構造を求めることが基本になる。こ の手順もまた雑音があると不安定であることがわかっている。 エピポーラ構造だけでも十分に再投影を達成できることもわかっている。３つ の画像の間の最低８つの対応点を使用してエピポーラ線を交差させる[24,6,8,26 ,23,11]。しかし、この方法は、３つのカメラの中心が同一線上にない場合にの み可能であり（中心が同一線上にからはずれていないならば数値的な不安定性に つながることがある）、３つの焦平面上の物体のどの点も再投影することができ ない。さらに、非計量的な再構成方法と同じく、エピポーラ構造を求めるのは、 何十もの対応点を使用し、最先端の方法を使用したところで、所詮は慎重さを要 する手順である(その詳細とシミュレートされた画像と実際の画像によるそれぞ れの方法の比較分析は、セクションＶを参照)。 したがって、安定性が目的ならば、もっと直接的な再投影の手段を捜し求める 価値がある。たとえば、形状と不変量を再構成する代わりに、画像の間に画像座 標のみの関数として表現された直接的な関係を確立することが望ましい。このよ うな関数を「画像の代数関数」と呼ぶことにする。そうした結果は正射写真の場 合には[38]によって確立されている。その中では、対象物の任意の３つの正射写 真の画像上の対応点の画像座標が線形関数を満たすことが証明されている。本論 文では、これは一般にトリリニア形式をとる代数関数の大きな集合の限定的な場 合にすぎないことを示すことにする。このような関数を使用すれば、ある対象物 の画像に対して、中間ステップとして形状またはカメラの配置を復元することな く、新しい画像を生成するなどの操作を実行できる。必要なことは、２つの参照 画像の画像座標を適切に結合すればよいのである。また、このような関数を使用 すれば、エピポーラ構造が絡み合って特異点がなくなり、最少の点構成の下限が 下がるだけではなく、実験のところで説明するように、画像の測定に誤差がある 場合に一層高い性能が得られる。この研究の一部（定理１のみ）が[31]で簡潔な 形で示されている。 II．覚書 本論文では、物体空間は３次元の射影空間Ｐ³であり、画像空間は２次元の射 影空間Ｐ²であると考える。いま、Φ＝⊂Ｐ³が３次元の対象物を表す点集合であ り、ψ_i⊂Ｐ²は添え字ｉで示されるΦの（任意の）画像を表すものとする。２台 のカメラの中心がそれぞれＯ、Ｏ′∈Ｐ³にあるものとすると、そのエピポール るので、画像上のすべての観測点に第３の同次座標として値１を割り当てても一 般性は失われない。つまり、（ｘ，ｙ）が点の観測された画像座標であるならば （画像の幾何中心など、任意の原点を基準にとる）、ｐ＝（ｘ，ｙ，ｌ）はその 画像平面の同次座標を表す。ただし、この取り決めでは、Φにおける点がこれら の画像の無限点にあるような特殊な画像は無視される。このような特殊な場合は ここでは考慮しない。 ここで一度に扱うのは高々３つの画像であるので、それに関連するエピポール を次のように表す。ｖ∈ψ₁とｖ′∈ψ₂は画像ψ₁、ψ₂の間の対応するエピポー する。同様に、３つの画像の間の対応する画像点をｐ＝（ｘ，ｙ，ｌ）、ｐ′＝ （ｘ′，ｙ′，ｌ）、ｐ″＝（ｘ″，ｙ″，ｌ）で表すものとする。「画像座標 」という言葉は、Ｐ²の非同次座標表現、例えば、３つの対応点に対する（ｘ、 ｙ）、（ｘ′、ｙ′）、（ｘ″、ｙ′）を意味している。 平面は添え字ｉのついたπ_iで表すが、１平面だけを扱うときは単にπで表す 。平面はすべて任意であり、互いに異なるものとする。記号：はスケール以下で あることを意味し、ＧＬ_nはｎ×ｎ行列の群を表し、ＰＧＬ_nはスケールまで定義 された群である。 III．トリリニア形式 本論文の中核ともいうべき結果は、次の２つの定理で言い表される。このセク ションの残りの部分は、この結果の証明と、それが何を意味しているかの説明で ある。 定理１（トリリニア性） ψ₁、ψ²及びψ₃は３次元の点集合で表されたある対 象物の任意の透視図であるとする。この３つの画像間の３つの点の画像座標（ｘ ，ｙ）∈ψ₁、（ｘ′，ｙ′）∈ψ₂、（ｘ″，ｙ″）∈ψ₃は、次のような形式 を した一対のトリリニア方程式を満たす。 および ただし、係数α_j、β_j（ｊ＝１，・・・、１２）はすべての点について一定で、 全スケールまで一意的に定義され、α_j＝β_j，ｊ＝１、・・・、６である。この 定理の証明には、次の補助定理を使用している。 補助定理１（補助−存在） Ａ∈ＰＧＬ₃を平面πに起因する射影写像(ホモグラ た対応点とする。その場合、任意の点Ｐ∈Ｐ³から生じた任意の対応する対ｐ∈ ψ₁及びｐ′∈ψ₂について ｐ′≒ＡＰ＋ｋｖ′ が成り立つ。係数ｋはψ₂とは独立である。つまり、第２のの画像の選択の仕方 によって変化しない。 補助定理、その証明、その理論的および実際的な意味は、[28,32]で詳しく説 明されている。ホモグラフィＡがアフィン変換であったり、エピポールｖ′が無 限直線上にあるような特殊な場合は、２つの正射写真の画像からアフィン構造を 構築することに相当する[17]。つまり、Ｐ³（座標のテトラド（ｔｅｔｒａｄ） ）の表現Ｒ₀はつねに、任意の平面πが無限点の平面になるように選択できる。 その場合、校正されていない一般的なカメラの動きが、アフィン変換群の要素に よってＲ₀と関連していることを示すことができる表現Ｒを生成する。つまり、 スカラｋは射影構造内ではアフィン不変量であり、相対アフィン不変量と呼ばれ る。それぞれ異なる基準平面に対応するそのような２つの不変量の比が、射影不 変量である[32]。ここでの目的のためには、ｋを復元する方法を論じる必要はな い。 必要なのは、ある任意の基準平面πに関連づけられた相対アフィン不変量ｋの存 在を用いることで、そこからホモグラフィＡが得られる。 れが補助定理１を満たすようなスケールになっていれば、スケール・コンパチブ ルであるという。つまり、任意の画像ψ_iに対して、Ｐ∈ψ₁及びＰⁱ∈ψ_iに射影 する任意の点Ｐ∈Φについて、次の関係を満たすようなスカラｋが存在する。 Ｐⁱ≒Ａ_iｐ＋ｋｖⁱ ただし、ｖⁱ∈ψ_iは（任意にスケーリングされた）ψ₁を有するエピポールであ る。 補助定理２（補助−一意性） Ａ、Ａ′∈ＰＧＬ₃が平面π₁、π₂に起因するψ₁ 次の式を満たすようなスカラｓが存在する。 Ａ−ｓＡ′＝［αｖ′、βｖ′、γｖ′］ 証明：いまｑ∈ψ₁を第１の画像上の任意の点とすると、ｖ′≒Ａｑ−ｓ_qＡ′ｑ を満たすスカラｓ_qが存在する。Ｈ＝Ａ−ｓ_qＡ′であるとすると、Ｈｑ≒ｖ′が 成り立つ。しかし、[29]に示されているように、任意の平面に起因するホモグラ 立つ。異なる２点ｑ、ｖの同じ点ｖ′への写像は、Ｈが（射影中心Ｏと同一平面 の）子午面に起因するホモグラフィである場合に限られるから、すべてのｐ∈ψ₁ についてＨｐ≒ｖ′が成り立ち、ｓ_qは一定のスカラｓと等しい。後者は、Ｈが のｖ′の倍数を列とする行列であることを意味している。□ 補助定理３（補助定理４の補助） いまＡ、Ａ′∈ＰＧＬ₃をそれぞれ異なる平 ＰＧＬ₃について、Ａ′＝ＡＴが成り立ち、Ｂ＝ＢＣＴＣ^-1ｇａ成り立つ。ただ 証明：いま、Ａ＝Ａ₂ ^-1Ａ₁とする。ただし、Ａ₁、Ａ₂はそれぞれ、ψ₁、ψ₂から π₁へのホモグラフィとする。同様に、Ｂ＝Ｂ₂ ^-1Ｂ₁とする。ただし、Ｂ₁、Ｂ ｃ₂、ｃ₃）^TおよびＣ≒Ａ₁ ^-1ｄｉａｇ（ｃ₁、ｃ₂、ｃ₃）とする。このとき、Ｂ₁ ≒Ａ₁Ｃ^-1であるから、Ｂ≒Ｂ₂ ^-1Ａ₁Ｃ^-1が成り立つ。Ａ₁とＢ₁との唯一の違い て補償される。いま、Ｅ₁∈ＰＧＬ₃をψ₁からπ₂へのホモグラフィとし、Ｅ₂∈ ＰＧＬ₃をπ₂からπ₁へのホモグラフィとする。このとき、Ｅ₁、Ｅ₂の適正なス ケーリングにより、 Ａ′＝Ａ₂ ^-1Ｅ₂Ｅ₁＝ＡＡ₁ ^-1Ｅ₂Ｅ₁＝ＡＴ が成り立つ。また、Ｃの適正なスケーリングにより、 Ｂ′＝Ｂ₂ ^-1Ｅ₂Ｅ₁Ｃ^-1＝ＢＣＡ₁ ^-1Ｅ₂Ｅ₁Ｃ^-1＝ＢＣＴＣ^-1 が成り立つ。□ 補助定理４（補助 − 一意性） スケール・コンパチブルなホモグラフィにつ いて、補助定理２のスカラｓ、α、β、γは、ψ₁、π₁、π₂によってインデッ クスされる不変量である。つまり、任意の第３の画像ψ₃があるとき、Ｂ、Ｂ′ がＡとスケール・コンパチブルであり、Ｂ′がＡ′とスケール・コンパチブルで あるとする。このとき、次の関係が成り立つ。 Ｂ−ｓＢ′＝［αｖ″、βｖ″、γｖ″］ 証明：まず、ｓが不変量であること、つまりＢ＝ｓＢ′がｖ″の倍数を列とする 行列であることを証明する。補助定理２と補助定理３から、ｖ′の倍数を列とす る行列Ｈ、Ａ′＝ＡＴを満たす行列Ｔ、及び、Ｉ−ｓＴ＝Ａ^-1Ｈを満たすような スカラｓが存在する。両辺にＢＣを掛け、Ｃ^-1を掛けると、次の式が得られる。 Ｂ−ｓＢＣＴＣ^-1＝ＢＣＡ^-1ＨＣ^-1 補助定理３から、Ｂ′＝ＢＣＴＣ^-1が成り立つ。行列Ａ^-1Ｈの列はｖの倍数であ Ａ^-1Ｈはｖ″の倍数を列とする行列である。ＢＣＡ^-1ＨにＣ^-1掛けてもその形式 は変化しない。ＢＣＡ^-1ＨＣ^-1の各列は単にＢＣＡ^-1Ｈの列の線形結合だからで ある。その結果、Ｂ−ｓＢ′はｖ″の倍数を列とする行列になる。 ケール・コンパチブルであるから、補助定理１から、任意のＰ∈ψ₁に関連する 不変量ｋ、ｋ′が存在する。ただし、ｋはπ₁に起因し、ｋ′はπ₂に起因する。 つまり、ｐ′≒Ａｐ＋ｋｖ′≒Ａ′ｐ＋ｋ′ｖ′およびｐ″≒Ｂｐ＋ｋｖ″≒Ｂ ′ｐ＋ｋ′ｖ″である。このとき、補助定理２から、Ｈｐ＝（ｓｋ′−ｋ）ｖ′ のみ成り立つ。□ 定理の証明：補助定理１は次のように定理の存在部分の根拠となる。補助定理１ は任意の平面について有効であるから、平面π₁を選択し、Ａ、Ｂをそれぞれ、 のとき、すべての点ｐ∈ψ₁と、その対応点ｐ′∈ψ₂、ｐ″∈ψ₃について、ｐ ′≒Ａｐ＋ｋｖ′及びｐ″≒Ｂｐ＋ｋｖ″およびを満たすようなスカラｋが存在 する。２つの式からｋを取り出すと が求まる。ただし、ｂ₁、ｂ₂、ｂ₃はそれぞれＡとＢの行ベクトルであり、ｖ′ ＝（ｖ₁′、ｖ₂′、ｖ₃′）、ｖ′＝（ｖ₁′、ｖ₂′、ｖ₃′）である。ｋの不変 性により、（１）の項と（２）の項を等しいと置くと、３つの画像についての画 像座標の線形関数が求まる。例えば、それぞれの式の最初の２つの項を等しいと 置くと、 が求まる。 同様にして、（１）の第１項を（２）の第２項と等しくすれば、 が求まる。 この２つの式は、最初の６つの係数が両式で同じであるという望ましい形式を している。 補助定理１は任意の平面に関して有効であるため、一意性の問題が生じる。い ま、ホモグラフィＡ′、Ｂ′とともに、異なる平面、例えばπ₂を選ぶと、この 新しいホモグラフィは（最大で全スケールまでの）同じ係数を生じることを証明 する必要がある。（３）と（４）でかっこで囲まれた項は、ｉ、ｊに対してｖ_i ′ｂ_j−ｖ_j″ａ_iという一般式式である。したがって、次の関係を満たすスカラ ｓが存在することを示せばよい。 ｖ_j″（ａ_i−ｓａ_i′）＝ｖ_i′（ｂ_j−ｓｂ_j′） しかし、これは補助定理２と４からすぐに導き出される。□ この定理からすぐに言えることは、２つのモデル画像（ψ₁、ψ₂）を結合する だけで新しい画像（ψ₃）を生成できるということである。この結合の係数α_j、 β_jは、３つの画像間の９つの対応点が与えられたときの１７（＝２４−６−１ ）個の線形方程式の解として一緒に求めることができる(最小２乗法で解く場合 は９つよりも多くの点を使用すればよい)。 次の定理では、トリリニア関数の係数を求めるために必要な点の数の下限を明 らかにする。定理１の証明の存在性を証明する部分は、そのようなトリリニア関 数が９つ存在し、その係数が一般式ｖ_i′ｂ_j−ｖ_j″ａ_iを有することを意味して いる。つまり、異なる係数の数は（最大で均一なスケールまでの）高々２７であ り、したがって、９つのトリリニア関数のうちの３個以上が線形独立であれば、 ９つより少ない点を使用して係数を求めることができる。次の定理は、トリリニ ア関数の高々４つが線形独立であれば、７つの点だけで十分に係数が求まるとい うことである。 定理２ 定理１で述べたような形式の９つの異なるトリリニア方程式があり、そ のうちの高々４つが線形独立である。４つのトリリニア形式の係数は、３つの画 像の間で７つの対応点がわかれば線形に求めることができる。 証明： ９つのトリリニア形式の存在は、（１）と（２）から直接導き出される 。 いま、α_ij＝ｖ_i′ｂ_j−ｖ_j″ａ_iとする。９つの形式は下記の通りである(最初 の２式は便宜上、（３）と（４）を反復した)。 トリプレットｐ、ｐ′、ｐ″が与えられると、上記の最初の４つの関数から４ ×２７行列が得られる。この行列には互いに直交する列（α₁₁、α₁₂、α₂₁、α₂₂ と関連づけられた列）が４つあるから、その階数は４である。したがって、こ れらの関数は線形独立である。係数が２７個あり、各トリプレットｐ、ｐ′、ｐ ″がそれぞれ4つの線形方程式を与えるから、３つの画像の間の７つの対応点が わかれば、係数を線形方程式の解として求めるのに十分な数の方程式が得られる （この線形系がある共通のスケールまで決定できる場合は、７つの点からもう２ つ方程式が得られる。これらの方程式は一貫性のチェックまたは最小２乗法によ る解の計算に使用できる）。 残りのトリリニア形式は次のように最初の４つの式の線形演算から求めること ができる。 ただし、かっこ内の番号は各トリリニア関数の方程式番号を表す。□ この２つの定理を組み合わせて使用すれば、２つのモデル画像の間の対応ｐ、 ｐ′がわかっている場合に、新しい画像上での位置ｘ″、ｙ″を求めるための構 造的な手段を提供することができる。新しい画像を作成するこのプロセスは、構 成、カメラ変換（カメラの内部パラメータに基づく変換）、さらにはエピポーラ 構造をも明示的に求める必要がなく容易に達成され、これまでわかっている他の どんな方法よりも対応点の数が少なくてすむ。 ｘ″、ｙ″の解は一意的であり、許容されるカメラ変換に対する制約条件もな い。しかし、定理２の証明で提案した４つのトリリニア方程式とは異なる４つの 方程式の組が必要であるような特定のカメラ構成がある。たとえば、方程式（５ ）、（６）、（９）、（１０）の組もまた線形独立である。したがって、たとえ ばＶ₁′とＶ₃′とが同時に消滅する場合、つまりｖ′≒（０，１，０）である場 合には、この組を使用しなければならない。同様に、方程式（３）、（４）、（ ９）、（１０）も線形独立であり、ｖ′≒（１，０，０）である場合に使用しな ければならない。ｖ″≒（１，０，０）およびｖ″≒（０，１，０）である場合 も同様であるが、この場合は上記にあげた６つの方程式から適切な４つの関数を 基底に選べば処理できる。これまでは、まだ７つの点の特異な構成を扱っていな い。たとえば、７つの点が同一平面上にある場合は、３つの画像の間の対応関係 は、係数を求めるという問題の一意的な解が得られない、ということは明らかで ある。特異面の問題はこれまでエピポーラ構造を復元するために必要な８点構成 の場合について研究されている[19,14,22]。本論文で紹介する結果に関するこの 問題は、未解決である。 エピポーラ構造を求める必要性を回避することは、大きな利点である。その利 点をはっきり理解できるように、ここでエピポーラ構造を使用する再投影の過程 を簡単に考えてみる。エピポーラ交差方法は次のように簡潔に記述できる([11] を参照)。いま、Ｆ₁₃とＦ₂₃がｐ″Ｆ₁₃ｐ＝０およびｐ″Ｆ₂₃ｐ＝０を満たすよ うな行列（最近の用語[10]での「基本」行列）であるとする。このとき、ｐ″が そのエピポーラ線上にあることから、 ｐ″≒Ｆ₁₃ｐ×Ｆ₂₃ｐ′ となる。したがって、この2つの基本行列の要素を線形方程式から求めるには、 ３つの画像の間の対応点が８つあれば十分であり、対象物上のその他のすべての 点を第３の画像に再投影できる。方程式（１２）もまたトリリニア形式であるが 、定理１で導入した形式とは異なる。その違いは次のとおりである。（ｉ）エピ ポーラ交差のためには、対応点が７つではなく８つ必要である。（ｉｉ）ｐ″の 位置は線交差処理によって求めることができるが、３台のカメラの中心が同一線 上にある場合は特異である。トリリニア性の結果では、ｐ″の要素が別々に解決 されるので、３台のカメラが同一線上にくる場合も許容される。（ｉｉｉ）エピ ポーラ交差処理は分解可能である。つまり、一度に２つの画像だけが使用される 。いっぽう、トリリニア性の結果のエピポーラ構造は絡み合っていて、別々に求 めることができない。後者は、雑音があるときにも数値的にすぐれた振る舞いを する方法であることを意味し、後ほど示すように、必要最小限の点を使用しても その性能は、それより多くの点を使用するエピポーラ交差よりもはるかに優れて いる。言い換えれば、エピポーラ構造を復元する必要性を回避することで、実際 的な大きな利点も得られるのである。なぜなら、エピポーラ構造は透視図を扱う ときに誤差に最も敏感な要素であるからである。 画像のトリリニア関数の一般結果と正射写真の画像のための「画像の線形結合 」の結果[38]との間の関連性は、ＡとＢをＰ²内でアフィン変換であり、ｖ₃′＝ ｖ₃″＝０と設定すれば容易にわかる。たとえば、（３）は ｖ₁′ｘ″−ｖ₁″ｘ′＋（ｖ₁″ａ₁−ｖ₁′ｂ₁）^Tｐ＝０ の式に帰着する。これは α₁ｘ″＋α₂ｘ′＋α₃ｘ＋α₄ｙ＋α₅＝０ の形式をしている。 透視図の場合のように、各点から４つの方程式が得られるが、この場合には４ つの方程式全部を使用して係数を復元する利点はない。したがって、ここでは４ つの方程式のうちの２つだけを使用すればよく、係数を復元するには対応点が４ つあれば十分である。つまり、３つの画像がすべて正射写真の場合、Ｘ″（ｙ″ ）は他の２つの画像の画像座標の線形結合として表される。このことは[38]で述 べ られている。 IV．双一次形式 対象物の２つの参照(モデル)画像が正射写真の画像であるが(望遠レンズを使 用すればまずまずの近似が得られる)、認識の際には物体の任意の透視図が許容 されるような場合を考える。このような３つの画像は(トリリニア関数ではなく) 双一次関数によって関連づけられることは容易に証明できる。 定理３ （双一次性）定理１の条件の下で、画像ψ₁とψ₂が平行射影によって得 られた場合、定理１の一対のトリリニア形式は次のような一対の双一次方程式に 帰着する。 ｘ″（α₁ｘ＋α₂ｙ＋α₃）＋α₄ｘ″ｘ′＋α₅ｘ′＋α₆ｘ＋α₇ｙ＋α₈＝０ および ｙ″（β₁ｘ＋β₂ｙ＋β₃）＋β₄ｙ″ｘ′＋β₅ｘ′＋β₆ｘ＋β₇ｙ＋β₈＝０ ただし、α_j＝β_j、ｊ＝１、・・・、４である。 証明：このような条件の下に、補助定理１から、ＡはＰ²内のアフィン変換であ り、ｖ₃′＝０である。したがって、（３）は ｘ″（ｖ₁′ｂ₃−ｖ₃″ａ₁）^Tｐ＋ｖ₃″ｘ″ｘ′−ｖ₁″ｘ′ ＋（ｖ₁″ａ₁−ｖ₁′ｂ₁）^Tｐ＝０ の式になる。同様に、（４）も ｙ″（ｖ₁′ｂ₃−ｖ₃″ａ₁）^Tｐ＋ｖ₃″ｙ″ｘ′−ｖ₂″ｘ′ ＋（ｖ₂″ａ₁−ｖ₁′ｂ₂）^Tｐ＝０ のようになる。２つの方程式はともに双一次形式であり、最初の４つの係数は両 方程式で同じである。□ 残りのトリリニア形式も同じような変形を受けるが、定理２は有効である。つ まり、４つの双一次方程式は線形独立である。その結果、係数が（２７個ではな く）共通のスケールまでの２１個で、１つの点につき方程式が４つ得られるため 、線形解を求めるには対応点が（７つではなく）５つで十分である。 ３つの画像の双一次関数は、一般的なトリリニア関数に比べ利点が２つある。 １つは、前述のように、係数を求めるために必要な３つの画像の間の対応点が （７つでなく）５つですむことである。２つめは、代数関数の次数が低いほど、 解が対応点の測定誤差の影響を受けにくくなることである。言い換えれば、方程 式３の項ｘ″ｘ′ｘのようなより高次の項が、システムの全体的な誤差の影響の 受けやすさに寄与する割合が大きくなる傾向がある(必ずそうなるとは限らない が)ということである。 画像がすべて正射写真であると仮定した場合に比べ、この場合は近似の度合い が低くなる。モデル画像は一回しか取られないから、特別な方法つまり望遠レン ズで撮影するように要求しても不合理ではない（シーンの認識ではなく、対象物 の認識を扱っているものと仮定して）。この要求が満たされるなら、認識の過程 でどんな透視図でも撮影できるのだから、認識の作業は一般的である。 Ｖ．実験データ この節で説明する実験は、再投影のためにトリリニアな結果を使用したときと 、[38]のエピポーラ交差および線形結合の結果を使用したときを比較し、その実 際的な側面を評価するために行われた(後者は単にトリリニアな結果の特殊な場 合であることはすでに示した)。 エピポーラ交差方法は、セクションIIIで述べたように、まず基本行列を復元 することにより実施された。線形方程式から解を求めるには、対応点は８つで十 分であるが、実際には線形または非線形の最小２乗法で基本行列を復元するため に８つより多くの点を使用することになる。線形最小２乗法はまだ画像の雑音に 敏感であるので、ここでは[20]に記述されている非線形の方法を実現したものを 、T.LyongとL.Quanのご好意により使用させて頂いた([20]で提案されている方法 を２通りの形で実現したものである。それぞれの場合で、結果が優れていた実現 方法を採用した)。 最初の実験はシミュレーション・データによるもので、エピポーラ構造が正確 に求まっても、エピポーラ交差の過程を回避するトリリニアな結果を使用するほ うがかなり優れていることがわかる。２つめの実験は本物の一組の画像を使用し たもので、各種の方法の性能と再投影の妥当な結果を達成するために実際に必要 な対応点の数とを比較したものである。 Ａ．コンピュータ・シミュレーション 使用したのは無作為に配置した４６個の点からなる対象物であり、ｚ座標は１ ００単位と１２０単位の範囲にあり、ｘ，ｙ座標は−１２５と＋１２５の範囲に 無作為に配置された。焦点距離は５０単位であり、第１の画像はｆｘ／ｚ、ｆｙ ／ｚによって得られた。第２の画像（ψ₂）は対象物を軸（０．１４、０．７、 ０．７）のまわりに角度０．３ラジアンだけ回転させた後、中心を点（０、０、 １００）に平行移動して作成した。第３の画像（ψ₃）は軸（０、１、０）のま わりに同じ量だけ回転させた後に同じ量だけ平行移動して作成した。第３の画像 に再投影するすべての点には種々のレベルの雑音を無作為に加えたが、パラメー タ（基本行列またはトリリニア係数）を求めるために使用する７個または８個の 点は除外した。雑音は各座標ごとに、０．５から２．５ピクセルまでの誤差レベ ルで加えた無作為なものである。実験は次のような形で１０００回試行した。２ ０個の対象物を無作為に作成し、各誤差水準ごとに、シミュレーションを対象物 １つにつき１０回実行した。そして、再投影最大誤差（単位はピクセル）と再投 影平均誤差（再投影されたすべての点の平均）を収集した。これらの数値は誤差 水準ごとに試行回数（全部で２００回）の平均をとって計算し、標準偏差も記録 した。エピポーラ構造とトリリニア係数を求めるために使用する８個または７個 の点には誤差を加えなかったので、基本行列またはトリリニア係数を求めるため には単に関連する線形方程式を解いただけである。 その結果を図１Ａ−１Ｂに示す。左側のグラフは、２つのアルゴリズムについ て画像の雑音のレベルごとに最大の再投影誤差を測定したもので、その性能を示 している。グラフから、すべての雑音レベルでトリリニア手法のほうが性能が格 段に優れ、標準偏差も小さいことがわかる。同様に、平均の再投影誤差を右側の グラフに示す。 このような性能の相違は予想されたものである。トリリニア手法は一対の画像 単位ではなく３つの画像を全部一緒に処理するので、線の交差を回避できるから である。 Ｂ．実画像での実験 図２Ａ−２Ｃはこの実験のために選択した対象物の３つの画像である。対象物 は運動靴で、対応づけを容易にするためにテクスチャを追加している。この対象 物を選んだのは、その複雑性のためである。つまり、自然な形状をした物である ので、パラメータで（平面または代数表面の集合として）簡単に記述できない。 ここで述べる状況は難しい部類である。再投影される画像が２つのモデル画像の 中間の位置にはない、つまり、中間の位置にある状況よりも画像の雑音により敏 感であることを覚悟しなければならないからである。画像の１つ（ψ₁）に対し 、その上に３４個の点を手作業で選択すると、この実験で使用した他のすべての 画像上でその対応関係が自動的に得られた。この対応づけの過程は、[7]に記述 されている粗から密へのオプティカル・フロー・アルゴリズムのプログラムに基 づいている。画像間の差が大きい場合の対応づけを正確にするために、中間の画 像群を取り、連続した画像間の変位を加え合わせた。そして、その全体的な変位 フィールドを使用し、最初の画像を目的画像の方向にプッシュ(ワープ)するとい う形で合成画像を作成した。オプティカル・フローをもう一度合成画像と目的画 像の間に適用し、その結果得られた変位を前に得た全体の変位に加えた。この処 理によって密な変位フィールドが得られるので、それを抽出して最初の画像で選 んだ３４個の点と対応する点を求めた。この処理の結果が図２Ａ−２Ｃである。 図には対応点の計算位置を中心にした正方形が表示されている。このような方法 で求めた対応関係は妥当なものであることは明らかであり、ほとんどの場合にサ ブピクセルの精度で求まる。この過程をさらに自動化するのは簡単である。最初 の画像で空間微分のヘッセ行列が適切な値を示す点を選択するのである。これは [4,7,34]の実例で示唆されている信頼値のようなものであるが、ここでの意図は 完全なシステムを構成することではなく、トリリニア再投影方法の性能を試験し 、それをエピポーラ交差方法と線形結合方法の性能と比較することであった。 トリリニア方法では３つの画像の間の対応点が最低７組必要である（２６個の 方程式が必要であるが、７組の点から２８個の方程式が得られる）のに対し、エ ピポーラ交差では原則として８つの点が必要である。そこで今から考える問題は 、実際に（対応関係の誤差、レンズの歪み、その他の効果はピンホールカメラ のモデルでは適切に取り入れられていない）妥当な性能を達成するために何個の 点が必要なのかということである。 トリリニア方法の結果はまず係数を求められる最少の点（７つ）の場合に適用 し、次に線形最小二乗法を使用して８個、９個、１０個の場合に適用した(一般 に、線形最小二乗法ではなくＳＶＤまたはＪａｃｏｂｉの方法を使用したほうが 良好な解が求まるが、ここではそれらの方法は使用しなかった)。この結果は図 ３Ａ−３Ｂに示すとおりである。７つの点で再投影を行い、最大誤差が３．３ピ クセル、平均誤差が０．９８ピクセルである。１０個の点を使用した解はやや性 能が改善され、最大誤差が１．４４ピクセル、平均誤差が０．４４ピクセルであ った。８個の点と９個の点を使用したときの性能は、これらの性能のほぼ中間で あった。点をもっと増やしても結果はあまり改善されなかった。たとえば、３４ 個の点を全部使用したときは、最大誤差が１．１４ピクセルに下がったが、平均 誤差は０．４２ピクセルとほぼ変化はなかった。 次に、エピポーラ交差方法を適用した。基本行列は２とおりの方法で求めた。 １つは、実例[20]の方法であり、もう１つは対応点のうちの４つが１つの平面（ 地面）にあることを利用する方法である。前者の場合は、妥当な結果を達成する ためには８つよりもずっと多くの点が必要であった。たとえば、３４個の点を全 部使用したときには、最大誤差が４３．４ピクセル、平均誤差が９．５８ピクセ ルであった。後者の場合、まず地面に起因するホモグラフィＢを求めてから、さ らに２点（フィルムカートリッジ上の点）を使用してエピポールｖ″を求めた。 この場合、Ｆ₁₃＝［ｖ″］Ｂであることがわかっている（[28,21,32]を参照）。 ただし、［ｖ″］はｖ″の反対称行列である。同様にして、Ｆ₁₃を復元した。し たがって、再投影には６つの点しか使用しなかったが、それでも結果はやや優れ ていた。最大誤差が２５．７ピクセル、平均誤差が７．７ピクセルであった。図 ４Ａ−４Ｂがこれらの結果である。 最後に、線形結合方法を使用して再投影の性能をテストした。線形結合方法は 正射写真の画像にしか適用できないため、実際には、透視を行う状況の下で正射 写真の仮定をテストしている。言い換えれば、トリリニア方程式の高次（双一次 またはトリリニア）の項が有効であるかどうかということである。線形結合方法 では３つの側像の間の対応点が最低４つ必要である。ここでは、点が４個、１０ 個（図３Ａ−３Ｂに示すトリリニアの場合と比較するため）、および３４個全部 の場合にこの方法を適用した（後者の２つの場合には最小二乗法を使用した）。 結果は図５Ａ−５Ｃに示すとおりである。性能はいずれの場合もトリリニア関数 を使用したときよりも劣るが、エピポーラ交差方法よりは優れている。 VI．考察 本論文では、固定した３次元の対象物の画像は、一般に、２つの参照画像によ りトリリニア関数として表せ、参照画像が平行投射によって作成されるときには 双一次関数として表せることを示した。このような関数は、あるシーンの画像を 操作するための手段として、他の方法よりもはるかに簡単である。さらに、必要 な対応点の個数が理論的にも少なくてすみ、実際にもずっと少なくてすむ。実験 の結果によれば、トリリニア関数はエピポーラ交差または線形結合による方法よ りも性能がはるかに優れ、実用的にも有用である。 一般に、２つの画像は、２つの画像の間のエピポーラ構造を表し、その要素が ３次の制約条件を受ける（行列の階数が２である）ような１つの基本行列を与え る（[10]を参照）。トリリニア性の結果（定理１と２）は、３つの画像は２７個 の異なる要素からなるテンソルを与えるということを意味している。３台のカメ ラが一直線上に並ぶときのように(さほど珍しい状況ではない)、エピポーラ制約 条件が無効になるときでも、このテンソルが有効であることも明らかにした。こ の論文では７つの点の特異な構成（７つの点が同一平面上にある明らかに特殊な 場合を除く）については扱わなかった。しかし、再投影の結果の頑健さ（ｒｏｂ ｕｓｔｎｅｓｓ）は、そのような構成は極めて希であるか存在しないことを示唆 していると言える。エピポーラ制約条件の数値的不安定性はそれをもたらす重要 な面の存在によるということが一般に信じられているので、この問題を調査する ことは重要である。「トリリニア」テンソルの概念、その特性、３つの画像の配 置との関係、複数の画像から３次元の再構成をする応用は、将来の重要な方向で ある。 本論文を通して強調した応用は、整列による視覚認識である。新しい画像（ψ₃ ）上の必要最小限の点（７つ）でまずまずの性能が得られたが、画像からモデ ルへの対応づけで一致する点の可能なすべての組み合わせを試す場合は点の数が 多すぎるかもしれない。モデルが正射写真であるが、新しい画像が透視図である という特殊な場合の双一次関数の存在は、点を数えるという観点からはより有望 である。ここでは、透視図を認識するためには必要な対応点が５つでよいという 結果が得られた(モデルが正射写真であるという条件を見たすものとする)。実際 に双一次関数を試してみて、点がいくつ必要かは確認していないが、これは今後 実験する予定である。このような代数関数はその簡潔さゆえに、視覚認識以外の 作業にも用途が見つかるであろうと考える人もいるかもしれないので、そのいく つかを以下でとり上げる。 他の応用として、簡潔さが最重要であり、点の数はそれほど問題ではないよう な分野がある。たとえば、モデルを基にした圧縮を考える。トリリニア関数を使 用すれば、完全に対応する２枚の参照画像の関数として任意の画像を表すために は１７個のパラメータが必要である（対応点の数を９つから７つに減らすために ２７個の係数を使用した）。いま、送信側と受信側がともに２つの参照画像を持 っていて、この２つの画像の間の対応関係を得るために同じアルゴリズムを使用 するものとする。第３の画像を送信するには（セルフ・オクルージョンの問題は 無視し、別個に扱うものとする）、送信側は多数の点を使用して１７個のパラメ ータを求めることができるが、最終的に送信するのは１７個のパラメータのみで ある。受信側は、受信されたパラメータを前提に、２つの参照画像を「トリリニ アな方法」で単に結合するだけである。これは明らかに点の数があまり重要では なく、簡潔さと、近似計算による頑健さ（上記を参照）とが非常に重要である場 合に属する。 画像のコード化に関連し、画像を「層」に分解するという手法が最近[1.2]に よって提案された。この手法では、一連の画像がいくつかの領域に分割され、各 領域の動きが２次元アフィン変換によって近似的に表される。送信側は最初の画 像を送信した後、それ以降の各画像については各領域の６つのアフィン・パラメ ータだけを送信する。画像の代数関数を使用すれば、この手法はより強力なもの になる可能性がある。なぜなら、シーンを平面に分割する代わりに、シーンをそ れ以降の画像への変位を表す１７個のパラメータを含む対象物に分割することが できるからである。 もう１つの応用はコンピュータ・グラフィックスである。再投影技法は画像の レンダリングのための手っ取り早い方法である。３次元の対象物の完全にレンダ リングされた画像があれば、他の任意の画像は（ここでもオクルージョンの問題 は無視する）単にこの参照画像を「結合する」だけでレンダリングできる。この 場合もやはり、対応点の数はあまり問題ではない。 本論文で図とともに説明した画像処理操作は、その一部または全部をソフトウ ェアで実現し得る。あるいは、この画像処理操作の一部または全部をＲＯＭ（読 取り専用メモリ）に実装し得る。ソフトウェアの構成要素は、場合によつては必 要に応じて従来の技法を使用してハードウェアで実現し得る。 本発明はその応用範囲が極めて広いが、特に２次元から３次元への変換技法が 有用であるようなすべての分野に応用できる。本発明の応用分野は、少なくとも 次のようなものである。航空衛星写真からの地図制作及び宇宙空間組み立て工場 と造船の組み立て工場での座標測定を含む写真測量アプリケーション、工業部品 の座標測定（ＣＭＭ）、工業部品の自動光学検査、ロボットのセル・アラインメ ント、ロボットの動作軌道の識別、３次元ロボットのフィードバック、シーンの ３次元モデリング、対象物の３次元モデリング、リバースエンジニアリング、３ 次元ディジタル化である。 付録Ｂは本発明の実施の形態に従って構成し、実際に動作する３次元再構成装 置の好ましいソフトウェア・インプリメンテーションのリストである。付録Ｂに 基づいて３次元再構成装置を実現するためには、ＭａｔｈＳｏｆｔ社から販売さ れているＭａｐｌｅ２ソフトウェアを、ＩＢＭまたはＳＵＮのワークステーショ ン上で使用するのがよい。その手順は次のとおりである。 ａ．付録Ｂのリストから作成したプログラムをＯＰＥＮ ＦＩＬＥコマンドを使 用してＭａｐｌｅ２にロードする。 ｂ．ＷＩＴＨ（ＬＩＮＡＬＧ）コマンドを表示している行の上にカーソルを移動 し、サブルーチンを実行する。 ｃ．次にＲＥＴＵＲＮキーを押し続け、カーソルをファイルの終わりまで移動す る。 ｄ．次にカーソルをファイルの先頭に戻す。 ｅ．ＥＶＡＬＮ （ＰＣＯＭＰ）を含んだ行に来るまでＲＥＴＵＲＮキーを押し 続け、シミュレーションを実行する。 そうすると、システムは与えられた３次元世界と再構成した３次元世界との間 の比較を画面に表示する。 付録Ｂのリストは本論文で図とともに説明した画像転送のための装置と方法の 実現にも有用である。画像転送の実現には、たとえば、付録Ｂのリストに「認識 のための代数関数」という見出しの節で示した方程式３と４を併用できる。 付録で説明した特定の実例は、本発明の詳細な説明として提供しただけであり 、この実例のみに限定されるわけではない。 本発明のさまざまな特徴は、明瞭に説明するために、独立した実例をあげて説 明していることがあるが、1つの実例に組み合わせて提供することもできる。逆 に、本発明のさまざまな機能は、簡潔に説明するために、1つの実例をあげて説 明していることがあるが、個々にあるいは適切な組み合わせで提供することもで きる。 この技術の当業者が理解するように、本発明は上記で具体的に図とともに説明 した例だけに限定されるものではない。本発明の範囲はむしろ以下で述べる請求 の範囲によってのみ限定される。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，Ｓ Ｚ，ＵＧ)，ＵＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ， ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，Ｉ Ｓ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ， ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，Ｓ Ｄ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ 【要約の続き】 ただし、ａｊｋ及びｂｊｋはそれぞれ行列Ａ、Ｂの要素 であり、ｖｉ′ｖｉ″はそれぞれベクトルｖ′、ｖ″の 要素である。これらの行列とベクトルは全体として３次 元の対象物を撮影した３つの画像のカメラパラメータを 表す。この配列を使用して２次元の対象物に関する情報 を生成する。

Claims (1)

1. 【特許請求の範囲】 １．３次元の対象物に関する情報を少なくとも１つの２次元の投影図から生成す る方法であって、 ３次元の対象物の少なくとも１つの２次元の投影図を提供するステップと、 α_ijk＝ｖ_i′ｂ_jk−ｖ_j″ａ_ik（ｉ、ｊ、ｋ＝１、２、３）で表される数の配 列を生成するステップと（ただし、ａ_ijとｂ_jkはそれぞれ行列ＡとＢの要素であ り、ｖ_i′及びｖ_i″はそれぞれベクトルｖ′及びv″の要素であり、前記行列と ベクトルは前記３次元の対象物の３つの画像のカメラ・パラメータを表す）、 前記３次元の対象物に関する情報を生成するために前記配列を使用するステッ プと、 を備える方法。 ２．３次元の対象物の新しい画像を、ｎ個の対応する点ｐ_i、ｐ_i′（ｉ＝１、・ ・・、ｎ）を有する第１と第２の既存の画像から新しい画像を生成する方法であ って、 テンソルα_ijkを生成するステップと、 点ｐ_i、ｐ_i′（ｉ＝１、・・・、ｎ）の値をトリリニア形式に代入し、新しい 画像における位置を表す値ｘ″、ｙ″を求めるステップと、 前記の代入するステップの結果に基づいて、新しい画像を作成するステップと 、 を備える方法。 ３．３次元の対象物を、少なくとも１つの２次元の投影図から再構成する方法で あって、 ３次元の対象物の少なくとも１つの２次元の投影図を提供するステップと、 α_ijk＝ｖ_i′ｂ_jk−ｖ_j″ａ_ik（ｉ、ｊ、ｋ＝１、２、３）で表される数の配 列を生成するステップと（ただし、ａ_ijとｂ_jkはそれぞれ行列ＡとＢの要素であ り、ｖ_i′及びｖ_i″はそれぞれベクトルｖ′及びｖ″の要素であり、前記行列と ベクトルは前記３次元の対象物の３つの画像のカメラ・パラメータを表す）、 前記配列を３次元空間の３つの対応する平面に関連づけられた３つのホモグラ フィ行列に並べ替えるステップと、 前記３つのホモグラフィ行列を使用して前記３次元の対象物を再構成するステ ップと、 を備える方法。 ４．視覚認識方法であって、 トリリニアな関係が存在する３次元の対象物の３つの透視図を提供するステッ プと、 整列による視覚認識を達成するために、前記画像の間のトリリニアな関係を使 用するステップと、 を備える方法。 ５．前記３次元の対象物を投影するステップを含む、請求項４記載の方法。 ６．前記３次元の対象物に関する情報が前記３次元の対象物の再構成である、請 求項１記載の方法。 ７．前記３次元の対象物に関する情報が、前記３次元の対象物を再構成すること なく生成された前記３次元の対象物の少なくとも１つの新しい画像を含む、請求 項１記載の方法。 ８．前記少なくとも１つの２次元の投影図が少なくとも１つの航空写真である、 請求項１記載の方法。 ９．前記少なくとも１つの２次元の投影図が少なくとも１つの衛星写真である、 請求項１記載の方法。 １０．前記３次元の対象物に関する情報が前記３次元の対象物の少なくとも１つ の座標を含む、請求項１記載の方法。 １１．前記３次元の対象物が宇宙空間の物体である、請求項１記載の方法。 １２．前記３次元の対象物が船のような大型の物体である、請求項１記載の方法 。 １３．前記３次元の対象物が架空の物体である、請求項１記載の方法。 １４．３次元の対象物に関する情報を少なくとも１つの２次元の投影図から生成 する装置であって、 ３次元の対象物の少なくとも１つの２次元の投影図を提供するための装置と、 α_ijk＝ｖ_i′ｂ_jk−ｖ_j″ａ_ik（ｉ、ｊ、ｋ＝１、２、３）で表される数の配 列を生成するよう動作する配列生成器と（ただし、ａ_ijとｂ_jkはそれぞれ行列Ａ とＢの要素であり、ｖ_i′及びｖ_i″はそれぞれベクトルｖ′及びｖ″の要素であ り、前記行列とベクトルは前記３次元の対象物の３つの画像のカメラ・パラメー タを表す）、 前記３次元の対象物に関する情報を生成するために前記配列を使用する配列分 析器と、 を備える装置。 １５．３次元の対象物の新しい画像を、ｎ個の対応する点ｐ_i、ｐ_i′（ｉ＝１、 ・・・、ｎ）を有する第１と第２の既存の画像から新しい画像を作成する装置で あって、 テンソルα_ijkを生成する装置と、 点ｐ_i、ｐ_i′（ｉ＝１、・・・、ｎ）の値をトリリニア形式に代入し、新しい 画像における位置を表す値Ｘ″、ｙ″を求めるための装置と、 前記の代入するステップの結果に基づいて、新しい画像を生成するための装置 と、 を備える装置。 １６．３次元の対象物を、少なくとも１つの２次元の投影図から再構成する装置 であって、 ３次元の対象物の少なくとも１つの２次元の投影図を提供するための装置と、 α_ijk＝ｖ_i′ｂ_jk−ｖ_j″ａ_ik（ｉ、ｊ、ｋ＝１、２、３）で表される数の配 列を生成する配列生成器と（ただし、ａ_ijとｂ_jkはそれぞれ行列ＡとＢの要素で あり、ｖ_i′及びｖ_i″はそれぞれベクトルｖ′及びｖ″の要素であり、前記行列 とベクトルは前記３次元の対象物の３つの画像のカメラ・パラメータを表す）、 前記配列を３次元空間の３つの対応する平面に関連づけられた３つのホモグラ フィ行列に並べ替えるよう動作する配列順列器と、 前記３つのホモグラフィ行列を使用して前記３次元の対象物を再構成するよう 動作する３次元ための再構成器と、 を備える装置。 １７．視覚認識装置であって、 トリリニアな関係が存在する３次元の対象物の３つの透視図を提供するための 装置と、 整列による視覚認識を達成するために、前記画像の間のトリリニアな関係を使 用するための装置と、 を備える装置。 １８．前記少なくとも１つの２次元投影図が３つの２次元投影図である、請求項 記載の方法。 １９．前記少なくとも１つの２次元投影図が３つの２次元投影図である、請求項 １４記載の装置。 ２０．請求項１記載の方法であって、さらに、該方法の結果を利用して工業部品 の座標測定を行うステップを含む方法。 ２１．請求項１記載の方法であって、さらに、該方法の結果を利用して工業部品 の自動光学検査を実行するステップを含む方法。 ２２．請求項１記載の方法であって、さらに、該方法の結果を利用してロボット のセル・アラインメントを実行するステップを含む方法。 ２３．請求項１記載の方法であって、さらに、該方法の結果を利用してロボット の動作軌道を識別するステップを含む方法。 ２４．請求項１記載の方法であって、さらに、該方法の結果を利用して３次元ロ ボットのフィードバックを実行するステップを含む方法。 ２５．請求項１記載の方法であって、さらに、該方法の結果を利用してシーンの ３次元モデリングを実行するステップを含む方法。 ２６．請求項１記載の方法であって、さらに、該方法の結果を利用して物体の３ 次元モデリングを実行するステップを含む方法。 ２７．請求項１記載の方法であって、さらに、該方法の結果を利用してリバース エンジニアリングを実行するステップを含む方法。 ２８．請求項１記載の方法であって、さらに、該方法の結果を利用して３次元デ ィジタル化を実行するステップを含む方法。 ２９．３次元のシーンの３つの画像から３次元表現を生成するための３次元シー ン再構成方法であって、 ３次元シーンの第１、第２及び第３の画像を提供するステップと、 前記第１、第２及び第３の画像に関する幾何学情報を利用し、前記第１、第２ 及び第３の画像の間の幾何学的関係を表すトリリニア・テンソルを生成するステ ップと、 前記トリリニア・テンソルから前記３次元のシーンの３次元表現を生成するス テップと、 を備える方法。 ３０．請求項２９記載の方法であって、３次元表現を生成する前記ステップが、 前記トリリニア・テンソルから前記第１と第２の画像のエピポーラ構造表現を 計算するステップと、 前記エピポーラ構造表現から前記３次元表現を生成するステップと、 を備える方法。 ３１．３次元のシーンの新しい画像を第１及び第２の参照画像から生成るための 画像転送装置であって、 ３次元のシーンの第１及び第２の参照画像を提供するための装置と、 前記第１の参照画像、前記第２の参照画像及び新しい画像のそれぞれに関する 幾何学情報を利用し、これらの画像の間の幾何学的関係を表すトリリニア・テン ソルを生成するよう動作するトリリニア・テンソル生成器と、 前記第１の参照画像と前記第２の参照画像における異なる第１と第２の対応す る位置にそれぞれ対応する新しい画像の複数の位置を、前記第１及び第２の対応 する位置及び前記トリリニア・テンソルに基づいて計算することによって、前記 新しい画像を生成するよう動作する新規画像生成器と、 を備える装置。 ３２．３次元のシーンの３次元表現を第１、第２及び第３の画像から生成するた めの３次元シーン再構成装置であって、 ３次元のシーンの第１、第２及び第３の画像を提供するための装置と、 前記第１、第２及び第３の画像に関する幾何学情報を利用し、これらの画像の 間の幾何学的関係を表すトリリニア・テンソルを生成するためのトリリニア・テ ンソル生成器と、 前記トリリニア・テンソルから前記３次元のシーンの３次元表現を生成するよ う動作する３次元シーン表現生成器と、 を備える装置。 ３３．請求項２９記載の方法であって、提供する前記ステップが、前記３次元の シーンのｍ（＞３）個の画像を提供するステップを含み、 利用する前記ステップが、前記ｍ個の画像のうちの３つの画像の複数のサブセ ットのそれぞれに対して実行され、それによって複数の中間テンソルを生成する ステップを含み、 さらに、生成する前記ステップの前に、前記複数の中間テンソルを最終のトリ リニア・テンソルに結合するステップを含み、 生成する前記ステップが、前記最終のトリリニア・テンソルから前記３次元の シーンの３次元表現を生成するステップを含む方法。 ３４．請求項３３記載の方法であって、利用する前記ステップが、それぞれの残 りの画像と組み合わせて前記第１及び第２の画像について実行され、それによっ てｍ−２個の中間テンソルを生成する方法。 ３５．請求項３３記載の方法であって、結合する前記ステップが、 それぞれの前記中間テンソルを、対応する９×（３−（ｍ−２））行列の中に 配置するステップと、 前記最終のトリリニア・テンソルを前記行列の４つの最大主成分として定義す るステップと、 を含む方法。 ３６．３つの画像の間で複数の対応する位置を見出すための対応点検出装置であ って、 ３つの画像の間の対応する位置の初期の組を提供するステップと、 前記初期の組に基づいて、前記３つの画像の間の関係を表すトリリニア・テン ソルを生成するステップと、 前記トリリニア・テンソルを利用して、対応する位置の最終の組を生成するス テップと、 を備える方法。 ３７．請求項３６記載の方法であって、利用する前記ステップが、 前記３つの画像のうちの第１の画像の中の複数の位置のそれぞれについて、 残りの２つの画像に関連づけられたテンソルから、第１及び第２の対応するエ ピポーラ線をそれぞれ生成するステップと、 第１のエピポーラ線上の第１の対応位置の候補を選択し、前記第１の対応位置 に基づいて、第２のエピポーラ線上の第２の対応位置の候補を計算するステップ と、 前記の２つの対応位置の候補と前記第１の画像上の位置とが一致するまで、前 記の選択するステップを繰り返すステップと、 を備える方法。 ３８．請求項２９記載の方法であって、さらに、 前記３次元表現に対して表面補間を実行し、それによって、表面補間された出 力を生成するステップと、 前記の表面補間された出力から正射写真を作成するステップと、 を備える方法。 ３９．請求項２９記載の方法であって、提供する前記ステップが、 最低３つの画像形成装置を前記シーンの中の一連の位置に配置し、前記一連の 位置のそれぞれにおいて、それぞれの前記画像形成装置を使用して前記シーンの 少なくとも一部の画像を形成するステップと、 を備える方法。 ４０．請求項２９記載の方法であって、前記３次元のシーンの３次元表現と該３ 次元のシーンの記憶されたモデルとを比較するステップを含む方法。