【発明の詳細な説明】
2次元投影図に基づいて3次元の対象物を再現し、取り扱うための装置と方法
発明の分野
本発明は、3次元の対象物の2次元投影図を処理するための装置や方法、特に
、2次元投影図画像の幾何学的分析のための装置や方法に関係する。
発明の背景
3次元の対象物の2次元投影図を処理するための最新の方法と適切な技術を述
べた出版物は、下記に引用された参考文献で述べられている。この明細書の中で
参照しているすべての出版物とそこで引用された出版物の内容は、この明細書に
援用される。
発明の概要
本発明は、第1及び第2の参照画像から3次元のシーン(scene)の新し
い画像を生成するために役立つ画像転送装置及び方法を与えるものである。
本発明はまた、第1、第2及び第3の画像から3次元のシーンの3次元表現を
生成するための3次元シーン再構成装置及び方法を与えるものである。
本発明はまた、3次元の対象物の2次元投影図を処理するための改良された装
置と方法を与えるものである。
本発明はまた、3次元の対象物の3つの画像上で定義されたトリリニア(tr
ilinear)・テンソルに基づいて、3次元の対象物を再構成する方法を与
えるものである。
さらに本発明は、3次元の対象物の3つの画像上で定義されたトリリニア・テ
ンソルに基づいて、3次元の対象物の画像を転送する方法を与えるものである。
また、本発明は、第1及び第2の参照画像から、3次元のシーンの新しい画像
を生成するための画像転送方法を与えるもので、その方法は、3次元のシーンの
第1及び第2の参照画像を提供するステップ、第1の参照画像、第2の参照画像
及び新しい画像の間の幾何学的関係を表すトリリニア・テンソルを生成するため
に、第1の参照画像、第2の参照画像及び新しい画像のそれぞれに関する幾何学
的情報を用いるステップ、及び、第1の参照画像及び第2の参照画像上の対応位
置とトリリニア・テンソルとに基づいて、第1及び第2の参照画像における異な
る第1及び第2の対応位置にそれぞれ対応する複数の新しい画像上の位置を計算
することによって、新しい画像を生成するステップとを含んでいる。
例えば、提供するステップは、第1及び第2の参照画像を走査するステップを
含んでいる。
例えば、用いるステップは、第1の参照画像、第2の参照画像及び新しい画像
それぞれにおける第1、第2及び第3の対応位置の組を生成するステップを含ん
でいる。
本発明の実施の形態によれば、第1及び第2の参照画像から3次元のシーンの
新しい画像を生成するための画像転送方法が与えられ、その方法は、3次元のシ
ーンの第1及び第2の参照画像を提供するステップ、第1及び第2の参照画像及
び新しい画像の間の幾何学的関係を表すトリリニア・テンソルを生成するために
、第1の参照画像、第2の参照画像及び新しい画像それぞれに関する幾何学的情
報を用いるステップ、及び、第1及び第2の対応位置とトリリニア・テンソルに
基づいて、第1及び第2の異なる対応位置にそれぞれ対応する新しい画像上の複
数の位置を計算することによって、新しい画像を生成するステップを含んでいる
。
さらに、本発明の実施の形態によれば、提供するステップは、第1及び第2の
参照画像を走査するステップを含んでいる。
さらに、本発明の実施の形態によれば、用いるステップは、第1の参照画像、
第2の参照画像及び新しい画像それぞれにおける第1、第2及び第3の対応位置
の組を生成するステップを含んでいる。
そしてまた、本発明の実施の形態によれば、第1、第2及び第3の画像から、
3次元のシーンの3次元表現を生成するための3次元再構成方法が提供され、そ
の方法は、3次元のシーンの第1、第2及び第3の画像を与えるステップ、第1
、第2及び第3の画像の間の幾何学的関係を表すトリリニア・テンソルを生成す
るために、第1、第2及び第3の画像に関する幾何学的情報を用いるステップ、
及
び、トリリニア・テンソルから、3次元のシーンの3次元表現を生成するステッ
プを含んでいる。
さらに、本発明の実施の形態によれば、3次元表現を生成するステップは、ト
リリニア・テンソルから、第1及び第2の画像のエピポーラ(epipolar
)構造表現を計算するステップと、エピポーラ構造表現から3次元表現を生成す
るステップとを含んでいる。
また、本発明の別の実施の形態によれば、第1及び第2の参照画像から3次元
のシーンの新しい画像を生成するための画像転送装置が提供され、その装置は、
3次元のシーンの第1及び第2の参照画像を提供する装置、第1及び第2の参照
画像及び新しい画像の間の幾何学的関係を表すトリリニア・テンソルを生成する
ために、第1の参照画像、第2の参照画像及び新しい画像のそれぞれに関する幾
何学的情報を用いるよう動作するトリリニア・テンソル生成器、及び、第1及び
第2の対応位置とトリリニア・テンソルとに基づいて、第1及び第2の参照画像
における第1及び第2の異なる対応位置にそれぞれ対応する新しい画像上の複数
の位置を計算することによって、新しい画像を生成するよう動作する新規画像生
成器を含んでいる。
さらに、本発明の別の実施の形態によれば、第1、第2及び第3の画像から3
次元のシーンの3次元表現を生成する3次元シーン再構成装置が提供され、その
装置は、3次元のシーンの第1、第2及び第3の画像を提供するための装置、第
1、第2及び第3の画像に関する幾何学的情報を用いて、第1、第2及び第3の
画像の間の幾何学的関係を表現するトリリニア・テンソルを生成するトリリニア
・テンソル生成器、及び、トリリニア・テンソルから3次元のシーンの3次元表
現を生成するよう動作する3次元シーン表現生成器を含んでいる。
また、本発明の別の実施の形態によれば、少なくとも1つ、好ましくは3つの
2次元投影図から3次元の対象物に関する情報を生成する方法が提供され、その
方法は、3次元の対象物の少なくとも1つ、好ましくは3つの2次元投影図を提
供するステップと、αijk=vi′bjk−vj″ajk(i,j,k=1,2,3)
で表される数の配列を生成するステップと(ただし、ajk及びbjkはそれぞれ行
列A及びBの要素であり、vi′及びvi″は、それぞれベクトルv′、v″の
要素であり、これらの行列とベクトルは3次元の対象物の3つの画像のカメラ・
パラメータを表す)、3次元の対象物に関する情報を生成するためにその配列を
用いるステップとを含んでいる。
また、本発明の別の実施の形態によれば、対応するn個の点pi、pi′(i=
1、・・・、n)を持つ第1及び第2の既存の画像から3次元の対象物の新しい
画像を生成する方法が提供され、その方法は、テンソルαijkを生成するステッ
プと、点pi、pi′(i=1、・・・、n)の値をトリリニア形式に代入し(p
lug into)、新しい画像における位置を表すx″、y″の値を求めるス
テップと、代入の結果に基づいて、新しい画像を生成するステップとを含んでい
る。
さらに、本発明の実施の形態によれば、少なくとも1つ、好ましくは3つの2
次元投影図から3次元の対象物を再構成する方法が提供され、その方法は、3次
元の対象物の少なくとも1つ、好ましくは3つの2次元投影図を提供するステッ
プと、αijk=vi′bjk−vj″ajk(i,j,k=1,2,3)で表される数
の配列を生成するステップと(ただし、ajk及びbjkはそれぞれ行列A及びBの
要素であり、vi′及びvi″は、それぞれベクトルv′、v″の要素であり、こ
れらの行列とベクトルは3次元の対象物の3枚の画像のカメラ・パラメータを表
す)、該配列を3次元空間における3つの対応する面と関連付けられた3つのホ
モグラフィ(homography)行列へ並べ変えるステップと、3つのホモ
グラフィ行列を用いて3次元の対象物を再構成するステップとを含む。
本発明の実施の形態によれば、視覚的認識方法が提供され、その方法は、トリ
リニア関係が存在する3次元の対象物の3つの透視画像を提供するステップと、
整列によって視認するために画像間のトリリニア関係を用いるステップとを含ん
でいる。
さらに、本発明の実施の形態によれば、その方法は、3次元の対象物を再投影
するステップを含んでいる。
さらに、本発明の実施の形態によれば、3次元の対象物に関する情報は、3次
元の対象物の再構成を含んでいる。
さらに、本発明の実施の形態によれば、3次元の対象物に関する情報は、3次
元の対象物を再構成することなく生成された3次元の対象物の少なくとも1つの
新しい画像を含んでいる。
さらに、本発明の実施の形態によれば、少なくとも1つ、好ましくは3つの2
次元投影図は、少なくとも1つの航空写真を含んでいる。
さらに、本発明の実施の形態によれば、少なくとも1つ、好ましくは3つの2
次元投影図は、少なくとも1つの衛星写真を含んでいる。
さらに、本発明の実施の形態によれば、3次元の対象物体に関する情報は、3
次元物体の少なくとも1つの座標を含んでいる。
さらに、本発明の実施の形態によれば、3次元の対象物は、宇宙空間での物体
を含んでいる。
さらに、本発明の実施の形態によれば、3次元の対象物は、船のような大型の
対象物を含んでいる。
さらに、本発明の実施の形態によれば、3次元の対象物は、実在しない対象物
を含んでいる。
さらに、本発明の実施の形態によれば、少なくとも1つ、好ましくは3つの2
次元投影図から3次元の対象物に関する情報を生成するための装置が提供され、
その装置は、3次元の対象物の少なくとも1つ、好ましくは3つの2次元投影図
を与える装置と、αijk=vi′bjk−vj″ajk(i,j,k=1,2,3)で
表される数の配列を生成するよう動作する配列生成器と(ただし、ajk及びbjk
はそれぞれ行列A及びBの要素であり、vi′及びvi″は、それぞれベクトルv
′、v″の要素であり、これらの行列とベクトルは3次元の対象物の3つの画像
のカメラ・パラメータを表す)、3次元の対象物に関する情報を生成するために
その配列を用いる配列分析器とを含んでいる。
さらに、本発明の実施の形態によれば、n個の対応する点pi、pi′(i=1
、・・・、n)を持つ第1及び第2の既存の画像から3次元の対象物の新しい画
像を生成するための装置が提供され、その装置は、テンソルαijkを生成するた
めの装置と、点pi、pi′(i=1、・・・、n)の値をトリリニア形式に代入
し、新しい画像における位置を表すx″、y″の値を求めるための装置と、代入
の結果に基づいて、新しい画像を生成する装置とを含んでいる。
さらに、本発明の実施の形態によれば、少なくとも1つ、好ましくは3つの2
次元投影図から3次元の対象物を再構成する装置が提供され、その装置は、3次
元の対象物の少なくとも1つ、好ましくは3つの2次元投影図を与える装置と、
αijk=vi′bjk−vj″ajk(i,j,k=1,2,3)で表される数の配列
を生成するよう動作する配列生成器と(ただし、ajk及びbjkはそれぞれ行列A
及びBの要素であり、vi′及びvi″は、それぞれベクトルv′、v″の要素で
あり、これらの行列とベクトルは3次元の対象物の3つの画像のカメラ・パラメ
ータを表す)、該配列を3次元空間における3つの対応する面と関連付けられた
3つのホモグラフィ行列へ並べ変えるよう動作する配列順列器と、3つのホモグ
ラフィ行列を用いて3次元の対象物を再構成する3次元物体再構成器とを含んで
いる。
さらに、本発明の実施の形態によれば、視覚的認識装置が提供され、その装置
は、トリリニア関係が存在する3次元の対象物の3つの透視画像を与える装置と
、整列によって視認するために、画像間のトリリニア関係を用いる装置とを含ん
でいる。
さらに、本発明の実施の形態によれば、航空写真、衛星写真からの及び宇宙空
間組立プラントや造船組立プラントにおける座標測定からの地図作成、工業用部
品の座標測定(CMM)、光学的方法を用いた工業用部品の自動検査、ロボット
のセル・アラインメント、ロボットの動作軌道の識別、3次元ロボットのフィー
ドバック、シーンの3次元モデル化、物体の3次元モデル化、リバースエンジニ
アリング及び3次元デジタル化の応用のうちの少なくとも1つを行うために、前
述の方法を実行した結果の少なくとも1つが用いられる。
認識に有用な代数計算過程が以下の図1〜図5を参照して記述される。
図面及び付録の簡単な説明
本発明は、図との関係を考慮して、以下の詳細な説明から理解し、評価されよ
う。
図1は、画像雑音の存在下で、点線で示すエピポーラ交差方法と、破線で示す
トリリニア関数方法との性能を比較した2つのグラフである。
図2は、3次元のシーンの2つのモデル画像と、その再投影画像を描いた図で
ある。
図3は、トリリニアの結果を使用した再投影の図である。
図4は、エピポーラ線の交差を使用した再投影の図である。
図5は、画像線形結合方法を使用した再投影の図である。
図6は、本発明の実施の形態にしたがって構成され動作する、3次元のシーン
の再構成装置の単純化した機能ブロック図であり、この装置は、3次元のシーン
の少なくとも3つの画像から3次元のシーンの3次元表現を生成するよう動作す
る。
図7は、本発明の実施の形態にしたがって動作し、図6の装置と併用すると有
用な、望ましい3次元シーン再構成方法の簡単なフローチャート図である。
図8は、本発明の実施の形態にしたがって構成され動作する画像転送装置の単
純化した機能ブロック図であり、この装置は3次元のシーンの少なくとも2つの
参照画像から3次元のシーンの新しい画像を生成するよう動作する。
図9は、本発明の実施の形態にしたがって動作し、図8の装置と併用すると有
用な、望ましい画像転送方法の簡単なフローチャート図である。
図10は、図2にも図示した靴の3次元再構成の図である。
図11は、製品の品質保証のための望ましい方法と装置の簡単なブロック図で
ある。
図12は、ディジタル化された地形図を生成するための望ましい方法と装置の
簡単なブロック図である。
更に、ここの図示され説明される本発明の1つの実施の形態を理解し、評価す
るのを助ける付録が添付される。
付録Aは、図6のトリリニア計算ユニット50とエピポーラ構造生成ユニット
60の好ましい具体例のC言語によるリストである。
付録Bは、本発明の実施の形態による構成され動作する3次元再構成装置の望
ましいソフトウェアのリストである。
好ましい実施の形態の詳細な説明
35mmカメラ又はビデオレコーダーと同様に、ピンホールカメラは観察され
た3次元(3D)の世界の2次元(2D)の投影図を生成する。その結果の画像
は、幾何学レベル及び側光レベルで分析することができる。幾何学レベルは、3
次元での特徴(点及び線)の位置とそれぞれの2次元の画像における位置との間
の幾何学的な関係を意味する。測光レベルは、シーンと画像における光度(ピク
セルのグレイ値)の間の放射計量的(表面の反射特性やシーンを照らしている光
源のスペクトルの特性など)な関係を意味する。
3次元の世界は点群としてモデル化することができ、2次元の世界もまた同様
である。すなわち、3次元における点の特徴に対応する画像上の点の特徴を識別
することができる。これらの2組の点には幾何学的な関係がある。カメラが3次
元の中で動くと、同一の3次元の世界(すなわち、同一の3次元の点群)に関す
る一層多くの画像を得ることができ、興味の中心は、2次元の画像点の対応する
組と3次元の点の組との間の幾何学的な関係である。すなわち、Piを一組の3
次元の点とし、pi、pi′、pi″を同じ3次元の点Piに対応する指標iを付す
よう配列された(3つの画面にわたる)3組の2次元の点とすると、画像の組だ
けで3次元の組についての多くの情報を表すことができる。
興味の対象となる2つの問題がある。一つは、3次元の点の位置を復元(再構
成)するためには、2次元の画像において何を(何個の画像にわたって何個の点
を)計測すればよいのかということである。もう一つは、画像の対応が与えられ
たとして、明示的に物体を再構成しなくても、新しい画像を合成することができ
るか(画像転送の問題)ということである。本特許は両方の問題を扱う。
2次元から3次元を再現するという一般的な題材はコンピュータ・ビジョンで
活発に研究されている分野であり(動きからの構成及び立体視)、写真計測業界
(航空写真や衛星写真からの地図作成や宇宙空間組立プラントや造船組み立てプ
ラントでのの座標計測など)における唯一のエンジンである。
3次元の点と2次元の点との間の関係は3×4の変換行列
p ≒ MP
で表すことができる。ここで、p=(w,y,l)Tは、同次座標における2次
元の点を表し(すなわち、画像平面は2次元の射影平面である)、x、yは、
(ある任意の原点、例えば画像平面の幾何学的中心に関する)画像上の点の位置
の水平成分と垂直成分であり、Pは4つのベクトルによって表され、対象となる
空間を3次元射影空間に埋め込まれたものと見なすことを意味する。行列Mは3
×4であり、カメラ・パラメータを表す(たとえば、MQ=0によって定義され
るベクトルQは、すべての光線が収束する点であるカメラの射影中心である)。
記号≒はスケール以下を表す。
画像と対象物を射影空間に埋め込んでいる(つまり、世界は剛体運動をするこ
とも、引き延ばされたり剪断されたりすることもできることを意味する)ので、
最初の画像と関連するカメラ変換が[I、0](ここで、Iは単位行列である)
であるように、対象空間を変換することができる。3つの画像に対して、
が成立する。ここで、P=(x、y、l、k)Tであり、画像点p=(x、y、
l)T、p′=(x′、y′、l)T及びp″=(x″、y″、l)Tである。た
だし、画像において測定するものはp、p′及びp″の位置であり、Pの位置(
すなわちkの値)は未知である。A及びBは互いに独立ではない3×3行列であ
り、v′及びv″は3つの画像のカメラ・パラメータを記述する3次元ベクトル
である。ただし、カメラ・パラメータA、B、v′及びv″は未知である。すな
わち、対応する点pi、pi′及びpi″(i=1、・・・、n)を持つ3枚の画
像が与えられると、すべてのiに対して上記の式が成立するように、一組の数ki
およびパラメータA、B、v′及びv″が存在する。
I.トリリニア・テンソル
αijk = vi′bjk−vj″aik i、j、k=1,2,3
で表される27個の数の配列を「トリリニア・テンソル」と呼ぶ。ここで、ars
及びbrsはそれぞれA及びBの要素であり、vr′及びvr″はそれぞれv′及び
v″の要素である。これらの数は3次元及び2次元の世界の特別の射影座標に対
して不変量である。すなわち、それらは3つの画像に対して本質的なものである
(これは、テンソルの一般的な特性の1つであるので、表現の基礎の選択に依存
しない)。
注:配列αijkは多くのアプリケーションの基礎を与える。画像測定値p、p
′及びp″から配列を生成する好ましい方法を以下に述べる。
A.画像測定値からのαijkの再現
対応しているトリプレット(triplet)p、p′及びp″は多数のトリ
リニアの関係を満たす。第一の覚書:いくつかの指標を固定し、他の指標を変え
ることによって、ベクトルと行列を識別することができる。例えば、αijkはス
カラの組であり、αijは9つのベクトルの組であり(i及びjは一定であるがk
は変化する)、αiは3つの行列(α1、α2、α3)の組であり、以下同様。
与えられた画像の順序(すなわち、画像を並び変えない)に対して、9つのト
リリニア関数があり、4つの線型独立な式の組になる。これらの式の係数は配列
αijkの要素である。例えば、以下の4つの式は3枚の画像の線型独立な不変関
数である。
残りの関数はここに提示される式5−11において記述される。
対応するトリプレットp、p′及びp″のどれもが4つの線型独立な式を与え
るので、3枚の画像上の対応する7つの点はテンソルαijkを(スケールまで)
一意的に決定する。
注1:これが意味することは、もし3つの画像上の対応する点の7つのトリプ
レットを識別するならば(物体が人間の顔であり、3つの画像上の鼻の角を追跡
する場合、第1の画像におけるその位置は(x、y)によって示され、第2の画
像における鼻の位置は(x′、y′)によって示され、第3の画像における鼻の
位置は(x″、y″)で示される)、このようなトリプレットはそれぞれ、再現
しようとしている27個のパラメータに対する4つの線型独立な式を与える。そ
れゆえ、αijkを求めるのに解決するのよりも十分な28個の式を得ることがで
きる。
注2:たとえば最小二乗法や、最小二乗法の範囲内でアウトライアを除去する
粗い方法のように、未知数より方程式の数が多いとき(すなわち、7つより多い
対応のトリプレットが与えられるとき)、線型システムを解くための方法は多数
存在する。
II.階数4の制約:4枚以上の画像におけるテンソルの連結
m(>3)個の画像の組が与えられたとして、画像の全体の組の中から選ばれ
た3つの画像のサブセットの種々のトリリニア・テンソルは独立ではなく、実際
は互いに線型の関係がある。この関係は、以下に述べるように、「階数4の制約
」と呼ばれる。
3つの画像のテンソルをGで表される9×3の行列におけるテンソルに配置す
る。ここで、列j=1、2、3は要素α1,j,1、α1,j,2、・・・、α3,j,3
を含んでいる。
m個の画像の任意の組をψ1、ψ2、ψjとして配置する(ただし、j=3、・
・・、m)。<ψ1、ψ2、ψj>のm−2個のテンソルを考え、それに対応する
行列GをGjによって表すことにする。Gj行列の9×3(m−2)行列への連結
は、mの如何にかかわらず、階数4である(一般に、もしGj行列が独立であっ
たなら、その連結の階数はもっと小さな次元であったろう。すなわち、m≧5の
とき9である)。
階数4の制約は、連結行列の最も大きな4つの主成分が統計学的には最適な状
態で画像ψ1、ψ2の間の幾何学的配置を表すことを意味する。
A.応用1:画像転送
対応する点pi、pi′(ただし、i=1、・・・、n)を持つ2つの画像があ
るとする。したいことは、同じ対象物の新しい画像を作ることである。テンソル
αijkが与えられたとき、トリリニアの式にpi、pi′の値を入れると、αijkが
求められた方法と無関係にx″及びy″の値が求まる。
テンソルαijkは、例えば、7つの点に対するpi″(例えば、i=1、・・・
、7)の位置が既知であるならば求めることができる。次に、8番目の点毎に、
対p、p′とテンソルからp″を再現することができる。
B.応用2:再構成
3枚の画像のテンソル、あるいはm(>3)個の画像の連結行列(IIを参照)
の最も大きい4つの主成分を用いて、2つの画像の間のエピポーラ構造を再現す
ることができ、それを用いてシーンの3次元モデルを再構成することができる。
Ej=αjを3つのの3×3行列とする。すなわち、Ej=α1,j,1、α1,j,2
、・・・,α3,j,3である。27個の数の配列を3つの行列への特別の順列(
permutation)は下記の結果をもたらす。
3つの行列E1、E2、E3は、3次元空間内の3つの平面に関連する射影変換
(ホモグラフィ行列)である。
これが意味することは、空間に3つの平面πjが存在し、Pが(例えば)平面
πjと同一面上にあり、p、p′を最初の2枚の画像上の画像位置であるとする
と、E1p≒p′が成立する。j=2、3についても同様である。
最初の2枚の画像間の「基本行列」F(あるいは、写真計測の文献に使われて
いるような「同一平面の制約」)は、Fを求めるための式の線形系を与える関係
である
Ej TF+FTEj=0 j=1、2、3
を満足する。
同様に、m(>3)個の画像に対する連結行列(IIを参照)の最も大きな4つ
の主成分は、以下のように、Fを解くのに使われる。Ak(k=1、・・・、4
)を、3×3行列で行方向にそれぞれ配置された、連結行列の最も大きい4つの
主成分とすると、m(>3)個の画像からFを線型に再現するための統計的に最
適な方法を与える
Ak TF+FTAk=0 k=1、2、3、4
が成立する。
「エピポーラ」点v′は、関係FTv′=0から、あるいは以下のように直接
にテンソルから求めることができる。
3つの行列E1、E2及びE3のうちの2つの行列の対応する列のクロス積はエ
ピポーラ線、つまり、v′と一致する直線を与える。同様に、a1、a2及びa3
によって1つの行列Eの列を表し、b1、b2及びb3によって別の行列Eの列を
表すとすると、ai×bj−bi×ajは、i≠jに対してエピポーラ線である。
すべての組合せを考えると、テンソルは、その交差がエピポール(epipol
e)v′を定義する18本のエピポーラ線を生じる。その交点は、例えば最小二
乗法で見つけることができる。
同様に、エピポーラ点v′は、次のように、4つの最大の主成分の連結行列A1
、・・・、A4から再現することができる。a1、a2及びa3を行列A1の列とし
、b1、b2及びb3をのA2の列とすると、ai×bj−bi×ajは、i≠jに対し
てエピポーラ線であり、ai×biは3本のエピポーラ線の別の組を与える。この
方法で4つの行列A1、・・・、A4から2つを選ぶことによって、v′を解くた
めの冗長な式の組を与える24本のエピポーラ線を得る。
3次元のシーンの射影のモデルはFとv′とから得られる。たとえば、3×4
行列[[v′]F,v′]は3次元座標から第2の画像の画像座標へのカメラ変
換である。すなわち第1と第2のの画像上の点の対応する対p、p′毎に、
p′≒[v′]Fp+kv′
が成立し、座標ベクトル[x,y,l,k]はシーンの3次元(射影)モデルを
与える。
注1:順列αi..もまた他の3つの平面の3つのホモグラフィ行列W1、W2及
びW3を与える。ホモグラフィ行列は第1の画像から第3の画像からのものであ
る。すなわち、W1と関連する平面と同一平面上のPから生ずるp、p″に対し
てW1p≒p″が成り立つ。それゆえ、行列E1、E2及びE3使用と同じようにし
て、基本行列F″と、第1と第3の画像の間のエピポーラ構造と関連するエピポ
ーラ点v″を再現することができる。
3枚の画像の間の画像対応を達成する
2次元の画像から3次元のシーンを操作するときの重要なステップの1つは、
手元の画像間の対応する点の信頼できる組を(可能なかぎり多く)集めるステッ
プである。現在の最新の技術は、エピポーラ構造のような、幾何学的な情報と共
に2つの画像の画像強度の相関を用いる。
テンソルを用いることにより、カメラ校正を想定することなく、3つの画像を
一緒に利用して対応法を拡張することができる。3つの画像にわたる対応点の初
期の組が与えられると、トリリニア・テンソルを再現することができる。次に、
トリリニア・テンソルは、対応点を正確に定めるための相関法を用いるための制
約条件を与える。これは、以下のようになされる。
E1、E2及びE3がテンソルの配列α.j.を表わし、W1、W2及びW3がテンソ
ルの配列αi..を表わすとする。最初に、対応点間の変位がエピポーラ線に沿う
ように、3つの画像すべてを整列させる。これは次のように行われる。
E=ΣiρjEjとする。ここで、係数ρjは、それぞれ第1の画像と第2の画像
とにおけるすべての初期対応点pk、pk′に対する、線型最小二乗条件Epk≒
pk′の解である。同様に、W=ΣiμjWiとする。ここで、係数μiは、それぞ
れ第1の画像と第3の画像とにおける全部の初期対応点pk、pk″に対する線型
最小二乗条件Wpk≒pk″の解である。画像2を変換E-1で、画像3を変換W-1
で「歪ませる(warp)」処理により、2′及び3′で示される新しい画像を
、画像1と画像2′との間の対応点がエピポーラ線に沿っており画像1と画像3
′との間の対応点がエピポーラ線に沿っているように生成することができる。
エピポーラ線は(好ましい実施の形態の詳細な説明の中のII.B)で提示したテ
ンソルから得ることができる。w′及びw″をそれぞれ1と2′との間及び1と
3′との間のエピポーラ線の方向ベクトルとする。ここから、p=(x,y)、
p′=(x′,y′)、p″=(x″,y″)がそれぞれ画像1、2′、3′に
おける対応点であるとすると、ある係数α及びβに対して、p′=p+αw′、
p″=p+βw″が成立する。ただし、w′、w″、α及びβは位置(x,y)
と共に変動する量である。
ここに示されているトリリニア式(3)-(6)は、係数α及びβに対して構
造上の制約を与える。すなわち、αの任意の値に対して、βの値が一意的に定ま
り、逆もまた同様である。α及びβを復元するために、以下のように、1、2′
及び3′の画像強度を用いる。
係数α及びβは「定輝度方程式」
α(Ix,Iy)Tw′+It 12′=0
β(Ix,Iy)Tw″+It 13′=0
を満たす。ここで(Ix、Iy)は第1の画像における位置p=(x,y)での勾
配ベクトルであり、It 12′は画像1、2′間の時間導関数であり、It 13′は画
像1、3′間の時間導関数である(すべての導関数は、離散的な近似である)。
ここに示されているトリリニア式(3)-(6)から、f(α、β)=0を求め
ることができる。ここで、関数f()の係数はテンソルの要素である。このよう
にして、幾何学および測光の両方の制約を満たすα及びβに対して最小二乗解を
求めることができる。
全手順は、J.R.ベルゲン及びR.ヒンゴラーニ著「Hierarchical motion-based
frame rate conversion」、Technical report、David Sarnoff Research Cente
r、1990に述べられている、ラプラシアン・ピラミッドに沿って階層的に行われ
る。
ここで、本発明の実施の形態に従って構成され動作し、少なくとも3つの画像
から3次元のシーンの3次元表現を生成するように動作する、3次元シーン再構
成装置の単純化した機能ブロック図を表わした図6を参照する。
図6の装置は、3つの異なる視点から動作するCCDカメラ10、又は、フィ
ルム・カメラ20から生成された画像をデジタル化するよう動作するツァイス製
PS−1のようなスキャナ30と関連付けられ、航空機に搭載されることもある
フィルム・カメラ20のような、少なくとも3つのそれぞれの視点からの3次元
のシーンあるいは対象物の少なくとも3つのデジタル画像を提供するための装置
を含む。
少なくとも3つのデジタル画像は、3つのデジタル画像からの少なくとも7つ
の、好ましくは複数のトリプレットの対応点を識別するよう動作する対応点検出
器40に送られる。異なる画像からの「対応点」は、現実の3次元の世界におけ
る一つの位置に対応する点あるいは位置である。たとえば、これらの点は手作業
で識別され得る。航空写真については、対応関数を実行するシュツットガルトの
Info社の販売に係るMatch−Tパッケージのような市販の対応点ソフト
ウエアを用いることができる。
対応点を見つけるための従来の方法は、H.ワング及びJ.M.ブラディ著「
Corner detection:some new results」、IEEE colloquium Digest of Systems
Aspects of Machine Perceptionand vision(ロンドン、1992、pp.1.1‐1.4)
に述べられている。
トリリニア・テンソル計算ユニット50は対応点のトリプレットを受け取り、
3つの画像の間の幾何学的関係を表すトリリニア・テンソルを計算する。
次いで、トリリニア・テンソルは、3次元のシーンの3次元表現を生成するた
めに用いられる。本発明の1つの実施の形態によると、トリリニア・テンソルは
、3つの画像のうちの2つの画像のエピポーラ構造表現を計算するために、エピ
ポーラ構造生成ユニット60によって用いられる。次に、3次元表現生成ユニッ
ト70は、ユニット60のエピポーラ構造表現出力からシーンあるいは対象物の
3次元表現を生成する。これについては、以下に詳述されている。
a.Faugeras,O.D.“What can be seen in 3 dimensions with an u
ncalibrated stereo rig?”Proceedings of the European Conference o
n Computer Vision,pages 563‐578,Santa Margherita Ligure,Italy,
June 1992.
b.Hartley,R.et al,“Stereo from uncalibrated cameras.” Proceed
ings IEEE Conf.on Computer Vision and Pattern Recognition,761−
764,Champaign,IL,June 1992.及び
c.Shashua,A.“Projective structure from uncalibrated images: st
ructure from motion and recognition.” IEEE Transactions on PAMI
,16(8):778‐790,1994.
ユニット50及び60の好ましいインプリメンテーションはC言語の形で付録
Aに記述されている。ユニット50の好ましいインプリメンテーションは、付録
Aの1ページから4ページの終わり近くまで記述されている。ユニット60の好
ましいインプリメンテーションは、付録Aの4ページの終わりから8ページの中
ほどまで記述されている。上記プログラムを理解するのに役立つサブルーチンと
統計手続きは、付録Aの8ページから記述されている。
対象物又はシーンの新しい画像を生成するために、レーザー・コンピュータ・
プリンタにより、3次元のシーンあるいは対象物の少なくとも一部あるいは一側
面を表す3次元情報を含む3次元表現が用いられる。または、対象物あるいはシ
ーンの新しい画像を生成するために、従来のプロッタと一緒に従来のCAD(c
omputer aided design)ソフトウェアが用いられ得る。ま
た、CADソフトは品質保証アプリケーションにおいて2つのCADファイルを
比較するように動作し得る。
本発明の実施の形態にしたがって動作し、図6の装置と併用すると有用である
、望ましい3次元シーン再構成方法の単純化したフローチャートである図7を参
照する。図7は一般的に自明である。シーンあるいは対象物の3つの画像は、デ
ジタル・アーカイブからアクセスされ、又は、たとえばデジタルカメラによって
生成されたならば、デジタルであってよい。画像がデジタルでなければ、走査そ
の他の方法でデジタル化される。
任意の適切な従来のあるいは他のフォーマットを用いることができる。たとえ
ば、シリコン・グラフィックス社のInventorフォーマットを、3次元表
現のために最初に用い得る。Inventorフォーマットは3次元表現の新し
い画像を印刷するためにポストスクリプトに変換される。
図示したように、シーンの3次元表現は、シーンあるいは対象物の3次元計測
、シーンあるいは対象物の新しい画像の生成(例えばプリントアウト)、及び、
従来の方法を用いて対象物又はシーンの生成済みの3次元表現を所望の対象物又
はシーンあるいはそれらシーン又は対象物の所望の3次元表現と比較する品質保
証比較などの広範囲の活動に有用である。
ここで、本発明の実施の形態にしたがって構成され動作し、少なくとも2つの
参照画像から新しい画像を生成するように動作する画像転送装置の単純化したブ
ロック線図を示した図8を参照する。図8の装置は図6の装置に似ている。しか
し、図8においては、3次元のシーンの新しい画像は、中間の3次元表現を生成
せずに、少なくとも2つの参照画像のみから直接生成される。
図8において、2つの参照画像と所望の新しい画像とに関する幾何学的情報は
、3つの画像間の幾何学的関係を表すトリリニア・テンソルを生成するために使
用される。典型的には、新しい画像における位置の少なくとも7つのトリプレッ
ト(これは、少なくとも2つの参照画像のそれぞれにおける7つの位置に対応す
る)が例えばマニュアルで識別される。典型的には、新しい画像に関する少なく
とも何等かの情報が利用可能である。たとえば、同じ地域の少なくとも2つの新
しい参照画像に基づいてGIS(地理情報システム)の古い画像を更新すること
が望ましい場合、古い画像における少なくとも7つの位置(これは、2つの参照
画像における7つの位置に対応しており、まもなく生成される最新版の画像の中
に依然として存在すると想定される)を識別することは、一般に可能である。
典型的には、新しい画像は、第1と第2の参照画像における異なる第1と第2
の対応する位置にそれぞれ対応する新しい画像上の複数の位置を、第1と第2の
の対応する位置とトリリニア・テンソルとに基づいて計算することによって生成
される。たとえば、対応点検出器140は、2つの参照画像から複数対の、たと
えば1000対の対応点を生成する。ユーザは、第1の7つの対に関しては、新
しい画像における7個の対応点をマニュアルで指示する。
一度、トリリニアテンソルがトリリニアテンソル計算ユニット150によって
生成されたなら、図9に見られるように、新しい画像の中の対応点8−1000
の座標を生成するために、対応点の対8−1000の座標がトリリニア・テンソ
ルに代入される。
このようにして生成された新しい画像は1年前のものと同じ画像と例えば比較
され、1年間に当該シーンに発生した相違が識別される。
ここで、本発明の実施の形態に従って動作し、図8の装置と併用すると有用な
望ましい画像転送方法の簡単なフローチャート図である図9を参照する。図9は
一般に自明である。
ここで述べられている任意の実施の形態において、3つより多い画像が与えら
れた場合は、それぞれの3つの画像に対して「中間」テンソルが計算される。次
いで、代表的なテンソルが、これらの「中間」テンソルの間の関係に基づいて計
算される。
図10は、図2にも示されている靴の3次元再構成の図である。図10は、対
応点を見出し、それらの点の3次元の位置を再構成することによって生成された
のである。次に、図10に示される面を生成するために、CADソフトウエアに
よって座標が処理される。
図11は、製品の品質保証のための望ましい方法と装置の単純化したブロック
線図である。図11は、単一の位置を狙っていて当該位置の3つの透視画をもた
らす3つのCCDカメラ210の配列200を含む。CCDカメラはロボット・
アーム212に取り付けられ、したがって、コントローラ224からの適切な指
令に従って、コンベア・ベルト220に沿って到来する製品214に対して移動
することができる。
製品がCCDカメラ210の視野に入ると、コンベア・ベルト220は典型的
には停止し、製品の表面領域の全体がカメラ210によって画像形成されるよう
にする。コントローラ224は、ロボット・アーム212を介して、製品の全表
面の画像を形成できるように、製品の周囲にカメラの配列200を移動させる。
たとえば、カメラの配列200は製品の周囲の10個の異なる位置に移動され、
各位置で、3台のCCDカメラのそれぞれは製品の画像を形成する。用いられる
位置の数は部品の複雑性に依存する。
この過程は、それぞれの3つの透視画から、製品の同じ部分の3つのデジタル
画像をそれぞれ含む複数の画像トリプレットをもたらす。それぞれの画像トリプ
レットに対して、配列200とそれぞれのカメラ210との対応する位置は、既
知であるロボット・アームの位置に基づき、手と目による校正を使って計算され
る。
それぞれの画像トリプレットは、図6のユニット40、50、60、70、9
0とそれぞれ類似のユニット240、250、260、270、290によって
処理される。
それぞれの画像トリプレット(それぞれのプローブ位置)からCADソフトウ
ェア290によって生成されたCADモデル情報は適宜のメモリ300に記憶さ
れる。計算ユニット310は、CCDカメラの配列200の複数の位置に対応す
る
複数のプローブ位置を単一の座標系に統合するように動作する。必要な座標変換
は、CCDカメラの配列の移動を定義する変換の逆を行うことによって計算され
る。
計算ユニット320は、ユニット310の出力を参照CADモデルと比較し、
それらの間の差を計算する。これらの差は計算ユニット330において許容誤差
と比較される。
また、図11の装置は、リバースエンジニアリングやCADのための3次元デ
ジタル化応用に適している。
図12は、たとえば、都市の地図の更新、不法建築の検出、カーナビゲーショ
ン・システムへの奉仕、集積回路のような微細な対象物の図面作製のためにデジ
タルの地形図を生成するための望ましい方法と装置の単純化したブロック線図で
ある。
航空機に搭載されたCCDカメラ334はシーン上を飛行するが、デジタルの
地形図を作成することが望ましい。カメラ334は、3つのそれぞれの透視画か
らシーンの3つのデジタル画像を生成する。その3つの画像は、図6のユニット
40、50、60、70に類似のユニット340、350、360、370によ
って処理される。
表面補間手順は、3次元表現生成ユニット370の出力に対して表面補間ユニ
ット380によって実行される。適切な表面補間方法は、W.E.L.グリムソン
著“A computational theory of visual surface interpolation”,Proc.of t
he Royal Soc.of London B 298,pp.395‐427,1982に記載されている。
最後に、透視画の歪みは、正射写真生成ユニット390によって表面補間ユニ
ット380の出力から除去され、その結果、正射写真(平面図の地図)が作成さ
れる。ユニット390の適切な操作方法は、C.C.スラマ著“Manual of Photog
rammetry”,American Society of Photogram,1980に記載されている。
また、本発明は3次元の対象物の視覚化、特に娯楽、アニメーション及び教育
の応用に有用である。図11の配列200のようなカメラ配列は、視覚化すべき
対象物の周囲を回り、ユーザに表示することが望ましい実質的に全表面領域の画
像を形成する。たとえば、カメラ配列は、対象物を取り囲む200ケ所の位置の
それぞれから対象物の画像を形成する。
次いで、前述の200ヶ所の位置以外の位置に対して、合成画像が生成される
。所望の位置は、例えばジョイスティックにより、ユーザによって指示される。
本発明の装置は、当該位置に対する合成画像を生成するために使用することがで
きる。
従来の操縦シュミレーション・ゲームは合成した背景を使用するが、本発明は
実際の背景を持つ操縦シュミレーション・ゲームを提供するために使用できる。
これを行うためには、少なくとも3台の、好ましくは5−10台のカメラの配列
が、シーンの実質的に全体が少なくとも3つの、好ましくは更に多くの異なる透
視画からカメラ配列によって撮影されるように、所望のシーン内で移動される。
たとえば、シーンは、カメラ配列のほぼ1000個の位置のそれぞれから撮影さ
れる。次いで、本発明に従って、たとえばジョイスティックによって指示される
、ユーザの新しい画像に対する要求に合うように、新しい画像が生成される。
ここで、認識のために有用な代数関数が、IEEE Transaction on PAMIに発表さ
れる「認識のための代数関数」という名称の論文に基づいて記述される。
認識のための代数関数
I.はじめに
本論文では、3次元のシーンの3つの透視図の間の代数的関係についての一般
的な結果を確立し、それを整列による視覚認識に適用する方法を明らかにする。
一般に、あるシーンの3つの透視図は画像座標からなる一対のトリリニア関数を
満足することを示す。3つの図がすべて正射写真であるような限定された場合に
は、これらの関数は線形になり、[38]によって発見された形式に帰着する。トリ
リニアな結果を使用すれば、シーン構造の再構成(計量的または非計量的)、カメ
ラ変換、さらにはエピポーラ構造に頼らずに対象物の画像を操作できる(2つの
モデル画像から新しい画像を生成するなど)。さらに、トリリニア関数は最低7
つの点からなる構成で、線形な方法で復元することができる。この構成について
は、ある3次元のシーンの2つの参照画像上の対応する点を与えられたときに、
それを任意の新しい画像上に再投影するという問題の一般線形解を求めるための
必要最小限の構成の新しい下限であるように示される。これまでの解は、そのエ
ピポーラ構造を復元するという方法をとるが、その場合には線形解のためには最
小限8つの点の構成が必要である。
結果の核心は定理1、2、3に含まれている。最初の定理は、校正されていな
いピンホール・カメラで撮った固定した3次元の対象物のさまざまな画像Ψは、
いわゆるF(ψ、ψ1、ψ2)=0という関係を満たすということである。ただし
、ψ1及びψ2は物体の任意の2枚の画像であり、Fは特殊なトリリニア形式をし
ている。Fの係数はエピポーラ構造、対象物の3次元構造又はカメラの動きを決
定しなくても線形演算で復元することができる。定理1の証明に必要な補助定理
はそれだけで興味深い。平面の射影変換に関するある種の規則性を確立し、新し
い画像不変量を導入するからである(補助定理4)。
定理2はトリリニア関数の係数を最も効率的な方法で復元するという問題を扱
っている。3枚の画像間で可能なすべてのトリリニア関数のなかで、線形独立な
トリリニア関数は高々4つしかないということを証明している。その結果、この
ような関数の係数は3つの画像間の対応する7つの点から線形演算で求めること
が
できる。
定理3は定理1の明白な系であるが、重要な実際的側面を含んでいる。つまり
、画像ψ1及びψ2が平行投影によって得られたものならば、Fは特殊な双一次形
式になるということである。言い換えれば、任意の透視図ψは2つの正射影の回
転線形関数によって求めることができる。双一次形式に帰着することは、メモリ
に記憶されている2つの参照画像(モデル画像)が正射影ならば、より簡単な認識
機構が可能であることを示唆している。
このような結果はいくつかの応用分野があるが(セクションVIで検討する)、本
稿全体で力説しているのは、整列による3次元の対象物の認識という課題である
。整列による認識の方法は([37,16]およびその中の参考文献)、3次元の剛体
の変換、アフィン変換、射影変換を受ける対象物の画像の同値類は(セルフ・オ
クルージョン(self occlusion)を無視して)、対象物の3次元
モデルを記憶するか、あるいは単に対象物の任意の2つの「モデル」画像を記憶
することで得ることができるという結果に基づいている。ただし、モデル画像の
間の対応関係の問題が何らかの方法で解決できるものと仮定する([27,5,33])
。認識の際に、特定の候補となる対象物のモデル画像を新しい画像に「再投影」
するためには、新しい入力画像とモデル画像の間の対応点のうちの少数の点だけ
で十分である。再投影された画像が入力画像とうまく一致すれば、認識が達成さ
れる。本論文では、対応点のうちの一定数の点だけを使用して、一組のモデル画
像から新しい画像を予測する問題を、再投影の問題と呼んでいる。
再投影の問題は原則的には、形状とカメラの動きを3次元で再構成するという
方法で扱える。これは、カメラの剛体運動パラメータと計量的な形状を復元する
ための運動方法からの古典的な構造や[36,18,35,14,15]、比較的新しいもので
は物体が3次元のアフィン変換または射影変換を受ける、言い換えればカメラが
校正されていないことを前提にした、非計量的な構造を再構成する方法がある[1
7,25,39,10,13,30]。透視図に対する古典的な手法は、画像に測定誤差がある、
視野が狭い、カメラが内部校正されている、といった場合には不安定であること
がわかっているため、再投影という目的に実用化できる可能性はなさそうである
。非計量的な手法は一般に、実際の画像に対して十分にはテストされてはいない
が、
これまで提案された方法ではまずエピポーラ構造を求めることが基本になる。こ
の手順もまた雑音があると不安定であることがわかっている。
エピポーラ構造だけでも十分に再投影を達成できることもわかっている。3つ
の画像の間の最低8つの対応点を使用してエピポーラ線を交差させる[24,6,8,26
,23,11]。しかし、この方法は、3つのカメラの中心が同一線上にない場合にの
み可能であり(中心が同一線上にからはずれていないならば数値的な不安定性に
つながることがある)、3つの焦平面上の物体のどの点も再投影することができ
ない。さらに、非計量的な再構成方法と同じく、エピポーラ構造を求めるのは、
何十もの対応点を使用し、最先端の方法を使用したところで、所詮は慎重さを要
する手順である(その詳細とシミュレートされた画像と実際の画像によるそれぞ
れの方法の比較分析は、セクションVを参照)。
したがって、安定性が目的ならば、もっと直接的な再投影の手段を捜し求める
価値がある。たとえば、形状と不変量を再構成する代わりに、画像の間に画像座
標のみの関数として表現された直接的な関係を確立することが望ましい。このよ
うな関数を「画像の代数関数」と呼ぶことにする。そうした結果は正射写真の場
合には[38]によって確立されている。その中では、対象物の任意の3つの正射写
真の画像上の対応点の画像座標が線形関数を満たすことが証明されている。本論
文では、これは一般にトリリニア形式をとる代数関数の大きな集合の限定的な場
合にすぎないことを示すことにする。このような関数を使用すれば、ある対象物
の画像に対して、中間ステップとして形状またはカメラの配置を復元することな
く、新しい画像を生成するなどの操作を実行できる。必要なことは、2つの参照
画像の画像座標を適切に結合すればよいのである。また、このような関数を使用
すれば、エピポーラ構造が絡み合って特異点がなくなり、最少の点構成の下限が
下がるだけではなく、実験のところで説明するように、画像の測定に誤差がある
場合に一層高い性能が得られる。この研究の一部(定理1のみ)が[31]で簡潔な
形で示されている。
II.覚書
本論文では、物体空間は3次元の射影空間P3であり、画像空間は2次元の射
影空間P2であると考える。いま、Φ=⊂P3が3次元の対象物を表す点集合であ
り、ψi⊂P2は添え字iで示されるΦの(任意の)画像を表すものとする。2台
のカメラの中心がそれぞれO、O′∈P3にあるものとすると、そのエピポール
るので、画像上のすべての観測点に第3の同次座標として値1を割り当てても一
般性は失われない。つまり、(x,y)が点の観測された画像座標であるならば
(画像の幾何中心など、任意の原点を基準にとる)、p=(x,y,l)はその
画像平面の同次座標を表す。ただし、この取り決めでは、Φにおける点がこれら
の画像の無限点にあるような特殊な画像は無視される。このような特殊な場合は
ここでは考慮しない。
ここで一度に扱うのは高々3つの画像であるので、それに関連するエピポール
を次のように表す。v∈ψ1とv′∈ψ2は画像ψ1、ψ2の間の対応するエピポー
する。同様に、3つの画像の間の対応する画像点をp=(x,y,l)、p′=
(x′,y′,l)、p″=(x″,y″,l)で表すものとする。「画像座標
」という言葉は、P2の非同次座標表現、例えば、3つの対応点に対する(x、
y)、(x′、y′)、(x″、y′)を意味している。
平面は添え字iのついたπiで表すが、1平面だけを扱うときは単にπで表す
。平面はすべて任意であり、互いに異なるものとする。記号:はスケール以下で
あることを意味し、GLnはn×n行列の群を表し、PGLnはスケールまで定義
された群である。
III.トリリニア形式
本論文の中核ともいうべき結果は、次の2つの定理で言い表される。このセク
ションの残りの部分は、この結果の証明と、それが何を意味しているかの説明で
ある。
定理1(トリリニア性) ψ1、ψ2及びψ3は3次元の点集合で表されたある対
象物の任意の透視図であるとする。この3つの画像間の3つの点の画像座標(x
,y)∈ψ1、(x′,y′)∈ψ2、(x″,y″)∈ψ3は、次のような形式
を
した一対のトリリニア方程式を満たす。
および
ただし、係数αj、βj(j=1,・・・、12)はすべての点について一定で、
全スケールまで一意的に定義され、αj=βj,j=1、・・・、6である。この
定理の証明には、次の補助定理を使用している。
補助定理1(補助−存在) A∈PGL3を平面πに起因する射影写像(ホモグラ
た対応点とする。その場合、任意の点P∈P3から生じた任意の対応する対p∈
ψ1及びp′∈ψ2について
p′≒AP+kv′
が成り立つ。係数kはψ2とは独立である。つまり、第2のの画像の選択の仕方
によって変化しない。
補助定理、その証明、その理論的および実際的な意味は、[28,32]で詳しく説
明されている。ホモグラフィAがアフィン変換であったり、エピポールv′が無
限直線上にあるような特殊な場合は、2つの正射写真の画像からアフィン構造を
構築することに相当する[17]。つまり、P3(座標のテトラド(tetrad)
)の表現R0はつねに、任意の平面πが無限点の平面になるように選択できる。
その場合、校正されていない一般的なカメラの動きが、アフィン変換群の要素に
よってR0と関連していることを示すことができる表現Rを生成する。つまり、
スカラkは射影構造内ではアフィン不変量であり、相対アフィン不変量と呼ばれ
る。それぞれ異なる基準平面に対応するそのような2つの不変量の比が、射影不
変量である[32]。ここでの目的のためには、kを復元する方法を論じる必要はな
い。
必要なのは、ある任意の基準平面πに関連づけられた相対アフィン不変量kの存
在を用いることで、そこからホモグラフィAが得られる。
れが補助定理1を満たすようなスケールになっていれば、スケール・コンパチブ
ルであるという。つまり、任意の画像ψiに対して、P∈ψ1及びPi∈ψiに射影
する任意の点P∈Φについて、次の関係を満たすようなスカラkが存在する。
Pi≒Aip+kvi
ただし、vi∈ψiは(任意にスケーリングされた)ψ1を有するエピポールであ
る。
補助定理2(補助−一意性) A、A′∈PGL3が平面π1、π2に起因するψ1
次の式を満たすようなスカラsが存在する。
A−sA′=[αv′、βv′、γv′]
証明:いまq∈ψ1を第1の画像上の任意の点とすると、v′≒Aq−sqA′q
を満たすスカラsqが存在する。H=A−sqA′であるとすると、Hq≒v′が
成り立つ。しかし、[29]に示されているように、任意の平面に起因するホモグラ
立つ。異なる2点q、vの同じ点v′への写像は、Hが(射影中心Oと同一平面
の)子午面に起因するホモグラフィである場合に限られるから、すべてのp∈ψ1
についてHp≒v′が成り立ち、sqは一定のスカラsと等しい。後者は、Hが
のv′の倍数を列とする行列であることを意味している。□
補助定理3(補助定理4の補助) いまA、A′∈PGL3をそれぞれ異なる平
PGL3について、A′=ATが成り立ち、B=BCTC-1ga成り立つ。ただ
証明:いま、A=A2 -1A1とする。ただし、A1、A2はそれぞれ、ψ1、ψ2から
π1へのホモグラフィとする。同様に、B=B2 -1B1とする。ただし、B1、B
c2、c3)TおよびC≒A1 -1diag(c1、c2、c3)とする。このとき、B1
≒A1C-1であるから、B≒B2 -1A1C-1が成り立つ。A1とB1との唯一の違い
て補償される。いま、E1∈PGL3をψ1からπ2へのホモグラフィとし、E2∈
PGL3をπ2からπ1へのホモグラフィとする。このとき、E1、E2の適正なス
ケーリングにより、
A′=A2 -1E2E1=AA1 -1E2E1=AT
が成り立つ。また、Cの適正なスケーリングにより、
B′=B2 -1E2E1C-1=BCA1 -1E2E1C-1=BCTC-1
が成り立つ。□
補助定理4(補助 − 一意性) スケール・コンパチブルなホモグラフィにつ
いて、補助定理2のスカラs、α、β、γは、ψ1、π1、π2によってインデッ
クスされる不変量である。つまり、任意の第3の画像ψ3があるとき、B、B′
がAとスケール・コンパチブルであり、B′がA′とスケール・コンパチブルで
あるとする。このとき、次の関係が成り立つ。
B−sB′=[αv″、βv″、γv″]
証明:まず、sが不変量であること、つまりB=sB′がv″の倍数を列とする
行列であることを証明する。補助定理2と補助定理3から、v′の倍数を列とす
る行列H、A′=ATを満たす行列T、及び、I−sT=A-1Hを満たすような
スカラsが存在する。両辺にBCを掛け、C-1を掛けると、次の式が得られる。
B−sBCTC-1=BCA-1HC-1
補助定理3から、B′=BCTC-1が成り立つ。行列A-1Hの列はvの倍数であ
A-1Hはv″の倍数を列とする行列である。BCA-1HにC-1掛けてもその形式
は変化しない。BCA-1HC-1の各列は単にBCA-1Hの列の線形結合だからで
ある。その結果、B−sB′はv″の倍数を列とする行列になる。
ケール・コンパチブルであるから、補助定理1から、任意のP∈ψ1に関連する
不変量k、k′が存在する。ただし、kはπ1に起因し、k′はπ2に起因する。
つまり、p′≒Ap+kv′≒A′p+k′v′およびp″≒Bp+kv″≒B
′p+k′v″である。このとき、補助定理2から、Hp=(sk′−k)v′
のみ成り立つ。□
定理の証明:補助定理1は次のように定理の存在部分の根拠となる。補助定理1
は任意の平面について有効であるから、平面π1を選択し、A、Bをそれぞれ、
のとき、すべての点p∈ψ1と、その対応点p′∈ψ2、p″∈ψ3について、p
′≒Ap+kv′及びp″≒Bp+kv″およびを満たすようなスカラkが存在
する。2つの式からkを取り出すと
が求まる。ただし、b1、b2、b3はそれぞれAとBの行ベクトルであり、v′
=(v1′、v2′、v3′)、v′=(v1′、v2′、v3′)である。kの不変
性により、(1)の項と(2)の項を等しいと置くと、3つの画像についての画
像座標の線形関数が求まる。例えば、それぞれの式の最初の2つの項を等しいと
置くと、
が求まる。
同様にして、(1)の第1項を(2)の第2項と等しくすれば、
が求まる。
この2つの式は、最初の6つの係数が両式で同じであるという望ましい形式を
している。
補助定理1は任意の平面に関して有効であるため、一意性の問題が生じる。い
ま、ホモグラフィA′、B′とともに、異なる平面、例えばπ2を選ぶと、この
新しいホモグラフィは(最大で全スケールまでの)同じ係数を生じることを証明
する必要がある。(3)と(4)でかっこで囲まれた項は、i、jに対してvi
′bj−vj″aiという一般式式である。したがって、次の関係を満たすスカラ
sが存在することを示せばよい。
vj″(ai−sai′)=vi′(bj−sbj′)
しかし、これは補助定理2と4からすぐに導き出される。□
この定理からすぐに言えることは、2つのモデル画像(ψ1、ψ2)を結合する
だけで新しい画像(ψ3)を生成できるということである。この結合の係数αj、
βjは、3つの画像間の9つの対応点が与えられたときの17(=24−6−1
)個の線形方程式の解として一緒に求めることができる(最小2乗法で解く場合
は9つよりも多くの点を使用すればよい)。
次の定理では、トリリニア関数の係数を求めるために必要な点の数の下限を明
らかにする。定理1の証明の存在性を証明する部分は、そのようなトリリニア関
数が9つ存在し、その係数が一般式vi′bj−vj″aiを有することを意味して
いる。つまり、異なる係数の数は(最大で均一なスケールまでの)高々27であ
り、したがって、9つのトリリニア関数のうちの3個以上が線形独立であれば、
9つより少ない点を使用して係数を求めることができる。次の定理は、トリリニ
ア関数の高々4つが線形独立であれば、7つの点だけで十分に係数が求まるとい
うことである。
定理2 定理1で述べたような形式の9つの異なるトリリニア方程式があり、そ
のうちの高々4つが線形独立である。4つのトリリニア形式の係数は、3つの画
像の間で7つの対応点がわかれば線形に求めることができる。
証明: 9つのトリリニア形式の存在は、(1)と(2)から直接導き出される
。
いま、αij=vi′bj−vj″aiとする。9つの形式は下記の通りである(最初
の2式は便宜上、(3)と(4)を反復した)。
トリプレットp、p′、p″が与えられると、上記の最初の4つの関数から4
×27行列が得られる。この行列には互いに直交する列(α11、α12、α21、α22
と関連づけられた列)が4つあるから、その階数は4である。したがって、こ
れらの関数は線形独立である。係数が27個あり、各トリプレットp、p′、p
″がそれぞれ4つの線形方程式を与えるから、3つの画像の間の7つの対応点が
わかれば、係数を線形方程式の解として求めるのに十分な数の方程式が得られる
(この線形系がある共通のスケールまで決定できる場合は、7つの点からもう2
つ方程式が得られる。これらの方程式は一貫性のチェックまたは最小2乗法によ
る解の計算に使用できる)。
残りのトリリニア形式は次のように最初の4つの式の線形演算から求めること
ができる。
ただし、かっこ内の番号は各トリリニア関数の方程式番号を表す。□
この2つの定理を組み合わせて使用すれば、2つのモデル画像の間の対応p、
p′がわかっている場合に、新しい画像上での位置x″、y″を求めるための構
造的な手段を提供することができる。新しい画像を作成するこのプロセスは、構
成、カメラ変換(カメラの内部パラメータに基づく変換)、さらにはエピポーラ
構造をも明示的に求める必要がなく容易に達成され、これまでわかっている他の
どんな方法よりも対応点の数が少なくてすむ。
x″、y″の解は一意的であり、許容されるカメラ変換に対する制約条件もな
い。しかし、定理2の証明で提案した4つのトリリニア方程式とは異なる4つの
方程式の組が必要であるような特定のカメラ構成がある。たとえば、方程式(5
)、(6)、(9)、(10)の組もまた線形独立である。したがって、たとえ
ばV1′とV3′とが同時に消滅する場合、つまりv′≒(0,1,0)である場
合には、この組を使用しなければならない。同様に、方程式(3)、(4)、(
9)、(10)も線形独立であり、v′≒(1,0,0)である場合に使用しな
ければならない。v″≒(1,0,0)およびv″≒(0,1,0)である場合
も同様であるが、この場合は上記にあげた6つの方程式から適切な4つの関数を
基底に選べば処理できる。これまでは、まだ7つの点の特異な構成を扱っていな
い。たとえば、7つの点が同一平面上にある場合は、3つの画像の間の対応関係
は、係数を求めるという問題の一意的な解が得られない、ということは明らかで
ある。特異面の問題はこれまでエピポーラ構造を復元するために必要な8点構成
の場合について研究されている[19,14,22]。本論文で紹介する結果に関するこの
問題は、未解決である。
エピポーラ構造を求める必要性を回避することは、大きな利点である。その利
点をはっきり理解できるように、ここでエピポーラ構造を使用する再投影の過程
を簡単に考えてみる。エピポーラ交差方法は次のように簡潔に記述できる([11]
を参照)。いま、F13とF23がp″F13p=0およびp″F23p=0を満たすよ
うな行列(最近の用語[10]での「基本」行列)であるとする。このとき、p″が
そのエピポーラ線上にあることから、
p″≒F13p×F23p′
となる。したがって、この2つの基本行列の要素を線形方程式から求めるには、
3つの画像の間の対応点が8つあれば十分であり、対象物上のその他のすべての
点を第3の画像に再投影できる。方程式(12)もまたトリリニア形式であるが
、定理1で導入した形式とは異なる。その違いは次のとおりである。(i)エピ
ポーラ交差のためには、対応点が7つではなく8つ必要である。(ii)p″の
位置は線交差処理によって求めることができるが、3台のカメラの中心が同一線
上にある場合は特異である。トリリニア性の結果では、p″の要素が別々に解決
されるので、3台のカメラが同一線上にくる場合も許容される。(iii)エピ
ポーラ交差処理は分解可能である。つまり、一度に2つの画像だけが使用される
。いっぽう、トリリニア性の結果のエピポーラ構造は絡み合っていて、別々に求
めることができない。後者は、雑音があるときにも数値的にすぐれた振る舞いを
する方法であることを意味し、後ほど示すように、必要最小限の点を使用しても
その性能は、それより多くの点を使用するエピポーラ交差よりもはるかに優れて
いる。言い換えれば、エピポーラ構造を復元する必要性を回避することで、実際
的な大きな利点も得られるのである。なぜなら、エピポーラ構造は透視図を扱う
ときに誤差に最も敏感な要素であるからである。
画像のトリリニア関数の一般結果と正射写真の画像のための「画像の線形結合
」の結果[38]との間の関連性は、AとBをP2内でアフィン変換であり、v3′=
v3″=0と設定すれば容易にわかる。たとえば、(3)は
v1′x″−v1″x′+(v1″a1−v1′b1)Tp=0
の式に帰着する。これは
α1x″+α2x′+α3x+α4y+α5=0
の形式をしている。
透視図の場合のように、各点から4つの方程式が得られるが、この場合には4
つの方程式全部を使用して係数を復元する利点はない。したがって、ここでは4
つの方程式のうちの2つだけを使用すればよく、係数を復元するには対応点が4
つあれば十分である。つまり、3つの画像がすべて正射写真の場合、X″(y″
)は他の2つの画像の画像座標の線形結合として表される。このことは[38]で述
べ
られている。
IV.双一次形式
対象物の2つの参照(モデル)画像が正射写真の画像であるが(望遠レンズを使
用すればまずまずの近似が得られる)、認識の際には物体の任意の透視図が許容
されるような場合を考える。このような3つの画像は(トリリニア関数ではなく)
双一次関数によって関連づけられることは容易に証明できる。
定理3 (双一次性)定理1の条件の下で、画像ψ1とψ2が平行射影によって得
られた場合、定理1の一対のトリリニア形式は次のような一対の双一次方程式に
帰着する。
x″(α1x+α2y+α3)+α4x″x′+α5x′+α6x+α7y+α8=0
および
y″(β1x+β2y+β3)+β4y″x′+β5x′+β6x+β7y+β8=0
ただし、αj=βj、j=1、・・・、4である。
証明:このような条件の下に、補助定理1から、AはP2内のアフィン変換であ
り、v3′=0である。したがって、(3)は
x″(v1′b3−v3″a1)Tp+v3″x″x′−v1″x′
+(v1″a1−v1′b1)Tp=0
の式になる。同様に、(4)も
y″(v1′b3−v3″a1)Tp+v3″y″x′−v2″x′
+(v2″a1−v1′b2)Tp=0
のようになる。2つの方程式はともに双一次形式であり、最初の4つの係数は両
方程式で同じである。□
残りのトリリニア形式も同じような変形を受けるが、定理2は有効である。つ
まり、4つの双一次方程式は線形独立である。その結果、係数が(27個ではな
く)共通のスケールまでの21個で、1つの点につき方程式が4つ得られるため
、線形解を求めるには対応点が(7つではなく)5つで十分である。
3つの画像の双一次関数は、一般的なトリリニア関数に比べ利点が2つある。
1つは、前述のように、係数を求めるために必要な3つの画像の間の対応点が
(7つでなく)5つですむことである。2つめは、代数関数の次数が低いほど、
解が対応点の測定誤差の影響を受けにくくなることである。言い換えれば、方程
式3の項x″x′xのようなより高次の項が、システムの全体的な誤差の影響の
受けやすさに寄与する割合が大きくなる傾向がある(必ずそうなるとは限らない
が)ということである。
画像がすべて正射写真であると仮定した場合に比べ、この場合は近似の度合い
が低くなる。モデル画像は一回しか取られないから、特別な方法つまり望遠レン
ズで撮影するように要求しても不合理ではない(シーンの認識ではなく、対象物
の認識を扱っているものと仮定して)。この要求が満たされるなら、認識の過程
でどんな透視図でも撮影できるのだから、認識の作業は一般的である。
V.実験データ
この節で説明する実験は、再投影のためにトリリニアな結果を使用したときと
、[38]のエピポーラ交差および線形結合の結果を使用したときを比較し、その実
際的な側面を評価するために行われた(後者は単にトリリニアな結果の特殊な場
合であることはすでに示した)。
エピポーラ交差方法は、セクションIIIで述べたように、まず基本行列を復元
することにより実施された。線形方程式から解を求めるには、対応点は8つで十
分であるが、実際には線形または非線形の最小2乗法で基本行列を復元するため
に8つより多くの点を使用することになる。線形最小2乗法はまだ画像の雑音に
敏感であるので、ここでは[20]に記述されている非線形の方法を実現したものを
、T.LyongとL.Quanのご好意により使用させて頂いた([20]で提案されている方法
を2通りの形で実現したものである。それぞれの場合で、結果が優れていた実現
方法を採用した)。
最初の実験はシミュレーション・データによるもので、エピポーラ構造が正確
に求まっても、エピポーラ交差の過程を回避するトリリニアな結果を使用するほ
うがかなり優れていることがわかる。2つめの実験は本物の一組の画像を使用し
たもので、各種の方法の性能と再投影の妥当な結果を達成するために実際に必要
な対応点の数とを比較したものである。
A.コンピュータ・シミュレーション
使用したのは無作為に配置した46個の点からなる対象物であり、z座標は1
00単位と120単位の範囲にあり、x,y座標は−125と+125の範囲に
無作為に配置された。焦点距離は50単位であり、第1の画像はfx/z、fy
/zによって得られた。第2の画像(ψ2)は対象物を軸(0.14、0.7、
0.7)のまわりに角度0.3ラジアンだけ回転させた後、中心を点(0、0、
100)に平行移動して作成した。第3の画像(ψ3)は軸(0、1、0)のま
わりに同じ量だけ回転させた後に同じ量だけ平行移動して作成した。第3の画像
に再投影するすべての点には種々のレベルの雑音を無作為に加えたが、パラメー
タ(基本行列またはトリリニア係数)を求めるために使用する7個または8個の
点は除外した。雑音は各座標ごとに、0.5から2.5ピクセルまでの誤差レベ
ルで加えた無作為なものである。実験は次のような形で1000回試行した。2
0個の対象物を無作為に作成し、各誤差水準ごとに、シミュレーションを対象物
1つにつき10回実行した。そして、再投影最大誤差(単位はピクセル)と再投
影平均誤差(再投影されたすべての点の平均)を収集した。これらの数値は誤差
水準ごとに試行回数(全部で200回)の平均をとって計算し、標準偏差も記録
した。エピポーラ構造とトリリニア係数を求めるために使用する8個または7個
の点には誤差を加えなかったので、基本行列またはトリリニア係数を求めるため
には単に関連する線形方程式を解いただけである。
その結果を図1A−1Bに示す。左側のグラフは、2つのアルゴリズムについ
て画像の雑音のレベルごとに最大の再投影誤差を測定したもので、その性能を示
している。グラフから、すべての雑音レベルでトリリニア手法のほうが性能が格
段に優れ、標準偏差も小さいことがわかる。同様に、平均の再投影誤差を右側の
グラフに示す。
このような性能の相違は予想されたものである。トリリニア手法は一対の画像
単位ではなく3つの画像を全部一緒に処理するので、線の交差を回避できるから
である。
B.実画像での実験
図2A−2Cはこの実験のために選択した対象物の3つの画像である。対象物
は運動靴で、対応づけを容易にするためにテクスチャを追加している。この対象
物を選んだのは、その複雑性のためである。つまり、自然な形状をした物である
ので、パラメータで(平面または代数表面の集合として)簡単に記述できない。
ここで述べる状況は難しい部類である。再投影される画像が2つのモデル画像の
中間の位置にはない、つまり、中間の位置にある状況よりも画像の雑音により敏
感であることを覚悟しなければならないからである。画像の1つ(ψ1)に対し
、その上に34個の点を手作業で選択すると、この実験で使用した他のすべての
画像上でその対応関係が自動的に得られた。この対応づけの過程は、[7]に記述
されている粗から密へのオプティカル・フロー・アルゴリズムのプログラムに基
づいている。画像間の差が大きい場合の対応づけを正確にするために、中間の画
像群を取り、連続した画像間の変位を加え合わせた。そして、その全体的な変位
フィールドを使用し、最初の画像を目的画像の方向にプッシュ(ワープ)するとい
う形で合成画像を作成した。オプティカル・フローをもう一度合成画像と目的画
像の間に適用し、その結果得られた変位を前に得た全体の変位に加えた。この処
理によって密な変位フィールドが得られるので、それを抽出して最初の画像で選
んだ34個の点と対応する点を求めた。この処理の結果が図2A−2Cである。
図には対応点の計算位置を中心にした正方形が表示されている。このような方法
で求めた対応関係は妥当なものであることは明らかであり、ほとんどの場合にサ
ブピクセルの精度で求まる。この過程をさらに自動化するのは簡単である。最初
の画像で空間微分のヘッセ行列が適切な値を示す点を選択するのである。これは
[4,7,34]の実例で示唆されている信頼値のようなものであるが、ここでの意図は
完全なシステムを構成することではなく、トリリニア再投影方法の性能を試験し
、それをエピポーラ交差方法と線形結合方法の性能と比較することであった。
トリリニア方法では3つの画像の間の対応点が最低7組必要である(26個の
方程式が必要であるが、7組の点から28個の方程式が得られる)のに対し、エ
ピポーラ交差では原則として8つの点が必要である。そこで今から考える問題は
、実際に(対応関係の誤差、レンズの歪み、その他の効果はピンホールカメラ
のモデルでは適切に取り入れられていない)妥当な性能を達成するために何個の
点が必要なのかということである。
トリリニア方法の結果はまず係数を求められる最少の点(7つ)の場合に適用
し、次に線形最小二乗法を使用して8個、9個、10個の場合に適用した(一般
に、線形最小二乗法ではなくSVDまたはJacobiの方法を使用したほうが
良好な解が求まるが、ここではそれらの方法は使用しなかった)。この結果は図
3A−3Bに示すとおりである。7つの点で再投影を行い、最大誤差が3.3ピ
クセル、平均誤差が0.98ピクセルである。10個の点を使用した解はやや性
能が改善され、最大誤差が1.44ピクセル、平均誤差が0.44ピクセルであ
った。8個の点と9個の点を使用したときの性能は、これらの性能のほぼ中間で
あった。点をもっと増やしても結果はあまり改善されなかった。たとえば、34
個の点を全部使用したときは、最大誤差が1.14ピクセルに下がったが、平均
誤差は0.42ピクセルとほぼ変化はなかった。
次に、エピポーラ交差方法を適用した。基本行列は2とおりの方法で求めた。
1つは、実例[20]の方法であり、もう1つは対応点のうちの4つが1つの平面(
地面)にあることを利用する方法である。前者の場合は、妥当な結果を達成する
ためには8つよりもずっと多くの点が必要であった。たとえば、34個の点を全
部使用したときには、最大誤差が43.4ピクセル、平均誤差が9.58ピクセ
ルであった。後者の場合、まず地面に起因するホモグラフィBを求めてから、さ
らに2点(フィルムカートリッジ上の点)を使用してエピポールv″を求めた。
この場合、F13=[v″]Bであることがわかっている([28,21,32]を参照)。
ただし、[v″]はv″の反対称行列である。同様にして、F13を復元した。し
たがって、再投影には6つの点しか使用しなかったが、それでも結果はやや優れ
ていた。最大誤差が25.7ピクセル、平均誤差が7.7ピクセルであった。図
4A−4Bがこれらの結果である。
最後に、線形結合方法を使用して再投影の性能をテストした。線形結合方法は
正射写真の画像にしか適用できないため、実際には、透視を行う状況の下で正射
写真の仮定をテストしている。言い換えれば、トリリニア方程式の高次(双一次
またはトリリニア)の項が有効であるかどうかということである。線形結合方法
では3つの側像の間の対応点が最低4つ必要である。ここでは、点が4個、10
個(図3A−3Bに示すトリリニアの場合と比較するため)、および34個全部
の場合にこの方法を適用した(後者の2つの場合には最小二乗法を使用した)。
結果は図5A−5Cに示すとおりである。性能はいずれの場合もトリリニア関数
を使用したときよりも劣るが、エピポーラ交差方法よりは優れている。
VI.考察
本論文では、固定した3次元の対象物の画像は、一般に、2つの参照画像によ
りトリリニア関数として表せ、参照画像が平行投射によって作成されるときには
双一次関数として表せることを示した。このような関数は、あるシーンの画像を
操作するための手段として、他の方法よりもはるかに簡単である。さらに、必要
な対応点の個数が理論的にも少なくてすみ、実際にもずっと少なくてすむ。実験
の結果によれば、トリリニア関数はエピポーラ交差または線形結合による方法よ
りも性能がはるかに優れ、実用的にも有用である。
一般に、2つの画像は、2つの画像の間のエピポーラ構造を表し、その要素が
3次の制約条件を受ける(行列の階数が2である)ような1つの基本行列を与え
る([10]を参照)。トリリニア性の結果(定理1と2)は、3つの画像は27個
の異なる要素からなるテンソルを与えるということを意味している。3台のカメ
ラが一直線上に並ぶときのように(さほど珍しい状況ではない)、エピポーラ制約
条件が無効になるときでも、このテンソルが有効であることも明らかにした。こ
の論文では7つの点の特異な構成(7つの点が同一平面上にある明らかに特殊な
場合を除く)については扱わなかった。しかし、再投影の結果の頑健さ(rob
ustness)は、そのような構成は極めて希であるか存在しないことを示唆
していると言える。エピポーラ制約条件の数値的不安定性はそれをもたらす重要
な面の存在によるということが一般に信じられているので、この問題を調査する
ことは重要である。「トリリニア」テンソルの概念、その特性、3つの画像の配
置との関係、複数の画像から3次元の再構成をする応用は、将来の重要な方向で
ある。
本論文を通して強調した応用は、整列による視覚認識である。新しい画像(ψ3
)上の必要最小限の点(7つ)でまずまずの性能が得られたが、画像からモデ
ルへの対応づけで一致する点の可能なすべての組み合わせを試す場合は点の数が
多すぎるかもしれない。モデルが正射写真であるが、新しい画像が透視図である
という特殊な場合の双一次関数の存在は、点を数えるという観点からはより有望
である。ここでは、透視図を認識するためには必要な対応点が5つでよいという
結果が得られた(モデルが正射写真であるという条件を見たすものとする)。実際
に双一次関数を試してみて、点がいくつ必要かは確認していないが、これは今後
実験する予定である。このような代数関数はその簡潔さゆえに、視覚認識以外の
作業にも用途が見つかるであろうと考える人もいるかもしれないので、そのいく
つかを以下でとり上げる。
他の応用として、簡潔さが最重要であり、点の数はそれほど問題ではないよう
な分野がある。たとえば、モデルを基にした圧縮を考える。トリリニア関数を使
用すれば、完全に対応する2枚の参照画像の関数として任意の画像を表すために
は17個のパラメータが必要である(対応点の数を9つから7つに減らすために
27個の係数を使用した)。いま、送信側と受信側がともに2つの参照画像を持
っていて、この2つの画像の間の対応関係を得るために同じアルゴリズムを使用
するものとする。第3の画像を送信するには(セルフ・オクルージョンの問題は
無視し、別個に扱うものとする)、送信側は多数の点を使用して17個のパラメ
ータを求めることができるが、最終的に送信するのは17個のパラメータのみで
ある。受信側は、受信されたパラメータを前提に、2つの参照画像を「トリリニ
アな方法」で単に結合するだけである。これは明らかに点の数があまり重要では
なく、簡潔さと、近似計算による頑健さ(上記を参照)とが非常に重要である場
合に属する。
画像のコード化に関連し、画像を「層」に分解するという手法が最近[1.2]に
よって提案された。この手法では、一連の画像がいくつかの領域に分割され、各
領域の動きが2次元アフィン変換によって近似的に表される。送信側は最初の画
像を送信した後、それ以降の各画像については各領域の6つのアフィン・パラメ
ータだけを送信する。画像の代数関数を使用すれば、この手法はより強力なもの
になる可能性がある。なぜなら、シーンを平面に分割する代わりに、シーンをそ
れ以降の画像への変位を表す17個のパラメータを含む対象物に分割することが
できるからである。
もう1つの応用はコンピュータ・グラフィックスである。再投影技法は画像の
レンダリングのための手っ取り早い方法である。3次元の対象物の完全にレンダ
リングされた画像があれば、他の任意の画像は(ここでもオクルージョンの問題
は無視する)単にこの参照画像を「結合する」だけでレンダリングできる。この
場合もやはり、対応点の数はあまり問題ではない。
本論文で図とともに説明した画像処理操作は、その一部または全部をソフトウ
ェアで実現し得る。あるいは、この画像処理操作の一部または全部をROM(読
取り専用メモリ)に実装し得る。ソフトウェアの構成要素は、場合によつては必
要に応じて従来の技法を使用してハードウェアで実現し得る。
本発明はその応用範囲が極めて広いが、特に2次元から3次元への変換技法が
有用であるようなすべての分野に応用できる。本発明の応用分野は、少なくとも
次のようなものである。航空衛星写真からの地図制作及び宇宙空間組み立て工場
と造船の組み立て工場での座標測定を含む写真測量アプリケーション、工業部品
の座標測定(CMM)、工業部品の自動光学検査、ロボットのセル・アラインメ
ント、ロボットの動作軌道の識別、3次元ロボットのフィードバック、シーンの
3次元モデリング、対象物の3次元モデリング、リバースエンジニアリング、3
次元ディジタル化である。
付録Bは本発明の実施の形態に従って構成し、実際に動作する3次元再構成装
置の好ましいソフトウェア・インプリメンテーションのリストである。付録Bに
基づいて3次元再構成装置を実現するためには、MathSoft社から販売さ
れているMaple2ソフトウェアを、IBMまたはSUNのワークステーショ
ン上で使用するのがよい。その手順は次のとおりである。
a.付録Bのリストから作成したプログラムをOPEN FILEコマンドを使
用してMaple2にロードする。
b.WITH(LINALG)コマンドを表示している行の上にカーソルを移動
し、サブルーチンを実行する。
c.次にRETURNキーを押し続け、カーソルをファイルの終わりまで移動す
る。
d.次にカーソルをファイルの先頭に戻す。
e.EVALN (PCOMP)を含んだ行に来るまでRETURNキーを押し
続け、シミュレーションを実行する。
そうすると、システムは与えられた3次元世界と再構成した3次元世界との間
の比較を画面に表示する。
付録Bのリストは本論文で図とともに説明した画像転送のための装置と方法の
実現にも有用である。画像転送の実現には、たとえば、付録Bのリストに「認識
のための代数関数」という見出しの節で示した方程式3と4を併用できる。
付録で説明した特定の実例は、本発明の詳細な説明として提供しただけであり
、この実例のみに限定されるわけではない。
本発明のさまざまな特徴は、明瞭に説明するために、独立した実例をあげて説
明していることがあるが、1つの実例に組み合わせて提供することもできる。逆
に、本発明のさまざまな機能は、簡潔に説明するために、1つの実例をあげて説
明していることがあるが、個々にあるいは適切な組み合わせで提供することもで
きる。
この技術の当業者が理解するように、本発明は上記で具体的に図とともに説明
した例だけに限定されるものではない。本発明の範囲はむしろ以下で述べる請求
の範囲によってのみ限定される。
─────────────────────────────────────────────────────
フロントページの続き
(81)指定国 EP(AT,BE,CH,DE,
DK,ES,FI,FR,GB,GR,IE,IT,L
U,MC,NL,PT,SE),OA(BF,BJ,CF
,CG,CI,CM,GA,GN,ML,MR,NE,
SN,TD,TG),AP(KE,LS,MW,SD,S
Z,UG),UA(AM,AZ,BY,KG,KZ,MD
,RU,TJ,TM),AL,AM,AT,AU,AZ
,BB,BG,BR,BY,CA,CH,CN,CZ,
DE,DK,EE,ES,FI,GB,GE,HU,I
S,JP,KE,KG,KP,KR,KZ,LK,LR
,LS,LT,LU,LV,MD,MG,MK,MN,
MW,MX,NO,NZ,PL,PT,RO,RU,S
D,SE,SG,SI,SK,TJ,TM,TR,TT
,UA,UG,US,UZ,VN
【要約の続き】
ただし、ajk及びbjkはそれぞれ行列A、Bの要素
であり、vi′vi″はそれぞれベクトルv′、v″の
要素である。これらの行列とベクトルは全体として3次
元の対象物を撮影した3つの画像のカメラパラメータを
表す。この配列を使用して2次元の対象物に関する情報
を生成する。