JP3020898B2 - アフィンカメラ補正による三次元位置の線形推定方法 - Google Patents
アフィンカメラ補正による三次元位置の線形推定方法Info
- Publication number
- JP3020898B2 JP3020898B2 JP9195611A JP19561197A JP3020898B2 JP 3020898 B2 JP3020898 B2 JP 3020898B2 JP 9195611 A JP9195611 A JP 9195611A JP 19561197 A JP19561197 A JP 19561197A JP 3020898 B2 JP3020898 B2 JP 3020898B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- dimensional position
- affine
- image
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】この発明はアフィンカメラ補
正による三次元位置の線形推定方法に関し、特に、画像
情報を用いてロボットなどを制御する場合、複数のカメ
ラで撮影した画像から三次元空間中の対象点の三次元位
置を推定するようなアフィンカメラ補正による三次元位
置の線形推定方法に関する。
正による三次元位置の線形推定方法に関し、特に、画像
情報を用いてロボットなどを制御する場合、複数のカメ
ラで撮影した画像から三次元空間中の対象点の三次元位
置を推定するようなアフィンカメラ補正による三次元位
置の線形推定方法に関する。
【０００２】
【従来の技術】三次元空間に存在する点（対象点）をカ
メラで撮影し、対象点の三次元位置を推定する方法は、
コンピュータビジョンの中心的な問題である。これを解
決する最も基本的な手法として立体視が挙げられる。立
体視では、予め相互の位置，姿勢のわかっている２台の
カメラで対象点を撮影し、その投影像から三角測量の原
理で三次元位置を決定する。立体視では、カメラの位
置，姿勢，焦点距離などを正確に測定する必要がある。
これはカメラキャリブレーションと呼ばれ、コンピュー
タビジョンやロボティクスの分野で従来から研究されて
きた。このとき、三次元空間と画像の関係の記述法とし
て透視変換による関係が一般に採用されている。
メラで撮影し、対象点の三次元位置を推定する方法は、
コンピュータビジョンの中心的な問題である。これを解
決する最も基本的な手法として立体視が挙げられる。立
体視では、予め相互の位置，姿勢のわかっている２台の
カメラで対象点を撮影し、その投影像から三角測量の原
理で三次元位置を決定する。立体視では、カメラの位
置，姿勢，焦点距離などを正確に測定する必要がある。
これはカメラキャリブレーションと呼ばれ、コンピュー
タビジョンやロボティクスの分野で従来から研究されて
きた。このとき、三次元空間と画像の関係の記述法とし
て透視変換による関係が一般に採用されている。
【０００３】この透視変換モデルは、一般的なカメラの
理想的なモデルであるといえる。しかし、この投影モデ
ルは正確である反面、非線形という性質を持っている。
立体視を用いた三次元位置推定が計算誤差や投影点の計
測位置誤差に弱いという性質は、この非線形性が原因で
ある。
理想的なモデルであるといえる。しかし、この投影モデ
ルは正確である反面、非線形という性質を持っている。
立体視を用いた三次元位置推定が計算誤差や投影点の計
測位置誤差に弱いという性質は、この非線形性が原因で
ある。
【０００４】この透視変換モデルを、性質の良いカメラ
モデルで近似するという研究も行なわれており、カメラ
モデルの近似をカメラキャリブレーションに応用したも
のとして、Gremban, Thorpe, Kanade:“Geometric Came
ra Calibration using Systems of Linear Equations
”, International Conference on Robotics and Auto
mation, pp. 562-567, 1988がある。その後、Quan: “S
elf-Calibration of anAffine Camera from Multiple V
iews ”, International Journal of ComputerVision,
Vol. 19, No. 1, pp. 93-105, 1966 によるアフィンカ
メラモデルの研究も進められている。アフィンカメラモ
デルでは、三次元空間と画像を線形な関係で記述するも
のである。線形であるため、非線形性に由来する欠点が
解消され、一般に、対象自体の厚みがカメラと対象の間
の距離に比べて十分小さい場合は、透視変換モデルの十
分良い近似であることは知られている。
モデルで近似するという研究も行なわれており、カメラ
モデルの近似をカメラキャリブレーションに応用したも
のとして、Gremban, Thorpe, Kanade:“Geometric Came
ra Calibration using Systems of Linear Equations
”, International Conference on Robotics and Auto
mation, pp. 562-567, 1988がある。その後、Quan: “S
elf-Calibration of anAffine Camera from Multiple V
iews ”, International Journal of ComputerVision,
Vol. 19, No. 1, pp. 93-105, 1966 によるアフィンカ
メラモデルの研究も進められている。アフィンカメラモ
デルでは、三次元空間と画像を線形な関係で記述するも
のである。線形であるため、非線形性に由来する欠点が
解消され、一般に、対象自体の厚みがカメラと対象の間
の距離に比べて十分小さい場合は、透視変換モデルの十
分良い近似であることは知られている。
【０００５】このアフィンカメラモデルの三次元位置推
定における応用例として、Christy,Horaud:“Euclidean
Shape and Motion from Multiple Perspective Views
byAffin Iterations”, IEEE Trans. Pattern Analysis
and Machine Intelligence, Vol. 18, No. 11, pp. 10
98-1104, 1996らの研究がある。この例では、まずアフ
ィンカメラモデルを用いて、対象点の三次元位置の近似
的な推定を行ない、この近似値を初期値として、透視変
換カメラから得られる非線形方程式の最適化を行ない、
対象点の三次元位置をより正確に推定するものである。
しかし、この方法では、非線形方程式の最適化という操
作が必要であり、簡潔な解法であるとは言いにくい。
定における応用例として、Christy,Horaud:“Euclidean
Shape and Motion from Multiple Perspective Views
byAffin Iterations”, IEEE Trans. Pattern Analysis
and Machine Intelligence, Vol. 18, No. 11, pp. 10
98-1104, 1996らの研究がある。この例では、まずアフ
ィンカメラモデルを用いて、対象点の三次元位置の近似
的な推定を行ない、この近似値を初期値として、透視変
換カメラから得られる非線形方程式の最適化を行ない、
対象点の三次元位置をより正確に推定するものである。
しかし、この方法では、非線形方程式の最適化という操
作が必要であり、簡潔な解法であるとは言いにくい。
【０００６】
【発明が解決しようとする課題】立体視のもう１つの流
れとして、カメラを複数（２台以上）用いる多眼立体視
がある。これは、２台だけを用いる場合に比べて情報量
が増え、より安定に三次元位置を推定できると期待され
る。その例として、Tomasi, Kanade: “Shape and Moti
on from Image Streames under Orthography: A Factor
ization method”，International Journal of compute
r Vision, Vol. 9, No. 2, pp. 137-154,1992らの研究
がある。Tomasiらによると、複数の正射影カメラを仮定
できるならば、因子分解法と呼ばれる簡潔な方法で三次
元位置の推定が可能である。もし、カメラが正射影カメ
ラでない場合の三次元位置推定は、エピポーラ拘束と呼
ばれる、非線形な拘束条件を果たす必要がある。そのた
め、容易に三次元位置を推定できるというわけにはいか
ない。
れとして、カメラを複数（２台以上）用いる多眼立体視
がある。これは、２台だけを用いる場合に比べて情報量
が増え、より安定に三次元位置を推定できると期待され
る。その例として、Tomasi, Kanade: “Shape and Moti
on from Image Streames under Orthography: A Factor
ization method”，International Journal of compute
r Vision, Vol. 9, No. 2, pp. 137-154,1992らの研究
がある。Tomasiらによると、複数の正射影カメラを仮定
できるならば、因子分解法と呼ばれる簡潔な方法で三次
元位置の推定が可能である。もし、カメラが正射影カメ
ラでない場合の三次元位置推定は、エピポーラ拘束と呼
ばれる、非線形な拘束条件を果たす必要がある。そのた
め、容易に三次元位置を推定できるというわけにはいか
ない。
【０００７】それゆえに、この発明の主たる目的は、複
数の画像を用いることで、対象点の三次元位置の推定を
簡潔にし、透視変換でモデル化されたカメラによる投影
像を、簡潔な線形カメラモデルによる像に補正すること
によって、計算誤差とノイズなどによる影響を少なくし
得るアフィンカメラ補正による三次元位置の線形推定方
法を提供することである。
数の画像を用いることで、対象点の三次元位置の推定を
簡潔にし、透視変換でモデル化されたカメラによる投影
像を、簡潔な線形カメラモデルによる像に補正すること
によって、計算誤差とノイズなどによる影響を少なくし
得るアフィンカメラ補正による三次元位置の線形推定方
法を提供することである。
【０００８】
【課題を解決するための手段】請求項１に係る発明は、
複数のカメラで対象点の三次元位置を求める方法であっ
て、三次元空間に位置のわかっている複数の参照点を複
数のカメラで撮影して、その投影点の各画像上での座標
を得て、三次元空間と画像との間が線形であるような複
数のアフィンカメラを仮定し、アフィンカメラで各参照
点がどのように投影されるかを計算し、その投影点と一
致するように投影点の座標を補正する。
複数のカメラで対象点の三次元位置を求める方法であっ
て、三次元空間に位置のわかっている複数の参照点を複
数のカメラで撮影して、その投影点の各画像上での座標
を得て、三次元空間と画像との間が線形であるような複
数のアフィンカメラを仮定し、アフィンカメラで各参照
点がどのように投影されるかを計算し、その投影点と一
致するように投影点の座標を補正する。
【０００９】請求項２に係る発明では、投影点の座標の
二次多項式の係数を補正のためのパラメータとする。
二次多項式の係数を補正のためのパラメータとする。
【００１０】請求項３に係る発明では、補正のためのパ
ラメータを決定したことに応じて、三次元空間中の任意
の対象点の三次元位置を推定する。
ラメータを決定したことに応じて、三次元空間中の任意
の対象点の三次元位置を推定する。
【００１１】請求項４に係る発明では、さらに対象点の
投影点を仮想的なアフィンカメラでの投影点の座標と一
致するように二次多項式で補正し、線形な計算で対象点
の三次元位置を推定する。
投影点を仮想的なアフィンカメラでの投影点の座標と一
致するように二次多項式で補正し、線形な計算で対象点
の三次元位置を推定する。
【００１２】
【発明の実施の形態】図１はこの発明の一実施形態を実
行するための装置を示す概略ブロック図である。
行するための装置を示す概略ブロック図である。
【００１３】図１において、複数のカメラ１，２，…，
Ｎによって三次元空間に位置のわかっている複数の参照
点が撮影され、その撮影出力が画像処理装置１０に与え
られ、画像処理装置１０によって仮想的なアフィンカメ
ラで撮影した画像が生成され、三次元位置が線形演算で
推定される。
Ｎによって三次元空間に位置のわかっている複数の参照
点が撮影され、その撮影出力が画像処理装置１０に与え
られ、画像処理装置１０によって仮想的なアフィンカメ
ラで撮影した画像が生成され、三次元位置が線形演算で
推定される。
【００１４】図２はＮ台のカメラで三次元空間の点Ｐを
撮影する状態を示す概念図である。次に、図２を参照し
て、カメラモデルの定義について説明する。三次元空間
の点をＰとし、その投影像の画像上での位置をｐとす
る。これらを斉次座標でそれぞれＰ- ，ｐ- と表現する
と、次式の関係にある。
撮影する状態を示す概念図である。次に、図２を参照し
て、カメラモデルの定義について説明する。三次元空間
の点をＰとし、その投影像の画像上での位置をｐとす
る。これらを斉次座標でそれぞれＰ- ，ｐ- と表現する
と、次式の関係にある。
【００１５】
【数１】
【００１６】Ｍは３×４の行列で、射影行列と呼ばれ、
投影モデル，カメラの位置・姿勢，光学的な性質などを
表わす行列である。Ｍは次のように分解できる場合、こ
のようなカメラモデルを透視カメラモデルと呼ぶ。
投影モデル，カメラの位置・姿勢，光学的な性質などを
表わす行列である。Ｍは次のように分解できる場合、こ
のようなカメラモデルを透視カメラモデルと呼ぶ。
【００１７】
【数２】
【００１８】ただし、ｆu ，ｆv はカメラの焦点距離で
あり、ｕ0 ，ｖ0 は画像中心であり、Ｒ，ｔはカメラの
姿勢と位置を表わす回転行列と並進ベクトルである。こ
れらは一般的なカメラの理想的なモデルである。
あり、ｕ0 ，ｖ0 は画像中心であり、Ｒ，ｔはカメラの
姿勢と位置を表わす回転行列と並進ベクトルである。こ
れらは一般的なカメラの理想的なモデルである。
【００１９】これに対して、Ｍの第４行第１列から第３
列までが０である場合をアフィンカメラモデルと呼ぶ。
列までが０である場合をアフィンカメラモデルと呼ぶ。
【００２０】
【数３】
【００２１】斉次座標表現から一般に用いられているユ
ークリッド座標表現に戻すと、アフィンカメラモデルで
は、点Ｐの三次元での座標をＰA とするならば、その投
影点ｐの画像上での座標ｐA は、次式の形で関係付ける
ことが可能である。
ークリッド座標表現に戻すと、アフィンカメラモデルで
は、点Ｐの三次元での座標をＰA とするならば、その投
影点ｐの画像上での座標ｐA は、次式の形で関係付ける
ことが可能である。
【００２２】ｐA ＝ＣA ＰA ＋ｄ ただし、ＣA は２×３の行列である。ここで、任意の三
次元空間の点ＰG とその画像への投影点ｐG が仮定され
る。ＰA とｐA が、それぞれＰG とｐG を原点とするよ
うな新しい座標系で表現される。つまり、Ｐ′＝ＰA −
ＰG ，ｐ′＝ｐA−ｐG とすると、ｄの項が消え、次式
に示す簡潔な表現となる。
次元空間の点ＰG とその画像への投影点ｐG が仮定され
る。ＰA とｐA が、それぞれＰG とｐG を原点とするよ
うな新しい座標系で表現される。つまり、Ｐ′＝ＰA −
ＰG ，ｐ′＝ｐA−ｐG とすると、ｄの項が消え、次式
に示す簡潔な表現となる。
【００２３】ｐ′＝ＣA Ｐ′ … （１） もし、予めＰG ，ｐG を引いた座標を使うと、三次元空
間Ｐ′と画像ｐ′は２×３の行列ＣA で関係付けること
ができることがわかった。このＣA はアフィンカメラ行
列と呼ばれる。ＰG の例として、もし多数の点が存在す
る場合、それらの点の重心はＰG として用いるのが簡便
である。三次元空間での重心ＰG の投影点は、画像上の
投影点の重心ＰG と一致する。以下の説明では、予めこ
の重心を差し引いた座標系が採用される。
間Ｐ′と画像ｐ′は２×３の行列ＣA で関係付けること
ができることがわかった。このＣA はアフィンカメラ行
列と呼ばれる。ＰG の例として、もし多数の点が存在す
る場合、それらの点の重心はＰG として用いるのが簡便
である。三次元空間での重心ＰG の投影点は、画像上の
投影点の重心ＰG と一致する。以下の説明では、予めこ
の重心を差し引いた座標系が採用される。
【００２４】図３は拡張カメラの概念図であり、図４は
透視カメラによる投影からアフィンカメラによる投影の
補正を説明するための図である。
透視カメラによる投影からアフィンカメラによる投影の
補正を説明するための図である。
【００２５】次に、三次元空間と複数のカメラで得られ
た複数の画像との間の関係について説明する。前述の図
２で説明したように、複数（Ｎ台）のカメラから三次元
空間の点Ｐを撮影したとき、各カメラでのＰの投影点を
ｐ1 ，…，ｐN とする。これは、点ＰをＮ台のカメラで
撮影して得られるものであるが、図３に示すように、三
次元空間の点を２Ｎ次元の「画像」に投影したものと考
えることもできる。このように、図３に示すように三次
元空間を２Ｎ次元の画像に投影するカメラのことを拡張
カメラと呼ぶことにする。ここで注意しなくてはならな
いのは、拡張カメラでは、三次元からの次元の縮退は起
こらない、冗長な観測系になっていることである。
た複数の画像との間の関係について説明する。前述の図
２で説明したように、複数（Ｎ台）のカメラから三次元
空間の点Ｐを撮影したとき、各カメラでのＰの投影点を
ｐ1 ，…，ｐN とする。これは、点ＰをＮ台のカメラで
撮影して得られるものであるが、図３に示すように、三
次元空間の点を２Ｎ次元の「画像」に投影したものと考
えることもできる。このように、図３に示すように三次
元空間を２Ｎ次元の画像に投影するカメラのことを拡張
カメラと呼ぶことにする。ここで注意しなくてはならな
いのは、拡張カメラでは、三次元からの次元の縮退は起
こらない、冗長な観測系になっていることである。
【００２６】任意の点（一般に重心）とその投影像を原
点とする座標系が採用される。点Ｐの座標をＰA ，画像
ｉにおける点ｐの投影点の座標をｐi とし、まとめて
（２）式のように表記することにする。
点とする座標系が採用される。点Ｐの座標をＰA ，画像
ｉにおける点ｐの投影点の座標をｐi とし、まとめて
（２）式のように表記することにする。
【００２７】
【数４】
【００２８】これは拡張カメラにおける投影点の座標と
いえる。もし、各カメラがアフィンカメラであると仮定
するならば、カメラｉでのアフィンカメラ行列をＣi と
すると、（１）式より次式の関係がある。
いえる。もし、各カメラがアフィンカメラであると仮定
するならば、カメラｉでのアフィンカメラ行列をＣi と
すると、（１）式より次式の関係がある。
【００２９】ｐAi＝Ｃi ＰA すべてのカメラについてまとめると（３）式のように記
述できる。
述できる。
【００３０】ｐ* A ＝ＣV ＰA … （３） ただし、ＣV は次の関係にある。
【００３１】
【数５】
【００３２】ｐ* A は２Ｎ- ベクトルであり、Ｃv は２
Ｎ×３の行列である。ＣV は各カメラをアフィンカメラ
であると仮定した場合の、拡張カメラのアフィンカメラ
行列に相当している。
Ｎ×３の行列である。ＣV は各カメラをアフィンカメラ
であると仮定した場合の、拡張カメラのアフィンカメラ
行列に相当している。
【００３３】さて、（３）式という関係の下で、仮にＣ
V が既知であるならば、画像ｐ* Aから、点Ｐの三次元
位置ＰA を解くことができる。それには、ＣV の擬似逆
行列を使って（５）式のようにすればよい。
V が既知であるならば、画像ｐ* Aから、点Ｐの三次元
位置ＰA を解くことができる。それには、ＣV の擬似逆
行列を使って（５）式のようにすればよい。
【００３４】
【数６】
【００３５】観測量ｐ* A にノイズが載っていないので
あれば、つまり、ｐ* A が正確に観測されている状況で
は、（５）式によって得られるＰA は正確な三次元位置
となっている。つまり、このＰA は近似的な解ではな
く、アフィンカメラの仮定の下では正しい三次元位置の
復元が可能である。ｐ* A にノイズが載っている場合
は、（５）式の解法は、｜｜ｐ* A −ＣV ＰA ｜｜を最
小に、つまり拡張アフィンカメラでの画像上の誤差を最
小にするような推定となっている。拡張アフィンカメラ
を仮定するならば、三次元空間の座標ＰA と画像ｐ* A
の間は線形の関係となっている。線形であるがゆえに、
解析やノイズに対する耐性などは非線形の場合と比べて
格段に良いことは明らかである。
あれば、つまり、ｐ* A が正確に観測されている状況で
は、（５）式によって得られるＰA は正確な三次元位置
となっている。つまり、このＰA は近似的な解ではな
く、アフィンカメラの仮定の下では正しい三次元位置の
復元が可能である。ｐ* A にノイズが載っている場合
は、（５）式の解法は、｜｜ｐ* A −ＣV ＰA ｜｜を最
小に、つまり拡張アフィンカメラでの画像上の誤差を最
小にするような推定となっている。拡張アフィンカメラ
を仮定するならば、三次元空間の座標ＰA と画像ｐ* A
の間は線形の関係となっている。線形であるがゆえに、
解析やノイズに対する耐性などは非線形の場合と比べて
格段に良いことは明らかである。
【００３６】拡張アフィンカメラを仮定できる場合は、
その画像から三次元空間の点の三次元位置を線形な形で
復元できることがわかった。これはアフィンカメラを仮
定できる場合だけで、透視カメラの場合は例えノイズが
のっていない場合でも、（５）式の方法では、三次元位
置を正確には復元できないことは容易に推察できる。し
かし、もし、透視カメラの画像から何らかの方法を使っ
てアフィンカメラで撮影したのと等価な画像を生成する
ことができたならば、その画像を使って三次元位置を線
形に推定することが可能なはずである。
その画像から三次元空間の点の三次元位置を線形な形で
復元できることがわかった。これはアフィンカメラを仮
定できる場合だけで、透視カメラの場合は例えノイズが
のっていない場合でも、（５）式の方法では、三次元位
置を正確には復元できないことは容易に推察できる。し
かし、もし、透視カメラの画像から何らかの方法を使っ
てアフィンカメラで撮影したのと等価な画像を生成する
ことができたならば、その画像を使って三次元位置を線
形に推定することが可能なはずである。
【００３７】ここでは、透視カメラで得られた画像をア
フィンカメラで撮影した画像と等価な画像に補正する。
このためには、エピポーラ幾何の拘束を使うことも考え
られるが、ここではできるだけ単純な補正方法を用い
る。以下、拡張カメラを用いて説明する。
フィンカメラで撮影した画像と等価な画像に補正する。
このためには、エピポーラ幾何の拘束を使うことも考え
られるが、ここではできるだけ単純な補正方法を用い
る。以下、拡張カメラを用いて説明する。
【００３８】図４に示すように、三次元空間の点Ｐを図
１に示した現実のＮ台のカメラで撮影した画像をｐ* と
する。また、行列ＣV で与えられる仮想的な拡張アフィ
ンカメラを考え、これで点Ｐを撮影した画像をｐ* A と
する。ｐ* がｐ* A と一致するように、ｐ* が補正され
る。この補正はさまざまな方法が考えられるが、ここで
はｐ* A のｋ番目の要素（ｐ* A ）k （１≦ｋ≦２Ｎ）
をｐ* の二次多項式で近似することにする。つまり、次
の（６）式でモデル化される。
１に示した現実のＮ台のカメラで撮影した画像をｐ* と
する。また、行列ＣV で与えられる仮想的な拡張アフィ
ンカメラを考え、これで点Ｐを撮影した画像をｐ* A と
する。ｐ* がｐ* A と一致するように、ｐ* が補正され
る。この補正はさまざまな方法が考えられるが、ここで
はｐ* A のｋ番目の要素（ｐ* A ）k （１≦ｋ≦２Ｎ）
をｐ* の二次多項式で近似することにする。つまり、次
の（６）式でモデル化される。
【００３９】
【数７】
【００４０】Ｔの自由度は全体で２Ｎ×（２Ｎ＋１）×
（Ｎ＋１）であるので、透視カメラモデルを十分記述で
きると考えられる。ここで注意すべきは、Ｔはすべての
点について共通のものであるということである。Ｔは現
実のカメラの投影法，カメラの位置，姿勢などカメラの
性質や配置によって決定されるパラメータである。この
ため、カメラを移動させたり、焦点距離を変化させない
限り、同じＴを使い続けることができる。
（Ｎ＋１）であるので、透視カメラモデルを十分記述で
きると考えられる。ここで注意すべきは、Ｔはすべての
点について共通のものであるということである。Ｔは現
実のカメラの投影法，カメラの位置，姿勢などカメラの
性質や配置によって決定されるパラメータである。この
ため、カメラを移動させたり、焦点距離を変化させない
限り、同じＴを使い続けることができる。
【００４１】次に、三次元復元方法について詳細に説明
する。具体的に対象点の三次元位置を決定するために
は、２つの段階が必要となる。その第１段階は仮想的な
拡張アフィンカメラのパラメータＣV と補正のためのパ
ラメータＴを決定する校正段階である。そして、第２段
階は、Ｔを用いて現実のカメラで得られた画像拡張アフ
ィンカメラに投影したものと同等になるように補正し、
対象点の三次元位置を線形に推定する推定段階である。
する。具体的に対象点の三次元位置を決定するために
は、２つの段階が必要となる。その第１段階は仮想的な
拡張アフィンカメラのパラメータＣV と補正のためのパ
ラメータＴを決定する校正段階である。そして、第２段
階は、Ｔを用いて現実のカメラで得られた画像拡張アフ
ィンカメラに投影したものと同等になるように補正し、
対象点の三次元位置を線形に推定する推定段階である。
【００４２】図５は校正段階のフローチャートを示し、
図６は推定段階のフローチャートを示す。これらのフロ
ーチャートに基づくプログラムは図１に示した画像処理
装置によって実行される。
図６は推定段階のフローチャートを示す。これらのフロ
ーチャートに基づくプログラムは図１に示した画像処理
装置によって実行される。
【００４３】まず、図５を参照して、校正段階について
説明する。三次元位置情報を復元するには、拡張アフィ
ンカメラ行列ＣV と補正用の行列Ｔを求めておく必要が
ある。この操作はシステムの校正とみなすことができ
る。このために、予め三次元位置のわかっているＭ個の
参照点Ｐ1 ，…，ＰM と、これらのＮ台のカメラでの投
影像ｐ* 1 ，…，ｐ* N が使われる。キャリブレーショ
ン用の格子を使ってもよいし、任意の点列を使ってもよ
い。しかし、この発明による方法はあくまでも近似的な
三次元復元方法であることを考えると、実際に推定した
い三次元空間の領域とあまり異ならない領域に参照点を
置くのが好ましい。
説明する。三次元位置情報を復元するには、拡張アフィ
ンカメラ行列ＣV と補正用の行列Ｔを求めておく必要が
ある。この操作はシステムの校正とみなすことができ
る。このために、予め三次元位置のわかっているＭ個の
参照点Ｐ1 ，…，ＰM と、これらのＮ台のカメラでの投
影像ｐ* 1 ，…，ｐ* N が使われる。キャリブレーショ
ン用の格子を使ってもよいし、任意の点列を使ってもよ
い。しかし、この発明による方法はあくまでも近似的な
三次元復元方法であることを考えると、実際に推定した
い三次元空間の領域とあまり異ならない領域に参照点を
置くのが好ましい。
【００４４】この参照点列から、まず仮想的な拡張アフ
ィンカメラ行列ＣV が求められる。基本的には、ＣV は
どのような行列でもよい。アフィンカメラで撮影した像
は、アフィン変換で任意のアフィンカメラで撮影した像
に変換できるからである。ここでも、あくまでもこの発
明による方法が近似である点を考慮し、実際のカメラの
最も良い近似となるように、仮想的なアフィンカメラの
パラメータを選ぶのがよい。もし、カメラがすべてアフ
ィンカメラであると仮定するならば、次式の関係がある
はずである。
ィンカメラ行列ＣV が求められる。基本的には、ＣV は
どのような行列でもよい。アフィンカメラで撮影した像
は、アフィン変換で任意のアフィンカメラで撮影した像
に変換できるからである。ここでも、あくまでもこの発
明による方法が近似である点を考慮し、実際のカメラの
最も良い近似となるように、仮想的なアフィンカメラの
パラメータを選ぶのがよい。もし、カメラがすべてアフ
ィンカメラであると仮定するならば、次式の関係がある
はずである。
【００４５】ＣV ［Ｐ1 …ＰM ］＝［ｐ* 1 …ｐ* M ］ もちろん、Ｐ1 ，…，ＰM ，ｐ* 1 ，…，ｐ* M は、重
心を引いて正規化した後の座標である。この方程式を、
拡張カメラにおけるすべての点の誤差の総計｜｜［ｐ*
1 …ｐ* M ］−Ｃ0 ［Ｐ1 …ＰM ］｜｜が最小になるよ
うに導き、（７）式を得る。
心を引いて正規化した後の座標である。この方程式を、
拡張カメラにおけるすべての点の誤差の総計｜｜［ｐ*
1 …ｐ* M ］−Ｃ0 ［Ｐ1 …ＰM ］｜｜が最小になるよ
うに導き、（７）式を得る。
【００４６】 ＣV ＝［ｐ* 1 …ｐ* M ］+ ［Ｐ1 …ＰM ］ … （７） 次に、補正用の行列Ｔが求められる。ＣV という拡張ア
フィンカメラで、Ｐjが撮影されたとすると、画像上、
ｐ* Aj＝ＣV Ｐj に投影される。このｐ* Ajを得るよう
に、ｐ* j が補正される。この補正方法は、先に述べた
ように、次式によって行なわれる。
フィンカメラで、Ｐjが撮影されたとすると、画像上、
ｐ* Aj＝ＣV Ｐj に投影される。このｐ* Ajを得るよう
に、ｐ* j が補正される。この補正方法は、先に述べた
ように、次式によって行なわれる。
【００４７】
【数８】
【００４８】いま、ｐ* j ，ｐ* Aj，（１≦ｊ≦Ｍ）が
得られているので、Ｔk ，（１≦ｋ≦２Ｎ）を求めるに
は、各Ｔk の（２Ｎ＋１）×（Ｎ＋１）項の要素に関し
て線形方程式を解くだけでよい。
得られているので、Ｔk ，（１≦ｋ≦２Ｎ）を求めるに
は、各Ｔk の（２Ｎ＋１）×（Ｎ＋１）項の要素に関し
て線形方程式を解くだけでよい。
【００４９】以上の仮定によって、Ｍ個の参照点の三次
元位置Ｐj と、それらのＮ台のカメラでの投影像ｐ*
i j から、仮想的なアフィンカメラ行列ＣV およびそれ
に対応する補正行列Ｔk ，（１≦ｋ≦２Ｎ）が決定され
た。
元位置Ｐj と、それらのＮ台のカメラでの投影像ｐ*
i j から、仮想的なアフィンカメラ行列ＣV およびそれ
に対応する補正行列Ｔk ，（１≦ｋ≦２Ｎ）が決定され
た。
【００５０】次に、図６を参照して、三次元位置推定方
法について説明する。前述の校正段階と同様にして、対
象点ＰがＮ台のカメラで撮影されて投影像ｑ* が得ら
れ、参照点の重心ＰG ，各カメラでの重心ｐ* G を考慮
し、投影像ｑ* の座標が正規化される。そして、これか
ら仮想的な拡張アフィンカメラＣV で撮影されのと同等
の投影像ｑ* A が得られるように、次式を用いて補正さ
れる。
法について説明する。前述の校正段階と同様にして、対
象点ＰがＮ台のカメラで撮影されて投影像ｑ* が得ら
れ、参照点の重心ＰG ，各カメラでの重心ｐ* G を考慮
し、投影像ｑ* の座標が正規化される。そして、これか
ら仮想的な拡張アフィンカメラＣV で撮影されのと同等
の投影像ｑ* A が得られるように、次式を用いて補正さ
れる。
【００５１】
【数９】
【００５２】そして、このｑ* A を用いて、（８）式と
Ｑの三次元位置Ｑが推定される。
Ｑの三次元位置Ｑが推定される。
【００５３】
【数１０】
【００５４】
【発明の効果】以上のように、この発明によれば、各カ
メラの正確な投影モデルを知ることなく、すべて仮想的
なアフィンカメラに一度投影し直し、そこから三次元位
置を推定するようにしたので、カメラの種類，位置，姿
勢に依存しない三次元位置を推定することができる。し
かも、計算自体が単純であり、仮想的なアフィンカメラ
から線形な形で三次元位置を安定に推定できる。そのた
め、計算誤差やノイズの影響を小さくできる。
メラの正確な投影モデルを知ることなく、すべて仮想的
なアフィンカメラに一度投影し直し、そこから三次元位
置を推定するようにしたので、カメラの種類，位置，姿
勢に依存しない三次元位置を推定することができる。し
かも、計算自体が単純であり、仮想的なアフィンカメラ
から線形な形で三次元位置を安定に推定できる。そのた
め、計算誤差やノイズの影響を小さくできる。
【図１】この発明の一実施形態を実行するための装置を
示す概略ブロック図である。
示す概略ブロック図である。
【図２】Ｎ台のカメラで三次元空間の点Ｐを撮影する状
態を示す概念図である。
態を示す概念図である。
【図３】拡張カメラの概念図である。
【図４】透視カメラによる投影からアフィンカメラによ
る投影への補正を説明するための図である。
る投影への補正を説明するための図である。
【図５】この発明の一実施形態における校正段階のフロ
ーチャートである。
ーチャートである。
【図６】同じく推定段階のフローチャートである。
１，２，…，Ｎ カメラ １０ 画像処理装置
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平10−54709（ＪＰ，Ａ) 特開 平６−195446（ＪＰ，Ａ) 特開 平６−129833（ＪＰ，Ａ) 特開 平４−336677（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G01B 11/00 - 11/30 102 G06T 7/00
Claims (4)
- 【請求項１】 複数のカメラで対象点の三次元位置を求
める方法であって、 前記三次元空間に位置のわかっている複数の参照点を複
数のカメラで撮影して、その投影点の各画像上での座標
を得る第１のステップ、および前記三次元空間と画像の
間が線形であるような複数のアフィンカメラを仮定し、
前記アフィンカメラで前記各参照点がどのように投影さ
れるかを計算し、その投影点と一致するように前記投影
点の座標を補正する第２のステップを含むことを特徴と
する、アフィンカメラ補正による三次元位置の線形推定
方法。 - 【請求項２】 前記第２のステップは、前記投影点の座
標の二次多項式の係数を補正のためのパラメータとする
ことを特徴とする、請求項１に記載のアフィンカメラ補
正による三次元位置の線形推定方法。 - 【請求項３】 さらに、前記補正のためのパラメータを
決定したことに応じて、前記三次元空間中の任意の対象
点の三次元位置を推定するステップを含むことを特徴と
する、請求項２に記載のアフィンカメラ補正による三次
元位置の線形推定方法。 - 【請求項４】 さらに、前記対象点の投影点を前記仮想
的なアフィンカメラでの投影点の座標と一致するように
前記二次多項式で補正し、線形な計算で前記対象点の三
次元位置を推定するステップを含むことを特徴とする、
請求項３に記載のアフィンカメラ補正による三次元位置
の線形推定方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9195611A JP3020898B2 (ja) | 1997-07-22 | 1997-07-22 | アフィンカメラ補正による三次元位置の線形推定方法 |
| DE69800084T DE69800084T2 (de) | 1997-07-22 | 1998-06-16 | Verfahren zur linearen Bestimmung der drei-dimensionalen Lage mit affiner Kamerakorrektur |
| EP98111042A EP0902395B1 (en) | 1997-07-22 | 1998-06-16 | Linear estimation method for three-dimensional position with affine camera correction |
| US09/115,516 US6137902A (en) | 1997-07-22 | 1998-07-15 | Linear estimation method for three-dimensional position with affine camera correction |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9195611A JP3020898B2 (ja) | 1997-07-22 | 1997-07-22 | アフィンカメラ補正による三次元位置の線形推定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1137721A JPH1137721A (ja) | 1999-02-12 |
| JP3020898B2 true JP3020898B2 (ja) | 2000-03-15 |
Family
ID=16344049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9195611A Expired - Fee Related JP3020898B2 (ja) | 1997-07-22 | 1997-07-22 | アフィンカメラ補正による三次元位置の線形推定方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6137902A (ja) |
| EP (1) | EP0902395B1 (ja) |
| JP (1) | JP3020898B2 (ja) |
| DE (1) | DE69800084T2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102267396B1 (ko) * | 2018-06-14 | 2021-06-18 | 어플라이드 머티어리얼스, 인코포레이티드 | 교정 지그 및 교정 방법 |
| US11075105B2 (en) | 2017-09-21 | 2021-07-27 | Applied Materials, Inc. | In-situ apparatus for semiconductor process module |
| US11201037B2 (en) | 2018-05-28 | 2021-12-14 | Applied Materials, Inc. | Process kit with adjustable tuning ring for edge uniformity control |
| US11289310B2 (en) | 2018-11-21 | 2022-03-29 | Applied Materials, Inc. | Circuits for edge ring control in shaped DC pulsed plasma process device |
| US11393710B2 (en) | 2016-01-26 | 2022-07-19 | Applied Materials, Inc. | Wafer edge ring lifting solution |
| US12009236B2 (en) | 2019-04-22 | 2024-06-11 | Applied Materials, Inc. | Sensors and system for in-situ edge ring erosion monitor |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6661913B1 (en) * | 1999-05-05 | 2003-12-09 | Microsoft Corporation | System and method for determining structure and motion using multiples sets of images from different projection models for object modeling |
| JP2000331160A (ja) * | 1999-05-24 | 2000-11-30 | Nec Corp | 画像マッチング装置、画像マッチング方法及び画像マッチング用プログラムを記録した記録媒体 |
| JP3476710B2 (ja) * | 1999-06-10 | 2003-12-10 | 株式会社国際電気通信基礎技術研究所 | ユークリッド的な３次元情報の復元方法、および３次元情報復元装置 |
| KR100584536B1 (ko) * | 1999-09-29 | 2006-05-30 | 삼성전자주식회사 | 화상 통신을 위한 화상처리장치 |
| US6313813B1 (en) * | 1999-10-21 | 2001-11-06 | Sony Corporation | Single horizontal scan range CRT monitor |
| FR2801123B1 (fr) * | 1999-11-12 | 2002-04-05 | Bertrand Aube | Procede de creation automatique de maquette numerique a partir de couples d'images stereoscopiques |
| US6970591B1 (en) | 1999-11-25 | 2005-11-29 | Canon Kabushiki Kaisha | Image processing apparatus |
| GB2358307B (en) * | 1999-11-25 | 2004-03-24 | Canon Kk | Image processing apparatus |
| US6606406B1 (en) * | 2000-05-04 | 2003-08-12 | Microsoft Corporation | System and method for progressive stereo matching of digital images |
| ITRM20010045A1 (it) | 2001-01-29 | 2002-07-29 | Consiglio Nazionale Ricerche | Sistema e metodo per la rilevazione della posizione relativa di un oggetto rispetto ad un punto di riferimento. |
| GB2372659A (en) * | 2001-02-23 | 2002-08-28 | Sharp Kk | A method of rectifying a stereoscopic image |
| GB2380887A (en) * | 2001-10-13 | 2003-04-16 | Isis Innovation | Lens distortion correction using correspondence points within images which are constrained to lie on the same epipolar curve |
| FI111755B (fi) | 2001-11-23 | 2003-09-15 | Mapvision Oy Ltd | Menetelmä ja järjestelmä konenäköjärjestelmän kalibroimiseksi |
| JP3983573B2 (ja) * | 2002-03-06 | 2007-09-26 | 富士重工業株式会社 | ステレオ画像特性検査システム |
| JP3859574B2 (ja) * | 2002-10-23 | 2006-12-20 | ファナック株式会社 | ３次元視覚センサ |
| US7557966B2 (en) * | 2004-08-11 | 2009-07-07 | Acushnet Company | Apparatus and method for scanning an object |
| JP4737763B2 (ja) * | 2006-06-14 | 2011-08-03 | Ｋｄｄｉ株式会社 | 多視点画像を用いた自由視点画像生成方法、装置及びプログラム |
| JP2008021092A (ja) * | 2006-07-12 | 2008-01-31 | Fanuc Ltd | ロボットシステムのシミュレーション装置 |
| DE102007042963A1 (de) * | 2007-09-10 | 2009-03-12 | Steinbichler Optotechnik Gmbh | Verfahren und Vorrichtung zur dreidimensionalen Digitalisierung von Objekten |
| US9513765B2 (en) | 2007-12-07 | 2016-12-06 | Sony Corporation | Three-dimensional sliding object arrangement method and system |
| JP5029424B2 (ja) * | 2008-02-28 | 2012-09-19 | Ｊｆｅスチール株式会社 | 張り剛性測定方法および装置 |
| AU2009243439A1 (en) * | 2009-11-30 | 2011-06-16 | Canon Kabushiki Kaisha | Robust image alignment for distributed multi-view imaging systems |
| US9215441B2 (en) * | 2011-02-17 | 2015-12-15 | Konica Minolta, Inc. | Image processing apparatus, non-transitory computer readable recording medium, and image processing method |
| JP2012223839A (ja) * | 2011-04-15 | 2012-11-15 | Yaskawa Electric Corp | ロボットシステムおよびロボットシステムの駆動方法 |
| US20140348416A1 (en) * | 2013-05-23 | 2014-11-27 | Himax Media Solutions, Inc. | Stereo image rectification apparatus and method |
| US9569850B2 (en) | 2013-10-16 | 2017-02-14 | Cognex Corporation | System and method for automatically determining pose of a shape |
| CN108830797A (zh) * | 2018-05-24 | 2018-11-16 | 桂林航天工业学院 | 一种基于仿射投影矩阵模型的直线匹配方法 |
| CN113048985B (zh) * | 2021-05-31 | 2021-08-06 | 中国人民解放军国防科技大学 | 已知相对旋转角度条件下的像机相对运动估计方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2874710B2 (ja) * | 1996-02-26 | 1999-03-24 | 日本電気株式会社 | 三次元位置計測装置 |
| US6009210A (en) * | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
| US6061468A (en) * | 1997-07-28 | 2000-05-09 | Compaq Computer Corporation | Method for reconstructing a three-dimensional object from a closed-loop sequence of images taken by an uncalibrated camera |
| JPH11139506A (ja) * | 1997-11-11 | 1999-05-25 | Taisei Denki Kogyo Kk | ごみ圧縮装置 |
-
1997
- 1997-07-22 JP JP9195611A patent/JP3020898B2/ja not_active Expired - Fee Related
-
1998
- 1998-06-16 EP EP98111042A patent/EP0902395B1/en not_active Expired - Lifetime
- 1998-06-16 DE DE69800084T patent/DE69800084T2/de not_active Expired - Fee Related
- 1998-07-15 US US09/115,516 patent/US6137902A/en not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11393710B2 (en) | 2016-01-26 | 2022-07-19 | Applied Materials, Inc. | Wafer edge ring lifting solution |
| US11075105B2 (en) | 2017-09-21 | 2021-07-27 | Applied Materials, Inc. | In-situ apparatus for semiconductor process module |
| US11887879B2 (en) | 2017-09-21 | 2024-01-30 | Applied Materials, Inc. | In-situ apparatus for semiconductor process module |
| US11201037B2 (en) | 2018-05-28 | 2021-12-14 | Applied Materials, Inc. | Process kit with adjustable tuning ring for edge uniformity control |
| US11728143B2 (en) | 2018-05-28 | 2023-08-15 | Applied Materials, Inc. | Process kit with adjustable tuning ring for edge uniformity control |
| KR102267396B1 (ko) * | 2018-06-14 | 2021-06-18 | 어플라이드 머티어리얼스, 인코포레이티드 | 교정 지그 및 교정 방법 |
| US11935773B2 (en) | 2018-06-14 | 2024-03-19 | Applied Materials, Inc. | Calibration jig and calibration method |
| US11289310B2 (en) | 2018-11-21 | 2022-03-29 | Applied Materials, Inc. | Circuits for edge ring control in shaped DC pulsed plasma process device |
| US12009236B2 (en) | 2019-04-22 | 2024-06-11 | Applied Materials, Inc. | Sensors and system for in-situ edge ring erosion monitor |
Also Published As
| Publication number | Publication date |
|---|---|
| DE69800084T2 (de) | 2000-09-14 |
| EP0902395B1 (en) | 2000-03-01 |
| US6137902A (en) | 2000-10-24 |
| JPH1137721A (ja) | 1999-02-12 |
| DE69800084D1 (de) | 2000-04-06 |
| EP0902395A1 (en) | 1999-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3020898B2 (ja) | アフィンカメラ補正による三次元位置の線形推定方法 | |
| Mei et al. | Efficient homography-based tracking and 3-D reconstruction for single-viewpoint sensors | |
| Stein | Lens distortion calibration using point correspondences | |
| Govindu | Combining two-view constraints for motion estimation | |
| JP6044005B2 (ja) | 部分的に既知の環境におけるカメラの位置特定および３ｄ再構築を行う方法 | |
| CN110411476B (zh) | 视觉惯性里程计标定适配及评价方法和*** | |
| US20090141043A1 (en) | Image mosaicing apparatus for mitigating curling effect | |
| Chatterjee et al. | Algorithms for coplanar camera calibration | |
| US7333133B2 (en) | Recursive least squares approach to calculate motion parameters for a moving camera | |
| JP2002032745A (ja) | 点、線から、及び／または画像強度から直接に、３次元シーン構造及びカメラの動きを復元する方法 | |
| JPH1125277A (ja) | 画像間対応検出方法およびその装置 | |
| WO2003036384A2 (en) | Extendable tracking by line auto-calibration | |
| Lourakis et al. | Camera self-calibration using the singular value decomposition of the fundamental matrix | |
| JP4102386B2 (ja) | ３次元情報復元装置 | |
| Rousso et al. | Robust recovery of camera rotation from three frames | |
| JPH0814828A (ja) | ステレオ画像センサのキャリブレーション方法及びその装置 | |
| Chesi et al. | A simple technique for improving camera displacement estimation in eye-in-hand visual servoing | |
| Baker et al. | Aligning images incrementally backwards | |
| Yan et al. | Camera calibration in binocular stereo vision of moving robot | |
| JP2001245323A (ja) | ３次元入力方法および装置 | |
| CN111145268A (zh) | 一种视频注册方法及装置 | |
| JPH0886609A (ja) | ビーム光投影式３次元センサによる計測方法及びキャリブレーション方法並びにそれらの装置 | |
| JP3504128B2 (ja) | ３次元情報復元装置及びその方法 | |
| Tahri et al. | Efficient decoupled pose estimation from a set of points | |
| Kahl et al. | Robust self-calibration and Euclidean reconstruction via affine approximation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19991214 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |