JP3275252B2 - ３次元情報入力方法及びそれを使った３次元情報入力装置 - Google Patents
３次元情報入力方法及びそれを使った３次元情報入力装置Info
- Publication number
- JP3275252B2 JP3275252B2 JP13725494A JP13725494A JP3275252B2 JP 3275252 B2 JP3275252 B2 JP 3275252B2 JP 13725494 A JP13725494 A JP 13725494A JP 13725494 A JP13725494 A JP 13725494A JP 3275252 B2 JP3275252 B2 JP 3275252B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- line
- feature point
- backprojection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は３次元動物体の位置、形
状と動きを計測することに関し、動物体の３次元情報入
力、認識及び表現（ＣＧ）などの分野に利用できる３次
元情報入力方法及びそれを使った３次元情報入力装置に
関する。
状と動きを計測することに関し、動物体の３次元情報入
力、認識及び表現（ＣＧ）などの分野に利用できる３次
元情報入力方法及びそれを使った３次元情報入力装置に
関する。
【０００２】
【従来の技術】従来の３次元情報入力技術は３つに分類
することが出来る。第１の技術はステレオ視法である。
これは２個のカメラで撮影した左右２枚の画像に対し
て、画像上の点・線の対応付けを行うことで、カメラ位
置と左右画像の対応点・線ペアから該ペアに対応するシ
ーン空間上の点・線の位置を推定する技術である。第２
の手法は、動きからの復元法である。これはまずカメラ
を動かしながら撮影した連続画像に対して、画像上の各
特徴点を追跡することで、各特徴点の対応するシーン空
間上の点の位置を推定する技術である。第３の手法は逆
投影法である。これは画像をシーン空間へ逆投影するこ
とで、シーン空間の３次元構造を復元する技術である。
することが出来る。第１の技術はステレオ視法である。
これは２個のカメラで撮影した左右２枚の画像に対し
て、画像上の点・線の対応付けを行うことで、カメラ位
置と左右画像の対応点・線ペアから該ペアに対応するシ
ーン空間上の点・線の位置を推定する技術である。第２
の手法は、動きからの復元法である。これはまずカメラ
を動かしながら撮影した連続画像に対して、画像上の各
特徴点を追跡することで、各特徴点の対応するシーン空
間上の点の位置を推定する技術である。第３の手法は逆
投影法である。これは画像をシーン空間へ逆投影するこ
とで、シーン空間の３次元構造を復元する技術である。
【０００３】第１の手法は（例： Kanade T.and Okutom
i M.and Nakahara T.:“A multiplebaseline stereo me
thod”,Proc. Image Understanding Workshop,pp. 409-
426,1992、あるいは、米国特許No.4,654,872）、物体の
凹凸によりいずれか一方のカメラの視線に対する遮蔽部
分が多数生じ易いので、左右画像間の特徴点を正確な位
置づけが非常に難しいため、精度のよい３次元情報を得
ることが困難である。第２の手法は（例：Bolles R.C.,
Baker H.H. and Marimont D.H.:“ Epipolar-plane im
age analysis: an apprproach to determining structu
re from motion”, IJCV,Vol.1,No.1,pp.7-55,1987）、
カメラを動かしながら画像を撮る間に物体が動いてはな
らないため、動物体に適用できない。最近、一台のカメ
ラで撮影した連続画像から物体の３次元形状と動きを同
時に抽出できる手法が発表されたが（Tomasi C. and Ka
nade T.:“Shape and motion from image streams unde
rorthography: a factorization method”,IJCV,Vol.9,
No.2,pp. 137-154, 1992）、この手法は基本的には特徴
点を画像間で追跡することで特徴点の３次元情報を求め
ているため、物体の動きによって起こる物体上の部分的
遮蔽に非常に弱い。なぜならこのような遮蔽により、画
像上の着目している特徴点が消えたり、出現したりする
ため、画像間の特徴点の軌跡が途切れて追跡しにくくな
る。従ってこの手法は動物体に適応しにくい。第３の手
法としてシルエット投影法があるが（例： Ahuja N. an
d Veenstra J.:“Generation octree from object silh
ouettes in orthographic views ”,IEEE Trans.PAMI,V
ol. 11,No.2,pp.137-149,1989 ）、シルエット画像を生
成するのがきわめて困難かつ不安定であるため、正確な
３次元情報の獲得が難しい。
i M.and Nakahara T.:“A multiplebaseline stereo me
thod”,Proc. Image Understanding Workshop,pp. 409-
426,1992、あるいは、米国特許No.4,654,872）、物体の
凹凸によりいずれか一方のカメラの視線に対する遮蔽部
分が多数生じ易いので、左右画像間の特徴点を正確な位
置づけが非常に難しいため、精度のよい３次元情報を得
ることが困難である。第２の手法は（例：Bolles R.C.,
Baker H.H. and Marimont D.H.:“ Epipolar-plane im
age analysis: an apprproach to determining structu
re from motion”, IJCV,Vol.1,No.1,pp.7-55,1987）、
カメラを動かしながら画像を撮る間に物体が動いてはな
らないため、動物体に適用できない。最近、一台のカメ
ラで撮影した連続画像から物体の３次元形状と動きを同
時に抽出できる手法が発表されたが（Tomasi C. and Ka
nade T.:“Shape and motion from image streams unde
rorthography: a factorization method”,IJCV,Vol.9,
No.2,pp. 137-154, 1992）、この手法は基本的には特徴
点を画像間で追跡することで特徴点の３次元情報を求め
ているため、物体の動きによって起こる物体上の部分的
遮蔽に非常に弱い。なぜならこのような遮蔽により、画
像上の着目している特徴点が消えたり、出現したりする
ため、画像間の特徴点の軌跡が途切れて追跡しにくくな
る。従ってこの手法は動物体に適応しにくい。第３の手
法としてシルエット投影法があるが（例： Ahuja N. an
d Veenstra J.:“Generation octree from object silh
ouettes in orthographic views ”,IEEE Trans.PAMI,V
ol. 11,No.2,pp.137-149,1989 ）、シルエット画像を生
成するのがきわめて困難かつ不安定であるため、正確な
３次元情報の獲得が難しい。
【０００４】
【発明が解決しようとする課題】一方、第３の手法の他
の例として画像上のエッジを抽出し、それを用いてシー
ン空間に対してボーティングすることで３次元物体のエ
ッジを復元する手法があるが（Hamano T. and Yasuno
T. and Ishii K.:“Direct estimation of structure f
rom non-linear motion by voting algorithm with-out
tracking and matching”, Proc. of ICPR,Vol.1, pp.
505-508,1992、及び S.Kawato：“3D ShapeRecovering
by Octree Voting Technique ”，PROCEEDINGS of SPLE
-The International Society for Optical Engineerin
g, 15-16 Nov. 1992）、このような手法は複数の特徴点
を同時に抽出しようとしているため、各特徴点に対する
処理が互いに干渉し合い、これにより偽の特徴点が抽出
される問題がある。該問題を解決するため、多数枚の画
像が必要とされている。動物体の場合は、１台のカメラ
で多数枚の画像を撮るには時間が掛かるし、多数のカメ
ラで同時撮影システムを構築すると非常に高価なものに
なる。
の例として画像上のエッジを抽出し、それを用いてシー
ン空間に対してボーティングすることで３次元物体のエ
ッジを復元する手法があるが（Hamano T. and Yasuno
T. and Ishii K.:“Direct estimation of structure f
rom non-linear motion by voting algorithm with-out
tracking and matching”, Proc. of ICPR,Vol.1, pp.
505-508,1992、及び S.Kawato：“3D ShapeRecovering
by Octree Voting Technique ”，PROCEEDINGS of SPLE
-The International Society for Optical Engineerin
g, 15-16 Nov. 1992）、このような手法は複数の特徴点
を同時に抽出しようとしているため、各特徴点に対する
処理が互いに干渉し合い、これにより偽の特徴点が抽出
される問題がある。該問題を解決するため、多数枚の画
像が必要とされている。動物体の場合は、１台のカメラ
で多数枚の画像を撮るには時間が掛かるし、多数のカメ
ラで同時撮影システムを構築すると非常に高価なものに
なる。
【０００５】この発明の目的は上記の問題を解決し、少
数のカメラで撮影した物体画像から物体の３次元情報を
獲得できる３次元物体情報入力方法及びそれを使った３
次元情報入力装置を提供することにある。
数のカメラで撮影した物体画像から物体の３次元情報を
獲得できる３次元物体情報入力方法及びそれを使った３
次元情報入力装置を提供することにある。
【０００６】
【課題を解決するための手段】この発明の第１の観点に
よる３次元情報入力方法は、(a) ｎ個、ｎは３以上の整
数、のカメラで物体をそれぞれ撮像してｎフレームの画
像を得て、それらの画像を画像データとして出力し、
(b) 上記画像データが与えられ、上記ｎフレームの画像
上における上記物体の特徴点をそれぞれ抽出し、(c) ｎ
個の上記カメラの１つを基準カメラとして選択し、上記
基準カメラによって生成された画像を基準画像とし、他
のカメラを参照カメラとし、それらによって生成された
画像を参照画像とし、上記基準カメラのレンズ中心と、
上記物体上の着目３次元特徴点に対応して選択した上記
基準画像中の特徴点とを通る逆投影線を基準逆投影線と
して規定し、(d) 上記参照カメラによる上記参照画像上
に上記基準逆投影線を射影してエピポーラ線をそれぞれ
規定し、(e) 各上記参照カメラによる上記参照画像上の
上記エピポーラ線上にある上記特徴点と、上記参照カメ
ラのレンズ中心とを通る逆投影線を参照逆投影線として
規定し、(f) 上記基準逆投影線と上記参照逆投影線の交
差点の座標位置をそれぞれ求め、それぞれの交差点にお
ける上記基準逆投影線と上記参照逆投影線との交差数を
計数し、計数値の最大の交差点を上記着目３次元特徴点
の位置と判定し、(g) 一連の上記ステップ(c) 〜(f) を
上記基準画像上のそれぞれの特徴点に付いて繰り返すこ
とにより、上記物体上のそれぞれの３次元特徴点の位置
を上記物体の３次元情報として得る。
よる３次元情報入力方法は、(a) ｎ個、ｎは３以上の整
数、のカメラで物体をそれぞれ撮像してｎフレームの画
像を得て、それらの画像を画像データとして出力し、
(b) 上記画像データが与えられ、上記ｎフレームの画像
上における上記物体の特徴点をそれぞれ抽出し、(c) ｎ
個の上記カメラの１つを基準カメラとして選択し、上記
基準カメラによって生成された画像を基準画像とし、他
のカメラを参照カメラとし、それらによって生成された
画像を参照画像とし、上記基準カメラのレンズ中心と、
上記物体上の着目３次元特徴点に対応して選択した上記
基準画像中の特徴点とを通る逆投影線を基準逆投影線と
して規定し、(d) 上記参照カメラによる上記参照画像上
に上記基準逆投影線を射影してエピポーラ線をそれぞれ
規定し、(e) 各上記参照カメラによる上記参照画像上の
上記エピポーラ線上にある上記特徴点と、上記参照カメ
ラのレンズ中心とを通る逆投影線を参照逆投影線として
規定し、(f) 上記基準逆投影線と上記参照逆投影線の交
差点の座標位置をそれぞれ求め、それぞれの交差点にお
ける上記基準逆投影線と上記参照逆投影線との交差数を
計数し、計数値の最大の交差点を上記着目３次元特徴点
の位置と判定し、(g) 一連の上記ステップ(c) 〜(f) を
上記基準画像上のそれぞれの特徴点に付いて繰り返すこ
とにより、上記物体上のそれぞれの３次元特徴点の位置
を上記物体の３次元情報として得る。
【０００７】この発明の第２の観点による３次元情報入
力方法は、(a) ｎ個、ｎは３以上の整数、のカメラで物
体をそれぞれ撮像してｎフレームの画像を得て、それら
の画像を画像データとして出力し、(b) 上記画像データ
が与えられ、上記ｎフレームの画像上における上記物体
の特徴点をそれぞれ抽出し、(c) ｎ個の上記カメラの１
つを基準カメラとして選択し、上記基準カメラによって
生成された画像を基準画像とし、他のカメラを参照カメ
ラとし、それらによって生成された画像を参照画像と
し、上記基準カメラのレンズ中心と、上記物体上の着目
３次元特徴点に対応して選択した上記基準画像中の特徴
点とを通る逆投影線を基準逆投影線として規定し、(d)
上記参照カメラによる上記参照画像上に上記基準逆投影
線を射影してエピポーラ線をそれぞれ規定し、(e) 各上
記参照カメラによる上記参照画像上の上記エピポーラ線
上にある上記特徴点と、上記参照カメラのレンズ中心と
を通る逆投影線を参照逆投影線として規定し、(f) 上記
基準逆投影線と上記参照逆投影線の交差点の座標位置を
それぞれ求め、上記基準逆投影線に沿った上記交差点の
分布に対し畳み込み処理により上記交差点の分布の密集
度を強調するフィルタ処理を行い、そのフィルタ処理さ
れた交差点の分布が最大となる位置を上記着目３次元特
徴点の位置と判定し、(g) 一連の上記ステップ(c)〜(f)
を上記基準画像上のそれぞれの特徴点に付いて繰り返す
ことにより、上記物体上のそれぞれの３次元特徴点の位
置を上記物体の３次元情報として得る。
力方法は、(a) ｎ個、ｎは３以上の整数、のカメラで物
体をそれぞれ撮像してｎフレームの画像を得て、それら
の画像を画像データとして出力し、(b) 上記画像データ
が与えられ、上記ｎフレームの画像上における上記物体
の特徴点をそれぞれ抽出し、(c) ｎ個の上記カメラの１
つを基準カメラとして選択し、上記基準カメラによって
生成された画像を基準画像とし、他のカメラを参照カメ
ラとし、それらによって生成された画像を参照画像と
し、上記基準カメラのレンズ中心と、上記物体上の着目
３次元特徴点に対応して選択した上記基準画像中の特徴
点とを通る逆投影線を基準逆投影線として規定し、(d)
上記参照カメラによる上記参照画像上に上記基準逆投影
線を射影してエピポーラ線をそれぞれ規定し、(e) 各上
記参照カメラによる上記参照画像上の上記エピポーラ線
上にある上記特徴点と、上記参照カメラのレンズ中心と
を通る逆投影線を参照逆投影線として規定し、(f) 上記
基準逆投影線と上記参照逆投影線の交差点の座標位置を
それぞれ求め、上記基準逆投影線に沿った上記交差点の
分布に対し畳み込み処理により上記交差点の分布の密集
度を強調するフィルタ処理を行い、そのフィルタ処理さ
れた交差点の分布が最大となる位置を上記着目３次元特
徴点の位置と判定し、(g) 一連の上記ステップ(c)〜(f)
を上記基準画像上のそれぞれの特徴点に付いて繰り返す
ことにより、上記物体上のそれぞれの３次元特徴点の位
置を上記物体の３次元情報として得る。
【０００８】この発明の第３の観点による３次元情報入
力装置は、互いに異なる位置に配置され、物体を撮像し
てそれぞれ得られる画像を画像データとして出力するｎ
個、ｎは３以上の整数、のカメラ手段と、ｎ個の上記カ
メラ手段からの画像データが与えられ、それぞれの画像
中の特徴点から上記物体の３次元情報を求める画像情報
処理手段と、を含み、上記画像情報処理手段は：上記画
像中の特徴点を抽出する特徴抽出手段と、ｎ個の上記カ
メラの１つを基準カメラとし、上記基準カメラによって
生成された画像を基準画像とし、他のカメラを参照カメ
ラとし、それらによって生成された画像を参照画像と
し、上記基準カメラのレンズ中心と、上記物体上の着目
３次元特徴点に対応して選択した上記基準画像中の特徴
点とを通る逆投影線を基準逆投影線として求める基準逆
投影線生成手段と、上記参照カメラによる上記参照画像
上に上記基準逆投影線を射影してエピポーラ線をそれぞ
れ求めるエピポーラ線生成手段と、各上記参照カメラに
よる上記参照画像上の上記エピポーラ線上にある上記特
徴点と、上記参照カメラのレンズ中心とを通る逆投影線
を参照逆投影線として求める参照逆投影線生成手段と、
上記基準逆投影線と上記参照逆投影線の交差点の座標位
置をそれぞれ求め、それぞれの交差点における上記基準
逆投影線と上記参照逆投影線との交差数を計数し、計数
値の最大の交差点を上記着目３次元特徴点の位置と判定
する３次元特徴抽出手段と、を含み、上記基準画像上の
それぞれの特徴点に付いて、上記物体上の対応するそれ
ぞれの３次元特徴点の位置を上記物体の３次元情報とし
て得る。
力装置は、互いに異なる位置に配置され、物体を撮像し
てそれぞれ得られる画像を画像データとして出力するｎ
個、ｎは３以上の整数、のカメラ手段と、ｎ個の上記カ
メラ手段からの画像データが与えられ、それぞれの画像
中の特徴点から上記物体の３次元情報を求める画像情報
処理手段と、を含み、上記画像情報処理手段は：上記画
像中の特徴点を抽出する特徴抽出手段と、ｎ個の上記カ
メラの１つを基準カメラとし、上記基準カメラによって
生成された画像を基準画像とし、他のカメラを参照カメ
ラとし、それらによって生成された画像を参照画像と
し、上記基準カメラのレンズ中心と、上記物体上の着目
３次元特徴点に対応して選択した上記基準画像中の特徴
点とを通る逆投影線を基準逆投影線として求める基準逆
投影線生成手段と、上記参照カメラによる上記参照画像
上に上記基準逆投影線を射影してエピポーラ線をそれぞ
れ求めるエピポーラ線生成手段と、各上記参照カメラに
よる上記参照画像上の上記エピポーラ線上にある上記特
徴点と、上記参照カメラのレンズ中心とを通る逆投影線
を参照逆投影線として求める参照逆投影線生成手段と、
上記基準逆投影線と上記参照逆投影線の交差点の座標位
置をそれぞれ求め、それぞれの交差点における上記基準
逆投影線と上記参照逆投影線との交差数を計数し、計数
値の最大の交差点を上記着目３次元特徴点の位置と判定
する３次元特徴抽出手段と、を含み、上記基準画像上の
それぞれの特徴点に付いて、上記物体上の対応するそれ
ぞれの３次元特徴点の位置を上記物体の３次元情報とし
て得る。
【０００９】この発明の第４の観点による３次元情報入
力装置は、互いに異なる位置に配置され、物体を撮像し
てそれぞれ得られる画像を画像データとして出力するｎ
個、ｎは３以上の整数、のカメラ手段と、ｎ個の上記カ
メラ手段からの画像データが与えられ、それぞれの画像
中の特徴点から上記物体の３次元情報を求める画像情報
処理手段と、を含み、上記画像情報処理手段は：上記画
像中の特徴点を抽出する特徴抽出手段と、ｎ個の上記カ
メラの１つを基準カメラとし、上記基準カメラによって
生成された画像を基準画像とし、他のカメラを参照カメ
ラとし、それらによって生成された画像を参照画像と
し、上記基準カメラのレンズ中心と、上記物体上の着目
３次元特徴点に対応して選択した上記基準画像中の特徴
点とを通る逆投影線を基準逆投影線として求める基準逆
投影線生成手段と、上記参照カメラによる上記参照画像
上に上記基準逆投影線を射影してエピポーラ線をそれぞ
れ求めるエピポーラ線生成手段と、各上記参照カメラに
よる上記参照画像上の上記エピポーラ線上にある上記特
徴点と、上記参照カメラのレンズ中心とを通る逆投影線
を参照逆投影線として求める参照逆投影線生成手段と、
上記基準逆投影線と上記参照逆投影線の交差点の座標位
置をそれぞれ求め、上記基準逆投影線に沿った上記交差
点の分布に対し畳み込み処理により上記交差点の分布の
密集度を強調するフィルタ処理を行うフィルタ処理手段
と、上記フィルタ処理された交差点の分布が最大となる
位置を上記着目３次元特徴点の位置と判定する３次元特
徴抽出手段と、を含み、上記基準画像上のそれぞれの特
徴点に付いて、上記物体上の対応するそれぞれの３次元
特徴点の位置を上記物体の３次元情報として得る。
力装置は、互いに異なる位置に配置され、物体を撮像し
てそれぞれ得られる画像を画像データとして出力するｎ
個、ｎは３以上の整数、のカメラ手段と、ｎ個の上記カ
メラ手段からの画像データが与えられ、それぞれの画像
中の特徴点から上記物体の３次元情報を求める画像情報
処理手段と、を含み、上記画像情報処理手段は：上記画
像中の特徴点を抽出する特徴抽出手段と、ｎ個の上記カ
メラの１つを基準カメラとし、上記基準カメラによって
生成された画像を基準画像とし、他のカメラを参照カメ
ラとし、それらによって生成された画像を参照画像と
し、上記基準カメラのレンズ中心と、上記物体上の着目
３次元特徴点に対応して選択した上記基準画像中の特徴
点とを通る逆投影線を基準逆投影線として求める基準逆
投影線生成手段と、上記参照カメラによる上記参照画像
上に上記基準逆投影線を射影してエピポーラ線をそれぞ
れ求めるエピポーラ線生成手段と、各上記参照カメラに
よる上記参照画像上の上記エピポーラ線上にある上記特
徴点と、上記参照カメラのレンズ中心とを通る逆投影線
を参照逆投影線として求める参照逆投影線生成手段と、
上記基準逆投影線と上記参照逆投影線の交差点の座標位
置をそれぞれ求め、上記基準逆投影線に沿った上記交差
点の分布に対し畳み込み処理により上記交差点の分布の
密集度を強調するフィルタ処理を行うフィルタ処理手段
と、上記フィルタ処理された交差点の分布が最大となる
位置を上記着目３次元特徴点の位置と判定する３次元特
徴抽出手段と、を含み、上記基準画像上のそれぞれの特
徴点に付いて、上記物体上の対応するそれぞれの３次元
特徴点の位置を上記物体の３次元情報として得る。
【００１０】
【作用】この発明の３次元動物体情報入力方法及び装置
では、射影幾何学的拘束を取り入れることにより逆投影
領域を大幅に絞り込むため、逆投影の干渉が最小に減少
され、少数枚の画像での逆投影により３次元情報を獲得
できる。従って、複数のカメラでの同時撮影により動物
体の時々刻々の３次元情報を得る場合、従来に比べて少
数のカメラで実現できる。
では、射影幾何学的拘束を取り入れることにより逆投影
領域を大幅に絞り込むため、逆投影の干渉が最小に減少
され、少数枚の画像での逆投影により３次元情報を獲得
できる。従って、複数のカメラでの同時撮影により動物
体の時々刻々の３次元情報を得る場合、従来に比べて少
数のカメラで実現できる。
【００１１】
【実施例】以下、本発明の実施例に付いて図面を参照し
て詳細に説明する。図１は本発明の３次元情報入力装置
の一実施例の構成ブロック図である。３次元情報入力装
置は、画像入力部１０と画像情報処理部２０から構成さ
れている。画像入力部１０はｎ個（ｎは３以上の整数）
の撮像部（例えばＴＶカメラ、以下単にカメラと呼ぶ）
１１1 〜１１n と、Ａ／Ｄ変換器１２1 〜１２n と、フ
レームメモリ１３1〜１３n と、カメラ制御部１４と、
可動台１５Ａと、駆動装置１５Ｂと、駆動制御部１６と
から構成されている。カメラ１１1 〜１１n は共通の可
動台１５Ａに互いに高さが異なるように取り付けられ相
対位置が保持されている。可動台１５Ａは駆動制御部１
６の制御のもとにロボットアームにより構成された駆動
装置１５Ｂにより３次元移動可能とされている。
て詳細に説明する。図１は本発明の３次元情報入力装置
の一実施例の構成ブロック図である。３次元情報入力装
置は、画像入力部１０と画像情報処理部２０から構成さ
れている。画像入力部１０はｎ個（ｎは３以上の整数）
の撮像部（例えばＴＶカメラ、以下単にカメラと呼ぶ）
１１1 〜１１n と、Ａ／Ｄ変換器１２1 〜１２n と、フ
レームメモリ１３1〜１３n と、カメラ制御部１４と、
可動台１５Ａと、駆動装置１５Ｂと、駆動制御部１６と
から構成されている。カメラ１１1 〜１１n は共通の可
動台１５Ａに互いに高さが異なるように取り付けられ相
対位置が保持されている。可動台１５Ａは駆動制御部１
６の制御のもとにロボットアームにより構成された駆動
装置１５Ｂにより３次元移動可能とされている。
【００１２】カメラ１１1 〜１１n は一定周期（フレー
ム周期）で同時に物体１９を撮像し、アナログ画像信号
をそれぞれ出力する。物体が動いていなければ必ずしも
同時に撮像する必要はない。アナログ画像信号はＡ／Ｄ
変換器１２1 〜１２n でディジタル信号に変換され、フ
レーム毎の画像データとしてフレームメモリ１３1 〜１
３n に蓄積される。これらカメラ、Ａ／Ｄ変換器及びフ
レームメモリの動作はカメラ制御部１４により制御され
る。画像情報処理部２０はフレームメモリ１３1 〜１３
n から読みだされた画像データが与えられ、以下に図２
を参照して説明する処理を行うことにより物体１９の３
次元情報を求める。
ム周期）で同時に物体１９を撮像し、アナログ画像信号
をそれぞれ出力する。物体が動いていなければ必ずしも
同時に撮像する必要はない。アナログ画像信号はＡ／Ｄ
変換器１２1 〜１２n でディジタル信号に変換され、フ
レーム毎の画像データとしてフレームメモリ１３1 〜１
３n に蓄積される。これらカメラ、Ａ／Ｄ変換器及びフ
レームメモリの動作はカメラ制御部１４により制御され
る。画像情報処理部２０はフレームメモリ１３1 〜１３
n から読みだされた画像データが与えられ、以下に図２
を参照して説明する処理を行うことにより物体１９の３
次元情報を求める。
【００１３】図２はコンピュータで構成された画像情報
処理部２０の処理手順を機能ブロックで示す。カメラ１
１1 〜１１n による物体１９の画像入力時のカメラの位
置・姿勢情報が駆動制御部１６から画像情報処理部２０
のカメラ情報入力部２１に入力される。一方、フレーム
メモリ１３1 〜１３n から読みだされた画像データは特
徴抽出部２２に供給される。特徴抽出部２２は画像入力
部１０から入力されたｎフレームの画像から特徴点（例
えば、普通画像の等濃度点・領域、熱画像の等温点・領
域など）を抽出する。基準逆投影線生成部２３は特徴点
が抽出されたｎフレームの画像から任意の１つの画像を
基準画像として選び、その基準画像上の特徴点と、カメ
ラ情報入力部２１により入力されたその基準画像を生成
したカメラ（基準カメラと呼ぶ）のレンズ中心を通る基
準逆投影線を求める。エピポーラ線生成部２４は基準逆
投影線生成部２３により生成された基準逆投影線を基準
カメラ以外のカメラ（参照カメラと呼ぶ）により生成さ
れた画像（参照画像と呼ぶ）面にそれぞれ投影して得ら
れるエピポーラ線をそれぞれ求める。参照逆投影線生成
部２５はエピポーラ線生成部２４により生成されたそれ
ぞれの参照画像上のエピポーラ線上あるいはそのエピポ
ーラ線から両側のある距離範囲内に存在する各特徴点
と、カメラ情報入力部２１により入力されたそれらのエ
ピポーラ線に対応する参照カメラのレンズ中心とを通る
参照逆投影線を全て求める。交差抽出部２６は基準逆投
影線生成部２３により生成された基準逆投影線と、参照
逆投影線生成部２５により生成された参照逆投影線との
全ての交点の座標を求める。交差カウント部２７は基準
逆投影線に沿って、交差抽出部２６により抽出された各
参照逆投影線とその基準逆投影線との交点または交差領
域における交差数をカウントする。フィルタリング部２
８は交差カウント部２７によりカウントされた基準逆投
影線に沿った参照逆投影線との交差カウント分布に対し
て基準逆投影線に沿ってフィルタをかける。３次元特徴
抽出部２９はフィルタ処理された交差点分布があるしき
い値を越すピーク位置に最も近い交差点を３次元特徴点
の位置として決定する。３次元動き抽出部２Ａは３次元
特徴抽出部２９により抽出された各時刻に置ける各３次
元特徴点・領域情報により各３次元特徴点・領域の動き
を求める。
処理部２０の処理手順を機能ブロックで示す。カメラ１
１1 〜１１n による物体１９の画像入力時のカメラの位
置・姿勢情報が駆動制御部１６から画像情報処理部２０
のカメラ情報入力部２１に入力される。一方、フレーム
メモリ１３1 〜１３n から読みだされた画像データは特
徴抽出部２２に供給される。特徴抽出部２２は画像入力
部１０から入力されたｎフレームの画像から特徴点（例
えば、普通画像の等濃度点・領域、熱画像の等温点・領
域など）を抽出する。基準逆投影線生成部２３は特徴点
が抽出されたｎフレームの画像から任意の１つの画像を
基準画像として選び、その基準画像上の特徴点と、カメ
ラ情報入力部２１により入力されたその基準画像を生成
したカメラ（基準カメラと呼ぶ）のレンズ中心を通る基
準逆投影線を求める。エピポーラ線生成部２４は基準逆
投影線生成部２３により生成された基準逆投影線を基準
カメラ以外のカメラ（参照カメラと呼ぶ）により生成さ
れた画像（参照画像と呼ぶ）面にそれぞれ投影して得ら
れるエピポーラ線をそれぞれ求める。参照逆投影線生成
部２５はエピポーラ線生成部２４により生成されたそれ
ぞれの参照画像上のエピポーラ線上あるいはそのエピポ
ーラ線から両側のある距離範囲内に存在する各特徴点
と、カメラ情報入力部２１により入力されたそれらのエ
ピポーラ線に対応する参照カメラのレンズ中心とを通る
参照逆投影線を全て求める。交差抽出部２６は基準逆投
影線生成部２３により生成された基準逆投影線と、参照
逆投影線生成部２５により生成された参照逆投影線との
全ての交点の座標を求める。交差カウント部２７は基準
逆投影線に沿って、交差抽出部２６により抽出された各
参照逆投影線とその基準逆投影線との交点または交差領
域における交差数をカウントする。フィルタリング部２
８は交差カウント部２７によりカウントされた基準逆投
影線に沿った参照逆投影線との交差カウント分布に対し
て基準逆投影線に沿ってフィルタをかける。３次元特徴
抽出部２９はフィルタ処理された交差点分布があるしき
い値を越すピーク位置に最も近い交差点を３次元特徴点
の位置として決定する。３次元動き抽出部２Ａは３次元
特徴抽出部２９により抽出された各時刻に置ける各３次
元特徴点・領域情報により各３次元特徴点・領域の動き
を求める。
【００１４】次にこのように構成されたこの発明の装置
の動作を図１、２、３を参照して説明する。図３にはそ
れぞれのカメラ１１1 〜１１n の配置と、それぞれのカ
メラがそれぞれの焦点面上に形成した倒立像を便宜的に
レンズの前方に逆投影して整立像の画像３２として示し
てある。まず、カメラ制御部１４は入力時刻ｔからｎ個
のカメラ１１1 〜１１n を同時に動作させ、得られたア
ナログ画像信号をｎ個のＡ／Ｄ変換器１２1 〜１２n で
ディジタル画像信号に変換し、ｎ個のフレームメモリ１
３1 〜１３n に取り込みそれぞれのメモリに１フレーム
の画像データを得る。カメラ情報入力部２１は時刻ｔに
おけるカメラ情報をキャリブレーションで求める（例え
ばJ.Weng and P.Cohen and M.Herniou:“Calibration o
f stereocameras using a non-linear distortion mode
l ”, Proc.ICCV,pp.246-253, 1990）。
の動作を図１、２、３を参照して説明する。図３にはそ
れぞれのカメラ１１1 〜１１n の配置と、それぞれのカ
メラがそれぞれの焦点面上に形成した倒立像を便宜的に
レンズの前方に逆投影して整立像の画像３２として示し
てある。まず、カメラ制御部１４は入力時刻ｔからｎ個
のカメラ１１1 〜１１n を同時に動作させ、得られたア
ナログ画像信号をｎ個のＡ／Ｄ変換器１２1 〜１２n で
ディジタル画像信号に変換し、ｎ個のフレームメモリ１
３1 〜１３n に取り込みそれぞれのメモリに１フレーム
の画像データを得る。カメラ情報入力部２１は時刻ｔに
おけるカメラ情報をキャリブレーションで求める（例え
ばJ.Weng and P.Cohen and M.Herniou:“Calibration o
f stereocameras using a non-linear distortion mode
l ”, Proc.ICCV,pp.246-253, 1990）。
【００１５】特徴抽出部２２により、図３に示す各画像
３２上の特徴点（例えば画像の等濃度点・領域、微分画
像の等高線・領域、熱画像の等温点・領域など）が抽出
される。ここで、例えばCanny のフィルタ(Canny J.F.:
“A Computational approachto edge detection ”,IEE
E Trans. PAMI,Vol.8,No.6,pp.679-698,1986) で画像の
エッジを抽出して特徴点とする。次に、基準逆投影線生
成部２３により任意の１フレームの画像３２を基準画像
３２s として選び、基準画像３２s 上の着目した１つの
特徴点３３s とカメラ情報入力部２１により入力される
その画像と対応するカメラ（基準カメラ）のレンズの中
心３１s とを通る逆投影線３４s を求める。
３２上の特徴点（例えば画像の等濃度点・領域、微分画
像の等高線・領域、熱画像の等温点・領域など）が抽出
される。ここで、例えばCanny のフィルタ(Canny J.F.:
“A Computational approachto edge detection ”,IEE
E Trans. PAMI,Vol.8,No.6,pp.679-698,1986) で画像の
エッジを抽出して特徴点とする。次に、基準逆投影線生
成部２３により任意の１フレームの画像３２を基準画像
３２s として選び、基準画像３２s 上の着目した１つの
特徴点３３s とカメラ情報入力部２１により入力される
その画像と対応するカメラ（基準カメラ）のレンズの中
心３１s とを通る逆投影線３４s を求める。
【００１６】逆投影線３４s 上の任意の１点の座標(xb,
yb,zb)は次の方程式
yb,zb)は次の方程式
【００１７】
【数１】 を満足する。ここで、(xp,yp,zp)と(xc,yc,zc)はそれぞ
れ画像３２s 上の着目特徴点と基準カメラのレンズ中心
３１s の座標である。このような逆投影線３４sを基準
逆投影線とする。基準逆投影線を参照カメラの画像に射
影して得られるエピポーラ線３５上の任意の１点Ｅ＝(x
e,ye) には次式
れ画像３２s 上の着目特徴点と基準カメラのレンズ中心
３１s の座標である。このような逆投影線３４sを基準
逆投影線とする。基準逆投影線を参照カメラの画像に射
影して得られるエピポーラ線３５上の任意の１点Ｅ＝(x
e,ye) には次式
【００１８】
【数２】 のような関係式がある。ここで、ＲT'とＴ' はそれぞれ
座標系に対するカメラ光軸の回転を定義する行列の転置
行列と並行移動を定義するベクトルの２次元表現であ
る。Ｂ' ＝(xb,yb)Tは逆投影線上の任意一点の２次元表
現である。図３から明らかなように、基準逆投影線３４
s は各参照カメラのレンズの中心３１とその参照カメラ
によるエピポーラ線３５を含む平面内に存在する。この
平面をそのカメラによるエピポーラ平面と呼ぶ。各カメ
ラのエピポーラ平面の延長面内に存在する物体１９上の
３次元特徴点は全てそのカメラのエピポーラ線３５上に
投影される。次に、参照逆投影線生成部２５により、前
記求められたエピポーラ線３５上の全ての特徴点３３e
を捜し出す。エピポーラ線３５上のこれらの特徴点３３
e の１つは着目特徴点３３s に対応している。実際に
は、画像の量子化誤差が存在するため、エピポーラ線３
５上にあるべき特徴点がそのエピポーラ線から外れる場
合がある。従って、エピポーラ線からある距離の範囲内
に存在する特徴点を該エピポーラ線３５の特徴点３３e
とみなす。次に、各参照カメラによる画像３２のエピポ
ーラ線３５上の各特徴点３３e と、その参照カメラのレ
ンズの中心３１とを通る逆投影線３４を求め、このよう
な逆投影線３４を参照逆投影線とする。次に、交差抽出
部２６により、基準逆投影線生成部２３により生成され
た基準逆投影線３４s と参照逆投影線生成部２５により
生成された参照逆投影線３４の交点３６の座標をそれぞ
れを求める。この際、画像３２上の特徴抽出誤差とカメ
ラレンズ中心誤差が存在するため、実際に基準逆投影線
３４s と参照逆投影線３４が３次元空間において交差し
ない場合が多く生じる。この実施例では基準逆投影線３
４s と各参照逆投影線３４間の最短距離を求め、この最
短距離が一定しきい値より小さければ該基準逆投影線３
４s と参照逆投影線３４が交差するとみなす。
座標系に対するカメラ光軸の回転を定義する行列の転置
行列と並行移動を定義するベクトルの２次元表現であ
る。Ｂ' ＝(xb,yb)Tは逆投影線上の任意一点の２次元表
現である。図３から明らかなように、基準逆投影線３４
s は各参照カメラのレンズの中心３１とその参照カメラ
によるエピポーラ線３５を含む平面内に存在する。この
平面をそのカメラによるエピポーラ平面と呼ぶ。各カメ
ラのエピポーラ平面の延長面内に存在する物体１９上の
３次元特徴点は全てそのカメラのエピポーラ線３５上に
投影される。次に、参照逆投影線生成部２５により、前
記求められたエピポーラ線３５上の全ての特徴点３３e
を捜し出す。エピポーラ線３５上のこれらの特徴点３３
e の１つは着目特徴点３３s に対応している。実際に
は、画像の量子化誤差が存在するため、エピポーラ線３
５上にあるべき特徴点がそのエピポーラ線から外れる場
合がある。従って、エピポーラ線からある距離の範囲内
に存在する特徴点を該エピポーラ線３５の特徴点３３e
とみなす。次に、各参照カメラによる画像３２のエピポ
ーラ線３５上の各特徴点３３e と、その参照カメラのレ
ンズの中心３１とを通る逆投影線３４を求め、このよう
な逆投影線３４を参照逆投影線とする。次に、交差抽出
部２６により、基準逆投影線生成部２３により生成され
た基準逆投影線３４s と参照逆投影線生成部２５により
生成された参照逆投影線３４の交点３６の座標をそれぞ
れを求める。この際、画像３２上の特徴抽出誤差とカメ
ラレンズ中心誤差が存在するため、実際に基準逆投影線
３４s と参照逆投影線３４が３次元空間において交差し
ない場合が多く生じる。この実施例では基準逆投影線３
４s と各参照逆投影線３４間の最短距離を求め、この最
短距離が一定しきい値より小さければ該基準逆投影線３
４s と参照逆投影線３４が交差するとみなす。
【００１９】即ち、もし基準逆投影線３４s 上の任意の
２点 Ｂb1＝(xb1,yb1,zb1)T及びＢb2＝(xb2,yb2,zb2)T と、参照逆投影線上の任意の２点 Ｂr1＝(xr1,yr1,zr1)T及びＢr2＝(xr2,yr2,zr2)T で構成した行列
２点 Ｂb1＝(xb1,yb1,zb1)T及びＢb2＝(xb2,yb2,zb2)T と、参照逆投影線上の任意の２点 Ｂr1＝(xr1,yr1,zr1)T及びＢr2＝(xr2,yr2,zr2)T で構成した行列
【００２０】
【数３】 の階数が１であれば、これら２本の線は空間上で並行し
ないことがわかる。この場合は、それぞれ基準逆投影線
と参照逆投影線上にあって、かつ該２線間の最短距離を
あたえる２点(xbs, ybs, zbs)Tと(xrs, yrs, zrs)Tは
ないことがわかる。この場合は、それぞれ基準逆投影線
と参照逆投影線上にあって、かつ該２線間の最短距離を
あたえる２点(xbs, ybs, zbs)Tと(xrs, yrs, zrs)Tは
【００２１】
【数４】 で与えられる。ここで、 Ｋb＝(ＧrＨ−ＦrＧb)/(ＦbＦr−Ｈ2) Ｋr＝(ＦbＧr−ＧbＨ)/(ＦbＦr−Ｈ2) Ｆb＝(xb2-xb1)2+(yb2-yb1)2+(zb2-zb1)2 Ｆr＝(xr2-xr1)2+(yr2-yr1)2+(zr2-zr1)2 Ｇb＝(xb2-xb1)(xb1-xr1)+(yb2-yb1)(yb1-yr1)+(zb2-z
b1)(zb1-zr1) Ｇr＝(xr2-xr1)(xr1-xb1)+(yr2-yr1)(yr1-yb1)+(zr2-z
r1)(zr1-zb1) Ｈ ＝(xb2-xb1)(xr1-xr2)+(yb2-yb1)(yr1-yr2)+(zb2-z
b1)(zr1-zr2) もしこれら２点間の距離ｄが次に示すようにしきい値λ
より小である条件 ｄ＝[(xbs-xrs)2+(ybs-yrs)2+(zbs-zrs)2]1/2＜λ （６） を満足すれば、これら２点のそれぞれ存在する基準逆投
影線３４s と参照逆投影線３４が交差するとみなし、交
点３６の位置の座標はこれら２点間の距離の中点 ｘ＝(xbs＋xrs)/2 ｙ＝(ybs＋yrs)/2 ｚ＝(zbs＋zrs)/2 （７） とする。次に、交差カウント部２７により、基準逆投影
線３４s 上の各位置における全ての参照カメラからの参
照逆投影線３４との交差数をカウントする。
b1)(zb1-zr1) Ｇr＝(xr2-xr1)(xr1-xb1)+(yr2-yr1)(yr1-yb1)+(zr2-z
r1)(zr1-zb1) Ｈ ＝(xb2-xb1)(xr1-xr2)+(yb2-yb1)(yr1-yr2)+(zb2-z
b1)(zr1-zr2) もしこれら２点間の距離ｄが次に示すようにしきい値λ
より小である条件 ｄ＝[(xbs-xrs)2+(ybs-yrs)2+(zbs-zrs)2]1/2＜λ （６） を満足すれば、これら２点のそれぞれ存在する基準逆投
影線３４s と参照逆投影線３４が交差するとみなし、交
点３６の位置の座標はこれら２点間の距離の中点 ｘ＝(xbs＋xrs)/2 ｙ＝(ybs＋yrs)/2 ｚ＝(zbs＋zrs)/2 （７） とする。次に、交差カウント部２７により、基準逆投影
線３４s 上の各位置における全ての参照カメラからの参
照逆投影線３４との交差数をカウントする。
【００２２】ところで、２台（ｎ＝２）のカメラで撮影
した画像を用いる場合は、１本の基準逆投影線３４s に
対して複数の参照逆投影線３４が複数の異なる位置でそ
の基準逆投影線３４s と交差することが起こり得る。そ
の場合、その基準逆投影線３４s が通る特徴点３３s と
対応する３次元特徴点がどの交差点に対応するがをユニ
ークに定めることができない。そこで以下のように考察
を行う。
した画像を用いる場合は、１本の基準逆投影線３４s に
対して複数の参照逆投影線３４が複数の異なる位置でそ
の基準逆投影線３４s と交差することが起こり得る。そ
の場合、その基準逆投影線３４s が通る特徴点３３s と
対応する３次元特徴点がどの交差点に対応するがをユニ
ークに定めることができない。そこで以下のように考察
を行う。
【００２３】１つのカメラから着目した特徴点に逆投影
した直線３４s により規定される他のそれぞれのカメラ
のエピポーラ線上の特徴点の数を簡単のためそれぞれ等
しくＭとする。各カメラによる画像上のエピポーラ線上
のＭ個の特徴点のうちの１つのみが着目特徴点に対応し
ているか、あるいはいずれも対応していない。ここでは
各エピポーラ線上のＭ個の特徴点の１つが着目特徴点に
対応しているものとする。従って１つの参照カメラによ
りＭ本の参照逆投影線が得られ、これらＭ本の参照逆投
影線と基準逆投影線とのＭ個の交差点の任意の１つが着
目特徴点である確率βはβ＝１／Ｍである。他の参照カ
メラに付いても同様である。従って、基準逆投影線３４
s 上の任意の交差点で全ての参照カメラからのそれぞれ
１本ずつの参照逆投影線が交差する確率αはα＝βn-1
となる。参照カメラのエピポーラ線上に特徴点が１つし
かない場合（Ｍ＝１）は、その特徴点が着目特徴点に対
応しており、その特徴点とカメラレンズ中心とを通る参
照逆投影線は着目特徴点と交差するので問題はない。問
題となるのは各参照カメラからの参照逆投影線の数Ｍが
２以上ある場合なのでβ＝１／Ｍの値は０から０.5まで
を考慮すればよい。
した直線３４s により規定される他のそれぞれのカメラ
のエピポーラ線上の特徴点の数を簡単のためそれぞれ等
しくＭとする。各カメラによる画像上のエピポーラ線上
のＭ個の特徴点のうちの１つのみが着目特徴点に対応し
ているか、あるいはいずれも対応していない。ここでは
各エピポーラ線上のＭ個の特徴点の１つが着目特徴点に
対応しているものとする。従って１つの参照カメラによ
りＭ本の参照逆投影線が得られ、これらＭ本の参照逆投
影線と基準逆投影線とのＭ個の交差点の任意の１つが着
目特徴点である確率βはβ＝１／Ｍである。他の参照カ
メラに付いても同様である。従って、基準逆投影線３４
s 上の任意の交差点で全ての参照カメラからのそれぞれ
１本ずつの参照逆投影線が交差する確率αはα＝βn-1
となる。参照カメラのエピポーラ線上に特徴点が１つし
かない場合（Ｍ＝１）は、その特徴点が着目特徴点に対
応しており、その特徴点とカメラレンズ中心とを通る参
照逆投影線は着目特徴点と交差するので問題はない。問
題となるのは各参照カメラからの参照逆投影線の数Ｍが
２以上ある場合なのでβ＝１／Ｍの値は０から０.5まで
を考慮すればよい。
【００２４】図４は０＜β≦０.5の範囲の様々なβの値
に対し（ｎ−１）個の参照カメラからの（ｎ−１）本の
参照逆投影線が基準逆投影線上の１点で交差する確率α
の計算値をグラフで示す。このグラフから明らかなよう
に、β＝０.5の場合でも全カメラの数（視点数）ｎが６
以上であれば、基準逆投影線上の１点で参照カメラから
の５本の参照逆投影線が交差する確率αは(0.5)5＝0.03
と無視できる程度に小さくなる。ｎ＝５（参照カメラ数
は４）の場合でもα＝0.06と非常に小さい。即ち、着目
特徴点においてそれぞれの参照カメラからの複数の参照
逆投影線が偶然に交差する可能性はカメラの数ｎと共に
急激に減少する。逆に、もし基準逆投影線上のある点に
おいて実際に交差する参照逆投影線の数が複数（例えば
４本以上）あった場合、その交差点が着目特徴点である
可能性が非常に高いことを意味している。そこで、前述
のように交差カウント部２７で基準逆投影線３４s 上の
各点において交差する参照逆投影線の数（単に交差数と
呼ぶ）を計数し、３次元特徴点抽出部２９で最大の交差
数を与えた位置を求めれば着目３次元特徴点の位置をユ
ニークに決めることができる。この様にして物体１９上
の任意の３次元特徴点を基準逆投影線上の１つの交差点
と対応させることができる。
に対し（ｎ−１）個の参照カメラからの（ｎ−１）本の
参照逆投影線が基準逆投影線上の１点で交差する確率α
の計算値をグラフで示す。このグラフから明らかなよう
に、β＝０.5の場合でも全カメラの数（視点数）ｎが６
以上であれば、基準逆投影線上の１点で参照カメラから
の５本の参照逆投影線が交差する確率αは(0.5)5＝0.03
と無視できる程度に小さくなる。ｎ＝５（参照カメラ数
は４）の場合でもα＝0.06と非常に小さい。即ち、着目
特徴点においてそれぞれの参照カメラからの複数の参照
逆投影線が偶然に交差する可能性はカメラの数ｎと共に
急激に減少する。逆に、もし基準逆投影線上のある点に
おいて実際に交差する参照逆投影線の数が複数（例えば
４本以上）あった場合、その交差点が着目特徴点である
可能性が非常に高いことを意味している。そこで、前述
のように交差カウント部２７で基準逆投影線３４s 上の
各点において交差する参照逆投影線の数（単に交差数と
呼ぶ）を計数し、３次元特徴点抽出部２９で最大の交差
数を与えた位置を求めれば着目３次元特徴点の位置をユ
ニークに決めることができる。この様にして物体１９上
の任意の３次元特徴点を基準逆投影線上の１つの交差点
と対応させることができる。
【００２５】以上のことから、この発明の原理によれば
ｎの値を３以上に選ぶが、好ましい１実施例では６つの
異なる視点、即ち６台のカメラを用いる。この様に構成
することにより、あるカメラから観察したときに物体１
９自身に遮蔽されて観察されない部分の３次元特徴点
も、他の複数のカメラにより観察できる可能性が高くな
り、従ってそのような３次元特徴点の位置を決定するこ
とが出来る。実際の測定においては、図５Ａ，５Ｂに示
すように画像３２上の特徴点３３とカメラレンズ中心３
１の位置誤差によって逆投影線が真の方向からずれるこ
とがある。例えば、各カメラにより得られた画像データ
により構成された画像３２は、画像の画素による量子化
処理を受けているので、画像上の各特徴点の位置は画素
による量子化誤差を含んでいる。従って、図５Ａに示す
ように、参照カメラによる画像３２上の真の特徴点３３
の位置Ｐが量子化誤差によりＰ' にずれたとすると、参
照逆投影線３４はレンズ中心３１を中心に回転シフトし
てずれるため、基準逆投影線３４s 上の真の特徴点Ｂは
Ｂ' （基準逆投影線上とは限らない）にあるものと判断
される。あるいは図５Ｂに示すように、真のカメラレン
ズ中心Ｌに対し測定して決めたレンズ中心がＬ' にずれ
ていたとすると、基準逆投影線３４s 上の真の３次元特
徴点ＢはＢ" にあるものと判断される。
ｎの値を３以上に選ぶが、好ましい１実施例では６つの
異なる視点、即ち６台のカメラを用いる。この様に構成
することにより、あるカメラから観察したときに物体１
９自身に遮蔽されて観察されない部分の３次元特徴点
も、他の複数のカメラにより観察できる可能性が高くな
り、従ってそのような３次元特徴点の位置を決定するこ
とが出来る。実際の測定においては、図５Ａ，５Ｂに示
すように画像３２上の特徴点３３とカメラレンズ中心３
１の位置誤差によって逆投影線が真の方向からずれるこ
とがある。例えば、各カメラにより得られた画像データ
により構成された画像３２は、画像の画素による量子化
処理を受けているので、画像上の各特徴点の位置は画素
による量子化誤差を含んでいる。従って、図５Ａに示す
ように、参照カメラによる画像３２上の真の特徴点３３
の位置Ｐが量子化誤差によりＰ' にずれたとすると、参
照逆投影線３４はレンズ中心３１を中心に回転シフトし
てずれるため、基準逆投影線３４s 上の真の特徴点Ｂは
Ｂ' （基準逆投影線上とは限らない）にあるものと判断
される。あるいは図５Ｂに示すように、真のカメラレン
ズ中心Ｌに対し測定して決めたレンズ中心がＬ' にずれ
ていたとすると、基準逆投影線３４s 上の真の３次元特
徴点ＢはＢ" にあるものと判断される。
【００２６】この２つ誤差の影響による参照逆投影線３
４のずれのため、物体上の同一３次元特徴点から各画像
に写された特徴点３３とそれに対応するカメラレンズ中
心３１を通る参照逆投影線３４は、この３次元特徴点が
真に存在するところから外れて交差する可能性がある。
その結果、ずれた点Ｂ' またはＢ" が基準逆投影線３４
s からしきい値距離内にあれば、交差カウント部２７に
より交差数をカウントする際、基準逆投影線３４s 上の
真の着目３次元特徴点Ｂとは異なる交差点位置でカウン
トされる可能性がある。そのような場合、直接３次元特
徴点抽出部２９でしきい値処理により所定計数値を越え
た最大の計数値を与えた交差点の位置を３次元特徴点の
位置として抽出すると、着目３次元特徴点以外の３次元
特徴点が疑似３次元特徴点として抽出されてしまう可能
性がある。しかしながら、これらの逆投影線の誤差の方
向と大きさはランダムなので、実際に得られる離散的で
広がりを持つカウントの分布において、交差の集中して
いる中央部のところは、真の着目３次元特徴点の存在す
る可能性が最も高いところであると推定できる。そこ
で、フィルタリング部２８により交差を求めた基準逆投
影線３４s に沿ってフィルタをかけ、交差カウントの分
布を交差の集中しているところで強調することで、疑似
３次元特徴点の誤抽出を減らすことが出来る。使用する
フィルタの例としては、スクエアフィルタ、トライアン
ギュラフィルタ、ガウシアンフィルタ、ラプラシアン−
ガウシアンフィルタ、等が可能である。
４のずれのため、物体上の同一３次元特徴点から各画像
に写された特徴点３３とそれに対応するカメラレンズ中
心３１を通る参照逆投影線３４は、この３次元特徴点が
真に存在するところから外れて交差する可能性がある。
その結果、ずれた点Ｂ' またはＢ" が基準逆投影線３４
s からしきい値距離内にあれば、交差カウント部２７に
より交差数をカウントする際、基準逆投影線３４s 上の
真の着目３次元特徴点Ｂとは異なる交差点位置でカウン
トされる可能性がある。そのような場合、直接３次元特
徴点抽出部２９でしきい値処理により所定計数値を越え
た最大の計数値を与えた交差点の位置を３次元特徴点の
位置として抽出すると、着目３次元特徴点以外の３次元
特徴点が疑似３次元特徴点として抽出されてしまう可能
性がある。しかしながら、これらの逆投影線の誤差の方
向と大きさはランダムなので、実際に得られる離散的で
広がりを持つカウントの分布において、交差の集中して
いる中央部のところは、真の着目３次元特徴点の存在す
る可能性が最も高いところであると推定できる。そこ
で、フィルタリング部２８により交差を求めた基準逆投
影線３４s に沿ってフィルタをかけ、交差カウントの分
布を交差の集中しているところで強調することで、疑似
３次元特徴点の誤抽出を減らすことが出来る。使用する
フィルタの例としては、スクエアフィルタ、トライアン
ギュラフィルタ、ガウシアンフィルタ、ラプラシアン−
ガウシアンフィルタ、等が可能である。
【００２７】図６Ａに示すような基準逆投影線３４s に
沿った交差カウント５１の離散的分布Ｐ(ｓ)に対し、関
数ｆ(ｔ)によるフィルタ処理を行うには、次式 Ｐ'(s)＝∫Ｐ(s-t)・ｆ(t)dt （８） による畳み込み演算を行えばよい。ここで、Ｐ(s) と
Ｐ'(s)はそれぞれフィルタ関数ｆ(ｔ)を畳み込む前と後
の逆投影線交差カウントの分布であり、ｓは基準逆投影
線３４s に沿った位置を表す。フィルタ関数ｆ(ｔ)とし
ては前述のような各種のフィルタの関数を使うことが出
来る。この実施例では図６Ｂに示すような特性を有する
ラプラシアン−ガウシアンフィルタ（ ▽2Ｇフィルタと
呼ばれる）５２を基準逆投影線３４sに沿って交差カウ
ント５１の分布Ｐ(s)に対して畳込みを行う。▽2Ｇ フ
ィルタは高周波の離散的なノイズを抑えながら連続して
いる波形のピークを強調する特性を有するので、この畳
み込み処理により離散的な交差カウントが抑えられ、集
中している交差のカウントのピークが図６Ｃに示すよう
に強調される。このため、次に３次元特徴抽出部２９で
基準逆投影線３４s 上の交差カウントピーク５１p を検
出し、そのピーク位置に最も近い交差点を着目３次元特
徴点の位置であると判定することにより、疑似３次元特
徴点の誤抽出を防ぐことができる。
沿った交差カウント５１の離散的分布Ｐ(ｓ)に対し、関
数ｆ(ｔ)によるフィルタ処理を行うには、次式 Ｐ'(s)＝∫Ｐ(s-t)・ｆ(t)dt （８） による畳み込み演算を行えばよい。ここで、Ｐ(s) と
Ｐ'(s)はそれぞれフィルタ関数ｆ(ｔ)を畳み込む前と後
の逆投影線交差カウントの分布であり、ｓは基準逆投影
線３４s に沿った位置を表す。フィルタ関数ｆ(ｔ)とし
ては前述のような各種のフィルタの関数を使うことが出
来る。この実施例では図６Ｂに示すような特性を有する
ラプラシアン−ガウシアンフィルタ（ ▽2Ｇフィルタと
呼ばれる）５２を基準逆投影線３４sに沿って交差カウ
ント５１の分布Ｐ(s)に対して畳込みを行う。▽2Ｇ フ
ィルタは高周波の離散的なノイズを抑えながら連続して
いる波形のピークを強調する特性を有するので、この畳
み込み処理により離散的な交差カウントが抑えられ、集
中している交差のカウントのピークが図６Ｃに示すよう
に強調される。このため、次に３次元特徴抽出部２９で
基準逆投影線３４s 上の交差カウントピーク５１p を検
出し、そのピーク位置に最も近い交差点を着目３次元特
徴点の位置であると判定することにより、疑似３次元特
徴点の誤抽出を防ぐことができる。
【００２８】上述のようにして基準逆投影線３４s 上に
それぞれの参照カメラからの参照逆投影線３４との交点
が規定され、各交点に於ける交差の数をカウントする
が、実際には前述のようにレンズ中心誤差あるいは特徴
点の画素量子化誤差のため、真の着目３次元特徴点に対
応する各参照カメラからの参照逆投影線３４の基準逆投
影線３４s との交点は厳密には１点とならない。そこ
で、各交差点に於ける交差の数をカウントするには、予
め決めた一定の微小長Δs を単位長として基準逆投影線
３４s をその長さ方向に単位長毎に区切って、各単位長
Δs 内の交差数をカウントすればよい。この場合、単位
長Δs を小さく選ぶほど、交差点に対する分解能が高く
なるため、基準逆投影線３４s 上の同一位置の単位長Δ
s 内に含まれる交差の数は減少することになる。全ての
交差点が分離される程度まで単位長Δs を小さくした場
合は、各交差点での最大交差数は１となってしまい、ユ
ニークに着目３次元特徴点を同定することができなくな
る。しかしながら、この場合でも例えば図６Ａに示した
ように交差点は着目３次元特徴点近傍に密集するので、
交差点の離散的分布に対し前述のようなフィルタによる
畳み込み処理を行えば交差点の密集領域の中央にピーク
が得られ、そのピークの位置に最も近い交差点を真の３
次元特徴点の位置を判定することができる。
それぞれの参照カメラからの参照逆投影線３４との交点
が規定され、各交点に於ける交差の数をカウントする
が、実際には前述のようにレンズ中心誤差あるいは特徴
点の画素量子化誤差のため、真の着目３次元特徴点に対
応する各参照カメラからの参照逆投影線３４の基準逆投
影線３４s との交点は厳密には１点とならない。そこ
で、各交差点に於ける交差の数をカウントするには、予
め決めた一定の微小長Δs を単位長として基準逆投影線
３４s をその長さ方向に単位長毎に区切って、各単位長
Δs 内の交差数をカウントすればよい。この場合、単位
長Δs を小さく選ぶほど、交差点に対する分解能が高く
なるため、基準逆投影線３４s 上の同一位置の単位長Δ
s 内に含まれる交差の数は減少することになる。全ての
交差点が分離される程度まで単位長Δs を小さくした場
合は、各交差点での最大交差数は１となってしまい、ユ
ニークに着目３次元特徴点を同定することができなくな
る。しかしながら、この場合でも例えば図６Ａに示した
ように交差点は着目３次元特徴点近傍に密集するので、
交差点の離散的分布に対し前述のようなフィルタによる
畳み込み処理を行えば交差点の密集領域の中央にピーク
が得られ、そのピークの位置に最も近い交差点を真の３
次元特徴点の位置を判定することができる。
【００２９】基準画像３２s 上の他の全ての特徴点３３
s のそれぞれについて前記処理を繰り返すことにより、
基準画像３２s 上の全ての特徴点３３s に対応する全て
の３次元特徴点３６t の座標を決定することができる。
その際、着目３次元特徴点と対応すると判定した位置に
おいて互いに交差する逆投影線はその着目３次元特徴点
だけと関連するものであることから、他の３次元特徴点
を求める際、直前に座標が決定された３次元特徴点と対
応する画像３２、３２s 上の特徴点３３、３３s をそれ
ぞれの画像から除去することで逆投影の干渉と計算量を
削減できる。また、他の画像を基準画像として選び、前
記処理を全ての画像が選ばれるまで繰り返すことによ
り、全ての視点から得られた画像上の特徴点と対応する
３次元特徴点の位置を求めることができる。
s のそれぞれについて前記処理を繰り返すことにより、
基準画像３２s 上の全ての特徴点３３s に対応する全て
の３次元特徴点３６t の座標を決定することができる。
その際、着目３次元特徴点と対応すると判定した位置に
おいて互いに交差する逆投影線はその着目３次元特徴点
だけと関連するものであることから、他の３次元特徴点
を求める際、直前に座標が決定された３次元特徴点と対
応する画像３２、３２s 上の特徴点３３、３３s をそれ
ぞれの画像から除去することで逆投影の干渉と計算量を
削減できる。また、他の画像を基準画像として選び、前
記処理を全ての画像が選ばれるまで繰り返すことによ
り、全ての視点から得られた画像上の特徴点と対応する
３次元特徴点の位置を求めることができる。
【００３０】最後に３次元動き抽出部２Ａは、３次元特
徴抽出部２９から得られた３次元特徴点情報の時間的変
化を求めることにより動物体の３次元動き情報を抽出す
る。この具体的な方法として、２次元の動き情報抽出方
法（例えば、R.Agarwal andJ. Sklansky : Optical flo
w estimation by the clustering of constraint sets
in velocity space,Technical Report TP-91-2,Departm
ent of Electrical and Computer Engineering, Patter
n Recognition and Image Modelling Project, Univers
ity of California, Irvine,CA,USA ）を３次元に拡張
した方法で実現できる。
徴抽出部２９から得られた３次元特徴点情報の時間的変
化を求めることにより動物体の３次元動き情報を抽出す
る。この具体的な方法として、２次元の動き情報抽出方
法（例えば、R.Agarwal andJ. Sklansky : Optical flo
w estimation by the clustering of constraint sets
in velocity space,Technical Report TP-91-2,Departm
ent of Electrical and Computer Engineering, Patter
n Recognition and Image Modelling Project, Univers
ity of California, Irvine,CA,USA ）を３次元に拡張
した方法で実現できる。
【００３１】また、３次元動き抽出部２Ａにより抽出さ
れた３次元特徴点の動きを画像入力部１０の駆動制御部
１６に与え、次の視点をプランし、駆動部１５を動作さ
せ、複数の撮像部１１1 〜１１n を移動させると同時
に、入力時刻ｔ＋ｗにおける駆動部１５の移動量を測定
し、カメラ情報入力部に与える。このような操作を繰り
返すことにより、動物体の追跡も可能である。
れた３次元特徴点の動きを画像入力部１０の駆動制御部
１６に与え、次の視点をプランし、駆動部１５を動作さ
せ、複数の撮像部１１1 〜１１n を移動させると同時
に、入力時刻ｔ＋ｗにおける駆動部１５の移動量を測定
し、カメラ情報入力部に与える。このような操作を繰り
返すことにより、動物体の追跡も可能である。
【００３２】
【発明の効果】以上で説明したように、本発明は、射影
幾何学的拘束を採り入れることにより逆投影領域を大幅
に絞り込むため、逆投影の干渉が最小に減少され、少数
枚の画像での逆投影により３次元情報を獲得できる。従
って、少数台のカメラでの同時撮影により動物体の時々
刻々の３次元形状を復元できる。
幾何学的拘束を採り入れることにより逆投影領域を大幅
に絞り込むため、逆投影の干渉が最小に減少され、少数
枚の画像での逆投影により３次元情報を獲得できる。従
って、少数台のカメラでの同時撮影により動物体の時々
刻々の３次元形状を復元できる。
【図１】この発明による３次元情報入力装置の実施例の
構成を示すブロック図。
構成を示すブロック図。
【図２】図１における画像処理部２０の詳細を説明する
ための処理ブロック図。
ための処理ブロック図。
【図３】この発明の原理を説明するための逆投影線図。
【図４】同一点で参照逆投影線が交差する確率を説明す
るための立体グラフ。
るための立体グラフ。
【図５】Ａは画像における特徴点の画素量子化誤差を説
明する斜視図、Ｂはレンズ中心の誤差を説明するための
斜視図。
明する斜視図、Ｂはレンズ中心の誤差を説明するための
斜視図。
【図６】Ａは基準逆投影線上の交差分布を示す図、Ｂは
フィルタの特性の例を示す図、Ｃはフィルタ処理を受け
た交差分布の例を示す図。
フィルタの特性の例を示す図、Ｃはフィルタ処理を受け
た交差分布の例を示す図。
１０ 画像入力部 １１1 〜１１n カメラ １５Ａ 可動台 １５Ｂ 駆動装置 １９ 物体 ３１ レンズ中心 ３２ 画像 ３３ 特徴点 ３４ 逆投影線 ３５ エピポーラ線 ３６ 交差点
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｇ０６Ｔ 7/00 Ｇ０６Ｆ 15/68 ４００Ａ (56)参考文献 特開 昭63−10280（ＪＰ，Ａ) 特開 昭61−125686（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G01B 11/00 - 11/30 102 G06T 1/00 G06T 5/20 G06T 7/00 G06T 7/60
Claims (22)
- 【請求項１】 複数のカメラにより物体を撮像して画像
を得て、上記物体上の３次元特徴点をそれぞれの上記画
像中の特徴点と対応させることにより上記物体の３次元
情報を得る３次元情報入力方法であり、以下のステップ
を含む： (a) ｎ個、ｎは３以上の整数、のカメラで物体をそれぞ
れ撮像してｎフレームの画像を得て、それらの画像を画
像データとして出力し、 (b) 上記画像データが与えられ、上記ｎフレームの画像
上における上記物体の特徴点をそれぞれ抽出し、 (c) ｎ個の上記カメラの１つを基準カメラとして選択
し、上記基準カメラによって生成された画像を基準画像
とし、他のカメラを参照カメラとし、それらによって生
成された画像を参照画像とし、上記基準カメラのレンズ
中心と、上記物体上の着目３次元特徴点に対応して選択
した上記基準画像中の特徴点とを通る逆投影線を基準逆
投影線として規定し、 (d) 上記参照カメラによる上記参照画像上に上記基準逆
投影線を射影してエピポーラ線をそれぞれ規定し、 (e) 各上記参照カメラによる上記参照画像上の上記エピ
ポーラ線上にある上記特徴点と、上記参照カメラのレン
ズ中心とを通る逆投影線を参照逆投影線として規定し、 (f) 上記基準逆投影線と上記参照逆投影線の交差点の座
標位置をそれぞれ求め、それぞれの交差点における上記
基準逆投影線と上記参照逆投影線との交差数を計数し、
計数値の最大の交差点を上記着目３次元特徴点の位置と
判定し、 (g) 一連の上記ステップ(c) 〜(f) を上記基準画像上の
それぞれの特徴点に付いて繰り返すことにより、上記物
体上のそれぞれの３次元特徴点の位置を上記物体の３次
元情報として得る。 - 【請求項２】 複数のカメラにより物体を撮像して画像
を得て、上記物体上の３次元特徴点をそれぞれの上記画
像中の特徴点と対応させることにより上記物体の３次元
情報を得る３次元情報入力方法であり、以下のステップ
を含む： (a) ｎ個、ｎは３以上の整数、のカメラで物体をそれぞ
れ撮像してｎフレームの画像を得て、それらの画像を画
像データとして出力し、 (b) 上記画像データが与えられ、上記ｎフレームの画像
上における上記物体の特徴点をそれぞれ抽出し、 (c) ｎ個の上記カメラの１つを基準カメラとして選択
し、上記基準カメラによって生成された画像を基準画像
とし、他のカメラを参照カメラとし、それらによって生
成された画像を参照画像とし、上記基準カメラのレンズ
中心と、上記物体上の着目３次元特徴点に対応して選択
した上記基準画像中の特徴点とを通る逆投影線を基準逆
投影線として規定し、 (d) 上記参照カメラによる上記参照画像上に上記基準逆
投影線を射影してエピポーラ線をそれぞれ規定し、 (e) 各上記参照カメラによる上記参照画像上の上記エピ
ポーラ線上にある上記特徴点と、上記参照カメラのレン
ズ中心とを通る逆投影線を参照逆投影線として規定し、 (f) 上記基準逆投影線と上記参照逆投影線の交差点の座
標位置をそれぞれ求め、上記基準逆投影線に沿った上記
交差点の分布に対し畳み込み処理により上記交差点の分
布の密集度を強調するフィルタ処理を行い、そのフィル
タ処理された交差点の分布が最大となる位置を上記着目
３次元特徴点の位置と判定し、 (g) 一連の上記ステップ(c) 〜(f) を上記基準画像上の
それぞれの特徴点に付いて繰り返すことにより、上記物
体上のそれぞれの３次元特徴点の位置を上記物体の３次
元情報として得る。 - 【請求項３】 請求項１または２に記載の３次元情報入
力方法において、上記基準逆投影線上の位置はその長さ
方向に予め決めた単位長毎に区切られて規定されてお
り、上記交差点での交差数は上記参照逆投影線が通る上
記基準逆投影線上の位置の上記単位長内の交差数であ
る。 - 【請求項４】 請求項３に記載の３次元情報入力方法に
おいて、上記基準逆投影線と交差する任意の上記参照逆
投影線は上記基準逆投影線からの距離が予め決めた範囲
内にある参照逆投影線である。 - 【請求項５】 請求項１に記載の３次元情報入力方法に
おいて、上記交差数を計数するステップは上記基準逆投
影線に沿った上記交差の分布に対し畳み込み処理により
上記交差の分布の密集度を強調するフィルタ処理を行
い、そのフィルタ処理された交差の分布が最大となる位
置を上記着目３次元特徴点の位置と判定するステップで
ある。 - 【請求項６】 請求項２または５に記載の３次元情報入
力方法において、上記フィルタ処理はラプラシアン−ガ
ウシアンフィルタによる処理である。 - 【請求項７】 請求項２または５に記載の３次元情報入
力方法において、上記フィルタ処理はスクエアフィルタ
による処理である。 - 【請求項８】 請求項２または５に記載の３次元情報入
力方法において、上記フィルタ処理はトライアンギュラ
フィルタによる処理である。 - 【請求項９】 請求項２または５に記載の３次元情報入
力方法において、上記フィルタ処理はガウシアンフィル
タによる処理である。 - 【請求項１０】 請求項１または２に記載の３次元情報
入力方法において、上記一連のステップを繰り返すステ
ップ(g) は上記一連のステップを実行して着目３次元特
徴点と対応する特徴点を同定する毎に、同定した特徴点
を以下の上記一連のステップの繰り返しにおける処理対
象から除去するステップを含む。 - 【請求項１１】 請求項１または２に記載の３次元情報
入力方法において、上記カメラの数ｎは５以上８以内で
ある。 - 【請求項１２】 請求項１または２に記載の３次元情報
入力方法において、上記ステップ(g) を完了する毎に上
記参照カメラの１つを新たな基準カメラとし、上記基準
カメラを新たな参照カメラとして、新たにステップ(g)
を実行することを全ての上記カメラに付いて繰り返すス
テップを含む。 - 【請求項１３】 請求項１または２に記載の３次元情報
入力方法において、ｎ個の上記カメラによる上記物体の
撮像を同時に行うことを一定周期で繰り返す毎に上記一
連のステップに従って上記物体の３次元情報を得るステ
ップを含む。 - 【請求項１４】 互いに異なる位置に配置され、物体を
撮像してそれぞれ得られる画像を画像データとして出力
するｎ個、ｎは３以上の整数、のカメラ手段と、 ｎ個の上記カメラ手段からの画像データが与えられ、そ
れぞれの画像中の特徴点から上記物体の３次元情報を求
める画像情報処理手段と、を含み、上記画像情報処理手
段は：上記画像中の特徴点を抽出する特徴抽出手段と、 ｎ個の上記カメラの１つを基準カメラとし、上記基準カ
メラによって生成された画像を基準画像とし、他のカメ
ラを参照カメラとし、それらによって生成された画像を
参照画像とし、上記基準カメラのレンズ中心と、上記物
体上の着目３次元特徴点に対応して選択した上記基準画
像中の特徴点とを通る逆投影線を基準逆投影線として求
める基準逆投影線生成手段と、 上記参照カメラによる上記参照画像上に上記基準逆投影
線を射影してエピポーラ線をそれぞれ求めるエピポーラ
線生成手段と、 各上記参照カメラによる上記参照画像上の上記エピポー
ラ線上にある上記特徴点と、上記参照カメラのレンズ中
心とを通る逆投影線を参照逆投影線として求める参照逆
投影線生成手段と、 上記基準逆投影線と上記参照逆投影線の交差点の座標位
置をそれぞれ求め、それぞれの交差点における上記基準
逆投影線と上記参照逆投影線との交差数を計数し、計数
値の最大の交差点を上記着目３次元特徴点の位置と判定
する３次元特徴抽出手段と、 を含み、上記基準画像上のそれぞれの特徴点に付いて、
上記物体上の対応するそれぞれの３次元特徴点の位置を
上記物体の３次元情報として得る３次元情報入力装置。 - 【請求項１５】 互いに異なる位置に配置され、物体を
撮像してそれぞれ得られる画像を画像データとして出力
するｎ個、ｎは３以上の整数、のカメラ手段と、 ｎ個の上記カメラ手段からの画像データが与えられ、そ
れぞれの画像中の特徴点から上記物体の３次元情報を求
める画像情報処理手段と、を含み、上記画像情報処理手
段は：上記画像中の特徴点を抽出する特徴抽出手段と、 ｎ個の上記カメラの１つを基準カメラとし、上記基準カ
メラによって生成された画像を基準画像とし、他のカメ
ラを参照カメラとし、それらによって生成された画像を
参照画像とし、上記基準カメラのレンズ中心と、上記物
体上の着目３次元特徴点に対応して選択した上記基準画
像中の特徴点とを通る逆投影線を基準逆投影線として求
める基準逆投影線生成手段と、 上記参照カメラによる上記参照画像上に上記基準逆投影
線を射影してエピポーラ線をそれぞれ求めるエピポーラ
線生成手段と、 各上記参照カメラによる上記参照画像上の上記エピポー
ラ線上にある上記特徴点と、上記参照カメラのレンズ中
心とを通る逆投影線を参照逆投影線として求める参照逆
投影線生成手段と、 上記基準逆投影線と上記参照逆投影線の交差点の座標位
置をそれぞれ求め、上記基準逆投影線に沿った上記交差
点の分布に対し畳み込み処理により上記交差点の分布の
密集度を強調するフィルタ処理を行うフィルタ処理手段
と、 上記フィルタ処理された交差点の分布が最大となる位置
を上記着目３次元特徴点の位置と判定する３次元特徴抽
出手段と、を含み、上記基準画像上のそれぞれの特徴点
に付いて、上記物体上の対応するそれぞれの３次元特徴
点の位置を上記物体の３次元情報として得る３次元情報
入力装置。 - 【請求項１６】 請求項１４に記載の３次元情報入力装
置において、上記３次元特徴抽出手段は上記基準逆投影
線に沿った上記交差の分布に対し畳み込み処理により上
記交差の分布の密集度を強調するフィルタ処理手段を含
み、そのフィルタ処理された交差の分布が最大となる位
置を上記着目３次元特徴点の位置と判定する。 - 【請求項１７】 請求項１５または１６に記載の３次元
情報入力装置において、上記フィルタ処理手段はラプラ
シアン−ガウシアンフィルタによる処理手段である。 - 【請求項１８】 請求項１５または１６に記載の３次元
情報入力装置において、上記フィルタ処理手段はスクエ
アフィルタによる処理手段である。 - 【請求項１９】 請求項１５または１６に記載の３次元
情報入力装置において、上記フィルタ処理手段はトライ
アンギュラフィルタによる処理手段である。 - 【請求項２０】 請求項１５または１６に記載の３次元
情報入力装置において、上記フィルタ処理手段はガウシ
アンフィルタによる処理手段である。 - 【請求項２１】 請求項１４または１５に記載の３次元
情報入力装置において、上記カメラの数ｎは５以上８以
内である。 - 【請求項２２】 請求項１４または１５に記載の３次元
情報入力装置において、ｎ個の上記カメラによる上記物
体の撮像を同時に行うことを一定周期で繰り返し、画像
データが得られる毎に画像情報処理手段に供給させるカ
メラ制御手段が設けられている。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13725494A JP3275252B2 (ja) | 1993-06-21 | 1994-06-20 | ３次元情報入力方法及びそれを使った３次元情報入力装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5-149334 | 1993-06-21 | ||
| JP14933493 | 1993-06-21 | ||
| JP13725494A JP3275252B2 (ja) | 1993-06-21 | 1994-06-20 | ３次元情報入力方法及びそれを使った３次元情報入力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0771940A JPH0771940A (ja) | 1995-03-17 |
| JP3275252B2 true JP3275252B2 (ja) | 2002-04-15 |
Family
ID=26470629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13725494A Expired - Fee Related JP3275252B2 (ja) | 1993-06-21 | 1994-06-20 | ３次元情報入力方法及びそれを使った３次元情報入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3275252B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19936364A1 (de) * | 1999-08-03 | 2001-02-15 | Siemens Ag | Verfahren zur Identifizierung und Lokalisierung von Marken in einem 3D-Volumendatensatz |
| JP4565171B2 (ja) * | 2000-09-20 | 2010-10-20 | 国立大学法人静岡大学 | 距離測定装置及びその方法 |
| JP4427272B2 (ja) * | 2003-05-07 | 2010-03-03 | 株式会社ミツトヨ | 信号処理装置、信号処理方法、信号処理プログラム、信号処理プログラムを記録した記録媒体および測定機 |
| KR100729155B1 (ko) * | 2005-08-16 | 2007-06-19 | 구해원 | 동일시각에 동일피사체를 여러 대의 카메라로 촬영하는입체촬영 시스템 |
| JP6633140B2 (ja) * | 2018-06-20 | 2020-01-22 | 株式会社フォーディーアイズ | 常時キャリブレーションシステム及びその方法 |
-
1994
- 1994-06-20 JP JP13725494A patent/JP3275252B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0771940A (ja) | 1995-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5475422A (en) | Method and apparatus for reconstructing three-dimensional objects | |
| JP6426968B2 (ja) | 情報処理装置およびその方法 | |
| US8433157B2 (en) | System and method for three-dimensional object reconstruction from two-dimensional images | |
| CA2650557C (en) | System and method for three-dimensional object reconstruction from two-dimensional images | |
| US5818959A (en) | Method of producing a three-dimensional image from two-dimensional images | |
| US8447099B2 (en) | Forming 3D models using two images | |
| Minhas et al. | 3D shape from focus and depth map computation using steerable filters | |
| JP2009536731A (ja) | 深度マップによるヒューマノイド形状のモデル化 | |
| JPH0935061A (ja) | 画像処理方法 | |
| JP2002024807A (ja) | 物体運動追跡手法及び記録媒体 | |
| KR100574227B1 (ko) | 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 | |
| GB2244621A (en) | Machine vision stereo matching | |
| JP3275252B2 (ja) | ３次元情報入力方法及びそれを使った３次元情報入力装置 | |
| Salvi et al. | A survey addressing the fundamental matrix estimation problem | |
| KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| JP3512919B2 (ja) | 物体形状・カメラ視点移動の復元装置及び復元方法 | |
| JPH0875454A (ja) | 測距装置 | |
| JP3548652B2 (ja) | 物体形状復元装置及びその方法 | |
| CN111489384A (zh) | 基于互视角的遮挡评估方法及装置、设备、***和介质 | |
| Takimoto et al. | 3D reconstruction of large point clouds with a new point correspondence algorithm | |
| JP2001338279A (ja) | 三次元形状計測装置 | |
| Park et al. | New technique for registration and integration of partial 3D models | |
| JPH01311207A (ja) | ３次元形状測定方法 | |
| Soldà | Implementation and experimental verification of a 3D-to-2D Visual Odometry algorithm for real-time measurements of a vehicle pose | |
| JPS62162175A (ja) | ステレオ視覚装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090208 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |