JPH06265322A - 複数画像からの視差検出方法 - Google Patents
複数画像からの視差検出方法Info
- Publication number
- JPH06265322A JPH06265322A JP5050899A JP5089993A JPH06265322A JP H06265322 A JPH06265322 A JP H06265322A JP 5050899 A JP5050899 A JP 5050899A JP 5089993 A JP5089993 A JP 5089993A JP H06265322 A JPH06265322 A JP H06265322A
- Authority
- JP
- Japan
- Prior art keywords
- line
- parallax
- image
- occlusion part
- lines
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【目的】 オクルージョン部が生じても、オクルージョ
ン部での対応点を推定して画像全域の視差を検出可能と
する。 【構成】 複数の撮像系により得られた複数の画像の対
応点を抽出し、視差ラインを得る(S11)。視差ライ
ンがオクルージョン部を含むかどうかを判断し(S1
2)、オクルージョン部を含む場合には、オクルージョ
ン部で分断されたそれぞれのラインが同一物体を表わし
ているものかどうかを判断する(S13)。ここで、同
一物体を表わしていると判断されたら、オクルージョン
部を滑らかな補間によってうめて視差ラインを滑らかに
結ぶ(S15)。一方、同一物体を表わしていないと判
断されたら、各撮像系に対して手前にある物体を表わす
ラインのみを延長してライン同志を補間する(S1
4)。このとき、オクルージョン部での視差ラインは滑
らかには結ばない。
ン部での対応点を推定して画像全域の視差を検出可能と
する。 【構成】 複数の撮像系により得られた複数の画像の対
応点を抽出し、視差ラインを得る(S11)。視差ライ
ンがオクルージョン部を含むかどうかを判断し(S1
2)、オクルージョン部を含む場合には、オクルージョ
ン部で分断されたそれぞれのラインが同一物体を表わし
ているものかどうかを判断する(S13)。ここで、同
一物体を表わしていると判断されたら、オクルージョン
部を滑らかな補間によってうめて視差ラインを滑らかに
結ぶ(S15)。一方、同一物体を表わしていないと判
断されたら、各撮像系に対して手前にある物体を表わす
ラインのみを延長してライン同志を補間する(S1
4)。このとき、オクルージョン部での視差ラインは滑
らかには結ばない。
Description
【0001】
【産業上の利用分野】本発明は、複数の撮像系により撮
像された複数の画像からの対応点抽出処理方法、すなわ
ち視差検出方法に関する。
像された複数の画像からの対応点抽出処理方法、すなわ
ち視差検出方法に関する。
【0002】
【従来の技術】従来、複数の撮像系により撮像された複
数の画像からの対応点抽出方法の代表的なものとして
は、テンプレートマッチング法と、視覚の処理に基づく
協調アルゴリズムとがある。
数の画像からの対応点抽出方法の代表的なものとして
は、テンプレートマッチング法と、視覚の処理に基づく
協調アルゴリズムとがある。
【0003】テンプレートマッチング法は、左撮像系と
右撮像系とを有する複眼撮像を考え、左撮像系により左
画像が撮像され、右撮像系により右画像が撮像されると
した場合、例えば左画像中のある1点を囲むテンプレー
トを考え、そのテンプレートの画像に対する右画像中で
の類似性を比較することによって、対応点を決定するも
のである。なお、類似性の比較には、以下に示す二通り
の方法がる。
右撮像系とを有する複眼撮像を考え、左撮像系により左
画像が撮像され、右撮像系により右画像が撮像されると
した場合、例えば左画像中のある1点を囲むテンプレー
トを考え、そのテンプレートの画像に対する右画像中で
の類似性を比較することによって、対応点を決定するも
のである。なお、類似性の比較には、以下に示す二通り
の方法がる。
【0004】(a)SSDA法(Sequential Similarity
Detection Algorithm) SSDA法は、以下の(1)式で示すように、左画像の
エピポーラライン上の全ての画素及び右画像のエピポー
ラライン上の全ての画素に対して、左画像のテンプレー
ト内の画像中の画素値と探索する右画像中の画素値との
差を加算して、得られた和E(x,y)が最小値になる
座標を対応点の座標とするものである。
Detection Algorithm) SSDA法は、以下の(1)式で示すように、左画像の
エピポーラライン上の全ての画素及び右画像のエピポー
ラライン上の全ての画素に対して、左画像のテンプレー
ト内の画像中の画素値と探索する右画像中の画素値との
差を加算して、得られた和E(x,y)が最小値になる
座標を対応点の座標とするものである。
【0005】
【数1】 SSDA法では、今までに計算した他の座標における最
小値よりも計算中の画素値の差の和が大きくなった場合
には、計算を中止して次の座標に移動してもよいため、
余分な計算をなくして計算時間を短縮することができ
る。
小値よりも計算中の画素値の差の和が大きくなった場合
には、計算を中止して次の座標に移動してもよいため、
余分な計算をなくして計算時間を短縮することができ
る。
【0006】(b)相関法 相関法は、以下の(2)式に示すように、左画像のテン
プレート内の画像中の画素値と探索する右画像中の画素
値との相互相関をとることにより相関値ρ(x,y)を
求めて、求めた相関値ρ(x,y)が最大値となる座標
を対応点の座標とするものである。
プレート内の画像中の画素値と探索する右画像中の画素
値との相互相関をとることにより相関値ρ(x,y)を
求めて、求めた相関値ρ(x,y)が最大値となる座標
を対応点の座標とするものである。
【0007】
【数2】 なお、(2)式に示した正規化相互相関では、最大値は
“1”となる。
“1”となる。
【0008】次に、協調アルゴリズムについて説明す
る。
る。
【0009】David Marrにより提案された協調アルゴリ
ズムは、以下に示す3つの規則を用いて視差ラインを得
るアルゴリズムである(D. Marr, Vision: A Computatio
nalInvestigation into the Human Representation and
Processing of VisualInformation, W. H. Freeman &
Co., San Francisco Calif., 1982) 。 規則1(適合性)‥‥‥黒点は黒点とのみ整合し得る。 規則2(一意性)‥‥‥殆ど常に、一つの画像の一つの
黒点は、他方の画像の唯一の黒点と整合し得る。 規則3(連続性)‥‥‥整合する点の視差は、殆ど全域
で滑らかに変化する。
ズムは、以下に示す3つの規則を用いて視差ラインを得
るアルゴリズムである(D. Marr, Vision: A Computatio
nalInvestigation into the Human Representation and
Processing of VisualInformation, W. H. Freeman &
Co., San Francisco Calif., 1982) 。 規則1(適合性)‥‥‥黒点は黒点とのみ整合し得る。 規則2(一意性)‥‥‥殆ど常に、一つの画像の一つの
黒点は、他方の画像の唯一の黒点と整合し得る。 規則3(連続性)‥‥‥整合する点の視差は、殆ど全域
で滑らかに変化する。
【0010】協調アルゴリズムを実現する対応点抽出装
置は、Marrによると、多くの処理装置が並列にかつ相互
に結合されたネットワークを形成してなるものであり、
図18の(a)に示すグラフの各交点または節点に、小
さな処理装置がそれぞれ置かれる。もし節点が黒点の正
しい対を表すならば、該節点に置かれた処理装置は最終
的に値“1”をもち、一方、もしそれが正しくない対
(誤標的)を表すならば、該処理装置は値“0”をも
つ。
置は、Marrによると、多くの処理装置が並列にかつ相互
に結合されたネットワークを形成してなるものであり、
図18の(a)に示すグラフの各交点または節点に、小
さな処理装置がそれぞれ置かれる。もし節点が黒点の正
しい対を表すならば、該節点に置かれた処理装置は最終
的に値“1”をもち、一方、もしそれが正しくない対
(誤標的)を表すならば、該処理装置は値“0”をも
つ。
【0011】規則2から、ただ1つの対応が水平または
垂直の線に沿って許される。そこで、各水平または垂直
の線に沿った節点に置かれた処理装置は全て、互いに抑
制し合うようにする。これは各線に沿った競合の結果、
ただ一つの処理装置が値“1”として生き残り、他の処
理装置の値を全て“0”にすることで、規則2を満足し
ようという考え方によるものである。
垂直の線に沿って許される。そこで、各水平または垂直
の線に沿った節点に置かれた処理装置は全て、互いに抑
制し合うようにする。これは各線に沿った競合の結果、
ただ一つの処理装置が値“1”として生き残り、他の処
理装置の値を全て“0”にすることで、規則2を満足し
ようという考え方によるものである。
【0012】規則3によれば、正しい対は破線に沿って
存在しやすいので、この方向に並ぶ処理装置間に、興奮
性の結合を挿入する。これは、各局所的な処理装置に図
18の(b)に示すような構造を与える。すなわち、両
眼からの視線に対応する水平の線201および垂直の線
202に沿う処理装置には抑制性結合をかけ、視差一定
の線に対応する斜めの線203に沿う処理装置には興奮
性結合をかける。このアルゴリズムは二次元の画像に応
用することができる。その場合は、図18の(c)に示
すように、抑制性結合はそのままで、興奮性結合が視差
一定の二次元の微小近傍204にかかるようにする。
存在しやすいので、この方向に並ぶ処理装置間に、興奮
性の結合を挿入する。これは、各局所的な処理装置に図
18の(b)に示すような構造を与える。すなわち、両
眼からの視線に対応する水平の線201および垂直の線
202に沿う処理装置には抑制性結合をかけ、視差一定
の線に対応する斜めの線203に沿う処理装置には興奮
性結合をかける。このアルゴリズムは二次元の画像に応
用することができる。その場合は、図18の(c)に示
すように、抑制性結合はそのままで、興奮性結合が視差
一定の二次元の微小近傍204にかかるようにする。
【0013】かかる対応点抽出装置では、左画像と右画
像とをそれぞれ撮り、二つの黒点が整合する所(誤標的
も含めて全て)は“1”を与えて他は全て“0”を与え
ることにより、処理装置のネットワークに負荷を加えた
のち、ネットワークを走らせる。各処理装置は興奮性近
傍の“1”を合計し、抑制性近傍の“1”を合計する。
そして、一方の合計に適当な重みをかけたのち、結果の
数値を引き算する。もし結果がある閾値を超えればその
処理装置は値“1”にセットされ、もしそうでなければ
その処理装置は“0”にセットされる。形式的に、この
アルゴリズムは、次の(3)式に示す反復関係によって
表される。
像とをそれぞれ撮り、二つの黒点が整合する所(誤標的
も含めて全て)は“1”を与えて他は全て“0”を与え
ることにより、処理装置のネットワークに負荷を加えた
のち、ネットワークを走らせる。各処理装置は興奮性近
傍の“1”を合計し、抑制性近傍の“1”を合計する。
そして、一方の合計に適当な重みをかけたのち、結果の
数値を引き算する。もし結果がある閾値を超えればその
処理装置は値“1”にセットされ、もしそうでなければ
その処理装置は“0”にセットされる。形式的に、この
アルゴリズムは、次の(3)式に示す反復関係によって
表される。
【0014】
【数3】 ここで、
【0015】
【外1】 は、図18の(a)に示したネットワークにおける位置
(x,y)、視差d、及び時間tに対応する細胞の状態
を示す。S(x,y,d)は局所的興奮性近傍、O
(x,y,d)は抑制性近傍である。εは抑制定数であ
り。σは閾値関数である。初期状態Co は、定められた
視差範囲内で、誤標的を含む可能な対を全て含んでい
る。ここで、それは各繰り返しごとに加えられる(そう
する必要はないが、こうするとアルゴリズムがより速く
収束する)。
(x,y)、視差d、及び時間tに対応する細胞の状態
を示す。S(x,y,d)は局所的興奮性近傍、O
(x,y,d)は抑制性近傍である。εは抑制定数であ
り。σは閾値関数である。初期状態Co は、定められた
視差範囲内で、誤標的を含む可能な対を全て含んでい
る。ここで、それは各繰り返しごとに加えられる(そう
する必要はないが、こうするとアルゴリズムがより速く
収束する)。
【0016】
【発明が解決しようとする課題】しかしながら、上述し
た従来の対応点抽出方法においては、複数の撮像系で立
体物を撮像した際に、一方の撮像系では撮像されている
が他方の撮像系では撮像されていない部分すなわちオク
ルージョン部が生じる場合があり、このオクルージョン
部においては対応点が抽出されない、つまり視差が検出
不可能であるるという問題点があった。
た従来の対応点抽出方法においては、複数の撮像系で立
体物を撮像した際に、一方の撮像系では撮像されている
が他方の撮像系では撮像されていない部分すなわちオク
ルージョン部が生じる場合があり、このオクルージョン
部においては対応点が抽出されない、つまり視差が検出
不可能であるるという問題点があった。
【0017】そこで本発明は、オクルージョン部が生じ
ても、オクルージョン部での対応点を推定して画像全域
の視差を検出可能な、複数画像からの視差検出方法を提
供することを目的とする。
ても、オクルージョン部での対応点を推定して画像全域
の視差を検出可能な、複数画像からの視差検出方法を提
供することを目的とする。
【0018】
【課題を解決するための手段】上記目的を達成するため
本発明の複数画像からの視差検出方法は、それぞれ複数
の撮像系で同一物体を撮像することにより得られた複数
の画像から、一つの画像中の任意の点に対する他の画像
中の対応点を抽出する、複数画像からの視差検出方法に
おいて、前記対応点の抽出を行なえずにオクルージョン
部となる部位が存在する場合には、前記対応点の抽出が
行なわれている部位の視差を表わす線または面の形状に
基づいて前記物体の形状を推定し、前記オクルージョン
部の補間処理を行なうことを特徴とする。
本発明の複数画像からの視差検出方法は、それぞれ複数
の撮像系で同一物体を撮像することにより得られた複数
の画像から、一つの画像中の任意の点に対する他の画像
中の対応点を抽出する、複数画像からの視差検出方法に
おいて、前記対応点の抽出を行なえずにオクルージョン
部となる部位が存在する場合には、前記対応点の抽出が
行なわれている部位の視差を表わす線または面の形状に
基づいて前記物体の形状を推定し、前記オクルージョン
部の補間処理を行なうことを特徴とする。
【0019】また、前記視差を表す線または面の形状か
ら前記物体が一つの物体か否かを判断し、前記物体が一
つの物体であると判断された場合には前記オクルージョ
ン部を滑らかな線で補間し、前記物体が複数の物体であ
ると判断された場合には、前記撮像系に対して手前に存
在する物体の視差を表わす線または面の形状を延長して
前記オクルージョン部を補間してもよい。。
ら前記物体が一つの物体か否かを判断し、前記物体が一
つの物体であると判断された場合には前記オクルージョ
ン部を滑らかな線で補間し、前記物体が複数の物体であ
ると判断された場合には、前記撮像系に対して手前に存
在する物体の視差を表わす線または面の形状を延長して
前記オクルージョン部を補間してもよい。。
【0020】そして、前記視差を表わす線または面の形
状は、前記視差を表わす線または面の曲率を用いること
ができる。
状は、前記視差を表わす線または面の曲率を用いること
ができる。
【0021】
【作用】上記のとおり構成された本発明では、対応点の
抽出を行なえずにオクルージョン部となる部位が存在す
る場合には、対応点の抽出が行なわれている部位の視差
を表わす線または面の形状に基づいて物体の形状を推定
し、オクルージョン部の補間処理を行なうことで、対応
点が抽出できないオクルージョン部が存在してもオクル
ージョン部における対応点が抽出され、各画像のオーバ
ーラップ部の全ての領域における対応点の抽出、すなわ
ち視差検出が可能となる。
抽出を行なえずにオクルージョン部となる部位が存在す
る場合には、対応点の抽出が行なわれている部位の視差
を表わす線または面の形状に基づいて物体の形状を推定
し、オクルージョン部の補間処理を行なうことで、対応
点が抽出できないオクルージョン部が存在してもオクル
ージョン部における対応点が抽出され、各画像のオーバ
ーラップ部の全ての領域における対応点の抽出、すなわ
ち視差検出が可能となる。
【0022】そして、物体の形状の推定は、物体の視差
を表わす線または面の形状により撮像された物体が一つ
か否かを判断し、物体が一つの物体のときにはオクルー
ジョン部を滑らかな線で補間し、複数の物体のときには
撮像系に対して手前に存在する物体の視差を表わす線ま
たは面の形状を延長してオクルージョン部を補間するこ
とにより可能となる。
を表わす線または面の形状により撮像された物体が一つ
か否かを判断し、物体が一つの物体のときにはオクルー
ジョン部を滑らかな線で補間し、複数の物体のときには
撮像系に対して手前に存在する物体の視差を表わす線ま
たは面の形状を延長してオクルージョン部を補間するこ
とにより可能となる。
【0023】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
て説明する。
【0024】(第1実施例)図1は、本発明の複数画素
からの視差検出方法の第1実施例のフローチャートであ
る。本実施例の視差検出方法を簡単に説明すると、ま
ず、複数の撮像系により得られた複数の画像から、従来
の技術で述べた対応点抽出法により各画像の対応点を抽
出し、後述する視差ラインを得る(S11)。そして、
この視差ラインが空白となる部分すなわちオクルージョ
ン部を含むかどうかを判断し(S12)、オクルージョ
ン部を含まない場合には何も処理を施さないが、オクル
ージョン部を含む場合には、オクルージョン部で分断さ
れたそれぞれのラインが同一物体を表わしているものか
どうかを判断する(S13)。ここで、同一物体を表わ
していると判断されたら、オクルージョン部を滑らかな
補間によってうめて視差ラインを滑らかに結ぶ(S1
5)。一方、同一物体を表わしていないと判断された
ら、各撮像系に対して手前にある物体を表わすラインの
みを延長してライン同志を補間する(S14)。このと
き、オクルージョン部での視差ラインは滑らかには結ば
ない。
からの視差検出方法の第1実施例のフローチャートであ
る。本実施例の視差検出方法を簡単に説明すると、ま
ず、複数の撮像系により得られた複数の画像から、従来
の技術で述べた対応点抽出法により各画像の対応点を抽
出し、後述する視差ラインを得る(S11)。そして、
この視差ラインが空白となる部分すなわちオクルージョ
ン部を含むかどうかを判断し(S12)、オクルージョ
ン部を含まない場合には何も処理を施さないが、オクル
ージョン部を含む場合には、オクルージョン部で分断さ
れたそれぞれのラインが同一物体を表わしているものか
どうかを判断する(S13)。ここで、同一物体を表わ
していると判断されたら、オクルージョン部を滑らかな
補間によってうめて視差ラインを滑らかに結ぶ(S1
5)。一方、同一物体を表わしていないと判断された
ら、各撮像系に対して手前にある物体を表わすラインの
みを延長してライン同志を補間する(S14)。このと
き、オクルージョン部での視差ラインは滑らかには結ば
ない。
【0025】上述した各手順に基づいて、オクルージョ
ン部における対応点抽出すなわち視差検出が行なわれ
る。以下に、上述した各手順について詳細に説明する。
ン部における対応点抽出すなわち視差検出が行なわれ
る。以下に、上述した各手順について詳細に説明する。
【0026】まず、視差ラインという概念について説明
する。
する。
【0027】本実施例では、例えば図2に示すような、
それぞれ光軸LL 、LR が平行となるように配置された
左撮像系25と右撮像系26とよりなる複眼撮像装置を
考える。各撮像系25、26は、それぞれ撮像素子とし
てCCD等のセンサ(不図示)が備えられている。ま
た、説明を簡単にするため、各撮像系25、26のセン
サにより得られる左画像21および右画像22はそれぞ
れ各撮像系25、26と被写体30との間の位置に示す
とともに、左右各画像21、22上のずれはx方向の一
次元ずれしか存在しないとする。以下の図においても特
にことわりがなければこれに従う。
それぞれ光軸LL 、LR が平行となるように配置された
左撮像系25と右撮像系26とよりなる複眼撮像装置を
考える。各撮像系25、26は、それぞれ撮像素子とし
てCCD等のセンサ(不図示)が備えられている。ま
た、説明を簡単にするため、各撮像系25、26のセン
サにより得られる左画像21および右画像22はそれぞ
れ各撮像系25、26と被写体30との間の位置に示す
とともに、左右各画像21、22上のずれはx方向の一
次元ずれしか存在しないとする。以下の図においても特
にことわりがなければこれに従う。
【0028】図2において、被写体20上の点Pと左撮
像系25のレンズ中心23と右撮像系26のレンズ中心
24との3点を結んで生成される平面をエピポーラ面2
9といい、そのエピポーラ面29が、左画像21中を横
切るラインを左のエピポーラライン27、右画像22中
を横切るラインを右のエピポーラライン28という。
像系25のレンズ中心23と右撮像系26のレンズ中心
24との3点を結んで生成される平面をエピポーラ面2
9といい、そのエピポーラ面29が、左画像21中を横
切るラインを左のエピポーラライン27、右画像22中
を横切るラインを右のエピポーラライン28という。
【0029】今は、各撮像系25、26の光軸LL 、L
R が平行な複眼撮像装置について考えているので、この
複眼撮像装置により図3に示すように平面被写体32を
撮像すると、この平面被写体32は各画像21、22中
にひずみなく撮像される。よって、左右のエピポーララ
イン27、28はそれぞれ各画像21、22をx方向に
読み出すことによって得られる。
R が平行な複眼撮像装置について考えているので、この
複眼撮像装置により図3に示すように平面被写体32を
撮像すると、この平面被写体32は各画像21、22中
にひずみなく撮像される。よって、左右のエピポーララ
イン27、28はそれぞれ各画像21、22をx方向に
読み出すことによって得られる。
【0030】一方、図3に示すように各撮像系25、2
6の光軸LL 、LR が平行でない状態、すなわち各光軸
LL 、LR が含まれる平面において各撮像系25、26
のレンズ中心23、24を結ぶ直線に垂直な直線と各光
軸LL 、LR とがある所定の角度(輻輳角)をもって交
わる状態で平面被写体32を撮像した時は、各光軸
L L 、LR が平行な場合と同様に撮像しても、この平面
被写体32は各画像21、22中に台形ひずみをもって
撮像される。この場合には、各撮像系25,26の輻輳
角は既知なので一次変換により画像を再配置して、複眼
撮像装置の光軸LL、LR が平行であるときの画像を得
る。これによって左右のエピポーラライン27、28は
再配置された画像のx方向を読み出すことによって得ら
れる。
6の光軸LL 、LR が平行でない状態、すなわち各光軸
LL 、LR が含まれる平面において各撮像系25、26
のレンズ中心23、24を結ぶ直線に垂直な直線と各光
軸LL 、LR とがある所定の角度(輻輳角)をもって交
わる状態で平面被写体32を撮像した時は、各光軸
L L 、LR が平行な場合と同様に撮像しても、この平面
被写体32は各画像21、22中に台形ひずみをもって
撮像される。この場合には、各撮像系25,26の輻輳
角は既知なので一次変換により画像を再配置して、複眼
撮像装置の光軸LL、LR が平行であるときの画像を得
る。これによって左右のエピポーラライン27、28は
再配置された画像のx方向を読み出すことによって得ら
れる。
【0031】上述のようにして得られた左右のエピポー
ラライン27、28を、図5に示すように配置すること
によって得られる画面を視差画面51と呼ぶ。すなわ
ち、左のエピポーラライン27を横軸、右のエピポーラ
ライン28を縦軸とし、左右のエピポーラライン27、
28の左端27a、28aが視差画面51の左下端の点
に対応するように、左右のエピポーラライン27、28
を直交配置することによって得られる画面が視差画面5
1である。
ラライン27、28を、図5に示すように配置すること
によって得られる画面を視差画面51と呼ぶ。すなわ
ち、左のエピポーラライン27を横軸、右のエピポーラ
ライン28を縦軸とし、左右のエピポーラライン27、
28の左端27a、28aが視差画面51の左下端の点
に対応するように、左右のエピポーラライン27、28
を直交配置することによって得られる画面が視差画面5
1である。
【0032】ここで、図6に示すように、左右各撮像系
25、26の光軸LL 、LR が平行な複眼撮像装置によ
って、平面視半円柱状の物体61の背景に平板状の物体
62が配置された景色を撮像し、左右各画像からそれぞ
れ得られた左右のエピポーラライン27、28の対応点
を、図5に示した視差画面51上にプロットしていく
と、理想的には図7に示すようなラインを得ることがで
きる。このラインを視差ライン71と呼ぶ。つまりこの
視差ライン71は左右のエピポーラライン13、14の
対応点を示し、同時に視差も示す。
25、26の光軸LL 、LR が平行な複眼撮像装置によ
って、平面視半円柱状の物体61の背景に平板状の物体
62が配置された景色を撮像し、左右各画像からそれぞ
れ得られた左右のエピポーラライン27、28の対応点
を、図5に示した視差画面51上にプロットしていく
と、理想的には図7に示すようなラインを得ることがで
きる。このラインを視差ライン71と呼ぶ。つまりこの
視差ライン71は左右のエピポーラライン13、14の
対応点を示し、同時に視差も示す。
【0033】以下、この視差ライン71についてもう少
し詳しく説明する。左右のエピポーラライン13、14
上で視差が一定の所では、視差画面51上における視差
ライン71は45度右上がりの直線となる。この視差ラ
イン71の変化により左右の画像中の視差変化がわか
る。このことを図8を参照して説明する。図8の(a)
に示すように、左右各撮像系25、26のレンズ中心2
3、24からの奥行きが一定となる位置をそれぞれ同じ
記号☆、★、○、◎で表わし、これを図8の(b)に示
す視差画面51上にプロットすると、視差画面51上で
はそれぞれ同じ記号同志が45右上がりの直線上にプロ
ットされる。また、図8の(a)に一点鎖線で示すよう
な、途中で☆の位置から★の位置に突出する凸状の物体
81を撮像したときに得られる視差ラインは、図8の
(b)に一点鎖線で示すように、☆の示す視差ラインよ
り始まり、途中で★の示す視差ラインに移り、最後に再
び☆の示す視差ラインに戻ることになる。さらに、図8
の(a)、(b)より、視差画面51の右上がりの対角
線は各レンズ中心23、24からの奥行が無限遠の視差
ラインを示すことが理解できる。
し詳しく説明する。左右のエピポーラライン13、14
上で視差が一定の所では、視差画面51上における視差
ライン71は45度右上がりの直線となる。この視差ラ
イン71の変化により左右の画像中の視差変化がわか
る。このことを図8を参照して説明する。図8の(a)
に示すように、左右各撮像系25、26のレンズ中心2
3、24からの奥行きが一定となる位置をそれぞれ同じ
記号☆、★、○、◎で表わし、これを図8の(b)に示
す視差画面51上にプロットすると、視差画面51上で
はそれぞれ同じ記号同志が45右上がりの直線上にプロ
ットされる。また、図8の(a)に一点鎖線で示すよう
な、途中で☆の位置から★の位置に突出する凸状の物体
81を撮像したときに得られる視差ラインは、図8の
(b)に一点鎖線で示すように、☆の示す視差ラインよ
り始まり、途中で★の示す視差ラインに移り、最後に再
び☆の示す視差ラインに戻ることになる。さらに、図8
の(a)、(b)より、視差画面51の右上がりの対角
線は各レンズ中心23、24からの奥行が無限遠の視差
ラインを示すことが理解できる。
【0034】上述したように、視差ライン71は各レン
ズ中心23、24からの奥行を示している。したがって
図7に示した視差画面51中の右下端の点Aから、視差
画面51中の左上端に向かう矢印の方向に視差ライン7
1を見たとすると、その形状が実際の三次元の景色の物
体配置を表現している。つまり、視差ライン71により
三次元の景色の物体配置を推定することが可能となる。
ズ中心23、24からの奥行を示している。したがって
図7に示した視差画面51中の右下端の点Aから、視差
画面51中の左上端に向かう矢印の方向に視差ライン7
1を見たとすると、その形状が実際の三次元の景色の物
体配置を表現している。つまり、視差ライン71により
三次元の景色の物体配置を推定することが可能となる。
【0035】今、図6に示した物体61、62を左右各
撮像系25、26で撮像し、得られた左右各画像の対応
点を、例えば従来の技術で示したテンプレートマッチン
グ法で(別に他の方法でもよい)抽出した結果、図9に
示すように、視差画面51中に、2つの空白領域すなわ
ちオクルージョン部91で分断された3本のライン9
2、93、94を得たとする。これら2つのオクルージ
ョン部91は、左撮像系25では撮像されるが右撮像系
26では撮像されず、また右撮像系26では撮像される
が左撮像系25では撮像されず、対応点が抽出できない
所である。以下に、各オクルージョン部91における対
応点を抽出する方法を示す。
撮像系25、26で撮像し、得られた左右各画像の対応
点を、例えば従来の技術で示したテンプレートマッチン
グ法で(別に他の方法でもよい)抽出した結果、図9に
示すように、視差画面51中に、2つの空白領域すなわ
ちオクルージョン部91で分断された3本のライン9
2、93、94を得たとする。これら2つのオクルージ
ョン部91は、左撮像系25では撮像されるが右撮像系
26では撮像されず、また右撮像系26では撮像される
が左撮像系25では撮像されず、対応点が抽出できない
所である。以下に、各オクルージョン部91における対
応点を抽出する方法を示す。
【0036】図9において、視差画面51の右下端の点
Bから、得られたライン92、93、94をみると一番
手前にライン93が見える。このラインの意味を考察し
てみる。例えば、図10の(a)に示すように平面視方
形状の物体101の背景に平板状の物体102が配置さ
れている景色を左右各撮像系25、26により撮像した
とき、理想的には図10の(b)の視差画面51中に描
かれた視差ライン103が得られる。また、図11の
(a)に示すように平面視三角形状の物体111の背景
に平板状の物体112が配置されている景色を左右各撮
像系25、26により撮像したとき、理想的には図11
の(b)の視差画面51中に描かれた視差ライン113
が得られる。これらの結果から、視差画面51中に現わ
れる視差ラインの形状は、撮像される物体の形状に類似
するということができ、図9に示したライン93は、円
弧状の形状を有する物体を撮像することにより得られた
ものであると推定することができる。
Bから、得られたライン92、93、94をみると一番
手前にライン93が見える。このラインの意味を考察し
てみる。例えば、図10の(a)に示すように平面視方
形状の物体101の背景に平板状の物体102が配置さ
れている景色を左右各撮像系25、26により撮像した
とき、理想的には図10の(b)の視差画面51中に描
かれた視差ライン103が得られる。また、図11の
(a)に示すように平面視三角形状の物体111の背景
に平板状の物体112が配置されている景色を左右各撮
像系25、26により撮像したとき、理想的には図11
の(b)の視差画面51中に描かれた視差ライン113
が得られる。これらの結果から、視差画面51中に現わ
れる視差ラインの形状は、撮像される物体の形状に類似
するということができ、図9に示したライン93は、円
弧状の形状を有する物体を撮像することにより得られた
ものであると推定することができる。
【0037】ここで、「一物体の可視表面における視差
は、連続的に変化する。」という仮定を定義すると、こ
の仮定により、図9に示した視差画面51中に発生した
各オクルージョン部91の、ライン92、93、94と
の接続部はできるだけ滑らかな線でつなぐ必要があると
わかる。また、図9中のライン92とライン93との間
のオクルージョン部91において対応点を推定すること
によって得られる、ライン92からの延長線とライン9
3からの延長線とは必ず交点をもつわけであるが、前記
仮定から、ライン92とライン93とが同一物体から得
られたものであれば各延長線は滑らかに結ばなければな
らない。一方、同一物体から得られたものでないならば
各延長線は滑らかに結んではいけない。この同一物体か
否かの判断は、ライン92とライン93の形状から判断
できる。ライン93とライン94との間のオクルージョ
ン部91についても同様である。
は、連続的に変化する。」という仮定を定義すると、こ
の仮定により、図9に示した視差画面51中に発生した
各オクルージョン部91の、ライン92、93、94と
の接続部はできるだけ滑らかな線でつなぐ必要があると
わかる。また、図9中のライン92とライン93との間
のオクルージョン部91において対応点を推定すること
によって得られる、ライン92からの延長線とライン9
3からの延長線とは必ず交点をもつわけであるが、前記
仮定から、ライン92とライン93とが同一物体から得
られたものであれば各延長線は滑らかに結ばなければな
らない。一方、同一物体から得られたものでないならば
各延長線は滑らかに結んではいけない。この同一物体か
否かの判断は、ライン92とライン93の形状から判断
できる。ライン93とライン94との間のオクルージョ
ン部91についても同様である。
【0038】上記のことから、図9中の各オクルージョ
ン部91の対応点を含む、全ての対応点を示す線は、表
している物体ごとのラインを合わせたものだと考えるこ
とができる。また、その線を視差画面51上に関数とし
てグラフ化して表すことができる。つまり、視差ライン
71(図7参照)を、左のエピポーラライン27の画素
の番号を入力値とし、右のエピポーラライン28の画素
の番号を出力値とする関数と考える。すると、各物体を
表すライン毎に関数が存在し、オクルージョン部91の
対応点も含む、全ての対応点を示す視差ライン71の関
数をF、各物体を表す各関数をF1 ,F2 ,・・・,F
k とすると F=F1 +F2 +・・・+Fk (4) と表すことができる。この(4)式中の各関数F1 ,F
2 ・・・,Fk は、視差ライン71が表している物体を
判断することによって得られる。
ン部91の対応点を含む、全ての対応点を示す線は、表
している物体ごとのラインを合わせたものだと考えるこ
とができる。また、その線を視差画面51上に関数とし
てグラフ化して表すことができる。つまり、視差ライン
71(図7参照)を、左のエピポーラライン27の画素
の番号を入力値とし、右のエピポーラライン28の画素
の番号を出力値とする関数と考える。すると、各物体を
表すライン毎に関数が存在し、オクルージョン部91の
対応点も含む、全ての対応点を示す視差ライン71の関
数をF、各物体を表す各関数をF1 ,F2 ,・・・,F
k とすると F=F1 +F2 +・・・+Fk (4) と表すことができる。この(4)式中の各関数F1 ,F
2 ・・・,Fk は、視差ライン71が表している物体を
判断することによって得られる。
【0039】以下に図9において、補間された関数Fと
しての視差ライン71を得る方法を示す。この関数Fを
得るためには、幾つかのパラメータが存在する。それ
は、得られているラインの形状、オクルージョン部91
の隙間の大きさ等である。ここで一例として、ラインの
形状を表すパラメータとしてラインの曲率ρを使用す
る。今回は簡単のためこのラインの曲率ρだけでライン
の形状から同一物体か否かの判断をすることにする。ラ
イン93の曲率をρ93、ライン94の曲率をρ94とし、
またライン93を表す関数をF93、ライン94を表す関
数をF94とする。図9から、ライン93の曲率ρ93とラ
イン94の曲率ρ94とは異なるので、ライン93を表す
関数F93とライン94を表す関数F94は違うものと判断
される。そこで関数F93と関数F94とは滑らかに結ばな
い。また、点Bから見たとき、ライン93の方がライン
94よりも手前に存在し、ライン93の表す物体の方が
ライン94の表す物体よりも手前に存在すると判断され
るので、ライン93とライン94との間のオクルージョ
ン部91は、ライン93の形状を延ばすことによって補
間する。その補間されたラインとライン94とは滑らか
には結ばない。ライン92とライン93との間のオクル
ージョン部91においても同様に、ライン93の形状を
延ばすことによって補間し、補間されたラインとライン
92とは滑らかに結ばない。これにより、図7に示した
視差ライン71が得られる。
しての視差ライン71を得る方法を示す。この関数Fを
得るためには、幾つかのパラメータが存在する。それ
は、得られているラインの形状、オクルージョン部91
の隙間の大きさ等である。ここで一例として、ラインの
形状を表すパラメータとしてラインの曲率ρを使用す
る。今回は簡単のためこのラインの曲率ρだけでライン
の形状から同一物体か否かの判断をすることにする。ラ
イン93の曲率をρ93、ライン94の曲率をρ94とし、
またライン93を表す関数をF93、ライン94を表す関
数をF94とする。図9から、ライン93の曲率ρ93とラ
イン94の曲率ρ94とは異なるので、ライン93を表す
関数F93とライン94を表す関数F94は違うものと判断
される。そこで関数F93と関数F94とは滑らかに結ばな
い。また、点Bから見たとき、ライン93の方がライン
94よりも手前に存在し、ライン93の表す物体の方が
ライン94の表す物体よりも手前に存在すると判断され
るので、ライン93とライン94との間のオクルージョ
ン部91は、ライン93の形状を延ばすことによって補
間する。その補間されたラインとライン94とは滑らか
には結ばない。ライン92とライン93との間のオクル
ージョン部91においても同様に、ライン93の形状を
延ばすことによって補間し、補間されたラインとライン
92とは滑らかに結ばない。これにより、図7に示した
視差ライン71が得られる。
【0040】以上説明したように、オクルージョン部9
1以外で得られるライン92、93、94、およびオク
ルージョン部91の隙間の大きさを基に実際の三次元の
景色の物体配置を推定し、全体の視差ライン71を検出
することで、左右各撮像系25、26で撮像された画像
の全域にわたって、対応点抽出つまり視差検出すること
が可能となった。
1以外で得られるライン92、93、94、およびオク
ルージョン部91の隙間の大きさを基に実際の三次元の
景色の物体配置を推定し、全体の視差ライン71を検出
することで、左右各撮像系25、26で撮像された画像
の全域にわたって、対応点抽出つまり視差検出すること
が可能となった。
【0041】さらに、初めにも述べたように本実施例で
は、説明をわかりやすくするため、左右各画像21、2
2上のずれがセンサのx軸方向にしか存在しないという
一次元ずれのみで考えたが、これに限定するものではな
い。例えば、二次元ずれが生じている画像の場合、今ま
で示した方法でx方向の一次元ずれを検出した後、セン
サのy方向に信号を読み出してx方向と同様にy方向の
ずれを検出し、x,y各方向のずれを合成することによ
り、二次元ずれも検出できる。また、二次元ずれを検出
する別の方法として、左右各撮像系25、26で得られ
た左画像21および右画像22を図12に示すように配
置して視差立体111を構成し、その中に従来の技術で
示したテンプレートマッチング法等の対応点抽出法を用
いて得られた対応点をプロットすると、視差ラインが面
になった視差面が得られる。そして、この視差面を基
に、上述した手順と同様な手順でオクルージョン部の視
差を検出することも可能である。また、この方法の改良
版として、全画像を使用するのではなく複数対のエピポ
ーララインを使用して、同様に視差立体121を構成し
て視差面を生成し、同様にオクルージョン部の視差を検
出することも可能である。
は、説明をわかりやすくするため、左右各画像21、2
2上のずれがセンサのx軸方向にしか存在しないという
一次元ずれのみで考えたが、これに限定するものではな
い。例えば、二次元ずれが生じている画像の場合、今ま
で示した方法でx方向の一次元ずれを検出した後、セン
サのy方向に信号を読み出してx方向と同様にy方向の
ずれを検出し、x,y各方向のずれを合成することによ
り、二次元ずれも検出できる。また、二次元ずれを検出
する別の方法として、左右各撮像系25、26で得られ
た左画像21および右画像22を図12に示すように配
置して視差立体111を構成し、その中に従来の技術で
示したテンプレートマッチング法等の対応点抽出法を用
いて得られた対応点をプロットすると、視差ラインが面
になった視差面が得られる。そして、この視差面を基
に、上述した手順と同様な手順でオクルージョン部の視
差を検出することも可能である。また、この方法の改良
版として、全画像を使用するのではなく複数対のエピポ
ーララインを使用して、同様に視差立体121を構成し
て視差面を生成し、同様にオクルージョン部の視差を検
出することも可能である。
【0042】さらに、図13に示すように、左撮像系2
5および右撮像系26を輻輳角が互いに外向きとなるよ
うに配置させ、左撮像系25および右撮像系26の両方
で撮像可能なオーバラップ部131が撮像範囲の一部に
しかないときも、エピポーララインの再配置を行い、同
様にオーバラップ部131内のオクルージョン部の視差
を検出することが可能である。
5および右撮像系26を輻輳角が互いに外向きとなるよ
うに配置させ、左撮像系25および右撮像系26の両方
で撮像可能なオーバラップ部131が撮像範囲の一部に
しかないときも、エピポーララインの再配置を行い、同
様にオーバラップ部131内のオクルージョン部の視差
を検出することが可能である。
【0043】左右各撮像系25、26に輻輳角がつく
と、レンズ中心23、24からの奥行が一定の位置での
視差ラインは変化する。例えば、図13に示したように
輻輳角が外向きのときに撮像した物体が、レンズ中心2
3、24からの奥行きが無限遠の所に存在するとした場
合には、図14に破線で示すような弧状の視差ライン1
41が得られる。逆に輻輳角が内向きのときには、輻輳
角がないときの視差ライン71に対して対称となる位置
に一点鎖線で示したような弧状の視差ライン141’が
得られる。輻輳角がついたときの視差ライン141、1
41’の曲率は、輻輳角の大きさに応じて変化する。よ
って、このようにそれぞれ輻輳角がついたときの視差ラ
インの様子がわかっていれば、左右各撮像系25、26
に輻輳角がついたときでも、画像及びエピポーラライン
の再配置を行わなずに輻輳角がないときと同様の処理を
行い、オーバーラップ部131内の全ての視差を検出す
ることは可能である。
と、レンズ中心23、24からの奥行が一定の位置での
視差ラインは変化する。例えば、図13に示したように
輻輳角が外向きのときに撮像した物体が、レンズ中心2
3、24からの奥行きが無限遠の所に存在するとした場
合には、図14に破線で示すような弧状の視差ライン1
41が得られる。逆に輻輳角が内向きのときには、輻輳
角がないときの視差ライン71に対して対称となる位置
に一点鎖線で示したような弧状の視差ライン141’が
得られる。輻輳角がついたときの視差ライン141、1
41’の曲率は、輻輳角の大きさに応じて変化する。よ
って、このようにそれぞれ輻輳角がついたときの視差ラ
インの様子がわかっていれば、左右各撮像系25、26
に輻輳角がついたときでも、画像及びエピポーラライン
の再配置を行わなずに輻輳角がないときと同様の処理を
行い、オーバーラップ部131内の全ての視差を検出す
ることは可能である。
【0044】(第2実施例)今、従来の技術で示したテ
ンプレートマッチング法等の対応点抽出法に基づいて、
2つの撮像系で得られた各画像の対応点を抽出して視差
画面上にプロットした結果、図15に示すような、4つ
のオクルージョン部151で分断された5本のライン1
52、153、154、155、156が描かれた視差
画面51を得たとする。そして、図16に示すように、
各ライン152、153、154、155、156をそ
の曲率を維持しつつ延長して滑らかにつながるものと連
結する。これにより図16においては、ライン152と
ライン156とが連結されるとともに、ライン153と
ライン155とが連結され、2つの領域161、162
を形成する。領域161、162はそれぞれ三次元の景
色に配置された物体を示している。
ンプレートマッチング法等の対応点抽出法に基づいて、
2つの撮像系で得られた各画像の対応点を抽出して視差
画面上にプロットした結果、図15に示すような、4つ
のオクルージョン部151で分断された5本のライン1
52、153、154、155、156が描かれた視差
画面51を得たとする。そして、図16に示すように、
各ライン152、153、154、155、156をそ
の曲率を維持しつつ延長して滑らかにつながるものと連
結する。これにより図16においては、ライン152と
ライン156とが連結されるとともに、ライン153と
ライン155とが連結され、2つの領域161、162
を形成する。領域161、162はそれぞれ三次元の景
色に配置された物体を示している。
【0045】このように、各ライン152、153、1
54、155、156の形状とオクルージョン部151
の隙間をパラメータとして、各ライン152、153、
154、155、156を補間することにより各物体を
分離できる。図16に示した視差画面51に、視差画面
51の右下端の点Aより陰線処理を施すことにより、図
17に示すような視差ライン171が得られる。これに
より、2つの撮像系で得られた各画像の視差が検出可能
となる。
54、155、156の形状とオクルージョン部151
の隙間をパラメータとして、各ライン152、153、
154、155、156を補間することにより各物体を
分離できる。図16に示した視差画面51に、視差画面
51の右下端の点Aより陰線処理を施すことにより、図
17に示すような視差ライン171が得られる。これに
より、2つの撮像系で得られた各画像の視差が検出可能
となる。
【0046】以上説明した各実施例では2つの撮像系で
得られた2つの画像についての視差検出の処理について
示したが、撮像系の数はこれに限られるものではなく、
3つ以上であってもよい。
得られた2つの画像についての視差検出の処理について
示したが、撮像系の数はこれに限られるものではなく、
3つ以上であってもよい。
【0047】
【発明の効果】以上説明したように本発明によれば、対
応点の抽出が行なわれている部位の視差を表わす線また
は面の形状に基づいて物体の形状を推定し、オクルージ
ョン部の補間処理を行なうことで、物体を複数の撮像系
で撮像した際に生じるオクルージョン部における対応点
抽出つまり視差検出が可能となり、撮像された各画像の
オーバーラップ部の全ての領域にわたって視差を検出す
ることができる。
応点の抽出が行なわれている部位の視差を表わす線また
は面の形状に基づいて物体の形状を推定し、オクルージ
ョン部の補間処理を行なうことで、物体を複数の撮像系
で撮像した際に生じるオクルージョン部における対応点
抽出つまり視差検出が可能となり、撮像された各画像の
オーバーラップ部の全ての領域にわたって視差を検出す
ることができる。
【図1】本発明の複数画像からの視差検出方法の一実施
例のフローチャートである。
例のフローチャートである。
【図2】左右2つの撮像系を有する複眼撮像装置により
被写体を撮像したときに得られる左右画像のエピポーラ
ラインを説明するための図である。
被写体を撮像したときに得られる左右画像のエピポーラ
ラインを説明するための図である。
【図3】左右各撮像系の光軸が平行に配置された複眼撮
像装置により平面被写体を撮像したときに得られる左右
画像を示す図である。
像装置により平面被写体を撮像したときに得られる左右
画像を示す図である。
【図4】左右各撮像系が輻輳角を有する複眼撮像装置に
より平面被写体を撮像したときに得られる左右画像を示
す図である。
より平面被写体を撮像したときに得られる左右画像を示
す図である。
【図5】左右のエピポーララインから構成される視差画
面を示す図である。
面を示す図である。
【図6】平面視半円柱状の物体の背景に平板状の物体が
配置された景色を撮像するときの、各物体と左右各撮像
系の配置を示す図である。
配置された景色を撮像するときの、各物体と左右各撮像
系の配置を示す図である。
【図7】図6に示した2つの物体を撮像して得られる理
想的な視差ラインを示す視差画面の図である。
想的な視差ラインを示す視差画面の図である。
【図8】左右各撮像系のレンズ中心からの奥行きに対す
る視差ラインの変化を説明するための図で、同図(a)
は左右各撮像系に対する位置による左右のエピポーララ
インへの対応を示す図、同図(b)は同図(a)により
得られた視差画面の図である。
る視差ラインの変化を説明するための図で、同図(a)
は左右各撮像系に対する位置による左右のエピポーララ
インへの対応を示す図、同図(b)は同図(a)により
得られた視差画面の図である。
【図9】オクルージョン部により視差ラインが途切れて
いる、補間前の視差画面の図である。
いる、補間前の視差画面の図である。
【図10】図9に示した視差画面上のラインの意味を考
察するための図で、同図(a)は平面視方形状の物体の
背景に平板状の物体が配置された景色を撮像するとき
の、各物体と左右各撮像系の配置を示す図、同図(b)
は同図(a)に示した2つの物体を撮像して得られる理
想的な視差ラインを示す視差画面の図である。
察するための図で、同図(a)は平面視方形状の物体の
背景に平板状の物体が配置された景色を撮像するとき
の、各物体と左右各撮像系の配置を示す図、同図(b)
は同図(a)に示した2つの物体を撮像して得られる理
想的な視差ラインを示す視差画面の図である。
【図11】図9に示した視差画面上のラインの意味を考
察するための図で、同図(a)は平面視三角形状の物体
の背景に平板状の物体が配置された景色を撮像するとき
の、各物体と左右各撮像系の配置を示す図、同図(b)
は同図(a)に示した2つの物体を撮像して得られる理
想的な視差ラインを示す視差画面の図である。
察するための図で、同図(a)は平面視三角形状の物体
の背景に平板状の物体が配置された景色を撮像するとき
の、各物体と左右各撮像系の配置を示す図、同図(b)
は同図(a)に示した2つの物体を撮像して得られる理
想的な視差ラインを示す視差画面の図である。
【図12】左右各画像の二次元ずれを検出する方法の一
例を説明するための図である。
例を説明するための図である。
【図13】輻輳角が外向きのときの左右各撮像系の配置
を示す図である。
を示す図である。
【図14】輻輳角がないとき、輻輳角が外向きのとき、
および輻輳角が内向きのときの無限遠での視差ラインを
示す視差画面の図である。
および輻輳角が内向きのときの無限遠での視差ラインを
示す視差画面の図である。
【図15】本発明の複数画像からの視差検出方法の第2
実施例を説明するための、ある物体を撮像して得られた
補間前の視差ラインを示す視差画面の図である。
実施例を説明するための、ある物体を撮像して得られた
補間前の視差ラインを示す視差画面の図である。
【図16】図15に示した各ラインを延長して各ライン
の補間を行なった視差画面の図である。
の補間を行なった視差画面の図である。
【図17】図16に示した視差画面に陰影処理を施して
得られた理想的な視差ラインを示す視差画面の図であ
る。
得られた理想的な視差ラインを示す視差画面の図であ
る。
【図18】協調アルゴリズムを説明するための図であ
る。
る。
20 被写体 21 左画像 22 右画像 23、24 レンズ中心 25 左撮像系 26 右撮像系 27 左のエピポーラライン 27a、28a 左端 28 右のエピポーラライン 29 エピポーラ面 32 平面被写体 51 視差画面 61、62、81、101、102、111、112
物体 71、103、113、141、141’、171
視差ライン 91、151 オクルージョン部 92、93、94、152、153、154、155、
156 ライン 131 オーバーラップ部 161、162 領域 LL 、LR 光軸
物体 71、103、113、141、141’、171
視差ライン 91、151 オクルージョン部 92、93、94、152、153、154、155、
156 ライン 131 オーバーラップ部 161、162 領域 LL 、LR 光軸
Claims (3)
- 【請求項1】 それぞれ複数の撮像系で同一物体を撮像
することにより得られた複数の画像から、一つの画像中
の任意の点に対する他の画像中の対応点を抽出する、複
数画像からの視差検出方法において、 前記対応点の抽出を行なえずにオクルージョン部となる
部位が存在する場合には、前記対応点の抽出が行なわれ
ている部位の視差を表わす線または面の形状に基づいて
前記物体の形状を推定し、前記オクルージョン部の補間
処理を行なうことを特徴とする、複数画像からの視差検
出方法。 - 【請求項2】 前記視差を表す線または面の形状から前
記物体が一つの物体か否かを判断し、前記物体が一つの
物体であると判断された場合には前記オクルージョン部
を滑らかな線で補間し、前記物体が複数の物体であると
判断された場合には、前記撮像系に対して手前に存在す
る物体の視差を表わす線または面の形状を延長して前記
オクルージョン部を補間する、請求項1に記載の複数画
素からの視差検出方法。 - 【請求項3】 前記視差を表わす線または面の形状は、
前記視差を表わす線または面の曲率を用いる、請求項1
または2に記載の複数画像からの視差検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5050899A JPH06265322A (ja) | 1993-03-11 | 1993-03-11 | 複数画像からの視差検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5050899A JPH06265322A (ja) | 1993-03-11 | 1993-03-11 | 複数画像からの視差検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH06265322A true JPH06265322A (ja) | 1994-09-20 |
Family
ID=12871597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5050899A Pending JPH06265322A (ja) | 1993-03-11 | 1993-03-11 | 複数画像からの視差検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH06265322A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008093287A (ja) * | 2006-10-13 | 2008-04-24 | Olympus Medical Systems Corp | 医療用画像処理装置及び医療用画像処理方法 |
JP2008151659A (ja) * | 2006-12-18 | 2008-07-03 | Fuji Heavy Ind Ltd | 物体検出装置 |
JP2009531927A (ja) * | 2006-03-31 | 2009-09-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 複数の視野の効率的な符号化 |
JP2012195626A (ja) * | 2011-03-14 | 2012-10-11 | Dainippon Printing Co Ltd | 視差画像生成装置、視差画像生成方法、プログラム及び記憶媒体 |
JP2012527787A (ja) * | 2009-05-21 | 2012-11-08 | インテル・コーポレーション | 画像から高速に立体構築を行なう方法 |
-
1993
- 1993-03-11 JP JP5050899A patent/JPH06265322A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009531927A (ja) * | 2006-03-31 | 2009-09-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 複数の視野の効率的な符号化 |
US9986258B2 (en) | 2006-03-31 | 2018-05-29 | Koninklijke Philips N.V. | Efficient encoding of multiple views |
JP2008093287A (ja) * | 2006-10-13 | 2008-04-24 | Olympus Medical Systems Corp | 医療用画像処理装置及び医療用画像処理方法 |
JP2008151659A (ja) * | 2006-12-18 | 2008-07-03 | Fuji Heavy Ind Ltd | 物体検出装置 |
JP2012527787A (ja) * | 2009-05-21 | 2012-11-08 | インテル・コーポレーション | 画像から高速に立体構築を行なう方法 |
JP2012195626A (ja) * | 2011-03-14 | 2012-10-11 | Dainippon Printing Co Ltd | 視差画像生成装置、視差画像生成方法、プログラム及び記憶媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111066065B (zh) | 用于混合深度正则化的***和方法 | |
EP2064675B1 (en) | Method for determining a depth map from images, device for determining a depth map | |
JP5792157B2 (ja) | 画像処理装置、方法、プログラム及び記録媒体 | |
JP3054681B2 (ja) | 画像処理方法 | |
JP2011060216A (ja) | 画像処理装置および画像処理方法 | |
EP3446283B1 (en) | Image stitching method and device | |
JPH0719832A (ja) | 複数画像の対応点抽出方法 | |
JP2953154B2 (ja) | 形状合成方法 | |
JP2910698B2 (ja) | 三次元構造推定方法及び装置 | |
US5680474A (en) | Corresponding point extraction method for a plurality of images | |
EP1997072B1 (en) | Method for determining a depth map from images, device for determining a depth map | |
JP3008875B2 (ja) | 被写体抽出装置 | |
JP2001148012A (ja) | 対応点探索方法および装置 | |
JPH06265322A (ja) | 複数画像からの視差検出方法 | |
WO2019019160A1 (zh) | 一种图像信息获取方法、图像处理设备及计算机存储介质 | |
JP2001153633A (ja) | 立体形状検出方法および装置 | |
JP2003050110A (ja) | 3次元形状データ生成システム、3次元形状データ生成方法、プログラム、および記録媒体 | |
JP6648916B2 (ja) | 撮像装置 | |
KR20140101559A (ko) | 3차원 집적영상의 가려짐 문제 해결방법 | |
JPH09229648A (ja) | 画像情報入出力装置及び画像情報入出力方法 | |
JPH0624000B2 (ja) | 複合立体視装置 | |
JP2013115739A (ja) | 画像間差分装置および画像間差分方法 | |
CN111080689B (zh) | 确定面部深度图的方法和装置 | |
CN112424566B (zh) | 测距摄像机 | |
JPH047805B2 (ja) |