JPH06195445A - 複数画像の対応点抽出方法 - Google Patents
複数画像の対応点抽出方法Info
- Publication number
- JPH06195445A JPH06195445A JP4343994A JP34399492A JPH06195445A JP H06195445 A JPH06195445 A JP H06195445A JP 4343994 A JP4343994 A JP 4343994A JP 34399492 A JP34399492 A JP 34399492A JP H06195445 A JPH06195445 A JP H06195445A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- images
- initial screen
- virtual
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 複数画像の対応点抽出方法を、被写体の上下
のエッジ情報をも精度よく得ることができるようにす
る。 【構成】 たとえば、初期画面Dk の黒点Qk(i,j)に対
する実画素に基づく興奮性結合および抑制性結合をもつ
局所演算は、次のようにして行われる。 (1)初期画面Dk 上の各交点について、従来例と同様
にして、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。 (2)初期画面Dk の図1図示上下にそれぞれ配置され
た初期画面Dk-1 および初期画面Dk+1 上の各交点につ
いても、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。
のエッジ情報をも精度よく得ることができるようにす
る。 【構成】 たとえば、初期画面Dk の黒点Qk(i,j)に対
する実画素に基づく興奮性結合および抑制性結合をもつ
局所演算は、次のようにして行われる。 (1)初期画面Dk 上の各交点について、従来例と同様
にして、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。 (2)初期画面Dk の図1図示上下にそれぞれ配置され
た初期画面Dk-1 および初期画面Dk+1 上の各交点につ
いても、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。
Description
【0001】
【産業上の利用分野】本発明は、複数画像の対応点抽出
方法に関し、特に、複数の画像からそれぞれ抽出した複
数のエピポーララインから形成される視差画面上の各交
点で、該複数の画像の実画素に基づく興奮性結合および
抑制性結合をもつ局所演算を行うことにより視差ライン
を得て、該複数の画像の対応点を抽出する複数画像の対
応点抽出方法に関するものである。
方法に関し、特に、複数の画像からそれぞれ抽出した複
数のエピポーララインから形成される視差画面上の各交
点で、該複数の画像の実画素に基づく興奮性結合および
抑制性結合をもつ局所演算を行うことにより視差ライン
を得て、該複数の画像の対応点を抽出する複数画像の対
応点抽出方法に関するものである。
【0002】
【従来の技術】図20は、距離画像を求めるために用い
られる三角測量を説明するための図である。なお、以下
の説明では、特記しない限り、右側カメラおよび左側カ
メラのセンサがそれぞれポジ面に置かれた状態で図示す
る。
られる三角測量を説明するための図である。なお、以下
の説明では、特記しない限り、右側カメラおよび左側カ
メラのセンサがそれぞれポジ面に置かれた状態で図示す
る。
【0003】三角測量は、2つのカメラ(右側カメラお
よび左側カメラ)を用いて三次元空間内にある物体(被
写体)を撮像した際、この物体上の一点Pの投影点を右
側カメラのレンズの中心点OR および左側カメラのレン
ズの中心点OL としたときの右側カメラのセンサ面ASR
での投影点PR と左側カメラのセンサ面ASLでの投影点
PL とから、この物体上の一点Pの三次元座標を得るも
のである。ここで、『基線B』,『基線長LB 』,『エ
ピポーラ面(視線面)Ae 』および『エピポーラライン
(視線像)LeR,LeL』はそれぞれ、以下のように定義
される。 (1)『基線B』とは、右側カメラのレンズの中心点O
R と左側カメラのレンズの中心点OL とを結ぶ線をい
う。 (2)『基線長LB 』とは、基線Bの長さをいう。 (3)『エピポーラ面Ae 』とは、物体上の一点Pと投
影点PR と投影点PL との三点を結んでできる平面をい
う。 (4)『エピポーラライン(視線像)LeR』とは、エピ
ポーラ面Ae と右側カメラのセンサ面ASRとの交線をい
い、『エピポーララインLeL』とは、エピポーラ面Ae
と左側カメラのセンサ面ASLとの交線をいう。
よび左側カメラ)を用いて三次元空間内にある物体(被
写体)を撮像した際、この物体上の一点Pの投影点を右
側カメラのレンズの中心点OR および左側カメラのレン
ズの中心点OL としたときの右側カメラのセンサ面ASR
での投影点PR と左側カメラのセンサ面ASLでの投影点
PL とから、この物体上の一点Pの三次元座標を得るも
のである。ここで、『基線B』,『基線長LB 』,『エ
ピポーラ面(視線面)Ae 』および『エピポーラライン
(視線像)LeR,LeL』はそれぞれ、以下のように定義
される。 (1)『基線B』とは、右側カメラのレンズの中心点O
R と左側カメラのレンズの中心点OL とを結ぶ線をい
う。 (2)『基線長LB 』とは、基線Bの長さをいう。 (3)『エピポーラ面Ae 』とは、物体上の一点Pと投
影点PR と投影点PL との三点を結んでできる平面をい
う。 (4)『エピポーラライン(視線像)LeR』とは、エピ
ポーラ面Ae と右側カメラのセンサ面ASRとの交線をい
い、『エピポーララインLeL』とは、エピポーラ面Ae
と左側カメラのセンサ面ASLとの交線をいう。
【0004】図21に示すように、基線Bの中点を原点
O(0,0,0),基線Bに沿ってx軸,紙面と垂直方
向にy軸(不図示)および基線Bと垂直方向にz軸をと
り、右側カメラのレンズおよび左側カメラのレンズの焦
点距離をそれぞれfとし、物体上の一点P,投影点PR
および投影点PL の座標をそれぞれ(xP,yP,
zP),(xPR ,yPR,zPR)および(xPL,yPL,z
PL)とする。このとき、右側カメラおよび左側カメラの
光軸がそれぞれ、図21に示すように、基線Bに対して
垂直である場合(すなわち、該2つの光軸が互いに平行
である場合)には、 (xPL+LB/2)/f=(xP+LB/2)/zP (1.1) (xPR−LB/2)/f=(xP−LB/2)/zP (1.2) yL/f=yR/f=y/zP (1.3) (LB+xPL−xPR)/f=LB/zP (1.4) がそれぞれ成り立つ。よって、物体上の一点Pの座標
(xP,yP,zP)は、 xP=LB・{(xPL+xPR)/2}/(LB+xPL−xPR) (2.1) yP=LB・{(yPL+yPR)/2}/(LB+xPL−xPR) (2.2) zP=LB・f/(LB+xPL−xPR) (2.3) より求まる。
O(0,0,0),基線Bに沿ってx軸,紙面と垂直方
向にy軸(不図示)および基線Bと垂直方向にz軸をと
り、右側カメラのレンズおよび左側カメラのレンズの焦
点距離をそれぞれfとし、物体上の一点P,投影点PR
および投影点PL の座標をそれぞれ(xP,yP,
zP),(xPR ,yPR,zPR)および(xPL,yPL,z
PL)とする。このとき、右側カメラおよび左側カメラの
光軸がそれぞれ、図21に示すように、基線Bに対して
垂直である場合(すなわち、該2つの光軸が互いに平行
である場合)には、 (xPL+LB/2)/f=(xP+LB/2)/zP (1.1) (xPR−LB/2)/f=(xP−LB/2)/zP (1.2) yL/f=yR/f=y/zP (1.3) (LB+xPL−xPR)/f=LB/zP (1.4) がそれぞれ成り立つ。よって、物体上の一点Pの座標
(xP,yP,zP)は、 xP=LB・{(xPL+xPR)/2}/(LB+xPL−xPR) (2.1) yP=LB・{(yPL+yPR)/2}/(LB+xPL−xPR) (2.2) zP=LB・f/(LB+xPL−xPR) (2.3) より求まる。
【0005】また、右側カメラおよび左側カメラの光軸
がそれぞれ、図22に示すように、基線Bに対して所定
の角度(輻湊角)θをもっている場合には、 (xPL+LB/2)/zPL=(xP+LB/2)/zP (3.1) (xPR−LB/2)/zPR=(xP−LB/2)/zP (3.2) yPL/zPL=yPR/zPR=yP/zP (3.3) LB/zP={(xPL+LB/2)−(zPL/zPR)(xPR−LB/2)}/z PL (3.4) ただし、|xPR|≧|xPL| LB/zP={−(xPR−LB/2)+(zPR/zPL)(xPL+LB/2)}/ zPR (3.5) ただし、|xPR|<|xPL| zPR=(xPR−LB/2)・tan(θ)+f・cos(θ) (3.6) zPL=−(xPL+LB/2)・tan(θ)+f・cos(θ) (3.7) がそれぞれ成り立つ。したがって、物体上の一点Pの座
標(xP,yP,zP)は、上記(3.1)式から上記
(3.7)式より求まる。
がそれぞれ、図22に示すように、基線Bに対して所定
の角度(輻湊角)θをもっている場合には、 (xPL+LB/2)/zPL=(xP+LB/2)/zP (3.1) (xPR−LB/2)/zPR=(xP−LB/2)/zP (3.2) yPL/zPL=yPR/zPR=yP/zP (3.3) LB/zP={(xPL+LB/2)−(zPL/zPR)(xPR−LB/2)}/z PL (3.4) ただし、|xPR|≧|xPL| LB/zP={−(xPR−LB/2)+(zPR/zPL)(xPL+LB/2)}/ zPR (3.5) ただし、|xPR|<|xPL| zPR=(xPR−LB/2)・tan(θ)+f・cos(θ) (3.6) zPL=−(xPL+LB/2)・tan(θ)+f・cos(θ) (3.7) がそれぞれ成り立つ。したがって、物体上の一点Pの座
標(xP,yP,zP)は、上記(3.1)式から上記
(3.7)式より求まる。
【0006】以上説明した三角測量により、右側撮像系
と左側撮像系とからなる複眼撮像系によって撮像した二
枚の画像から、物体(被写体)までの距離を求めること
ができる。しかし、三角測量は、右側カメラのセンサ面
ASRでの投影点PR と左側カメラのセンサ面ASLでの投
影点PL とが同じ一点Pの投影点であることを前提条件
として、物体までの距離を求めるものである。したがっ
て、左側カメラのセンサ面ASLでの投影点PL に対応す
る右側カメラのセンサ面ASRでの投影点PR が抽出され
ている必要があるため、複眼撮像系を用いて距離情報を
得るには、如何にして対応点を抽出するか(対応点抽出
方法)が問題となる。かかる対応点抽出方法の代表的な
ものとしては、既に工場などで応用されているテンプレ
ートマッチング法と、視覚の処理に基づく協調的アルゴ
リズムとがある。
と左側撮像系とからなる複眼撮像系によって撮像した二
枚の画像から、物体(被写体)までの距離を求めること
ができる。しかし、三角測量は、右側カメラのセンサ面
ASRでの投影点PR と左側カメラのセンサ面ASLでの投
影点PL とが同じ一点Pの投影点であることを前提条件
として、物体までの距離を求めるものである。したがっ
て、左側カメラのセンサ面ASLでの投影点PL に対応す
る右側カメラのセンサ面ASRでの投影点PR が抽出され
ている必要があるため、複眼撮像系を用いて距離情報を
得るには、如何にして対応点を抽出するか(対応点抽出
方法)が問題となる。かかる対応点抽出方法の代表的な
ものとしては、既に工場などで応用されているテンプレ
ートマッチング法と、視覚の処理に基づく協調的アルゴ
リズムとがある。
【0007】(1)テンプレートマッチング法 テンプレートマッチング法は、左側カメラのセンサ面A
SLに結像される左画像の任意の一点を囲むテンプレート
を考え、このテンプレート内の画像に対して、右側カメ
ラのセンサASRに結像される右画像の類似性を比較する
ことによって、対応点を決定するものである。なお、類
似性の比較には、以下に示す二通りの方法がある。
SLに結像される左画像の任意の一点を囲むテンプレート
を考え、このテンプレート内の画像に対して、右側カメ
ラのセンサASRに結像される右画像の類似性を比較する
ことによって、対応点を決定するものである。なお、類
似性の比較には、以下に示す二通りの方法がある。
【0008】(a)SSDA法(Sequential Similarit
y Detection Algorithm ) SSDA法は、以下に示す(4.1)式で示すように、
左画像のエピポーララインLeL上のすべての画素および
右画像のエピポーララインLeR上のすべての画素に対し
て、左画像のテンプレート内の画像中の画素値EL と探
索する右画像中の画素値ER との差を加算して、得られ
た和E(x,y)が最小値になる座標を対応点の座標とす
るものである。
y Detection Algorithm ) SSDA法は、以下に示す(4.1)式で示すように、
左画像のエピポーララインLeL上のすべての画素および
右画像のエピポーララインLeR上のすべての画素に対し
て、左画像のテンプレート内の画像中の画素値EL と探
索する右画像中の画素値ER との差を加算して、得られ
た和E(x,y)が最小値になる座標を対応点の座標とす
るものである。
【0009】
【数1】 SSDA法では、今までに計算した他の座標における最
小値よりも計算中の画素値の差の和が大きくなった場合
には、計算を中止して次の座標に移動してもよいため、
余分な計算をなくして計算時間を短縮することができ
る。
小値よりも計算中の画素値の差の和が大きくなった場合
には、計算を中止して次の座標に移動してもよいため、
余分な計算をなくして計算時間を短縮することができ
る。
【0010】(b)相関法 相関法は、以下に示す(4.2)式で示すように、左画
像のテンプレート内の画像中の画素値EL と探索する右
画像中の画素値ER との相互相関をとることにより相関
値ρ(x,y)を求めて、求めた相関値ρ(x,y)が最大
値となる座標を対応点の座標とするものである。なお、
式(4.2)に示す正規化相互相関では、最大値は”
1”となる。
像のテンプレート内の画像中の画素値EL と探索する右
画像中の画素値ER との相互相関をとることにより相関
値ρ(x,y)を求めて、求めた相関値ρ(x,y)が最大
値となる座標を対応点の座標とするものである。なお、
式(4.2)に示す正規化相互相関では、最大値は”
1”となる。
【0011】
【数2】 (2)協調アルゴリズム David Marrにより提案された『協調アルゴリズム』は、
以下に示す3つの規則を用いて視差ラインを得るアルゴ
リズムである(D. Marr, Vision: A Computational Inve
stigation into the Human Representation and Proces
sing of VisualInformation, W. H. Freeman & Co., Sa
n Francisco Calif., 1982)。
以下に示す3つの規則を用いて視差ラインを得るアルゴ
リズムである(D. Marr, Vision: A Computational Inve
stigation into the Human Representation and Proces
sing of VisualInformation, W. H. Freeman & Co., Sa
n Francisco Calif., 1982)。
【0012】規則1(適合性) …… 黒点は黒点とのみ
整合し得る。
整合し得る。
【0013】規則2(一意性) …… ほとんど常に、一
つの画像の一つの黒点は、他方の画像の唯一の黒点と整
合し得る。
つの画像の一つの黒点は、他方の画像の唯一の黒点と整
合し得る。
【0014】規則3(連続性) …… 整合する点の視差
は、ほとんど全域で滑らかに変化する。
は、ほとんど全域で滑らかに変化する。
【0015】協調アルゴリズムを実現する対応点抽出装
置は、Marrによると、多くの処理装置が並列にかつ相互
に結合されたネットワークを形成してなるものであり、
図23(A)に示す各交点または節点に、小さな処理装
置がそれぞれ置かれる。もし節点が黒点の正しい対を表
わすならば、該節点に置かれた処理装置は最終的に値”
1”をもち、一方、もしそれが正しくない対(誤標的)
を表わすならば、該処理装置は値”0”をもつ。
置は、Marrによると、多くの処理装置が並列にかつ相互
に結合されたネットワークを形成してなるものであり、
図23(A)に示す各交点または節点に、小さな処理装
置がそれぞれ置かれる。もし節点が黒点の正しい対を表
わすならば、該節点に置かれた処理装置は最終的に値”
1”をもち、一方、もしそれが正しくない対(誤標的)
を表わすならば、該処理装置は値”0”をもつ。
【0016】規則2から、ただ1つの対応が水平または
垂直の線に沿って許される。そこで、各水平または垂直
の線に沿った節点に置かれた処理装置はすべて、互いに
抑制し合うようにする。これは各線に沿った競合の結
果、ただ一つの処理装置が値”1”として生き残り、他
の処理装置の値をすべて”0”にすることで、規則2を
満足しようという考え方によるものである。
垂直の線に沿って許される。そこで、各水平または垂直
の線に沿った節点に置かれた処理装置はすべて、互いに
抑制し合うようにする。これは各線に沿った競合の結
果、ただ一つの処理装置が値”1”として生き残り、他
の処理装置の値をすべて”0”にすることで、規則2を
満足しようという考え方によるものである。
【0017】規則3によれば、正しい対は破線に沿って
存在しやすいので、この方向に並ぶ処理装置間に、興奮
性の結合を挿入する。これは、各局所的な処理装置に図
23(B)に示すような構造を与える。両眼からの視線
に対応する図中の水平の線101 および垂直の線102 に沿
う処理装置に抑制性結合をかけ、視差一定の線に対応す
る斜めの線103 に沿う処理装置には興奮性結合をかけ
る。我々は、そのアルゴリズムを二次元の画像に拡張で
きる。その場合は、抑制性結合はそのままで、興奮性結
合が視差一定の二次元の微小近傍104 にかかるようにす
る。これを図23(C)に示す。
存在しやすいので、この方向に並ぶ処理装置間に、興奮
性の結合を挿入する。これは、各局所的な処理装置に図
23(B)に示すような構造を与える。両眼からの視線
に対応する図中の水平の線101 および垂直の線102 に沿
う処理装置に抑制性結合をかけ、視差一定の線に対応す
る斜めの線103 に沿う処理装置には興奮性結合をかけ
る。我々は、そのアルゴリズムを二次元の画像に拡張で
きる。その場合は、抑制性結合はそのままで、興奮性結
合が視差一定の二次元の微小近傍104 にかかるようにす
る。これを図23(C)に示す。
【0018】かかる対応点抽出装置では、左画像と右画
像とをそれぞれ撮り、二つの黒点が整合する所(誤標的
も含めすべて)は”1”を与えて他はすべて”0”を与
えることにより、処理装置のネットワークに負荷を加え
たのち、ネットワークを走らせる。各処理装置は興奮性
近傍の”1”を合計し、抑制性近傍の”1”を合計す
る。そして、一方の合計に適当な重みをかけたのち、結
果の数値を引き算する。もし結果がある閾値を超えれば
その処理装置は値”1”にセットされ、もしそうでなけ
ればその処理装置は”0”にセットされる。形式的に、
このアルゴリズムは、次の(5)式に示す反復関係によ
って表わされる。
像とをそれぞれ撮り、二つの黒点が整合する所(誤標的
も含めすべて)は”1”を与えて他はすべて”0”を与
えることにより、処理装置のネットワークに負荷を加え
たのち、ネットワークを走らせる。各処理装置は興奮性
近傍の”1”を合計し、抑制性近傍の”1”を合計す
る。そして、一方の合計に適当な重みをかけたのち、結
果の数値を引き算する。もし結果がある閾値を超えれば
その処理装置は値”1”にセットされ、もしそうでなけ
ればその処理装置は”0”にセットされる。形式的に、
このアルゴリズムは、次の(5)式に示す反復関係によ
って表わされる。
【0019】
【数3】 ここで、
【0020】
【外1】 は、図23(A)に示したネットワークにおける位置
(x,y),視差dおよび時間tに対応する細胞の状態
を示す。S(x,y,d)は局所的興奮性近傍,O(x,
y,d)は抑制性近傍である。εは抑制定数であり、σ
は閾値関数である。初期状態C0 は、定められた視差範
囲内で、誤標的を含む可能な対をすべて含んでいる。こ
こで、それは各繰り返しごとに加えられる(そうする必
要はないが、こうするとアルゴリズムがより速く収束す
る)。
(x,y),視差dおよび時間tに対応する細胞の状態
を示す。S(x,y,d)は局所的興奮性近傍,O(x,
y,d)は抑制性近傍である。εは抑制定数であり、σ
は閾値関数である。初期状態C0 は、定められた視差範
囲内で、誤標的を含む可能な対をすべて含んでいる。こ
こで、それは各繰り返しごとに加えられる(そうする必
要はないが、こうするとアルゴリズムがより速く収束す
る)。
【0021】次に、二枚の二値画像からそれぞれ抽出し
た二本のエピポーララインから形成される視差画面上
で、この二枚の二値画像の実画素に基づく興奮性結合お
よび抑制性結合をもつ局所演算を繰り返し行うことによ
り視差ラインを得て、この二枚の二値画像の対応点を抽
出する複数画像の対応点抽出方法について、詳しく説明
する。
た二本のエピポーララインから形成される視差画面上
で、この二枚の二値画像の実画素に基づく興奮性結合お
よび抑制性結合をもつ局所演算を繰り返し行うことによ
り視差ラインを得て、この二枚の二値画像の対応点を抽
出する複数画像の対応点抽出方法について、詳しく説明
する。
【0022】まず、視差ラインについて、図24および
図25をそれぞれ参照して説明する。左側カメラおよび
右側カメラの光軸が基線に対してそれぞれ垂直であると
き、被写体が投影された図24に示すような一組のエピ
ポーララインLeL,LeRが得られる。そこで、図25に
示すように、得られた左のエピポーララインLeLを画素
a1Lが図示左側になり画素a5Lが図示右側になるように
図示横方向に配置するとともに、得られた右のエピポー
ララインLeRを画素a1Rが図示下側になり画素a5Rが図
示上側になるように図示縦方向に配置したのち、各エピ
ポーララインL eL,LeR上の互いに対応する画素(画素
a1Lと画素a1Rなど)の交点b1〜b5をそれぞれ求め
る。このとき、各交点b1〜b5を結ぶ線を『視差ライン
114 』と呼び、視差が一定の場合には視差ライン114 は
図示右上がりの傾き45゜の直線となるため、視差ライ
ン114 を求めることにより左画像と右画像との視差の変
化がわかる。なお、2つのエピポーララインLeL,LeR
により得られる平面を『視差画面113 』と呼ぶ。
図25をそれぞれ参照して説明する。左側カメラおよび
右側カメラの光軸が基線に対してそれぞれ垂直であると
き、被写体が投影された図24に示すような一組のエピ
ポーララインLeL,LeRが得られる。そこで、図25に
示すように、得られた左のエピポーララインLeLを画素
a1Lが図示左側になり画素a5Lが図示右側になるように
図示横方向に配置するとともに、得られた右のエピポー
ララインLeRを画素a1Rが図示下側になり画素a5Rが図
示上側になるように図示縦方向に配置したのち、各エピ
ポーララインL eL,LeR上の互いに対応する画素(画素
a1Lと画素a1Rなど)の交点b1〜b5をそれぞれ求め
る。このとき、各交点b1〜b5を結ぶ線を『視差ライン
114 』と呼び、視差が一定の場合には視差ライン114 は
図示右上がりの傾き45゜の直線となるため、視差ライ
ン114 を求めることにより左画像と右画像との視差の変
化がわかる。なお、2つのエピポーララインLeL,LeR
により得られる平面を『視差画面113 』と呼ぶ。
【0023】次に、視差ラインと距離との関係につい
て、図26乃至図30をそれぞれ参照して説明する。
て、図26乃至図30をそれぞれ参照して説明する。
【0024】図26(A)に示すように、右側カメラお
よび左側カメラから遠くに存在する視差が一定の各点a
21〜a25について視差画面と視差ラインとを同様にして
求めると、同図(B)に示す視差画面121 と視差ライン
131 とが得られる。図27(A)に示すように、前記各
点a21〜a25よりも右側カメラおよび左側カメラの近く
に存在する視差が一定の各点a31〜a34について視差画
面と視差ラインとを同様にして求めると、同図(B)に
示す視差画面122 と視差ライン132 とが得られる。図2
8(A)に示すように、前記各点a31〜a34よりも右側
カメラおよび左側カメラの近くに存在する視差が一定の
各点a41〜a43について視差画面と視差ラインとを同様
にして求めると、同図(B)に示す視差画面123 と視差
ライン133 とが得られる。図29(A)に示すように、
前記各点a41〜a43よりも右側カメラおよび左側カメラ
の近くに存在する視差が一定の各点a51,a52について
視差画面と視差ラインとを同様にして求めると、同図
(B)に示す視差画面124 と視差ライン134 とが得られ
る。
よび左側カメラから遠くに存在する視差が一定の各点a
21〜a25について視差画面と視差ラインとを同様にして
求めると、同図(B)に示す視差画面121 と視差ライン
131 とが得られる。図27(A)に示すように、前記各
点a21〜a25よりも右側カメラおよび左側カメラの近く
に存在する視差が一定の各点a31〜a34について視差画
面と視差ラインとを同様にして求めると、同図(B)に
示す視差画面122 と視差ライン132 とが得られる。図2
8(A)に示すように、前記各点a31〜a34よりも右側
カメラおよび左側カメラの近くに存在する視差が一定の
各点a41〜a43について視差画面と視差ラインとを同様
にして求めると、同図(B)に示す視差画面123 と視差
ライン133 とが得られる。図29(A)に示すように、
前記各点a41〜a43よりも右側カメラおよび左側カメラ
の近くに存在する視差が一定の各点a51,a52について
視差画面と視差ラインとを同様にして求めると、同図
(B)に示す視差画面124 と視差ライン134 とが得られ
る。
【0025】以上のことにより、左側カメラおよび右側
カメラの光軸が基線に対してそれぞれ垂直であるときに
は、 (1)視差が一定となる各点が、右側カメラおよび左側
カメラから無限遠の距離に存在する場合には、得られた
視差ラインは、視差画面を二等分する傾き45°の直線
となる。 (2)視差が一定の各点が右側カメラおよび左側カメラ
に近づくにつれて、得られた視差ラインは、視差画面の
図示右下隅に寄った傾き45°の直線となる。というこ
とがわかる。
カメラの光軸が基線に対してそれぞれ垂直であるときに
は、 (1)視差が一定となる各点が、右側カメラおよび左側
カメラから無限遠の距離に存在する場合には、得られた
視差ラインは、視差画面を二等分する傾き45°の直線
となる。 (2)視差が一定の各点が右側カメラおよび左側カメラ
に近づくにつれて、得られた視差ラインは、視差画面の
図示右下隅に寄った傾き45°の直線となる。というこ
とがわかる。
【0026】また、図30(A)に示すような各点a61
〜a66について視差画面と視差ラインとを同様にして求
めると、同図(B)に示す視差画面125 と視差ライン13
5 とが得られる。ここで、得られた視差ライン135 は、
視差画面125 の図示左下隅から図26(B)に示した視
差ライン131 に沿って図示右上隅に向かって進み、途中
で図示57(B)に示した視差ライン132 に移ったの
ち、図26(B)に示した視差ライン131 に沿って図示
右上隅に向かって再度進むものとなる。したがって、凹
凸のある物体(被写体)についても、物体の凹凸に応じ
た視差ラインが得られることがわかる。
〜a66について視差画面と視差ラインとを同様にして求
めると、同図(B)に示す視差画面125 と視差ライン13
5 とが得られる。ここで、得られた視差ライン135 は、
視差画面125 の図示左下隅から図26(B)に示した視
差ライン131 に沿って図示右上隅に向かって進み、途中
で図示57(B)に示した視差ライン132 に移ったの
ち、図26(B)に示した視差ライン131 に沿って図示
右上隅に向かって再度進むものとなる。したがって、凹
凸のある物体(被写体)についても、物体の凹凸に応じ
た視差ラインが得られることがわかる。
【0027】以上の結果、三角測量より求めた距離のデ
ータを視差画面の座標が保持しているとすると、得られ
た視差ラインの座標より被写体までの距離を求めること
ができる。
ータを視差画面の座標が保持しているとすると、得られ
た視差ラインの座標より被写体までの距離を求めること
ができる。
【0028】次に、Juleszのランダムドット・ステレオ
グラム(参照:デビット・マー,乾など訳,ビジョン
(視覚の計算理論と脳内表現),産業図書)のように、
極めて類似した画像に変換された二枚の二値画像に対し
て、協調アルゴリズムにより対応点抽出を行う一例につ
いて、図31に示すフローチャートを参照して説明す
る。
グラム(参照:デビット・マー,乾など訳,ビジョン
(視覚の計算理論と脳内表現),産業図書)のように、
極めて類似した画像に変換された二枚の二値画像に対し
て、協調アルゴリズムにより対応点抽出を行う一例につ
いて、図31に示すフローチャートを参照して説明す
る。
【0029】たとえばランダムドット・ステレオグラム
などの視差をもつ二枚の二値画像を複眼撮像系を用いて
取り込んだのち(ステップS1)、取り込んだ二枚の二
値画像から任意の一組のエピポーララインLeL,LeRを
抽出する(ステップS2)。抽出した一組のエピポーラ
ラインLeL,LeRを図32に示すように配置する(ステ
ップS3)。すなわち、左のエピポーララインLeLは、
その左端141Lが図示左側にされるとともにその右端141R
が図示右側にされて、図示横方向に配置される。また、
右のエピポーララインLeRは、その左端142Lが図示下側
にされるとともにその右端142Rが図示上側にされて、図
示縦方向に配置される。続いて、左のエピポーラライン
LeL上の画素値”黒”を示す画素と右のエピポーラライ
ンLeR上の画素値”黒”を示す画素とが視差画面143 上
で交差する視差画面143 上のすべての交点を黒点とする
ことにより、図33に示すように、視差画面143 の初期
値を有する初期画面144 を作成する(ステップS4)。
などの視差をもつ二枚の二値画像を複眼撮像系を用いて
取り込んだのち(ステップS1)、取り込んだ二枚の二
値画像から任意の一組のエピポーララインLeL,LeRを
抽出する(ステップS2)。抽出した一組のエピポーラ
ラインLeL,LeRを図32に示すように配置する(ステ
ップS3)。すなわち、左のエピポーララインLeLは、
その左端141Lが図示左側にされるとともにその右端141R
が図示右側にされて、図示横方向に配置される。また、
右のエピポーララインLeRは、その左端142Lが図示下側
にされるとともにその右端142Rが図示上側にされて、図
示縦方向に配置される。続いて、左のエピポーラライン
LeL上の画素値”黒”を示す画素と右のエピポーラライ
ンLeR上の画素値”黒”を示す画素とが視差画面143 上
で交差する視差画面143 上のすべての交点を黒点とする
ことにより、図33に示すように、視差画面143 の初期
値を有する初期画面144 を作成する(ステップS4)。
【0030】その後、作成された初期画面144 中の各黒
点に対して、実画素に基づく興奮性結合および抑制性結
合をもつ局所処理をそれぞれ行う(ステップS5)。こ
のとき、実画素に基づく興奮性結合は、図34に示すよ
うに、初期画面144 中の任意の一つの黒点Qを中心とし
た、傾き45°の図示右上がりの直線方向を長軸151と
するとともに傾き−45°の図示右下がりの直線方向を
短軸152 とする楕円150 内に存在する各交点に対してそ
れぞれ行われる。また、実画素に基づく抑制性結合は、
黒点Qに対して、図示水平方向の軸および図示垂直方向
の軸上に存在する各交点に対してそれぞれ行われる。続
いて、実画素に基づく興奮性結合および抑制性結合をも
つ局所処理が行われた初期画面144 の各交点に対して、
たとえば図35に示すような二値出力の閾値関数171
(上記(5)式の閾値関数σに相当)を用いた所定の処
理をそれぞれ施すことにより、新しい視差画面を作成す
る(ステップS6)。続いて、ステップS5の処理およ
びステップS6の処理が所定回数だけそれぞれ行われた
か否かの判断を行い(ステップS7)、所定回数だけ行
われていない場合には、ステップS6の処理において作
成した新しい視差画面を初期画面として、ステップS5
の処理およびステップS6の処理を繰り返す。その結
果、最終的に、ステップS6の処理において作成した新
しい視差画面上に視差ラインが得られ、この視差ライン
に基づいて対応点の抽出を行うことができる。
点に対して、実画素に基づく興奮性結合および抑制性結
合をもつ局所処理をそれぞれ行う(ステップS5)。こ
のとき、実画素に基づく興奮性結合は、図34に示すよ
うに、初期画面144 中の任意の一つの黒点Qを中心とし
た、傾き45°の図示右上がりの直線方向を長軸151と
するとともに傾き−45°の図示右下がりの直線方向を
短軸152 とする楕円150 内に存在する各交点に対してそ
れぞれ行われる。また、実画素に基づく抑制性結合は、
黒点Qに対して、図示水平方向の軸および図示垂直方向
の軸上に存在する各交点に対してそれぞれ行われる。続
いて、実画素に基づく興奮性結合および抑制性結合をも
つ局所処理が行われた初期画面144 の各交点に対して、
たとえば図35に示すような二値出力の閾値関数171
(上記(5)式の閾値関数σに相当)を用いた所定の処
理をそれぞれ施すことにより、新しい視差画面を作成す
る(ステップS6)。続いて、ステップS5の処理およ
びステップS6の処理が所定回数だけそれぞれ行われた
か否かの判断を行い(ステップS7)、所定回数だけ行
われていない場合には、ステップS6の処理において作
成した新しい視差画面を初期画面として、ステップS5
の処理およびステップS6の処理を繰り返す。その結
果、最終的に、ステップS6の処理において作成した新
しい視差画面上に視差ラインが得られ、この視差ライン
に基づいて対応点の抽出を行うことができる。
【0031】なお、ステップS7の判断の代わりに、視
差画面の各交点の値が収束するまで、ステップS6の処
理において作成した新しい視差画面を初期画面としてス
テップS5の処理およびステップS6の処理を繰り返し
て、処理を終えてもよい。また、ステップS1で取り込
んだ二枚の二値画像の他の組のエピポーララインLeL,
LeRについて視差ラインを求める場合には、ステップS
2からステップS7を再度繰り返すことにより、同様に
して視差ラインを求めることができる。
差画面の各交点の値が収束するまで、ステップS6の処
理において作成した新しい視差画面を初期画面としてス
テップS5の処理およびステップS6の処理を繰り返し
て、処理を終えてもよい。また、ステップS1で取り込
んだ二枚の二値画像の他の組のエピポーララインLeL,
LeRについて視差ラインを求める場合には、ステップS
2からステップS7を再度繰り返すことにより、同様に
して視差ラインを求めることができる。
【0032】次に、図31のステップS2における一組
のエピポーララインの抽出方法について、図36を参照
して詳しく説明する。
のエピポーララインの抽出方法について、図36を参照
して詳しく説明する。
【0033】2つのカメラ(左側カメラと右側カメラ)
のレンズの中心点をそれぞれ、図36に示すように、O
L,ORとする。また、左側カメラのセンサ面ASL上の座
標を(xL,yL,zL)、右側カメラのセンサ面ASR上
の座標を(xR,yR,zR)とする。このとき、zL 軸
およびzR 軸は各光軸と一致するようにする。
のレンズの中心点をそれぞれ、図36に示すように、O
L,ORとする。また、左側カメラのセンサ面ASL上の座
標を(xL,yL,zL)、右側カメラのセンサ面ASR上
の座標を(xR,yR,zR)とする。このとき、zL 軸
およびzR 軸は各光軸と一致するようにする。
【0034】xL 軸,yL 軸,zL 軸,xR 軸,yR 軸
およびzR 軸の単位ベクトルをそれぞれ
およびzR 軸の単位ベクトルをそれぞれ
【0035】
【外2】 とし、左側カメラのセンサ面ASLから左側カメラのレン
ズの中心点OL までの距離をfL とし、右側カメラのセ
ンサ面ASRから右側カメラのレンズの中心点ORまでの
距離をfR とすると、物体上の一点Pの左側カメラのセ
ンサ面ASL上の投影点PL のベクトル
ズの中心点OL までの距離をfL とし、右側カメラのセ
ンサ面ASRから右側カメラのレンズの中心点ORまでの
距離をfR とすると、物体上の一点Pの左側カメラのセ
ンサ面ASL上の投影点PL のベクトル
【0036】
【外3】 および右側カメラのセンサ面ASR上の投影点PR のベク
トル
トル
【0037】
【外4】 はそれぞれ、
【0038】
【数4】 と表される。
【0039】左側カメラのセンサ面ASL上の投影点PL
と左側カメラのレンズの中心点OLとの間の相対位置ベ
クトル
と左側カメラのレンズの中心点OLとの間の相対位置ベ
クトル
【0040】
【外5】 、および、右側カメラのセンサ面ASR上の投影点PR と
右側カメラのレンズの中心点OR との間の相対位置ベク
トル
右側カメラのレンズの中心点OR との間の相対位置ベク
トル
【0041】
【外6】 はそれぞれ、
【0042】
【数5】 と表され、また、左側カメラのレンズの中心点OL と右
側カメラのレンズの中心点OR との間の相対位置ベクト
ル
側カメラのレンズの中心点OR との間の相対位置ベクト
ル
【0043】
【外7】 (基線長に相当する)は、
【0044】
【数6】 と表され、エピポーラ面Ae の単位法線ベクトル
【0045】
【外8】 は、
【0046】
【数7】 と表される。
【0047】右側カメラのセンサ面ASRの単位法線ベク
トルを
トルを
【0048】
【外9】 とすると、右のエピポーララインLeRは
【0049】
【外10】 と
【0050】
【外11】 とに直交するので、この方向の単位ベクトル
【0051】
【外12】 は、
【0052】
【数8】 と表される。よって、
【0053】
【数9】 であるため、右のエピポーララインLeRは、
【0054】
【数10】 と表される。左のエピポーララインLeLについても同様
に表される。
に表される。
【0055】なお、通常、左右のエピポーラライン
LeL,LeRはそれぞれ各センサの走査線と平行でないの
で、対応的探索などの処理を施す際の探索方向が一方の
画像と他方の画像とで異なり処理が複雑となっていた。
しかし、本発明者らが別途提案している各エピポーララ
インLeL,LeRに沿った再配列を行うことにより、両者
を平行にすることができるため、以下の説明において
は、両者は平行であるものとする。
LeL,LeRはそれぞれ各センサの走査線と平行でないの
で、対応的探索などの処理を施す際の探索方向が一方の
画像と他方の画像とで異なり処理が複雑となっていた。
しかし、本発明者らが別途提案している各エピポーララ
インLeL,LeRに沿った再配列を行うことにより、両者
を平行にすることができるため、以下の説明において
は、両者は平行であるものとする。
【0056】
【発明が解決しようとしている課題】しかしながら、上
述した従来の複数画像の対応点抽出方法においては、以
下に示すような問題がある。 (1)テンプレートマッチング法では、周期的な構造を
もつ二値画像の場合には、誤対応を起こすという問題が
ある。 (2)協調アルゴリズムでは、対応する左右のエピポー
ララインLeL,LeRどおしの関係のみで実画素に基づく
興奮性結合および抑制性結合をもつ局所演算を行うこと
により視差ラインを得ているため、上下(垂直方向)に
隣り合うエピポーララインで得られた視差ラインの関係
を吟味することがなく、たとえば被写体の上下のエッジ
情報が連続していないなどという問題がある。
述した従来の複数画像の対応点抽出方法においては、以
下に示すような問題がある。 (1)テンプレートマッチング法では、周期的な構造を
もつ二値画像の場合には、誤対応を起こすという問題が
ある。 (2)協調アルゴリズムでは、対応する左右のエピポー
ララインLeL,LeRどおしの関係のみで実画素に基づく
興奮性結合および抑制性結合をもつ局所演算を行うこと
により視差ラインを得ているため、上下(垂直方向)に
隣り合うエピポーララインで得られた視差ラインの関係
を吟味することがなく、たとえば被写体の上下のエッジ
情報が連続していないなどという問題がある。
【0057】本発明の目的は、被写体の上下のエッジ情
報を精度よく得ることができる複数画像の対応点抽出方
法を提供することにある。
報を精度よく得ることができる複数画像の対応点抽出方
法を提供することにある。
【0058】
【課題を解決するための手段】本発明の第1の複数画像
の対応点抽出方法は、複数の画像からそれぞれ抽出した
複数のエピポーララインから形成される視差画面上の各
交点で、該複数の画像の実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算を行うことにより視差ライ
ンを得て、該複数の画像の対応点を抽出する複数画像の
対応点抽出方法において、複数の視差画面にわたる実画
素に基づく興奮性結合および抑制性結合をもつ局所演算
をも行う。
の対応点抽出方法は、複数の画像からそれぞれ抽出した
複数のエピポーララインから形成される視差画面上の各
交点で、該複数の画像の実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算を行うことにより視差ライ
ンを得て、該複数の画像の対応点を抽出する複数画像の
対応点抽出方法において、複数の視差画面にわたる実画
素に基づく興奮性結合および抑制性結合をもつ局所演算
をも行う。
【0059】ここで、前記複数の視差画面にわたる実画
素に基づく興奮性結合および抑制性結合をもつ局所演算
では、中心とする視差画面から遠く離れた視差画面ほど
興奮性結合の範囲および抑制性結合の範囲をそれぞれ小
さくしてもよい。
素に基づく興奮性結合および抑制性結合をもつ局所演算
では、中心とする視差画面から遠く離れた視差画面ほど
興奮性結合の範囲および抑制性結合の範囲をそれぞれ小
さくしてもよい。
【0060】本発明の第2の複数画像の対応点抽出方法
は、複数の画像からそれぞれ抽出した複数のエピポーラ
ラインから形成される視差画面上の各交点で、該複数の
画像の実画素に基づく興奮性結合および抑制性結合をも
つ局所演算を行うことにより視差ラインを得て、該複数
の画像の対応点を抽出する複数画像の対応点抽出方法に
おいて、前記各画像の互いに垂直方向に隣り合う実画素
間に、該実画素間の連続性を示す仮想画素をそれぞれ設
け、該仮想画素から形成した各仮想視差画面を前記各視
差画面の間にそれぞれ挿入し、複数の仮想視差画面にわ
たる仮想画素に基づく興奮性結合および抑制性結合をも
つ局所演算を、複数の視差画面にわたる実画素に基づく
興奮性結合および抑制性結合をもつ局所演算と並行して
行う。
は、複数の画像からそれぞれ抽出した複数のエピポーラ
ラインから形成される視差画面上の各交点で、該複数の
画像の実画素に基づく興奮性結合および抑制性結合をも
つ局所演算を行うことにより視差ラインを得て、該複数
の画像の対応点を抽出する複数画像の対応点抽出方法に
おいて、前記各画像の互いに垂直方向に隣り合う実画素
間に、該実画素間の連続性を示す仮想画素をそれぞれ設
け、該仮想画素から形成した各仮想視差画面を前記各視
差画面の間にそれぞれ挿入し、複数の仮想視差画面にわ
たる仮想画素に基づく興奮性結合および抑制性結合をも
つ局所演算を、複数の視差画面にわたる実画素に基づく
興奮性結合および抑制性結合をもつ局所演算と並行して
行う。
【0061】ここで、前記複数の仮想視差画面にわたる
仮想画素に基づく興奮性結合が、前記複数の視差画面に
わたる実画素に基づく興奮性結合と互いに拮抗し、前記
複数の仮想視差画面にわたる仮想画素に基づく抑制性結
合が、前記複数の視差画面にわたる実画素に基づく抑制
性結合と互いに拮抗していてもよい。
仮想画素に基づく興奮性結合が、前記複数の視差画面に
わたる実画素に基づく興奮性結合と互いに拮抗し、前記
複数の仮想視差画面にわたる仮想画素に基づく抑制性結
合が、前記複数の視差画面にわたる実画素に基づく抑制
性結合と互いに拮抗していてもよい。
【0062】
【作用】本発明の第1の複数画像の対応点抽出方法は、
複数の視差画面にわたる実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算をも行うことにより、互い
に隣り合う視差画面でそれぞれ得られる視差ラインの連
続性を反映させた三次元の視差ラインを得ることができ
る。
複数の視差画面にわたる実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算をも行うことにより、互い
に隣り合う視差画面でそれぞれ得られる視差ラインの連
続性を反映させた三次元の視差ラインを得ることができ
る。
【0063】本発明の第2の複数画像の対応点抽出方法
は、各画像の互いに垂直方向に隣り合う実画素間に、実
画素間の連続性を示す仮想画素をそれぞれ設け、仮想画
素から形成した各仮想視差画面を各視差画面の間にそれ
ぞれ挿入し、複数の仮想視差画面にわたる仮想画素に基
づく興奮性結合および抑制性結合をもつ局所演算を、複
数の視差画面にわたる実画素に基づく興奮性結合および
抑制性結合をもつ局所演算と並行して行うことにより、
互いに隣り合う視差画面でそれぞれ得られる視差ライン
の連続性を反映させた三次元の視差ラインを得ることが
できるとともに、複数の視差画面にわたる実画素に基づ
く興奮性結合および抑制性結合をもつ局所演算のみを行
う場合に比べて、得られる三次元の視差ラインの精度を
向上させることができる。
は、各画像の互いに垂直方向に隣り合う実画素間に、実
画素間の連続性を示す仮想画素をそれぞれ設け、仮想画
素から形成した各仮想視差画面を各視差画面の間にそれ
ぞれ挿入し、複数の仮想視差画面にわたる仮想画素に基
づく興奮性結合および抑制性結合をもつ局所演算を、複
数の視差画面にわたる実画素に基づく興奮性結合および
抑制性結合をもつ局所演算と並行して行うことにより、
互いに隣り合う視差画面でそれぞれ得られる視差ライン
の連続性を反映させた三次元の視差ラインを得ることが
できるとともに、複数の視差画面にわたる実画素に基づ
く興奮性結合および抑制性結合をもつ局所演算のみを行
う場合に比べて、得られる三次元の視差ラインの精度を
向上させることができる。
【0064】
【実施例】以下、本発明の実施例について、図面を参照
して説明する。
して説明する。
【0065】A.本発明の第1の複数画像の対応点抽出
方法について 本発明の第1の複数画像の対応点抽出方法の第1の実施
例は、二枚の二値画像からそれぞれ抽出した二本のエピ
ポーララインから形成される視差画面上の各交点で、こ
の二枚の二値画像の実画素に基づく興奮性結合および抑
制性結合をもつ局所演算を行うことにより視差ラインを
得て、この二枚の二値画像の対応点を抽出する際に、複
数の視差画面にわたる実画素に基づく興奮性結合および
抑制性結合をもつ局所演算をも行うことを特徴とする。
また、複数の視差画面にわたる実画素に基づく興奮性結
合および抑制性結合をもつ局所演算では、中心とする視
差画面から遠く離れた視差画面ほど興奮性結合の範囲お
よび抑制性結合の範囲をそれぞれ小さく。
方法について 本発明の第1の複数画像の対応点抽出方法の第1の実施
例は、二枚の二値画像からそれぞれ抽出した二本のエピ
ポーララインから形成される視差画面上の各交点で、こ
の二枚の二値画像の実画素に基づく興奮性結合および抑
制性結合をもつ局所演算を行うことにより視差ラインを
得て、この二枚の二値画像の対応点を抽出する際に、複
数の視差画面にわたる実画素に基づく興奮性結合および
抑制性結合をもつ局所演算をも行うことを特徴とする。
また、複数の視差画面にわたる実画素に基づく興奮性結
合および抑制性結合をもつ局所演算では、中心とする視
差画面から遠く離れた視差画面ほど興奮性結合の範囲お
よび抑制性結合の範囲をそれぞれ小さく。
【0066】次に、本実施例における動作について説明
する。
する。
【0067】たとえば前述したJuleszのランダムドット
・ステレオグラムなどの視差をもつ二枚の二値画像を左
側カメラおよび右側カメラを用いて取り込んだのち、取
り込んだ二枚の二値画像から対応する左右のエピポーラ
ラインLeL,LeRをそれぞれ抽出する。ここで、各二値
画像がN本の走査線からそれぞれ構成されているとする
と、左右のエピポーララインLeL,LeRはN本ずつ抽出
されるため、抽出された各左右のエピポーラライン
LeL,LeRをエピポーララインLeLk,LeRk(kは走査
線の番号を示し、k=1〜N)と表す。続いて、抽出さ
れた各左右のエピポーララインLeLk,LeRkから、従来
例と同様にして、視差画面の初期値を有する各初期画面
Dk (k=1〜N)をそれぞれ作成する。続いて、作成
された各初期画面Dk を、図1に示すように、対応する
交点(たとえば、黒点Qk-1(i,j)と黒点Qk(i,j)と黒点
Qk+1(i,j))が互いに重なり合うように配置したのち、
各初期画面Dk の各黒点に対して実画素に基づく興奮性
結合および抑制性結合をもつ局所演算をそれぞれ行う。
・ステレオグラムなどの視差をもつ二枚の二値画像を左
側カメラおよび右側カメラを用いて取り込んだのち、取
り込んだ二枚の二値画像から対応する左右のエピポーラ
ラインLeL,LeRをそれぞれ抽出する。ここで、各二値
画像がN本の走査線からそれぞれ構成されているとする
と、左右のエピポーララインLeL,LeRはN本ずつ抽出
されるため、抽出された各左右のエピポーラライン
LeL,LeRをエピポーララインLeLk,LeRk(kは走査
線の番号を示し、k=1〜N)と表す。続いて、抽出さ
れた各左右のエピポーララインLeLk,LeRkから、従来
例と同様にして、視差画面の初期値を有する各初期画面
Dk (k=1〜N)をそれぞれ作成する。続いて、作成
された各初期画面Dk を、図1に示すように、対応する
交点(たとえば、黒点Qk-1(i,j)と黒点Qk(i,j)と黒点
Qk+1(i,j))が互いに重なり合うように配置したのち、
各初期画面Dk の各黒点に対して実画素に基づく興奮性
結合および抑制性結合をもつ局所演算をそれぞれ行う。
【0068】このとき、たとえば、初期画面Dk の黒点
Qk(i,j)に対する実画素に基づく興奮性結合および抑制
性結合をもつ局所演算は、次のようにして行われる。 (1)初期画面Dk 上の各交点について、従来例と同様
にして、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。 (2)初期画面Dk の図1図示上下にそれぞれ配置され
た初期画面Dk-1 および初期画面Dk+1 上の各交点につ
いても、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。
Qk(i,j)に対する実画素に基づく興奮性結合および抑制
性結合をもつ局所演算は、次のようにして行われる。 (1)初期画面Dk 上の各交点について、従来例と同様
にして、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。 (2)初期画面Dk の図1図示上下にそれぞれ配置され
た初期画面Dk-1 および初期画面Dk+1 上の各交点につ
いても、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。
【0069】すなわち、初期画面Dk の黒点Qk(i,j)に
対する興奮性結合の範囲は、初期画面Dk の図2(B)
に楕円10k で示す範囲と、初期画面Dk-1 の図2
(A)に楕円10k-1 で示す範囲と、初期画面Dk+1 の
図2(C)に楕円10k+1 で示す範囲とする。ここで、
初期画面Dk-1 の楕円10k-1 で示す範囲および初期画
面Dk+1 の楕円10k+1 で示す範囲はそれぞれ、図3に
示すようにして決定する。初期画面Dk で切断したとき
の切断面の形状が初期画面Dk の楕円10k の形状とな
る楕円球20を用意する。初期画面Dk-1 および初期画
面Dk+1 を初期画面Dk に対して所定の間隔をもって平
行にそれぞれ配置する。初期画面Dk-1 の楕円10k-1
で示す範囲は、楕円球20を初期画面Dk-1 で切断した
ときの切断面の範囲とし、また、初期画面Dk+1 の楕円
10k+1 で示す範囲は、楕円球20を初期画面Dk+1 で
切断したときの切断面の範囲とする。なお、各楕円10
k-1,10k,10k+1 の長軸11k-1,11k,11k+1
はそれぞれ、視差一定の方向と合致させる。
対する興奮性結合の範囲は、初期画面Dk の図2(B)
に楕円10k で示す範囲と、初期画面Dk-1 の図2
(A)に楕円10k-1 で示す範囲と、初期画面Dk+1 の
図2(C)に楕円10k+1 で示す範囲とする。ここで、
初期画面Dk-1 の楕円10k-1 で示す範囲および初期画
面Dk+1 の楕円10k+1 で示す範囲はそれぞれ、図3に
示すようにして決定する。初期画面Dk で切断したとき
の切断面の形状が初期画面Dk の楕円10k の形状とな
る楕円球20を用意する。初期画面Dk-1 および初期画
面Dk+1 を初期画面Dk に対して所定の間隔をもって平
行にそれぞれ配置する。初期画面Dk-1 の楕円10k-1
で示す範囲は、楕円球20を初期画面Dk-1 で切断した
ときの切断面の範囲とし、また、初期画面Dk+1 の楕円
10k+1 で示す範囲は、楕円球20を初期画面Dk+1 で
切断したときの切断面の範囲とする。なお、各楕円10
k-1,10k,10k+1 の長軸11k-1,11k,11k+1
はそれぞれ、視差一定の方向と合致させる。
【0070】また、初期画面Dk の黒点Qk(i,j)に対す
る抑制性結合の範囲は、初期画面D k の水平の線30k
および垂直の線31k 上の図4(B)に示す円32k 内
の範囲(同図に太線で示す範囲)と、初期画面Dk-1 の
水平の線30k-1 および垂直の線31k-1 上の図4
(A)に示す円32k-1 内の範囲(同図に太線で示す範
囲)と、初期画面Dk+1 の水平の線30k+1 および垂直
の線31k+1 上の図4(C)に示す円32k+1 内の範囲
(同図に太線で示す範囲)とする。ここで、初期画面D
k-1 の円32k-1 および初期画面Dk+1 の円32k+1 は
それぞれ、図5に示すようにして決定する。すなわち、
初期画面Dk の黒点Qk(i,j)を中心としかつ縦軸40
(図示破線で示す軸)を回転軸とする回転楕円体41を
用意する。初期画面Dk-1 および初期画面Dk+1 を初期
画面Dk に対して所定の間隔をもって平行にそれぞれ配
置する。初期画面Dk-1 の円32k-1 は、回転楕円体4
1を初期画面Dk-1 で切断したときの切断面の輪郭によ
り決まる円とし、また、初期画面Dk+1 の円32k+1
は、回転楕円体41を初期画面Dk+1 で切断したときの
切断面の輪郭により決まる円とする。
る抑制性結合の範囲は、初期画面D k の水平の線30k
および垂直の線31k 上の図4(B)に示す円32k 内
の範囲(同図に太線で示す範囲)と、初期画面Dk-1 の
水平の線30k-1 および垂直の線31k-1 上の図4
(A)に示す円32k-1 内の範囲(同図に太線で示す範
囲)と、初期画面Dk+1 の水平の線30k+1 および垂直
の線31k+1 上の図4(C)に示す円32k+1 内の範囲
(同図に太線で示す範囲)とする。ここで、初期画面D
k-1 の円32k-1 および初期画面Dk+1 の円32k+1 は
それぞれ、図5に示すようにして決定する。すなわち、
初期画面Dk の黒点Qk(i,j)を中心としかつ縦軸40
(図示破線で示す軸)を回転軸とする回転楕円体41を
用意する。初期画面Dk-1 および初期画面Dk+1 を初期
画面Dk に対して所定の間隔をもって平行にそれぞれ配
置する。初期画面Dk-1 の円32k-1 は、回転楕円体4
1を初期画面Dk-1 で切断したときの切断面の輪郭によ
り決まる円とし、また、初期画面Dk+1 の円32k+1
は、回転楕円体41を初期画面Dk+1 で切断したときの
切断面の輪郭により決まる円とする。
【0071】以上のようにして、すべての初期画面Dk
(k=1〜N)上のすべての黒点に対して、実画素に基
づく興奮性結合および抑制性結合をもつ局所演算を行っ
たのち、図35に示したような二値出力の閾値関数171
を用いた所定の処理を施すことにより、新しい視差画面
をそれぞれ作成する。続いて、作成された新しい視差画
面を初期画面として、上述した実画素に基づく興奮性結
合および抑制性結合をもつ局所演算が繰り返されること
により、図6に示すような、互いに隣り合う視差画面で
それぞれ得られる視差ラインの連続性を反映させた三次
元の視差ライン50が最終的に得られる。その結果、被
写体の上下(垂直方向)のエッジ情報をも精度よく得る
ことができる。
(k=1〜N)上のすべての黒点に対して、実画素に基
づく興奮性結合および抑制性結合をもつ局所演算を行っ
たのち、図35に示したような二値出力の閾値関数171
を用いた所定の処理を施すことにより、新しい視差画面
をそれぞれ作成する。続いて、作成された新しい視差画
面を初期画面として、上述した実画素に基づく興奮性結
合および抑制性結合をもつ局所演算が繰り返されること
により、図6に示すような、互いに隣り合う視差画面で
それぞれ得られる視差ラインの連続性を反映させた三次
元の視差ライン50が最終的に得られる。その結果、被
写体の上下(垂直方向)のエッジ情報をも精度よく得る
ことができる。
【0072】なお、図5に示した回転楕円体41の形状
は、任意でよく、たとえば、図3に示した楕円球20と
図7に示すような関係をもたせてもよい。すなわち、各
水平の線30K-1,30K,30K+1 を含む平面で楕円球
20を切断したときの切断面の形状が、楕円10K の長
軸11K よりも長い長軸を有しかつ楕円球20の図7図
示縦方向の高さと等しい短軸を有する楕円60の形状と
なる、回転楕円体としてもよい。
は、任意でよく、たとえば、図3に示した楕円球20と
図7に示すような関係をもたせてもよい。すなわち、各
水平の線30K-1,30K,30K+1 を含む平面で楕円球
20を切断したときの切断面の形状が、楕円10K の長
軸11K よりも長い長軸を有しかつ楕円球20の図7図
示縦方向の高さと等しい短軸を有する楕円60の形状と
なる、回転楕円体としてもよい。
【0073】次に、本発明の第1の複数画像の対応点抽
出方法の第2の実施例について説明する。
出方法の第2の実施例について説明する。
【0074】本実施例の複数画像の対応点抽出方法は、
複数の視差画面にわたる実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算において、中心とする視差
画面から遠く離れた視差画面ほど興奮性結合の範囲およ
び抑制性結合の範囲を小さくしない点が、上述した第1
の実施例の複数画像の対応点抽出方法と異なる。
複数の視差画面にわたる実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算において、中心とする視差
画面から遠く離れた視差画面ほど興奮性結合の範囲およ
び抑制性結合の範囲を小さくしない点が、上述した第1
の実施例の複数画像の対応点抽出方法と異なる。
【0075】すなわち、本実施例の複数画像の対応点抽
出方法では、初期画面Dk の黒点Q k(i,j)に対する興奮
性結合の範囲は、初期画面Dk の図8(B)に楕円70
k で示す範囲と、初期画面Dk-1 の図8(A)に楕円7
0k-1 で示す範囲と、初期画面Dk+1 の図8(C)に楕
円70k+1 で示す範囲とする。ここで、初期画面Dk- 1
の楕円70k-1 および初期画面Dk+1 の楕円70k+1 の
形状はそれぞれ、図9に示すように、初期画面Dk の楕
円70k を、初期画面Dk に対して所定の間隔をもって
平行に配置した初期画面Dk-1 および初期画面Dk+1 に
等寸法でそれぞれ投影したときの楕円の形状とする。な
お、各楕円70k-1,70k,70k+1 の長軸71k-1,
71k,71k+1 はそれぞれ、視差一定の方向と合致さ
せる。
出方法では、初期画面Dk の黒点Q k(i,j)に対する興奮
性結合の範囲は、初期画面Dk の図8(B)に楕円70
k で示す範囲と、初期画面Dk-1 の図8(A)に楕円7
0k-1 で示す範囲と、初期画面Dk+1 の図8(C)に楕
円70k+1 で示す範囲とする。ここで、初期画面Dk- 1
の楕円70k-1 および初期画面Dk+1 の楕円70k+1 の
形状はそれぞれ、図9に示すように、初期画面Dk の楕
円70k を、初期画面Dk に対して所定の間隔をもって
平行に配置した初期画面Dk-1 および初期画面Dk+1 に
等寸法でそれぞれ投影したときの楕円の形状とする。な
お、各楕円70k-1,70k,70k+1 の長軸71k-1,
71k,71k+1 はそれぞれ、視差一定の方向と合致さ
せる。
【0076】また、初期画面Dk の黒点Qk(i,j)に対す
る抑制性結合の範囲は、初期画面D k の水平の線80k
および垂直の線81k 上の図10(B)に示す円82k
内の範囲(同図に太線で示す範囲)と、初期画面Dk-1
の水平の線80k-1 および垂直の線81k-1 上の図10
(A)に示す円82k-1 内の範囲(同図に太線で示す範
囲)と、初期画面Dk+1 の水平の線80k+1 および垂直
の線81k+1 上の図10(C)に示す円82k+1 内の範
囲(同図に太線で示す範囲)とする。ここで、初期画面
Dk-1 の円82k-1 ,初期画面Dk の円82k および初
期画面Dk+1 の円32k+1 は、同じ大きさのものであ
る。
る抑制性結合の範囲は、初期画面D k の水平の線80k
および垂直の線81k 上の図10(B)に示す円82k
内の範囲(同図に太線で示す範囲)と、初期画面Dk-1
の水平の線80k-1 および垂直の線81k-1 上の図10
(A)に示す円82k-1 内の範囲(同図に太線で示す範
囲)と、初期画面Dk+1 の水平の線80k+1 および垂直
の線81k+1 上の図10(C)に示す円82k+1 内の範
囲(同図に太線で示す範囲)とする。ここで、初期画面
Dk-1 の円82k-1 ,初期画面Dk の円82k および初
期画面Dk+1 の円32k+1 は、同じ大きさのものであ
る。
【0077】以上のようにして、すべての初期画面Dk
(k=1〜N)上のすべての黒点に対して、実画素に基
づく興奮性結合および抑制性結合をもつ局所演算を行っ
たのち、図35に示したような二値出力の閾値関数171
を用いた所定の処理を施すことにより、新しい視差画面
をそれぞれ作成する。続いて、作成された新しい視差画
面を初期画面として、上述した実画素に基づく興奮性結
合および抑制性結合をもつ局所演算が繰り返されること
により、互いに隣り合う視差画面でそれぞれ得られる視
差ラインの連続性を反映させた三次元の視差ラインが最
終的に得られる。その結果、被写体の上下のエッジ情報
をも精度よく得ることができる。
(k=1〜N)上のすべての黒点に対して、実画素に基
づく興奮性結合および抑制性結合をもつ局所演算を行っ
たのち、図35に示したような二値出力の閾値関数171
を用いた所定の処理を施すことにより、新しい視差画面
をそれぞれ作成する。続いて、作成された新しい視差画
面を初期画面として、上述した実画素に基づく興奮性結
合および抑制性結合をもつ局所演算が繰り返されること
により、互いに隣り合う視差画面でそれぞれ得られる視
差ラインの連続性を反映させた三次元の視差ラインが最
終的に得られる。その結果、被写体の上下のエッジ情報
をも精度よく得ることができる。
【0078】なお、本実施例の複数画像の対応点抽出方
法では、互いに隣り合う視差画面の影響が第1の実施例
の複数画像の対応点抽出方法よりも強いため、互いに隣
り合う視差画面でそれぞれ得られる視差ラインが連続し
ている場合には、その連続性をより強調させることがで
きる。
法では、互いに隣り合う視差画面の影響が第1の実施例
の複数画像の対応点抽出方法よりも強いため、互いに隣
り合う視差画面でそれぞれ得られる視差ラインが連続し
ている場合には、その連続性をより強調させることがで
きる。
【0079】以上説明した実施例においては、初期画面
Dk の黒点Qk(i,j)に対する実画素に基づく興奮性結合
および抑制性結合をもつ局所演算は、初期画面Dk の上
下に配置された2つの初期画面Dk-1,Dk+1上の各交点
についても実画素に基づく興奮性結合および抑制性結合
をもつ局所演算を行うようにしたが、2つ以上の初期画
面上の各交点についても実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算を同様にして行うようにし
てもよい。
Dk の黒点Qk(i,j)に対する実画素に基づく興奮性結合
および抑制性結合をもつ局所演算は、初期画面Dk の上
下に配置された2つの初期画面Dk-1,Dk+1上の各交点
についても実画素に基づく興奮性結合および抑制性結合
をもつ局所演算を行うようにしたが、2つ以上の初期画
面上の各交点についても実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算を同様にして行うようにし
てもよい。
【0080】B.本発明の第2の複数画像の対応点抽出
方法について 本発明の第2の複数画像の対応点抽出方法の一実施例
は、二枚の二値画像からそれぞれ抽出した二本のエピポ
ーララインから形成される視差画面上の各交点で、この
二枚の二値画像の実画素に基づく興奮性結合および抑制
性結合をもつ局所演算を行うことにより視差ラインを得
て、この二枚の二値画像の対応点を抽出する際に、各二
値画像の互いに垂直方向に隣り合う実画素間に、この実
画素間の連続性を示す仮想画素をそれぞれ設け、この仮
想画素から形成した各仮想視差画面を視差画面の間にそ
れぞれ挿入し、複数の仮想視差画面にわたる仮想画素に
基づく興奮性結合および抑制性結合をもつ局所演算を、
複数の視差画面にわたる実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算と並行して行うことを特徴
とする。なお、複数の仮想視差画面にわたる仮想画素に
基づく興奮性結合は、複数の視差画面にわたる実画素に
基づく興奮性結合と互いに拮抗し、また、複数の仮想視
差画面にわたる仮想画素に基づく抑制性結合は、複数の
視差画面にわたる実画素に基づく抑制性結合と互いに拮
抗する。
方法について 本発明の第2の複数画像の対応点抽出方法の一実施例
は、二枚の二値画像からそれぞれ抽出した二本のエピポ
ーララインから形成される視差画面上の各交点で、この
二枚の二値画像の実画素に基づく興奮性結合および抑制
性結合をもつ局所演算を行うことにより視差ラインを得
て、この二枚の二値画像の対応点を抽出する際に、各二
値画像の互いに垂直方向に隣り合う実画素間に、この実
画素間の連続性を示す仮想画素をそれぞれ設け、この仮
想画素から形成した各仮想視差画面を視差画面の間にそ
れぞれ挿入し、複数の仮想視差画面にわたる仮想画素に
基づく興奮性結合および抑制性結合をもつ局所演算を、
複数の視差画面にわたる実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算と並行して行うことを特徴
とする。なお、複数の仮想視差画面にわたる仮想画素に
基づく興奮性結合は、複数の視差画面にわたる実画素に
基づく興奮性結合と互いに拮抗し、また、複数の仮想視
差画面にわたる仮想画素に基づく抑制性結合は、複数の
視差画面にわたる実画素に基づく抑制性結合と互いに拮
抗する。
【0081】次に、本実施例における動作について説明
する。
する。
【0082】たとえば前述したJuleszのランダムドット
・ステレオグラムなどの視差をもつ二枚の二値画像を左
側カメラおよび右側カメラを用いて取り込んだのち、取
り込んだ二枚の二値画像から対応する左右のエピポーラ
ラインLeL,LeRをそれぞれ抽出する。ここで、各二値
画像がN本の走査線からそれぞれ構成されているとする
と、左右のエピポーララインLeL,LeRはN本ずつ抽出
されるため、抽出された各左右のエピポーラライン
LeL,LeRをエピポーララインLeLk,LeRk(kは走査
線の番号を示し、k=1〜N)と表す。続いて、抽出さ
れた各左右のエピポーララインLeLk,LeRkから、従来
例と同様にして、視差画面の初期値を有する初期画面D
k (k=1〜N)をそれぞれ作成する。
・ステレオグラムなどの視差をもつ二枚の二値画像を左
側カメラおよび右側カメラを用いて取り込んだのち、取
り込んだ二枚の二値画像から対応する左右のエピポーラ
ラインLeL,LeRをそれぞれ抽出する。ここで、各二値
画像がN本の走査線からそれぞれ構成されているとする
と、左右のエピポーララインLeL,LeRはN本ずつ抽出
されるため、抽出された各左右のエピポーラライン
LeL,LeRをエピポーララインLeLk,LeRk(kは走査
線の番号を示し、k=1〜N)と表す。続いて、抽出さ
れた各左右のエピポーララインLeLk,LeRkから、従来
例と同様にして、視差画面の初期値を有する初期画面D
k (k=1〜N)をそれぞれ作成する。
【0083】続いて、作成された各初期画面Dk を、図
11に示すように、対応する交点(たとえば、黒点Q
k-1(i,j)と黒点Qk(i,j)と黒点Qk+1(i,j))が互いに重
なり合うようにそれぞれ配置する。続いて、たとえば、
初期画面Dk-1 と初期画面Dkとの間に仮想初期画面I
k-1 を挿入し、また、初期画面Dk と初期画面Dk+1 と
の間に仮想初期画面Ik+1 を挿入するように、互いに隣
り合う初期画面の間に仮想初期画面をそれぞれ挿入す
る。
11に示すように、対応する交点(たとえば、黒点Q
k-1(i,j)と黒点Qk(i,j)と黒点Qk+1(i,j))が互いに重
なり合うようにそれぞれ配置する。続いて、たとえば、
初期画面Dk-1 と初期画面Dkとの間に仮想初期画面I
k-1 を挿入し、また、初期画面Dk と初期画面Dk+1 と
の間に仮想初期画面Ik+1 を挿入するように、互いに隣
り合う初期画面の間に仮想初期画面をそれぞれ挿入す
る。
【0084】このとき、たとえば、初期画面D1 と初期
画面D2 との間に挿入する仮想初期画面I1 の作成方法
の具体例としては、次の2つの作成方法が考えられる。
画面D2 との間に挿入する仮想初期画面I1 の作成方法
の具体例としては、次の2つの作成方法が考えられる。
【0085】(1)第1の作成方法 左側カメラより取り込んだ二値画像の互いに垂直方向に
隣り合う実画素の間に、この実画素間の連続性を示す画
素値を有する仮想画素をそれぞれ挿入する。たとえば、
図12に示すように、互いに垂直方向に隣り合う実画素
f11L と実画素f21L との間に、実画素f11L と実画素
f21L との連続性を示す画素値を有する仮想画素h11L
を挿入する。このとき、各仮想画素の画素値は、次のよ
うにして決定する。 (a)実画素f11L と実画素f21L とはともに黒(図示
斜線で表示)で連続しているため、仮想画素h11L の画
素値は”0”とする。 (b)実画素f12L と実画素f22L とはともに白(図示
白抜きで表示)で連続しているため、仮想画素h12L の
画素値は”0”とする。 (c)実画素f13L は黒であるが実画素f23L は白であ
り不連続であるため、仮想画素h13L の画素値は”1”
とする。なお、この逆の場合、すなわち、実画素f13L
が白で実画素f23L が黒である場合にも、仮想画素h
13L の画素値は”1”とする。
隣り合う実画素の間に、この実画素間の連続性を示す画
素値を有する仮想画素をそれぞれ挿入する。たとえば、
図12に示すように、互いに垂直方向に隣り合う実画素
f11L と実画素f21L との間に、実画素f11L と実画素
f21L との連続性を示す画素値を有する仮想画素h11L
を挿入する。このとき、各仮想画素の画素値は、次のよ
うにして決定する。 (a)実画素f11L と実画素f21L とはともに黒(図示
斜線で表示)で連続しているため、仮想画素h11L の画
素値は”0”とする。 (b)実画素f12L と実画素f22L とはともに白(図示
白抜きで表示)で連続しているため、仮想画素h12L の
画素値は”0”とする。 (c)実画素f13L は黒であるが実画素f23L は白であ
り不連続であるため、仮想画素h13L の画素値は”1”
とする。なお、この逆の場合、すなわち、実画素f13L
が白で実画素f23L が黒である場合にも、仮想画素h
13L の画素値は”1”とする。
【0086】続いて、図12図示1行目の各仮想画素
(仮想画素h11L〜h13Lなど)を用いて、図12図示1
行目の各実画素(実画素f11L〜f13Lなど)からエピポ
ーララインLeL1 を抽出する方法と同様にして、左の仮
想エピポーララインを抽出する。また、右側カメラより
取り込んだ二値画像から、同様にして、右の仮想エピポ
ーララインを抽出する。続いて、抽出した左右の仮想エ
ピポーララインから、互いに対応する画素同士がとも
に”1”の場合にのみ黒点(画素値”1”)とし、他の
場合には白点(画素値”0”)とすることにより、仮想
初期画面I1 を作成する。
(仮想画素h11L〜h13Lなど)を用いて、図12図示1
行目の各実画素(実画素f11L〜f13Lなど)からエピポ
ーララインLeL1 を抽出する方法と同様にして、左の仮
想エピポーララインを抽出する。また、右側カメラより
取り込んだ二値画像から、同様にして、右の仮想エピポ
ーララインを抽出する。続いて、抽出した左右の仮想エ
ピポーララインから、互いに対応する画素同士がとも
に”1”の場合にのみ黒点(画素値”1”)とし、他の
場合には白点(画素値”0”)とすることにより、仮想
初期画面I1 を作成する。
【0087】(2)第2の作成方法 この作成方法では、図13に示すように、図12図示1
行目の実画素(実画素f11L〜f13Lなど)から抽出した
左のエピポーララインLeL1 と、図12図示2行目の実
画素(実画素f21L〜f23Lなど)から抽出した左のエピ
ポーララインL eL2 とから、左の仮想エピポーラライン
LeL1’ を直接求める。すなわち、図13に示した例で
は、 (a)エピポーララインLeL1 の1番目の画素a11L と
エピポーララインLeL2の1番目の画素a21L との画素
値はともに”0”(図示斜線で表示)であるため、仮想
エピポーララインLeL1’ の1番目の画素b11L の画素
値は”0”とする。 (b)エピポーララインLeL1 の2番目の画素a12L と
エピポーララインLeL2の2番目の画素a22L との画素
値はともに”1”(図示白抜きで表示)であるため、仮
想エピポーララインLeL1’ の2番目の画素b12L の画
素値は”0”とする。 (c)エピポーララインLeL1 の3番目の画素a13L の
画素値は”0”であるが、エピポーララインLeL2 の3
番目の画素a23L の画素値は”1”であるため、仮想エ
ピポーララインLeL1’ の3番目の画素b13L の画素値
は”1”とする。なお、この逆の場合、すなわち、エピ
ポーララインLeL1 の3番目の画素a13Lの画素値が”
1”で、エピポーララインLeL2 の3番目の画素a23L
の画素値が”0”である場合にも、仮想エピポーラライ
ンLeL1’ の3番目の画素b13L の画素値は”1”とす
る。
行目の実画素(実画素f11L〜f13Lなど)から抽出した
左のエピポーララインLeL1 と、図12図示2行目の実
画素(実画素f21L〜f23Lなど)から抽出した左のエピ
ポーララインL eL2 とから、左の仮想エピポーラライン
LeL1’ を直接求める。すなわち、図13に示した例で
は、 (a)エピポーララインLeL1 の1番目の画素a11L と
エピポーララインLeL2の1番目の画素a21L との画素
値はともに”0”(図示斜線で表示)であるため、仮想
エピポーララインLeL1’ の1番目の画素b11L の画素
値は”0”とする。 (b)エピポーララインLeL1 の2番目の画素a12L と
エピポーララインLeL2の2番目の画素a22L との画素
値はともに”1”(図示白抜きで表示)であるため、仮
想エピポーララインLeL1’ の2番目の画素b12L の画
素値は”0”とする。 (c)エピポーララインLeL1 の3番目の画素a13L の
画素値は”0”であるが、エピポーララインLeL2 の3
番目の画素a23L の画素値は”1”であるため、仮想エ
ピポーララインLeL1’ の3番目の画素b13L の画素値
は”1”とする。なお、この逆の場合、すなわち、エピ
ポーララインLeL1 の3番目の画素a13Lの画素値が”
1”で、エピポーララインLeL2 の3番目の画素a23L
の画素値が”0”である場合にも、仮想エピポーラライ
ンLeL1’ の3番目の画素b13L の画素値は”1”とす
る。
【0088】以上のようにして求めた左の仮想エピポー
ララインLeL1’ と、同様にして求めた右の仮想エピポ
ーララインLeR1’ とから、上述した第1の作成方法の
場合と同様にして、仮想初期画面I1 を作成する。
ララインLeL1’ と、同様にして求めた右の仮想エピポ
ーララインLeR1’ とから、上述した第1の作成方法の
場合と同様にして、仮想初期画面I1 を作成する。
【0089】以上の述べた第1の作成方法または第2の
作成方法により作成された各仮想初期画面を各初期画面
の間にそれぞれ設けたのち、各初期画面の各黒点に対し
て、仮想画素に基づく興奮性結合および抑制性結合をも
つ局所演算を、実画素に基づく興奮性結合および抑制性
結合をもつ局所演算と並行して行う。たとえば、初期画
面Dk の黒点Qk(i,j)に対する実画素に基づく興奮性結
合および抑制性結合をもつ局所演算は、以下のようにし
て行われる。 (1)初期画面Dk 上の各交点について、従来例と同様
にして、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。 (2)初期画面Dk の図11図示上下に配置された二つ
の初期画面Dk-1,Dk+1上の各交点についても、実画素
に基づく興奮性結合および抑制性結合をもつ局所演算が
行われる。 (3)初期画面Dk の図11図示上下に配置された二つ
の仮想初期画面Ik-1,Ik+1上の各交点(図11に示す
交点Tk-1(i,j),交点Tk+1(i,j) など)については、
仮想画素に基づく興奮性結合および抑制性結合をもつ局
所演算が行われる。 すなわち、初期画面Dk の黒点Q
k(i,j)に対する興奮性結合の範囲は、初期画面Dk の図
14(C)に楕円1100k で示す範囲と、初期画面Dk-1
の図14(A)に楕円1100k-1 で示す範囲と、初期画面
Dk+1 の図14(E)に楕円1100k+ 1 で示す範囲と、仮
想初期画面Ik-1 の水平の線1120k-1 および垂直の線11
21k- 1 上の図14(B)に示す円1122k-1 内の範囲(同
図に太線で示す範囲)と、仮想初期画面Ik+1 の水平の
線1120k+1 および垂直の線1121k+1 上の図14(D)に
示す円1122k+1 内の範囲(同図に太線で示す範囲)とす
る。
作成方法により作成された各仮想初期画面を各初期画面
の間にそれぞれ設けたのち、各初期画面の各黒点に対し
て、仮想画素に基づく興奮性結合および抑制性結合をも
つ局所演算を、実画素に基づく興奮性結合および抑制性
結合をもつ局所演算と並行して行う。たとえば、初期画
面Dk の黒点Qk(i,j)に対する実画素に基づく興奮性結
合および抑制性結合をもつ局所演算は、以下のようにし
て行われる。 (1)初期画面Dk 上の各交点について、従来例と同様
にして、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。 (2)初期画面Dk の図11図示上下に配置された二つ
の初期画面Dk-1,Dk+1上の各交点についても、実画素
に基づく興奮性結合および抑制性結合をもつ局所演算が
行われる。 (3)初期画面Dk の図11図示上下に配置された二つ
の仮想初期画面Ik-1,Ik+1上の各交点(図11に示す
交点Tk-1(i,j),交点Tk+1(i,j) など)については、
仮想画素に基づく興奮性結合および抑制性結合をもつ局
所演算が行われる。 すなわち、初期画面Dk の黒点Q
k(i,j)に対する興奮性結合の範囲は、初期画面Dk の図
14(C)に楕円1100k で示す範囲と、初期画面Dk-1
の図14(A)に楕円1100k-1 で示す範囲と、初期画面
Dk+1 の図14(E)に楕円1100k+ 1 で示す範囲と、仮
想初期画面Ik-1 の水平の線1120k-1 および垂直の線11
21k- 1 上の図14(B)に示す円1122k-1 内の範囲(同
図に太線で示す範囲)と、仮想初期画面Ik+1 の水平の
線1120k+1 および垂直の線1121k+1 上の図14(D)に
示す円1122k+1 内の範囲(同図に太線で示す範囲)とす
る。
【0090】また、初期画面Dk の黒点Qk(i,j)に対す
る抑制性結合の範囲は、初期画面D k の水平の線1140k
および垂直の線1140k 上の図15(C)に示す円1142k
内の範囲(同図に太線で示す範囲)と、初期画面Dk-1
の水平の線1140k-1 および垂直の線1141k-1 上の図15
(A)に示す円1142k-1 内の範囲(同図に太線で示す範
囲)と、初期画面Dk+1 の水平の線1140k+1 および垂直
の線1140k+1 上の図15(E)に示す円1142k+1 内の範
囲(同図に太線で示す範囲)と、仮想初期画面Ik-1 の
図15(B)に楕円1130k-1 で示す範囲と、仮想初期画
面Ik+1 の図15(D)に楕円1130k+1 で示す範囲とす
る。
る抑制性結合の範囲は、初期画面D k の水平の線1140k
および垂直の線1140k 上の図15(C)に示す円1142k
内の範囲(同図に太線で示す範囲)と、初期画面Dk-1
の水平の線1140k-1 および垂直の線1141k-1 上の図15
(A)に示す円1142k-1 内の範囲(同図に太線で示す範
囲)と、初期画面Dk+1 の水平の線1140k+1 および垂直
の線1140k+1 上の図15(E)に示す円1142k+1 内の範
囲(同図に太線で示す範囲)と、仮想初期画面Ik-1 の
図15(B)に楕円1130k-1 で示す範囲と、仮想初期画
面Ik+1 の図15(D)に楕円1130k+1 で示す範囲とす
る。
【0091】ここで、注意すべき点は、複数の仮想視差
画面にわたる仮想画素に基づく興奮性結合が、複数の視
差画面にわたる実画素に基づく興奮性結合と互いに拮抗
し、また、複数の仮想視差画面にわたる仮想画素に基づ
く抑制性結合が、複数の視差画面にわたる実画素に基づ
く抑制性結合と互いに拮抗する点である。すなわち、初
期画面Dk の黒点Qk(i,j)に対する各仮想初期画面I
k-1,Ik+1における興奮性結合および抑制性結合の範囲
は、初期画面Dk の黒点Qk(i,j)に対する各初期画面D
k-1,Dk,Dk+1 における興奮性結合および抑制性結合
の範囲と逆の関係となっている。
画面にわたる仮想画素に基づく興奮性結合が、複数の視
差画面にわたる実画素に基づく興奮性結合と互いに拮抗
し、また、複数の仮想視差画面にわたる仮想画素に基づ
く抑制性結合が、複数の視差画面にわたる実画素に基づ
く抑制性結合と互いに拮抗する点である。すなわち、初
期画面Dk の黒点Qk(i,j)に対する各仮想初期画面I
k-1,Ik+1における興奮性結合および抑制性結合の範囲
は、初期画面Dk の黒点Qk(i,j)に対する各初期画面D
k-1,Dk,Dk+1 における興奮性結合および抑制性結合
の範囲と逆の関係となっている。
【0092】初期画面Dk-1 の楕円1100k-1 の範囲およ
び初期画面Dk+1 の楕円1100k+1 の範囲はそれぞれ、図
16に示すようにして決定する。初期画面Dk で切断し
たときの切断面の形状が初期画面Dk の楕円1100k の形
状となる楕円球1150を用意する。初期画面Dk-1 および
初期画面Dk+1 を初期画面Dk に対して所定の間隔をも
って平行にそれぞれ配置する。初期画面Dk-1 の楕円11
00k-1 で示す範囲は、楕円球1150を初期画面Dk-1 で切
断したときの切断面の範囲とし、また、初期画面Dk+1
の楕円1100k+1 で示す範囲は、楕円球1150を初期画面D
k+1 で切断したときの切断面の範囲とする。また、仮想
初期画面Ik-1 の楕円1130k-1 の範囲および仮想初期画
面Ik+1 の楕円1130k+1 の範囲も、同様にして決定する
ことができる。すなわち、仮想初期画面Ik-1 および仮
想初期画面Ik+1 を初期画面Dkに対して所定の間隔を
もって平行にそれぞれ配置する。仮想初期画面Ik-1 の
楕円1130k-1 の範囲は、楕円球1150を仮想初期画面I
k-1 で切断したときの切断面の範囲とする。仮想初期画
面Ik+1 の楕円1130k+1 の範囲は、楕円球1150を仮想初
期画面Ik+1 で切断したときの切断面の範囲とする。た
だし、仮想初期画面I k-1 の楕円1130k-1 の範囲および
仮想初期画面Ik+1 の楕円1130k+1 の範囲の決定方法
は、これに限るものではない。なお、各楕円1100k-1,1
100k,1100k+1,1130k-1,1130k+1の長軸1101k-1,1101
k,1101k+1,1131k-1,1131k+1 はそれぞれ、視差一定
の方向と合致させる。
び初期画面Dk+1 の楕円1100k+1 の範囲はそれぞれ、図
16に示すようにして決定する。初期画面Dk で切断し
たときの切断面の形状が初期画面Dk の楕円1100k の形
状となる楕円球1150を用意する。初期画面Dk-1 および
初期画面Dk+1 を初期画面Dk に対して所定の間隔をも
って平行にそれぞれ配置する。初期画面Dk-1 の楕円11
00k-1 で示す範囲は、楕円球1150を初期画面Dk-1 で切
断したときの切断面の範囲とし、また、初期画面Dk+1
の楕円1100k+1 で示す範囲は、楕円球1150を初期画面D
k+1 で切断したときの切断面の範囲とする。また、仮想
初期画面Ik-1 の楕円1130k-1 の範囲および仮想初期画
面Ik+1 の楕円1130k+1 の範囲も、同様にして決定する
ことができる。すなわち、仮想初期画面Ik-1 および仮
想初期画面Ik+1 を初期画面Dkに対して所定の間隔を
もって平行にそれぞれ配置する。仮想初期画面Ik-1 の
楕円1130k-1 の範囲は、楕円球1150を仮想初期画面I
k-1 で切断したときの切断面の範囲とする。仮想初期画
面Ik+1 の楕円1130k+1 の範囲は、楕円球1150を仮想初
期画面Ik+1 で切断したときの切断面の範囲とする。た
だし、仮想初期画面I k-1 の楕円1130k-1 の範囲および
仮想初期画面Ik+1 の楕円1130k+1 の範囲の決定方法
は、これに限るものではない。なお、各楕円1100k-1,1
100k,1100k+1,1130k-1,1130k+1の長軸1101k-1,1101
k,1101k+1,1131k-1,1131k+1 はそれぞれ、視差一定
の方向と合致させる。
【0093】初期画面Dk-1 の円1142k-1および初期画
面Dk+1 の円1142k+1はそれぞれ、図17に示すように
して決定する。すなわち、初期画面Dk の黒点Qk(i,j)
を中心としかつ縦軸1160(図示破線で示す軸)を回転軸
とする回転楕円体1161を用意する。初期画面Dk-1 およ
び初期画面Dk+1 を初期画面Dk に対して所定の間隔を
もって平行にそれぞれ配置する。初期画面Dk-1 の円11
42k-1 は、回転楕円体1161を初期画面Dk-1 で切断した
ときの切断面の輪郭により決まる円とし、また、初期画
面Dk+1 の円1142k+1 は、回転楕円体1161を初期画面D
k+1 で切断したときの切断面の輪郭より決まる円とす
る。また、仮想初期画面Ik-1 の円1122k-1および仮想
初期画面Ik+1 の円1122k+1 も、同様にして決定するこ
とができる。すなわち、仮想初期画面Ik-1 および仮想
初期画面Ik+1 を初期画面Dk に対して所定の間隔をも
って平行にそれぞれ配置する。仮想初期画面Ik-1 の円
1122k- 1 は、回転楕円体1161を仮想初期画面Ik-1 で切
断したときの切断面の輪郭より決まる円とする。仮想初
期画面Ik+1 の円1122k+1 は、回転楕円体1161を仮想初
期画面Ik+1 で切断したときの切断面の輪郭より決まる
円とする。ただし、仮想初期画面Ik-1 の円1122k-1 お
よび仮想初期画面Ik+1 の円1122k+1 の決定方法は、こ
れに限るものではない。
面Dk+1 の円1142k+1はそれぞれ、図17に示すように
して決定する。すなわち、初期画面Dk の黒点Qk(i,j)
を中心としかつ縦軸1160(図示破線で示す軸)を回転軸
とする回転楕円体1161を用意する。初期画面Dk-1 およ
び初期画面Dk+1 を初期画面Dk に対して所定の間隔を
もって平行にそれぞれ配置する。初期画面Dk-1 の円11
42k-1 は、回転楕円体1161を初期画面Dk-1 で切断した
ときの切断面の輪郭により決まる円とし、また、初期画
面Dk+1 の円1142k+1 は、回転楕円体1161を初期画面D
k+1 で切断したときの切断面の輪郭より決まる円とす
る。また、仮想初期画面Ik-1 の円1122k-1および仮想
初期画面Ik+1 の円1122k+1 も、同様にして決定するこ
とができる。すなわち、仮想初期画面Ik-1 および仮想
初期画面Ik+1 を初期画面Dk に対して所定の間隔をも
って平行にそれぞれ配置する。仮想初期画面Ik-1 の円
1122k- 1 は、回転楕円体1161を仮想初期画面Ik-1 で切
断したときの切断面の輪郭より決まる円とする。仮想初
期画面Ik+1 の円1122k+1 は、回転楕円体1161を仮想初
期画面Ik+1 で切断したときの切断面の輪郭より決まる
円とする。ただし、仮想初期画面Ik-1 の円1122k-1 お
よび仮想初期画面Ik+1 の円1122k+1 の決定方法は、こ
れに限るものではない。
【0094】以上のようにして、すべての初期画面Dk
(k=1〜N)上のすべての黒点に対して、実画素に基
づく興奮性結合および抑制性結合をもつ局所演算および
仮想画素に基づく興奮性結合および抑制性結合をもつ局
所演算を行ったのち、図35に示したような二値出力の
閾値関数171 を用いた所定の処理を施すことにより、新
しい視差画面をそれぞれ作成する。続いて、作成された
新しい視差画面を初期画面として、上述した実画素に基
づく興奮性結合および抑制性結合をもつ局所演算および
仮想画素に基づく興奮性結合および抑制性結合をもつ局
所演算が繰り返されることにより、図18に示すよう
な、互いに隣り合う初期画面でそれぞれ得られる視差ラ
インの連続性を反映させた三次元の視差ライン1170が最
終的に得られる。その結果、被写体の上下のエッジ情報
をも精度よく得ることができる。
(k=1〜N)上のすべての黒点に対して、実画素に基
づく興奮性結合および抑制性結合をもつ局所演算および
仮想画素に基づく興奮性結合および抑制性結合をもつ局
所演算を行ったのち、図35に示したような二値出力の
閾値関数171 を用いた所定の処理を施すことにより、新
しい視差画面をそれぞれ作成する。続いて、作成された
新しい視差画面を初期画面として、上述した実画素に基
づく興奮性結合および抑制性結合をもつ局所演算および
仮想画素に基づく興奮性結合および抑制性結合をもつ局
所演算が繰り返されることにより、図18に示すよう
な、互いに隣り合う初期画面でそれぞれ得られる視差ラ
インの連続性を反映させた三次元の視差ライン1170が最
終的に得られる。その結果、被写体の上下のエッジ情報
をも精度よく得ることができる。
【0095】なお、図17に示した回転楕円体1161の形
状は、任意でよい。たとえば、図16に示した楕円球11
50と図19に示すような関係をもたせてもよい。すなわ
ち、各水平の線1120K-1,1120K,1120K+1 を含む平面で
楕円球1150を切断したときの切断面の形状が、楕円1100
K の長軸1101K よりも長い長軸を有しかつ楕円球1150の
図19図示縦方向の高さと等しい短軸を有する楕円1200
の形状となる、回転楕円体としてもよい。
状は、任意でよい。たとえば、図16に示した楕円球11
50と図19に示すような関係をもたせてもよい。すなわ
ち、各水平の線1120K-1,1120K,1120K+1 を含む平面で
楕円球1150を切断したときの切断面の形状が、楕円1100
K の長軸1101K よりも長い長軸を有しかつ楕円球1150の
図19図示縦方向の高さと等しい短軸を有する楕円1200
の形状となる、回転楕円体としてもよい。
【0096】以上の説明では、複数の視差画面にわたる
実画素に基づく興奮性結合および抑制性結合をもつ局所
演算を、中心とする視差画面から遠く離れた視差画面ほ
ど興奮性結合の範囲および抑制性結合の範囲をそれぞれ
小さく場合を例としたが、これらの範囲を等しくしても
よい。複数の仮想画素に基づく興奮性結合および抑制性
結合をもつ局所演算についても、同様である。また、実
画素に基づく興奮性結合および抑制性結合をもつ局所演
算を二つ以上の視差画面にわたって行ってもよく、仮想
画素に基づく興奮性結合および抑制性結合をもつ局所演
算を二つ以上の仮想視差画面にわたって行ってもよい。
実画素に基づく興奮性結合および抑制性結合をもつ局所
演算を、中心とする視差画面から遠く離れた視差画面ほ
ど興奮性結合の範囲および抑制性結合の範囲をそれぞれ
小さく場合を例としたが、これらの範囲を等しくしても
よい。複数の仮想画素に基づく興奮性結合および抑制性
結合をもつ局所演算についても、同様である。また、実
画素に基づく興奮性結合および抑制性結合をもつ局所演
算を二つ以上の視差画面にわたって行ってもよく、仮想
画素に基づく興奮性結合および抑制性結合をもつ局所演
算を二つ以上の仮想視差画面にわたって行ってもよい。
【0097】また、濃淡画像について適用する場合に
は、たとえば特願平4−288371号において開示し
たようなエピポーララインの各画素値を中間値としかつ
視差画面上の各交点の値を中間値とする手法と組み合せ
ることにより、濃淡画像についても適用することができ
る。
は、たとえば特願平4−288371号において開示し
たようなエピポーララインの各画素値を中間値としかつ
視差画面上の各交点の値を中間値とする手法と組み合せ
ることにより、濃淡画像についても適用することができ
る。
【0098】
【発明の効果】本発明は、以上のように構成されている
ので、次の効果を奏する。
ので、次の効果を奏する。
【0099】請求項1または請求項2記載の発明(本発
明の第1の複数画像の対応点抽出方法)は、複数の視差
画面にわたる実画素に基づく興奮性結合および抑制性結
合をもつ局所演算をも行うことにより、互いに隣り合う
視差画面でそれぞれ得られる視差ラインの連続性を反映
させた三次元の視差ラインを得ることができるため、被
写体の上下のエッジ情報を精度よく得ることができる。
明の第1の複数画像の対応点抽出方法)は、複数の視差
画面にわたる実画素に基づく興奮性結合および抑制性結
合をもつ局所演算をも行うことにより、互いに隣り合う
視差画面でそれぞれ得られる視差ラインの連続性を反映
させた三次元の視差ラインを得ることができるため、被
写体の上下のエッジ情報を精度よく得ることができる。
【0100】請求項3または請求項4記載の発明(本発
明の第2の複数画像の対応点抽出方法)は、互いに隣り
合う視差画面でそれぞれ得られる視差ラインの連続性を
反映させた三次元の視差ラインを得ることができるとと
もに、複数の視差画面にわたる実画素に基づく興奮性結
合および抑制性結合をもつ局所演算のみを行う場合に比
べて、得られる三次元の視差ラインの精度を向上させる
ことができるため、被写体の上下のエッジ情報をさらに
精度よく得ることができる。
明の第2の複数画像の対応点抽出方法)は、互いに隣り
合う視差画面でそれぞれ得られる視差ラインの連続性を
反映させた三次元の視差ラインを得ることができるとと
もに、複数の視差画面にわたる実画素に基づく興奮性結
合および抑制性結合をもつ局所演算のみを行う場合に比
べて、得られる三次元の視差ラインの精度を向上させる
ことができるため、被写体の上下のエッジ情報をさらに
精度よく得ることができる。
【図1】本発明の第1の複数画像の対応点抽出方法の第
1の実施例を説明するための図である。
1の実施例を説明するための図である。
【図2】本発明の第1の複数画像の対応点抽出方法の第
1の実施例における興奮性結合の範囲を説明するための
図である。
1の実施例における興奮性結合の範囲を説明するための
図である。
【図3】本発明の第1の複数画像の対応点抽出方法の第
1の実施例における興奮性結合の範囲を説明するための
図である。
1の実施例における興奮性結合の範囲を説明するための
図である。
【図4】本発明の第1の複数画像の対応点抽出方法の第
1の実施例における抑制性結合の範囲を説明するための
図である。
1の実施例における抑制性結合の範囲を説明するための
図である。
【図5】本発明の第1の複数画像の対応点抽出方法の第
1の実施例における抑制性結合の範囲を説明するための
図である。
1の実施例における抑制性結合の範囲を説明するための
図である。
【図6】本発明の第1の複数画像の対応点抽出方法の第
1の実施例において最終的に得られる三次元の視差ライ
ンの一例を示す図である。
1の実施例において最終的に得られる三次元の視差ライ
ンの一例を示す図である。
【図7】図5に示した回転楕円体の形状の一例を説明す
るための図である。
るための図である。
【図8】本発明の第1の複数画像の対応点抽出方法の第
2の実施例における興奮性結合の範囲を説明するための
図である。
2の実施例における興奮性結合の範囲を説明するための
図である。
【図9】本発明の第1の複数画像の対応点抽出方法の第
2の実施例における興奮性結合の範囲を説明するための
図である。
2の実施例における興奮性結合の範囲を説明するための
図である。
【図10】本発明の第1の複数画像の対応点抽出方法の
第1の実施例における抑制性結合の範囲を説明するため
の図である。
第1の実施例における抑制性結合の範囲を説明するため
の図である。
【図11】本発明の第2の複数画像の対応点抽出方法の
一実施例を説明するための図である。
一実施例を説明するための図である。
【図12】本発明の第2の複数画像の対応点抽出方法の
一の実施例における仮想初期画面の作成方法の一例を説
明するための図である。
一の実施例における仮想初期画面の作成方法の一例を説
明するための図である。
【図13】本発明の第2の複数画像の対応点抽出方法の
一実施例における仮想初期画面の作成方法の他の例を説
明するための図である。
一実施例における仮想初期画面の作成方法の他の例を説
明するための図である。
【図14】本発明の第2の複数画像の対応点抽出方法の
一実施例における興奮性結合の範囲を説明するための図
である。
一実施例における興奮性結合の範囲を説明するための図
である。
【図15】本発明の第2の複数画像の対応点抽出方法の
一実施例における抑制性結合の範囲を説明するための図
である。
一実施例における抑制性結合の範囲を説明するための図
である。
【図16】図14(A),(C),(E)および図15
(B),(D)にそれぞれ示した楕円の範囲の決定方法
の一例を説明するための図である。
(B),(D)にそれぞれ示した楕円の範囲の決定方法
の一例を説明するための図である。
【図17】図14(B),(D)および図15(A),
(C),(E)にそれぞれ示した円の決定方法の一例を
説明するための図である。
(C),(E)にそれぞれ示した円の決定方法の一例を
説明するための図である。
【図18】本発明の第2の複数画像の対応点抽出方法の
一実施例において最終的に得られる三次元の視差ライン
の一例を示す図である。
一実施例において最終的に得られる三次元の視差ライン
の一例を示す図である。
【図19】図17に示した回転楕円体の形状の一例を説
明するための図である。
明するための図である。
【図20】距離画像を求めるために用いられる三角測量
を説明するための図である。
を説明するための図である。
【図21】図20に示した三角測量において、右側カメ
ラの光軸と左側カメラの光軸とがそれぞれ基線に対して
垂直である場合の物体上の一点の座標を説明するための
図である。
ラの光軸と左側カメラの光軸とがそれぞれ基線に対して
垂直である場合の物体上の一点の座標を説明するための
図である。
【図22】図20に示した三角測量において、右側カメ
ラの光軸と左側カメラの光軸とがそれぞれ基線に対して
角度(輻湊角)をもっている場合の上の一点の座標を説
明するための図である。
ラの光軸と左側カメラの光軸とがそれぞれ基線に対して
角度(輻湊角)をもっている場合の上の一点の座標を説
明するための図である。
【図23】協調アルゴリズムを説明するための図であ
る。
る。
【図24】視差ラインを説明するための図である。
【図25】視差ラインを説明するための図である。
【図26】視差ラインと距離との関係を説明するための
図である。
図である。
【図27】視差ラインと距離との関係を説明するための
図である。
図である。
【図28】視差ラインと距離との関係を説明するための
図である。
図である。
【図29】視差ラインと距離との関係を説明するための
図である。
図である。
【図30】視差ラインと距離との関係を説明するための
図である。
図である。
【図31】Juleszのランダムドットステレオグラムのよ
うに極めて類似した画像に変換された二枚の二値画像に
対して協調アルゴリズムにより対応点抽出を行う例を説
明するためのフローチャートである。
うに極めて類似した画像に変換された二枚の二値画像に
対して協調アルゴリズムにより対応点抽出を行う例を説
明するためのフローチャートである。
【図32】協調アルゴリズムにおける左右のエピポーラ
ラインの配置を示す図である。
ラインの配置を示す図である。
【図33】協調アルゴリズムにおける初期画面の作成方
法を説明するための図である。
法を説明するための図である。
【図34】協調アルゴリズムにおける実画素に基づく興
奮性結合および抑制性結合の範囲を説明するための図で
ある。
奮性結合および抑制性結合の範囲を説明するための図で
ある。
【図35】二値出力の閾値関数の一例を示す図である。
【図36】一組のエピポーララインの抽出方法を説明す
るための図である。
るための図である。
10k-1,10k,10k+1,60,70k-1,70k,7
0k+1,1100k-1,1100k,1100k+1,1130k-1,1130k+1,
1200 楕円 11k-1,11k,11k+1,71k-1,71k,71k+1,
1101k-1,1101k,1101k+ 1,1131k-1,1131k+1 長軸 20,1150 楕円球 30k-1,30k,30k+1,80k-1,80k,80k+1,
1120k-1,1120k+1,1140 k-1,1140k,1140k+1 水平の
線 31k-1,31k,31k+1,81k-1,81k,81k+1,
1121k-1,1121k+1,1141 k-1,1141k,1141k+1 垂直の
線 32k-1,32k,32k+1,82k-1,82k,82k+1,
1122k-1,1122k+1,1142 k-1,1142k,1142k+1 円 40,1160 縦軸 41,1161 回転楕円体 50,1170 三次元の視差ライン LeL,LeR,LeLk,LeRk,LeL1,LeL2 エピポー
ラライン Dk-1,Dk,Dk+1 初期画面 Qk-1(i,j),Qk(i,j),Qk+1(i,j) 黒点 Ik-1,Ik+1 仮想初期画面 Tk-1(i,j),Tk+1(i,j) 交点 f11L〜f13L,f21L〜f23L,f31L〜f33L 実画素 h11L〜h13L,h21L〜h23L 仮想画素 LeL1’ 仮想エピポーラライン a11L〜a13L,a21L〜a23L,b11L〜b13L 画素
0k+1,1100k-1,1100k,1100k+1,1130k-1,1130k+1,
1200 楕円 11k-1,11k,11k+1,71k-1,71k,71k+1,
1101k-1,1101k,1101k+ 1,1131k-1,1131k+1 長軸 20,1150 楕円球 30k-1,30k,30k+1,80k-1,80k,80k+1,
1120k-1,1120k+1,1140 k-1,1140k,1140k+1 水平の
線 31k-1,31k,31k+1,81k-1,81k,81k+1,
1121k-1,1121k+1,1141 k-1,1141k,1141k+1 垂直の
線 32k-1,32k,32k+1,82k-1,82k,82k+1,
1122k-1,1122k+1,1142 k-1,1142k,1142k+1 円 40,1160 縦軸 41,1161 回転楕円体 50,1170 三次元の視差ライン LeL,LeR,LeLk,LeRk,LeL1,LeL2 エピポー
ラライン Dk-1,Dk,Dk+1 初期画面 Qk-1(i,j),Qk(i,j),Qk+1(i,j) 黒点 Ik-1,Ik+1 仮想初期画面 Tk-1(i,j),Tk+1(i,j) 交点 f11L〜f13L,f21L〜f23L,f31L〜f33L 実画素 h11L〜h13L,h21L〜h23L 仮想画素 LeL1’ 仮想エピポーラライン a11L〜a13L,a21L〜a23L,b11L〜b13L 画素
Claims (4)
- 【請求項1】 複数の画像からそれぞれ抽出した複数の
エピポーララインから形成される視差画面上の各交点
で、該複数の画像の実画素に基づく興奮性結合および抑
制性結合をもつ局所演算を行うことにより視差ラインを
得て、該複数の画像の対応点を抽出する複数画像の対応
点抽出方法において、 複数の視差画面にわたる実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算をも行うことを特徴とする
複数画像の対応点抽出方法。 - 【請求項2】 前記複数の視差画面にわたる実画素に基
づく興奮性結合および抑制性結合をもつ局所演算では、
中心とする視差画面から遠く離れた視差画面ほど興奮性
結合の範囲および抑制性結合の範囲をそれぞれ小さくす
ることを特徴とする請求項1記載の複数画像の対応点抽
出方法。 - 【請求項3】 複数の画像からそれぞれ抽出した複数の
エピポーララインから形成される視差画面上の各交点
で、該複数の画像の実画素に基づく興奮性結合および抑
制性結合をもつ局所演算を行うことにより視差ラインを
得て、該複数の画像の対応点を抽出する複数画像の対応
点抽出方法において、 前記各画像の互いに垂直方向に隣り合う実画素間に、該
実画素間の連続性を示す仮想画素をそれぞれ設け、 該仮想画素から形成した各仮想視差画面を前記各視差画
面の間にそれぞれ挿入し、 複数の仮想視差画面にわたる仮想画素に基づく興奮性結
合および抑制性結合をもつ局所演算を、複数の視差画面
にわたる実画素に基づく興奮性結合および抑制性結合を
もつ局所演算と並行して行うことを特徴とする複数画像
の対応点抽出方法。 - 【請求項4】 前記複数の仮想視差画面にわたる仮想画
素に基づく興奮性結合が、前記複数の視差画面にわたる
実画素に基づく興奮性結合と互いに拮抗し、 前記複数の仮想視差画面にわたる仮想画素に基づく抑制
性結合が、前記複数の視差画面にわたる実画素に基づく
抑制性結合と互いに拮抗することを特徴とする請求項3
記載の複数画像の対応点抽出方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4343994A JPH06195445A (ja) | 1992-12-24 | 1992-12-24 | 複数画像の対応点抽出方法 |
US08/143,307 US5680474A (en) | 1992-10-27 | 1993-10-26 | Corresponding point extraction method for a plurality of images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4343994A JPH06195445A (ja) | 1992-12-24 | 1992-12-24 | 複数画像の対応点抽出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH06195445A true JPH06195445A (ja) | 1994-07-15 |
Family
ID=18365836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4343994A Pending JPH06195445A (ja) | 1992-10-27 | 1992-12-24 | 複数画像の対応点抽出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH06195445A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5867591A (en) * | 1995-04-21 | 1999-02-02 | Matsushita Electric Industrial Co., Ltd. | Method of matching stereo images and method of measuring disparity between these image |
WO2014002725A1 (ja) * | 2012-06-29 | 2014-01-03 | 富士フイルム株式会社 | 3次元測定方法、装置、及びシステム、並びに画像処理装置 |
-
1992
- 1992-12-24 JP JP4343994A patent/JPH06195445A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5867591A (en) * | 1995-04-21 | 1999-02-02 | Matsushita Electric Industrial Co., Ltd. | Method of matching stereo images and method of measuring disparity between these image |
WO2014002725A1 (ja) * | 2012-06-29 | 2014-01-03 | 富士フイルム株式会社 | 3次元測定方法、装置、及びシステム、並びに画像処理装置 |
JP5715735B2 (ja) * | 2012-06-29 | 2015-05-13 | 富士フイルム株式会社 | 3次元測定方法、装置、及びシステム、並びに画像処理装置 |
US9369695B2 (en) | 2012-06-29 | 2016-06-14 | Fujifilm Corporation | Method and apparatus for three-dimensional measurement and image processing device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2064675B1 (en) | Method for determining a depth map from images, device for determining a depth map | |
Ayache et al. | Efficient registration of stereo images by matching graph descriptions of edge segments | |
US10706567B2 (en) | Data processing method, apparatus, system and storage media | |
US7224357B2 (en) | Three-dimensional modeling based on photographic images | |
US10846844B1 (en) | Collaborative disparity decomposition | |
US5655033A (en) | Method for extracting corresponding point in plural images | |
CN102903101B (zh) | 使用多台相机进行水面数据采集与重建的方法 | |
CN110458952B (zh) | 一种基于三目视觉的三维重建方法和装置 | |
Li et al. | A two-view based multilayer feature graph for robot navigation | |
EP2335220A2 (en) | Method for distributed and minimum-support point matching in two or more images of 3d scene taken with video or stereo camera. | |
US5680474A (en) | Corresponding point extraction method for a plurality of images | |
CN107330930B (zh) | 三维图像深度信息提取方法 | |
US20090080767A1 (en) | Method for determining a depth map from images, device for determining a depth map | |
Pollefeys et al. | Iso-disparity surfaces for general stereo configurations | |
CN109961092A (zh) | 一种基于视差锚点的双目视觉立体匹配方法及*** | |
CN116929290A (zh) | 一种双目视角差立体深度测量方法、***及存储介质 | |
Lim et al. | Virtual camera rectification with geometrical approach on single-lens stereovision using a biprism | |
JP2001153633A (ja) | 立体形状検出方法および装置 | |
JPH06195445A (ja) | 複数画像の対応点抽出方法 | |
Gennert | A computational framework for understanding problems in stereo vision | |
Zhang et al. | Passive 3D reconstruction based on binocular vision | |
Custodio | Depth estimation using light-field cameras | |
CN114820916B (zh) | 基于gpu的大型场景三维稠密重建方法 | |
Chen et al. | Multiview Stereo via Noise Suppression PatchMatch | |
Xiao et al. | A Stereo Matching Method for Three-Dimensional Eye Localization of Autostereoscopic Display |