JPH06195445A - 複数画像の対応点抽出方法 - Google Patents
複数画像の対応点抽出方法Info
- Publication number
- JPH06195445A JPH06195445A JP4343994A JP34399492A JPH06195445A JP H06195445 A JPH06195445 A JP H06195445A JP 4343994 A JP4343994 A JP 4343994A JP 34399492 A JP34399492 A JP 34399492A JP H06195445 A JPH06195445 A JP H06195445A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- images
- initial screen
- virtual
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 複数画像の対応点抽出方法を、被写体の上下
のエッジ情報をも精度よく得ることができるようにす
る。 【構成】 たとえば、初期画面Ｄk の黒点Ｑk(i,j)に対
する実画素に基づく興奮性結合および抑制性結合をもつ
局所演算は、次のようにして行われる。 （１）初期画面Ｄk 上の各交点について、従来例と同様
にして、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。 （２）初期画面Ｄk の図１図示上下にそれぞれ配置され
た初期画面Ｄk-1 および初期画面Ｄk+1 上の各交点につ
いても、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。
のエッジ情報をも精度よく得ることができるようにす
る。 【構成】 たとえば、初期画面Ｄk の黒点Ｑk(i,j)に対
する実画素に基づく興奮性結合および抑制性結合をもつ
局所演算は、次のようにして行われる。 （１）初期画面Ｄk 上の各交点について、従来例と同様
にして、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。 （２）初期画面Ｄk の図１図示上下にそれぞれ配置され
た初期画面Ｄk-1 および初期画面Ｄk+1 上の各交点につ
いても、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。
Description
【０００１】
【産業上の利用分野】本発明は、複数画像の対応点抽出
方法に関し、特に、複数の画像からそれぞれ抽出した複
数のエピポーララインから形成される視差画面上の各交
点で、該複数の画像の実画素に基づく興奮性結合および
抑制性結合をもつ局所演算を行うことにより視差ライン
を得て、該複数の画像の対応点を抽出する複数画像の対
応点抽出方法に関するものである。
方法に関し、特に、複数の画像からそれぞれ抽出した複
数のエピポーララインから形成される視差画面上の各交
点で、該複数の画像の実画素に基づく興奮性結合および
抑制性結合をもつ局所演算を行うことにより視差ライン
を得て、該複数の画像の対応点を抽出する複数画像の対
応点抽出方法に関するものである。
【０００２】
【従来の技術】図２０は、距離画像を求めるために用い
られる三角測量を説明するための図である。なお、以下
の説明では、特記しない限り、右側カメラおよび左側カ
メラのセンサがそれぞれポジ面に置かれた状態で図示す
る。
られる三角測量を説明するための図である。なお、以下
の説明では、特記しない限り、右側カメラおよび左側カ
メラのセンサがそれぞれポジ面に置かれた状態で図示す
る。
【０００３】三角測量は、２つのカメラ（右側カメラお
よび左側カメラ）を用いて三次元空間内にある物体（被
写体）を撮像した際、この物体上の一点Ｐの投影点を右
側カメラのレンズの中心点ＯR および左側カメラのレン
ズの中心点ＯL としたときの右側カメラのセンサ面ＡSR
での投影点ＰR と左側カメラのセンサ面ＡSLでの投影点
ＰL とから、この物体上の一点Ｐの三次元座標を得るも
のである。ここで、『基線Ｂ』，『基線長ＬB 』，『エ
ピポーラ面（視線面）Ａe 』および『エピポーラライン
（視線像）ＬeR，ＬeL』はそれぞれ、以下のように定義
される。 （１）『基線Ｂ』とは、右側カメラのレンズの中心点Ｏ
R と左側カメラのレンズの中心点ＯL とを結ぶ線をい
う。 （２）『基線長ＬB 』とは、基線Ｂの長さをいう。 （３）『エピポーラ面Ａe 』とは、物体上の一点Ｐと投
影点ＰR と投影点ＰL との三点を結んでできる平面をい
う。 （４）『エピポーラライン（視線像）ＬeR』とは、エピ
ポーラ面Ａe と右側カメラのセンサ面ＡSRとの交線をい
い、『エピポーララインＬeL』とは、エピポーラ面Ａe
と左側カメラのセンサ面ＡSLとの交線をいう。
よび左側カメラ）を用いて三次元空間内にある物体（被
写体）を撮像した際、この物体上の一点Ｐの投影点を右
側カメラのレンズの中心点ＯR および左側カメラのレン
ズの中心点ＯL としたときの右側カメラのセンサ面ＡSR
での投影点ＰR と左側カメラのセンサ面ＡSLでの投影点
ＰL とから、この物体上の一点Ｐの三次元座標を得るも
のである。ここで、『基線Ｂ』，『基線長ＬB 』，『エ
ピポーラ面（視線面）Ａe 』および『エピポーラライン
（視線像）ＬeR，ＬeL』はそれぞれ、以下のように定義
される。 （１）『基線Ｂ』とは、右側カメラのレンズの中心点Ｏ
R と左側カメラのレンズの中心点ＯL とを結ぶ線をい
う。 （２）『基線長ＬB 』とは、基線Ｂの長さをいう。 （３）『エピポーラ面Ａe 』とは、物体上の一点Ｐと投
影点ＰR と投影点ＰL との三点を結んでできる平面をい
う。 （４）『エピポーラライン（視線像）ＬeR』とは、エピ
ポーラ面Ａe と右側カメラのセンサ面ＡSRとの交線をい
い、『エピポーララインＬeL』とは、エピポーラ面Ａe
と左側カメラのセンサ面ＡSLとの交線をいう。
【０００４】図２１に示すように、基線Ｂの中点を原点
Ｏ（０，０，０），基線Ｂに沿ってｘ軸，紙面と垂直方
向にｙ軸（不図示）および基線Ｂと垂直方向にｚ軸をと
り、右側カメラのレンズおよび左側カメラのレンズの焦
点距離をそれぞれｆとし、物体上の一点Ｐ，投影点ＰR
および投影点ＰL の座標をそれぞれ（ｘP，ｙP，
ｚP），（ｘPR ，ｙPR，ｚPR）および（ｘPL，ｙPL，ｚ
PL）とする。このとき、右側カメラおよび左側カメラの
光軸がそれぞれ、図２１に示すように、基線Ｂに対して
垂直である場合（すなわち、該２つの光軸が互いに平行
である場合）には、 （ｘPL＋ＬB／２）／ｆ＝（ｘP＋ＬB／２）／ｚP （１．１） （ｘPR−ＬB／２）／ｆ＝（ｘP−ＬB／２）／ｚP （１．２） ｙL／ｆ＝ｙR／ｆ＝ｙ／ｚP （１．３） （ＬB＋ｘPL−ｘPR）／ｆ＝ＬB／ｚP （１．４） がそれぞれ成り立つ。よって、物体上の一点Ｐの座標
（ｘP，ｙP，ｚP）は、 ｘP＝ＬB・｛（ｘPL＋ｘPR）／２｝／（ＬB＋ｘPL−ｘPR） （２．１） ｙP＝ＬB・｛（ｙPL＋ｙPR）／２｝／（ＬB＋ｘPL−ｘPR） （２．２） ｚP＝ＬB・ｆ／（ＬB＋ｘPL−ｘPR） （２．３） より求まる。
Ｏ（０，０，０），基線Ｂに沿ってｘ軸，紙面と垂直方
向にｙ軸（不図示）および基線Ｂと垂直方向にｚ軸をと
り、右側カメラのレンズおよび左側カメラのレンズの焦
点距離をそれぞれｆとし、物体上の一点Ｐ，投影点ＰR
および投影点ＰL の座標をそれぞれ（ｘP，ｙP，
ｚP），（ｘPR ，ｙPR，ｚPR）および（ｘPL，ｙPL，ｚ
PL）とする。このとき、右側カメラおよび左側カメラの
光軸がそれぞれ、図２１に示すように、基線Ｂに対して
垂直である場合（すなわち、該２つの光軸が互いに平行
である場合）には、 （ｘPL＋ＬB／２）／ｆ＝（ｘP＋ＬB／２）／ｚP （１．１） （ｘPR−ＬB／２）／ｆ＝（ｘP−ＬB／２）／ｚP （１．２） ｙL／ｆ＝ｙR／ｆ＝ｙ／ｚP （１．３） （ＬB＋ｘPL−ｘPR）／ｆ＝ＬB／ｚP （１．４） がそれぞれ成り立つ。よって、物体上の一点Ｐの座標
（ｘP，ｙP，ｚP）は、 ｘP＝ＬB・｛（ｘPL＋ｘPR）／２｝／（ＬB＋ｘPL−ｘPR） （２．１） ｙP＝ＬB・｛（ｙPL＋ｙPR）／２｝／（ＬB＋ｘPL−ｘPR） （２．２） ｚP＝ＬB・ｆ／（ＬB＋ｘPL−ｘPR） （２．３） より求まる。
【０００５】また、右側カメラおよび左側カメラの光軸
がそれぞれ、図２２に示すように、基線Ｂに対して所定
の角度（輻湊角）θをもっている場合には、 （ｘPL＋ＬB／２）／ｚPL＝（ｘP＋ＬB／２）／ｚP （３．１） （ｘPR−ＬB／２）／ｚPR＝（ｘP−ＬB／２）／ｚP （３．２） ｙPL／ｚPL＝ｙPR／ｚPR＝ｙP／ｚP （３．３） ＬB／ｚP＝｛（ｘPL＋ＬB／２）−（ｚPL／ｚPR）（ｘPR−ＬB／２）｝／ｚ PL （３．４） ただし、｜ｘPR｜≧｜ｘPL｜ ＬB／ｚP＝｛−（ｘPR−ＬB／２）＋（ｚPR／ｚPL）（ｘPL＋ＬB／２）｝／ ｚPR （３．５） ただし、｜ｘPR｜＜｜ｘPL｜ ｚPR＝（ｘPR−ＬB／２）・ｔａｎ(θ)＋ｆ・ｃｏｓ(θ) （３．６） ｚPL＝−（ｘPL＋ＬB／２）・ｔａｎ(θ)＋ｆ・ｃｏｓ(θ) （３．７） がそれぞれ成り立つ。したがって、物体上の一点Ｐの座
標（ｘP，ｙP，ｚP）は、上記（３．１）式から上記
（３．７）式より求まる。
がそれぞれ、図２２に示すように、基線Ｂに対して所定
の角度（輻湊角）θをもっている場合には、 （ｘPL＋ＬB／２）／ｚPL＝（ｘP＋ＬB／２）／ｚP （３．１） （ｘPR−ＬB／２）／ｚPR＝（ｘP−ＬB／２）／ｚP （３．２） ｙPL／ｚPL＝ｙPR／ｚPR＝ｙP／ｚP （３．３） ＬB／ｚP＝｛（ｘPL＋ＬB／２）−（ｚPL／ｚPR）（ｘPR−ＬB／２）｝／ｚ PL （３．４） ただし、｜ｘPR｜≧｜ｘPL｜ ＬB／ｚP＝｛−（ｘPR−ＬB／２）＋（ｚPR／ｚPL）（ｘPL＋ＬB／２）｝／ ｚPR （３．５） ただし、｜ｘPR｜＜｜ｘPL｜ ｚPR＝（ｘPR−ＬB／２）・ｔａｎ(θ)＋ｆ・ｃｏｓ(θ) （３．６） ｚPL＝−（ｘPL＋ＬB／２）・ｔａｎ(θ)＋ｆ・ｃｏｓ(θ) （３．７） がそれぞれ成り立つ。したがって、物体上の一点Ｐの座
標（ｘP，ｙP，ｚP）は、上記（３．１）式から上記
（３．７）式より求まる。
【０００６】以上説明した三角測量により、右側撮像系
と左側撮像系とからなる複眼撮像系によって撮像した二
枚の画像から、物体（被写体）までの距離を求めること
ができる。しかし、三角測量は、右側カメラのセンサ面
ＡSRでの投影点ＰR と左側カメラのセンサ面ＡSLでの投
影点ＰL とが同じ一点Ｐの投影点であることを前提条件
として、物体までの距離を求めるものである。したがっ
て、左側カメラのセンサ面ＡSLでの投影点ＰL に対応す
る右側カメラのセンサ面ＡSRでの投影点ＰR が抽出され
ている必要があるため、複眼撮像系を用いて距離情報を
得るには、如何にして対応点を抽出するか（対応点抽出
方法）が問題となる。かかる対応点抽出方法の代表的な
ものとしては、既に工場などで応用されているテンプレ
ートマッチング法と、視覚の処理に基づく協調的アルゴ
リズムとがある。
と左側撮像系とからなる複眼撮像系によって撮像した二
枚の画像から、物体（被写体）までの距離を求めること
ができる。しかし、三角測量は、右側カメラのセンサ面
ＡSRでの投影点ＰR と左側カメラのセンサ面ＡSLでの投
影点ＰL とが同じ一点Ｐの投影点であることを前提条件
として、物体までの距離を求めるものである。したがっ
て、左側カメラのセンサ面ＡSLでの投影点ＰL に対応す
る右側カメラのセンサ面ＡSRでの投影点ＰR が抽出され
ている必要があるため、複眼撮像系を用いて距離情報を
得るには、如何にして対応点を抽出するか（対応点抽出
方法）が問題となる。かかる対応点抽出方法の代表的な
ものとしては、既に工場などで応用されているテンプレ
ートマッチング法と、視覚の処理に基づく協調的アルゴ
リズムとがある。
【０００７】（１）テンプレートマッチング法 テンプレートマッチング法は、左側カメラのセンサ面Ａ
SLに結像される左画像の任意の一点を囲むテンプレート
を考え、このテンプレート内の画像に対して、右側カメ
ラのセンサＡSRに結像される右画像の類似性を比較する
ことによって、対応点を決定するものである。なお、類
似性の比較には、以下に示す二通りの方法がある。
SLに結像される左画像の任意の一点を囲むテンプレート
を考え、このテンプレート内の画像に対して、右側カメ
ラのセンサＡSRに結像される右画像の類似性を比較する
ことによって、対応点を決定するものである。なお、類
似性の比較には、以下に示す二通りの方法がある。
【０００８】（ａ）ＳＳＤＡ法（Sequential Similarit
y Detection Algorithm ） ＳＳＤＡ法は、以下に示す（４．１）式で示すように、
左画像のエピポーララインＬeL上のすべての画素および
右画像のエピポーララインＬeR上のすべての画素に対し
て、左画像のテンプレート内の画像中の画素値ＥL と探
索する右画像中の画素値ＥR との差を加算して、得られ
た和Ｅ(ｘ，ｙ)が最小値になる座標を対応点の座標とす
るものである。
y Detection Algorithm ） ＳＳＤＡ法は、以下に示す（４．１）式で示すように、
左画像のエピポーララインＬeL上のすべての画素および
右画像のエピポーララインＬeR上のすべての画素に対し
て、左画像のテンプレート内の画像中の画素値ＥL と探
索する右画像中の画素値ＥR との差を加算して、得られ
た和Ｅ(ｘ，ｙ)が最小値になる座標を対応点の座標とす
るものである。
【０００９】
【数１】 ＳＳＤＡ法では、今までに計算した他の座標における最
小値よりも計算中の画素値の差の和が大きくなった場合
には、計算を中止して次の座標に移動してもよいため、
余分な計算をなくして計算時間を短縮することができ
る。
小値よりも計算中の画素値の差の和が大きくなった場合
には、計算を中止して次の座標に移動してもよいため、
余分な計算をなくして計算時間を短縮することができ
る。
【００１０】（ｂ）相関法 相関法は、以下に示す（４．２）式で示すように、左画
像のテンプレート内の画像中の画素値ＥL と探索する右
画像中の画素値ＥR との相互相関をとることにより相関
値ρ(ｘ，ｙ)を求めて、求めた相関値ρ(ｘ，ｙ)が最大
値となる座標を対応点の座標とするものである。なお、
式（４．２）に示す正規化相互相関では、最大値は”
１”となる。
像のテンプレート内の画像中の画素値ＥL と探索する右
画像中の画素値ＥR との相互相関をとることにより相関
値ρ(ｘ，ｙ)を求めて、求めた相関値ρ(ｘ，ｙ)が最大
値となる座標を対応点の座標とするものである。なお、
式（４．２）に示す正規化相互相関では、最大値は”
１”となる。
【００１１】
【数２】 （２）協調アルゴリズム David Marrにより提案された『協調アルゴリズム』は、
以下に示す３つの規則を用いて視差ラインを得るアルゴ
リズムである(D. Marr, Vision: A Computational Inve
stigation into the Human Representation and Proces
sing of VisualInformation, W. H. Freeman & Co., Sa
n Francisco Calif., 1982)。
以下に示す３つの規則を用いて視差ラインを得るアルゴ
リズムである(D. Marr, Vision: A Computational Inve
stigation into the Human Representation and Proces
sing of VisualInformation, W. H. Freeman & Co., Sa
n Francisco Calif., 1982)。
【００１２】規則１（適合性） …… 黒点は黒点とのみ
整合し得る。
整合し得る。
【００１３】規則２（一意性） …… ほとんど常に、一
つの画像の一つの黒点は、他方の画像の唯一の黒点と整
合し得る。
つの画像の一つの黒点は、他方の画像の唯一の黒点と整
合し得る。
【００１４】規則３（連続性） …… 整合する点の視差
は、ほとんど全域で滑らかに変化する。
は、ほとんど全域で滑らかに変化する。
【００１５】協調アルゴリズムを実現する対応点抽出装
置は、Marrによると、多くの処理装置が並列にかつ相互
に結合されたネットワークを形成してなるものであり、
図２３（Ａ）に示す各交点または節点に、小さな処理装
置がそれぞれ置かれる。もし節点が黒点の正しい対を表
わすならば、該節点に置かれた処理装置は最終的に値”
１”をもち、一方、もしそれが正しくない対（誤標的）
を表わすならば、該処理装置は値”０”をもつ。
置は、Marrによると、多くの処理装置が並列にかつ相互
に結合されたネットワークを形成してなるものであり、
図２３（Ａ）に示す各交点または節点に、小さな処理装
置がそれぞれ置かれる。もし節点が黒点の正しい対を表
わすならば、該節点に置かれた処理装置は最終的に値”
１”をもち、一方、もしそれが正しくない対（誤標的）
を表わすならば、該処理装置は値”０”をもつ。
【００１６】規則２から、ただ１つの対応が水平または
垂直の線に沿って許される。そこで、各水平または垂直
の線に沿った節点に置かれた処理装置はすべて、互いに
抑制し合うようにする。これは各線に沿った競合の結
果、ただ一つの処理装置が値”１”として生き残り、他
の処理装置の値をすべて”０”にすることで、規則２を
満足しようという考え方によるものである。
垂直の線に沿って許される。そこで、各水平または垂直
の線に沿った節点に置かれた処理装置はすべて、互いに
抑制し合うようにする。これは各線に沿った競合の結
果、ただ一つの処理装置が値”１”として生き残り、他
の処理装置の値をすべて”０”にすることで、規則２を
満足しようという考え方によるものである。
【００１７】規則３によれば、正しい対は破線に沿って
存在しやすいので、この方向に並ぶ処理装置間に、興奮
性の結合を挿入する。これは、各局所的な処理装置に図
２３（Ｂ）に示すような構造を与える。両眼からの視線
に対応する図中の水平の線101 および垂直の線102 に沿
う処理装置に抑制性結合をかけ、視差一定の線に対応す
る斜めの線103 に沿う処理装置には興奮性結合をかけ
る。我々は、そのアルゴリズムを二次元の画像に拡張で
きる。その場合は、抑制性結合はそのままで、興奮性結
合が視差一定の二次元の微小近傍104 にかかるようにす
る。これを図２３（Ｃ）に示す。
存在しやすいので、この方向に並ぶ処理装置間に、興奮
性の結合を挿入する。これは、各局所的な処理装置に図
２３（Ｂ）に示すような構造を与える。両眼からの視線
に対応する図中の水平の線101 および垂直の線102 に沿
う処理装置に抑制性結合をかけ、視差一定の線に対応す
る斜めの線103 に沿う処理装置には興奮性結合をかけ
る。我々は、そのアルゴリズムを二次元の画像に拡張で
きる。その場合は、抑制性結合はそのままで、興奮性結
合が視差一定の二次元の微小近傍104 にかかるようにす
る。これを図２３（Ｃ）に示す。
【００１８】かかる対応点抽出装置では、左画像と右画
像とをそれぞれ撮り、二つの黒点が整合する所（誤標的
も含めすべて）は”１”を与えて他はすべて”０”を与
えることにより、処理装置のネットワークに負荷を加え
たのち、ネットワークを走らせる。各処理装置は興奮性
近傍の”１”を合計し、抑制性近傍の”１”を合計す
る。そして、一方の合計に適当な重みをかけたのち、結
果の数値を引き算する。もし結果がある閾値を超えれば
その処理装置は値”１”にセットされ、もしそうでなけ
ればその処理装置は”０”にセットされる。形式的に、
このアルゴリズムは、次の（５）式に示す反復関係によ
って表わされる。
像とをそれぞれ撮り、二つの黒点が整合する所（誤標的
も含めすべて）は”１”を与えて他はすべて”０”を与
えることにより、処理装置のネットワークに負荷を加え
たのち、ネットワークを走らせる。各処理装置は興奮性
近傍の”１”を合計し、抑制性近傍の”１”を合計す
る。そして、一方の合計に適当な重みをかけたのち、結
果の数値を引き算する。もし結果がある閾値を超えれば
その処理装置は値”１”にセットされ、もしそうでなけ
ればその処理装置は”０”にセットされる。形式的に、
このアルゴリズムは、次の（５）式に示す反復関係によ
って表わされる。
【００１９】
【数３】 ここで、
【００２０】
【外１】 は、図２３（Ａ）に示したネットワークにおける位置
（ｘ，ｙ），視差ｄおよび時間ｔに対応する細胞の状態
を示す。Ｓ(ｘ，ｙ，ｄ)は局所的興奮性近傍，Ｏ(ｘ，
ｙ，ｄ)は抑制性近傍である。εは抑制定数であり、σ
は閾値関数である。初期状態Ｃ0 は、定められた視差範
囲内で、誤標的を含む可能な対をすべて含んでいる。こ
こで、それは各繰り返しごとに加えられる（そうする必
要はないが、こうするとアルゴリズムがより速く収束す
る）。
（ｘ，ｙ），視差ｄおよび時間ｔに対応する細胞の状態
を示す。Ｓ(ｘ，ｙ，ｄ)は局所的興奮性近傍，Ｏ(ｘ，
ｙ，ｄ)は抑制性近傍である。εは抑制定数であり、σ
は閾値関数である。初期状態Ｃ0 は、定められた視差範
囲内で、誤標的を含む可能な対をすべて含んでいる。こ
こで、それは各繰り返しごとに加えられる（そうする必
要はないが、こうするとアルゴリズムがより速く収束す
る）。
【００２１】次に、二枚の二値画像からそれぞれ抽出し
た二本のエピポーララインから形成される視差画面上
で、この二枚の二値画像の実画素に基づく興奮性結合お
よび抑制性結合をもつ局所演算を繰り返し行うことによ
り視差ラインを得て、この二枚の二値画像の対応点を抽
出する複数画像の対応点抽出方法について、詳しく説明
する。
た二本のエピポーララインから形成される視差画面上
で、この二枚の二値画像の実画素に基づく興奮性結合お
よび抑制性結合をもつ局所演算を繰り返し行うことによ
り視差ラインを得て、この二枚の二値画像の対応点を抽
出する複数画像の対応点抽出方法について、詳しく説明
する。
【００２２】まず、視差ラインについて、図２４および
図２５をそれぞれ参照して説明する。左側カメラおよび
右側カメラの光軸が基線に対してそれぞれ垂直であると
き、被写体が投影された図２４に示すような一組のエピ
ポーララインＬeL，ＬeRが得られる。そこで、図２５に
示すように、得られた左のエピポーララインＬeLを画素
ａ1Lが図示左側になり画素ａ5Lが図示右側になるように
図示横方向に配置するとともに、得られた右のエピポー
ララインＬeRを画素ａ1Rが図示下側になり画素ａ5Rが図
示上側になるように図示縦方向に配置したのち、各エピ
ポーララインＬ eL，ＬeR上の互いに対応する画素（画素
ａ1Lと画素ａ1Rなど）の交点ｂ1〜ｂ5をそれぞれ求め
る。このとき、各交点ｂ1〜ｂ5を結ぶ線を『視差ライン
114 』と呼び、視差が一定の場合には視差ライン114 は
図示右上がりの傾き４５゜の直線となるため、視差ライ
ン114 を求めることにより左画像と右画像との視差の変
化がわかる。なお、２つのエピポーララインＬeL，ＬeR
により得られる平面を『視差画面113 』と呼ぶ。
図２５をそれぞれ参照して説明する。左側カメラおよび
右側カメラの光軸が基線に対してそれぞれ垂直であると
き、被写体が投影された図２４に示すような一組のエピ
ポーララインＬeL，ＬeRが得られる。そこで、図２５に
示すように、得られた左のエピポーララインＬeLを画素
ａ1Lが図示左側になり画素ａ5Lが図示右側になるように
図示横方向に配置するとともに、得られた右のエピポー
ララインＬeRを画素ａ1Rが図示下側になり画素ａ5Rが図
示上側になるように図示縦方向に配置したのち、各エピ
ポーララインＬ eL，ＬeR上の互いに対応する画素（画素
ａ1Lと画素ａ1Rなど）の交点ｂ1〜ｂ5をそれぞれ求め
る。このとき、各交点ｂ1〜ｂ5を結ぶ線を『視差ライン
114 』と呼び、視差が一定の場合には視差ライン114 は
図示右上がりの傾き４５゜の直線となるため、視差ライ
ン114 を求めることにより左画像と右画像との視差の変
化がわかる。なお、２つのエピポーララインＬeL，ＬeR
により得られる平面を『視差画面113 』と呼ぶ。
【００２３】次に、視差ラインと距離との関係につい
て、図２６乃至図３０をそれぞれ参照して説明する。
て、図２６乃至図３０をそれぞれ参照して説明する。
【００２４】図２６（Ａ）に示すように、右側カメラお
よび左側カメラから遠くに存在する視差が一定の各点ａ
21〜ａ25について視差画面と視差ラインとを同様にして
求めると、同図（Ｂ）に示す視差画面121 と視差ライン
131 とが得られる。図２７（Ａ）に示すように、前記各
点ａ21〜ａ25よりも右側カメラおよび左側カメラの近く
に存在する視差が一定の各点ａ31〜ａ34について視差画
面と視差ラインとを同様にして求めると、同図（Ｂ）に
示す視差画面122 と視差ライン132 とが得られる。図２
８（Ａ）に示すように、前記各点ａ31〜ａ34よりも右側
カメラおよび左側カメラの近くに存在する視差が一定の
各点ａ41〜ａ43について視差画面と視差ラインとを同様
にして求めると、同図（Ｂ）に示す視差画面123 と視差
ライン133 とが得られる。図２９（Ａ）に示すように、
前記各点ａ41〜ａ43よりも右側カメラおよび左側カメラ
の近くに存在する視差が一定の各点ａ51，ａ52について
視差画面と視差ラインとを同様にして求めると、同図
（Ｂ）に示す視差画面124 と視差ライン134 とが得られ
る。
よび左側カメラから遠くに存在する視差が一定の各点ａ
21〜ａ25について視差画面と視差ラインとを同様にして
求めると、同図（Ｂ）に示す視差画面121 と視差ライン
131 とが得られる。図２７（Ａ）に示すように、前記各
点ａ21〜ａ25よりも右側カメラおよび左側カメラの近く
に存在する視差が一定の各点ａ31〜ａ34について視差画
面と視差ラインとを同様にして求めると、同図（Ｂ）に
示す視差画面122 と視差ライン132 とが得られる。図２
８（Ａ）に示すように、前記各点ａ31〜ａ34よりも右側
カメラおよび左側カメラの近くに存在する視差が一定の
各点ａ41〜ａ43について視差画面と視差ラインとを同様
にして求めると、同図（Ｂ）に示す視差画面123 と視差
ライン133 とが得られる。図２９（Ａ）に示すように、
前記各点ａ41〜ａ43よりも右側カメラおよび左側カメラ
の近くに存在する視差が一定の各点ａ51，ａ52について
視差画面と視差ラインとを同様にして求めると、同図
（Ｂ）に示す視差画面124 と視差ライン134 とが得られ
る。
【００２５】以上のことにより、左側カメラおよび右側
カメラの光軸が基線に対してそれぞれ垂直であるときに
は、 （１）視差が一定となる各点が、右側カメラおよび左側
カメラから無限遠の距離に存在する場合には、得られた
視差ラインは、視差画面を二等分する傾き４５°の直線
となる。 （２）視差が一定の各点が右側カメラおよび左側カメラ
に近づくにつれて、得られた視差ラインは、視差画面の
図示右下隅に寄った傾き４５°の直線となる。というこ
とがわかる。
カメラの光軸が基線に対してそれぞれ垂直であるときに
は、 （１）視差が一定となる各点が、右側カメラおよび左側
カメラから無限遠の距離に存在する場合には、得られた
視差ラインは、視差画面を二等分する傾き４５°の直線
となる。 （２）視差が一定の各点が右側カメラおよび左側カメラ
に近づくにつれて、得られた視差ラインは、視差画面の
図示右下隅に寄った傾き４５°の直線となる。というこ
とがわかる。
【００２６】また、図３０（Ａ）に示すような各点ａ61
〜ａ66について視差画面と視差ラインとを同様にして求
めると、同図（Ｂ）に示す視差画面125 と視差ライン13
5 とが得られる。ここで、得られた視差ライン135 は、
視差画面125 の図示左下隅から図２６（Ｂ）に示した視
差ライン131 に沿って図示右上隅に向かって進み、途中
で図示５７（Ｂ）に示した視差ライン132 に移ったの
ち、図２６（Ｂ）に示した視差ライン131 に沿って図示
右上隅に向かって再度進むものとなる。したがって、凹
凸のある物体（被写体）についても、物体の凹凸に応じ
た視差ラインが得られることがわかる。
〜ａ66について視差画面と視差ラインとを同様にして求
めると、同図（Ｂ）に示す視差画面125 と視差ライン13
5 とが得られる。ここで、得られた視差ライン135 は、
視差画面125 の図示左下隅から図２６（Ｂ）に示した視
差ライン131 に沿って図示右上隅に向かって進み、途中
で図示５７（Ｂ）に示した視差ライン132 に移ったの
ち、図２６（Ｂ）に示した視差ライン131 に沿って図示
右上隅に向かって再度進むものとなる。したがって、凹
凸のある物体（被写体）についても、物体の凹凸に応じ
た視差ラインが得られることがわかる。
【００２７】以上の結果、三角測量より求めた距離のデ
ータを視差画面の座標が保持しているとすると、得られ
た視差ラインの座標より被写体までの距離を求めること
ができる。
ータを視差画面の座標が保持しているとすると、得られ
た視差ラインの座標より被写体までの距離を求めること
ができる。
【００２８】次に、Juleszのランダムドット・ステレオ
グラム（参照：デビット・マー，乾など訳，ビジョン
（視覚の計算理論と脳内表現），産業図書）のように、
極めて類似した画像に変換された二枚の二値画像に対し
て、協調アルゴリズムにより対応点抽出を行う一例につ
いて、図３１に示すフローチャートを参照して説明す
る。
グラム（参照：デビット・マー，乾など訳，ビジョン
（視覚の計算理論と脳内表現），産業図書）のように、
極めて類似した画像に変換された二枚の二値画像に対し
て、協調アルゴリズムにより対応点抽出を行う一例につ
いて、図３１に示すフローチャートを参照して説明す
る。
【００２９】たとえばランダムドット・ステレオグラム
などの視差をもつ二枚の二値画像を複眼撮像系を用いて
取り込んだのち（ステップＳ１）、取り込んだ二枚の二
値画像から任意の一組のエピポーララインＬeL，ＬeRを
抽出する（ステップＳ２）。抽出した一組のエピポーラ
ラインＬeL，ＬeRを図３２に示すように配置する（ステ
ップＳ３）。すなわち、左のエピポーララインＬeLは、
その左端141Lが図示左側にされるとともにその右端141R
が図示右側にされて、図示横方向に配置される。また、
右のエピポーララインＬeRは、その左端142Lが図示下側
にされるとともにその右端142Rが図示上側にされて、図
示縦方向に配置される。続いて、左のエピポーラライン
ＬeL上の画素値”黒”を示す画素と右のエピポーラライ
ンＬeR上の画素値”黒”を示す画素とが視差画面143 上
で交差する視差画面143 上のすべての交点を黒点とする
ことにより、図３３に示すように、視差画面143 の初期
値を有する初期画面144 を作成する（ステップＳ４）。
などの視差をもつ二枚の二値画像を複眼撮像系を用いて
取り込んだのち（ステップＳ１）、取り込んだ二枚の二
値画像から任意の一組のエピポーララインＬeL，ＬeRを
抽出する（ステップＳ２）。抽出した一組のエピポーラ
ラインＬeL，ＬeRを図３２に示すように配置する（ステ
ップＳ３）。すなわち、左のエピポーララインＬeLは、
その左端141Lが図示左側にされるとともにその右端141R
が図示右側にされて、図示横方向に配置される。また、
右のエピポーララインＬeRは、その左端142Lが図示下側
にされるとともにその右端142Rが図示上側にされて、図
示縦方向に配置される。続いて、左のエピポーラライン
ＬeL上の画素値”黒”を示す画素と右のエピポーラライ
ンＬeR上の画素値”黒”を示す画素とが視差画面143 上
で交差する視差画面143 上のすべての交点を黒点とする
ことにより、図３３に示すように、視差画面143 の初期
値を有する初期画面144 を作成する（ステップＳ４）。
【００３０】その後、作成された初期画面144 中の各黒
点に対して、実画素に基づく興奮性結合および抑制性結
合をもつ局所処理をそれぞれ行う（ステップＳ５）。こ
のとき、実画素に基づく興奮性結合は、図３４に示すよ
うに、初期画面144 中の任意の一つの黒点Ｑを中心とし
た、傾き４５°の図示右上がりの直線方向を長軸151と
するとともに傾き−４５°の図示右下がりの直線方向を
短軸152 とする楕円150 内に存在する各交点に対してそ
れぞれ行われる。また、実画素に基づく抑制性結合は、
黒点Ｑに対して、図示水平方向の軸および図示垂直方向
の軸上に存在する各交点に対してそれぞれ行われる。続
いて、実画素に基づく興奮性結合および抑制性結合をも
つ局所処理が行われた初期画面144 の各交点に対して、
たとえば図３５に示すような二値出力の閾値関数171
（上記（５）式の閾値関数σに相当）を用いた所定の処
理をそれぞれ施すことにより、新しい視差画面を作成す
る（ステップＳ６）。続いて、ステップＳ５の処理およ
びステップＳ６の処理が所定回数だけそれぞれ行われた
か否かの判断を行い（ステップＳ７）、所定回数だけ行
われていない場合には、ステップＳ６の処理において作
成した新しい視差画面を初期画面として、ステップＳ５
の処理およびステップＳ６の処理を繰り返す。その結
果、最終的に、ステップＳ６の処理において作成した新
しい視差画面上に視差ラインが得られ、この視差ライン
に基づいて対応点の抽出を行うことができる。
点に対して、実画素に基づく興奮性結合および抑制性結
合をもつ局所処理をそれぞれ行う（ステップＳ５）。こ
のとき、実画素に基づく興奮性結合は、図３４に示すよ
うに、初期画面144 中の任意の一つの黒点Ｑを中心とし
た、傾き４５°の図示右上がりの直線方向を長軸151と
するとともに傾き−４５°の図示右下がりの直線方向を
短軸152 とする楕円150 内に存在する各交点に対してそ
れぞれ行われる。また、実画素に基づく抑制性結合は、
黒点Ｑに対して、図示水平方向の軸および図示垂直方向
の軸上に存在する各交点に対してそれぞれ行われる。続
いて、実画素に基づく興奮性結合および抑制性結合をも
つ局所処理が行われた初期画面144 の各交点に対して、
たとえば図３５に示すような二値出力の閾値関数171
（上記（５）式の閾値関数σに相当）を用いた所定の処
理をそれぞれ施すことにより、新しい視差画面を作成す
る（ステップＳ６）。続いて、ステップＳ５の処理およ
びステップＳ６の処理が所定回数だけそれぞれ行われた
か否かの判断を行い（ステップＳ７）、所定回数だけ行
われていない場合には、ステップＳ６の処理において作
成した新しい視差画面を初期画面として、ステップＳ５
の処理およびステップＳ６の処理を繰り返す。その結
果、最終的に、ステップＳ６の処理において作成した新
しい視差画面上に視差ラインが得られ、この視差ライン
に基づいて対応点の抽出を行うことができる。
【００３１】なお、ステップＳ７の判断の代わりに、視
差画面の各交点の値が収束するまで、ステップＳ６の処
理において作成した新しい視差画面を初期画面としてス
テップＳ５の処理およびステップＳ６の処理を繰り返し
て、処理を終えてもよい。また、ステップＳ１で取り込
んだ二枚の二値画像の他の組のエピポーララインＬeL，
ＬeRについて視差ラインを求める場合には、ステップＳ
２からステップＳ７を再度繰り返すことにより、同様に
して視差ラインを求めることができる。
差画面の各交点の値が収束するまで、ステップＳ６の処
理において作成した新しい視差画面を初期画面としてス
テップＳ５の処理およびステップＳ６の処理を繰り返し
て、処理を終えてもよい。また、ステップＳ１で取り込
んだ二枚の二値画像の他の組のエピポーララインＬeL，
ＬeRについて視差ラインを求める場合には、ステップＳ
２からステップＳ７を再度繰り返すことにより、同様に
して視差ラインを求めることができる。
【００３２】次に、図３１のステップＳ２における一組
のエピポーララインの抽出方法について、図３６を参照
して詳しく説明する。
のエピポーララインの抽出方法について、図３６を参照
して詳しく説明する。
【００３３】２つのカメラ（左側カメラと右側カメラ）
のレンズの中心点をそれぞれ、図３６に示すように、Ｏ
L，ＯRとする。また、左側カメラのセンサ面ＡSL上の座
標を（ｘL，ｙL，ｚL）、右側カメラのセンサ面ＡSR上
の座標を（ｘR，ｙR，ｚR）とする。このとき、ｚL 軸
およびｚR 軸は各光軸と一致するようにする。
のレンズの中心点をそれぞれ、図３６に示すように、Ｏ
L，ＯRとする。また、左側カメラのセンサ面ＡSL上の座
標を（ｘL，ｙL，ｚL）、右側カメラのセンサ面ＡSR上
の座標を（ｘR，ｙR，ｚR）とする。このとき、ｚL 軸
およびｚR 軸は各光軸と一致するようにする。
【００３４】ｘL 軸，ｙL 軸，ｚL 軸，ｘR 軸，ｙR 軸
およびｚR 軸の単位ベクトルをそれぞれ
およびｚR 軸の単位ベクトルをそれぞれ
【００３５】
【外２】 とし、左側カメラのセンサ面ＡSLから左側カメラのレン
ズの中心点ＯL までの距離をｆL とし、右側カメラのセ
ンサ面ＡSRから右側カメラのレンズの中心点ＯRまでの
距離をｆR とすると、物体上の一点Ｐの左側カメラのセ
ンサ面ＡSL上の投影点ＰL のベクトル
ズの中心点ＯL までの距離をｆL とし、右側カメラのセ
ンサ面ＡSRから右側カメラのレンズの中心点ＯRまでの
距離をｆR とすると、物体上の一点Ｐの左側カメラのセ
ンサ面ＡSL上の投影点ＰL のベクトル
【００３６】
【外３】 および右側カメラのセンサ面ＡSR上の投影点ＰR のベク
トル
トル
【００３７】
【外４】 はそれぞれ、
【００３８】
【数４】 と表される。
【００３９】左側カメラのセンサ面ＡSL上の投影点ＰL
と左側カメラのレンズの中心点ＯLとの間の相対位置ベ
クトル
と左側カメラのレンズの中心点ＯLとの間の相対位置ベ
クトル
【００４０】
【外５】 、および、右側カメラのセンサ面ＡSR上の投影点ＰR と
右側カメラのレンズの中心点ＯR との間の相対位置ベク
トル
右側カメラのレンズの中心点ＯR との間の相対位置ベク
トル
【００４１】
【外６】 はそれぞれ、
【００４２】
【数５】 と表され、また、左側カメラのレンズの中心点ＯL と右
側カメラのレンズの中心点ＯR との間の相対位置ベクト
ル
側カメラのレンズの中心点ＯR との間の相対位置ベクト
ル
【００４３】
【外７】 （基線長に相当する）は、
【００４４】
【数６】 と表され、エピポーラ面Ａe の単位法線ベクトル
【００４５】
【外８】 は、
【００４６】
【数７】 と表される。
【００４７】右側カメラのセンサ面ＡSRの単位法線ベク
トルを
トルを
【００４８】
【外９】 とすると、右のエピポーララインＬeRは
【００４９】
【外１０】 と
【００５０】
【外１１】 とに直交するので、この方向の単位ベクトル
【００５１】
【外１２】 は、
【００５２】
【数８】 と表される。よって、
【００５３】
【数９】 であるため、右のエピポーララインＬeRは、
【００５４】
【数１０】 と表される。左のエピポーララインＬeLについても同様
に表される。
に表される。
【００５５】なお、通常、左右のエピポーラライン
ＬeL，ＬeRはそれぞれ各センサの走査線と平行でないの
で、対応的探索などの処理を施す際の探索方向が一方の
画像と他方の画像とで異なり処理が複雑となっていた。
しかし、本発明者らが別途提案している各エピポーララ
インＬeL，ＬeRに沿った再配列を行うことにより、両者
を平行にすることができるため、以下の説明において
は、両者は平行であるものとする。
ＬeL，ＬeRはそれぞれ各センサの走査線と平行でないの
で、対応的探索などの処理を施す際の探索方向が一方の
画像と他方の画像とで異なり処理が複雑となっていた。
しかし、本発明者らが別途提案している各エピポーララ
インＬeL，ＬeRに沿った再配列を行うことにより、両者
を平行にすることができるため、以下の説明において
は、両者は平行であるものとする。
【００５６】
【発明が解決しようとしている課題】しかしながら、上
述した従来の複数画像の対応点抽出方法においては、以
下に示すような問題がある。 （１）テンプレートマッチング法では、周期的な構造を
もつ二値画像の場合には、誤対応を起こすという問題が
ある。 （２）協調アルゴリズムでは、対応する左右のエピポー
ララインＬeL，ＬeRどおしの関係のみで実画素に基づく
興奮性結合および抑制性結合をもつ局所演算を行うこと
により視差ラインを得ているため、上下（垂直方向）に
隣り合うエピポーララインで得られた視差ラインの関係
を吟味することがなく、たとえば被写体の上下のエッジ
情報が連続していないなどという問題がある。
述した従来の複数画像の対応点抽出方法においては、以
下に示すような問題がある。 （１）テンプレートマッチング法では、周期的な構造を
もつ二値画像の場合には、誤対応を起こすという問題が
ある。 （２）協調アルゴリズムでは、対応する左右のエピポー
ララインＬeL，ＬeRどおしの関係のみで実画素に基づく
興奮性結合および抑制性結合をもつ局所演算を行うこと
により視差ラインを得ているため、上下（垂直方向）に
隣り合うエピポーララインで得られた視差ラインの関係
を吟味することがなく、たとえば被写体の上下のエッジ
情報が連続していないなどという問題がある。
【００５７】本発明の目的は、被写体の上下のエッジ情
報を精度よく得ることができる複数画像の対応点抽出方
法を提供することにある。
報を精度よく得ることができる複数画像の対応点抽出方
法を提供することにある。
【００５８】
【課題を解決するための手段】本発明の第１の複数画像
の対応点抽出方法は、複数の画像からそれぞれ抽出した
複数のエピポーララインから形成される視差画面上の各
交点で、該複数の画像の実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算を行うことにより視差ライ
ンを得て、該複数の画像の対応点を抽出する複数画像の
対応点抽出方法において、複数の視差画面にわたる実画
素に基づく興奮性結合および抑制性結合をもつ局所演算
をも行う。
の対応点抽出方法は、複数の画像からそれぞれ抽出した
複数のエピポーララインから形成される視差画面上の各
交点で、該複数の画像の実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算を行うことにより視差ライ
ンを得て、該複数の画像の対応点を抽出する複数画像の
対応点抽出方法において、複数の視差画面にわたる実画
素に基づく興奮性結合および抑制性結合をもつ局所演算
をも行う。
【００５９】ここで、前記複数の視差画面にわたる実画
素に基づく興奮性結合および抑制性結合をもつ局所演算
では、中心とする視差画面から遠く離れた視差画面ほど
興奮性結合の範囲および抑制性結合の範囲をそれぞれ小
さくしてもよい。
素に基づく興奮性結合および抑制性結合をもつ局所演算
では、中心とする視差画面から遠く離れた視差画面ほど
興奮性結合の範囲および抑制性結合の範囲をそれぞれ小
さくしてもよい。
【００６０】本発明の第２の複数画像の対応点抽出方法
は、複数の画像からそれぞれ抽出した複数のエピポーラ
ラインから形成される視差画面上の各交点で、該複数の
画像の実画素に基づく興奮性結合および抑制性結合をも
つ局所演算を行うことにより視差ラインを得て、該複数
の画像の対応点を抽出する複数画像の対応点抽出方法に
おいて、前記各画像の互いに垂直方向に隣り合う実画素
間に、該実画素間の連続性を示す仮想画素をそれぞれ設
け、該仮想画素から形成した各仮想視差画面を前記各視
差画面の間にそれぞれ挿入し、複数の仮想視差画面にわ
たる仮想画素に基づく興奮性結合および抑制性結合をも
つ局所演算を、複数の視差画面にわたる実画素に基づく
興奮性結合および抑制性結合をもつ局所演算と並行して
行う。
は、複数の画像からそれぞれ抽出した複数のエピポーラ
ラインから形成される視差画面上の各交点で、該複数の
画像の実画素に基づく興奮性結合および抑制性結合をも
つ局所演算を行うことにより視差ラインを得て、該複数
の画像の対応点を抽出する複数画像の対応点抽出方法に
おいて、前記各画像の互いに垂直方向に隣り合う実画素
間に、該実画素間の連続性を示す仮想画素をそれぞれ設
け、該仮想画素から形成した各仮想視差画面を前記各視
差画面の間にそれぞれ挿入し、複数の仮想視差画面にわ
たる仮想画素に基づく興奮性結合および抑制性結合をも
つ局所演算を、複数の視差画面にわたる実画素に基づく
興奮性結合および抑制性結合をもつ局所演算と並行して
行う。
【００６１】ここで、前記複数の仮想視差画面にわたる
仮想画素に基づく興奮性結合が、前記複数の視差画面に
わたる実画素に基づく興奮性結合と互いに拮抗し、前記
複数の仮想視差画面にわたる仮想画素に基づく抑制性結
合が、前記複数の視差画面にわたる実画素に基づく抑制
性結合と互いに拮抗していてもよい。
仮想画素に基づく興奮性結合が、前記複数の視差画面に
わたる実画素に基づく興奮性結合と互いに拮抗し、前記
複数の仮想視差画面にわたる仮想画素に基づく抑制性結
合が、前記複数の視差画面にわたる実画素に基づく抑制
性結合と互いに拮抗していてもよい。
【００６２】
【作用】本発明の第１の複数画像の対応点抽出方法は、
複数の視差画面にわたる実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算をも行うことにより、互い
に隣り合う視差画面でそれぞれ得られる視差ラインの連
続性を反映させた三次元の視差ラインを得ることができ
る。
複数の視差画面にわたる実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算をも行うことにより、互い
に隣り合う視差画面でそれぞれ得られる視差ラインの連
続性を反映させた三次元の視差ラインを得ることができ
る。
【００６３】本発明の第２の複数画像の対応点抽出方法
は、各画像の互いに垂直方向に隣り合う実画素間に、実
画素間の連続性を示す仮想画素をそれぞれ設け、仮想画
素から形成した各仮想視差画面を各視差画面の間にそれ
ぞれ挿入し、複数の仮想視差画面にわたる仮想画素に基
づく興奮性結合および抑制性結合をもつ局所演算を、複
数の視差画面にわたる実画素に基づく興奮性結合および
抑制性結合をもつ局所演算と並行して行うことにより、
互いに隣り合う視差画面でそれぞれ得られる視差ライン
の連続性を反映させた三次元の視差ラインを得ることが
できるとともに、複数の視差画面にわたる実画素に基づ
く興奮性結合および抑制性結合をもつ局所演算のみを行
う場合に比べて、得られる三次元の視差ラインの精度を
向上させることができる。
は、各画像の互いに垂直方向に隣り合う実画素間に、実
画素間の連続性を示す仮想画素をそれぞれ設け、仮想画
素から形成した各仮想視差画面を各視差画面の間にそれ
ぞれ挿入し、複数の仮想視差画面にわたる仮想画素に基
づく興奮性結合および抑制性結合をもつ局所演算を、複
数の視差画面にわたる実画素に基づく興奮性結合および
抑制性結合をもつ局所演算と並行して行うことにより、
互いに隣り合う視差画面でそれぞれ得られる視差ライン
の連続性を反映させた三次元の視差ラインを得ることが
できるとともに、複数の視差画面にわたる実画素に基づ
く興奮性結合および抑制性結合をもつ局所演算のみを行
う場合に比べて、得られる三次元の視差ラインの精度を
向上させることができる。
【００６４】
【実施例】以下、本発明の実施例について、図面を参照
して説明する。
して説明する。
【００６５】Ａ．本発明の第１の複数画像の対応点抽出
方法について 本発明の第１の複数画像の対応点抽出方法の第１の実施
例は、二枚の二値画像からそれぞれ抽出した二本のエピ
ポーララインから形成される視差画面上の各交点で、こ
の二枚の二値画像の実画素に基づく興奮性結合および抑
制性結合をもつ局所演算を行うことにより視差ラインを
得て、この二枚の二値画像の対応点を抽出する際に、複
数の視差画面にわたる実画素に基づく興奮性結合および
抑制性結合をもつ局所演算をも行うことを特徴とする。
また、複数の視差画面にわたる実画素に基づく興奮性結
合および抑制性結合をもつ局所演算では、中心とする視
差画面から遠く離れた視差画面ほど興奮性結合の範囲お
よび抑制性結合の範囲をそれぞれ小さく。
方法について 本発明の第１の複数画像の対応点抽出方法の第１の実施
例は、二枚の二値画像からそれぞれ抽出した二本のエピ
ポーララインから形成される視差画面上の各交点で、こ
の二枚の二値画像の実画素に基づく興奮性結合および抑
制性結合をもつ局所演算を行うことにより視差ラインを
得て、この二枚の二値画像の対応点を抽出する際に、複
数の視差画面にわたる実画素に基づく興奮性結合および
抑制性結合をもつ局所演算をも行うことを特徴とする。
また、複数の視差画面にわたる実画素に基づく興奮性結
合および抑制性結合をもつ局所演算では、中心とする視
差画面から遠く離れた視差画面ほど興奮性結合の範囲お
よび抑制性結合の範囲をそれぞれ小さく。
【００６６】次に、本実施例における動作について説明
する。
する。
【００６７】たとえば前述したJuleszのランダムドット
・ステレオグラムなどの視差をもつ二枚の二値画像を左
側カメラおよび右側カメラを用いて取り込んだのち、取
り込んだ二枚の二値画像から対応する左右のエピポーラ
ラインＬeL，ＬeRをそれぞれ抽出する。ここで、各二値
画像がＮ本の走査線からそれぞれ構成されているとする
と、左右のエピポーララインＬeL，ＬeRはＮ本ずつ抽出
されるため、抽出された各左右のエピポーラライン
ＬeL，ＬeRをエピポーララインＬeLk，ＬeRk（ｋは走査
線の番号を示し、ｋ＝１〜Ｎ）と表す。続いて、抽出さ
れた各左右のエピポーララインＬeLk，ＬeRkから、従来
例と同様にして、視差画面の初期値を有する各初期画面
Ｄk （ｋ＝１〜Ｎ）をそれぞれ作成する。続いて、作成
された各初期画面Ｄk を、図１に示すように、対応する
交点（たとえば、黒点Ｑk-1(i,j)と黒点Ｑk(i,j)と黒点
Ｑk+1(i,j)）が互いに重なり合うように配置したのち、
各初期画面Ｄk の各黒点に対して実画素に基づく興奮性
結合および抑制性結合をもつ局所演算をそれぞれ行う。
・ステレオグラムなどの視差をもつ二枚の二値画像を左
側カメラおよび右側カメラを用いて取り込んだのち、取
り込んだ二枚の二値画像から対応する左右のエピポーラ
ラインＬeL，ＬeRをそれぞれ抽出する。ここで、各二値
画像がＮ本の走査線からそれぞれ構成されているとする
と、左右のエピポーララインＬeL，ＬeRはＮ本ずつ抽出
されるため、抽出された各左右のエピポーラライン
ＬeL，ＬeRをエピポーララインＬeLk，ＬeRk（ｋは走査
線の番号を示し、ｋ＝１〜Ｎ）と表す。続いて、抽出さ
れた各左右のエピポーララインＬeLk，ＬeRkから、従来
例と同様にして、視差画面の初期値を有する各初期画面
Ｄk （ｋ＝１〜Ｎ）をそれぞれ作成する。続いて、作成
された各初期画面Ｄk を、図１に示すように、対応する
交点（たとえば、黒点Ｑk-1(i,j)と黒点Ｑk(i,j)と黒点
Ｑk+1(i,j)）が互いに重なり合うように配置したのち、
各初期画面Ｄk の各黒点に対して実画素に基づく興奮性
結合および抑制性結合をもつ局所演算をそれぞれ行う。
【００６８】このとき、たとえば、初期画面Ｄk の黒点
Ｑk(i,j)に対する実画素に基づく興奮性結合および抑制
性結合をもつ局所演算は、次のようにして行われる。 （１）初期画面Ｄk 上の各交点について、従来例と同様
にして、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。 （２）初期画面Ｄk の図１図示上下にそれぞれ配置され
た初期画面Ｄk-1 および初期画面Ｄk+1 上の各交点につ
いても、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。
Ｑk(i,j)に対する実画素に基づく興奮性結合および抑制
性結合をもつ局所演算は、次のようにして行われる。 （１）初期画面Ｄk 上の各交点について、従来例と同様
にして、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。 （２）初期画面Ｄk の図１図示上下にそれぞれ配置され
た初期画面Ｄk-1 および初期画面Ｄk+1 上の各交点につ
いても、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。
【００６９】すなわち、初期画面Ｄk の黒点Ｑk(i,j)に
対する興奮性結合の範囲は、初期画面Ｄk の図２（Ｂ）
に楕円１０k で示す範囲と、初期画面Ｄk-1 の図２
（Ａ）に楕円１０k-1 で示す範囲と、初期画面Ｄk+1 の
図２（Ｃ）に楕円１０k+1 で示す範囲とする。ここで、
初期画面Ｄk-1 の楕円１０k-1 で示す範囲および初期画
面Ｄk+1 の楕円１０k+1 で示す範囲はそれぞれ、図３に
示すようにして決定する。初期画面Ｄk で切断したとき
の切断面の形状が初期画面Ｄk の楕円１０k の形状とな
る楕円球２０を用意する。初期画面Ｄk-1 および初期画
面Ｄk+1 を初期画面Ｄk に対して所定の間隔をもって平
行にそれぞれ配置する。初期画面Ｄk-1 の楕円１０k-1
で示す範囲は、楕円球２０を初期画面Ｄk-1 で切断した
ときの切断面の範囲とし、また、初期画面Ｄk+1 の楕円
１０k+1 で示す範囲は、楕円球２０を初期画面Ｄk+1 で
切断したときの切断面の範囲とする。なお、各楕円１０
k-1，１０k，１０k+1 の長軸１１k-1，１１k，１１k+1
はそれぞれ、視差一定の方向と合致させる。
対する興奮性結合の範囲は、初期画面Ｄk の図２（Ｂ）
に楕円１０k で示す範囲と、初期画面Ｄk-1 の図２
（Ａ）に楕円１０k-1 で示す範囲と、初期画面Ｄk+1 の
図２（Ｃ）に楕円１０k+1 で示す範囲とする。ここで、
初期画面Ｄk-1 の楕円１０k-1 で示す範囲および初期画
面Ｄk+1 の楕円１０k+1 で示す範囲はそれぞれ、図３に
示すようにして決定する。初期画面Ｄk で切断したとき
の切断面の形状が初期画面Ｄk の楕円１０k の形状とな
る楕円球２０を用意する。初期画面Ｄk-1 および初期画
面Ｄk+1 を初期画面Ｄk に対して所定の間隔をもって平
行にそれぞれ配置する。初期画面Ｄk-1 の楕円１０k-1
で示す範囲は、楕円球２０を初期画面Ｄk-1 で切断した
ときの切断面の範囲とし、また、初期画面Ｄk+1 の楕円
１０k+1 で示す範囲は、楕円球２０を初期画面Ｄk+1 で
切断したときの切断面の範囲とする。なお、各楕円１０
k-1，１０k，１０k+1 の長軸１１k-1，１１k，１１k+1
はそれぞれ、視差一定の方向と合致させる。
【００７０】また、初期画面Ｄk の黒点Ｑk(i,j)に対す
る抑制性結合の範囲は、初期画面Ｄ k の水平の線３０k
および垂直の線３１k 上の図４（Ｂ）に示す円３２k 内
の範囲（同図に太線で示す範囲）と、初期画面Ｄk-1 の
水平の線３０k-1 および垂直の線３１k-1 上の図４
（Ａ）に示す円３２k-1 内の範囲（同図に太線で示す範
囲）と、初期画面Ｄk+1 の水平の線３０k+1 および垂直
の線３１k+1 上の図４（Ｃ）に示す円３２k+1 内の範囲
（同図に太線で示す範囲）とする。ここで、初期画面Ｄ
k-1 の円３２k-1 および初期画面Ｄk+1 の円３２k+1 は
それぞれ、図５に示すようにして決定する。すなわち、
初期画面Ｄk の黒点Ｑk(i,j)を中心としかつ縦軸４０
（図示破線で示す軸）を回転軸とする回転楕円体４１を
用意する。初期画面Ｄk-1 および初期画面Ｄk+1 を初期
画面Ｄk に対して所定の間隔をもって平行にそれぞれ配
置する。初期画面Ｄk-1 の円３２k-1 は、回転楕円体４
１を初期画面Ｄk-1 で切断したときの切断面の輪郭によ
り決まる円とし、また、初期画面Ｄk+1 の円３２k+1
は、回転楕円体４１を初期画面Ｄk+1 で切断したときの
切断面の輪郭により決まる円とする。
る抑制性結合の範囲は、初期画面Ｄ k の水平の線３０k
および垂直の線３１k 上の図４（Ｂ）に示す円３２k 内
の範囲（同図に太線で示す範囲）と、初期画面Ｄk-1 の
水平の線３０k-1 および垂直の線３１k-1 上の図４
（Ａ）に示す円３２k-1 内の範囲（同図に太線で示す範
囲）と、初期画面Ｄk+1 の水平の線３０k+1 および垂直
の線３１k+1 上の図４（Ｃ）に示す円３２k+1 内の範囲
（同図に太線で示す範囲）とする。ここで、初期画面Ｄ
k-1 の円３２k-1 および初期画面Ｄk+1 の円３２k+1 は
それぞれ、図５に示すようにして決定する。すなわち、
初期画面Ｄk の黒点Ｑk(i,j)を中心としかつ縦軸４０
（図示破線で示す軸）を回転軸とする回転楕円体４１を
用意する。初期画面Ｄk-1 および初期画面Ｄk+1 を初期
画面Ｄk に対して所定の間隔をもって平行にそれぞれ配
置する。初期画面Ｄk-1 の円３２k-1 は、回転楕円体４
１を初期画面Ｄk-1 で切断したときの切断面の輪郭によ
り決まる円とし、また、初期画面Ｄk+1 の円３２k+1
は、回転楕円体４１を初期画面Ｄk+1 で切断したときの
切断面の輪郭により決まる円とする。
【００７１】以上のようにして、すべての初期画面Ｄk
（ｋ＝１〜Ｎ）上のすべての黒点に対して、実画素に基
づく興奮性結合および抑制性結合をもつ局所演算を行っ
たのち、図３５に示したような二値出力の閾値関数171
を用いた所定の処理を施すことにより、新しい視差画面
をそれぞれ作成する。続いて、作成された新しい視差画
面を初期画面として、上述した実画素に基づく興奮性結
合および抑制性結合をもつ局所演算が繰り返されること
により、図６に示すような、互いに隣り合う視差画面で
それぞれ得られる視差ラインの連続性を反映させた三次
元の視差ライン５０が最終的に得られる。その結果、被
写体の上下（垂直方向）のエッジ情報をも精度よく得る
ことができる。
（ｋ＝１〜Ｎ）上のすべての黒点に対して、実画素に基
づく興奮性結合および抑制性結合をもつ局所演算を行っ
たのち、図３５に示したような二値出力の閾値関数171
を用いた所定の処理を施すことにより、新しい視差画面
をそれぞれ作成する。続いて、作成された新しい視差画
面を初期画面として、上述した実画素に基づく興奮性結
合および抑制性結合をもつ局所演算が繰り返されること
により、図６に示すような、互いに隣り合う視差画面で
それぞれ得られる視差ラインの連続性を反映させた三次
元の視差ライン５０が最終的に得られる。その結果、被
写体の上下（垂直方向）のエッジ情報をも精度よく得る
ことができる。
【００７２】なお、図５に示した回転楕円体４１の形状
は、任意でよく、たとえば、図３に示した楕円球２０と
図７に示すような関係をもたせてもよい。すなわち、各
水平の線３０K-1，３０K，３０K+1 を含む平面で楕円球
２０を切断したときの切断面の形状が、楕円１０K の長
軸１１K よりも長い長軸を有しかつ楕円球２０の図７図
示縦方向の高さと等しい短軸を有する楕円６０の形状と
なる、回転楕円体としてもよい。
は、任意でよく、たとえば、図３に示した楕円球２０と
図７に示すような関係をもたせてもよい。すなわち、各
水平の線３０K-1，３０K，３０K+1 を含む平面で楕円球
２０を切断したときの切断面の形状が、楕円１０K の長
軸１１K よりも長い長軸を有しかつ楕円球２０の図７図
示縦方向の高さと等しい短軸を有する楕円６０の形状と
なる、回転楕円体としてもよい。
【００７３】次に、本発明の第１の複数画像の対応点抽
出方法の第２の実施例について説明する。
出方法の第２の実施例について説明する。
【００７４】本実施例の複数画像の対応点抽出方法は、
複数の視差画面にわたる実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算において、中心とする視差
画面から遠く離れた視差画面ほど興奮性結合の範囲およ
び抑制性結合の範囲を小さくしない点が、上述した第１
の実施例の複数画像の対応点抽出方法と異なる。
複数の視差画面にわたる実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算において、中心とする視差
画面から遠く離れた視差画面ほど興奮性結合の範囲およ
び抑制性結合の範囲を小さくしない点が、上述した第１
の実施例の複数画像の対応点抽出方法と異なる。
【００７５】すなわち、本実施例の複数画像の対応点抽
出方法では、初期画面Ｄk の黒点Ｑ k(i,j)に対する興奮
性結合の範囲は、初期画面Ｄk の図８（Ｂ）に楕円７０
k で示す範囲と、初期画面Ｄk-1 の図８（Ａ）に楕円７
０k-1 で示す範囲と、初期画面Ｄk+1 の図８（Ｃ）に楕
円７０k+1 で示す範囲とする。ここで、初期画面Ｄk- 1
の楕円７０k-1 および初期画面Ｄk+1 の楕円７０k+1 の
形状はそれぞれ、図９に示すように、初期画面Ｄk の楕
円７０k を、初期画面Ｄk に対して所定の間隔をもって
平行に配置した初期画面Ｄk-1 および初期画面Ｄk+1 に
等寸法でそれぞれ投影したときの楕円の形状とする。な
お、各楕円７０k-1，７０k，７０k+1 の長軸７１k-1，
７１k，７１k+1 はそれぞれ、視差一定の方向と合致さ
せる。
出方法では、初期画面Ｄk の黒点Ｑ k(i,j)に対する興奮
性結合の範囲は、初期画面Ｄk の図８（Ｂ）に楕円７０
k で示す範囲と、初期画面Ｄk-1 の図８（Ａ）に楕円７
０k-1 で示す範囲と、初期画面Ｄk+1 の図８（Ｃ）に楕
円７０k+1 で示す範囲とする。ここで、初期画面Ｄk- 1
の楕円７０k-1 および初期画面Ｄk+1 の楕円７０k+1 の
形状はそれぞれ、図９に示すように、初期画面Ｄk の楕
円７０k を、初期画面Ｄk に対して所定の間隔をもって
平行に配置した初期画面Ｄk-1 および初期画面Ｄk+1 に
等寸法でそれぞれ投影したときの楕円の形状とする。な
お、各楕円７０k-1，７０k，７０k+1 の長軸７１k-1，
７１k，７１k+1 はそれぞれ、視差一定の方向と合致さ
せる。
【００７６】また、初期画面Ｄk の黒点Ｑk(i,j)に対す
る抑制性結合の範囲は、初期画面Ｄ k の水平の線８０k
および垂直の線８１k 上の図１０（Ｂ）に示す円８２k
内の範囲（同図に太線で示す範囲）と、初期画面Ｄk-1
の水平の線８０k-1 および垂直の線８１k-1 上の図１０
（Ａ）に示す円８２k-1 内の範囲（同図に太線で示す範
囲）と、初期画面Ｄk+1 の水平の線８０k+1 および垂直
の線８１k+1 上の図１０（Ｃ）に示す円８２k+1 内の範
囲（同図に太線で示す範囲）とする。ここで、初期画面
Ｄk-1 の円８２k-1 ，初期画面Ｄk の円８２k および初
期画面Ｄk+1 の円３２k+1 は、同じ大きさのものであ
る。
る抑制性結合の範囲は、初期画面Ｄ k の水平の線８０k
および垂直の線８１k 上の図１０（Ｂ）に示す円８２k
内の範囲（同図に太線で示す範囲）と、初期画面Ｄk-1
の水平の線８０k-1 および垂直の線８１k-1 上の図１０
（Ａ）に示す円８２k-1 内の範囲（同図に太線で示す範
囲）と、初期画面Ｄk+1 の水平の線８０k+1 および垂直
の線８１k+1 上の図１０（Ｃ）に示す円８２k+1 内の範
囲（同図に太線で示す範囲）とする。ここで、初期画面
Ｄk-1 の円８２k-1 ，初期画面Ｄk の円８２k および初
期画面Ｄk+1 の円３２k+1 は、同じ大きさのものであ
る。
【００７７】以上のようにして、すべての初期画面Ｄk
（ｋ＝１〜Ｎ）上のすべての黒点に対して、実画素に基
づく興奮性結合および抑制性結合をもつ局所演算を行っ
たのち、図３５に示したような二値出力の閾値関数171
を用いた所定の処理を施すことにより、新しい視差画面
をそれぞれ作成する。続いて、作成された新しい視差画
面を初期画面として、上述した実画素に基づく興奮性結
合および抑制性結合をもつ局所演算が繰り返されること
により、互いに隣り合う視差画面でそれぞれ得られる視
差ラインの連続性を反映させた三次元の視差ラインが最
終的に得られる。その結果、被写体の上下のエッジ情報
をも精度よく得ることができる。
（ｋ＝１〜Ｎ）上のすべての黒点に対して、実画素に基
づく興奮性結合および抑制性結合をもつ局所演算を行っ
たのち、図３５に示したような二値出力の閾値関数171
を用いた所定の処理を施すことにより、新しい視差画面
をそれぞれ作成する。続いて、作成された新しい視差画
面を初期画面として、上述した実画素に基づく興奮性結
合および抑制性結合をもつ局所演算が繰り返されること
により、互いに隣り合う視差画面でそれぞれ得られる視
差ラインの連続性を反映させた三次元の視差ラインが最
終的に得られる。その結果、被写体の上下のエッジ情報
をも精度よく得ることができる。
【００７８】なお、本実施例の複数画像の対応点抽出方
法では、互いに隣り合う視差画面の影響が第１の実施例
の複数画像の対応点抽出方法よりも強いため、互いに隣
り合う視差画面でそれぞれ得られる視差ラインが連続し
ている場合には、その連続性をより強調させることがで
きる。
法では、互いに隣り合う視差画面の影響が第１の実施例
の複数画像の対応点抽出方法よりも強いため、互いに隣
り合う視差画面でそれぞれ得られる視差ラインが連続し
ている場合には、その連続性をより強調させることがで
きる。
【００７９】以上説明した実施例においては、初期画面
Ｄk の黒点Ｑk(i,j)に対する実画素に基づく興奮性結合
および抑制性結合をもつ局所演算は、初期画面Ｄk の上
下に配置された２つの初期画面Ｄk-1，Ｄk+1上の各交点
についても実画素に基づく興奮性結合および抑制性結合
をもつ局所演算を行うようにしたが、２つ以上の初期画
面上の各交点についても実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算を同様にして行うようにし
てもよい。
Ｄk の黒点Ｑk(i,j)に対する実画素に基づく興奮性結合
および抑制性結合をもつ局所演算は、初期画面Ｄk の上
下に配置された２つの初期画面Ｄk-1，Ｄk+1上の各交点
についても実画素に基づく興奮性結合および抑制性結合
をもつ局所演算を行うようにしたが、２つ以上の初期画
面上の各交点についても実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算を同様にして行うようにし
てもよい。
【００８０】Ｂ．本発明の第２の複数画像の対応点抽出
方法について 本発明の第２の複数画像の対応点抽出方法の一実施例
は、二枚の二値画像からそれぞれ抽出した二本のエピポ
ーララインから形成される視差画面上の各交点で、この
二枚の二値画像の実画素に基づく興奮性結合および抑制
性結合をもつ局所演算を行うことにより視差ラインを得
て、この二枚の二値画像の対応点を抽出する際に、各二
値画像の互いに垂直方向に隣り合う実画素間に、この実
画素間の連続性を示す仮想画素をそれぞれ設け、この仮
想画素から形成した各仮想視差画面を視差画面の間にそ
れぞれ挿入し、複数の仮想視差画面にわたる仮想画素に
基づく興奮性結合および抑制性結合をもつ局所演算を、
複数の視差画面にわたる実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算と並行して行うことを特徴
とする。なお、複数の仮想視差画面にわたる仮想画素に
基づく興奮性結合は、複数の視差画面にわたる実画素に
基づく興奮性結合と互いに拮抗し、また、複数の仮想視
差画面にわたる仮想画素に基づく抑制性結合は、複数の
視差画面にわたる実画素に基づく抑制性結合と互いに拮
抗する。
方法について 本発明の第２の複数画像の対応点抽出方法の一実施例
は、二枚の二値画像からそれぞれ抽出した二本のエピポ
ーララインから形成される視差画面上の各交点で、この
二枚の二値画像の実画素に基づく興奮性結合および抑制
性結合をもつ局所演算を行うことにより視差ラインを得
て、この二枚の二値画像の対応点を抽出する際に、各二
値画像の互いに垂直方向に隣り合う実画素間に、この実
画素間の連続性を示す仮想画素をそれぞれ設け、この仮
想画素から形成した各仮想視差画面を視差画面の間にそ
れぞれ挿入し、複数の仮想視差画面にわたる仮想画素に
基づく興奮性結合および抑制性結合をもつ局所演算を、
複数の視差画面にわたる実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算と並行して行うことを特徴
とする。なお、複数の仮想視差画面にわたる仮想画素に
基づく興奮性結合は、複数の視差画面にわたる実画素に
基づく興奮性結合と互いに拮抗し、また、複数の仮想視
差画面にわたる仮想画素に基づく抑制性結合は、複数の
視差画面にわたる実画素に基づく抑制性結合と互いに拮
抗する。
【００８１】次に、本実施例における動作について説明
する。
する。
【００８２】たとえば前述したJuleszのランダムドット
・ステレオグラムなどの視差をもつ二枚の二値画像を左
側カメラおよび右側カメラを用いて取り込んだのち、取
り込んだ二枚の二値画像から対応する左右のエピポーラ
ラインＬeL，ＬeRをそれぞれ抽出する。ここで、各二値
画像がＮ本の走査線からそれぞれ構成されているとする
と、左右のエピポーララインＬeL，ＬeRはＮ本ずつ抽出
されるため、抽出された各左右のエピポーラライン
ＬeL，ＬeRをエピポーララインＬeLk，ＬeRk（ｋは走査
線の番号を示し、ｋ＝１〜Ｎ）と表す。続いて、抽出さ
れた各左右のエピポーララインＬeLk，ＬeRkから、従来
例と同様にして、視差画面の初期値を有する初期画面Ｄ
k （ｋ＝１〜Ｎ）をそれぞれ作成する。
・ステレオグラムなどの視差をもつ二枚の二値画像を左
側カメラおよび右側カメラを用いて取り込んだのち、取
り込んだ二枚の二値画像から対応する左右のエピポーラ
ラインＬeL，ＬeRをそれぞれ抽出する。ここで、各二値
画像がＮ本の走査線からそれぞれ構成されているとする
と、左右のエピポーララインＬeL，ＬeRはＮ本ずつ抽出
されるため、抽出された各左右のエピポーラライン
ＬeL，ＬeRをエピポーララインＬeLk，ＬeRk（ｋは走査
線の番号を示し、ｋ＝１〜Ｎ）と表す。続いて、抽出さ
れた各左右のエピポーララインＬeLk，ＬeRkから、従来
例と同様にして、視差画面の初期値を有する初期画面Ｄ
k （ｋ＝１〜Ｎ）をそれぞれ作成する。
【００８３】続いて、作成された各初期画面Ｄk を、図
１１に示すように、対応する交点（たとえば、黒点Ｑ
k-1(i,j)と黒点Ｑk(i,j)と黒点Ｑk+1(i,j)）が互いに重
なり合うようにそれぞれ配置する。続いて、たとえば、
初期画面Ｄk-1 と初期画面Ｄkとの間に仮想初期画面Ｉ
k-1 を挿入し、また、初期画面Ｄk と初期画面Ｄk+1 と
の間に仮想初期画面Ｉk+1 を挿入するように、互いに隣
り合う初期画面の間に仮想初期画面をそれぞれ挿入す
る。
１１に示すように、対応する交点（たとえば、黒点Ｑ
k-1(i,j)と黒点Ｑk(i,j)と黒点Ｑk+1(i,j)）が互いに重
なり合うようにそれぞれ配置する。続いて、たとえば、
初期画面Ｄk-1 と初期画面Ｄkとの間に仮想初期画面Ｉ
k-1 を挿入し、また、初期画面Ｄk と初期画面Ｄk+1 と
の間に仮想初期画面Ｉk+1 を挿入するように、互いに隣
り合う初期画面の間に仮想初期画面をそれぞれ挿入す
る。
【００８４】このとき、たとえば、初期画面Ｄ1 と初期
画面Ｄ2 との間に挿入する仮想初期画面Ｉ1 の作成方法
の具体例としては、次の２つの作成方法が考えられる。
画面Ｄ2 との間に挿入する仮想初期画面Ｉ1 の作成方法
の具体例としては、次の２つの作成方法が考えられる。
【００８５】（１）第１の作成方法 左側カメラより取り込んだ二値画像の互いに垂直方向に
隣り合う実画素の間に、この実画素間の連続性を示す画
素値を有する仮想画素をそれぞれ挿入する。たとえば、
図１２に示すように、互いに垂直方向に隣り合う実画素
ｆ11L と実画素ｆ21L との間に、実画素ｆ11L と実画素
ｆ21L との連続性を示す画素値を有する仮想画素ｈ11L
を挿入する。このとき、各仮想画素の画素値は、次のよ
うにして決定する。 （ａ）実画素ｆ11L と実画素ｆ21L とはともに黒（図示
斜線で表示）で連続しているため、仮想画素ｈ11L の画
素値は”０”とする。 （ｂ）実画素ｆ12L と実画素ｆ22L とはともに白（図示
白抜きで表示）で連続しているため、仮想画素ｈ12L の
画素値は”０”とする。 （ｃ）実画素ｆ13L は黒であるが実画素ｆ23L は白であ
り不連続であるため、仮想画素ｈ13L の画素値は”１”
とする。なお、この逆の場合、すなわち、実画素ｆ13L
が白で実画素ｆ23L が黒である場合にも、仮想画素ｈ
13L の画素値は”１”とする。
隣り合う実画素の間に、この実画素間の連続性を示す画
素値を有する仮想画素をそれぞれ挿入する。たとえば、
図１２に示すように、互いに垂直方向に隣り合う実画素
ｆ11L と実画素ｆ21L との間に、実画素ｆ11L と実画素
ｆ21L との連続性を示す画素値を有する仮想画素ｈ11L
を挿入する。このとき、各仮想画素の画素値は、次のよ
うにして決定する。 （ａ）実画素ｆ11L と実画素ｆ21L とはともに黒（図示
斜線で表示）で連続しているため、仮想画素ｈ11L の画
素値は”０”とする。 （ｂ）実画素ｆ12L と実画素ｆ22L とはともに白（図示
白抜きで表示）で連続しているため、仮想画素ｈ12L の
画素値は”０”とする。 （ｃ）実画素ｆ13L は黒であるが実画素ｆ23L は白であ
り不連続であるため、仮想画素ｈ13L の画素値は”１”
とする。なお、この逆の場合、すなわち、実画素ｆ13L
が白で実画素ｆ23L が黒である場合にも、仮想画素ｈ
13L の画素値は”１”とする。
【００８６】続いて、図１２図示１行目の各仮想画素
（仮想画素ｈ11L〜ｈ13Lなど）を用いて、図１２図示１
行目の各実画素（実画素ｆ11L〜ｆ13Lなど）からエピポ
ーララインＬeL1 を抽出する方法と同様にして、左の仮
想エピポーララインを抽出する。また、右側カメラより
取り込んだ二値画像から、同様にして、右の仮想エピポ
ーララインを抽出する。続いて、抽出した左右の仮想エ
ピポーララインから、互いに対応する画素同士がとも
に”１”の場合にのみ黒点（画素値”１”）とし、他の
場合には白点（画素値”０”）とすることにより、仮想
初期画面Ｉ1 を作成する。
（仮想画素ｈ11L〜ｈ13Lなど）を用いて、図１２図示１
行目の各実画素（実画素ｆ11L〜ｆ13Lなど）からエピポ
ーララインＬeL1 を抽出する方法と同様にして、左の仮
想エピポーララインを抽出する。また、右側カメラより
取り込んだ二値画像から、同様にして、右の仮想エピポ
ーララインを抽出する。続いて、抽出した左右の仮想エ
ピポーララインから、互いに対応する画素同士がとも
に”１”の場合にのみ黒点（画素値”１”）とし、他の
場合には白点（画素値”０”）とすることにより、仮想
初期画面Ｉ1 を作成する。
【００８７】（２）第２の作成方法 この作成方法では、図１３に示すように、図１２図示１
行目の実画素（実画素ｆ11L〜ｆ13Lなど）から抽出した
左のエピポーララインＬeL1 と、図１２図示２行目の実
画素（実画素ｆ21L〜ｆ23Lなど）から抽出した左のエピ
ポーララインＬ eL2 とから、左の仮想エピポーラライン
ＬeL1’ を直接求める。すなわち、図１３に示した例で
は、 （ａ）エピポーララインＬeL1 の１番目の画素ａ11L と
エピポーララインＬeL2の１番目の画素ａ21L との画素
値はともに”０”（図示斜線で表示）であるため、仮想
エピポーララインＬeL1’ の１番目の画素ｂ11L の画素
値は”０”とする。 （ｂ）エピポーララインＬeL1 の２番目の画素ａ12L と
エピポーララインＬeL2の２番目の画素ａ22L との画素
値はともに”１”（図示白抜きで表示）であるため、仮
想エピポーララインＬeL1’ の２番目の画素ｂ12L の画
素値は”０”とする。 （ｃ）エピポーララインＬeL1 の３番目の画素ａ13L の
画素値は”０”であるが、エピポーララインＬeL2 の３
番目の画素ａ23L の画素値は”１”であるため、仮想エ
ピポーララインＬeL1’ の３番目の画素ｂ13L の画素値
は”１”とする。なお、この逆の場合、すなわち、エピ
ポーララインＬeL1 の３番目の画素ａ13Lの画素値が”
１”で、エピポーララインＬeL2 の３番目の画素ａ23L
の画素値が”０”である場合にも、仮想エピポーラライ
ンＬeL1’ の３番目の画素ｂ13L の画素値は”１”とす
る。
行目の実画素（実画素ｆ11L〜ｆ13Lなど）から抽出した
左のエピポーララインＬeL1 と、図１２図示２行目の実
画素（実画素ｆ21L〜ｆ23Lなど）から抽出した左のエピ
ポーララインＬ eL2 とから、左の仮想エピポーラライン
ＬeL1’ を直接求める。すなわち、図１３に示した例で
は、 （ａ）エピポーララインＬeL1 の１番目の画素ａ11L と
エピポーララインＬeL2の１番目の画素ａ21L との画素
値はともに”０”（図示斜線で表示）であるため、仮想
エピポーララインＬeL1’ の１番目の画素ｂ11L の画素
値は”０”とする。 （ｂ）エピポーララインＬeL1 の２番目の画素ａ12L と
エピポーララインＬeL2の２番目の画素ａ22L との画素
値はともに”１”（図示白抜きで表示）であるため、仮
想エピポーララインＬeL1’ の２番目の画素ｂ12L の画
素値は”０”とする。 （ｃ）エピポーララインＬeL1 の３番目の画素ａ13L の
画素値は”０”であるが、エピポーララインＬeL2 の３
番目の画素ａ23L の画素値は”１”であるため、仮想エ
ピポーララインＬeL1’ の３番目の画素ｂ13L の画素値
は”１”とする。なお、この逆の場合、すなわち、エピ
ポーララインＬeL1 の３番目の画素ａ13Lの画素値が”
１”で、エピポーララインＬeL2 の３番目の画素ａ23L
の画素値が”０”である場合にも、仮想エピポーラライ
ンＬeL1’ の３番目の画素ｂ13L の画素値は”１”とす
る。
【００８８】以上のようにして求めた左の仮想エピポー
ララインＬeL1’ と、同様にして求めた右の仮想エピポ
ーララインＬeR1’ とから、上述した第１の作成方法の
場合と同様にして、仮想初期画面Ｉ1 を作成する。
ララインＬeL1’ と、同様にして求めた右の仮想エピポ
ーララインＬeR1’ とから、上述した第１の作成方法の
場合と同様にして、仮想初期画面Ｉ1 を作成する。
【００８９】以上の述べた第１の作成方法または第２の
作成方法により作成された各仮想初期画面を各初期画面
の間にそれぞれ設けたのち、各初期画面の各黒点に対し
て、仮想画素に基づく興奮性結合および抑制性結合をも
つ局所演算を、実画素に基づく興奮性結合および抑制性
結合をもつ局所演算と並行して行う。たとえば、初期画
面Ｄk の黒点Ｑk(i,j)に対する実画素に基づく興奮性結
合および抑制性結合をもつ局所演算は、以下のようにし
て行われる。 （１）初期画面Ｄk 上の各交点について、従来例と同様
にして、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。 （２）初期画面Ｄk の図１１図示上下に配置された二つ
の初期画面Ｄk-1，Ｄk+1上の各交点についても、実画素
に基づく興奮性結合および抑制性結合をもつ局所演算が
行われる。 （３）初期画面Ｄk の図１１図示上下に配置された二つ
の仮想初期画面Ｉk-1，Ｉk+1上の各交点（図１１に示す
交点Ｔk-1(i,j)，交点Ｔk+1(i,j) など）については、
仮想画素に基づく興奮性結合および抑制性結合をもつ局
所演算が行われる。 すなわち、初期画面Ｄk の黒点Ｑ
k(i,j)に対する興奮性結合の範囲は、初期画面Ｄk の図
１４（Ｃ）に楕円1100k で示す範囲と、初期画面Ｄk-1
の図１４（Ａ）に楕円1100k-1 で示す範囲と、初期画面
Ｄk+1 の図１４（Ｅ）に楕円1100k+ 1 で示す範囲と、仮
想初期画面Ｉk-1 の水平の線1120k-1 および垂直の線11
21k- 1 上の図１４（Ｂ）に示す円1122k-1 内の範囲（同
図に太線で示す範囲）と、仮想初期画面Ｉk+1 の水平の
線1120k+1 および垂直の線1121k+1 上の図１４（Ｄ）に
示す円1122k+1 内の範囲（同図に太線で示す範囲）とす
る。
作成方法により作成された各仮想初期画面を各初期画面
の間にそれぞれ設けたのち、各初期画面の各黒点に対し
て、仮想画素に基づく興奮性結合および抑制性結合をも
つ局所演算を、実画素に基づく興奮性結合および抑制性
結合をもつ局所演算と並行して行う。たとえば、初期画
面Ｄk の黒点Ｑk(i,j)に対する実画素に基づく興奮性結
合および抑制性結合をもつ局所演算は、以下のようにし
て行われる。 （１）初期画面Ｄk 上の各交点について、従来例と同様
にして、実画素に基づく興奮性結合および抑制性結合を
もつ局所演算が行われる。 （２）初期画面Ｄk の図１１図示上下に配置された二つ
の初期画面Ｄk-1，Ｄk+1上の各交点についても、実画素
に基づく興奮性結合および抑制性結合をもつ局所演算が
行われる。 （３）初期画面Ｄk の図１１図示上下に配置された二つ
の仮想初期画面Ｉk-1，Ｉk+1上の各交点（図１１に示す
交点Ｔk-1(i,j)，交点Ｔk+1(i,j) など）については、
仮想画素に基づく興奮性結合および抑制性結合をもつ局
所演算が行われる。 すなわち、初期画面Ｄk の黒点Ｑ
k(i,j)に対する興奮性結合の範囲は、初期画面Ｄk の図
１４（Ｃ）に楕円1100k で示す範囲と、初期画面Ｄk-1
の図１４（Ａ）に楕円1100k-1 で示す範囲と、初期画面
Ｄk+1 の図１４（Ｅ）に楕円1100k+ 1 で示す範囲と、仮
想初期画面Ｉk-1 の水平の線1120k-1 および垂直の線11
21k- 1 上の図１４（Ｂ）に示す円1122k-1 内の範囲（同
図に太線で示す範囲）と、仮想初期画面Ｉk+1 の水平の
線1120k+1 および垂直の線1121k+1 上の図１４（Ｄ）に
示す円1122k+1 内の範囲（同図に太線で示す範囲）とす
る。
【００９０】また、初期画面Ｄk の黒点Ｑk(i,j)に対す
る抑制性結合の範囲は、初期画面Ｄ k の水平の線1140k
および垂直の線1140k 上の図１５（Ｃ）に示す円1142k
内の範囲（同図に太線で示す範囲）と、初期画面Ｄk-1
の水平の線1140k-1 および垂直の線1141k-1 上の図１５
（Ａ）に示す円1142k-1 内の範囲（同図に太線で示す範
囲）と、初期画面Ｄk+1 の水平の線1140k+1 および垂直
の線1140k+1 上の図１５（Ｅ）に示す円1142k+1 内の範
囲（同図に太線で示す範囲）と、仮想初期画面Ｉk-1 の
図１５（Ｂ）に楕円1130k-1 で示す範囲と、仮想初期画
面Ｉk+1 の図１５（Ｄ）に楕円1130k+1 で示す範囲とす
る。
る抑制性結合の範囲は、初期画面Ｄ k の水平の線1140k
および垂直の線1140k 上の図１５（Ｃ）に示す円1142k
内の範囲（同図に太線で示す範囲）と、初期画面Ｄk-1
の水平の線1140k-1 および垂直の線1141k-1 上の図１５
（Ａ）に示す円1142k-1 内の範囲（同図に太線で示す範
囲）と、初期画面Ｄk+1 の水平の線1140k+1 および垂直
の線1140k+1 上の図１５（Ｅ）に示す円1142k+1 内の範
囲（同図に太線で示す範囲）と、仮想初期画面Ｉk-1 の
図１５（Ｂ）に楕円1130k-1 で示す範囲と、仮想初期画
面Ｉk+1 の図１５（Ｄ）に楕円1130k+1 で示す範囲とす
る。
【００９１】ここで、注意すべき点は、複数の仮想視差
画面にわたる仮想画素に基づく興奮性結合が、複数の視
差画面にわたる実画素に基づく興奮性結合と互いに拮抗
し、また、複数の仮想視差画面にわたる仮想画素に基づ
く抑制性結合が、複数の視差画面にわたる実画素に基づ
く抑制性結合と互いに拮抗する点である。すなわち、初
期画面Ｄk の黒点Ｑk(i,j)に対する各仮想初期画面Ｉ
k-1，Ｉk+1における興奮性結合および抑制性結合の範囲
は、初期画面Ｄk の黒点Ｑk(i,j)に対する各初期画面Ｄ
k-1，Ｄk，Ｄk+1 における興奮性結合および抑制性結合
の範囲と逆の関係となっている。
画面にわたる仮想画素に基づく興奮性結合が、複数の視
差画面にわたる実画素に基づく興奮性結合と互いに拮抗
し、また、複数の仮想視差画面にわたる仮想画素に基づ
く抑制性結合が、複数の視差画面にわたる実画素に基づ
く抑制性結合と互いに拮抗する点である。すなわち、初
期画面Ｄk の黒点Ｑk(i,j)に対する各仮想初期画面Ｉ
k-1，Ｉk+1における興奮性結合および抑制性結合の範囲
は、初期画面Ｄk の黒点Ｑk(i,j)に対する各初期画面Ｄ
k-1，Ｄk，Ｄk+1 における興奮性結合および抑制性結合
の範囲と逆の関係となっている。
【００９２】初期画面Ｄk-1 の楕円1100k-1 の範囲およ
び初期画面Ｄk+1 の楕円1100k+1 の範囲はそれぞれ、図
１６に示すようにして決定する。初期画面Ｄk で切断し
たときの切断面の形状が初期画面Ｄk の楕円1100k の形
状となる楕円球1150を用意する。初期画面Ｄk-1 および
初期画面Ｄk+1 を初期画面Ｄk に対して所定の間隔をも
って平行にそれぞれ配置する。初期画面Ｄk-1 の楕円11
00k-1 で示す範囲は、楕円球1150を初期画面Ｄk-1 で切
断したときの切断面の範囲とし、また、初期画面Ｄk+1
の楕円1100k+1 で示す範囲は、楕円球1150を初期画面Ｄ
k+1 で切断したときの切断面の範囲とする。また、仮想
初期画面Ｉk-1 の楕円1130k-1 の範囲および仮想初期画
面Ｉk+1 の楕円1130k+1 の範囲も、同様にして決定する
ことができる。すなわち、仮想初期画面Ｉk-1 および仮
想初期画面Ｉk+1 を初期画面Ｄkに対して所定の間隔を
もって平行にそれぞれ配置する。仮想初期画面Ｉk-1 の
楕円1130k-1 の範囲は、楕円球1150を仮想初期画面Ｉ
k-1 で切断したときの切断面の範囲とする。仮想初期画
面Ｉk+1 の楕円1130k+1 の範囲は、楕円球1150を仮想初
期画面Ｉk+1 で切断したときの切断面の範囲とする。た
だし、仮想初期画面Ｉ k-1 の楕円1130k-1 の範囲および
仮想初期画面Ｉk+1 の楕円1130k+1 の範囲の決定方法
は、これに限るものではない。なお、各楕円1100k-1，1
100k，1100k+1，1130k-1，1130k+1の長軸1101k-1，1101
k，1101k+1，1131k-1，1131k+1 はそれぞれ、視差一定
の方向と合致させる。
び初期画面Ｄk+1 の楕円1100k+1 の範囲はそれぞれ、図
１６に示すようにして決定する。初期画面Ｄk で切断し
たときの切断面の形状が初期画面Ｄk の楕円1100k の形
状となる楕円球1150を用意する。初期画面Ｄk-1 および
初期画面Ｄk+1 を初期画面Ｄk に対して所定の間隔をも
って平行にそれぞれ配置する。初期画面Ｄk-1 の楕円11
00k-1 で示す範囲は、楕円球1150を初期画面Ｄk-1 で切
断したときの切断面の範囲とし、また、初期画面Ｄk+1
の楕円1100k+1 で示す範囲は、楕円球1150を初期画面Ｄ
k+1 で切断したときの切断面の範囲とする。また、仮想
初期画面Ｉk-1 の楕円1130k-1 の範囲および仮想初期画
面Ｉk+1 の楕円1130k+1 の範囲も、同様にして決定する
ことができる。すなわち、仮想初期画面Ｉk-1 および仮
想初期画面Ｉk+1 を初期画面Ｄkに対して所定の間隔を
もって平行にそれぞれ配置する。仮想初期画面Ｉk-1 の
楕円1130k-1 の範囲は、楕円球1150を仮想初期画面Ｉ
k-1 で切断したときの切断面の範囲とする。仮想初期画
面Ｉk+1 の楕円1130k+1 の範囲は、楕円球1150を仮想初
期画面Ｉk+1 で切断したときの切断面の範囲とする。た
だし、仮想初期画面Ｉ k-1 の楕円1130k-1 の範囲および
仮想初期画面Ｉk+1 の楕円1130k+1 の範囲の決定方法
は、これに限るものではない。なお、各楕円1100k-1，1
100k，1100k+1，1130k-1，1130k+1の長軸1101k-1，1101
k，1101k+1，1131k-1，1131k+1 はそれぞれ、視差一定
の方向と合致させる。
【００９３】初期画面Ｄk-1 の円1142k-1および初期画
面Ｄk+1 の円1142k+1はそれぞれ、図１７に示すように
して決定する。すなわち、初期画面Ｄk の黒点Ｑk(i,j)
を中心としかつ縦軸1160（図示破線で示す軸）を回転軸
とする回転楕円体1161を用意する。初期画面Ｄk-1 およ
び初期画面Ｄk+1 を初期画面Ｄk に対して所定の間隔を
もって平行にそれぞれ配置する。初期画面Ｄk-1 の円11
42k-1 は、回転楕円体1161を初期画面Ｄk-1 で切断した
ときの切断面の輪郭により決まる円とし、また、初期画
面Ｄk+1 の円1142k+1 は、回転楕円体1161を初期画面Ｄ
k+1 で切断したときの切断面の輪郭より決まる円とす
る。また、仮想初期画面Ｉk-1 の円1122k-1および仮想
初期画面Ｉk+1 の円1122k+1 も、同様にして決定するこ
とができる。すなわち、仮想初期画面Ｉk-1 および仮想
初期画面Ｉk+1 を初期画面Ｄk に対して所定の間隔をも
って平行にそれぞれ配置する。仮想初期画面Ｉk-1 の円
1122k- 1 は、回転楕円体1161を仮想初期画面Ｉk-1 で切
断したときの切断面の輪郭より決まる円とする。仮想初
期画面Ｉk+1 の円1122k+1 は、回転楕円体1161を仮想初
期画面Ｉk+1 で切断したときの切断面の輪郭より決まる
円とする。ただし、仮想初期画面Ｉk-1 の円1122k-1 お
よび仮想初期画面Ｉk+1 の円1122k+1 の決定方法は、こ
れに限るものではない。
面Ｄk+1 の円1142k+1はそれぞれ、図１７に示すように
して決定する。すなわち、初期画面Ｄk の黒点Ｑk(i,j)
を中心としかつ縦軸1160（図示破線で示す軸）を回転軸
とする回転楕円体1161を用意する。初期画面Ｄk-1 およ
び初期画面Ｄk+1 を初期画面Ｄk に対して所定の間隔を
もって平行にそれぞれ配置する。初期画面Ｄk-1 の円11
42k-1 は、回転楕円体1161を初期画面Ｄk-1 で切断した
ときの切断面の輪郭により決まる円とし、また、初期画
面Ｄk+1 の円1142k+1 は、回転楕円体1161を初期画面Ｄ
k+1 で切断したときの切断面の輪郭より決まる円とす
る。また、仮想初期画面Ｉk-1 の円1122k-1および仮想
初期画面Ｉk+1 の円1122k+1 も、同様にして決定するこ
とができる。すなわち、仮想初期画面Ｉk-1 および仮想
初期画面Ｉk+1 を初期画面Ｄk に対して所定の間隔をも
って平行にそれぞれ配置する。仮想初期画面Ｉk-1 の円
1122k- 1 は、回転楕円体1161を仮想初期画面Ｉk-1 で切
断したときの切断面の輪郭より決まる円とする。仮想初
期画面Ｉk+1 の円1122k+1 は、回転楕円体1161を仮想初
期画面Ｉk+1 で切断したときの切断面の輪郭より決まる
円とする。ただし、仮想初期画面Ｉk-1 の円1122k-1 お
よび仮想初期画面Ｉk+1 の円1122k+1 の決定方法は、こ
れに限るものではない。
【００９４】以上のようにして、すべての初期画面Ｄk
（ｋ＝１〜Ｎ）上のすべての黒点に対して、実画素に基
づく興奮性結合および抑制性結合をもつ局所演算および
仮想画素に基づく興奮性結合および抑制性結合をもつ局
所演算を行ったのち、図３５に示したような二値出力の
閾値関数171 を用いた所定の処理を施すことにより、新
しい視差画面をそれぞれ作成する。続いて、作成された
新しい視差画面を初期画面として、上述した実画素に基
づく興奮性結合および抑制性結合をもつ局所演算および
仮想画素に基づく興奮性結合および抑制性結合をもつ局
所演算が繰り返されることにより、図１８に示すよう
な、互いに隣り合う初期画面でそれぞれ得られる視差ラ
インの連続性を反映させた三次元の視差ライン1170が最
終的に得られる。その結果、被写体の上下のエッジ情報
をも精度よく得ることができる。
（ｋ＝１〜Ｎ）上のすべての黒点に対して、実画素に基
づく興奮性結合および抑制性結合をもつ局所演算および
仮想画素に基づく興奮性結合および抑制性結合をもつ局
所演算を行ったのち、図３５に示したような二値出力の
閾値関数171 を用いた所定の処理を施すことにより、新
しい視差画面をそれぞれ作成する。続いて、作成された
新しい視差画面を初期画面として、上述した実画素に基
づく興奮性結合および抑制性結合をもつ局所演算および
仮想画素に基づく興奮性結合および抑制性結合をもつ局
所演算が繰り返されることにより、図１８に示すよう
な、互いに隣り合う初期画面でそれぞれ得られる視差ラ
インの連続性を反映させた三次元の視差ライン1170が最
終的に得られる。その結果、被写体の上下のエッジ情報
をも精度よく得ることができる。
【００９５】なお、図１７に示した回転楕円体1161の形
状は、任意でよい。たとえば、図１６に示した楕円球11
50と図１９に示すような関係をもたせてもよい。すなわ
ち、各水平の線1120K-1，1120K，1120K+1 を含む平面で
楕円球1150を切断したときの切断面の形状が、楕円1100
K の長軸1101K よりも長い長軸を有しかつ楕円球1150の
図１９図示縦方向の高さと等しい短軸を有する楕円1200
の形状となる、回転楕円体としてもよい。
状は、任意でよい。たとえば、図１６に示した楕円球11
50と図１９に示すような関係をもたせてもよい。すなわ
ち、各水平の線1120K-1，1120K，1120K+1 を含む平面で
楕円球1150を切断したときの切断面の形状が、楕円1100
K の長軸1101K よりも長い長軸を有しかつ楕円球1150の
図１９図示縦方向の高さと等しい短軸を有する楕円1200
の形状となる、回転楕円体としてもよい。
【００９６】以上の説明では、複数の視差画面にわたる
実画素に基づく興奮性結合および抑制性結合をもつ局所
演算を、中心とする視差画面から遠く離れた視差画面ほ
ど興奮性結合の範囲および抑制性結合の範囲をそれぞれ
小さく場合を例としたが、これらの範囲を等しくしても
よい。複数の仮想画素に基づく興奮性結合および抑制性
結合をもつ局所演算についても、同様である。また、実
画素に基づく興奮性結合および抑制性結合をもつ局所演
算を二つ以上の視差画面にわたって行ってもよく、仮想
画素に基づく興奮性結合および抑制性結合をもつ局所演
算を二つ以上の仮想視差画面にわたって行ってもよい。
実画素に基づく興奮性結合および抑制性結合をもつ局所
演算を、中心とする視差画面から遠く離れた視差画面ほ
ど興奮性結合の範囲および抑制性結合の範囲をそれぞれ
小さく場合を例としたが、これらの範囲を等しくしても
よい。複数の仮想画素に基づく興奮性結合および抑制性
結合をもつ局所演算についても、同様である。また、実
画素に基づく興奮性結合および抑制性結合をもつ局所演
算を二つ以上の視差画面にわたって行ってもよく、仮想
画素に基づく興奮性結合および抑制性結合をもつ局所演
算を二つ以上の仮想視差画面にわたって行ってもよい。
【００９７】また、濃淡画像について適用する場合に
は、たとえば特願平４−２８８３７１号において開示し
たようなエピポーララインの各画素値を中間値としかつ
視差画面上の各交点の値を中間値とする手法と組み合せ
ることにより、濃淡画像についても適用することができ
る。
は、たとえば特願平４−２８８３７１号において開示し
たようなエピポーララインの各画素値を中間値としかつ
視差画面上の各交点の値を中間値とする手法と組み合せ
ることにより、濃淡画像についても適用することができ
る。
【００９８】
【発明の効果】本発明は、以上のように構成されている
ので、次の効果を奏する。
ので、次の効果を奏する。
【００９９】請求項１または請求項２記載の発明（本発
明の第１の複数画像の対応点抽出方法）は、複数の視差
画面にわたる実画素に基づく興奮性結合および抑制性結
合をもつ局所演算をも行うことにより、互いに隣り合う
視差画面でそれぞれ得られる視差ラインの連続性を反映
させた三次元の視差ラインを得ることができるため、被
写体の上下のエッジ情報を精度よく得ることができる。
明の第１の複数画像の対応点抽出方法）は、複数の視差
画面にわたる実画素に基づく興奮性結合および抑制性結
合をもつ局所演算をも行うことにより、互いに隣り合う
視差画面でそれぞれ得られる視差ラインの連続性を反映
させた三次元の視差ラインを得ることができるため、被
写体の上下のエッジ情報を精度よく得ることができる。
【０１００】請求項３または請求項４記載の発明（本発
明の第２の複数画像の対応点抽出方法）は、互いに隣り
合う視差画面でそれぞれ得られる視差ラインの連続性を
反映させた三次元の視差ラインを得ることができるとと
もに、複数の視差画面にわたる実画素に基づく興奮性結
合および抑制性結合をもつ局所演算のみを行う場合に比
べて、得られる三次元の視差ラインの精度を向上させる
ことができるため、被写体の上下のエッジ情報をさらに
精度よく得ることができる。
明の第２の複数画像の対応点抽出方法）は、互いに隣り
合う視差画面でそれぞれ得られる視差ラインの連続性を
反映させた三次元の視差ラインを得ることができるとと
もに、複数の視差画面にわたる実画素に基づく興奮性結
合および抑制性結合をもつ局所演算のみを行う場合に比
べて、得られる三次元の視差ラインの精度を向上させる
ことができるため、被写体の上下のエッジ情報をさらに
精度よく得ることができる。
【図１】本発明の第１の複数画像の対応点抽出方法の第
１の実施例を説明するための図である。
１の実施例を説明するための図である。
【図２】本発明の第１の複数画像の対応点抽出方法の第
１の実施例における興奮性結合の範囲を説明するための
図である。
１の実施例における興奮性結合の範囲を説明するための
図である。
【図３】本発明の第１の複数画像の対応点抽出方法の第
１の実施例における興奮性結合の範囲を説明するための
図である。
１の実施例における興奮性結合の範囲を説明するための
図である。
【図４】本発明の第１の複数画像の対応点抽出方法の第
１の実施例における抑制性結合の範囲を説明するための
図である。
１の実施例における抑制性結合の範囲を説明するための
図である。
【図５】本発明の第１の複数画像の対応点抽出方法の第
１の実施例における抑制性結合の範囲を説明するための
図である。
１の実施例における抑制性結合の範囲を説明するための
図である。
【図６】本発明の第１の複数画像の対応点抽出方法の第
１の実施例において最終的に得られる三次元の視差ライ
ンの一例を示す図である。
１の実施例において最終的に得られる三次元の視差ライ
ンの一例を示す図である。
【図７】図５に示した回転楕円体の形状の一例を説明す
るための図である。
るための図である。
【図８】本発明の第１の複数画像の対応点抽出方法の第
２の実施例における興奮性結合の範囲を説明するための
図である。
２の実施例における興奮性結合の範囲を説明するための
図である。
【図９】本発明の第１の複数画像の対応点抽出方法の第
２の実施例における興奮性結合の範囲を説明するための
図である。
２の実施例における興奮性結合の範囲を説明するための
図である。
【図１０】本発明の第１の複数画像の対応点抽出方法の
第１の実施例における抑制性結合の範囲を説明するため
の図である。
第１の実施例における抑制性結合の範囲を説明するため
の図である。
【図１１】本発明の第２の複数画像の対応点抽出方法の
一実施例を説明するための図である。
一実施例を説明するための図である。
【図１２】本発明の第２の複数画像の対応点抽出方法の
一の実施例における仮想初期画面の作成方法の一例を説
明するための図である。
一の実施例における仮想初期画面の作成方法の一例を説
明するための図である。
【図１３】本発明の第２の複数画像の対応点抽出方法の
一実施例における仮想初期画面の作成方法の他の例を説
明するための図である。
一実施例における仮想初期画面の作成方法の他の例を説
明するための図である。
【図１４】本発明の第２の複数画像の対応点抽出方法の
一実施例における興奮性結合の範囲を説明するための図
である。
一実施例における興奮性結合の範囲を説明するための図
である。
【図１５】本発明の第２の複数画像の対応点抽出方法の
一実施例における抑制性結合の範囲を説明するための図
である。
一実施例における抑制性結合の範囲を説明するための図
である。
【図１６】図１４（Ａ），（Ｃ），（Ｅ）および図１５
（Ｂ），（Ｄ）にそれぞれ示した楕円の範囲の決定方法
の一例を説明するための図である。
（Ｂ），（Ｄ）にそれぞれ示した楕円の範囲の決定方法
の一例を説明するための図である。
【図１７】図１４（Ｂ），（Ｄ）および図１５（Ａ），
（Ｃ），（Ｅ）にそれぞれ示した円の決定方法の一例を
説明するための図である。
（Ｃ），（Ｅ）にそれぞれ示した円の決定方法の一例を
説明するための図である。
【図１８】本発明の第２の複数画像の対応点抽出方法の
一実施例において最終的に得られる三次元の視差ライン
の一例を示す図である。
一実施例において最終的に得られる三次元の視差ライン
の一例を示す図である。
【図１９】図１７に示した回転楕円体の形状の一例を説
明するための図である。
明するための図である。
【図２０】距離画像を求めるために用いられる三角測量
を説明するための図である。
を説明するための図である。
【図２１】図２０に示した三角測量において、右側カメ
ラの光軸と左側カメラの光軸とがそれぞれ基線に対して
垂直である場合の物体上の一点の座標を説明するための
図である。
ラの光軸と左側カメラの光軸とがそれぞれ基線に対して
垂直である場合の物体上の一点の座標を説明するための
図である。
【図２２】図２０に示した三角測量において、右側カメ
ラの光軸と左側カメラの光軸とがそれぞれ基線に対して
角度（輻湊角）をもっている場合の上の一点の座標を説
明するための図である。
ラの光軸と左側カメラの光軸とがそれぞれ基線に対して
角度（輻湊角）をもっている場合の上の一点の座標を説
明するための図である。
【図２３】協調アルゴリズムを説明するための図であ
る。
る。
【図２４】視差ラインを説明するための図である。
【図２５】視差ラインを説明するための図である。
【図２６】視差ラインと距離との関係を説明するための
図である。
図である。
【図２７】視差ラインと距離との関係を説明するための
図である。
図である。
【図２８】視差ラインと距離との関係を説明するための
図である。
図である。
【図２９】視差ラインと距離との関係を説明するための
図である。
図である。
【図３０】視差ラインと距離との関係を説明するための
図である。
図である。
【図３１】Juleszのランダムドットステレオグラムのよ
うに極めて類似した画像に変換された二枚の二値画像に
対して協調アルゴリズムにより対応点抽出を行う例を説
明するためのフローチャートである。
うに極めて類似した画像に変換された二枚の二値画像に
対して協調アルゴリズムにより対応点抽出を行う例を説
明するためのフローチャートである。
【図３２】協調アルゴリズムにおける左右のエピポーラ
ラインの配置を示す図である。
ラインの配置を示す図である。
【図３３】協調アルゴリズムにおける初期画面の作成方
法を説明するための図である。
法を説明するための図である。
【図３４】協調アルゴリズムにおける実画素に基づく興
奮性結合および抑制性結合の範囲を説明するための図で
ある。
奮性結合および抑制性結合の範囲を説明するための図で
ある。
【図３５】二値出力の閾値関数の一例を示す図である。
【図３６】一組のエピポーララインの抽出方法を説明す
るための図である。
るための図である。
１０k-1，１０k，１０k+1，６０，７０k-1，７０k，７
０k+1，1100k-1，1100k，1100k+1，1130k-1，1130k+1，
1200 楕円 １１k-1，１１k，１１k+1，７１k-1，７１k，７１k+1，
1101k-1，1101k，1101k+ 1，1131k-1，1131k+1 長軸 ２０，1150 楕円球 ３０k-1，３０k，３０k+1，８０k-1，８０k，８０k+1，
1120k-1，1120k+1，1140 k-1，1140k，1140k+1 水平の
線 ３１k-1，３１k，３１k+1，８１k-1，８１k，８１k+1，
1121k-1，1121k+1，1141 k-1，1141k，1141k+1 垂直の
線 ３２k-1，３２k，３２k+1，８２k-1，８２k，８２k+1，
1122k-1，1122k+1，1142 k-1，1142k，1142k+1 円 ４０，1160 縦軸 ４１，1161 回転楕円体 ５０，1170 三次元の視差ライン ＬeL，ＬeR，ＬeLk，ＬeRk，ＬeL1，ＬeL2 エピポー
ラライン Ｄk-1，Ｄk，Ｄk+1 初期画面 Ｑk-1(i,j)，Ｑk(i,j)，Ｑk+1(i,j) 黒点 Ｉk-1，Ｉk+1 仮想初期画面 Ｔk-1(i,j)，Ｔk+1(i,j) 交点 ｆ11L〜ｆ13L，ｆ21L〜ｆ23L，ｆ31L〜ｆ33L 実画素 ｈ11L〜ｈ13L，ｈ21L〜ｈ23L 仮想画素 ＬeL1’ 仮想エピポーラライン ａ11L〜ａ13L，ａ21L〜ａ23L，ｂ11L〜ｂ13L 画素
０k+1，1100k-1，1100k，1100k+1，1130k-1，1130k+1，
1200 楕円 １１k-1，１１k，１１k+1，７１k-1，７１k，７１k+1，
1101k-1，1101k，1101k+ 1，1131k-1，1131k+1 長軸 ２０，1150 楕円球 ３０k-1，３０k，３０k+1，８０k-1，８０k，８０k+1，
1120k-1，1120k+1，1140 k-1，1140k，1140k+1 水平の
線 ３１k-1，３１k，３１k+1，８１k-1，８１k，８１k+1，
1121k-1，1121k+1，1141 k-1，1141k，1141k+1 垂直の
線 ３２k-1，３２k，３２k+1，８２k-1，８２k，８２k+1，
1122k-1，1122k+1，1142 k-1，1142k，1142k+1 円 ４０，1160 縦軸 ４１，1161 回転楕円体 ５０，1170 三次元の視差ライン ＬeL，ＬeR，ＬeLk，ＬeRk，ＬeL1，ＬeL2 エピポー
ラライン Ｄk-1，Ｄk，Ｄk+1 初期画面 Ｑk-1(i,j)，Ｑk(i,j)，Ｑk+1(i,j) 黒点 Ｉk-1，Ｉk+1 仮想初期画面 Ｔk-1(i,j)，Ｔk+1(i,j) 交点 ｆ11L〜ｆ13L，ｆ21L〜ｆ23L，ｆ31L〜ｆ33L 実画素 ｈ11L〜ｈ13L，ｈ21L〜ｈ23L 仮想画素 ＬeL1’ 仮想エピポーラライン ａ11L〜ａ13L，ａ21L〜ａ23L，ｂ11L〜ｂ13L 画素
Claims (4)
- 【請求項１】 複数の画像からそれぞれ抽出した複数の
エピポーララインから形成される視差画面上の各交点
で、該複数の画像の実画素に基づく興奮性結合および抑
制性結合をもつ局所演算を行うことにより視差ラインを
得て、該複数の画像の対応点を抽出する複数画像の対応
点抽出方法において、 複数の視差画面にわたる実画素に基づく興奮性結合およ
び抑制性結合をもつ局所演算をも行うことを特徴とする
複数画像の対応点抽出方法。 - 【請求項２】 前記複数の視差画面にわたる実画素に基
づく興奮性結合および抑制性結合をもつ局所演算では、
中心とする視差画面から遠く離れた視差画面ほど興奮性
結合の範囲および抑制性結合の範囲をそれぞれ小さくす
ることを特徴とする請求項１記載の複数画像の対応点抽
出方法。 - 【請求項３】 複数の画像からそれぞれ抽出した複数の
エピポーララインから形成される視差画面上の各交点
で、該複数の画像の実画素に基づく興奮性結合および抑
制性結合をもつ局所演算を行うことにより視差ラインを
得て、該複数の画像の対応点を抽出する複数画像の対応
点抽出方法において、 前記各画像の互いに垂直方向に隣り合う実画素間に、該
実画素間の連続性を示す仮想画素をそれぞれ設け、 該仮想画素から形成した各仮想視差画面を前記各視差画
面の間にそれぞれ挿入し、 複数の仮想視差画面にわたる仮想画素に基づく興奮性結
合および抑制性結合をもつ局所演算を、複数の視差画面
にわたる実画素に基づく興奮性結合および抑制性結合を
もつ局所演算と並行して行うことを特徴とする複数画像
の対応点抽出方法。 - 【請求項４】 前記複数の仮想視差画面にわたる仮想画
素に基づく興奮性結合が、前記複数の視差画面にわたる
実画素に基づく興奮性結合と互いに拮抗し、 前記複数の仮想視差画面にわたる仮想画素に基づく抑制
性結合が、前記複数の視差画面にわたる実画素に基づく
抑制性結合と互いに拮抗することを特徴とする請求項３
記載の複数画像の対応点抽出方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4343994A JPH06195445A (ja) | 1992-12-24 | 1992-12-24 | 複数画像の対応点抽出方法 |
| US08/143,307 US5680474A (en) | 1992-10-27 | 1993-10-26 | Corresponding point extraction method for a plurality of images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4343994A JPH06195445A (ja) | 1992-12-24 | 1992-12-24 | 複数画像の対応点抽出方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06195445A true JPH06195445A (ja) | 1994-07-15 |
Family
ID=18365836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4343994A Pending JPH06195445A (ja) | 1992-10-27 | 1992-12-24 | 複数画像の対応点抽出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06195445A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5867591A (en) * | 1995-04-21 | 1999-02-02 | Matsushita Electric Industrial Co., Ltd. | Method of matching stereo images and method of measuring disparity between these image |
| WO2014002725A1 (ja) * | 2012-06-29 | 2014-01-03 | 富士フイルム株式会社 | ３次元測定方法、装置、及びシステム、並びに画像処理装置 |
-
1992
- 1992-12-24 JP JP4343994A patent/JPH06195445A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5867591A (en) * | 1995-04-21 | 1999-02-02 | Matsushita Electric Industrial Co., Ltd. | Method of matching stereo images and method of measuring disparity between these image |
| WO2014002725A1 (ja) * | 2012-06-29 | 2014-01-03 | 富士フイルム株式会社 | ３次元測定方法、装置、及びシステム、並びに画像処理装置 |
| JP5715735B2 (ja) * | 2012-06-29 | 2015-05-13 | 富士フイルム株式会社 | ３次元測定方法、装置、及びシステム、並びに画像処理装置 |
| US9369695B2 (en) | 2012-06-29 | 2016-06-14 | Fujifilm Corporation | Method and apparatus for three-dimensional measurement and image processing device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2064675B1 (en) | Method for determining a depth map from images, device for determining a depth map | |
| Ayache et al. | Efficient registration of stereo images by matching graph descriptions of edge segments | |
| US10706567B2 (en) | Data processing method, apparatus, system and storage media | |
| US7224357B2 (en) | Three-dimensional modeling based on photographic images | |
| US10846844B1 (en) | Collaborative disparity decomposition | |
| US5655033A (en) | Method for extracting corresponding point in plural images | |
| CN102903101B (zh) | 使用多台相机进行水面数据采集与重建的方法 | |
| CN110458952B (zh) | 一种基于三目视觉的三维重建方法和装置 | |
| Li et al. | A two-view based multilayer feature graph for robot navigation | |
| EP2335220A2 (en) | Method for distributed and minimum-support point matching in two or more images of 3d scene taken with video or stereo camera. | |
| US5680474A (en) | Corresponding point extraction method for a plurality of images | |
| CN107330930B (zh) | 三维图像深度信息提取方法 | |
| US20090080767A1 (en) | Method for determining a depth map from images, device for determining a depth map | |
| Pollefeys et al. | Iso-disparity surfaces for general stereo configurations | |
| CN109961092A (zh) | 一种基于视差锚点的双目视觉立体匹配方法及*** | |
| CN116929290A (zh) | 一种双目视角差立体深度测量方法、***及存储介质 | |
| Lim et al. | Virtual camera rectification with geometrical approach on single-lens stereovision using a biprism | |
| JP2001153633A (ja) | 立体形状検出方法および装置 | |
| JPH06195445A (ja) | 複数画像の対応点抽出方法 | |
| Gennert | A computational framework for understanding problems in stereo vision | |
| Zhang et al. | Passive 3D reconstruction based on binocular vision | |
| Custodio | Depth estimation using light-field cameras | |
| CN114820916B (zh) | 基于gpu的大型场景三维稠密重建方法 | |
| Chen et al. | Multiview Stereo via Noise Suppression PatchMatch | |
| Xiao et al. | A Stereo Matching Method for Three-Dimensional Eye Localization of Autostereoscopic Display |