JP2000149017A

JP2000149017A - 画像処理装置および画像処理方法、並びに提供媒体

Info

Publication number: JP2000149017A
Application number: JP10326456A
Authority: JP
Inventors: Kazunori Hayashi; 和慶林
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-11-17
Filing date: 1998-11-17
Publication date: 2000-05-30

Abstract

(57)【要約】【課題】対象物までの距離を、安定かつ高精度に求め
る。【解決手段】マッチング計算部１１乃至１４では、基
準カメラ１からの基準カメラ画像と、検出カメラ２乃至
５からの検出カメラ画像それぞれとの組み合わせに基づ
いて、対象物までの距離の推定値ごとの確からしさに対
応する評価値でなる複数の評価曲線がそれぞれ算出さ
れ、最適値検出部１５に供給される。最適値検出部１５
では、複数の評価曲線のうちの１以上が選択され、その
選択された評価曲線が加算される。そして、その評価曲
線の加算結果に基づいて、対象物までの距離が求められ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びに提供媒体に関し、特に、例え
ば、３次元空間内の対象物までの距離や、視差、形状等
を、高精度かつ安定に求めることができるようにする画
像より装置および画像処理方法、並びに提供媒体に関す
る。

【０００２】

【従来の技術】３次元空間内の対象物までの距離を求め
る方法としては、その対象物を、異なる視点から撮影し
て得られる複数の画像について、対応点の検索を行い、
視差を利用して、対象物までの距離を、例えば、画素ご
とに求めるステレオ画像処理が知られている。

【０００３】ステレオ画像処理では、基準となるカメラ
（基準カメラ）によって対象物を撮影することにより得
られる基準カメラ画像から、所定の点（画素）を中心と
する所定の領域（以下、適宜、基準ブロックという）が
抽出されるとともに、他のカメラ（検出カメラ）によっ
て対象物を撮影することにより得られる検出カメラ画像
から、注目している点（画素）を中心とする基準ブロッ
クと同一の大きさの領域（以下、適宜、検出ブロックと
いう）が抽出され、その基準ブロックと検出ブロックを
用い、基準カメラ画像上の所定の点について、検出カメ
ラ画像上の注目している点との間の相関（一致度）が、
その注目している点を順次ずらしながら計算される。そ
して、基準カメラ画像上の所定の点との相関を最も高く
する検出カメラ画像上の点（基準カメラ画像上の所定の
点についての相関が最も高いときに注目している検出カ
メラ画像上の点）が、基準カメラ画像上の所定の点の対
応点として検出され、その所定の点と対応点との間の視
差を利用して、３次元空間内の対象物上の点（基準カメ
ラ画像上の所定の点に投影された点）までの距離が求め
られる。

【０００４】ステレオ画像処理では、以上の処理が、基
準カメラ画像上の各画素について繰り返されることで、
例えば、その基準カメラ画像上の各画素に投影された３
次元空間内の各点までの距離を画素値とした距離画像が
求められる。

【０００５】

【発明が解決しようとする課題】しかしながら、従来の
ステレオ画像処理では、基準カメラ画像と検出カメラ画
像との間での画素の対応付けが不正確になり、対象物ま
での距離を正確に求めることができない場合がある。

【０００６】即ち、基準カメラ画像上の所定の点（ｘ，
ｙ）（座標（ｘ，ｙ）の画素）について、検出カメラ画
像上の注目している点（ｘ’，ｙ’）との間の相関は、
例えば、次式で表される評価値（エラー値）ｅ（ｘ，
ｙ）によって評価される。

【０００７】

【数１】・・・（１）但し、式（１）において、Ｙ_A（ｘ＋ｉ，ｙ＋ｊ）は、
基準カメラ画像上の点（ｘ＋ｉ，ｙ＋ｊ）における画素
の輝度を表し、Ｙ_B（ｘ’＋ｉ，ｙ’＋ｊ）は、検出カ
メラ画像上の点（ｘ’＋ｉ，ｙ’＋ｊ）における画素の
輝度を表す。また、Ｗは、基準ブロックおよび検出ブロ
ックを表し、ｉ，ｊＷは、点（ｘ＋ｉ，ｙ＋ｊ）また
は点（ｘ’＋ｉ，ｙ’＋ｊ）が、それぞれ、基準ブロッ
クまたは検出ブロック内の点であることを表す。

【０００８】なお、式（１）で表される評価値ｅ（ｘ，
ｙ）は、基準カメラ画像上の所定の点（ｘ，ｙ）と、検
出カメラ画像上の注目している点（ｘ’，ｙ’）との間
の相関が大きいほど小さくなり、従って、評価値ｅ
（ｘ，ｙ）を最も小さくする検出カメラ画像上の点
（ｘ’，ｙ’）が、基準カメラ画像上の点（ｘ，ｙ）の
対応点として求められる。また、そのときの（ｘ’，
ｙ’）および（ｘ，ｙ）から、次式にしたがって求めら
れるｄが視差となる。

【０００９】ｄ＝（（ｘ−ｘ’）²＋（ｙ−ｙ’）²）^1/2 ・・・（２）

【００１０】式（１）の評価値ｅ（ｘ，ｙ）は、例え
ば、［１］基準カメラ画像や検出カメラ画像が、テクス
チャの、いわばはっきりしない、輝度等の変化の少ない
ものである場合、［２］基準カメラ画像および検出カメ
ラ画像が、繰り返しパターンを有する場合、［３］対象
物の形状が奥行き方向に大きく変化していることによ
り、基準カメラからは見えるが、検出カメラからは見え
ない隠れた対象物上の点が存在する場合（隠れ（オクル
ージョン（occlusion））が発生している場合）には、
真の対応点でない検出カメラ画像上の点において最も小
さくなることがあり、その結果、真の対応点でない検出
カメラ画像上の点が、対応点であると誤検出される。

【００１１】そこで、［１］の場合については、テクス
チャパターンを投光することにより、ある程度対処可能
であるが、対象物の距離画像を求めるのと同時に、その
対象物のカラー画像も得たい場合には、パターン光を照
射することができないため、テクスチャパターンを投光
する方法は利用することができない。

【００１２】また、例えば、奥富正敏、金出武雄、「複
数の基線長を利用したステレオマッチング」、電子情報
通信学会論文誌 D-II Vol.J75-D-II No.8 pp.1317-1327
1992年8月（以下、文献１という）には、基準カメラ
と、複数である４台の検出カメラとを用いて、マルチベ
ースラインステレオ（Multi Baseline Stereo）アルゴ
リズムを採用することにより、［２］の場合に対処する
方法が開示されている。しかしながら、この文献１に記
載された方法では、［１］の場合や［３］の場合に対処
するのが困難である。

【００１３】さらに、例えば、Kiyohide SATOH, Yuichi
OHTA, "Occlusion Detectable Stereo -Systematic Co
mparison of Detection Algorithms-", Proccedings of
International Conference on Pattern Recognition 1
996(ICPR'96)（以下、文献２という）には、９台のカメ
ラを用い（１台のカメラを基準カメラとして用い、残り
の８台のカメラを検出カメラとして用い）、その９台の
カメラを、９通に組み合わせることにより、隠れのある
場合やない場合で最適な組み合わせを選択することで、
［３］の場合に対処するとともに、マルチベースライン
ステレオアルゴリズムを採用することにより、［２］の
場合にも対処する方法が開示されている。

【００１４】即ち、文献２に記載された方法では、９台
のカメラのうち、基準カメラとする１台のカメラをＣ₀
と表すとともに、検出カメラとする８台のカメラを
Ｃ₁，Ｃ₂，Ｃ₃，Ｃ₄，Ｃ₅，Ｃ₆，Ｃ₇，Ｃ₈と表すと、３
台ずつの検出カメラ（Ｃ₁，Ｃ₂，Ｃ₃），（Ｃ₂，Ｃ₃，
Ｃ₄），（Ｃ₃，Ｃ₄，Ｃ₅），（Ｃ₄，Ｃ₅，Ｃ₆），
（Ｃ₅，Ｃ₆，Ｃ₇），（Ｃ₆，Ｃ₇，Ｃ₈），（Ｃ₇，Ｃ₈，
Ｃ₁），（Ｃ₈，Ｃ₁，Ｃ₂）の８通りの組み合わせと、８
台すべての検出カメラ（Ｃ₁，Ｃ₂，Ｃ₃，Ｃ₄，Ｃ₅，
Ｃ₆，Ｃ₇，Ｃ₈）の組み合わせとの合計９通りの検出カ
メラの組み合わせそれぞれについて、マルチベースライ
ンステレオアルゴリズムによって、式（１）に相当する
評価値が計算されることにより、基準カメラＣ₀の基準
カメラ画像の画素に対する対応点が求められる。

【００１５】そして、９通りの検出カメラの組み合わせ
のうち、最も小さい評価値（最も高い相関）が得られた
組み合わせから得られた対応点が採用され、距離が求め
られる。

【００１６】即ち、対象物に隠れがないときには、多く
のカメラの画像を用いた方が精度が向上するため、８台
すべての検出カメラの組み合わせから得られた対応点が
採用される。また、対象物に隠れがあるときには、その
隠れの方向に応じて、ある３台の検出カメラの組み合わ
せから得られた対応点が採用される。これにより、
［２］の場合および［３］の場合に対処している。

【００１７】ところで、文献２の方法では、検出カメラ
が３台の場合と、８台の場合とがあるため、その２つの
場合における評価値を比較するにあたって、正規化した
評価値を用いる必要がある。

【００１８】このため、９通りの検出カメラの組み合わ
せをｔ（ｔ＝０，１，・・・，８）で表すと、各組み合
わせｔについての評価値ｅ_t（ｘ，ｙ，ｄ）は、例え
ば、次式にしたがって求められる。

【００１９】

【数２】・・・（３）但し、式（３）において、ｅ_f（ｘ，ｙ，ｄ）は、検出
カメラの組み合わせｔの中の検出カメラＣ_fと基準カメ
ラＣ₀とについて得られる、例えば、式（１）の評価値
ｅ（ｘ，ｙ）を表す。なお、評価値ｅ_f（ｘ，ｙ，ｄ）
の引数であるｄは、式（２）で示される視差を表す。ま
た、ｆｔであるから、式（３）のΣは、検出カメラの
組み合わせｔの中の検出カメラそれぞれについて得られ
る評価値ｅ_f（ｘ，ｙ，ｄ）のサメーションを表す。さ
らに、式（３）において、Ｍ_tは、検出カメラの組み合
わせｔにおける検出カメラの台数を表し、ｗ_tは、検出
カメラの組み合わせｔについての正規化係数を表す。

【００２０】式（３）における正規化係数ｗ_tは、検出
カメラの組み合わせｔが８台の検出カメラでなる場合に
は、例えば１とされ、３台の検出カメラでなる場合に
は、例えば１より若干大きい値とされる。このように、
３台の検出カメラについての正規化係数を、８台の検出
カメラについての正規化係数よりも大きくしているの
は、正規化係数を等しくしてしまうと、隠れがない場合
に、常に、８台の検出カメラが選択されず、３台の検出
カメラの組み合わせのうち、評価値ｅ_t（ｘ，ｙ，ｄ）
の最も小さいものが採用されてしまうからである。

【００２１】検出カメラの各組み合わせｔ（＝０，１，
・・・，８）について、式（３）の評価値ｅ_t（ｘ，
ｙ，ｄ）が得られた後は、その中から、次式によって、
最小の評価値ｅ（ｘ，ｙ，ｄ）が求められ、この最小の
評価値ｅ（ｘ，ｙ，ｄ）から距離が求められる。

【００２２】ｅ（ｘ，ｙ，ｄ）＝ｍｉｎ｛ｅ_t（ｘ，ｙ，ｄ）｝・・・（４）但し、式（４）において、ｍｉｎ｛｝は、｛｝内の最小
値を意味する。

【００２３】しかしながら、文献２の方法において、式
（３）における正規化係数ｗ_t、即ち、３台の検出カメ
ラの組み合わせについての正規化係数を、８台の検出カ
メラの組み合わせについての正規化係数よりもどの程度
大きくするかは、実験的に求められる。従って、そのよ
うに実験的に求められる正規化係数ｗ_tが、処理の対象
となっている基準カメラ画像および検出カメラ画像にと
って適切な場合もあるが、適切でない場合もある。

【００２４】その結果、隠れがない場合には、８台の検
出カメラの組み合わせが採用されることにより、高精度
に距離が求められ、隠れがある場合には、隠れのない３
台の検出カメラの組み合わせが採用されることにより、
精度良く距離が求められることもあるが、その一方で、
隠れがなく、８台の検出カメラの組み合わせを採用した
方が高精度に距離が求められるのにもかかわらず、３台
の検出カメラの組み合わせが採用されたり、逆に、隠れ
があり、３台の検出カメラの組み合わせを採用した方が
良いのに、８台の検出カメラの組み合わせが採用される
ことが生じる。

【００２５】さらに、文献２の方法では、［１］の場合
や、輝度の変化の具合によって、真の対応点において、
評価値が最小になっている検出カメラの組み合わせがあ
っても、誤った対応点において、評価値がより小さくな
っている検出カメラの組み合わせがあると、その評価値
がより小さな検出カメラの組み合わせが採用され、真の
対応点において、評価値が最小になっている検出カメラ
の組み合わせは採用されなくなる。

【００２６】以上のように、文献２の方法によれば、安
定に、精度良く、距離を求めるのが困難である。

【００２７】本発明は、このような状況に鑑みてなされ
たものであり、上述の［１］乃至［３］の場合に対処
し、３次元空間内の対象物までの距離等を、高精度かつ
安定に求めることができるようにするものである。

【００２８】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、第１の画像と、複数の第２の画像のうちの１
以上との複数の組み合わせそれぞれに基づいて、対象物
までの距離の推定値ごとの確からしさに対応する評価値
でなる評価曲線を算出する複数の評価手段と、複数の評
価手段で算出された複数の評価曲線のうちの１以上を選
択する選択手段と、選択手段で選択された評価曲線を加
算する加算手段と、加算手段による評価曲線の加算結果
に基づいて、対象物までの距離を推定する推定手段とを
備えることを特徴とする。

【００２９】請求項１２に記載の画像処理方法は、第１
の画像と、複数の第２の画像のうちの１以上との複数の
組み合わせそれぞれに基づいて、対象物までの距離の推
定値ごとの確からしさに対応する評価値でなる評価曲線
を算出する複数の評価ステップと、複数の評価ステップ
で算出された複数の評価曲線のうちの１以上を選択する
選択ステップと、選択ステップで選択された評価曲線を
加算する加算ステップと、加算ステップによる評価曲線
の加算結果に基づいて、対象物までの距離を推定する推
定ステップとを備えることを特徴とする。

【００３０】請求項１３に記載の提供媒体は、第１の画
像と、複数の第２の画像のうちの１以上との複数の組み
合わせそれぞれに基づいて、対象物までの距離の推定値
ごとの確からしさに対応する評価値でなる評価曲線を算
出する複数の評価ステップと、複数の評価ステップで算
出された複数の評価曲線のうちの１以上を選択する選択
ステップと、選択ステップで選択された評価曲線を加算
する加算ステップと、加算ステップによる評価曲線の加
算結果に基づいて、対象物までの距離を推定する推定ス
テップとを備える制御情報を提供することを特徴とす
る。

【００３１】請求項１４に記載の提供媒体は、第１の画
像と、複数の第２の画像のうちの１以上との複数の組み
合わせそれぞれに基づいて、対象物までの距離の推定値
ごとの確からしさに対応する評価値でなる複数の評価曲
線を算出し、複数の評価曲線のうちの１以上を選択し、
その選択された評価曲線を加算し、評価曲線の加算結果
に基づいて、対象物までの距離を推定することにより得
られる対象物までの距離の推定値を提供することを特徴
とする。

【００３２】請求項１に記載の画像処理装置において
は、複数の評価手段は、第１の画像と、複数の第２の画
像のうちの１以上との複数の組み合わせそれぞれに基づ
いて、対象物までの距離の推定値ごとの確からしさに対
応する評価値でなる評価曲線を算出し、選択手段は、複
数の評価手段で算出された複数の評価曲線のうちの１以
上を選択するようになされている。加算手段は、選択手
段で選択された評価曲線を加算し、推定手段は、加算手
段による評価曲線の加算結果に基づいて、対象物までの
距離を推定するようになされている。

【００３３】請求項１２に記載の画像処理方法において
は、第１の画像と、複数の第２の画像のうちの１以上と
の複数の組み合わせそれぞれに基づいて、対象物までの
距離の推定値ごとの確からしさに対応する評価値でなる
評価曲線を算出し、複数の評価曲線のうちの１以上を選
択し、その選択された評価曲線を加算し、評価曲線の加
算結果に基づいて、対象物までの距離を推定するように
なされている。

【００３４】請求項１３に記載の提供媒体においては、
第１の画像と、複数の第２の画像のうちの１以上との複
数の組み合わせそれぞれに基づいて、対象物までの距離
の推定値ごとの確からしさに対応する評価値でなる評価
曲線を算出し、複数の評価ステップで算出された複数の
評価曲線のうちの１以上を選択し、その選択された評価
曲線を加算し、評価曲線の加算結果に基づいて、対象物
までの距離を推定する処理を、情報処理装置に行わせる
ための制御情報を提供するようになされている。

【００３５】請求項１４に記載の提供媒体においては、
第１の画像と、複数の第２の画像のうちの１以上との複
数の組み合わせそれぞれに基づいて、対象物までの距離
の推定値ごとの確からしさに対応する評価値でなる複数
の評価曲線を算出し、複数の評価曲線のうちの１以上を
選択し、その選択された評価曲線を加算し、評価曲線の
加算結果に基づいて、対象物までの距離を推定すること
により得られる対象物までの距離の推定値を提供するよ
うになされている。

【００３６】

【発明の実施の形態】図１は、本発明を適用した距離測
定装置の一実施の形態の構成例を示している。

【００３７】１台の基準カメラ１（撮像手段）、または
複数としての４台の検出カメラ２乃至５（撮像手段）
は、それぞれ異なる視点位置に固定された、例えばＣＣ
Ｄ（Charge Coupled Device）ビデオカメラで、その異
なる位置（異なる視線方向）から対象物を撮影し、その
結果得られる基準カメラ画像（第１の画像）または４つ
の検出カメラ画像（第２の画像）を、メモリ６乃至１０
にそれぞれ供給するようになされている。メモリ６は、
基準カメラ１からの基準カメラ画像を、例えば、１フレ
ーム単位で一時記憶するようになされている。メモリ７
乃至１０は、それぞれ、検出カメラ２乃至５からの検出
カメラ画像を、例えば、１フレーム単位で一時記憶する
ようになされている。

【００３８】マッチング計算部１１（評価手段）は、メ
モリ６に記憶された基準カメラ画像と、メモリ７に記憶
された検出カメラ画像との組み合わせに基づいて、対象
物までの距離の推定値ごとの確からしさに対応する、例
えば、式（１）によって求められる評価値でなる評価曲
線を算出するステレオ処理を行うようになされている。

【００３９】マッチング計算部１２乃至１４（評価手
段）も、マッチング計算部１１と同様に、メモリ６に記
憶された基準カメラ画像と、メモリ８乃至１０に記憶さ
れた検出カメラ画像それぞれとの組み合わせに基づい
て、ステレオ処理を行うようになされている。

【００４０】マッチング計算部１１乃至１４それぞれに
おけるステレオ処理の結果得られる評価曲線を構成す
る、距離の推定値ごとの評価値は、最適値検出部１５に
供給されるようになされている。最適値検出部１５（選
択手段）（加算手段）（推定手段）は、マッチング計算
部１１乃至１４それぞれからの複数の評価曲線のうちの
１以上を選択し、その選択された評価曲線を加算するこ
とで、１の評価曲線とするようになされている。さら
に、最適値検出部１５は、その１の評価曲線（選択され
た評価曲線の加算結果）に基づいて、対象物までの距離
を推定して出力するようになされている。

【００４１】以上のように構成される距離測定装置で
は、基準カメラ１および検出カメラ２乃至５によって対
象物が撮影される。さらに、その結果得られる１つの基
準カメラ画像および４つの検出カメラ画像が、メモリ６
乃至１０にそれぞれ供給されて記憶される。そして、こ
の１つの基準カメラ画像と、４つの検出カメラ画像それ
ぞれとの組み合わせを用い、マッチング計算部１１乃至
１４それぞれにおいて、ステレオ処理が行われる。

【００４２】ここで、ステレオ処理は、２つ以上の方向
（異なる視線方向）からカメラで同一対象物を撮影して
得られる複数の画像間の画素同士を対応付けることで、
対応する画素間の視差情報や、カメラから対象物までの
距離、対象物の形状を求めるものである。

【００４３】即ち、例えば、いま、図１における基準カ
メラ１と、検出カメラ２とに注目し、その基準カメラ１
および検出カメラ２で対象物を撮影すると、基準カメラ
１からは対象物の投影像を含む基準カメラ画像が得ら
れ、検出カメラ２からも対象物の投影像を含む検出カメ
ラ画像が得られる。いま、図２に示すように、対象物上
のある点Ｐが、基準カメラ画像および検出カメラ画像の
両方に表示されているとすると、その点Ｐが表示されて
いる基準カメラ画像上の位置と、検出カメラ画像上の位
置、つまり対応点とから、基準カメラ１と検出カメラ２
との間の視差を求めることができ、さらに、三角測量の
原理を用いて、点Ｐの３次元空間における位置（３次元
位置）を求めることができる。

【００４４】従って、ステレオ処理では、まず、対応点
を検出することが必要となるが、その検出方法として
は、例えば、エピポーラライン（Epipolar Line）を用
いたエリアベースマッチング法などがある。

【００４５】即ち、図２に示すように、基準カメラ１に
おいては、対象物上の点Ｐは、その点Ｐと基準カメラ１
の光学中心（レンズ中心）Ｏ₁とを結ぶ直線Ｌ上の、基
準カメラ１の撮像面Ｓ₁との交点ｎ_aに投影される。

【００４６】また、検出カメラ２においては、対象物の
点Ｐは、その点Ｐと検出カメラ２の光学中心（レンズ中
心）Ｏ₂とを結ぶ直線上の、検出カメラ２の撮像面Ｓ₂と
の交点ｎ_bに投影される。

【００４７】この場合、直線Ｌは、光学中心Ｏ₁および
Ｏ₂、並びに点ｎ_a（または点Ｐ）の３点を通る平面と、
検出カメラ画像が形成される撮像面Ｓ₂との交線Ｌ₂とし
て、撮像面Ｓ₂上に投影される。点Ｐは、直線Ｌ上の点
であり、従って、撮像面Ｓ₂において、点Ｐを投影した
点ｎ_bは、直線Ｌを投影した直線Ｌ₂上に存在し、この直
線Ｌ₂が、エピポーララインと呼ばれる。即ち、点ｎ_aの
対応点ｎ_bが存在する可能性のあるのは、エピポーララ
インＬ₂上であり、従って、対応点ｎ_bの探索は、エピポ
ーララインＬ₂上を対象に行えば良い。

【００４８】ここで、エピポーララインは、例えば、撮
像面Ｓ₁に形成される基準カメラ画像を構成する画素ご
とに考えることができるが、基準カメラ１と検出カメラ
２の位置関係が既知であれば、その画素ごとに存在する
エピポーララインは求めることができる。

【００４９】エピポーララインＬ₂上の点からの対応点
ｎ_bの検出は、例えば、次のようなエリアベースマッチ
ングによって行うことができる。

【００５０】即ち、エリアベースマッチングでは、図３
（Ａ）に示すように、基準カメラ画像上の点ｎ_aを中心
（例えば、対角線の交点）とする、例えば長方形状の小
ブロックである基準ブロックが、基準カメラ画像から抜
き出されるとともに、図３（Ｂ）に示すように、検出カ
メラ画像に投影されたエピポーララインＬ₂上の、ある
点を中心とする、基準ブロックと同一の大きさの小ブロ
ックである検出ブロックが、検出カメラ画像から抜き出
される。

【００５１】ここで、図３（Ｂ）の実施の形態において
は、エピポーララインＬ₂上に、検出ブロックの中心と
する点として、点ｎ_b1乃至ｎ_b6の６点が設けられてい
る。この６点ｎ_b1乃至ｎ_b6は、図２に示した３次元空間
における直線Ｌを、例えば１ｍなどの所定の一定距離ご
とに区分する点、即ち、基準カメラ１からの距離が１
ｍ，２ｍ，３ｍ，４ｍ，５ｍ，６ｍの点それぞれを、検
出カメラ２の撮像面Ｓ₂に投影した点で、従って、基準
カメラ１からの距離が１ｍ，２ｍ，３ｍ，４ｍ，５ｍ，
６ｍ（距離の推定値）の点にそれぞれ対応している（こ
の場合、距離分解能が１ｍであるということができ
る）。

【００５２】エリアベースマッチングでは、検出カメラ
画像から、エピポーララインＬ₂上に設けられている点
ｎ_b1乃至ｎ_b6それぞれを中心とする検出ブロックが抜き
出され、各検出ブロックと、基準ブロックとの相関が、
所定の評価関数を用いて演算される。そして、点ｎ_aを
中心とする基準ブロックとの相関が最も高い検出ブロッ
クの中心の点ｎ_bが、点ｎ_aの対応点として求められる。

【００５３】即ち、例えば、いま、評価関数として、例
えば、前述の式（１）に示したような、相関が高いほど
小さな値をとる関数を用いた場合に、エピポーラライン
Ｌ₂上の点ｎ_b1乃至ｎ_b6それぞれについて、例えば、図
４に示すような評価値（評価関数の値）が得られたとす
る。ここで、図４においては、点ｎ_b1乃至ｎ_b6に対応す
る３次元空間上の点それぞれにあらかじめ付された、基
準カメラ１からの距離に対応する距離番号を横軸とし
て、各距離番号（に対応するエピポーララインＬ₂上の
点ｎ_b1乃至ｎ_b6）に対する評価値を、図示してある。

【００５４】図４に示したような評価値でなる評価曲線
が得られた場合には、評価値が最も小さい（相関が最も
高い）距離番号３に対応するエピポーララインＬ₂上の
点が、点ｎ_aの対応点として検出される。なお、図４に
おいて、距離番号１乃至６に対応する点それぞれについ
て求められた評価値（図４において●印で示す）のうち
の最小値付近のものを用いて補間を行い、評価値がより
小さくなる点（図４において×印で示す３．３ｍに対応
する点）を求めて、その点を、最終的な対応点として検
出することも可能である。

【００５５】図３の実施の形態では、上述したように、
３次元空間における対象物上の点と、基準カメラ１の光
学中心Ｏ₁を結ぶ直線Ｌを所定の等距離ごとに区分する
点を、検出カメラ２の撮像面Ｓ₂に投影した点が設定さ
れているが、この設定は、例えば、基準カメラ１および
検出カメラ２のキャリブレーション時に行うことができ
る（キャリブレーションの方法は、特に限定されるもの
ではない）。そして、このような設定を、基準カメラ１
の撮像面Ｓ₁を構成する画素ごとに存在するエピポーラ
ラインごとに行い、エピポーラライン上に設定された点
（以下、適宜、設定点という）までの距離（基準カメラ
１からの距離）に対応する距離番号と、基準カメラ１か
らの距離とを対応付ける距離番号／距離テーブルをあら
かじめ作成しておけば、対応点となる設定点を検出し、
その設定点に対応する距離番号を、距離番号／距離テー
ブルを参照して変換することで、即座に、基準カメラ１
からの距離（対象物上の点までの距離の推定値）を求め
ることができる。即ち、いわば、対応点から、直接、距
離を求めることができる。

【００５６】一方、基準カメラ画像上の点ｎ_aについ
て、検出カメラ画像上の対応点ｎ_bを検出すれば、その
２点ｎ_aおよびｎ_bの間の視差（視差情報）を求めること
ができる。さらに、基準カメラ１と検出カメラ２の位置
関係が既知であれば、２点ｎ_aおよびｎ_bの間の視差か
ら、三角測量の原理によって、対象物までの距離を求め
ることができる。視差から距離の算出は、所定の演算を
行うことによって行うことができるが、あらかじめその
演算を行っておき、視差ζと距離との対応付ける視差／
距離テーブルをあらかじめ作成しておけば、対応点を検
出し、視差を求め、視差／距離テーブルを参照すること
で、やはり、即座に、基準カメラ１からの距離を求める
ことができる。

【００５７】ここで、視差と、対象物までの距離とは一
対一に対応するものであり、従って、視差を求めること
とと、対象物までの距離を求めることとは、いわば等価
である。

【００５８】なお、対応点から直接、距離を求める場合
には、３次元空間における遠方の点に対応するエピポー
ラライン上の設定点ほと、隣接する設定点との間隔が狭
くなる。従って、隣接する設定点との間隔が、検出カメ
ラ画像の画素間の距離より小さい設定点では、求める距
離の精度は劣化する。また、視差から距離を求める場合
には、３次元空間における近い位置（基準カメラ１から
近い位置）では、視差はあまり変化しない。そして、視
差の最高精度は、基本的に画素単位であるから、視差か
ら距離を求める場合には、３次元空間における近い位置
までの距離を求めるにあたって、その距離の精度は劣化
する。しかしながら、いずれの場合においても、画素よ
り細かいサブピクセル単位で、設定点の設定や、対応点
の検出を行うことで、精度の問題は解決することができ
る。

【００５９】また、対応点の検出に、基準ブロックおよ
び検出ブロックといった複数画素でなるブロックを用い
るのは、ノイズの影響を軽減し、基準カメラ画像上の画
素（点）ｎ_aの周囲の画素のパターンの特徴と、検出カ
メラ画像上の対応点（画素）ｎ_bの周囲の画素のパター
ンの特徴との間の相関性を利用することにより、対応点
の検出の確実を期すためであり、特に、変化の少ない基
準カメラ画像および検出カメラ画像に対しては、画像の
相関性により、ブロックの大きさを大きくすれば、対応
点の検出の確実性を向上させることができる。

【００６０】さらに、上述の場合には、基準ブロックと
検出ブロックとの相関性を評価する評価関数として、式
（１）で表される、基準ブロックを構成する画素と、そ
れぞれの画素に対応する、検出ブロックを構成する画素
の画素値の差分の絶対値の総和を用いるようにしたが、
評価関数としては、その他、画素値の差分の自乗和や、
正規化された相互相関(normalized cross correlation)
などを用いることができる。

【００６１】図１のマッチング計算部１１では、以上の
ステレオ処理のうち、基準カメラ画像の画素について、
検出カメラ２からの検出カメラ画像のエピポーラライン
上に設定された各距離番号に対応する設定点における評
価値を求める処理が行われ、その各距離番号ごとの評価
値でなる評価曲線が、最適値検出部１５に供給される。

【００６２】即ち、図５のフローチャートは、マッチン
グ計算部１１が行うステレオ処理を示している。

【００６３】マッチング計算部１１では、まず最初に、
距離番号ｎが、例えば、１に初期化され、ステップＳ２
に進み、基準カメラ画像上の画素（ｘ，ｙ）に対応す
る、検出カメラ２からの検出カメラ画像上のエピポーラ
ラインの、距離番号ｎに対応する画素（点）（ｘ’，
ｙ’）が検出される。そして、ステップＳ３に進み、基
準カメラ画像上の画素（ｘ，ｙ）と、検出カメラ画像上
の画素（ｘ’，ｙ’）とを用いて、距離番号ｎに対す
る、例えば、式（１）で表される評価値ｅ（ｘ，ｙ）が
計算される。さらに、ステップＳ３では、距離番号ｎ
と、その距離番号ｎに対する評価値ｅ（ｘ，ｙ）との組
み合わせが、最適値検出部１５に供給され、ステップＳ
４に進む。

【００６４】ステップＳ４では、距離番号ｎが、その最
大値であるＮに等しいかどうかが判定され、等しくない
と判定された場合、ステップＳ５に進み、距離番号ｎが
１だけインクリメントされる。そして、ステップＳ２に
戻り、以下、同様の処理が繰り返される。なお、ここで
は、距離番号ｎは、例えば、１を最小値として、基準カ
メラ１からの距離に比例した整数値をとるものとする。

【００６５】また、ステップＳ４において、距離番号ｎ
がＮに等しいと判定された場合、即ち、基準カメラ画像
上の画素（ｘ，ｙ）について、すべての距離番号１乃至
Ｎに対する評価値ｅ（ｘ，ｙ）が求められた場合、ステ
レオ処理を終了する。

【００６６】なお、マッチング計算部１１では、図５の
ステレオ処理が、基準カメラ画像を構成する各画素につ
いて行われる。また、他のマッチング計算部１２乃至１
４においても、図５のステレオ処理が行われることによ
り、検出カメラ３乃至５からの検出カメラ画像それぞれ
のエピポーラライン上に設定された各距離番号に対応す
る設定点における評価値が求められ、その各距離番号ご
との評価値でなる評価曲線が、最適値検出部１５に供給
される。

【００６７】さらに、ここでは、マッチング計算部１１
乃至１４において、エピポーララインに対応する３次元
空間上の直線を等距離に区分する設定点に、距離番号を
付し、その距離番号に対応する距離ごとの評価値を求め
るようにしたが、その他、マッチング計算部１１乃至１
４には、視差ごとの評価値を求め、その視差を距離に変
換することで、距離ごとの評価値を求めさせるようにす
ることも可能である。

【００６８】ここで、基準カメラ１から見える点が、検
出カメラ２乃至５それぞれにおいても見えており、従っ
て、隠れがなく、さらに、マッチング計算部１１乃至１
４それぞれにおいて、対応点において最小値をとる評価
値が正しく求められている場合には、マッチング計算部
１１乃至１４それぞれが出力する評価値は、いずれも同
一の距離番号（真の対応点に対応する距離の距離番号）
で最小になると予想される。

【００６９】一方、基準カメラ１から見える点が、検出
カメラ２乃至５のうちのいずれか１以上で見えておら
ず、他では見えている場合、即ち、検出カメラ２乃至５
のうちの、例えば、検出カメラ２において見えておら
ず、検出カメラ３乃至５において見えている場合には、
一般に、見えている検出カメラ３乃至５それぞれの検出
カメラ画像を用いて処理を行うマッチング計算部１２乃
至１４が出力する評価値は、同一の距離番号で最小とな
るが、見えていない検出カメラ２の検出カメラ画像を用
いて処理を行うマッチング計算部１１が出力する評価値
は、マッチング計算部１２乃至１４それぞれが出力する
評価値が最小となる距離番号で最小とならないと予想さ
れる。

【００７０】このような場合には、マッチング計算部１
１乃至１４それぞれが出力する評価値のうち、隠れのな
い検出カメラ３乃至５それぞれの検出カメラ画像を用い
て処理を行うマッチング計算部１２乃至１４が出力する
評価値を用いて、対象物上の点までの距離を推定するこ
とにより、高精度で、かつ安定した距離を求めることが
できる。

【００７１】そこで、図１の最適値検出部１５では、そ
のようにして、対象物上の点までの距離を推定するよう
になされている。

【００７２】即ち、図６は、図１の最適値検出部１５の
構成例を示している。

【００７３】最小値検出回路２１には、図１のマッチン
グ計算部１１から、距離番号とその距離番号に対する評
価値との組み合わせが供給されるようになされており、
最小値検出回路２１は、その距離番号と評価値との組み
合わせを一時記憶し、評価値の最小値を検出するように
なされている。さらに、最小値検出回路２１は、その最
小の評価値（以下、適宜、最小評価値という）と、その
最小評価値と組み合わされていた距離番号（以下、適
宜、最小距離番号という）とを、メモリ２５に供給する
とともに、最小距離番号に近接する距離番号と、その距
離番号に対する評価値との組み合わせ、即ち、最小距離
番号から、例えば、±２の範囲内にある距離番号と評価
値との５つの組み合わせを、メモリ２９に供給するよう
になされている。

【００７４】最小値検出回路２２乃至２４には、図１の
マッチング計算部１２乃至図１４から、距離番号と評価
値との組み合わせが供給されるようになされており、最
小値検出回路２２乃至２４それぞれは、最小値検出回路
２１と同様に、そこに供給される評価値の最小値（最小
評価値）を検出し、対応する最小距離番号とともに、メ
モリ２６乃至２８にそれぞれ供給するとともに、最小距
離番号から、±２の範囲内にある距離番号と評価値との
５つの組み合わせを、メモリ３０乃至３２にそれぞれ供
給するようになされている。

【００７５】メモリ２５乃至２８は、最小値検出回路２
１乃至２４からの最小距離番号と最小評価値との組み合
わせを、それぞれ記憶するようになされている。メモリ
２９乃至３２は、最小値検出回路２１乃至２４からの、
最小距離番号を中心とする±２の範囲内にある距離番号
と評価値との５つの組み合わせを、それぞれ記憶するよ
うになされている。

【００７６】選択回路３３（選択手段）は、メモリ２５
乃至２８の記憶内容に基づいて、メモリ２９乃至３２に
記憶された評価値のうちの、選択すべき１以上のメモリ
に記憶されたものを決定し、その選択を行わせるための
選択信号を、評価値加算回路３４に供給するようになさ
れている。評価値加算回路３４（加算手段）は、選択回
路３３からの選択信号によって選択すべきとされた評価
値を、メモリ２９乃至３２のうちの必要なものから読み
出し、その読み出した評価値を、同一の距離番号ごとに
加算するようになされている。さらに、評価値加算回路
３４は、その加算の結果得られた距離番号ごとの評価値
でなる評価曲線を、最小値検出回路３５に出力するよう
になされている。

【００７７】最小値検出回路３５およびパラボラフィッ
ティング補間回路３６（推定手段）は、評価値加算回路
３４からの評価曲線に基づいて、対象物上の点までの距
離を推定するようになされている。即ち、最小値検出回
路３５は、評価値加算回路３４からの評価曲線におい
て、評価値を最小にする距離番号を検出し、評価曲線と
ともに、パラボラフィッティング補間回路３６に供給す
るようになされている。パラボラフィッティング補間回
路３６は、最小値検出回路３５からの評価曲線を構成す
る評価値どうしの間を、例えば、パラボラフィッティン
グにより（２次曲線により）補間し、その補間の結果得
られた曲線から、その最小値を求めて、対象物上の点ま
での距離の最終的な推定値を出力するようになされてい
る。

【００７８】なお、最小評価値および最小距離番号は、
メモリ２５乃至２８だけでなく、メモリ２９乃至３２に
も記憶されるから、最適値検出部１５は、メモリ２５乃
至２８を設けずに構成することも可能である。

【００７９】次に、図７のフローチャートを参照して、
図６の最適値検出部１５の処理について説明する。

【００８０】最小値検出回路２１至２４には、図１のマ
ッチング計算部１１乃至図１４それぞれから、基準カメ
ラ画像の所定の画素について求められた距離番号ごとの
評価値が、その距離番号とともに順次供給され、一時記
憶される。

【００８１】このように、基準カメラ画像の所定の画素
について求められた距離番号と評価値との組み合わせの
供給が開始されると、最小値検出回路２１は、ステップ
Ｓ１１において、最小評価値を記憶するための変数Ｓ
_minに、所定の大きな値（評価値として取り得る最大値
よりも大きい値）を、初期値として、セットするととも
に、距離番号を表す変数ｎを、１に初期化する。さら
に、最小値検出回路２１は、ステップＳ１２において、
自身が一時記憶している距離番号ｎの評価値を読み出
し、ステップＳ１３に進み、その評価値を注目評価値と
して、その注目評価値が、変数Ｓ_minより小さいかどう
かを判定する。

【００８２】ステップＳ１３において、注目評価値が変
数Ｓ_minより小さいと判定された場合、ステップＳ１４
に進み、最小値検出回路２１は、変数Ｓ_minに、注目評
価値をセットするとともに、その変数Ｓ_minを、最小評
価値として、対応する距離番号ｎとともに、メモリ２５
に供給して、上書きする形で記憶させる。さらに、最小
値検出回路２１は、ステップＳ１５に進み、距離番号ｎ
を中心とする±２の範囲内にある距離番号と評価値との
５つの組み合わせを、メモリ２９に出力して、上書きす
る形で記憶させ、ステップＳ１６に進む。

【００８３】一方、ステップＳ１３において、注目評価
値が変数Ｓ_minより小さくないと判定された場合、ステ
ップＳ１４およびＳ１５をスキップして、ステップＳ１
６に進み、距離番号ｎが、その最大値であるＮに等しい
かどうかが判定され、等しくないと判定された場合、ス
テップＳ１７に進む。ステップＳ１７では、距離番号ｎ
が１だけインクリメントされ、ステップＳ１２に戻り、
ステップＳ１６で距離番号ｎがＮに等しいと判定される
まで、同様の処理が繰り返される。

【００８４】即ち、これにより、メモリ２５には、基準
カメラ画像の所定の画素について、検出カメラ２が出力
する検出カメラ画像を用いて求められた距離番号ごとの
評価値のうちの最小値（最小評価値）と、その最小評価
値が得られた距離番号（最小距離番号）が記憶され、メ
モリ２９には、最小距離番号を中心とする±２の範囲内
にある距離番号と評価値との５つの組み合わせが記憶さ
れる。

【００８５】ここで、ステップＳ１１乃至Ｓ１７の処理
は、最小値検出回路２１だけでなく、最小値検出回路２
２乃至２４においても、並列で行われる。これにより、
メモリ２６乃至２８には、基準カメラ画像の所定の画素
について、検出カメラ３乃至５が出力する検出カメラ画
像をそれぞれ用いて求められた距離番号ごとの評価値の
うちの最小値（最小評価値）と、その最小評価値が得ら
れた距離番号（最小距離番号）がそれぞれ記憶され、メ
モリ３０乃至３２には、メモリ２６乃至２８に記憶され
た最小距離番号を中心とする±２の範囲内にある距離番
号と評価値との５つの組み合わせがそれぞれ記憶され
る。

【００８６】なお、メモリ２９乃至３２には、すべての
距離番号（ここでは、距離番号１乃至Ｎ）ごとの評価値
を記憶させるようにすることも可能である。但し、本実
施の形態では、メモリ２９乃至３２の記憶容量の削減の
観点から、最小距離番号を中心とする±２の範囲内にあ
る距離番号と評価値との５つの組み合わせだけを記憶さ
せるようにしている。

【００８７】その後、ステップＳ１６において、距離番
号ｎがＮに等しいと判定されると、ステップＳ１８に進
み、メモリ２５乃至２８それぞれに記憶された最小評価
値および最小距離番号が読み出され、選択回路３３に供
給されて、ステップＳ１９に進む。

【００８８】選択回路３３では、ステップＳ１９におい
て、メモリ２５乃至２８それぞれからの最小評価値や最
小距離番号に基づいて、メモリ２９乃至３２のうちのい
ずれを選択すべきかを決定する選択処理が行われ、その
選択を行わせるための選択信号が、評価値加算回路３４
に供給される。評価値加算回路３４は、ステップＳ２０
において、選択回路３３からの選択信号に基づき、メモ
リ２９乃至３２のうちの選択すべきものから、そこに記
憶されている距離番号ごとの評価値を読み出し、同一の
距離番号ごとに加算する。そして、評価値加算回路３４
は、その加算結果を、最小値検出回路３５に出力し、ス
テップＳ２１に進む。

【００８９】ここで、選択回路３３において行われる選
択処理では、後述するように、メモリ２９乃至３２のう
ちの、少なくとも１つを選択することを指示する選択信
号が生成される。従って、評価値加算回路３４では、ス
テップＳ２０において、選択回路３３からの選択信号に
基づき、メモリ２９乃至３２のうちの１つだけから、そ
こに記憶されている距離番号ごとの評価値が読み出され
る場合があるが、この場合には、その評価値に０が加算
されると考えることができる。

【００９０】ステップＳ２１では、最小値検出回路３５
において、距離番号ごとの、加算された評価値（以下、
適宜、加算評価値という）の最小値が検出され、距離番
号ごとの加算評価値とともに、パラボラフィッティング
補間回路３６に供給される。パラボラフィッティング補
間回路３６では、ステップＳ２２において、最小値検出
回路３５の出力が、パラボラフィッティングにより補間
され、その補間の結果得られた曲線から、その最小値が
求められる。そして、ステップＳ２３に進み、パラボラ
フィッティング補間回路３６は、補間により得られた加
算評価値の最小値に対応する距離を、基準カメラ画像の
所定の画素に投影された３次元空間の対象物上の点まで
の距離の最終的な推定値として出力し、処理を終了す
る。

【００９１】なお、図７のフローチャートに示した処理
は、基準カメラ画像の各画素ごとに行われ、これによ
り、最適値検出部１５からは、基準カメラ画像の各画素
に投影された３次元空間上の点までの距離を画素値とす
る距離画像が出力される。

【００９２】また、図６では、パラボラフィッティング
による補間を行うことにより、３次元空間上の点までの
距離を、より高精細に求めるようにしたが、パラボラフ
ィッティングは行わず、最小値検出回路３５において求
められた加算評価値の最小値に対する距離番号に対応す
る距離を、最終的な距離の推定値として出力するように
することも可能である。

【００９３】次に、図８は、図６の選択回路３３の構成
例を示している。

【００９４】選択回路３３は、同図に示すように、最小
値探索回路４１および比較器４２乃至４５から構成され
ており、最小値探索回路４１には、メモリ２５乃至２８
それぞれに記憶された最小評価値および最小距離番号
が、比較器４２には、メモリ２５に記憶された最小評価
値および最小距離番号が、比較器４３には、メモリ２６
に記憶された最小評価値および最小距離番号が、比較器
４４には、メモリ２７に記憶された最小評価値および最
小距離番号が、比較器４５には、メモリ２８に記憶され
た最小評価値および最小距離番号が、それぞれ供給され
るようになされている。

【００９５】最小値探索回路４１では、メモリ２５乃至
２８それぞれからの最小評価値のうちの最小値が検出さ
れ、それが基準評価値として、比較器４２乃至４５に供
給される。なお、最小値探索回路４１は、基準評価値と
ともに、その基準評価値に対する距離番号も、基準距離
番号として、比較器４２乃至４５に供給する。

【００９６】比較器４２は、最小値探索回路４１からの
基準距離番号と、メモリ２５からの最小距離番号とを比
較し、その差が所定の微小値、即ち、例えば、基準距離
番号と最小距離番号との差が、±１以内であるかどうか
を判定する。そして、比較器４２は、基準距離番号と最
小距離番号との差が、±１以内である場合、即ち、メモ
リ２５に記憶された最小距離番号が、メモリ２５乃至２
８に記憶された最小評価値のうちの最小値（基準評価
値）に対する距離番号（基準距離番号）から、±１以内
の距離番号である場合にのみ、メモリ２５とペアになっ
ているメモリ２９を選択することを指示する選択信号
を、評価値加算回路３４に出力する。

【００９７】同様に、比較器４３乃至４５は、最小値探
索回路４１からの基準距離番号と、メモリ２６乃至２８
からの最小距離番号とを比較し、その差が±１以内であ
る場合にのみ、メモリ２６乃至２８とペアになっている
メモリ３０乃至３２を選択することを指示する選択信号
を、それぞれ、評価値加算回路３４に出力する。

【００９８】なお、比較器４２乃至４５は、選択信号を
出力するとき、その選択信号に、最小値探索回路４１か
らの基準距離番号を含めて出力するようになされてい
る。また、基準距離番号は、メモリ２５乃至２８に記憶
された最小距離番号のうちのいずれかであるから、比較
器４２乃至４５のうちの少なくとも１つは、必ず選択信
号を出力する。

【００９９】例えば、いま、検出カメラ２乃至５からの
検出カメラ画像から得られた距離番号ごとの評価値が、
図９（Ａ）乃至図９（Ｄ）にそれぞれ示すようであった
とする。

【０１００】即ち、図９の実施の形態では、説明を簡単
にするために、６つの距離番号１乃至６それぞれの評価
値を図示してある。

【０１０１】そして、図９（Ａ）では、検出カメラ２か
らの検出カメラ画像から得られた距離番号１乃至６の評
価値が、それぞれ３０，２０，１０，２０，３０，４０
となっており、距離番号３またはその距離番号３に対応
する評価値１０が、それぞれ最小距離番号または最小評
価値となっている。また、図９（Ｂ）では、検出カメラ
３からの検出カメラ画像から得られた距離番号１乃至６
の評価値が、それぞれ３０，２０，１５，１５，２０，
３０となっており、距離番号３またはその距離番号３に
対応する評価値１５が、それぞれ最小距離番号または最
小評価値となっている。さらに、図９（Ｃ）では、検出
カメラ４からの検出カメラ画像から得られた距離番号１
乃至６の評価値が、それぞれ１０，２０，３０，４０，
５０，６０となっており、距離番号１またはその距離番
号１に対応する評価値１０が、それぞれ最小距離番号ま
たは最小評価値となっている。また、図９（Ｄ）では、
検出カメラ５からの検出カメラ画像から得られた距離番
号１乃至６の評価値が、それぞれ５０，４０，３０，２
０，３０，４０となっており、距離番号４またはその距
離番号４に対応する評価値２０が、それぞれ最小距離番
号または最小評価値となっている。

【０１０２】ここで、図９（Ｂ）では、距離番号３と４
において、評価値が最小の１５となっているが、これ
は、図７の実施の形態において、注目評価値が変数Ｓ
_minより小さい場合に、変数Ｓ_minに注目評価値を代入す
るようにしたため、検出カメラ画像から得られた評価値
の中に、最小値が複数存在する場合には、距離番号のよ
り小さいものが最小距離番号となるからである。従っ
て、図７の実施の形態において、注目評価値が変数Ｓ
_min以下の場合に、変数Ｓ_minに注目評価値を代入するよ
うにすれば、最小の評価値が複数存在する場合には、距
離番号のより大きいものが最小距離番号となり、図９
（Ｂ）においては、距離番号４またはその距離番号４に
対応する評価値１５が、それぞれ最小距離番号または最
小評価値となる。

【０１０３】以上のような評価値が得られている場合、
メモリ２５には、最小距離番号３と最小評価値１０が、
メモリ２６には、最小距離番号３と最小評価値１５が、
メモリ２７には、最小距離番号１と最小評価値１０が、
メモリ２８には、最小距離番号４と最小評価値２０が、
それぞれ記憶される。

【０１０４】これらの最小評価値のうちの最小値は、メ
モリ２５に記憶された最小評価値１０（図９（Ａ））で
あり、従って、最小値探索回路４１では、これが基準評
価値として選択されるとともに、その基準評価値１０に
対する最小距離番号３が、基準距離番号として選択され
る。

【０１０５】ここで、メモリ２５乃至２８それぞれに記
憶された最小評価値１０，１５，１０，２０のうち最小
のものは、メモリ２５と２７に記憶された１０であり
（図９（Ａ）、図９（Ｃ））、２つ存在する。このよう
に、最小評価値の最小値が複数存在する場合、最小値探
索回路４１では、例えば、その複数の最小値のうち、対
応する最小距離番号の、例えば、±１などの距離番号の
範囲内に存在する他の最小距離番号の数が多いものを、
基準評価値として最終的に選択するようになされてい
る。

【０１０６】即ち、図９の実施の形態では、メモリ２５
に記憶された最小評価値１０（図９（Ａ））に対する最
小距離番号３の±１の距離番号の範囲内には、メモリ２
６に記憶された最小距離番号３（図９（Ｂ））と、メモ
リ２８に記憶された最小距離番号４（図９（Ｄ））と
の、２つの他の最小距離番号が存在する。これに対し
て、メモリ２７に記憶された最小評価値１０（図９
（Ｃ））に対する最小距離番号１の±１の距離番号の範
囲内には、他の最小距離番号は存在しない。このため、
最小値探索回路４１では、メモリ２５に記憶された最小
評価値１０（図９（Ａ））が、基準評価値として選択さ
れる。

【０１０７】最小値探索回路４１において、メモリ２５
に記憶された最小評価値１０（図９（Ａ））が、基準評
価値として選択されると、メモリ２５に記憶された最小
距離番号３は、基準距離番号として、基準評価値１０と
ともに、比較器４２乃至４５に供給される。

【０１０８】比較器４２では、最小値探索回路４１から
の基準距離番号３と、メモリ２５に記憶された最小距離
番号３（図９（Ａ））とが比較される。即ち、この場
合、同一の距離番号どうしが比較されるから、メモリ２
５に記憶された最小距離番号３は、基準距離番号３から
±１以内の距離番号であり、従って、比較器４２は、基
準距離番号３を含む、メモリ２５とペアになっているメ
モリ２９を選択することを指示する選択信号を、評価値
加算回路３４に出力する。

【０１０９】また、比較器４３では、最小値探索回路４
１からの基準距離番号３と、メモリ２６に記憶された最
小距離番号３（図９（Ｂ））とが比較され、その差は±
１以内であるから、やはり、基準距離番号３を含む、メ
モリ２６とペアになっているメモリ３０を選択すること
を指示する選択信号が、評価値加算回路３４に出力され
る。

【０１１０】さらに、比較器４４では、最小値探索回路
４１からの基準距離番号３と、メモリ２７に記憶された
最小距離番号１（図９（Ｃ））とが比較され、その差は
±１以内でないから、選択信号は出力されない。

【０１１１】また、比較器４５では、最小値探索回路４
１からの基準距離番号３と、メモリ２８に記憶された最
小距離番号４（図９（Ｄ））とが比較され、その差は±
１以内であるから、基準距離番号３を含み、メモリ２８
とペアになっているメモリ３２を選択することを指示す
る選択信号が、評価値加算回路３４に出力される。

【０１１２】従って、評価値加算回路３４では、メモリ
２９乃至３２のうち、メモリ２９，３０，３２に記憶さ
れた距離番号ごとの評価値が読み出され、同一の距離番
号ごとに加算される。

【０１１３】ここで、メモリ２９乃至３２には、上述し
たように、メモリ２５乃至２８に記憶された最小距離番
号を中心とする±２の範囲内にある距離番号と評価値と
の５つの組み合わせしか記憶されていない。即ち、いま
加算対象となっているメモリ２９，３０，３２には、図
９（Ａ）、図９（Ｂ）、図９（Ｄ）において矢印で示す
範囲の距離番号に対する評価値しか記憶されていない。

【０１１４】具体的には、メモリ２９には、距離番号１
乃至５それぞれに対する評価値３０，２０，１０，２
０，３０が（図９（Ａ））、メモリ３０には、距離番号
１乃至５それぞれに対する評価値３０，２０，１５，１
５，２０が（図９（Ｂ））、メモリ３２には、距離番号
２乃至６それぞれに対する評価値４０，３０，２０，３
０，４０が（図９（Ｄ））、それぞれ記憶されている。

【０１１５】従って、これらの評価値を距離番号ごとに
加算する場合には、距離番号１乃至６の範囲で、評価値
の加算を行うこととなるが、メモリ２９および３０に
は、距離番号６に対する評価値は記憶されておらず（図
９（Ａ）、図９（Ｂ））、また、メモリ３２には、距離
番号１に対する評価値は記憶されていない（図９
（Ｄ））。

【０１１６】このような場合、記憶されていない評価値
として、例えば、評価値がとりうる最大値を用いて加算
が行われる。従って、いま、評価値がとりうる最大値
を、例えば、１００とすると、距離番号ごとの評価値の
加算結果（加算評価値）は、図９（Ｅ）に示すようにな
る。

【０１１７】即ち、この場合、距離番号１については、
図９（Ａ）の評価値３０、図９（Ｂ）の評価値３０、お
よび評価値がとりうる最大値１００が加算され、加算評
価値として、１６０が求められる。また、距離番号２に
ついては、図９（Ａ）の評価値２０、図９（Ｂ）の評価
値２０、および図９（Ｄ）の評価値４０が加算され、加
算評価値として、８０が求められる。さらに、距離番号
３については、図９（Ａ）の評価値１０、図９（Ｂ）の
評価値１５、および図９（Ｄ）の評価値３０が加算さ
れ、加算評価値として、５５が求められる。また、距離
番号４については、図９（Ａ）の評価値２０、図９
（Ｂ）の評価値１５、および図９（Ｄ）の評価値２０が
加算され、加算評価値として、５５が求められる。さら
に、距離番号５については、図９（Ａ）の評価値３０、
図９（Ｂ）の評価値２０、および図９（Ｄ）の評価値３
０が加算され、加算評価値として、８０が求められる。
また、距離番号６については、評価値がとりうる最大値
１００、評価値がとりうる最大値１００、および図９
（Ｄ）の評価値４０が加算され、加算評価値として、２
４０が求められる。

【０１１８】以上のような距離番号１乃至６それぞれの
加算評価値（図９（Ｅ））が、評価値加算回路３４（図
６）から、最小値検出回路３５を介して、パラボラフィ
ッティング補間回路３６に供給され、パラボラフィッテ
ィング補間回路３６では、その加算評価値に対してパラ
ボラフィッティングによる補間処理が施されることによ
り、その補間処理後に得られる曲線の最小値（図９
（Ｅ）において×印で示す部分）に相当する距離番号
（図９（Ｅ）では、３．５）に対応する距離が求められ
て出力される。

【０１１９】最小評価値の中の最小値に対する距離番号
（基準距離番号）に対応する距離は、最も確からしい距
離であると推定されるから、検出カメラ２乃至５それぞ
れが出力する評価値のうち、基準距離番号が得られた評
価値と、その基準距離番号に近接する距離番号が最小距
離番号となる評価値とは、距離を正しく反映している評
価値であるということができ、そのような評価値のみを
選択して加算し、その結果得られる加算評価値に基づい
て、距離を推定することで、安定かつ高精度に距離を求
めることが可能となる。

【０１２０】即ち、例えば、基準カメラ画像や検出カメ
ラ画像の輝度変化等のテクスチャに起因して、対応点の
誤検出が生じるような状況であっても、距離を正しく反
映していると推定される評価値のみを用いて、正しい距
離を安定して求めることができる。また、検出カメラ２
乃至５のうちのいずれかの配置位置やレンズ設定が変動
し、キャリブレーション時における状態と異なる状態と
なった場合や、検出カメラ２乃至５のうちのいずれかに
隠れが発生した場合には、そのような検出カメラの検出
カメラ画像から得られた評価値は選択されなくなり、や
はり、正しい距離を安定して求めることができる。

【０１２１】さらに、４台の検出カメラ２乃至５それぞ
れからの検出カメラ画像から得られる４つの評価値のう
ち、距離を正しく反映していると推定されるものが、い
ばわ適応的に選択され、その選択されたもののみが加算
されるので、４つの評価値から選択しうる組み合わせの
加算を行ってから、その加算値のうちのいずれかを選択
する場合に比較して、加算に要する回路の数を少なくす
ることができ、その結果、装置の大規模化を防止するこ
とができる。

【０１２２】即ち、４台の検出カメラ２乃至５それぞれ
からの検出カメラ画像から得られる４つの評価値から選
択しうる組み合わせは、いま、その４つの評価値を
ｅ₁，ｅ₂，ｅ₃，ｅ₄とすると、ｅ₁，ｅ₂，ｅ₃，ｅ₄，ｅ
₁とｅ₂，ｅ₁とｅ₃，ｅ₁とｅ₄，ｅ₂とｅ₃，ｅ₂とｅ₄，ｅ
₁とｅ₂とｅ₃，ｅ₁とｅ₃とｅ₄，ｅ₁とｅ₂とｅ₄，ｅ₂とｅ
₃とｅ₄，ｅ₁とｅ₂とｅ₃とｅ₄の１４通りの組み合わせが
あり、このうち、加算が必要となるのは、１０通りあ
る。そして、その１０通りの組み合わせの加算を行い
（加算評価値を生成し）、加算の必要のない４通りの組
み合わせ（ｅ₁，ｅ₂，ｅ₃，ｅ₄）とあわせた１４通りの
組み合わせの中から、上述したような選択処理によっ
て、４つの評価値の中から選択されるものの組み合わせ
に一致するものを採用し、その採用した加算評価値に基
づいて、距離を求めても、４つの評価値のうちの１以上
を選択してから加算を行う場合と同様に、安定して高精
度な距離を求めることが可能である。しかしながら、先
に加算を行い、後から選択を行う場合には、処理速度を
ある程度維持しようとすると、１０通りの組み合わせの
加算を並列に行う必要があり、加算に要する回路が１０
個必要となる。さらに、その加算結果が採用されない場
合には、その加算処理は、いわば無駄になる。

【０１２３】これに対して、４つの評価値のうちの１以
上を選択してから加算を行う場合には、加算に要する回
路が１個で済み、また、無駄な加算が行われることもな
い。

【０１２４】次に、図１０は、図６の選択回路３３の他
の構成例を示している。

【０１２５】図１０の実施の形態においては、選択回路
３３は、比較カウント器５１乃至５４およびカメラ選択
回路５５で構成されており、比較カウント器５１乃至５
４のいずれにも、メモリ２５乃至２８それぞれに記憶さ
れた最小距離番号（検出カメラ２乃至５それぞれの検出
カメラ画像から得られた評価値のうちの最小値に対する
距離番号）＃ｎ₁乃至＃ｎ₄が供給されるようになされて
いる。

【０１２６】比較カウント器５１は、最小距離番号＃ｎ
₁と、他の最小距離番号＃ｎ₂乃至＃ｎ₄それぞれとを比
較し、その差が所定の微小値、即ち、例えば、最小距離
番号＃ｎ₁と他の最小距離番号との差が、±１以内であ
るかどうかを判定する。そして、比較器４２は、最小距
離番号＃ｎ₁と他の最小距離番号との差が、±１以内で
ある場合、即ち、他の１の最小距離番号が、最小距離番
号＃ｎ₁から、±１以内の距離番号である場合、カウン
ト値を１だけインクリメントし、これにより、最小距離
番号＃ｎ₁から±１以内の範囲内にある他の最小距離番
号の数（グループ曲線数）をカウントする。

【０１２７】即ち、図１１は、図１０の比較カウント器
５１の構成例を示している。

【０１２８】比較カウント器５１は、比較器６１乃至６
３および加算器６４から構成され、比較器６１乃至６３
それぞれは、図８の比較器４２（比較器４３乃至４５）
と同様の機能を有している。

【０１２９】即ち、比較器６１乃至６３には、最小距離
番号＃ｎ₁が供給されるようになされており、さらに、
比較器６１には、最小距離番号＃ｎ₂が、比較器６２に
は、最小距離番号＃ｎ₃が、比較器６３には、最小距離
番号＃ｎ₃が、それぞれ供給されるようになされてい
る。そして、比較器６１は、最小距離番号＃ｎ₁と＃ｎ₂
とを比較し、最小距離番号＃ｎ₂が、最小距離番号＃ｎ₁
から、±１以内の距離番号である場合にのみ、例えば、
パルスを、加算器６４に出力する。同様に、比較器６２
または６３も、最小距離番号＃ｎ₁と、最小距離番号＃
ｎ₃または＃ｎ₄それぞれとを比較し、最小距離番号＃ｎ
₃または＃ｎ₄が、最小距離番号＃ｎ₁から、±１以内の
距離番号である場合にのみ、それぞれ、パルスを、加算
器６４に出力する。

【０１３０】加算器６４は、比較器６１乃至６３のうち
パルスを出力したものの数をカウントし、そのカウント
値、即ち、最小距離番号＃ｎ₁から±１以内の範囲内に
ある他の最小距離番号の数（以下、適宜、最小距離番号
近傍数という）と、その最小距離番号を、カメラ選択回
路５５に出力する。

【０１３１】図１０に戻り、他の比較カウント器５２乃
至５４も、比較カウント器５１と同様に構成されてお
り、従って、比較カウント器５２乃至５４では、最小距
離番号＃ｎ₂乃至＃ｎ₄それぞれについての最小距離番号
近傍数が求められ、その最小距離番号近傍数にカウント
された最小距離番号とともに、カメラ選択回路５５に出
力される。

【０１３２】ここで、検出カメラ２乃至５それぞれの検
出カメラ画像から得られた４つの評価値が、いずれも距
離を正しく反映しているものであれば（従って、例え
ば、隠れや対応点の誤検出等がない場合）、その４つの
評価値それぞれからは、同じような値（理想的には、同
一）の距離番号において、最小評価値が得られると推測
される。従って、そのような場合には、最小距離番号近
傍数は、その最大値である、評価値の数４−１となる。
また、例えば、検出カメラ２乃至５のいずれかにおいて
隠れが生じている場合や、検出カメラ２乃至５それぞれ
の検出カメラ画像から得られた４つの評価値のうちのい
ずれかの評価値を用いた対応点検出において誤検出が生
じる場合等には、その隠れが生じる場合や、対応点の誤
検出が生じる場合等に対応して、最小距離番号近傍数は
減少する。

【０１３３】カメラ選択回路５５では、比較カウント器
５１乃至５４からの最小距離番号＃ｎ₁乃至＃ｎ₄それぞ
れについての最小距離番号近傍数のうち、最も大きいも
のが選択される。そして、カメラ選択回路５５は、最小
距離番号＃ｎ₁乃至＃ｎ₄のうち、最小距離番号近傍数を
選択したものと、その最小距離番号近傍数にカウントさ
れた最小距離番号とを、選択距離番号とし、メモリ２９
乃至３２（図６）のうち、その選択距離番号として選択
された距離番号（最小距離番号）を記憶しているものを
選択すべきことを指示する選択信号を、評価値加算回路
３４に出力する。

【０１３４】なお、カメラ選択回路５５は、比較カウン
ト器５１乃至５４からの最小距離番号＃ｎ₁乃至＃ｎ₄そ
れぞれについての最小距離番号近傍数の中に、最も大き
いものが複数存在する場合には、例えば、その複数の最
小距離番号近傍数のうち、より小さい最小評価値に対応
する最小距離番号についての最小距離番号近傍数を選択
するようになされている。

【０１３５】選択回路３３が、図１０に示したように構
成される場合において、検出カメラ２乃至５からの検出
カメラ画像から得られた距離番号ごとの評価値が、例え
ば、上述の図９（Ａ）乃至図９（Ｄ）にそれぞれ示すよ
うであったときには、最適値検出部１５（図６）におい
て、次のような評価値の選択が行われ、その選択された
評価値の加算が行われる。

【０１３６】即ち、この場合、上述したように、メモリ
２５には、最小距離番号３と最小評価値１０が、メモリ
２６には、最小距離番号３と最小評価値１５が、メモリ
２７には、最小距離番号１と最小評価値１０が、メモリ
２８には、最小距離番号４と最小評価値２０が、それぞ
れ記憶されている。

【０１３７】そして、メモリ２５に記憶された最小距離
番号３（図９（Ａ））から±１以内の範囲内にある他の
最小距離番号は、メモリ２６に記憶された最小距離番号
３（図９（Ｂ））、メモリ２８に記憶された最小距離番
号４（図９（Ｄ））であるから、メモリ２５に記憶され
た最小距離番号（以下、適宜、検出カメラ２の最小距離
番号という）３についての最小距離番号近傍数は２とな
る。

【０１３８】また、メモリ２６に記憶された最小距離番
号３（図９（Ｂ））から±１以内の範囲内にある他の最
小距離番号は、メモリ２５に記憶された最小距離番号３
（図９（Ａ））、メモリ２８に記憶された最小距離番号
４（図９（Ｄ））であるから、メモリ２６に記憶された
最小距離番号（以下、適宜、検出カメラ３の最小距離番
号という）３についての最小距離番号近傍数は２とな
る。

【０１３９】さらに、メモリ２７に記憶された最小距離
番号１（図９（Ｃ））から±１以内の範囲内にある他の
最小距離番号は存在しないから、メモリ２７に記憶され
た最小距離番号（以下、適宜、検出カメラ４の最小距離
番号という）１についての最小距離番号近傍数は０とな
る。

【０１４０】また、メモリ２８に記憶された最小距離番
号４（図９（Ｄ））から±１以内の範囲内にある他の最
小距離番号は、メモリ２５に記憶された最小距離番号３
（図９（Ａ））、メモリ２６に記憶された最小距離番号
３（図９（Ｂ））であるから、メモリ２８に記憶された
最小距離番号（以下、適宜、検出カメラ５の最小距離番
号という）４についての最小距離番号近傍数は２とな
る。

【０１４１】従って、この場合、最小距離番号近傍数の
最大値は２であり、そのような最大の最小距離番号近傍
数となる最小距離番号は、検出カメラ２，３，５の最小
距離番号３，３，４の３つ存在する。このような場合、
カメラ選択回路５５では、上述したように、最小評価値
がより小さい最小距離番号についての最小距離番号近傍
数が選択されるから、最小評価値が１０で最も小さい、
検出カメラ２（図９（Ａ））の最小距離番号３について
の最小距離番号近傍数が選択される。

【０１４２】そして、カメラ選択回路５５は、検出カメ
ラ２（図９（Ａ））の最小距離番号３を記憶しているメ
モリ２９と、その最小距離番号３についての最小距離番
号近傍数にカウントされた検出カメラ３（図９（Ｂ））
の最小距離番号３、または検出カメラ５（図９（Ｄ））
の最小距離番号４をそれぞれ記憶しているメモリ３０ま
たは３２とを選択すべきことを指示する選択信号を、評
価値加算回路３４に出力する。

【０１４３】従って、この場合、評価値加算回路３４で
は、選択回路３３が図８に示したように構成される場合
と同様に、メモリ２９乃至３２のうち、メモリ２９，３
０，３２に記憶された距離番号ごとの評価値が読み出さ
れ、同一の距離番号ごとに加算される。その結果、距離
番号ごとの評価値の加算結果（加算評価値）は、図９
（Ｅ）に示すようになり、最適値検出部１５では、上述
したように、図９（Ｅ）において×印で示す部分に相当
する距離番号（図９（Ｅ）では、３．５）に対応する距
離が求められて出力される。

【０１４４】図１０の実施の形態では、検出カメラ２乃
至５それぞれの検出カメラ画像から出力される評価値の
うち、最小距離番号近傍数が最大の最小距離番号となる
検出カメラのものと、その最大の最小距離番号近傍数に
カウントされた検出カメラのものとが選択され、即ち、
距離を正しく反映していると推定される評価値のみが選
択され、その選択された評価値の加算結果（加算評価
値）に基づいて、距離が推定されるので、やはり、安定
かつ高精度に距離を求めることが可能となる。

【０１４５】さらに、図１０の実施の形態では、最小評
価値が近傍に多数存在する評価値が選択され、その評価
値の加算結果に基づいて、距離が求められるることか
ら、即ち、いわば、多数決により距離が求められること
から、例えば、基準カメラ画像や検出カメラ画像の輝度
変化等のテクスチャに起因して、真の対応点でない点に
おいて、評価値が最小になってしまうような場合や、突
発的に変化するような評価値が得られた場合であって
も、安定かつ高精度に距離を求めることが可能となる。

【０１４６】次に、図１２は、本発明を適用した距離測
定装置の他の実施の形態の構成例を示している。なお、
図中、図１における場合と同一に構成される部分につい
ては、同一の符号を付してあり、以下では、その説明
は、適宜省略する。即ち、図１２の距離測定装置は、マ
ッチング計算部１１乃至１４それぞれに替えて、マッチ
ング計算部１１１乃至１１４が設けられている他は、図
１における場合と同様に構成されている。

【０１４７】マッチング計算部１１１（評価手段）は、
ステレオ処理によって、メモリ６に記憶された基準カメ
ラ画像と、メモリ７に記憶された検出カメラ画像との組
み合わせに基づいて、評価値を求めるとともに、メモリ
６に記憶された基準カメラ画像と、メモリ８に記憶され
た検出カメラ画像との組み合わせに基づいて、評価値を
求め、その評価値どうしを、同一の距離番号について加
算し、その加算値を、新たな評価値として出力するよう
になされている。即ち、マッチング計算部１１１は、メ
モリ６に記憶された基準カメラ画像と、メモリ７または
８に記憶された検出カメラ画像それぞれとを用いて、マ
ルチベースラインステレオ法による評価値を求めるよう
になされている。

【０１４８】同様に、マッチング計算部１１２は、メモ
リ６に記憶された基準カメラ画像と、メモリ８または９
に記憶された検出カメラ画像それぞれとを用いて、マッ
チング計算部１１３は、メモリ６に記憶された基準カメ
ラ画像と、メモリ９または１０に記憶された検出カメラ
画像それぞれとを用いて、マッチング計算部１１４は、
メモリ６に記憶された基準カメラ画像と、メモリ１０ま
たは７に記憶された検出カメラ画像それぞれとを用い
て、それぞれマルチベースラインステレオ法による評価
値を求めるようになされている。

【０１４９】従って、図１２の実施の形態によれば、基
準カメラ画像や検出カメラ画像が、繰り返しパターンを
有する場合にも、安定かつ高精度に距離を求めることが
可能となる。

【０１５０】以上、本発明を適用した距離測定装置につ
いて説明したが、このような距離測定装置によって得ら
れた距離画像からは、さらに、例えば、視差を求めた
り、３次元空間内の対象物の形状を測定したりすること
も可能である。

【０１５１】なお、図１や図１２の実施の形態において
は、例えば、図１３（Ａ）に示すように、基準カメラ１
の周辺に、４台の検出カメラ２乃至５を配置するように
することができる。ここで、繰り返しパターンを有する
場合に対処するため、基準カメラ１と、隣接する２台の
検出カメラそれぞれとの相互の間隔は、異なるようにす
るのが望ましい。また、図１２の実施の形態において
は、図１３（Ｂ）乃至図１３（Ｅ）に示すように、マッ
チング計算部１１１には、基準カメラ１と検出カメラ２
および３の出力画像が、マッチング計算部１１２には、
基準カメラ１と検出カメラ３および４の出力画像が、マ
ッチング計算部１１３には、基準カメラ１と検出カメラ
４および５の出力画像が、マッチング計算部１１４に
は、基準カメラ１と検出カメラ５および２の出力画像
が、それぞれ供給されることになる。

【０１５２】さらに、本実施の形態では、検出カメラを
４台設けるようにしたが、検出カメラの台数は、特に限
定されるものではない。

【０１５３】また、本実施の形態では、複数台のカメラ
を用いるようにしたが、カメラは１台だけ用意し、それ
を移動させることにより、その１台のカメラを、基準カ
メラや検出カメラとして使用するようにすることも可能
である。

【０１５４】さらに、図１や図１２の距離測定装置は、
例えば、コンピュータ（情報処理装置）に、上述した処
理を行わせるためのコンピュータプログラム（制御情
報）を実行させることによっても、また、専用のハード
ウェアによっても、実現可能である。なお、コンピュー
タプログラムによる場合には、そのコンピュータプログ
ラムは、例えば、光ディスク、光磁気ディスク、磁気デ
ィスク、磁気テープ、相変化ディスク、その他の記録媒
体に記録して提供することも可能であるし、例えば、イ
ンターネット、ＣＡＴＶ（Cable Television）網、衛星
回線、地上波、その他の伝送媒体を介して伝送すること
により提供することも可能である。

【０１５５】また、図１や図１２の距離測定装置によっ
て得られた距離画像は、上述したような記録媒体や伝送
媒体を媒介して、他の装置その他に提供することが可能
である。

【０１５６】さらに、本実施の形態では、基準ブロック
および検出ブロックとして、長方形状のブロックを構成
するようにしたが、基準ブロックおよび検出ブロック
は、長方形状のブロックに限定されるものではなく、例
えば、ある画素から一定距離内にある画素でなる円形状
のブロックを、基準ブロックおよび検出ブロックとして
採用することも可能である。また、基準ブロックおよび
検出ブロックは、隣接している画素で構成する必要はな
く、例えば、１画素おきの画素の集合などで構成するこ
とも可能である。

【０１５７】

【発明の効果】請求項１に記載の画像処理装置および請
求項１２に記載の画像処理方法、並びに請求項１３に記
載の提供媒体によれば、第１の画像と、複数の第２の画
像のうちの１以上との複数の組み合わせそれぞれに基づ
いて、対象物までの距離の推定値ごとの確からしさに対
応する評価値でなる複数の評価曲線が算出され、その複
数の評価曲線のうちの１以上が選択される。そして、そ
の選択された評価曲線が加算され、評価曲線の加算結果
に基づいて、対象物までの距離が求められる。従って、
対象物までの距離を、安定かつ高精度に求めることが可
能となる。

【０１５８】請求項１４に記載の提供媒体によれば、第
１の画像と、複数の第２の画像のうちの１以上との複数
の組み合わせそれぞれに基づいて、対象物までの距離の
推定値ごとの確からしさに対応する評価値でなる複数の
評価曲線を算出し、複数の評価曲線のうちの１以上を選
択し、その選択された評価曲線を加算し、評価曲線の加
算結果に基づいて、対象物までの距離を推定することに
より求められた対象物までの距離が提供される。従っ
て、安定かつ高精度に求められた、対象物までの距離を
提供することが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した距離測定装置の一実施の形態
の構成例を示すブロック図である。

【図２】エピポーララインを説明するための図である。

【図３】基準カメラ画像および検出カメラ画像を示す図
である。

【図４】評価値の推移を示す図である。

【図５】ステレオ処理を説明するためのフローチャート
である。

【図６】図１の最適値検出部１５の構成例を示すブロッ
ク図である。

【図７】図６の最適値検出部１５の処理を説明するため
のフローチャートである。

【図８】図６の選択回路３３の構成例を示すブロック図
である。

【図９】図８の選択回路３３の処理を説明するための図
である。

【図１０】図６の選択回路３３の他の構成例を示すブロ
ック図である。

【図１１】図１０の比較カウント器５１の構成例を示す
ブロック図である。

【図１２】本発明を適用した距離測定装置の他の実施の
形態の構成例を示すブロック図である。

【図１３】基準カメラ１および検出カメラ２乃至５の配
置位置を示す正面図である。

【符号の説明】

１基準カメラ（撮像手段），２乃至５検出カメラ
（撮像手段），６乃至１０メモリ，１１乃至１４
マッチング計算部（評価手段），１５最適値検出
部（選択手段）（加算手段）（推定手段），２１乃至
２４最小値検出回路，２５乃至３２メモリ，３
３選択回路，３４評価値加算回路，３５最小
値検出回路，３６パラボラフィッティング補間回
路，４１最小値探索回路，４２乃至４５比較器，
５１乃至５４比較カウント器，５５カメラ選択
回路，６１乃至６３比較器，６４加算器，１
１１乃至１１４マッチング計算部（評価手段）

Claims

【特許請求の範囲】

【請求項１】所定の対象物を撮影して得られる第１の
画像と、複数の第２の画像とから、前記対象物までの距
離を求める画像処理装置であって、前記第１の画像と、前記複数の第２の画像のうちの１以
上との複数の組み合わせそれぞれに基づいて、前記対象
物までの距離の推定値ごとの確からしさに対応する評価
値でなる評価曲線を算出する複数の評価手段と、前記複数の評価手段で算出された複数の評価曲線のうち
の１以上を選択する選択手段と、前記選択手段で選択された前記評価曲線を加算する加算
手段と、前記加算手段による前記評価曲線の加算結果に基づい
て、前記対象物までの距離を推定する推定手段とを備え
ることを特徴とする画像処理装置。
【請求項２】前記選択手段は、前記複数の評価曲線の
うち、最も確からしいことを表している評価値を有する
ものと、その評価値に対応する前記推定値付近が最も確
からしいことを表している他の評価曲線とを選択するこ
とを特徴とする請求項１に記載の画像処理装置。
【請求項３】前記評価手段は、エピポーラライン上に
設定された、前記対象物までの距離の推定値に対応する
設定点ごとに、その設定点に対応する推定値の確からし
さに対応する評価値を求め、前記選択手段は、前記複数の評価曲線のうち、最も確か
らしいことを表している評価値を有するものと、その評
価値に対応する推定値、またはその推定値に対応する設
定点に隣接する設定点に対応する推定値が最も確からし
いことを表している他の評価曲線とを選択することを特
徴とする請求項２に記載の画像処理装置。
【請求項４】前記選択手段は、前記複数の評価曲線そ
れぞれについて、その評価曲線が最も確からしいことを
表している推定値付近が最も確からしいことを表してい
る他の評価曲線の数であるグループ曲線数を求め、その
グループ曲線数に基づいて、前記複数の評価曲線のうち
の１以上を選択することを特徴とする請求項１に記載の
画像処理装置。
【請求項５】前記選択手段は、前記複数の評価曲線の
うち、前記グループ曲線数が最も多い評価曲線と、その
評価曲線が最も確からしいことを表している推定値付近
が最も確からしいことを表している他の評価曲線とを選
択することを特徴とする請求項４に記載の画像処理装
置。
【請求項６】前記選択手段は、前記複数の評価曲線の
うち、前記グループ曲線数が最も多いものが２以上存在
するとき、その２以上の評価曲線のうち、最も確からし
いことを表している評価値を有するものを選択すること
を特徴とする請求項５に記載の画像処理装置。
【請求項７】前記評価手段は、エピポーラライン上に
設定された、前記対象物までの距離の推定値に対応する
設定点ごとに、その設定点に対応する推定値の確からし
さに対応する評価値を求め、前記選択手段は、前記複数の評価曲線のうち、前記グル
ープ曲線数が最も多いものと、その評価曲線が最も確か
らしいことを表している推定値、またはその推定値に対
応する設定点に隣接する設定点に対応する推定値が最も
確からしいことを表している他の評価曲線とを選択する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項８】前記評価手段は、前記第１の画像と、前
記複数の第２の画像のうちの１つとの組み合わせに基づ
いて、前記対象物までの距離の推定値ごとの確からしさ
に対応する評価値でなる評価曲線を算出することを特徴
とする請求項１に記載の画像処理装置。
【請求項９】前記評価手段は、前記第１の画像と、前
記複数の第２の画像のうちの２以上との組み合わせに基
づいて、前記対象物までの距離の推定値ごとの確からし
さに対応する評価値でなる評価曲線を算出することを特
徴とする請求項１に記載の画像処理装置。
【請求項１０】前記加算手段は、前記選択手段で選択
された前記評価曲線において、確からしい推定値付近の
評価値のみを対象に加算を行うことを特徴とする請求項
１に記載の画像処理装置。
【請求項１１】前記対象物を撮影し、前記第１の画像
および複数の第２の画像を出力する撮像手段をさらに備
えることを特徴とする請求項１に記載の画像処理装置。
【請求項１２】所定の対象物を撮影して得られる第１
の画像と、複数の第２の画像とから、前記対象物までの
距離を求める画像処理方法であって、前記第１の画像と、前記複数の第２の画像のうちの１以
上との複数の組み合わせそれぞれに基づいて、前記対象
物までの距離の推定値ごとの確からしさに対応する評価
値でなる評価曲線を算出する複数の評価ステップと、前記複数の評価ステップで算出された複数の評価曲線の
うちの１以上を選択する選択ステップと、前記選択ステップで選択された前記評価曲線を加算する
加算ステップと、前記加算ステップによる前記評価曲線の加算結果に基づ
いて、前記対象物までの距離を推定する推定ステップと
を備えることを特徴とする画像処理方法。
【請求項１３】所定の対象物を撮影して得られる第１
の画像と、複数の第２の画像とから、前記対象物までの
距離を求める処理を、情報処理装置に行わせるための制
御情報を提供する提供媒体であって、前記第１の画像と、前記複数の第２の画像のうちの１以
上との複数の組み合わせそれぞれに基づいて、前記対象
物までの距離の推定値ごとの確からしさに対応する評価
値でなる評価曲線を算出する複数の評価ステップと、前記複数の評価ステップで算出された複数の評価曲線の
うちの１以上を選択する選択ステップと、前記選択ステップで選択された前記評価曲線を加算する
加算ステップと、前記加算ステップによる前記評価曲線の加算結果に基づ
いて、前記対象物までの距離を推定する推定ステップと
を備える制御情報を提供することを特徴とする提供媒
体。
【請求項１４】所定の対象物を撮影して得られる第１
の画像と、複数の第２の画像とから、前記対象物までの
距離を求めることにより得られる前記対象物までの距離
を提供する提供媒体であって、前記第１の画像と、前記複数の第２の画像のうちの１以
上との複数の組み合わせそれぞれに基づいて、前記対象
物までの距離の推定値ごとの確からしさに対応する評価
値でなる複数の評価曲線を算出し、前記複数の評価曲線のうちの１以上を選択し、その選択された前記評価曲線を加算し、前記評価曲線の加算結果に基づいて、前記対象物までの
距離を推定することにより得られる前記対象物までの距
離の推定値を提供することを特徴とする提供媒体。