JP2000121319A - 画像処理装置および画像処理方法、並びに提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 複数の画像間での画素の対応付けを正確に行
うことができなかった場合であっても、比較的正確な距
離を得る。 【解決手段】 ステレオ処理部１１では、基準カメラ画
像の画素と対応する、検出カメラ画像上の対応点が検出
され、その対応点に基づき、基準カメラ画像の各画素に
ついて、対象物までの距離が求められる。さらに、補正
対象画素選択部１３において、その距離を画素値とする
距離画像の画素から、距離の補正を行う対象とする補正
対象画素が選択され、補正部１４において、その補正対
象画素についての距離が、距離画像の他の画素について
の距離に基づいて補正される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びに提供媒体に関し、特に、例え
ば、所定の対象物を、複数のカメラで撮影して得られる
複数の画像の画素それぞれを相互に対応付け、対象物に
対する視差や、対象物までの距離などを、画素ごとに求
める、いわゆるステレオ画像処理を行う画像処理装置お
よび画像処理方法、並びに提供媒体に関する。

【０００２】

【従来の技術】例えば、文献「解説，ビデオレート・ス
テレオマシン（A Video-rate Stereomachine；金出(Kan
ade)，木村 著、日本ロボット学会誌("Journal of the
Robotics Society of Japan (JRSJ)")vol.13 No.3, p
p.322〜pp.326, 1995）」などには、２箇所以上から同
一の対象物を撮影することにより、あるいは、２台以上
のカメラで撮影することにより得た複数の画像の間で、
互いに対応する画素の間の視差情報（視差）を得て、対
象物上の各点の距離を求め、さらには、対象物の形状を
計測する、いわゆるステレオ画像処理が開示されてい
る。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
ステレオ画像処理では、背景と対象物との位置関係によ
っては、対象物の輪郭の近傍において、複数の画像間で
の画素の対応付けが不正確になり、画素間の視差情報
や、対象物までの距離、あるいはその形状を正しく計測
できないことがある。

【０００４】本発明は、このような状況に鑑みてなされ
たものであり、複数の画像間での画素の対応付けを正確
に行うことができなかった場合であっても、比較的正確
な視差情報や距離等を得ることができるようにするもの
である。

【０００５】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、第１の画像の画素と対応する、第２の画像の
対応画素を検出する検出手段と、対応画素に基づき、第
１の画像の画素について、距離関係情報を求める処理手
段と、距離関係情報を画素値とする距離関係情報画像の
画素から、距離関係情報の補正を行う対象とする補正対
象画素を選択する選択手段と、補正対象画素についての
距離関係情報を、距離関係情報画像の他の画素について
の距離関係情報に基づいて補正する補正手段とを備える
ことを特徴とする。

【０００６】請求項２０に記載の画像処理方法は、第１
の画像の画素と対応する、第２の画像の対応画素を検出
する検出ステップと、対応画素に基づき、第１の画像の
画素について、距離関係情報を求める処理ステップと、
距離関係情報を画素値とする距離関係情報画像の画素か
ら、距離関係情報の補正を行う対象とする補正対象画素
を選択する選択ステップと、補正対象画素についての距
離関係情報を、距離関係情報画像の他の画素についての
距離関係情報に基づいて補正する補正ステップとを備え
ることを特徴とする。

【０００７】請求項３８に記載の提供媒体は、第１の画
像の画素と対応する、第２の画像の対応画素を検出する
検出ステップと、対応画素に基づき、第１の画像の画素
について、距離関係情報を求める処理ステップと、距離
関係情報を画素値とする距離関係情報画像の画素から、
距離関係情報の補正を行う対象とする補正対象画素を選
択する選択ステップと、補正対象画素についての距離関
係情報を、距離関係情報画像の他の画素についての距離
関係情報に基づいて補正する補正ステップとを備える制
御情報を提供することを特徴とする。

【０００８】請求項３９に記載の提供媒体は、第１の画
像の画素と対応する、第２の画像の対応画素を検出し、
対応画素に基づき、第１の画像の画素について、距離関
係情報を求め、距離関係情報を画素値とする距離関係情
報画像の画素から、距離関係情報の補正を行う対象とす
る補正対象画素を選択し、補正対象画素についての距離
関係情報を、距離関係情報画像の他の画素についての距
離関係情報に基づいて補正することにより得られる距離
関係情報を提供することを特徴とする。

【０００９】請求項１に記載の画像処理装置において
は、検出手段は、第１の画像の画素と対応する、第２の
画像の対応画素を検出し、処理手段は、対応画素に基づ
き、第１の画像の画素について、距離関係情報を求める
ようになされている。選択手段は、距離関係情報を画素
値とする距離関係情報画像の画素から、距離関係情報の
補正を行う対象とする補正対象画素を選択し、補正手段
は、補正対象画素についての距離関係情報を、距離関係
情報画像の他の画素についての距離関係情報に基づいて
補正するようになされている。

【００１０】請求項２０に記載の画像処理方法において
は、第１の画像の画素と対応する、第２の画像の対応画
素を検出し、対応画素に基づき、第１の画像の画素につ
いて、距離関係情報を求め、距離関係情報を画素値とす
る距離関係情報画像の画素から、距離関係情報の補正を
行う対象とする補正対象画素を選択し、補正対象画素に
ついての距離関係情報を、距離関係情報画像の他の画素
についての距離関係情報に基づいて補正するようになさ
れている。

【００１１】請求項３８に記載の提供媒体においては、
第１の画像の画素と対応する、第２の画像の対応画素を
検出し、対応画素に基づき、第１の画像の画素につい
て、距離関係情報を求め、距離関係情報を画素値とする
距離関係情報画像の画素から、距離関係情報の補正を行
う対象とする補正対象画素を選択し、補正対象画素につ
いての距離関係情報を、距離関係情報画像の他の画素に
ついての距離関係情報に基づいて補正する処理を、情報
処理装置に行わせるための制御情報を提供するようにな
されている。

【００１２】請求項３９に記載の提供媒体においては、
第１の画像の画素と対応する、第２の画像の対応画素を
検出し、対応画素に基づき、第１の画像の画素につい
て、距離関係情報を求め、距離関係情報を画素値とする
距離関係情報画像の画素から、距離関係情報の補正を行
う対象とする補正対象画素を選択し、補正対象画素につ
いての距離関係情報を、距離関係情報画像の他の画素に
ついての距離関係情報に基づいて補正することにより得
られる距離関係情報を提供するようになされている。

【００１３】

【発明の実施の形態】図１は、本発明を適用した距離測
定装置の一実施の形態の構成例を示している。

【００１４】カメラ１および２（撮像手段）は、異なる
位置に固定された、例えばＣＣＤ（Charge Coupled Dev
ice）ビデオカメラで、その異なる位置（異なる視線方
向）から対象物３を撮影し、その結果得られる画像を、
カメラインターフェイス４に出力するようになされてい
る。ここで、カメラ１または２は、それぞれ、いわゆる
基準カメラまたは検出カメラとして機能する。そこで、
以下、適宜、カメラ１または２を、それぞれ基準カメラ
１または検出カメラ２というとともに、それぞれが出力
する画像を、基準カメラ画像（第１の画像）または検出
カメラ画像（第２の画像）という。

【００１５】カメラインターフェイス４は、基準カメラ
１または検出カメラ２それぞれからの基準カメラ画像ま
たは検出カメラ画像を受信し、フレームメモリ５に供給
するようになされている。フレームメモリ５は、カメラ
インターフェイス４からの基準カメラ画像および検出カ
メラ画像を、例えば、フレーム単位などで記憶するよう
になされている。

【００１６】演算処理回路６は、フレームメモリ５に記
憶された基準カメラ画像および検出カメラ画像に基づい
て、基準カメラ１または検出カメラ２のうちの、例え
ば、基準カメラ１から対象物３までの距離に関係する距
離関係情報を求め、その距離関係情報に対応する画素値
を有する画像を生成するようになされている。

【００１７】即ち、演算処理回路６は、基準カメラ画像
の画素と、検出カメラ画像の画素のとの間の対応をと
り、基準カメラ画像の画素それぞれについて、対象物３
までの距離を求めて、その距離に対応する画素値を有す
る画像（例えば、距離が大きいほど輝度値が大きい画
像）（以下、適宜、距離画像という）を生成するように
なされている。あるいは、演算処理回路６は、対応をと
った画素間の視差ζを測定し、その視差ζに対応する画
素値を有する画像（以下、適宜、視差画像という）を生
成するようになされている。なお、演算処理回路６にお
いては、視差ζから、距離画像を求めたり、さらに、距
離画像から、対象物３の３次元形状の解析を行うように
すること等も可能である。

【００１８】具体的には、演算処理回路６は、制御用の
ＣＰＵ(Central Processing Unit)６Ａ，ＲＯＭ(Read O
nly Memory)６Ｂ，ＲＡＭ(Random Access Memory)６
Ｃ、および画像処理用のＤＳＰ(Digital Signal Proces
sor)６Ｄなどから構成されている。そして、ＣＰＵ６Ａ
は、記憶装置７に記憶されたアプリケーションプログラ
ムを実行することで、距離測定装置を構成する各ブロッ
クを制御するとともに、後述するようなステレオ処理
や、補正処理等を行うことにより、距離画像等を生成す
るようになされている。

【００１９】なお、ＲＯＭ６Ｂは、例えば、ＩＰＬ（In
itial Program Loading）用のプログラムその他の必要
なデータを記憶している。ＲＡＭ６Ｃは、ＣＰＵ６Ａが
実行するプログラムや、ＣＰＵ６Ａの処理上必要なデー
タなどを一時記憶するようになされている。ＤＳＰ６Ｄ
は、ＣＰＵ６Ａの制御の下、必要な積和演算その他を行
うようになされている。

【００２０】記憶装置７は、例えば、ＨＤ（Hard Dis
k）や、ＣＤ−ＲＯＭ（Compact DiscRead Only Memor
y）などで構成され、演算処理回路６が実行するＯＳ（O
perating System）のプログラムや、上述したような処
理を行うためのアプリケーションプログラムなどを記憶
している。また、記憶装置７は、演算処理回路６が出力
する距離画像等を記憶するようにもなされている。出力
装置８は、例えば、ＣＲＴ（Cathode Ray Tube）や液晶
パネルなどで構成され、演算処理回路６が出力する距離
画像等を表示するようになされている。

【００２１】以上のように構成される距離測定装置で
は、基準カメラ１および検出カメラ２によって対象物３
が撮影される。さらに、その結果得られる基準カメラ画
像および検出カメラ画像が、カメラインターフェイス４
を介してフレームメモリ５に供給されて記憶される。そ
して、その基準カメラ画像および検出カメラ画像を用い
て、演算処理回路６において、ステレオ処理が行われ
る。

【００２２】ここで、ステレオ処理は、上述のように、
２つ以上の方向（異なる視線方向）からカメラで同一対
象物を撮影して得られる複数の画像間の画素同士を対応
付けることで、対応する画素間の視差情報や、カメラか
ら対象物までの距離、対象物の形状を求めるものであ
る。

【００２３】即ち、例えば、図２に示すように、２台の
基準カメラ１および検出カメラ２で対象物３を撮影する
と、基準カメラ１からは対象物３の投影像を含む基準カ
メラ画像が得られ、検出カメラ２からも対象物３の投影
像を含む検出カメラ画像が得られる。いま、図２におけ
る対象物３上のある点Ｐが、基準カメラ画像および検出
カメラ画像の両方に表示されているとすると、その点Ｐ
が表示されている基準カメラ画像上の位置と、検出カメ
ラ画像上の位置、つまり対応点（対応画素）とから、視
差情報を求めることができ、さらに、三角測量の原理を
用いて、点Ｐの３次元空間における位置（３次元位置）
を求めることができる。

【００２４】従って、ステレオ処理では、まず、対応点
を検出することが必要となるが、その検出方法として
は、例えば、エピポーラライン（Epipolar Line）を用
いたエリアベースマッチング法などがある。

【００２５】即ち、図３に示すように、基準カメラ１に
おいては、対象物３上の点Ｐは、その点Ｐと基準カメラ
１の光学中心（レンズ中心）Ｏ₁とを結ぶ直線Ｌ上の、
基準カメラ１の撮像面Ｓ₁との交点ｎ_aに投影される。

【００２６】また、検出カメラ２においては、対象物３
の点Ｐは、その点Ｐと検出カメラ２の光学中心（レンズ
中心）Ｏ₂とを結ぶ直線上の、検出カメラ２の撮像面Ｓ₂
との交点ｎ_bに投影される。

【００２７】この場合、直線Ｌは、光学中心Ｏ₁および
Ｏ₂、並びに点ｎ_a（または点Ｐ）の３点を通る平面と、
検出カメラ画像が形成される撮像面Ｓ₂との交線Ｌ₂とし
て、撮像面Ｓ₂上に投影される。点Ｐは、直線Ｌ上の点
であり、従って、撮像面Ｓ₂において、点Ｐを投影した
点ｎ_bは、直線Ｌを投影した直線Ｌ₂上に存在し、この直
線Ｌ₂はエピポーララインと呼ばれる。即ち、点ｎ_aの対
応点ｎ_bが存在する可能性のあるのは、エピポーラライ
ンＬ₂上であり、従って、対応点ｎ_bの探索は、エピポー
ララインＬ₂上を対象に行えば良い。

【００２８】ここで、エピポーララインは、例えば、撮
像面Ｓ₁に形成される基準カメラ画像を構成する画素ご
とに考えることができるが、基準カメラ１と検出カメラ
２の位置関係が既知であれば、その画素ごとに存在する
エピポーララインは求めることができる。

【００２９】エピポーララインＬ₂上の点からの対応点
ｎ_bの検出は、例えば、次のようなエリアベースマッチ
ングによって行うことができる。

【００３０】即ち、エリアベースマッチングでは、図４
（Ａ）に示すように、基準カメラ画像上の点ｎ_aを中心
（例えば、対角線の交点）とする、例えば長方形状の小
ブロック（以下、適宜、基準ブロックという）（第１の
ブロック）が、基準カメラ画像から抜き出されるととも
に、図４（Ｂ）に示すように、検出カメラ画像に投影さ
れたエピポーララインＬ₂上の、ある点を中心とする、
基準ブロックと同一の大きさの小ブロック（以下、適
宜、検出ブロックという）（第２のブロック）が、検出
カメラ画像から抜き出される。

【００３１】ここで、図４（Ｂ）の実施の形態において
は、エピポーララインＬ₂上に、検出ブロックの中心と
する点として、点ｎ_b1乃至ｎ_b6の６点が設けられてい
る。この６点ｎ_b1乃至ｎ_b6は、図３に示した３次元空間
における直線Ｌを、所定の一定距離ごとに区分する点、
即ち、基準カメラ１からの距離が、例えば、１ｍ，２
ｍ，３ｍ，４ｍ，５ｍ，６ｍの点それぞれを、検出カメ
ラ２の撮像面Ｓ₂に投影した点で、従って、基準カメラ
１からの距離が１ｍ，２ｍ，３ｍ，４ｍ，５ｍ，６ｍの
点にそれぞれ対応している。

【００３２】エリアベースマッチングでは、検出カメラ
画像から、エピポーララインＬ₂上に設けられている点
ｎ_b1乃至ｎ_b6それぞれを中心とする検出ブロックが抜き
出され、各検出ブロックと、基準ブロックとの相関が、
所定の評価関数を用いて演算される。そして、点ｎ_aを
中心とする基準ブロックとの相関が最も高い検出ブロッ
クの中心の点ｎ_bが、点ｎ_aの対応点として求められる。

【００３３】即ち、例えば、いま、評価関数として、相
関が高いほど小さな値をとる関数を用いた場合に、エピ
ポーララインＬ₂上の点ｎ_b1乃至ｎ_b6それぞれについ
て、例えば、図５に示すような評価値（評価関数の値）
が得られたとする。この場合、評価値が最も小さい（相
関が最も高い）点ｎ_b3が、点ｎ_aの対応点として検出さ
れる。なお、図５において、点ｎ_b1乃至ｎ_b6それぞれに
ついて求められた評価値（図５において●印で示す）の
うちの最小値付近のものを用いて補間を行い、評価値が
より小さくなる点（図５において×印で示す）を求め
て、その点を、最終的な対応点として検出することも可
能である。

【００３４】図４の実施の形態では、上述したように、
３次元空間における直線Ｌを所定の等距離ごとに区分す
る点を、検出カメラ２の撮像面Ｓ₂に投影した点が設定
されているが、この設定は、例えば、基準カメラ１およ
び検出カメラ２のキャリブレーション時に行うことがで
きる。そして、このような設定を、基準カメラ１の撮像
面Ｓ₁を構成する画素ごとに存在するエピポーラライン
ごとに行い、図６（Ａ）に示すように、エピポーラライ
ン上に設定された点（以下、適宜、設定点という）と、
基準カメラ１からの距離とを対応付ける設定点／距離テ
ーブルをあらかじめ作成しておけば、対応点となる設定
点を検出し、設定点／距離テーブルを参照することで、
即座に、基準カメラ１からの距離（対象物３までの距
離）を求めることができる。即ち、いわば、対応点か
ら、直接、距離を求めることができる。

【００３５】一方、基準カメラ画像上の点ｎ_aについ
て、検出カメラ画像上の対応点ｎ_bを検出すれば、その
２点ｎ_aおよびｎ_bの間の視差（視差情報）を求めること
ができる。さらに、基準カメラ１と検出カメラ２の位置
関係が既知であれば、２点ｎ_aおよびｎ_bの間の視差か
ら、三角測量の原理によって、対象物３までの距離を求
めることができる。視差から距離の算出は、所定の演算
を行うことによって行うことができるが、あらかじめそ
の演算を行っておき、図６（Ｂ）に示すように、視差ζ
と距離との対応付ける視差／距離テーブルをあらかじめ
作成しておけば、対応点を検出し、視差を求め、視差／
距離テーブルを参照することで、やはり、即座に、基準
カメラ１からの距離を求めることができる。

【００３６】ここで、視差と、対象物３までの距離とは
一対一に対応するものであり、従って、視差を求めるこ
ととと、対象物３までの距離を求めることとは、いわば
等価である。

【００３７】また、対応点の検出に、基準ブロックおよ
び検出ブロックといった複数画素でなるブロックを用い
るのは、ノイズの影響を軽減し、基準カメラ画像上の画
素（点）ｎ_aの周囲の画素のパターンの特徴と、検出カ
メラ画像上の対応点（画素）ｎ_bの周囲の画素のパター
ンの特徴との相関性を明確化して判断することにより、
対応点の検出の確実を期すためであり、特に、変化の少
ない基準カメラ画像および検出カメラ画像に対しては、
画像の相関性により、ブロックの大きさが大きければ大
きいほど対応点の検出の確実性が増す。

【００３８】次に、エリアベースマッチングにおいて、
例えば、基準ブロックと検出ブロックとの相関性を評価
する評価関数としては、基準ブロックを構成する画素
と、それぞれの画素に対応する、検出ブロックを構成す
る画素の画素値の差分の絶対値の総和や、その差分の自
乗和、正規化された相互相関(normalized cross correl
ation)などを用いることができる。

【００３９】基準ブロックを構成する画素と、それぞれ
の画素に対応する、検出ブロックを構成する画素の画素
値の差分の絶対値の総和を評価関数として用いる場合、
その評価値（評価関数の値）は、例えば、次式で計算す
ることができる。

【００４０】

【数１】 ・・・（１） なお、式（１）において、ｘは、対応点を求めようとし
て注目している基準画像上の画素（注目画素）を表し、
従って、基準ブロックを構成する中心の画素を表す。ま
た、ｙは、検出ブロックを構成する中心の画素を表し、
Ｓ（ｘ，ｙ）は、基準カメラ画像上の画素ｘを中心とす
る基準ブロックと、検出カメラ画像上の画素ｙを中心と
する検出ブロックとの相関性を示す評価値を表す。さら
に、Ｗ_AまたはＷ_Bは、基準ブロックまたは検出ブロック
をそれぞれ表し、ｊ Ｗ_A，Ｗ_Bであるから、ｘ＋ｊは、
基準ブロックＷ_Aを構成する画素を表し、ｙ＋ｊは、画
素ｘ＋ｊに対応する、検出ブロックＷ_Bを構成する画素
を、それぞれ表す。また、Ｙ_A（ｘ＋ｊ）またはＹ_B（ｙ
＋ｊ）は、それぞれ、画素ｘ＋ｊまたはｙ＋ｊの画素値
を表す。

【００４１】式（１）を用いる場合においては、例え
ば、画素ｙを、エピポーラライン上に設定された設定点
に順次ずらしながら、評価値Ｓ（ｘ，ｙ）を計算し、そ
の評価値Ｓ（ｘ，ｙ）を最も小さくする検出カメラ画像
の画素ｙ（＝ｙ_min）が、基準カメラ画像の画素ｘの対
応点として検出される。なお、視差は、画素ｘとｙ_min
との位置から計算される。

【００４２】また、例えば、基準ブロックを構成する画
素と、それぞれの画素に対応する、検出ブロックを構成
する画素の画素値の差分の自乗和を評価関数として用い
る場合、その評価値は、例えば、次式で計算することが
できる。

【００４３】

【数２】 ・・・（２） なお、式（２）において、ｘ，ｙは、画素のｘ座標、ｙ
座標をそれぞれ表し、η，ξは、ｘ方向の視差、ｙ方向
の視差をそれぞれ表す。そして、ＳＳＤ（ｘ，ｙ，η，
ξ）は、視差が（η，ξ）であると仮定した場合の評価
値、即ち、基準カメラ画像上の座標（ｘ，ｙ）に位置す
る画素を中心とする基準ブロックと、検出カメラ画像上
の座標（ｘ−η，ｙ−ξ）に位置する画素を中心とする
検出ブロックとの相関性を示す評価値を表す。また、Ｗ
_AまたはＷ_Bは、基準ブロックまたは検出ブロックをそれ
ぞれ表し、ｉ，ｊ Ｗ_A，Ｗ_Bであるから、（ｘ＋ｉ，ｙ
＋ｊ）または（ｘ＋ｉ−η，ｙ＋ｊ−ξ）は、基準カメ
ラ画像または検出カメラ画像上の座標をそれぞれ表す。
そして、Ｙ_A（ｘ＋ｉ，ｙ＋ｊ）は、基準カメラ画像上
の座標（ｘ＋ｉ，ｙ＋ｊ）に位置する画素の画素値を表
し、Ｙ_B（ｘ＋ｉ−η，ｙ＋ｊ−ξ）は、検出カメラ画
像上の座標（ｘ＋ｉ−η，ｙ＋ｊ−ξ）に位置する画素
の画素値を表す。

【００４４】式（２）を用いる場合には、視差（η，
ξ）を変化させならが、評価値ＳＳＤ（ｘ，ｙ，η，
ξ）を計算し、その評価値ＳＳＤ（ｘ，ｙ，η，ξ）を
最も小さくする検出カメラ画像の画素（ｘ−η，ｙ−
ξ）が、基準カメラ画像の画素（ｘ，ｙ）の対応点とし
て検出される。なお、評価値ＳＳＤ（ｘ，ｙ，η，ξ）
を最も小さくするときの視差（η，ξ）を、（η_min，
ξ_min）と表すと、基準カメラの画素と、その対応点と
の距離としての視差ζは、次式で求められる。

【００４５】

【数３】 ・・・（３）

【００４６】ここで、式（１）および（２）に示した評
価値は、基準ブロックを構成する画素と、それぞれの画
素に対応する、検出ブロックの画素との画素値の差が少
ないほど小さくなる。従って、基準カメラ画像の画素ｎ
_aについての評価値を最も小さくする検出カメラ画像の
画素ｎ_bについては、その評価値が小さいほど、画素ｎ_a
の対応点であることの確実性が大きく、逆に、その評価
値が大きいほど、画素ｎ_aの対応点であることの確実性
が低くなることになる。

【００４７】次に、例えば、図７（Ａ）に示すように、
背景となる壁の前方（基準カメラ１および検出カメラ２
から見て手前）に置かれた対象物３を、基準カメラ１お
よび検出カメラ２で撮影し、エピポーララインを用いて
エリアベースマッチングを行うことにより、対応点の検
出を行う場合を考える。

【００４８】ここで、上述したように、視差を求めるこ
ととと、対象物３までの距離を求めることとは等価であ
り、以下では、対応点から、例えば、図６（Ａ）に示し
たような設定点／距離対応テーブルを参照して、距離を
求めるものとして、説明を行う。さらに、以下では、例
えば、式（１）の評価値を用いることとする。

【００４９】図７（Ａ）に示した場合においては、基準
カメラ１または検出カメラ２それぞれから、例えば、図
７（Ｂ）に示すような基準カメラ画像または検出カメラ
画像が得られる。

【００５０】そして、いま、図７（Ｂ）に示した基準カ
メラ画像において、図８（Ａ）に示すように、対象物３
の投影像である前景に接する背景の画素ｋ（図８（Ａ）
において、■印で示す）の対応点ｋ’を検出することを
考える。

【００５１】この場合、例えば、画素ｋと対応点ｋ’と
の間の視差ζが大きいと、図８（Ｂ）に示すように、基
準カメラ画像において前景に接する背景の画素ｋの、検
出カメラ画像上の真の対応点ｋ’が、対象物３の投影像
である前景から離れた位置に観察されることがある。

【００５２】このような場合においては、基準カメラ画
像の画素ｋを中心画素とする基準ブロックは、図８
（Ｃ）に示すように、一部に前景の画素を含み、残りに
背景の画素を含むものとなる。なお、図８（Ｃ）の実施
の形態では、画素ｋを中心とする５×５画素（横×縦）
が、基準ブロックとして構成されており、左側の２列が
前景の画素で、右側の３列が背景の画素で、それぞれ構
成されている。

【００５３】図８（Ｃ）に示した場合において、基準ブ
ロックの左側の２列と、右側の３列にそれぞれ対応する
検出カメラ画像の画素は、図８（Ｄ）に示すように、２
カ所に分かれる。即ち、基準ブロックの、前景の画素で
なる左側の２列は、検出カメラ画像における前景の画素
群Ａに対応する。一方、基準ブロックの、背景の画素で
なる右側の３列は、検出カメラ画像における真の対応点
ｋ’の部分の背景の画素群Ｂに対応する。

【００５４】そして、このように、基準ブロックを構成
する画素に対応する検出カメラ画像の画素が分かれる場
合においては、基準ブロックについて計算される評価値
が、画素群Ｂを含む検出ブロックを対象としたときより
も、画素群Ａを含む検出ブロックを対象としたときの方
が小さくなることがある。即ち、図８（Ｅ）に示すよう
に、検出カメラ画像において、前景に接する背景の画素
ｋ’’を中心として構成される検出ブロックが、基準ブ
ロックとの間の評価値を最も小さくすることがある。こ
の場合、真の対応点ｋ’ではない点ｋ’’が、画素ｋの
対応点として検出され、従って、対応点を誤検出するこ
とになり、その誤検出に起因して、画素ｋに対応する３
次元空間上の点までの距離も、誤った値が求められるこ
とになる。即ち、上述のような対応点の誤検出がある
と、画素ｋに対応する３次元空間上の点までの距離は、
前景を構成する対象物３までの距離に近い値となって求
められる。そして、その結果、そのような距離を画素値
とする距離画像は、対象物３の横幅が広がったようなも
のとなる。

【００５５】ここで、以上のような対応点の誤検出は、
前景と背景の絵柄が異なっている場合に比較的生じやす
く、さらに、その絵柄が大きく異なっている場合には、
特に生じやすい。

【００５６】上述のような対応点の誤検出は、基準ブロ
ック（従って、検出ブロックも）を小さくする（基準ブ
ロックを構成する画素数を少なくする）ことにより低減
することができるが、これでは、エリアベースマッチン
グによる対応点の検出の確実性が低下する。

【００５７】そこで、図１の距離測定装置の演算処理回
路６では、次のような距離の補正処理を行うことで、エ
リアベースマッチングによる対応点の検出の確実性を保
ちつつ、上述のような前景と背景の境界部分、即ち、エ
ッジ部分で生じる対応点の誤検出に起因する距離への影
響を低減するようになされている。

【００５８】即ち、演算処理回路６では、まず最初に、
上述したようなステレオ処理により、基準カメラ画像の
各画素について、検出カメラ画像の各画素が、式（１）
に示した評価関数による評価値を用いてエリアベースマ
ッチング法により対応付けられ（対応点が検出され）、
基準カメラ画像の各画素に対応する３次元空間上の点ま
での距離が求められる。これにより、その距離を画素値
とする距離画像が生成される。

【００５９】次に、図９（Ａ）に示すように、基準カメ
ラ画像の画素ｋを中心とする、その画素ｋの距離を補正
するのに最適な画素（以下、適宜、最尤画素という）を
検索する領域（範囲）としての小ブロック（以下、適
宜、検索ブロックという）（図９（Ａ）において点線で
囲んで示す）（第３のブロック）が構成される。なお、
図９（Ａ）では、検索ブロックは、画素ｋについて構成
される基準ブロックと同一とされている。

【００６０】さらに、検索ブロックを構成する画素のう
ち、評価値の最小値が最も小さいものが、最尤画素とし
て選択（検出）される。即ち、基準カメラ画像の画素ｋ
を中心とする検索ブロックに含まれる画素それぞれを中
心とする基準ブロックそれぞれと、その検索ブロックに
含まれる画素それぞれについて検出された検出カメラ画
像上の対応点それぞれを中心とする検出ブロックそれぞ
れとの間の評価値の中で、最も小さい値が得られている
検索ブロック内の画素が、対応点との対応付けが最も確
からしく行われているものであるとして、その画素が、
最尤画素として検出される。なお、図９（Ａ）では、画
素ｋを中心とする検索ブロックの最も右上の画素ｋ
₂が、最尤画素として検出されている。

【００６１】そして、距離画像の画素ｋの画素値として
の距離を、その画素ｋについて検出された最尤画素の画
素値となっている距離で、例えば置換することで、画素
ｋの画素値としての距離が補正される。即ち、図９
（Ａ）では、画素ｋについての距離（画素値）は、その
検索ブロックの最も右上の画素ｋ₂を最尤画素として、
その最尤画素ｋ₂についての距離（画素値）に置き換え
られる。

【００６２】従って、この補正処理では、基準カメラ画
像における前景と背景との境界（エッジ）部分の画素ｋ
について誤検出された、検出カメラ画像の対応点ｋ’’
（図８）を無視する一方、例えば、図９（Ｂ）に示すよ
うに、対応点の誤検出が生じやすいエッジ部分を避け
て、背景の画素と前景の画素とが混在しない基準ブロッ
クを用いてエリアベースマッチングを行うことにより検
出された対応点から求められた距離が、画素ｋの真の対
応点ｋ’から求められる距離にほぼ等しいと推定し、そ
のような、いわば、より確からしい距離で、対応点が誤
検出された画素についての距離が置き換えられる。

【００６３】即ち、図９において、画素ｋについては、
前景の画素と背景の画素とを含む基準ブロックが構成さ
れるが（図９（Ａ））、その近くにある画素ｋ₂につい
ては、背景の画素だけで基準ブロックが構成される（図
９（Ｂ））。このため、画素ｋの対応点が誤検出される
可能性は高い一方で、画素ｋ₂の対応点が誤検出される
可能性は低いため、画素ｋについての距離は、より正確
である可能性が高い画素ｋ₂についての距離に置き換え
られる。

【００６４】なお、検索ブロックの大きさは特に限定さ
れるものではないが、あまり大きいと、画素ｋからの距
離が遠い位置にある画素についての距離による置き換え
が行われる場合がある。そして、そのような遠い位置に
ある画素についての距離が、画素ｋについての真の距離
にほぼ等しいとは推定し難いため、検索ブロックの大き
さはあまり大きくしない方が望ましい。一方、検索ブロ
ックの大きさが小さすぎると、基準カメラ画像におい
て、背景の画素と前景の画素とが混在しない基準ブロッ
ク（対応点の誤検出が生じやすいエッジ部分を避けた基
準ブロック）が構成される画素が、画素ｋの検索ブロッ
クに含まれなくなる。即ち、検索ブロックに、対応点の
誤検出の可能性の低い画素が含まれなくなり、その結
果、誤った対応点から求められた誤った距離による置き
換えが行われる場合が生じる。従って、検索ブロックの
大きさは、あまり小さくしない方が望ましい。即ち、検
索ブロックは、以上のような不都合が生じないように、
適切な大きさとするのが望ましい。

【００６５】また、距離画像を構成する画素の画素値と
しての距離の補正は、その距離画像を構成する画素すべ
てを、順次、補正の対象として行うことも可能である
が、補正の対象とする画素（以下、適宜、補正対象画素
という）を選択して行うことも可能である。この点につ
いては、後述する。

【００６６】次に、図１０は、上述のようなステレオ処
理および補正処理を行う図１の演算処理回路６の機能的
構成例を示している。なお、この機能的構成は、例え
ば、演算処理回路６が、記憶装置７に記憶されたアプリ
ケーションプログラムを実行することで実現される。

【００６７】ステレオ処理部１１（検出手段）（処理手
段）は、フレームメモリ５に記憶された基準カメラ画像
および検出カメラ画像を読み出し、ステレオ処理を行う
ことで、距離画像等を求めるようになされている。即
ち、ステレオ処理部１１は、エピポーララインを用いて
エリアベースマッチングを行うことにより、基準カメラ
画像の画素それぞれと対応する、検出カメラ画像の対応
点を検出し、その対応点に基づき、基準カメラ画像の各
画素について、その画素に投影された３次元空間上の点
までの距離を求める。そして、ステレオ処理部１１は、
その距離を画素値とする距離画像や、対応点を検出する
ときに得られた評価値を、距離画像記憶部１２に供給す
る。

【００６８】距離画像記憶部１２は、ステレオ処理部１
１から供給される距離画像および評価値を記憶するよう
になされている。

【００６９】補正対象画素選択部１３（選択手段）は、
距離画像記憶部１２に記憶された距離画像を構成する画
素から、その画素値となっている距離の補正を行う対象
（補正処理の対象）とする補正対象画素を選択し、補正
部１４に指示するようになさている。補正部１４（補正
手段）は、距離画像記憶部１２に記憶された距離画像を
構成する画素のうち、補正対象画素選択部１３から補正
対象画素として指示のあったものを対象に、その画素値
としての距離を補正するようになされている。

【００７０】距離画像記憶部１５は、距離画像記憶部１
２に記憶された距離画像の、補正部１４による補正後の
ものを記憶するようになされている。

【００７１】次に、図１１のフローチャートを参照し
て、図１０の演算処理回路６が行うステレオ処理につい
て説明する。なお、ステレオ処理は、上述のように、ス
テレオ処理部１１で行われる。

【００７２】上述のように、基準カメラ１または検出カ
メラ２それぞれでは、対象物３が撮影され、その結果得
られる、例えば１フレームの基準カメラ画像または検出
カメラ画像がフレームメモリ５に供給されて記憶され
る。

【００７３】フレームメモリ５に、基準カメラ画像およ
び検出カメラ画像が記憶されると、ステップＳ１におい
て、基準カメラ画像（および距離画像）を構成する画素
を表す変数ｉが、例えば、１に初期化され（ｉ＝１は、
例えば、基準カメラ画像の最も左上の画素を表す）、ス
テップＳ２に進む。ステップＳ２では、基準カメラ画像
の画素ｉについてのエピポーラライン（３次元空間の対
象物上の点と、基準カメラ１の光学中心Ｏ₁とを結ぶ直
線を、検出カメラ画像（撮像面Ｓ₂）上に投影したも
の）上にあらかじめ設定された設定点に対応する距離番
号ｊが、例えば、１に初期化され、ステップＳ３に進
む。

【００７４】ここで、基準カメラ画像の各画素について
の、検出カメラ画像上におけるエピポーララインの検出
や設定点の設定は、例えば、基準カメラ１および検出カ
メラ２のキャリブレーション時に行われているものとす
る。なお、３次元空間におけるエピポーラライン上の、
距離番号ｊとｊ＋１に対応する設定点どうし（隣接する
設定点どうし）の距離は、例えば、図１の距離測定装置
に対して要求される距離分解能にしたがって決定され
る。

【００７５】ステップＳ３では、基準カメラ画像の画素
ｉについてのエピポーラライン上の距離番号ｊに対応す
る設定点の画素ｎ（ｉ，ｊ）が、検出カメラ画像から検
出される。なお、画素ｎ（ｉ，ｊ）は、サブピクセルの
精度とすることもできる。また、距離番号ｊと、それに
対応する設定点ｎ（ｉ，ｊ）との関係は、例えば、キャ
リブレーション時に求めておき、テーブル（ルックアッ
プテーブル）にしておくことで、距離番号ｊに対応する
設定点の画素ｎ（ｉ，ｊ）は即座に求めることができ
る。

【００７６】そして、ステップＳ４に進み、基準カメラ
画像の画素ｉを中心とする基準ブロックＷＡ（ｉ）が、
基準カメラ画像から抽出される（切り出される）ととも
に、検出カメラ画像の画素ｎ（ｉ，ｊ）を中心とする検
出ブロックＷＢ（ｉ，ｊ）が、検出カメラ画像から抽出
され、ステップＳ５に進む。

【００７７】ステップＳ５では、基準ブロックＷＡ
（ｉ）を構成する画素と、検出ブロックＷＢ（ｉ，ｊ）
を構成する画素とを用い、例えば、式（１）で定義され
る評価値Ｓ（ｉ，ｎ（ｉ，ｊ））が計算され、ステップ
Ｓ６に進む。ここで、以下、適宜、評価値Ｓ（ｉ，ｎ
（ｉ，ｊ））を、Ｓ（ｊ）と表す。なお、式（１）で
は、画素の輝度値を用いて、評価値Ｓ（ｊ）が計算され
るから、評価値Ｓ（ｊ）は、基準ブロックＷＡ（ｉ）を
構成する画素と、検出ブロックＷＢ（ｉ，ｊ）を構成す
る画素との間の輝度値に関する類似性を表すということ
ができる。また、このように、評価値Ｓ（ｊ）を、輝度
値を用いて計算する場合には、基準カメラ画像および検
出カメラ画像は、輝度成分を有すれば良いから、基準カ
メラ１および検出カメラ２としては、輝度信号のみでな
る濃淡画像を出力する（色信号を出力しない）、いわゆ
る白黒カメラを用いることができる。但し、式（１）に
よる評価値の計算には、輝度信号だけでなく、色差信号
も用いるようにすることが可能である。

【００７８】ステップＳ６では、距離番号ｊが、その最
大値Ｊに等しいかどうかが判定され、等しくないと判定
された場合、ステップＳ７に進み、距離番号ｊが１だけ
インクリメントされる。そして、ステップＳ３に戻り、
以下、ステップＳ３乃至Ｓ７の処理が繰り返される。即
ち、これにより、画素ｉについてのエピポーラライン上
に設定されたすべての設定点について、画素ｉとの相関
（ここでは、式（１）で表される評価値）が計算され
る。

【００７９】一方、ステップＳ６において、距離番号ｊ
が最大値Ｊに等しいと判定された場合、即ち、画素ｉに
ついてのエピポーラライン上に設定されたすべての設定
点について、画素ｉとの評価値Ｓ（ｊ）が計算された場
合、ステップＳ８に進み、評価値Ｓ（ｊ）を最小にする
（相関を最大にする）距離番号ｊが求められる。ここ
で、この評価値Ｓ（ｊ）を最小にする（相関を最大にす
る）距離番号ｊを、以下、適宜、最小距離番号ｊ_maxと
表す。

【００８０】なお、最小距離番号ｊ_maxに対応する設定
点ｎ（ｉ，ｊ_max）が、画素ｉの対応点であり、従っ
て、最小距離番号ｊ_maxを求めることは、対応点ｎ
（ｉ，ｊ_max）を検出することと等価である。

【００８１】また、距離番号ｊは、ここでは、整数の値
をとるが、図５で説明したような補間を行うことで、小
数の値をとる最小距離番号ｊ_maxを求めるようにするこ
とも可能である。

【００８２】その後、ステップＳ９に進み、最小距離番
号ｊ_maxから特定される距離が、距離画像を構成する画
素ｉについての画素値として、ステレオ処理部１１から
距離画像記憶部１２に供給されて記憶される。さらに、
ステップＳ１０に進み、評価値Ｓ（ｊ_max）が、距離画
像記憶部１２に供給され、画素ｉの最終的な評価値Ｓ
（ｉ）として、その画素ｉについての距離と対応付けら
れて記憶され、ステップＳ１１に進む。

【００８３】ステップＳ１１では、画素ｉが、基準カメ
ラ画像を構成する最後の画素（例えば、基準カメラ画像
の最も右下の画素）Ｉに等しいかどうかが判定され、等
しくないと判定された場合、ステップＳ１２に進み、変
数ｉが１だけインクリメントされ、ステップＳ２に戻
る。そして、次に処理すべき画素（例えば、いま処理対
象とされていた画素の、ラインスキャン順で次の画素）
ｉを対象に、以下、同様の処理が繰り返される。

【００８４】また、ステップＳ１１において、画素ｉ
が、基準カメラ画像を構成する最後の画素Ｉに等しいと
判定された場合、即ち、基準カメラ画像を構成する画素
すべてについて距離と評価値（最終的な評価値）Ｓ（ｊ
_max）が求められた場合、ステレオ処理を終了する。

【００８５】なお、図１１では、基準カメラ画像を構成
するすべての画素について、ステレオ処理を行うように
したが、ステレオ処理は、基準カメラ画像を構成する一
部の画素のみを対象に行うようにすることも可能であ
る。

【００８６】次に、図１２のフローチャートを参照し
て、図１０の演算処理回路６が行う補正処理について説
明する。なお、補正処理は、ステレオ処理が行われた
後、補正対象画素選択部１３および補正部１４において
行われる。

【００８７】補正処理では、まず最初に、ステップＳ２
１において、距離画像（および基準カメラ画像）を構成
する画素を表す変数ｉが、例えば、１に初期化され、ス
テップＳ２２に進む。ステップＳ２２では、補正対象画
素選択部１３において、距離画像記憶部１２に記憶され
ている、画素ｉの評価値Ｓ（ｉ）（図１１のステップＳ
１０で記憶された最終的な評価値Ｓ（ｉ））が読み出さ
れ、その評価値Ｓ（ｉ）が、所定の閾値εよりも小さい
かどうかが判定される。

【００８８】ステップＳ２２において、画素ｉの評価値
Ｓ（ｉ）が閾値εより小さいと判定された場合、即ち、
基準カメラ画像の画素ｉについて、対応点を検出した際
の評価値の最小値Ｓ（ｉ）（図１１で説明したＳ（ｊ
_max）に等しい）が、所定の閾値εより小さく、従っ
て、検出した対応点が、真の対応点である確実性が高い
場合、ステップＳ３１に進む。ステップＳ３１では、補
正部１４は、画素ｉの距離Ｚ（ｉ）を距離画像記憶部１
２から読み出して、距離画像記憶部１５に供給して記憶
させ、ステップＳ２９に進む。従って、この場合、ステ
レオ処理で求められた、画素ｉについての距離Ｚ（ｉ）
の補正は行われない。

【００８９】一方、ステップＳ２２において、画素ｉの
評価値Ｓ（ｉ）が閾値εより小さくないと判定された場
合、即ち、基準カメラ画像の画素ｉについて、対応点を
検出した際の評価値の最小値Ｓ（ｉ）が、所定の閾値ε
以上であり、従って、検出した対応点が、真の対応点で
ある確実性が低い場合、ステップＳ２３に進み、以下、
ステレオ処理で求められた、画素ｉについての距離の補
正が、図９で説明したようにして行われる。

【００９０】即ち、補正対象画素選択部１３では、画素
ｉが補正対象画素として選択され、補正部１４に知らさ
れる。補正部１４は、補正対象画素選択部１３から、画
素ｉが補正対象画素であるとの知らせを受けると、ステ
ップＳ２３において、画素ｉを中心とする検索ブロック
Ｗ内の画素を表す変数ｊが、例えば、その検索ブロック
Ｗ内の最も左上の画素を表す値ｊ₀に初期化される。さ
らに、ステップＳ２３では、補正部１４において、距離
画像記憶部１２を参照することで、検索ブロックＷ内の
画素の最小の評価値を保持する変数Ｓ_minが、例えば、
画素ｊ₀の評価値Ｓ（ｊ₀）に初期化されるとともに、距
離を保持する変数Ｚが、例えば、画素ｊ₀についての距
離Ｚ（ｊ₀）に初期化される。

【００９１】そして、ステップＳ２４に進み、補正部１
４は、画素ｊについての評価値Ｓ（ｊ）を、距離画像記
憶部１２から読み出し、変数Ｓ_minが、評価値Ｓ（ｊ）
より小さいかどうかを判定する。ステップＳ２４におい
て、変数Ｓ_minが、評価値Ｓ（ｊ）より小さくないと判
定された場合、即ち、評価値Ｓ（ｊ）が、変数Ｓ_min以
下である場合、ステップＳ２５に進み、補正部１４は、
変数Ｓ_minに、評価値Ｓ（ｊ）を新たにセットするとと
もに、変数Ｚに、画素ｊについての距離Ｚ（ｊ）を新た
にセットし、ステップＳ２６に進む。

【００９２】また、ステップＳ２４において、変数Ｓ
_minが、評価値Ｓ（ｊ）より小さいと判定された場合、
ステップＳ２５をスキップして、ステップＳ２６に進
み、画素ｊが、検索ブロックＷ内の最後の画素（例え
ば、検索ブロックＷの最も右下の画素）であるかどうか
が判定される。ステップＳ２６において、画素ｊが、検
索ブロックＷ内の最後の画素でないと判定された場合、
ステップＳ２７に進み、変数ｊに、検索ブロックＷ内の
画素の中で、まだ、評価値が、変数Ｓ_minと比較されて
いないものを表す値がセットされ（例えば、検索ブロッ
クＷの画素のうち、いま処理の対象となっている画素
の、ラインスキャン順で次の画素を表す値がセットさ
れ）、ステップＳ２４に戻る。そして、ステップＳ２６
において、画素ｊが、検索ブロックＷ内の最後の画素で
あると判定されるまで、ステップＳ２４乃至Ｓ２７の処
理が繰り返される。即ち、これにより、変数Ｓ_minに
は、検索ブロックＷ内の画素の評価値のうちの最小値、
つまり最尤画素の評価値がセットされ、変数Ｚには、そ
の最尤画素についての距離がセットされる。

【００９３】そして、ステップＳ２６において、画素ｊ
が、検索ブロックＷ内の最後の画素であると判定される
と、ステップＳ２８に進み、補正部１４は、距離画像記
憶部１２に記憶された画素ｉについての距離Ｚ（ｉ）
を、最尤画素の距離Ｚに置き換えることで補正し、ステ
ップＳ２９に進む。即ち、補正部１４は、距離画像記憶
部１５に、画素ｉの距離として、最尤画素の距離Ｚを書
き込み、ステップＳ２９に進む。

【００９４】ステップＳ２９では、図１１のステップＳ
１１における場合と同様に、画素ｉが、距離画像を構成
する最後の画素Ｉに等しいかどうかが判定され、等しく
ないと判定された場合、ステップＳ３０に進み、変数ｉ
が１だけインクリメントされ、ステップＳ２２に戻る。
従って、この場合、次に処理すべき画素ｉを対象に、以
下、同様の処理が繰り返される。

【００９５】また、ステップＳ２９において、画素ｉ
が、距離画像を構成する最後の画素Ｉに等しいと判定さ
れた場合、補正処理を終了する。

【００９６】以上のように、評価値が所定の閾値εをよ
り小さくない画素を補正対象画素として選択し、その補
正対象画素の距離を、検索ブロック内で評価値が最小の
画素の距離に置き換えることで補正するようにした場合
には、検出された対応点が真の対応点である確実性が低
い画素の距離が、その画素の近傍の画素であって、検出
された対応点が真の対応点である確実性が最も高いもの
の距離に置き換えられるので、エリアベースマッチング
による対応点の検出の確実性を保ちつつ、図８で説明し
たような前景と背景の境界部分、即ち、エッジ部分で生
じる対応点の誤検出に起因する距離への影響を低減し、
比較的正確な距離を得ることができる。

【００９７】なお、距離画像を構成する画素を、補正対
象画素とするか否かの判定に用いる評価値の閾値εは、
例えば、実験等により最適な値に設定する。あるいは、
また、閾値εは、フレームメモリ５に記憶された基準カ
メラ画像および検出カメラ画像の画素値から、適応的に
設定するようにすることも可能である。

【００９８】次に、上述のように、評価値が所定の閾値
εより小さくない画素を補正対象画素として選択し、そ
の補正対象画素の距離を、検索ブロック内で評価値が最
小の画素（最尤画素）の距離に置き換える場合には、評
価値にそれほど大きな差がないのに、その最尤画素を含
んで構成される検索ブロックの中心に位置する画素の距
離が、その最尤画素の距離に置き換えられることがあ
る。従って、例えば、あるひとかたまりの画素それぞれ
の評価値が、いずれも、閾値εより幾分大きく、かつ、
そのひとかたまりの画素の周辺に、評価値が閾値εより
幾分小さい画素が存在すると、そのひとかたまりの画素
それぞれの距離が、その周辺にある評価値の小さな画素
の距離に置き換えられる。この場合、そのひとかたまり
の画素それぞれの距離が、同一の距離とされるため、距
離画像に、ブロック状の歪みが生じる。

【００９９】即ち、図１３に示すように、例えば、円柱
などの、距離（奥行き）が連続して変化する対象物３に
ついて得られた距離画像に対して、図１２で説明した補
正処理を施した場合には、円柱の側面のある点を投影し
た点が補正対象画素とされ、その補正対象画素とされた
画素の距離と最尤画素の距離とが連続して変化していて
も（その２つの距離の間に大きな差はないが、幾分かの
差がある）、その補正対象画素の距離が、それを中心と
する検索ブロック内の最尤画素の距離に置換されること
がある。この場合、補正対象画素とされた画素の距離
と、最尤画素の距離とが同一となるため、円柱の側面に
おける距離の滑らかな変化（距離の連続性）が失われ
る。

【０１００】そこで、補正処理は、ある画素の距離と、
その画素を中心とする検索ブロック内の最尤画素との距
離との差が、ある程度大きい場合に、その画素を補正対
象画素として行うようにすることができる。この場合、
ある画素の距離と、その画素を中心とする検索ブロック
内の最尤画素との距離との差が小さいときには、その画
素は補正対象画素とされなくなり、その結果、例えば、
上述したような円柱の側面などにおける距離の連続性が
失われることを防止し、エッジ部分で生じる対応点の誤
検出に起因する距離への影響のみを低減することが可能
となる。

【０１０１】即ち、図１４は、図１０の演算処理回路６
に、そのような補正処理を行わせる場合のフローチャー
トを示している。

【０１０２】この場合、まず最初に、ステップＳ４１に
おいて、距離画像（および基準カメラ画像）を構成する
画素を表す変数ｉが、例えば、１に初期化され、ステッ
プＳ４３に進む。ステップＳ４３では、図１２のステッ
プＳ２３における場合と同様に、画素ｉを中心とする検
索ブロックＷ内の画素を表す変数ｊが、例えば、その検
索ブロックＷ内の最も左上の画素を表す値ｊ₀に初期化
され、検索ブロックＷ内の画素の最小の評価値を保持す
る変数Ｓ_minが、例えば、画素ｊ₀の評価値Ｓ（ｊ₀）に
初期化されるとともに、距離を保持する変数Ｚが、例え
ば、画素ｊ₀についての距離Ｚ（ｊ₀）に初期化される。

【０１０３】そして、ステップＳ４４に進み、以下、ス
テップＳ４４乃至４７において、図１２のステップＳ２
４乃至Ｓ２７それぞれにおける場合と同様の処理が行わ
れることで、変数Ｓ_minには、検索ブロックＷ内の画素
の評価値のうちの最小値、即ち、最尤画素の評価値がセ
ットされ、変数Ｚには、その最尤画素についての距離が
セットされる。

【０１０４】変数Ｓ_minに、最尤画素の評価値がセット
されるとともに、変数Ｚに、その最尤画素についての距
離がセットされると、ステップＳ４６からステップＳ４
８に進み、補正対象画素選択部１３において、距離画像
記憶部１２から、画素ｉの距離Ｚ（ｉ）が読み出され、
その距離Ｚ（ｉ）と変数Ｚとの差の絶対値（＝｜Ｚ
（ｉ）−Ｚ｜）が、所定の閾値Ｔｈより小さいかどうか
が判定される。

【０１０５】ステップＳ４８において、画素ｉの距離Ｚ
（ｉ）と変数Ｚとの差の絶対値が、閾値Ｔｈより小さく
ないと判定された場合、即ち、画素ｉの距離Ｚ（ｉ）
と、その画素ｉを中心とする検索ブロックＷ内の最尤画
素との距離Ｚとの差が、ある程度大きい場合、補正対象
画素選択部１３は、画素ｉを補正対象画素として選択
し、その旨を、補正部１４に知らせる。補正部１４は、
補正対象画素選択部１３から、画素ｉが補正対象画素で
あるとの知らせを受けると、ステップＳ４９に進み、距
離画像記憶部１２に記憶された画素ｉについての距離Ｚ
（ｉ）を、最尤画素の距離Ｚに置き換えることで補正
し、即ち、距離画像記憶部１５に、画素ｉの距離とし
て、最尤画素の距離Ｚを書き込み、ステップＳ５０に進
む。

【０１０６】また、ステップＳ４８において、画素ｉの
距離Ｚ（ｉ）と変数Ｚとの差の絶対値が、閾値Ｔｈより
小さいと判定された場合、補正対象画素選択部１３は、
画素ｉを補正対象画素として選択しないで、ステップＳ
５２に進む。ステップＳ５２では、補正部１４は、画素
ｉの距離Ｚ（ｉ）を距離画像記憶部１２から読み出し
て、距離画像記憶部１５に供給して記憶させ、ステップ
Ｓ５０に進む。従って、この場合、ステレオ処理で求め
られた、画素ｉについての距離Ｚ（ｉ）の補正は行われ
ない。

【０１０７】ステップＳ５０では、図１２のステップＳ
２９における場合と同様に、画素ｉが、距離画像を構成
する最後の画素Ｉに等しいかどうかが判定され、等しく
ないと判定された場合、ステップＳ５１に進み、変数ｉ
が１だけインクリメントされ、ステップＳ４３に戻る。
そして、次に処理すべき画素ｉを対象に、以下、同様の
処理が繰り返される。

【０１０８】また、ステップＳ５０において、画素ｉ
が、距離画像を構成する最後の画素Ｉに等しいと判定さ
れた場合、補正処理を終了する。

【０１０９】なお、距離画像を構成する画素を、補正対
象画素とするか否かの判定に用いる距離の閾値Ｔｈは、
例えば、実験等により最適な値に設定し、あるいは、距
離画像記憶部５に記憶された距離画像の画素の画素値と
しての距離から、適応的に設定することが可能である。

【０１１０】また、図１４の実施の形態では、ある画素
ｉの距離Ｚ（ｉ）と、その画素ｉを中心とする検索ブロ
ックＷ内の最尤画素との距離との差が、閾値Ｔｈ以上の
場合にのみ、その画素ｉを補正対象画素として選択する
ようにしたが、ある画素ｉの距離Ｚ（ｉ）と、その画素
ｉを中心とする検索ブロックＷ内の最尤画素との距離と
の差が、閾値Ｔｈ以上であり、かつ画素ｉの評価値Ｓ
（ｉ）が閾値ε以上の場合に、その画素ｉを補正対象画
素として選択することも可能である。この場合の補正処
理は、図１５のフローチャートに示すようになる。即
ち、そのような補正対象画素の選択は、図１４のステッ
プＳ４１の処理後に、図１２のステップＳ２２と同様
に、画素ｉの評価値Ｓ（ｉ）が、閾値εよりも小さいか
どうかを判定するステップＳ４２を設け、画素ｉの評価
値Ｓ（ｉ）が、閾値εよりも小さくない場合には、ステ
ップＳ４３に進み、小さい場合には、ステップＳ５２に
進むようにすれば良い。

【０１１１】次に、図１４の実施の形態では、ある画素
ｉを中心とする検索ブロックＷを構成する画素の評価値
どうしを比較し、検索ブロックＷの中で、最小の評価値
を有する画素（最尤画素）を見つけてから（ステップＳ
４４乃至Ｓ４７）、距離の差を考慮して、画素ｉを、補
正対象画素として選択するかどうかを判定するようにし
たが（ステップＳ４８）、その他、例えば、距離の差を
考慮して、検索ブロックの中で、最尤画素となり得る画
素を、あらかじめ選択し、その選択された画素について
だけ、評価値どうしの比較を行うようにすることが可能
である。

【０１１２】さらに、図１４の実施の形態では、画素ｉ
の距離Ｚ（ｉ）と、その画素ｉを中心とする検索ブロッ
クＷの中の最尤画素の距離Ｚとの差（の絶対値）に基づ
いて、画素ｉを、補正対象画素として選択するかどうか
を判定するようにしたが（ステップＳ４８）、その他、
例えば、画素ｉの、基準カメラ画像における輝度や色情
報（例えば、彩度や色相など）などの画素値にも基づい
て、画素ｉを、補正対象画素として選択するかどうかを
判定するようにすることが可能である。

【０１１３】即ち、図１６は、図１０の演算処理回路６
に、そのような補正処理を行わせる場合のフローチャー
トを示している。

【０１１４】この場合、まず最初に、ステップＳ６１に
おいて、距離画像（および基準カメラ画像）を構成する
画素を表す変数ｉが、例えば、１に初期化され、ステッ
プＳ６２に進む。ステップＳ６２では、補正対象画素選
択部１３において、画素ｉの基準カメラ画像上の画素値
としての、例えば、輝度Ｙ（ｉ）が、フレームメモリ５
から、図１０において点線で示すように読み出される。
さらに、補正対象画素選択部１３は、ステップＳ５２に
おいて、距離画像記憶部１２から、画素ｉの距離Ｚ
（ｉ）を読み出し、ステップＳ６３に進む。

【０１１５】ステップＳ６３では、補正対象画素選択部
１３において、図１２のステップＳ２３における場合と
同様に、画素ｉを中心とする検索ブロックＷ内の画素を
表す変数ｊが、例えば、その検索ブロックＷ内の最も左
上の画素を表す値ｊ₀に初期化される。さらに、補正対
象画素選択部１３は、ステップＳ６３において、変数Ｓ
_minまたはＺを、評価値または距離としてそれぞれ取り
得ない値である、例えば、−１に初期化し、ステップＳ
６４に進む。

【０１１６】ステップＳ６４では、補正対象画素選択部
１３において、画素ｊの、基準カメラ画像上の輝度Ｙ
（ｊ）が、フレームメモリ５から読み出されるととも
に、その距離Ｚ（ｊ）が、距離画像記憶部１２から読み
出される。さらに、ステップＳ６４では、補正対象画素
記憶部１３において、画素ｉの輝度Ｙ（ｉ）と、画素ｊ
の輝度Ｙ（ｊ）との差の絶対値（＝｜Ｙ（ｉ）−Ｙ
（ｊ）｜）が、所定の閾値Ｔｈ_Yより小さく、かつ画素
ｉの距離Ｚ（ｉ）と、画素ｊの距離Ｚ（ｊ）との差の絶
対値（＝｜Ｚ（ｉ）−Ｚ｜）が、所定の閾値Ｔｈ_Zより
大きいかどうかが判定される。

【０１１７】ここで、閾値Ｔｈ_Yは、例えば、実験等に
より最適な値に設定し、あるいは、フレームメモリ５に
記憶された基準カメラ画像および検出カメラ画像の画素
値から、適応的に設定することが可能である。また、閾
値Ｔｈ_Zは、図１４で説明した閾値Ｔｈと同様に設定す
ることが可能である。

【０１１８】ステップＳ６４において、画素ｉの輝度Ｙ
（ｉ）と、画素ｊの輝度Ｙ（ｊ）との差の絶対値が、所
定の閾値Ｔｈ_Yより小さくないか、または画素ｉの距離
Ｚ（ｉ）と、画素ｊの距離Ｚ（ｊ）との差の絶対値が、
所定の閾値Ｔｈ_Zより大きいくないと判定された場合、
ステップＳ６５乃至Ｓ６８をスキップして、ステップＳ
６９に進む。

【０１１９】また、ステップＳ６４において、画素ｉの
輝度Ｙ（ｉ）と、画素ｊの輝度Ｙ（ｊ）との差の絶対値
が、所定の閾値Ｔｈ_Yより小さく、かつ画素ｉの距離Ｚ
（ｉ）と、画素ｊの距離Ｚ（ｊ）との差の絶対値が、所
定の閾値Ｔｈ_Zより大きいと判定された場合、ステップ
Ｓ６５に進み、補正対象画素選択部１３において、変数
Ｓ_min（またはＺ）が、初期値である−１に等しいかど
うかが判定される。

【０１２０】ステップＳ６５において、変数Ｓ_minが−
１に等しいと判定された場合、ステップＳ６６に進み、
補正対象画素選択部１３は、画素ｊについての評価値Ｓ
（ｊ）を、距離画像記憶部１２から読み出し、変数Ｓ
_minにセットするとともに、画素ｊの距離Ｚ（ｊ）を、
変数Ｚにセットし、ステップＳ６９に進む。

【０１２１】また、ステップＳ６５において、変数Ｓ
_minが−１に等しくないと判定された場合、ステップＳ
６７に進み、補正対象画素選択部１３において、変数Ｓ
_minが、画素ｊについての評価値Ｓ（ｊ）より小さいか
どうかが判定される。ステップＳ６７において、変数Ｓ
_minが、評価値Ｓ（ｊ）より小さいと判定された場合、
ステップＳ６８に進み、補正対象画素選択部１３は、変
数Ｓ_minに、画素ｊについての評価値Ｓ（ｊ）をセット
するとともに、変数Ｚに、画素ｊの距離Ｚ（ｊ）をセッ
トし、ステップＳ６９に進む。

【０１２２】また、ステップＳ６７において、変数Ｓ
_minが、評価値Ｓ（ｊ）より小さくないと判定された場
合、ステップＳ６８をスキップして、ステップＳ６９に
進み、図１２のステップＳ２６における場合と同様に、
画素ｊが、検索ブロックＷ内の最後の画素であるかどう
かが判定される。ステップＳ６９において、画素ｊが、
検索ブロックＷ内の最後の画素でないと判定された場
合、ステップＳ７０に進み、図１２のステップＳ２７に
おける場合と同様に、変数ｊに、検索ブロックＷ内の画
素の中で、まだ、評価値が、変数Ｓ_minと比較されてい
ないものを表す値がセットされ、ステップＳ６４に戻
る。そして、ステップＳ６９において、画素ｊが、検索
ブロックＷ内の最後の画素であると判定されるまで、ス
テップＳ６４乃至Ｓ７０の処理が繰り返される。

【０１２３】即ち、これにより、検索ブロックＷ内に、
その中心に位置する画素ｉの輝度Ｙ（ｉ）との差が、閾
値Ｔｈ_Y未満の輝度を有し、かつ画素ｉの距離Ｚ（ｉ）
との差が、閾値Ｔｈ_Zより大きい画素ｊが存在すれば、
その画素ｊが、画素ｉの距離Ｚ（ｉ）の補正に用いるの
に適切な画素（以下、適宜、適切画素という）として選
択される。そして、検索ブロックＷの中の適切画素のう
ち、評価値が最も小さいものが、最尤画素として選択さ
れ、その最尤画素の評価値または距離が、変数Ｓ_{mi n}ま
たはＺに、それぞれセットされる。

【０１２４】そして、ステップＳ６９において、画素ｊ
が、検索ブロックＷ内の最後の画素であると判定される
と、ステップＳ７１に進み、補正対象画素選択部１３
は、変数Ｓ_min（またはＺ）が、初期値である−１に等
しいかどうかを判定する。ステップＳ７１において、変
数Ｓ_minが−１に等しくないと判定された場合、即ち、
変数_minに、検索ブロックＷ内のいずれかの画素（最尤
画素）についての評価値がセットされている場合、補正
対象画素選択部１３は、画素ｉを、補正対象画素として
選択し、補正部１４に知らせ、ステップＳ７２に進む。

【０１２５】補正部１４は、補正対象画素選択部１３か
ら、画素ｉが補正対象画素であるとの知らせを受ける
と、ステップＳ７２において、距離画像記憶部１２に記
憶された画素ｉについての距離Ｚ（ｉ）を、最尤画素の
距離（変数）Ｚに置き換えることで補正し、即ち、距離
画像記憶部１５に、画素ｉの距離として、最尤画素の距
離Ｚを書き込み、ステップＳ７３に進む。

【０１２６】また、ステップＳ７１において、変数Ｓ
_minが−１に等しいと判定された場合、即ち、検索ブロ
ックＷ内に、その中心に位置する画素ｉの輝度Ｙ（ｉ）
との差が、閾値Ｔｈ_Y未満の輝度を有し、かつ画素ｉの
距離Ｚ（ｉ）との差が、閾値Ｔｈ_Zより大きい画素ｊが
存在しない場合、つまり、適切画素が存在しない場合、
ステップＳ７５に進み、補正部１４は、画素ｉの距離Ｚ
（ｉ）を距離画像記憶部１２から読み出して、距離画像
記憶部１５に供給して記憶させ、ステップＳ７３に進
む。従って、この場合、画素ｉは補正対象画素として選
択されず、その結果、その距離Ｚ（ｉ）は補正されな
い。

【０１２７】ステップＳ７３では、図１１のステップＳ
１１における場合と同様に、画素ｉが、距離画像を構成
する最後の画素Ｉに等しいかどうかが判定され、等しく
ないと判定された場合、ステップＳ７４に進み、変数ｉ
が１だけインクリメントされ、ステップＳ６２に戻る。
そして、次に処理すべき画素ｉを対象に、以下、同様の
処理が繰り返される。

【０１２８】また、ステップＳ７３において、画素ｉ
が、距離画像を構成する最後の画素Ｉに等しいと判定さ
れた場合、補正処理を終了する。

【０１２９】従って、図１６の実施の形態によれば、検
索ブロックＷ内に、その中心に位置する画素ｉの輝度Ｙ
（ｉ）との差が、閾値Ｔｈ_Y未満の輝度を有し、かつ画
素ｉの距離Ｚ（ｉ）との差が、閾値Ｔｈ_Zより大きい適
切画素が存在すれば、画素ｉが補正対象画素として選択
される。そして、適切画素の中で、評価値が最も小さい
画素が最尤画素として選択され、その最尤画素の距離へ
の置換が行われることで、補正対象画素ｉの距離Ｚ
（ｉ）が補正される。

【０１３０】次に、図１７は、補正処理の他の実施の形
態を示すフローチャートであり、この補正処理によって
も、図１６のフローチャートに示した場合と同様の補正
処理を行うことができる。

【０１３１】即ち、この場合、まず最初に、ステップＳ
８１において、距離画像（および基準カメラ画像）を構
成する画素を表す変数ｉが、例えば、１に初期化され、
ステップＳ８２に進む。ステップＳ８２では、補正対象
画素選択部１３において、画素ｉの基準カメラ画像上の
画素値としての、例えば、輝度Ｙ（ｉ）が、フレームメ
モリ５から、図１０において点線で示すように読み出さ
れる。さらに、補正対象画素選択部１３は、ステップＳ
８２において、距離画像記憶部１２から、画素ｉの距離
Ｚ（ｉ）を読み出し、ステップＳ８３に進む。

【０１３２】ステップＳ８３では、補正対象画素選択部
１３において、図１２のステップＳ２３における場合と
同様に、画素ｉを中心とする検索ブロックＷ内の画素を
表す変数ｊが、例えば、その検索ブロックＷ内の最も左
上の画素を表す値ｊ₀に初期化される。さらに、補正対
象画素選択部１３は、ステップＳ８３において、変数Ｓ
_minまたはＺを、画素ｉの評価値Ｓ（ｉ）または距離Ｚ
（ｉ）にそれぞれ初期化し、ステップＳ８４に進む。

【０１３３】ステップＳ８４では、補正対象画素選択部
１３において、画素ｊの、基準カメラ画像上の輝度Ｙ
（ｊ）が、フレームメモリ５から読み出されるととも
に、その距離Ｚ（ｊ）が、距離画像記憶部１２から読み
出される。さらに、ステップＳ８４では、補正対象画素
記憶部１３において、画素ｉの輝度Ｙ（ｉ）と、画素ｊ
の輝度Ｙ（ｊ）との差の絶対値（＝｜Ｙ（ｉ）−Ｙ
（ｊ）｜）が、所定の閾値Ｔｈ_Yより小さく、かつ画素
ｉの距離Ｚ（ｉ）と、画素ｊの距離Ｚ（ｊ）との差の絶
対値（＝｜Ｚ（ｉ）−Ｚ｜）が、所定の閾値Ｔｈ_Zより
大きいかどうかが判定される。

【０１３４】ステップＳ８４において、画素ｉの輝度Ｙ
（ｉ）と、画素ｊの輝度Ｙ（ｊ）との差の絶対値が、所
定の閾値Ｔｈ_Yより小さくないか、または画素ｉの距離
Ｚ（ｉ）と、画素ｊの距離Ｚ（ｊ）との差の絶対値が、
所定の閾値Ｔｈ_Zより大きいくないと判定された場合、
ステップＳ８５および８６をスキップして、ステップＳ
８７に進む。

【０１３５】また、ステップＳ８４において、画素ｉの
輝度Ｙ（ｉ）と、画素ｊの輝度Ｙ（ｊ）との差の絶対値
が、所定の閾値Ｔｈ_Yより小さく、かつ画素ｉの距離Ｚ
（ｉ）と、画素ｊの距離Ｚ（ｊ）との差の絶対値が、所
定の閾値Ｔｈ_Zより大きいと判定された場合、ステップ
Ｓ８５に進み、補正対象画素選択部１３において、変数
Ｓ_minが、画素ｊについての評価値Ｓ（ｊ）より小さい
かどうかが判定される。ステップＳ８５において、変数
Ｓ_minが、評価値Ｓ（ｊ）より小さいと判定された場
合、ステップＳ８６に進み、補正対象画素選択部１３
は、変数Ｓ_minに、画素ｊについての評価値Ｓ（ｊ）を
セットするとともに、変数Ｚに、画素ｊの距離Ｚ（ｊ）
をセットし、ステップＳ８７に進む。

【０１３６】また、ステップＳ８５において、変数Ｓ
_minが、評価値Ｓ（ｊ）より小さくないと判定された場
合、ステップＳ８６をスキップして、ステップＳ８７に
進み、図１２のステップＳ２６における場合と同様に、
画素ｊが、検索ブロックＷ内の最後の画素であるかどう
かが判定される。ステップＳ８７において、画素ｊが、
検索ブロックＷ内の最後の画素でないと判定された場
合、ステップＳ８８に進み、図１２のステップＳ２７に
おける場合と同様に、変数ｊに、検索ブロックＷ内の画
素の中で、まだ、評価値が、変数Ｓ_minと比較されてい
ないものを表す値がセットされ、ステップＳ８４に戻
る。そして、ステップＳ８７において、画素ｊが、検索
ブロックＷ内の最後の画素であると判定されるまで、ス
テップＳ８４乃至Ｓ８８の処理が繰り返される。

【０１３７】即ち、これにより、検索ブロックＷの中か
ら適切画素が選択され、その適切画素のうち、評価値が
最も小さいものが、最尤画素として選択され、その最尤
画素の評価値または距離が、変数Ｓ_minまたはＺに、そ
れぞれセットされる。なお、検索ブロックＷの中に適切
画素が存在しない場合には、変数Ｓ_minまたはＺそれぞ
れは、ステップＳ８３でセットされた画素ｉの評価値Ｓ
（ｉ）または距離Ｚ（ｉ）がセットされたままの状態に
なっている。

【０１３８】そして、ステップＳ８７において、画素ｊ
が、検索ブロックＷ内の最後の画素であると判定される
と、ステップＳ８９に進み、補正部１４は、距離画像記
憶部１２に記憶された画素ｉについての距離Ｚ（ｉ）
を、変数Ｚに置き換えることで補正し、即ち、変数Ｚ
を、画素ｉの距離として、距離画像記憶部１５に供給し
て記憶させ、ステップＳ９０に進む。

【０１３９】ここで、上述したように、検索ブロックＷ
の中に適切画素が存在する場合には、そのうちの評価値
が最小のものが最尤画素として選択され、その距離が変
数Ｚにセットされるから、その場合の検索ブロックＷの
中心にある画素ｉの距離Ｚ（ｉ）が、変数Ｚに置き換え
られるということは、実質的に、画素ｉが補正対象画素
として選択され、その距離Ｚ（ｉ）の補正が行われたこ
とになる。一方、検索ブロックＷの中に適切画素が存在
しない場合には、変数Ｚには、画素ｉの距離Ｚ（ｉ）が
セットされた状態となっているから、その場合の検索ブ
ロックＷの中心にある画素ｉの距離Ｚ（ｉ）が、変数Ｚ
に置き換えられるということは、実質的に、何らの補正
も行われていないのと等価であり、従って、画素ｉは、
補正対象画素として選択されていないことになる。

【０１４０】ステップＳ９０では、図１１のステップＳ
１１における場合と同様に、画素ｉが、距離画像を構成
する最後の画素Ｉに等しいかどうかが判定され、等しく
ないと判定された場合、ステップＳ９１に進み、変数ｉ
が１だけインクリメントされ、ステップＳ８２に戻る。
そして、次に処理すべき画素ｉを対象に、以下、同様の
処理が繰り返される。

【０１４１】また、ステップＳ９０において、画素ｉ
が、距離画像を構成する最後の画素Ｉに等しいと判定さ
れた場合、補正処理を終了する。

【０１４２】以上のように、画素ｉの距離Ｚ（ｉ）との
差だけでなく、その基準カメラ画像上の画素値との差に
基づいて、画素ｉを補正対象画素とするかどうかの選択
を行い、さらに、画素値の差が小さい画素である適切画
素から、最尤画素を選択し、画素ｉの距離を、最終画素
の距離で補正することにより、画素ｉについて、誤った
補正が行われるのを防止することが可能となる。

【０１４３】即ち、基準カメラ画像および検出カメラ画
像として、例えば、前景の輝度が低く、かつ背景の輝度
が高い画像（前景が暗く、背景が明るい画像）が得られ
た場合においても、上述したように、エッジ部分では、
背景を構成するある画素ｉについて、対応点が誤検出さ
れ、これにより、その距離として、前景の距離が誤って
求められることがある。

【０１４４】画素ｉを中心とする検索ブロックを構成す
る画素の中では、一般に、背景の画素のみで基準ブロッ
クが構成されるものについての評価値の方が、前景およ
び背景の両方の画素で基準ブロックが構成されるものに
ついての評価値より小さくなるので、図１２で説明した
ように、そのような小さい評価値が得られる背景の画素
の距離で、画素ｉの距離を置換することにより、画素ｉ
の距離は、誤った前景の距離から、正しい背景の距離に
補正されることになる。

【０１４５】しかしながら、前景の輝度が低く、かつ背
景の輝度が高い場合には、上述の場合とは逆に、前景お
よび背景の両方の画素で基準ブロックが構成される画素
についての評価値の方が、背景の画素のみで基準ブロッ
クが構成される画素についての評価値より小さくなるこ
とがある。従って、そのような小さな評価値が得られる
画素が、前景の画素である場合には、図１２で説明した
ように、小さい評価値が得られる前景の画素の距離で、
画素ｉの距離を置換すると、画素ｉの距離は、誤った前
景の距離から、やはり、誤った前景の距離に補正される
ことになる。

【０１４６】そこで、図１６や図１７で説明したよう
に、検索ブロック内に、その中心に位置する画素ｉの輝
度との差が、閾値Ｔｈ_Y未満の輝度を有する画素である
適切画素が存在する場合には、画素ｉを補正対象画素と
して選択するとともに、その適切画素のうちの評価値が
最小のものの距離で、補正対象画素ｉの距離を置換する
ことで、前景の輝度が低く、かつ背景の輝度が高いとき
であっても、画素ｉについて、誤って求められた前景の
距離を、正しい背景の距離に置換することができる。

【０１４７】即ち、適切画素は、画素ｉとの輝度が近い
ものであり、従って、検索ブロックの中で、適切画素
は、画素ｉと同一の背景を構成している可能性が高く、
それ以外の画素は、前景を構成している可能性が高い。
従って、前景を構成している可能性が高い画素を無視
し、背景を構成している可能性が高い適切画素だけを対
象に、その中から、評価値の最も小さいものを最尤画素
として選択し、その最尤画素の距離で、補正対象画素ｉ
の距離を置換することで、画素ｉについては、誤って求
められた前景の距離が、正しい背景の距離に補正される
ことになり、これにより、誤った補正が行われるのを防
止することが可能となる。

【０１４８】なお、補正処理は、ステレオ処理によって
求められた距離画像に対して、ノイズ除去または穴埋め
等を行った後に行うのが望ましい。これは、基準カメラ
画像や検出カメラ画像が、輝度の変化が少ないものであ
る場合には、ステレオ処理において、対応点の誤検出が
生じやすくなる一方で、各画素について求められる最終
的な評価値は小さくなることが多いため、そのようなス
テレオ処理の結果得られる距離画像をそのまま用いて補
正処理を行うと、ノイズが広がるような悪影響を生じる
ことがあるからである。

【０１４９】ここで、距離画像に対して、ノイズ除去ま
たは穴埋めを施す方法としては、例えば、距離の値が近
い隣接する画素の集合を、１単位として、その１単位の
面積が小さい部分をノイズと判定し、そのノイズと判定
された画素の集合のうち、ノイズでない画素に隣接して
いる画素にメディアンフィルタをかけて補正し、ノイズ
の部分を徐々に狭くして、最終的にはなくすようなもの
がある。なお、この方法の詳細については、例えば、本
件出願人が先に出願した特願平９−２８８４７９号に記
載されている。

【０１５０】以上、本発明を、距離を測定する距離測定
装置に適用した場合について説明したが、本発明は、上
述したように、視差を測定する場合、その視差から、さ
らに距離を求める場合、対象物の３次元形状を解析する
場合等にも適用可能である。ここで、視差から距離を求
める場合には、視差に対して補正処理を施した後に距離
を求めても、また、視差から距離を求め、その距離に対
して補正処理を施しても、同様の効果を得ることができ
る。

【０１５１】なお、本実施の形態では、ステレオ処理の
終了後に、補正処理を行うようにしたが、補正処理が可
能となるまでステレオ処理を行い、その後は、ステレオ
処理と補正処理とを並列に行うようにすることが可能で
ある。

【０１５２】また、本実施の形態では、検索ブロックか
らの最尤画素の検出を、その検索ブロックを構成するす
べての画素を対象に行うようにしたが、最尤画素の検出
は、その他、例えば、検索ブロックの外周に位置する画
素のみを対象としたり、検索ブロックを構成する画素の
うちの１つおきの画素のみを対象とすることなどが可能
である。この場合、最尤画素の検出を、高速に行うこと
が可能となる。

【０１５３】さらに、本実施の形態では、演算処理回路
６に、コンピュータプログラムを実行させることによ
り、ステレオ処理および補正処理を行わせるようにした
が、ステレオ処理および補正処理は、それ専用のハード
ウェアによって行うことも可能である。

【０１５４】また、本実施の形態では、ステレオ処理お
よび補正処理を行うためのアプリケーションプログラム
を、記憶装置７に記憶させて提供するようにしたが、こ
のようなアプリケーションプログラムは、例えば、イン
ターネットその他の伝送媒体を介して伝送して提供する
ことも可能である。

【０１５５】さらに、本実施の形態では、基準ブロッ
ク、検出ブロック、および検索ブロックとして、長方形
状のブロックを構成するようにしたが、基準ブロック、
検出ブロック、および検索ブロックは、長方形状のブロ
ックに限定されるものではなく、例えば、ある画素から
一定距離内にある画素でなる円形状のブロックを、基準
ブロックや、検出ブロック、検索ブロックとして採用す
ることも可能である。また、基準ブロック、検出ブロッ
ク、および検索ブロックは、隣接している画素で構成す
る必要はなく、例えば、１画素おきの画素の集合などで
構成することも可能である。

【０１５６】さらに、本実施の形態では、基準カメラと
して機能する１台のカメラ１と、検出カメラとして機能
する１台のカメラ２を用いるようにしたが、検出カメラ
は、複数台用いるようにすることが可能である。また、
カメラは１台だけ用意し、それを移動させることによ
り、その１台のカメラを、基準カメラおよび検出カメラ
の両方として使用することも可能である。

【０１５７】また、本実施の形態では、ステレオ処理お
よび補正処理により得られた距離画像を、出力装置８に
表示し、あるいは、記憶装置７に記憶させるようにした
が、その他、距離画像は、例えば、インターネット等の
伝送媒体を介して伝送して他の装置等に提供するように
することが可能である。

【０１５８】さらに、本実施の形態では、補正対象画素
の距離を、１の最尤画素の距離に置換することによって
補正を行うようにしたが、補正対象画素の距離は、その
他、例えば、評価値の小さい順に、複数の最尤画素を選
択し、その複数の最尤画素の距離の平均値などに基づい
て補正したり、また、その複数の最尤画素の距離を用い
て補間を行うことにより補正することなどが可能であ
る。

【０１５９】また、本実施の形態では、補正後の距離画
像を、距離画像記憶部１２とは別の距離画像記憶部１５
に記憶させるようにしたが、補正後の距離画像は、補正
前の距離画像が記憶されている距離画像記憶部１２に、
いわば上書きする形で記憶させるようにすることも可能
である。

【０１６０】さらに、本実施の形態では、ステレオ処理
後の距離画像に対して、１度だけ補正処理を施すように
したが、補正処理は、補正処理を施した距離画像に対し
て、さらに施すようにすることも可能である。

【０１６１】

【発明の効果】請求項１に記載の画像処理装置および請
求項２０に記載の画像処理方法、並びに請求項３８に記
載の提供媒体によれば、第１の画像の画素と対応する、
第２の画像の対応画素が検出され、その対応画素に基づ
き、第１の画像の画素について、距離関係情報が求めら
れる。さらに、距離関係情報を画素値とする距離関係情
報画像の画素から、距離関係情報の補正を行う対象とす
る補正対象画素が選択され、その補正対象画素について
の距離関係情報が、距離関係情報画像の他の画素につい
ての距離関係情報に基づいて補正される。従って、第１
および第２の画像どうしでの画素の対応付けを正確に行
うことができなかった場合であっても、精度の高い距離
関係情報を得ることが可能となる。

【０１６２】請求項３９に記載の提供媒体によれば、第
１の画像の画素と対応する、第２の画像の対応画素を検
出し、対応画素に基づき、第１の画像の画素について、
距離関係情報を求め、距離関係情報を画素値とする距離
関係情報画像の画素から、距離関係情報の補正を行う対
象とする補正対象画素を選択し、補正対象画素について
の距離関係情報を、距離関係情報画像の他の画素につい
ての距離関係情報に基づいて補正することにより得られ
る距離関係情報が提供される。従って、精度の高い距離
関係情報を提供することができる。

【図面の簡単な説明】

【図１】本発明を適用した距離測定装置の一実施の形態
の構成例を示すブロック図である。

【図２】基準カメラ１および検出カメラ１で、対象物３
を撮影している状態を示す図である。

【図３】エピポーララインを説明するための図である。

【図４】基準カメラ画像および検出カメラ画像を示す図
である。

【図５】評価値の推移を示す図である。

【図６】設定点／距離テーブルおよび視差／距離テーブ
ルを示す図である。

【図７】壁の手前に配置された対象物３を撮影している
状態を示す図である。

【図８】エッジ部分で生じる対応点の誤検出を説明する
ための図である。

【図９】対応点の誤検出に起因する距離の誤りの補正方
法を説明するための図である。

【図１０】図１の演算処理回路６の機能的構成例を示す
ブロック図である。

【図１１】ステレオ処理を説明するためのフローチャー
トである。

【図１２】補正処理の第１の実施の形態を説明するため
のフローチャートである。

【図１３】距離の連続性が失われる場合を説明するため
の図である。

【図１４】補正処理の第２の実施の形態を説明するため
のフローチャートである。

【図１５】補正処理の第３の実施の形態を説明するため
のフローチャートである。

【図１６】補正処理の第４の実施の形態を説明するため
のフローチャートである。

【図１７】補正処理の第５の実施の形態を説明するため
のフローチャートである。

【符号の説明】

１ 基準カメラ（撮像手段）， ２ 検出カメラ（撮像
手段）， ３ 対象物， ４ カメラインターフェイ
ス， ５ フレームメモリ， ６ 演算処理回路， ６
Ａ ＣＰＵ， ６Ｂ ＲＯＭ， ６Ｃ ＲＡＭ， ６Ｄ
ＤＳＰ， ７記憶装置， ８ 出力装置， １１ ス
テレオ処理部（検出手段）（処理手段）， １２ 距離
画像記憶部， １３ 補正対象画素選択部（選択手
段）， １４補正部（補正手段）， １５ 距離画像記
憶部

フロントページの続き Ｆターム(参考） 2F065 AA04 AA06 AA53 BB05 FF05 JJ03 JJ26 QQ24 QQ31 UU05 5B057 DA07 DB03 DC08 DC34 5L096 AA09 CA05 FA34 FA66 FA67 GA53 JA18 9A001 HH23 JJ49 JJ71

Claims (39)

【特許請求の範囲】
1. 【請求項１】 所定の対象物を撮影した第１および第２
   の画像に基づいて、前記対象物までの距離に関係する距
   離関係情報を求める画像処理装置であって、 前記第１の画像の画素と対応する、前記第２の画像の対
   応画素を検出する検出手段と、 前記対応画素に基づき、前記第１の画像の画素につい
   て、前記距離関係情報を求める処理手段と、 前記距離関係情報を画素値とする距離関係情報画像の画
   素から、前記距離関係情報の補正を行う対象とする補正
   対象画素を選択する選択手段と、 前記補正対象画素についての前記距離関係情報を、前記
   距離関係情報画像の他の画素についての前記距離関係情
   報に基づいて補正する補正手段とを備えることを特徴と
   する画像処理装置。
2. 【請求項２】 前記処理手段は、前記第１の画像の画素
   とその対応画素との間の視差を、前記距離関係情報とし
   て求めることを特徴とする請求項１に記載の画像処理装
   置。
3. 【請求項３】 前記処理手段は、前記視差に基づいて、
   前記対象物までの距離を、さらに求めることを特徴とす
   る請求項２に記載の画像処理装置。
4. 【請求項４】 前記処理手段は、前記対象物までの距離
   を、前記距離関係情報として求めることを特徴とする請
   求項１に記載の画像処理装置。
5. 【請求項５】 前記検出手段は、前記第１および第２の
   画像の画素の画素値を用いて、所定の評価関数を演算
   し、その演算結果に基づいて、前記対応画素を検出する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 【請求項６】 前記選択手段は、前記所定の評価関数の
   値に基づいて、前記補正対象画素を選択することを特徴
   とする請求項５に記載の画像処理装置。
7. 【請求項７】 前記選択手段は、前記距離関係情報に基
   づいて、前記補正対象画素を選択することを特徴とする
   請求項１に記載の画像処理装置。
8. 【請求項８】 前記選択手段は、前記第１の画像の画素
   の画素値に基づいて、前記補正対象画素を選択すること
   を特徴とする請求項１に記載の画像処理装置。
9. 【請求項９】 前記補正手段は、前記補正対象画素につ
   いての前記距離関係情報を、その補正対象画素の近隣に
   位置する画素についての前記距離関係情報に基づいて補
   正することを特徴とする請求項１に記載の画像処理装
   置。
10. 【請求項１０】 前記補正手段は、前記補正対象画素に
    ついての前記距離関係情報を、前記距離関係情報画像の
    他の画素についての前記距離関係情報に置換することに
    より補正することを特徴とする請求項１に記載の画像処
    理装置。
11. 【請求項１１】 前記補正手段は、前記補正対象画素に
    ついての前記距離関係情報を、その補正対象画素を含む
    所定の領域内の他の画素についての前記距離関係情報に
    基づいて補正することを特徴とする請求項１に記載の画
    像処理装置。
12. 【請求項１２】 前記補正手段は、前記第１の画像の画
    素とその対応画素との対応関係の確実性に基づいて、前
    記所定の領域内の画素を選択し、その選択した画素の前
    記距離関係情報に基づいて、前記補正対象画素について
    の前記距離関係情報を補正することを特徴とする請求項
    １１に記載の画像処理装置。
13. 【請求項１３】 前記補正手段は、前記所定の領域内の
    画素のうち、前記第１の画像の画素とその対応画素との
    対応関係の確実性が最も高いものを選択することを特徴
    とする請求項１２に記載の画像処理装置。
14. 【請求項１４】 前記補正手段は、前記所定の領域内の
    画素の一部を選択の対象とすることを特徴とする請求項
    １２に記載の画像処理装置。
15. 【請求項１５】 前記補正手段は、前記所定の領域の最
    外周に位置する画素を選択の対象とすることを特徴とす
    る請求項１４に記載の画像処理装置。
16. 【請求項１６】 前記検出手段は、前記第１および第２
    の画像の画素の画素値を用いて、所定の評価関数を演算
    し、その演算結果に基づいて、前記対応画素を検出し、 前記補正手段は、前記所定の評価関数の値に基づいて、
    前記第１の画像の画素とその対応画素との対応関係の確
    実性を評価することを特徴とする請求項１２に記載の画
    像処理装置。
17. 【請求項１７】 前記検出手段は、前記第１の画像の画
    素の画素値と、その画素に対応する可能性のある前記第
    ２の画像の画素群それぞれの画素値とについて、所定の
    評価関数を演算し、その演算結果に基づき、前記第２の
    画像の画素群の中から、前記対応画素を検出し、 前記補正手段は、前記所定の評価関数の値に基づいて、
    前記第１の画像の画素とその対応画素との対応関係の確
    実性を評価することを特徴とする請求項１２に記載の画
    像処理装置。
18. 【請求項１８】 前記検出手段は、前記第１の画像の画
    素を含む第１の画素ブロックと、その画素に対応する可
    能性のある前記第２の画像の画素群それぞれの画素を含
    む第２の画素ブロックとを用いて、所定の評価関数を演
    算し、その演算結果に基づいて、前記対応画素を検出
    し、 前記補正手段は、前記所定の評価関数の値に基づいて、
    前記第１の画像の画素とその対応画素との対応関係の確
    実性を評価し、前記補正対象画素を含む第３の画素ブロ
    ックから、前記確実性が最も高い前記距離関係情報画像
    の画素を選択し、前記補正対象画素についての前記距離
    関係情報を、その選択した画素についての前記距離関係
    情報に置換することにより補正することを特徴とする請
    求項１２に記載の画像処理装置。
19. 【請求項１９】 前記所定の対象物を撮影し、前記第１
    および第２の画像を出力する撮像手段をさらに備えるこ
    とを特徴とする請求項１に記載の画像処理装置。
20. 【請求項２０】 所定の対象物を撮影した第１および第
    ２の画像に基づいて、前記対象物までの距離に関係する
    距離関係情報を求める画像処理方法であって、 前記第１の画像の画素と対応する、前記第２の画像の対
    応画素を検出する検出ステップと、 前記対応画素に基づき、前記第１の画像の画素につい
    て、前記距離関係情報を求める処理ステップと、 前記距離関係情報を画素値とする距離関係情報画像の画
    素から、前記距離関係情報の補正を行う対象とする補正
    対象画素を選択する選択ステップと、 前記補正対象画素についての前記距離関係情報を、前記
    距離関係情報画像の他の画素についての前記距離関係情
    報に基づいて補正する補正ステップとを備えることを特
    徴とする画像処理方法。
21. 【請求項２１】 前記処理ステップにおいて、前記第１
    の画像の画素とその対応画素との間の視差を、前記距離
    関係情報として求めることを特徴とする請求項２０に記
    載の画像処理方法。
22. 【請求項２２】 前記処理ステップにおいて、前記視差
    に基づいて、前記対象物までの距離を、さらに求めるこ
    とを特徴とする請求項２１に記載の画像処理方法。
23. 【請求項２３】 前記処理ステップにおいて、前記対象
    物までの距離を、前記距離関係情報として求めることを
    特徴とする請求項２０に記載の画像処理方法。
24. 【請求項２４】 前記検出ステップにおいて、前記第１
    および第２の画像の画素の画素値を用いて、所定の評価
    関数を演算し、その演算結果に基づいて、前記対応画素
    を検出することを特徴とする請求項２０に記載の画像処
    理方法。
25. 【請求項２５】 前記選択ステップにおいて、前記所定
    の評価関数の値に基づいて、前記補正対象画素を選択す
    ることを特徴とする請求項２４に記載の画像処理方法。
26. 【請求項２６】 前記選択ステップにおいて、前記距離
    関係情報に基づいて、前記補正対象画素を選択すること
    を特徴とする請求項２０に記載の画像処理方法。
27. 【請求項２７】 前記選択ステップにおいて、前記第１
    の画像の画素の画素値に基づいて、前記補正対象画素を
    選択することを特徴とする請求項２０に記載の画像処理
    方法。
28. 【請求項２８】 前記補正ステップにおいて、前記補正
    対象画素についての前記距離関係情報を、その補正対象
    画素の近隣に位置する画素についての前記距離関係情報
    に基づいて補正することを特徴とする請求項２０に記載
    の画像処理方法。
29. 【請求項２９】 前記補正ステップにおいて、前記補正
    対象画素についての前記距離関係情報を、前記距離関係
    情報画像の他の画素についての前記距離関係情報に置換
    することにより補正することを特徴とする請求項２０に
    記載の画像処理方法。
30. 【請求項３０】 前記補正ステップにおいて、前記補正
    対象画素についての前記距離関係情報を、その補正対象
    画素を含む所定の領域内の他の画素についての前記距離
    関係情報に基づいて補正することを特徴とする請求項２
    ０に記載の画像処理方法。
31. 【請求項３１】 前記補正ステップにおいて、前記第１
    の画像の画素とその対応画素との対応関係の確実性に基
    づいて、前記所定の領域内の画素を選択し、その選択し
    た画素の前記距離関係情報に基づいて、前記補正対象画
    素についての前記距離関係情報を補正することを特徴と
    する請求項３０に記載の画像処理方法。
32. 【請求項３２】 前記補正ステップにおいて、前記所定
    の領域内の画素のうち、前記第１の画像の画素とその対
    応画素との対応関係の確実性が最も高いものを選択する
    ことを特徴とする請求項３１に記載の画像処理方法。
33. 【請求項３３】 前記補正ステップにおいて、前記所定
    の領域内の画素の一部を選択の対象とすることを特徴と
    する請求項３１に記載の画像処理方法。
34. 【請求項３４】 前記補正ステップにおいて、前記所定
    の領域の最外周に位置する画素を選択の対象とすること
    を特徴とする請求項３３に記載の画像処理方法。
35. 【請求項３５】 前記検出ステップにおいて、前記第１
    および第２の画像の画素の画素値を用いて、所定の評価
    関数を演算し、その演算結果に基づいて、前記対応画素
    を検出し、 前記補正ステップにおいて、前記所定の評価関数の値に
    基づいて、前記第１の画像の画素とその対応画素との対
    応関係の確実性を評価することを特徴とする請求項３１
    に記載の画像処理方法。
36. 【請求項３６】 前記検出ステップにおいて、前記第１
    の画像の画素の画素値と、その画素に対応する可能性の
    ある前記第２の画像の画素群それぞれの画素値とについ
    て、所定の評価関数を演算し、その演算結果に基づき、
    前記第２の画像の画素群の中から、前記対応画素を検出
    し、 前記補正ステップにおいて、前記所定の評価関数の値に
    基づいて、前記第１の画像の画素とその対応画素との対
    応関係の確実性を評価することを特徴とする請求項３１
    に記載の画像処理方法。
37. 【請求項３７】 前記検出ステップにおいて、前記第１
    の画像の画素を含む第１の画素ブロックと、その画素に
    対応する可能性のある前記第２の画像の画素群それぞれ
    の画素を含む第２の画素ブロックとを用いて、所定の評
    価関数を演算し、その演算結果に基づいて、前記対応画
    素を検出し、 前記補正ステップにおいて、前記所定の評価関数の値に
    基づいて、前記第１の画像の画素とその対応画素との対
    応関係の確実性を評価し、前記補正対象画素を含む第３
    の画素ブロックから、前記確実性が最も高い前記距離関
    係情報画像の画素を選択し、前記補正対象画素について
    の前記距離関係情報を、その選択した画素についての前
    記距離関係情報に置換することにより補正することを特
    徴とする請求項３１に記載の画像処理方法。
38. 【請求項３８】 所定の対象物を撮影した第１および第
    ２の画像に基づいて、前記対象物までの距離に関係する
    距離関係情報を求める処理を、情報処理装置に行わせる
    ための制御情報を提供する提供媒体であって、 前記第１の画像の画素と対応する、前記第２の画像の対
    応画素を検出する検出ステップと、 前記対応画素に基づき、前記第１の画像の画素につい
    て、前記距離関係情報を求める処理ステップと、 前記距離関係情報を画素値とする距離関係情報画像の画
    素から、前記距離関係情報の補正を行う対象とする補正
    対象画素を選択する選択ステップと、 前記補正対象画素についての前記距離関係情報を、前記
    距離関係情報画像の他の画素についての前記距離関係情
    報に基づいて補正する補正ステップとを備える制御情報
    を提供することを特徴とする提供媒体。
39. 【請求項３９】 所定の対象物を撮影した第１および第
    ２の画像に基づいて、前記対象物までの距離に関係する
    距離関係情報を求めることにより得られる前記距離関係
    情報を提供する提供媒体であって、 前記第１の画像の画素と対応する、前記第２の画像の対
    応画素を検出し、 前記対応画素に基づき、前記第１の画像の画素につい
    て、前記距離関係情報を求め、 前記距離関係情報を画素値とする距離関係情報画像の画
    素から、前記距離関係情報の補正を行う対象とする補正
    対象画素を選択し、 前記補正対象画素についての前記距離関係情報を、前記
    距離関係情報画像の他の画素についての前記距離関係情
    報に基づいて補正することにより得られる前記距離関係
    情報を提供することを特徴とする提供媒体。