JP3344627B2

JP3344627B2 - ステレオ式車外監視装置

Info

Publication number: JP3344627B2
Application number: JP24281299A
Authority: JP
Inventors: 至瀬田
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 1999-08-30
Filing date: 1999-08-30
Publication date: 2002-11-11
Anticipated expiration: 2019-08-30
Also published as: JP2001067484A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオ画像対か
ら算出された距離データに基づいて車外の状況を認識す
るステレオ式車外監視装置に関する。

【０００２】

【従来の技術】近年、ＣＣＤ等の固体撮像素子を内蔵し
た一対の車載カメラ（ステレオカメラ）を用いたステレ
オ式車外監視装置が注目されている。この監視装置にお
いて、一方の画像中の画素ブロックと相関を有する画素
ブロックが他方の画像中において特定され（ステレオマ
ッチング）、両者の相対的なずれ量である視差が算出さ
れる。この算出された画素ブロック毎の視差から、三角
測量の原理を用いて距離データが算出されると共に、画
像認識技術を用いて撮像画像中の対象物（例えば先行車
等）が認識される。そして、この認識結果に応じて、ド
ライバーへの注意の喚起やシフトダウン等の車輌制御が
行われる。

【０００３】このような距離計測技術においては、画素
ブロック単位で算出された視差の信頼性を向上させるた
めに、ステレオマッチングが取れた画素ブロックに関す
るエッジ状態を検証することが重要である。この検証方
法の一つとして、横方向（水平方向）における画素ブロ
ックの輝度変化量を評価する手法がある。例えば、マッ
チングが取れたある画素ブロックに関して、水平方向に
隣接した画素対の輝度変化量と所定の輝度判定しきい値
とを比較し、このしきい値以上の変化量を有する画素対
の数をカウントする。そして、所定数以上のカウント数
を有する画素ブロックに関する視差を距離データとして
出力すると共に、それ以下の画素ブロックに関する視差
は信頼性が低いものとして除外する。車外監視は、この
ようにして出力された距離データに基づいて行われるた
め、距離データがある程度の数以上出力されないと、必
要な情報量が不足するため適切な監視を行うことが困難
となる。

【０００４】

【発明が解決しようとする課題】従来の車外監視装置に
おいては、固定された輝度判定しきい値が初期調整の段
階で設定され、実際の監視環境に拘わらず、それが一律
に適用されていた。そのため、監視環境によっては必ず
しも適切ではない値となることがあった。その結果、監
視環境によって車外監視に必要な数だけの距離データが
出力されなかったり、逆に、出力数が過剰となりノイズ
的な距離データが増大してしまうという問題があった。

【０００５】そこで、本発明の目的は、監視環境に応じ
て輝度判定しきい値を自動的に調整し、監視環境に拘わ
らず適切な数の距離データを安定して出力することによ
り、車外監視の信頼性を一層向上させることである。

【０００６】

【課題を解決するための手段】かかる課題を解決するた
めに、本発明は、車外の景色を撮像した一対の画像に基
づいて、複数の画素を有する画素ブロック毎に距離デー
タを算出することによって、車外の状況を監視するステ
レオ式車外監視装置において、一方の画像中の画素ブロ
ック毎に、当該画素ブロックの輝度特性と相関を有する
画素ブロックを他方の画像中から特定することにより、
当該画素ブロックの視差を算出する算出手段と、算出手
段において視差が算出された画素ブロックに関して、当
該画素ブロック中の隣接画素間における輝度の変化量と
輝度判定しきい値とを比較することにより、輝度の変化
量が大きな画素ブロックを特定すると共に、当該特定さ
れた画素ブロックに関する視差を距離データとして算出
する特定手段と、特定手段において算出された距離デー
タの数に応じて、輝度判定しきい値を調整する調整手段
とを有するステレオ式車外監視装置を提供する。

【０００７】上記の構成において、調整手段は、特定手
段において算出された距離データの数が、特定手段にお
いて算出されるべき距離データの数を規定した目標値に
近づくように、輝度判定しきい値を調整することが好ま
しい。

【０００８】また、特定手段において算出された距離デ
ータの信頼性を判断するフィルタ手段をさらに設けるこ
とが望ましい。この場合、このフィルタ手段は、信頼性
が低いと判断された距離データを除去すると共に、信頼
性が高いと判断された距離データを車外の状況を監視す
るために用いる有効距離データとして出力する。そし
て、調整手段は、フィルタ手段により除去された距離デ
ータの数に応じて、輝度判定しきい値を調整する。

【０００９】また、調整手段は、フィルタ手段により除
去された距離データの数が、フィルタ手段により除去さ
れるべき距離データの数を規定した目標値に近づくよう
に、輝度判定しきい値を調整するようにしてもよい。

【００１０】さらに、調整手段は、特定手段において特
定されるべき距離データの数を規定した目標値とフィル
タ手段により除去されるべき距離データの数を規定した
目標値とをパラメータとして含み、かつ、特定手段にお
いて算出された距離データの数とフィルタ手段により除
去された距離データの数とを変数として含む評価式に基
づいて、輝度判定しきい値の適性度を算出し、当該算出
された適正度に基づいて、輝度判定しきい値を調整する
ことが好ましい。

【００１１】一方、上記のフィルタ手段はグループフィ
ルタを含んでいてもよい。このグループフィルタは、近
接した値の距離データを有する隣接画素ブロックをグル
ープ化して、当該グループ化された画素ブロックの面積
を算出し、かつ、当該算出された面積の大きさに応じ
て、距離データの出力または除去を行うフィルタであ
る。

【００１２】一方、上記のフィルタ手段はペアリングフ
ィルタを含んでいてもよい。このペアリングフィルタ
は、一方の画像中の複数の画素ブロックが、他方の画像
中の同一の画素ブロックと相関が取れている場合に、当
該画素ブロックのいずれかに係る距離データを出力する
と共に、残りの画素ブロックに係る距離データを除去す
るフィルタである。

【００１３】また、特定手段は、画像の水平方向におい
て隣接した画素間の輝度の変化量に基づいて、距離デー
タを特定することが好ましい。

【００１４】この場合、特定手段は、輝度判定しきい値
以上の輝度の変化量を有する隣接画素対の数が所定数以
上有する画素ブロックに関する視差を距離データとして
特定するようにしてもよい。

【００１５】

【発明の実施の形態】図１は、本実施例に係る車外監視
装置のブロック図である。また、図２は、本実施例に係
るデータ処理手法を説明するための図である。自車輌の
前方の景色を撮像するステレオカメラは、ＣＣＤ等のイ
メージセンサを内蔵した一対のカメラ１，２で構成され
ている。これらのカメラ１，２は、自動車等の車輌の車
幅方向において所定の間隔で、ルームミラーの近傍に取
り付けられている。メインカメラ１は、車輌の進行方向
に向かって右側に取り付けられており、基準画像を出力
する。一方、サブカメラ２は、進行方向に向かって左側
に取り付けられており、比較画像を出力する。カメラ対
１，２の同期が取れている状態において、それぞれのカ
メラ１，２から出力されたアナログ画像は、Ａ／Ｄコン
バータ３により、所定の輝度階調（例えば、２５６階調
のグレースケール）のデジタル画像に変換される。デジ
タル化されたこれらの画像（ステレオ画像）は、補正回
路４において、輝度の補正および画像の幾何学的な変換
等が行われる。通常、ステレオカメラ１，２の取付位置
は、程度の差こそあれ誤差があるため、それに起因した
ずれが左右の画像に存在している。そこで、アフィン変
換等を用いて、画像の回転や平行移動等の幾何学的な変
換を行う。これにより、後述するステレオマッチングに
おける前提である、基準画像の水平線と比較画像の水平
線との一致が保証される。以上のような画像処理を経
て、メインカメラ１の出力信号から、水平方向が５１２
画素、垂直方向が２００画素の基準画像データが生成さ
れる。また、サブカメラ２の出力信号から、基準画像と
垂直方向長が同じで、基準画像よりも大きな水平方向長
の比較画像データが生成される（一例として、水平方向
が６４０画素、垂直方向が２００画素）。基準画像デー
タおよび比較画像データは、画像データメモリ７に格納
される。

【００１６】つぎに、ステレオマッチング回路５および
判定回路６において、基準画像データと比較画像データ
とに基づいて距離データが算出される。この距離データ
は、４×４画素で構成された画素ブロック単位で算出さ
れる。まず、ステレオマッチング回路５は、基準画像デ
ータ中の一の画素ブロック（例えば図２に示した画素ブ
ロックＰＢ１）を調査対象とした場合、この対象画素ブ
ロックの輝度特性と相関を有する画素ブロックを比較画
像データを探索して特定する。周知のとおり、ステレオ
画像に映し出された対象物間での距離は、ステレオ画像
中における視差、すなわち、基準画像および比較画像の
位置に関する水平方向のずれ量として現れる。したがっ
て、対象画素ブロックＰＢ１と相関を有する画素ブロッ
クを特定しようとする場合（ステレオマッチング）、対
象画素ブロックＰＢ１のｊ座標値と同じ値の水平線（エ
ピポーラライン）上の比較画像を探索すればよい。ステ
レオマッチング回路５は、このエピポーラライン上を１
画素ずつシフトしていくことで、エピポーラライン上の
所定の画素範囲内におけるすべての比較画素ブロックの
相関を評価する。

【００１７】ステレオマッチング回路５は、エピポーラ
ライン上に存在する画素ブロック毎にシティブロック距
離を算出する。シティブロック距離を算出することによ
り、演算量の増大を招くことなく、画素ブロック間の相
関を精度よく検出することができる。図３は、シティブ
ロック距離の算出手法を説明するための図である。同図
中に示したａ_n，ｂ_nは、画素ブロックを構成する画素の
輝度値を示している。基準画素ブロックＰＢ１とエピポ
ーラライン上の一の画素ブロックＰＢＸとのシティブロ
ック距離ＣＢは、下式に従って算出することができる。

【００１８】

【数１】

【００１９】上式からわかるように、二つの画素ブロッ
クの輝度特性が類似しているほど（すなわち相関が大き
いほど）、シティブロック距離ＣＢが小さくなり、両者
がまったく同じであればこの値ＣＢは０になる。このよ
うにして、エピポーラライン上の複数の画素ブロックに
関するシティブロック距離ＣＢを求め、基本的には、そ
の値が最小となる画素ブロックＰＢ３を、基準画素ブロ
ックＰＢ１と相関を有する画素ブロックであると判断す
る。そして、基準画素ブロックＰＢ１と、特定された画
素ブロックＰＢ３との視差を求める（図３の例では視差
は８画素）。以上の手法によって、基準画像データにお
けるすべての画素ブロックに関する視差を算出してい
く。なお、シティブロック距離を算出するためのハード
構成を含めたステレオマッチングの詳細については特開
平５−１１４００９号公報に開示されているので、必要
ならば参照されたい。

【００２０】判定回路６は、基準画像データを参照し
て、画素ブロックの水平方向の輝度エッジ（輝度変化
量）を評価することにより、ステレオマッチング回路５
において算出された視差にフィルタリング処理を施す。
図４は、画素ブロックに関する水平方向の輝度エッジの
評価手法を説明するための図である。距離データの算出
単位である画素ブロックにおいて、水平方向において隣
接した画素対の輝度変化量（絶対値）ΔＰ_n（１≦ｎ≦
１６）を算出する。ただし、一番左側の画素列（Ｐ₁ ₁，
Ｐ₁₂，Ｐ₁₃，Ｐ₁₄）に関しては、左側に隣接した画素ブ
ロックの一番右側の画素列から輝度変化量ΔＰを算出す
る。つぎに、これらの１６個の輝度変化量ΔＰ_nのう
ち、輝度判定しきい値ＤＣＤＸth以上のものの数をカウ
ントする。この輝度判定しきい値ＤＣＤＸthは、フィー
ドバック制御により、調整部１７において適切に設定さ
れる。そして、このＤＣＤＸしきい値以上の輝度変化量
ΔＰの数が４つ未満の画素ブロックに関する視差は除外
し、それ以上の画素ブロックに関する視差のみを距離デ
ータとして出力する。水平方向の輝度変化量が少なく、
輝度の特徴があまりないような画素ブロックは、ステレ
オマッチング回路５においてマッチングが取れたとして
も、その視差の信頼性は低い場合が多い。そこで、判定
回路６において、このような画素ブロックに関して算出
された視差を除去することにより、距離データの信頼性
を高めている。このような処理を経て判定回路６から出
力された距離データが、距離データメモリ８に格納され
る。なお、判定回路６は、この距離データの出力数Ｎを
カウントしており、その数をマイクロコンピュータ９に
通知する。

【００２１】マイクロコンピュータ９中の機能的ブロッ
クである認識部１０は、道路形状（直線やカーブ曲率）
や車輌前方の立体物（走行車）等を認識する。この認識
は、画像データメモリ７中に記憶された画像データと、
距離データメモリ８に格納された距離データのうちフィ
ルタ処理部１３を経たデータとに基づいて行われる。ま
た、図示していない車速センサや舵角センサからのセン
サ情報、或いはナビゲーション情報等も参照される。そ
して、これらの認識結果に基づいて、警報が必要と判定
された場合、モニタやスピーカー等の警報装置１１を作
動させてドライバーに注意を促す。また、必要に応じて
制御装置１２を制御することにより、ＡＴ（自動変速
機）のシフトダウンやエンジン出力の抑制、或いはブレ
ーキの作動といった車輌制御が実行される。

【００２２】フィルタ処理部１３は、ステレオマッチン
グ回路５においてステレオマッチングが取れた画素ブロ
ックについて、それに係る距離データの信頼性を所定の
条件に基づいて検証し、この条件に合致する距離データ
だけを出力する。これにより、ノイズ的な距離データを
効率よく除去できるため、後段の認識部１０における認
識精度を向上させることができる。本実施例におけるフ
ィルタ処理部１３は、ペアリングフィルタ１４およびグ
ループフィルタ１５で構成されている。

【００２３】ペアリングフィルタ１４は、ステレオマッ
チング回路５において相関が取れているとされた画素ブ
ロック間の位置関係の矛盾を検出し、それに係る距離デ
ータを除外する。具体的には、基準画像データ中の複数
の画素ブロックが、比較画像中の同一の画素ブロックと
相関が取れている場合に、当該画素ブロックのいずれか
に係る距離データを出力すると共に、残りの画素ブロッ
クに係る距離データを除去する。ステレオ法の原理か
ら、比較画像データにおける一の画素ブロックは、基準
画像データにおける一の画素ブロックと相関（マッチン
グ）が取られる。しかしながら、道路のパイロン列、複
数の照明灯または複数の電柱といった複数の類似物が映
し出されている状況では、図２で示したように、複数の
画素ブロックＰＢ１，ＰＢ２が、同一の画素ブロックＰ
Ｂ３とマッチしてしまうことがある。これにより、ステ
レオマッチング回路５において誤った視差が算出されて
しまう。

【００２４】そこで、画素ブロックＰＢ３の相関先が、
複数の画素ブロックＰＢ１，ＰＢ２と重複している場
合、いずれか１つの距離データだけを有効とする。統計
的な見地から、距離データ（視差）が大きいものは偽情
報である確率が高い。そこで、距離データの値の最も小
さいもの（画素ブロックＰＢ２の視差３）を有効距離デ
ータとして出力すると共に、それ以外のもの（画素ブロ
ックＰＢ１の視差８）は無効距離データであるとして除
去する。ただし、どちらの距離データも一定値以下の場
合は、それらはいずれも有効距離データであるとして出
力する。ペアリングフィルタ１４によって除去された距
離データの数が多いということは、ミスマッチングが多
いということを示している。なお、ペアリングフィルタ
における具体的な処理手順については、特開平７−１５
２９１４号公報に開示されているので、必要ならば参照
されたい。

【００２５】ペアリングフィルタ１４は、以上のような
手順により、距離データメモリ８に格納されたあるステ
レオ画像に関する多数の距離データから、有効距離デー
タのみをグループフィルタ１５に対して出力する。それ
とともに、その画像に関して無効にされた距離データの
数をカウントして、そのトータル数を無効距離データ数
Ｐｎとして演算部１６に通知する。

【００２６】ペアリングフィルタ１４から出力された距
離データは、グループフィルタ１５においてさらにフィ
ルタリングされる。グループフィルタ１４は、近接した
値の距離データを有する隣接画素ブロックをグループ化
すると共に、グループ化された画素ブロックの面積を算
出し、その面積の大きさに応じて、距離データの出力ま
たは除去を行うフィルタである。ノイズ等の影響による
ミスマッチにより生じた距離データは、周囲の距離デー
タと大きく異なり、かつ、その距離データと同様の値を
有するグループの面積が比較的小さくなるという特性が
ある。そこで、グループフィルタ１５は、距離データ領
域において同様の値を有する距離データ群の面積を検出
し、面積が小さな距離データを除外する。上述したよう
に、距離データは４×４画素の画素ブロック単位で算出
されるため、距離データ領域は、１２８×５０（単位は
画素ブロック）となる。図５は、このような距離データ
領域の一部における距離データの出力状態を示した図で
ある。グループフィルタ１５におけるフィルタ処理とし
て、まず、上下及び左右方向において隣接した距離デー
タに関して、その変化量が所定のしきい値以内のものを
グループ化ししていく（例えば図５で示したグループ
Ａ，Ｂ）。なお、このしきい値は距離データの大きさに
より変えている。つぎに、グループの面積の大きさを検
出し、所定の大きさ（例えば２画素ブロック）よりも大
きな面積を有するグループを有効グループとする。グル
ープフィルタ１５は、この有効グループに属する距離デ
ータを有効距離データとして出力する。一方、所定の大
きさ以下の面積を有するグループに属する距離データ
（孤立距離データ）は信頼性が低いものと判断して除去
する。図５の例では、２つの距離データ（その値が５，
３０）が無効距離データとして除去される。なお、グル
ープフィルタにおける具体的な処理手順については、特
開平１０−２８５５８２号公報に開示されているので、
必要ならば参照されたい。

【００２７】グループフィルタ１５は、以上のような手
順により、ペアリングフィルタ１４から出力された多数
の距離データのうち有効距離データのみを、認識部１０
に対して出力する。それとともに、このフィルタ１５に
おいて無効にされた距離データの数をカウントして、そ
のトータル数を無効距離データ数Ｇｎとして演算部１６
に通知する。

【００２８】演算部１６は、判定回路６において算出さ
れた距離データ出力数Ｎと、ペアリングフィルタ１４に
おいて算出された無効距離データ数Ｐｎと、グループフ
ィルタ１５において算出された無効距離データ数Ｇｎと
に基づいて、輝度判定しきい値ＤＣＤＸthの適性度Ｅを
評価する。本実施例において、適性度Ｅは下記のような
評価式によって算出される。

【００２９】

【数２】Ｅ＝(Ｎ／TGT1 - 1)+(Ｙｎ／TGT2 - 1)*2+(Ｎ
／Ｎｇ／TGT3 - 1)) Ｙｎ＝Ｎ−Ｐｎ−ＧｎＮｇ＝Ｎ−Ｐｎ

【００３０】上式において、Ｙｎは有効距離データ数で
あり、グループフィルタ１５から出力された距離データ
数、換言すると最終的に認識部１０で用いられる距離デ
ータの数である。また、Ｎｇはペアリングフィルタ１４
からの出力数である。さらに、TGT1，TGT2，TGT3は目標
値である。すなわち、第１の目標値TGT1は、判定回路６
から出力されるべき距離データ数の目標を規定した値で
あり、第２の目標値TGT2は、グループフィルタ１５から
出力されるべき距離データ数の目標を規定した値であ
る。また、第３の目標値TGT3は、グループフィルタ１５
において除去されるべき距離データの割合を示した値で
ある。各目標値TGT1，TGT2，TGT3の値は、実験やシミュ
レーション等を通じた距離データの出力特性から適切に
設定する必要がある。なお、撮像環境の明るさに応じて
（昼と夜とで）、これらの目標値を変更している。一例
として、昼間においては、第１の目標値TGT1を3000、第
２の目標値TGT2を1600、そして第３の目標値TGT3を33％
に設定している。また、夜間においては、第１の目標値
TGT1を2000、第２の目標値TGT2を1000、そして第３の目
標値TGT3を33％に設定している。各距離データ数Ｎ，Ｐ
ｎ，Ｇｎが目標値TGT1，TGT2，TGT3相当であれば適性度
は０、すなわち最も適正な出力状態であると判断され
る。なお、車外認識は有効距離データに基づいて行われ
るので、有効距離データの出力数Ｙｎが最も重要な値で
ある。したがって、有効距離データ出力数Ｙｎに関する
項については重み係数２を乗じている。

【００３１】調整部１７は、演算部１６において算出さ
れた適性度Ｅに基づいて、輝度判定しきい値ＤＣＤＸth
を３〜６の範囲内で調整する。理論的に、適性度Ｅが０
でない場合（すなわち距離データの出力数が目標値相当
でない場合）、輝度判定しきい値ＤＣＤＸthを変更すれ
ばよい。しかしながら、制御の安定性を考慮して、適性
度Ｅが-0.3から0.3の範囲ならば輝度判定しきい値ＤＣ
ＤＸthを変更しない。一方、適性度Ｅが0.3以上の場
合、輝度判定しきい値ＤＣＤＸthは、現在の値に一定値
ａを加算することにより、現在よりも大きな値に更新す
る。ただし、輝度判定しきい値ＤＣＤＸthは６を上限と
する。また、適性度Ｅが-0.3以下の場合、輝度判定しき
い値ＤＣＤＸthは、現在の値に一定値ａを減算すること
により、現在よりも小さな値に更新する。ただし、輝度
判定しきい値ＤＣＤＸthは３を下限とするこのようにし
て、調整部１７において調整された輝度判定しきい値Ｄ
ＣＤＸthが判定回路６にフィードバックされる。

【００３２】このようなフィードバック制御を通じて、
距離データの出力数およびその除去数は、それに相当す
る目標値になるように近づいていく。例えば、距離デー
タ出力数Ｎだけに着目した場合（他の評価項の値が不変
であると仮定した場合）、第１の目標値TGT1相当の距離
データ出力数Ｎであるならば（すなわち、距離データ出
力の適正率Ｎ／TGT1が１）、数式２によって算出される
適性度Ｅは０となる。したがって、距離データ出力数Ｎ
は適切であると判断され、輝度判定しきい値ＤＣＤＸth
は変更されない。これに対して、距離データ出力数Ｎが
この目標値TGT1よりも大きい場合、上記の適正率Ｎ／TG
T1は１よりも大きくなるため、適性度Ｅは正となる。し
たがって、輝度判定しきい値ＤＣＤＸthは現在よりも大
きな値に変更される（Ｅ＞0.3の場合）。その結果、判
定部６における画素ブロックに関する輝度変化量の評価
基準が厳しくなるため、距離データ出力数Ｎは減少する
（第１の目標値TGT1に近づく）。一方、距離データ出力
数Ｎがこの目標値TGT1よりも小さい場合、適性度Ｅは負
となり、輝度判定しきい値ＤＣＤＸthは現在よりも小さ
な値に変更される（Ｅ＜-0.3の場合）。その結果、判定
部６における画素ブロックに関する輝度変化量の評価基
準が緩和されるため、距離データ出力数Ｎは増加する
（第１の目標値TGT1に近づく）。

【００３３】同様のことは、有効距離データ出力数Ｙｎ
（およびその適正率Ｙｎ／TGT2）についても該当し、フ
ィードバック制御を通じて、有効距離データ出力数Ｙｎ
は目標値TGT2に近づいていく。なお、車外監視を行う認
識部１０に入力される情報は有効距離データであるか
ら、この距離データの数Ｙｎは、他の距離データ数Ｎ，
Ｐｎ，Ｇｎよりも重要である。このような観点から、上
述したように、数式２における有効距離データ数Ｙｎに
関する評価項については重み係数２を乗算している。

【００３４】また、第３の目標値TGT3は、グループフィ
ルタ１５における距離データの除去率の目標値を規定し
たものである。数式２の一番右側の評価項だけに着目し
た場合、グループフィルタ１５の除去率（Ｎｇ／Ｇｎ）
が第３の目標値TGT3相当であるならば、適性度Ｅは０と
なる。したがって、この場合は適切な除去率であると判
断され、輝度判定しきい値ＤＣＤＸthは変更されない。

【００３５】このように、本実施例に係る輝度判定しき
い値ＤＣＤＸthのフィードバック制御では、距離データ
に関する出力数や除去数を、評価式に代入することによ
って、輝度判定しきい値ＤＣＤＸthの適性度Ｅを評価し
ている。そして、これらの適性度が-0.3から0.3の範囲
に収束するように、輝度判定しきい値ＤＣＤＸthを増加
または減少する。これにより、車外監視を行う上で比較
的信頼性の高い有効距離データを、監視環境に依存する
ことなく安定的に得ることができる。そして、このよう
な有効距離データを目標値相当の数だけ得ることができ
る。その結果、車外監視の精度や安定性を一層向上させ
ることができる。この理由を以下の２つの状況を想定し
て説明する。

【００３６】（１）撮像画像の明るさが異なる状況（例
えば日中と夜間）日中のように、画像に輝度エッジが明確に出現するよう
な監視環境では、比較的大きな輝度判定しきい値ＤＣＤ
Ｘthを設定しても、車外監視必要な数だけの距離データ
を得ることができる。しかしながら、それを夜間に用い
ると、十分な数の距離データを得ることができず、適切
な車外監視を行うことが困難となる（情報量の不足）。
逆に、夜間を想定した比較的小さな輝度判定しきい値Ｄ
ＣＤＸthを日中に用いると、過剰な距離データが出力さ
れてしまう（情報量の過多）。本実施例では、有効距離
データの出力数の適性度Ｙｎ／TGT1に主眼をおいた（す
なわち重み係数２を乗算した）評価式に基づいて、ＤＣ
ＤＸthの適性度Ｅを評価している。したがって、撮像環
境の明るさに依存することなく、適切な数の有効距離デ
ータを得ることができる。

【００３７】しかしながら、有効距離データ（または距
離データ）の出力数の目標値を規定した目標値TGT1（ま
たはTGT2）のみで輝度判定しきい値ＤＣＤＸthの適性度
を評価した場合、画素ブロックのミスマッチの増大によ
って、ノイズ的な距離データ（有効距離データ）だけが
増えてしまうおそれがある。そこで、フィルタ処理部１
３で除去されるべき距離データ数の目標値も考慮した評
価式に基づいて、輝度判定しきい値ＤＣＤＸthの適性度
Ｅを評価している。この調整の基本となる各目標値は、
実験やシミュレーション等による距離データの出力特性
に基づいて、監視状況毎に適切に設定されている。した
がって、輝度エッジが生じにくい夜間においても、ミス
マッチによるノイズ的な距離データを除去しつつ、有効
距離データ数を増大させるような輝度判定しきい値ＤＣ
ＤＸthを自動的に設定することができる。

【００３８】（２）輝度エッジが多数存在するような状
況監視環境の明るさが同様であっても、景色によっては距
離データが過剰に算出されることがある。例えば、走行
路の周辺に林や生垣が存在するような状況では、その輝
度エッジに起因した距離データが多数算出される傾向が
ある。このような状況で算出される適性度Ｅは、目標値
が規定する数より多くの距離データが出力（或いは除
去）されるため、大きくなる傾向にある。したがって、
フィードバック制御を通じて、輝度判定しきい値ＤＸＤ
Ｘthが大きくなるように調整される。その結果、輝度エ
ッジの評価基準が厳しくなり、距離データの出力数等が
抑制される。その際、林や生垣に起因した輝度エッジの
変化量は、白線や先行車に係るそれよりも小さい場合が
多い。したがって、輝度判定に関する評価基準を厳しく
したとしても、白線や先行車に係る距離データ（車外監
視を行う上で重要な距離データ）は除外されにくいの
で、車外監視の信頼性を損なうことはない。

【００３９】以上のような理由により、本実施例におい
ては、監視環境に拘わらず、監視制御を行う上で必要な
数の距離データを、ノイズ的な距離データをあまり増大
させることなく得ることができる。そして、このような
処理を経て算出された距離データに基づいた車外監視を
行えば、監視環境の影響をあまり受けることなく、かつ
信頼性の高い監視制御を行うことが可能となる。

【００４０】なお、本発明は、上述したような実施例に
限定されるものではなく、例えば、以下のような方法に
ついても広く適用することができる。

【００４１】（１）上述した実施例は、画素ブロックに
おける水平方向の輝度変化量を輝度判定しきい値ＤＣＤ
Ｘthと比較し、輝度の変化量が大きな画素ブロックに関
する視差を距離データとして特定している。これは、画
素ブロックの輝度変化パターンに特徴がなければ、それ
に関する視差の信頼性も低いという知得に基づくもので
ある。したがって、本発明は、輝度判定しきい値に基づ
き、画素ブロック中の輝度特性を評価するような手法に
広く適用することができる。これは、例えば、垂直方向
の輝度の変化量を評価する手法または垂直方向および水
平方向の双方における輝度の変化量を評価する手法を含
む。

【００４２】（２）また、本実施例におけるフィルタ処
理部は、ペアリングフィルタおよびグループフィルタで
構成されているがフィルタはいずれか一方であってもよ
い。また、ローパスフィルタやハイパスフィルタ等を用
いてもよい。例えば、監視すべき距離が比較的近傍のみ
である場合大きな距離データはノイズとなる。そこで、
大きな値を有する距離データを除去するローパスフィル
タを用いることがある。この場合、ローパスフィルタに
おける除去数をカウントして、これに基づき適性度を評
価してもよい。同様のことは、監視すべき距離が比較的
遠方のみである場合に用いられるハイパスフィルタにつ
いてもいえる。

【００４３】（３）さらに、本実施例では、各フィルタ
の除去数（具体的には、除去数Ｐｎ，Ｇｎ）をカウント
しているが、各フィルタの出力数（具体的には、ペアリ
ングフィルタの出力数およびグループフィルタの出力
数）をカウントしてもよい。フィルタへの入力数が特定
されている場合、その除去数または出力数の一方が特定
されれば、他方は一意に特定されるからである。その意
味で、フィルタの除去数をカウントすることは、その出
力数をカウントすることと等価である。

【発明の効果】このように、本発明によれば、監視環境
に応じて輝度判定しきい値を自動的に調整し、監視環境
に拘わらず信頼性の高い距離データを適切な数だけ安定
して出力することができる。したがって、このような距
離データに基づいて車外監視を行うことにより、監視制
御の安定性と信頼性を一層向上させることができる。

【図面の簡単な説明】

【図１】実施例に係る車外監視装置のブロック図

【図２】実施例に係るデータ処理手法を説明するための
図

【図３】シティブロック距離の算出手法を説明するため
の図

【図４】画素ブロックに関するの水平方向の輝度エッジ
の評価手法を説明するための図

【図５】グループフィルタにおけるフィルタ処理を説明
するための図

【符号の説明】

１メインカメラ、２サブカメラ、３
Ａ／Ｄコンバータ、４補正回路、５ステレ
オマッチング回路、６判定回路、７画像データメ
モリ、８距離データメモリ、９マイクロコ
ンピュータ、１０認識部、１１警報装置、
１２制御装置、１３フィルタ処理部、
１４ペアリングフィルタ、１５グループフィル
タ、１６演算部、１７調整部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩＧ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 B60R 21/00 G01B 11/00 G06T 1/00 G08G 1/00 - 1/16

Claims

(57)【特許請求の範囲】

【請求項１】車外の景色を撮像した一対の画像に基づい
て、複数の画素を有する画素ブロック毎に距離データを
算出することによって、車外の状況を監視するステレオ
式車外監視装置において、一方の画像中の画素ブロック毎に、当該画素ブロックの
輝度特性と相関を有する画素ブロックを他方の画像中か
ら特定することにより、当該画素ブロックの視差を算出
する算出手段と、前記算出手段において視差が算出された画素ブロックに
関して、当該画素ブロック中の隣接画素間における輝度
の変化量と輝度判定しきい値とを比較することにより、
輝度の変化量が大きな画素ブロックを特定すると共に、
当該特定された画素ブロックに関する視差を距離データ
として算出する特定手段と、前記特定手段において算出された距離データの数に応じ
て、前記輝度判定しきい値を調整する調整手段とを有す
ることを特徴とするステレオ式車外監視装置。
【請求項２】前記調整手段は、前記特定手段において算
出された距離データの数が、前記特定手段において算出
されるべき距離データの数を規定した目標値に近づくよ
うに、前記輝度判定しきい値を調整することを特徴とす
る請求項１に記載されたステレオ式車外監視装置。
【請求項３】前記特定手段において算出された距離デー
タの信頼性を判断するフィルタ手段をさらに有し、前記フィルタ手段は、信頼性が低いと判断された距離デ
ータを除去すると共に、信頼性が高いと判断された距離
データを車外の状況を監視するために用いる有効距離デ
ータとして出力し、前記調整手段は、前記フィルタ手段により除去された距
離データの数に応じて、前記輝度判定しきい値を調整す
ることを特徴とする請求項２に記載されたステレオ式車
外監視装置。
【請求項４】前記調整手段は、前記フィルタ手段により
除去された距離データの数が、前記フィルタ手段により
除去されるべき距離データの数を規定した目標値に近づ
くように、前記輝度判定しきい値を調整することを特徴
とする請求項３に記載されたステレオ式車外監視装置。
【請求項５】前記調整手段は、前記特定手段において特
定されるべき距離データの数を規定した目標値と前記フ
ィルタ手段により除去されるべき距離データの数を規定
した目標値とをパラメータとして含み、かつ、前記特定
手段において算出された距離データの数と前記フィルタ
手段により除去された距離データの数とを変数として含
む評価式に基づいて、前記輝度判定しきい値の適性度を
算出し、当該算出された適正度に基づいて、前記輝度判
定しきい値を調整することを特徴とする請求項４に記載
されたステレオ式車外監視装置。
【請求項６】前記フィルタ手段はグループフィルタを含
み、前記グループフィルタは、近接した値の距離データを有
する隣接画素ブロックをグループ化して、当該グループ
化された画素ブロックの面積を算出し、かつ、当該算出
された面積の大きさに応じて、前記距離データの出力ま
たは除去を行うことを特徴とする請求項３，４または５
に記載されたステレオ式車外監視装置。
【請求項７】前記フィルタ手段はペアリングフィルタを
含み、前記ペアリングフィルタは、一方の画像中の複数の画素
ブロックが、他方の画像中の同一の画素ブロックと相関
が取れている場合に、当該画素ブロックのいずれかに係
る距離データを出力すると共に、残りの画素ブロックに
係る距離データを除去することを特徴とする請求項３，
４，５または６に記載されたステレオ式車外監視装置。
【請求項８】前記特定手段は、画像の水平方向において
隣接した画素間の輝度の変化量に基づいて、距離データ
を特定することを特徴とする請求項１から５のいずれか
に記載されたステレオ式車外監視装置。
【請求項９】前記特定手段は、輝度判定しきい値以上の
輝度の変化量を有する隣接画素対の数が所定数以上有す
る画素ブロックに関する視差を距離データとして特定す
ることを特徴とする請求項８に記載されたステレオ式車
外監視装置。