JP2000207695A - 車外監視装置 - Google Patents

Abstract

(57)【要約】 【課題】 ハードウエア回路による距離検出の実用限界
を越えた至近距離内にある立体物に対しても距離を検出
する。 【解決手段】 今回の立体物の検出結果と前回の立体物
の検出結果とを照合して至近距離の立体物を確認し、そ
の確認結果から至近距離に立体物が存在するか否かを調
べる。そして、至近距離に立体物が存在しないときに
は、今回の立体物の検出結果を出力し、至近距離に立体
物が存在するときには、基準側の元画像の中で輝度変化
の大きい部分を囲む領域を数カ所設定し、比較側の元画
像に設定した視差検出範囲をサーベイして各領域と一致
する部分を検出して距離を算出するソフトマッチングに
よる距離検出を行う。これにより、遠距離から至近距離
まで広範囲に存在する立体物を検出することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車外の対象をステ
レオ撮像した２枚の画像から得られる距離情報に基づい
て車外の状況を認識する車外監視装置に関する。

【０００２】

【従来の技術】近年、自動車等の車両においては、前方
の車両や障害物を検知し、それらに衝突する危険度を判
定して運転者に警報を発したり、自動的にブレーキを作
動させて停止させる、あるいは、先行車との車間距離を
安全に保つよう自動的に走行速度を増減する等の技術が
積極的に開発されており、その有力な手段の一つとし
て、車載のカメラで撮像した画像による画像認識技術が
ある。

【０００３】この画像認識技術を自動車に適用した例と
して、本出願人は、先に、特開平５−２６５５４７号公
報において、車両に搭載したステレオカメラで撮像した
２枚の画像を処理して道路形状、先行車両、障害物等の
三次元位置を計測し、先行車や障害物との衝突・接触可
能性を判断して警報を発する等の運転支援を行う技術を
提案しており、この技術では、２枚の画像間のシティブ
ロック距離を計算して距離情報を出力するハードウエア
回路によって高速処理を実現している。

【０００４】

【発明が解決しようとする課題】周知のように、ステレ
オ法では、２台のカメラの基線長（カメラ光軸間の距
離）をｒ、視差をｘとした場合、レンズから目標物体ま
での距離Ｄは、以下の(1)式によって算出することがで
きる。 Ｄ＝ｒｆ／ｘ …(1)

【０００５】上記(1)式における視差ｘは、以下の(2)式
に示される２枚の画像間の対応する領域のシティブロッ
ク距離Ｈが最小値となる画素ズレ量として求めることが
でき、上記(1)式から明らかなように、対応点の探索範
囲は距離が近くなるほど大きくなり、距離が近くなれば
処理時間も増大することになる。 Ｃ＝Σ｜Ａi−Ｂi｜ …(2) 但し、Ａi：一方の画像の領域におけるｉ番目画素の輝
度 Ｂi：他方の画像の領域におけるｉ番目画素の輝度 Σ ：ｉ＝０〜ｎ（領域内の画素数）の総和

【０００６】従って、ハードウエア回路でシティブロッ
ク距離を計算して対応点の画素ズレ量を求める場合に
は、実用的な装置サイズや重量、コスト、回路部品の動
作速度等を考慮すると、高速走行で必要とされる比較的
遠距離の立体物に対する処理が可能なように対応点の探
索範囲を固定せざるを得ず、自車両直前の至近距離は検
出可能範囲外となってしまう。

【０００７】本発明は上記事情に鑑みてなされたもの
で、ハードウエア回路による距離検出の実用限界を越え
た至近距離内にある立体物に対しても、距離を検出する
ことのできる車外監視装置を提供することを目的として
いる。

【０００８】

【課題を解決するための手段】請求項１記載の発明は、
車外の対象をステレオ撮像した２枚の画像間のシティブ
ロック距離を計算して距離情報を出力する距離検出回路
を備え、この距離検出回路からの距離情報に基づいて車
外の状況を認識する車外監視装置において、上記距離検
出回路からの距離情報に基づく今回の立体物の検出結果
と前回の立体物の検出結果とを照合し、上記距離検出回
路の検出可能限界距離より近くに立体物が存在するか否
かを判定する手段と、上記距離検出回路の検出可能限界
距離より近くに立体物が存在すると判定されたとき、一
方の撮像画像に設定した領域に対応する部分を他方の撮
像画像から探索して視差を求め、この視差から上記距離
検出回路の検出可能限界距離より近くに存在する立体物
までの距離を算出する至近距離算出プログラムを実行す
る手段とを備えたことを特徴とする。

【０００９】請求項２記載の発明は、請求項１記載の発
明において、上記領域を、輝度変化の大きい部分を囲む
領域とすることを特徴とする。

【００１０】請求項３記載の発明は、請求項１記載の発
明において、上記視差を求める範囲を、自車両のバンパ
ー先端までの距離に相当する視差の得られる範囲とする
ことを特徴とする。

【００１１】すなわち、本発明では、距離検出回路から
の距離情報に基づく今回の立体物の検出結果と前回の立
体物の検出結果とを照合して距離検出回路の検出可能限
界距離より近くに立体物が存在するか否かを判定し、距
離検出回路の検出可能限界距離より近くに立体物が存在
すると判定されたときには、至近距離算出プログラムを
実行して、一方の撮像画像に設定した領域に対応する部
分を他方の撮像画像から探索して視差を求め、この視差
から上記距離検出回路の検出可能限界距離より近くに存
在する立体物までの距離を算出する。

【００１２】この場合、２枚の撮像画像間の対応する部
分を探索するために一方の撮像画像に設定する領域は、
輝度変化の大きい部分を囲む領域とすることが望まし
く、他方の撮像画像において視差を求める範囲は、自車
両のバンパー先端までの距離に相当する視差の得られる
範囲とすることが望ましい。

【００１３】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１〜図３は本発明の実施の一形
態に係わり、図１は至近距離算出に係わる処理のフロー
チャート、図２は車外監視装置の構成図、図３は自車両
直前の先行車の元画像を示す説明図である。

【００１４】図２において、符号１は、自動車等の車両
に搭載される２台のＣＣＤカメラ２，３からなるカメラ
アセンブリであり、このカメラアセンブリ１に、撮像画
像を処理して車外の対象までの距離を求め、求めた距離
の情報に基づいて道路形状の認識や立体物の認識等を行
なうステレオ画像処理ユニット１０が接続され、３次元
画像認識による車外監視装置が構成される。

【００１５】上記カメラアセンブリ１を構成する各ＣＣ
Ｄカメラ２，３は、互いに、同期が取れ、且つ、シャッ
タースピード可変のカメラであり、一方のＣＣＤカメラ
２をステレオ画像処理の際の基準画像を撮像するメイン
カメラ、他方のＣＣＤカメラ３をステレオ画像処理の際
の比較画像を撮像するサブカメラとして、所定の基線長
で互いの撮像面垂直軸が平行となるよう配置されてステ
レオカメラを構成している。

【００１６】一方、ステレオ画像処理ユニット１０は、
各ＣＣＤカメラ２，３からの２系統の画像信号を処理す
るため、各系統毎に、アナログ撮像信号を増幅して後段
の入力レンジに合わせるためのゲインコントロールアン
プ等を有するアナログＩ／Ｆ１１，１２に、アナログ画
像データをデジタル画像データに変換するＡ／Ｄコンバ
ータ１３，１４が接続されている。

【００１７】さらに、各Ａ／Ｄコンバータ１３，１４
に、ＣＣＤカメラ２，３の特性の相違を補正するための
ルックアップテーブル（ＬＵＴ）１５，１６が接続され
ており、各ＬＵＴ１５，１６の出力は、カメラへの入射
角の違いによる感度の違いを補正するためのシェーディ
ング補正や画像の明暗部に対して対数変換を行って低輝
度部分のコントラストを改善するためのＬＯＧ補正等を
行う補正回路１７，１８を経て、一旦、ビデオＲＡＭ
（ＶＲＡＭ）２１，２２にストアされる。

【００１８】各ＣＣＤカメラ２，３の撮像信号を処理し
て各ＶＲＡＭ２１，２２にストアされた基準画像データ
及び比較画像データからは、シティブロック距離計算回
路２３及び最小値・画素ズレ検出回路２４を中心とし、
輝度変化有効判定回路２５、距離情報有効判定回路２６
等を付加して構成される距離検出回路によって高速に距
離が検出される。

【００１９】すなわち、各ＶＲＡＭ２１，２２のデータ
が絶対値演算器と加算器とをピラミッド状に接続したパ
イプライン構造のシティブロック距離計算回路２３に読
み込まれ、さらに、最小値・画素ズレ検出回路２４を通
って２枚の画像の小領域（例えば４×４画素の小領域）
毎に、２つの画像の一致度を評価するステレオマッチン
グが行われる。

【００２０】このハードウエア回路によるステレオマッ
チングでは、シティブロック距離計算回路２３で、基準
画像の一つの小領域に対し、対応する比較画像の小領域
との間のシティブロック距離を計算する処理を水平方向
に１画素ずつすらしながら所定画素分ずれるまで繰り返
し、最小値・画素ズレ検出回路２４で、シティブロック
距離の最小値及び最大値等を評価してシティブロック距
離の最小値が本当に２つの画像の小領域の一致を示して
いるものかどうかをチェックする。そして、チェック条
件を満足する場合、シティブロック距離が最小になる画
素ズレ量を基準画像の小領域に対応する距離情報として
出力する。

【００２１】さらに、上記最小値・画素ズレ検出回路２
４の後段には、２つの画像の一致度を評価するのに適正
な輝度差があるか否かを、ＶＲＡＭ２１の画像データの
水平方向の輝度変化量が有効値に達したか否かによって
判定する輝度変化有効判定回路２５の判定結果に基づい
て、距離情報（画素ズレ量）の有効性を判定する距離情
報有効判定回路２６が接続され、この距離情報有効判定
回路２６で有効と判断された距離情報が距離画像メモリ
２７にストアされる。

【００２２】上記距離画像メモリ２７にストアされた距
離情報は、画像のような形態をしており（距離画像）、
基準側の元画像（シティブロック距離を算出する元とな
る画像）をストアする元画像メモリ２８や比較側の元画
像をストアする元画像メモリ２９にストアされた元画像
データとともに認識処理用ＣＰＵ３０に読み込まれ、走
行環境を認識する処理が行われる。そして、認識結果が
図示しない制御装置に出力され、例えば、前方の車両や
障害物を検知し、それらに衝突する危険度を判定して運
転者に警報を発したり、自動的にブレーキを作動させて
停止させる、あるいは、先行車との車間距離を安全に保
つよう自動的に走行速度を増減する等の制御が行われ
る。

【００２３】以上の３次元画像認識による車外監視装置
においては、ハードウエア回路によって立体物までの距
離を高速に検出しているが、市街地における渋滞走行時
等では、自車両直前に接近した先行車に対する距離を検
出できない場合がある。

【００２４】このため、認識処理用ＣＰＵ３０では、距
離画像メモリ２７からの距離データを用いた前回の立体
物検出結果と今回の立体物検出結果とからハードウエア
の限界距離より近くの距離に立体物が存在するか否かを
調べ、限界距離を超えた至近距離に立体物が存在する場
合には、ソフトウエア処理によって立体物までの距離を
算出するようにしており、ハードウエア回路による距離
検出の実用限界を越えた至近距離内にある立体物に対し
ても距離を検出することができる。

【００２５】以下、上記認識処理用ＣＰＵ３０による至
近距離算出に係わる処理について、図１のフローチャー
トに従って説明する。

【００２６】この処理では、ステップS101で、シティブ
ロック距離計算回路２３を初めとするハードウエア回路
でステレオマッチングされて出力された今回の距離画像
データを距離画像メモリ２７から読み込むと、ステップ
S102で距離画像を所定の画素間隔で格子状の領域に区分
して各区分毎に今回の立体物データを抽出し、立体物を
検出する処理を行う。尚、ハードウエア回路によるステ
レオマッチング、及び、このステレオマッチング結果を
用いて立体物を検出する処理については、本出願人によ
る特開平５−２６５５４７号公報に詳述されている。

【００２７】次に、ステップS103へ進んで前回の立体物
の検出結果を読み込むと、ステップS104で今回の立体物
の検出結果と前回の立体物の検出結果とを照合して至近
距離の立体物を確認し、ステップS105で、その確認結果
から至近距離に立体物が存在するか否かを調べる。そし
て、至近距離に立体物が存在しないときには、ステップ
S105からステップS106へ進んで今回の立体物の検出結果
を出力し、至近距離に立体物が存在するときには、ステ
ップS105からステップS107へ進んでソフトマッチングに
よる距離算出を行う。

【００２８】すなわち、ハードウエア回路でステレオマ
ッチングした距離データから前回の処理で先行車等の立
体物が検出され、その検出結果から、今回の処理では自
車両の近傍に立体物が存在するはずであるにも拘わら
ず、今回の処理で妥当な距離に立体物が検出されない場
合、ハードウエア回路の限界距離より近くに立体物が接
近している可能性が高いと判断し、ソフトウエアにより
距離を算出する。

【００２９】このソフトウエアによる距離算出では、基
準側の元画像データ、比較側の元画像データを、それぞ
れ、元画像メモリ２８，２９から読み込み、基準側の元
画像の中で輝度変化の大きい部分を検出し、この輝度変
化の大きい部分を囲む領域を数カ所設定し、比較側の元
画像に設定した視差検出範囲をサーベイして各領域と一
致する部分を検出する。

【００３０】例えば、図３に示すように、立体物が先行
車の場合、左右のテールランプのコーナー部やリヤトラ
ンクのキー部等を輝度変化の大きい部分として検出した
場合、それぞれを囲む領域Ｒ１，Ｒ２，Ｒ３を２０×２
０画素程度の大きさで設定し、比較側の元画像における
水平走査方向の視差検出範囲を自車両のバンパー先端ま
での距離に相当する視差値を検出可能な範囲として一致
部分を検出する。

【００３１】この一致部分の検出は、２０×２０画素の
領域毎に、互いの画素の輝度の差から先に説明した(2)
式で示すシティブロック距離Ｈを計算することで行わ
れ、シティブロック距離Ｈが最小となる比較側の元画像
の領域を基準側の元画像の領域に対応する場所として決
定し、互いに対応する領域で対象物までの距離に応じて
生じる画素のズレを求める。

【００３２】そして、以上のソフトマッチングによる各
領域毎の画素ズレ量から、先に説明した(1)式に基づい
て距離を算出すると、この距離を平均した値あるいは推
定値に最も近い値を今回の処理における至近距離の算出
結果として採用し、上記ステップS107からステップS108
へ進んで至近距離の算出結果を出力し、ルーチンを抜け
る。

【００３３】これにより、遠距離から至近距離までをカ
バーするために距離検出回路の動作速度を不要に速くし
て装置の大型化や重量増、コストアップを招くことがな
く、ハードウエア回路による距離検出の実用限界を越え
た至近距離内にある立体物に対しても、距離を検出する
ことができる。

【００３４】

【発明の効果】以上説明したように本発明によれば、ハ
ードウエア回路による距離検出の実用限界を越えた至近
距離内にある立体物に対しても距離を検出することがで
きるため、遠距離から至近距離までをカバーするために
ハードウエア回路の動作速度を不要に速くして装置の大
型化や重量増、コストアップを招くことがなく、高速走
行時に自車両前方に存在する立体物から市街地の渋滞走
行時等の自車両直前の立体物まで広範囲に存在する立体
物を検出することができ、車外状況の認識信頼性を向上
することができる等優れた効果が得られる。

【図面の簡単な説明】

【図１】至近距離算出に係わる処理のフローチャート

【図２】車外監視装置の構成図

【図３】自車両直前の先行車の元画像を示す説明図

【符号の説明】

１ …カメラアセンブリ １０…ステレオ画像処理ユニット ２３…シティブロック距離計算回路 ２４…最小値・画素ズレ検出回路 ３０…認識処理用ＣＰＵ

フロントページの続き Ｆターム(参考） 5B057 AA16 AA19 DA07 DA08 DB03 DC02 DC22 DC32 5H180 AA01 CC04 LL01 LL06 LL09 5H301 AA01 BB20 CC03 CC06 DD05 DD16 GG05 HH01 HH06 LL01 LL03 LL07 LL08 LL11 LL14 5L096 AA09 BA02 BA04 CA05 FA14 FA66 HA01 9A001 BB06 EE05 HH23 KK16 LL09

Claims (3)

【特許請求の範囲】
1. 【請求項１】 車外の対象をステレオ撮像した２枚の画
   像間のシティブロック距離を計算して距離情報を出力す
   る距離検出回路を備え、この距離検出回路からの距離情
   報に基づいて車外の状況を認識する車外監視装置におい
   て、 上記距離検出回路からの距離情報に基づく今回の立体物
   の検出結果と前回の立体物の検出結果とを照合し、上記
   距離検出回路の検出可能限界距離より近くに立体物が存
   在するか否かを判定する手段と、 上記距離検出回路の検出可能限界距離より近くに立体物
   が存在すると判定されたとき、一方の撮像画像に設定し
   た領域に対応する部分を他方の撮像画像から探索して視
   差を求め、この視差から上記距離検出回路の検出可能限
   界距離より近くに存在する立体物までの距離を算出する
   至近距離算出プログラムを実行する手段とを備えたこと
   を特徴とする車外監視装置。
2. 【請求項２】 上記領域を、輝度変化の大きい部分を囲
   む領域とすることを特徴とする請求項１記載の車外監視
   装置。
3. 【請求項３】 上記視差を求める範囲を、自車両のバン
   パー先端までの距離に相当する視差の得られる範囲とす
   ることを特徴とする請求項１記載の車外監視装置。