JP2013206328A

JP2013206328A - 物体検出装置

Info

Publication number: JP2013206328A
Application number: JP2012077035A
Authority: JP
Inventors: Hiroyuki Sekiguchi; 弘幸関口
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2012-03-29
Filing date: 2012-03-29
Publication date: 2013-10-07

Abstract

【課題】時間経過と共に形状が変化する不定形の物体に対する不要な制御介入を回避する。
【解決手段】認識コントローラ４は、物体検出部５０で撮像画像を処理して検出した物体に対して、監視ブロック設定部５１にて物体を包囲する矩形状の枠線の領域内に監視ブロックを設定し、一致度算出部５２で監視ブロックの画像上の動きを監視してフレーム間の一致度を算出する。そして、不定形物体判定部５３で監視ブロックのフレーム間の一致度に基づいて、検出した物体が道路上の水蒸気や煙等のように時間経過と共に形状が変化する不定形の物体か車両等のように形状が時間的に変化しない物体かを適切に判断することで、不要な制御介入を回避してドライバに違和感を与えることを防止する。
【選択図】図１

Description

本発明は、車両に搭載したカメラで撮像した撮像画像を処理して車外の物体までの距離情報を算出し、算出した距離情報に基づいて物体を検出する物体検出装置に関する。

近年、自動車等の車両においては、カメラで撮像した画像やレーダ装置から発射された電波の反射波等を解析して車両の周囲に存在する物体を検出する物体検出装置を搭載し、検出した物体の情報に基づいて自車両と他の物体との衝突の可能性の有無を判断し、衝突の可能性がある場合には警報を鳴らしてドライバの注意を喚起したり、衝突を回避するように自動操舵や制動制御を行ったりする等の運転支援制御を行うことで、安全性を向上する技術が開発されている。

例えば、特許文献１には、進行方向前方に存在する物体を検知し、物体の検知結果と所定の接触判定条件とに基づき、自車両と物体との接触に係る判定を行い、その判定結果に応じてスロットルアクチュエータ、ブレーキアクチュエータ、ステアリングアクチュエータ、報知装置等を適切なタイミングで作動させる技術が開示されている。

特開２０１０−２６０５０４号公報

ところで、特に寒冷地や標高が高い場所等で生じ易い現象として、例えば道路上方に水蒸気の塊が浮遊していたり、先行車両のエキゾーストパイプから排出された排気ガスがその場に留まっている白い煙状となる場合がある。このような水蒸気塊や排気ガスが物体として検出されると、水蒸気塊や排気ガスの手前で停止するように自動的にブレーキが掛かる等といったように、必ずしも適切とはいえないタイミングで制御介入が生じる虞があり、ドライバに違和感を与える可能性がある。

本発明は上記事情に鑑みてなされたもので、時間経過と共に形状が変化する不定形の物体に対する不要な制御介入を回避することのできる物体検出装置を提供することを目的としている。

本発明による物体検出装置は、車両に搭載したカメラで撮像した撮像画像を処理して車外の物体までの距離情報を算出し、算出した距離情報に基づいて物体を検出する物体検出装置であって、前記撮像画像内で互いに隣接する前記距離情報をグループ化して物体を検出する物体検出部と、前記検出された物体の領域内で隣接する複数の距離情報の区分をまとめて１つの監視ブロックとして設定する監視ブロック設定部と、前記監視ブロックの画像上の動きを監視し、フレーム間の前記監視ブロックの一致度を算出する一致度算出部と、前記一致度に基づいて、前記検出された物体が時間経過と共に形状が変化する不定形の物体であるか否かを判定する不定形物体判定部とを備えるものである。

本発明によれば、検出した物体が時間経過と共に形状が変化する不定形の物体であるか否かを適切に判断することができ、不要な制御介入を回避することができる。

物体検出装置の構成図基準画像及び距離画像の一例を示す説明図物体検出処理のフローチャート距離画像を分割する各区分を示す説明図図４の各区分における物体の距離を抽出するためのヒストグラムの一例を示す説明図実空間上にプロットした各点のグループ化を示す説明図基準画像上で矩形状の枠線に包囲されて検出された各物体を表す説明図不定形の物体を示す説明図監視ブロックを示す説明図

以下、図面を参照して本発明の実施の形態を説明する。
図１において、符号１は、自動車等の車両に搭載され、カメラ２で撮像した車外の画像から外部環境に存在する物体を検出する物体検出装置である。この物体検出装置１は、カメラ２の撮像画像を処理する画像処理エンジン３と、画像処理エンジン３で処理した画像情報に基づいて外部環境を認識するマイクロコンピュータからなる認識コントローラ４とを主として構成され、例えば、外部環境の認識結果に基づいてドライバに対する各種運転支援を行う運転支援システムの一機能を担っている。

尚、ドライバに対する運転支援としては、例えば、危険性を予測して衝突を回避若しくは衝突被害を軽減するためのプリクラッシュブレーキ制御、全車速域における追従機能付きのクルーズ制御、自車両の車線内でのふらつきや車線からの逸脱を監視してドライバに警報する警報制御等がある。

車外の状況を撮像するカメラ２は、本実施の形態においては、同一物体を異なる視点から撮像するステレオカメラであり、以下、適宜、カメラ２をステレオカメラ２と記載する。具体的には、ステレオカメラ２は、互いの光軸が平行となるように配置された左右２台のカメラ２ａ，２ｂから構成され、これらの２台のカメラ２ａ，２ｂが所定の基線長（光軸間隔）で機械的に固定されている。各カメラ２ａ，２ｂは、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子を有するカラー撮像用の撮像ユニットであり、画像処理エンジン３及び認識コントローラ４と共にステレオカメラユニットとして一体化され、例えば車室内上部のフロントウィンドウ内側に設置されている。

尚、カメラ２ａ，２ｂは、シャッタースピード可変で互いに同期が取られ、一方のカメラ（左カメラ）２ａは、ステレオ処理の際の基準画像を撮像するメインカメラ、他方のカメラ（右カメラ）２ｂは、ステレオ処理の際の比較画像を撮像するサブカメラとして用いられる。

画像処理エンジン３は、ステレオカメラ２で撮像された左右１対の画像を読み込み、２つの画像の対応点を探索するステレオマッチングにより同一物体に対する視差を検出し、この視差に基づく三角測量の原理により測距を行う。このため、画像処理エンジン３は、左右のカメラ２ａ，２ｂの撮像信号をそれぞれ前処理する前処理部１０ａ，１０ｂ、前処理された左右の撮像画像を記憶する入力画像メモリ１５、入力画像メモリ１５に記憶された撮像画像に対して各種補正処理を行う画像補正部２０、画像補正部２０からの出力に対してステレオマッチング処理を行い、距離情報を画像化した距離画像を生成するステレオ処理部３０、ステレオ処理部３０で生成した距離画像と左右のカメラ２ａ，２ｂで撮像された画像（前処理及び補正処理後の左右元画像）とを記憶する出力画像メモリ４０を備えている。

本実施の形態においては、各カメラ２ａ，２ｂは、撮像素子からのアナログ撮像信号を増幅するアンプや、アナログ撮像信号を所定のビット数のデジタル信号に変換するＡ／Ｄコンバータ等の各種回路を内蔵した撮像ユニットとして構成されている。従って、前処理部１０ａ，１０ｂは、カメラ２ａ，２ｂに対する電子シャッター制御、アンプのゲイン・オフセットの制御及び調整、ＬＵＴテーブルによるγ補正等を含む輝度補正、シェーディング補正等を行う。また、前処理部１０ａ，１０ｂは、入力画像メモリ１５にデータを書き出す際のアドレス制御を行い、入力画像メモリ１５の所定のアドレスに、左右のカメラ画像（デジタル画像）が記憶される。

画像補正部２０は、画像処理座標の設定、画像サイズ調整、アドレス制御等における各種パラメータの設定、レンズ歪を含む光学的な位置ズレを補正するための位置補正処理、ノイズ除去等を行うためのフィルタ補正処理等を行う。詳細には、入力画像メモリ１５から読み込んだ画像データに対して、各カメラ２ａ，２ｂのレンズの歪み、各カメラ２ａ，２ｂの取り付け位置のズレや焦点距離のバラツキ、更には、各カメラの撮像面のズレ等に起因する光学的な位置ズレを補正する処理を実行する。

光学的な位置ズレの補正は、各カメラ２ａ，２ｂで撮像した画像における回転ズレ、並進ズレ等をアフィン変換補正テーブルを用いて幾何学的に補正すると共に、レンズ歪み等の非線形な歪みを非線形補正テーブルによって補正するものであり、これにより、各カメラ２ａ，２ｂの光学的位置が等価的に精密調整される。また、フィルタ補正処理は、入力画像メモリに記憶された左右のデジタル画像（諧調画像）に含まれるノイズを、例えば３×３フィルタ等の空間フィルタを用いて除去する。このノイズ除去処理は、アフィン補正によってレンズ歪補正を含む幾何補正を施された画像データに対しては、対応するフィルタ値を切換えて適用する。

以上の画像補正部２０から出力される左右の画像データは、ステレオ処理部３０に入力される。ステレオ処理部３０は、ステレオカメラ２で撮像した自車両外部の周辺環境の画像対（基準画像及び比較画像）から対応する位置のズレ量（視差）をステレオマッチング処理により求め、このズレ量に基づく距離情報を画像形態で出力画像メモリ４０に保存する。

ステレオマッチング処理としては、基準画像内の或る１つの点の周囲に小領域（ブロック或いはウィンドウとも称され、以下ではブロックと記載）を設定し、比較画像内の或る点の周囲に同じ大きさのブロックを設けて対応点を探索する周知の領域探索法を採用することができる。この領域探索法による対応点の探索処理では、比較画像上でブロックをずらしながら基準画像のブロックとの相関演算を行い、相関値が最も大きいブロックの座標のズレ量を算出する。このズレ量は、画像座標系の対応する位置の輝度値に置き換えられ、画像形態の距離画像として保存される。例えば、図２（ａ）に例示するような基準画像Ｔｏのｉ，ｊ座標上の各ブロックに対してズレ量に応じた輝度値を割り当てることにより、図２（ｂ）に示すような距離画像Ｔｚが形成される。

認識コントローラ４は、画像処理エンジン３で測距された物体の３次元位置を用いて自車両の周囲に存在する物体の検出処理を行う。この認識コントローラ４による物体検出処理は、建築物や車両等のように形状が時間的に変化しない物体のみならず、空間内に浮遊する粒子群の塊（水蒸気や排気ガス）等のように、時間的に形状が変化する不定形の物体も対象としている。

このため、認識コントローラ４は、不定形の物体を検出可能とするための機能として、図１に示すように、物体検出部５０、監視ブロック設定部５１、一致度算出部５２、不定形物体判定部５３を備えている。これらの機能部による物体検出処理は、図３のフローチャートに示す手順に従って実行される。以下、不定形の物体を含む物体検出処理について、図３のフローチャートに従って説明する。

最初のステップＳ１は、物体検出部５０の処理であり、画像処理エンジン３からの距離情報に基づいて、互いに隣接する距離の情報をグループ化して物体を検出する。具体的には、物体検出部５０は、出力画像メモリ４０から前述した距離画像を読み出して、図４に示すように距離画像Ｔｚを所定の画素幅で垂直方向に延びる短冊状の区分Ｄｎに分割する。そして、短冊状の各区分Ｄｎに属する画素ブロックに割り当てられた距離Ｚについて、図５に示すようにヒストグラムＨｎを作成し、度数Ｆｎが最大の階級の階級値をその短冊状の区分Ｄｎにおける物体の距離Ｚｎとする。これを全区分Ｄｎについて行う。

各区分Ｄｎごとに得られた距離Ｚｎは、実空間上にプロットされ、図６に示すようにプロットされた各点間の距離や方向性に基づいて互いに隣接する各点をそれぞれグループＧ１、Ｇ２、Ｇ３、…にまとめてグループ化される。本実施の形態においては、各グループに属する各点をそれぞれ直線近似し、それぞれのグループ内の各点が自車両の車幅方向すなわちＸ軸方向に略平行に並ぶグループには“物体”とラベルし、各点が自車両の車長方向すなわちＺ軸方向に略平行に並ぶグループには“側壁”とラベルして分類する。また、同一の物体の“物体”と“側壁”の交点とみなすことができる箇所には、“コーナー点”をラベルする。そして、各ラベルの隣接関係に基づいて、各ラベルを組合せて１つの物体として検出する。

また、検出した各物体の情報に基づいて、図７に示すように、基準画像上に撮像された各物体を包囲する矩形状の枠線を設定することで、各物体が撮像されている各領域を設定して基準画像上に各物体を検出する。図７の例では、各ラベルに対して、［側壁ＳＷ１］、［物体Ｏ１］、［側壁ＳＷ２］、［物体Ｏ２とコーナー点Ｃと側壁ＳＷ３］、［側壁ＳＷ４］、［物体Ｏ３］、［物体Ｏ４］、［側壁ＳＷ５とコーナー点Ｃと物体Ｏ５］、［物体Ｏ６］、［側壁ＳＷ６］をそれぞれ１つの物体として検出する例を示している。このようにして検出された各物体の情報、すなわち物体に属する距離の情報やグループの近似直線の端点や中点の座標、基準画像における各枠線の頂点の座標等は、それぞれメモリに保存される。

次のステップＳ２以降では、検出された物体が道路上の水蒸気や煙等のように時間経過と共に形状が変化する不定形の物体か、車両等のように形状が時間的に変化しない物体かを判定するための処理を行う。すなわち、図８に示すように、形状の変化しない物体Ｏに加え、道路上方に浮遊している排気ガスや水蒸気塊等が物体Ｏmstとして検出された場合、この物体Ｏmstと自車両との衝突の危険性があると判断されてプリクラッシュブレーキ制御が作動する虞がある。

このため、ステップＳ２の監視ブロック設定部５１による処理、ステップＳ３の一致度算出部５２による処理を経て、ステップＳ４の不定形物体判定部５３による判定で、検出された物体が道路上の水蒸気や煙等のように時間経過と共に形状が変化する不定形の物体か、車両等のように形状が時間的に変化しない物体かを判定する。

具体的には、監視ブロック設定部５１は、図９に示すように、基準画像上の各物体を包囲する矩形状の上述の枠線の領域内で、隣接する距離情報の区分（短冊状の区分）をまとめて１つの監視ブロックＢＬとして設定する（ステップＳ２）。この監視ブロックＢＬは、演算量と判定精度との兼ね合いを考慮し、図９中に破線で示すように、１つの物体を包囲する枠線の領域内で複数個（例えば、３個程度）に分けて設定される。

そして、一致度算出部５２にて、各監視ブロックの画像上の縦方向や横方向の動きを監視し、各監視ブロックのフレーム間の一致度を算出する。各監視ブロックの一致度は、各監視ブロックの縦方向や横方向の画像上のサイズ、各監視ブロックの面積について、今回の値と前回の値との差分、今回の値と数フレーム分の平均値との差分を算出して評価し、これらの差分が小さい程、一致度が大きいと評価する（ステップＳ３）。

次のステップＳ４の不定形物体判定部５３による判定では、注目している物体を構成する各監視ブロックについて、フレーム間の一致度に基づいて、検出された物体が時間経過と共に形状が変化する不定形の物体であるか否かを判定する。判断対象となる物体が排気ガスや水蒸気塊等のように形状が時間的に変化する不定形の物体である場合、略同一距離にある監視ブロックがフレーム間で揺らいで検出される（監視ブロックの位置や大きさが変動する）。

従って、監視ブロックのフレーム間の一致度を閾値と比較し、一致度が閾値以上である場合には、検出された物体は時間経過と共に形状が変化しない通常の固体物であると判定する（ステップＳ５）。一方、監視ブロックのフレーム間の一致度が閾値より小さく、フレーム間で変動している場合には、検出された物体は時間経過と共に形状が変化する排気ガスや水蒸気塊等の不定形の物体であると判定する（ステップＳ６）。そして、検出した全物体について処理が終了したか否かを判断し、検出した全物体についての判断が終了するまで以上の処理を続行する（ステップＳ７）。

この場合、１つの物体の枠線領域内でフレーム間の一致度が閾値以上の監視ブロックと一致度が閾値未満の監視ブロックとが混在する場合には、例えば、先行車両と排気ガスとが同時に撮像され、１つの物体として検出された場合と判断することができる。一方、画像の横方向の比較的広い範囲に渡って、複数の監視ブロックのフレーム間の一致度が閾値未満である場合には、水蒸気等の煙状の物体が気流に沿って流れていると判断することができる。このような不定形の物体を判別するための閾値は、物体の輝度又は色に応じて異なる値に可変設定することが望ましい。例えば、白煙や水蒸気の可能性が高い物体を検出しようとする場合、白の色相が強い物体に対して一致度の閾値を小さくすることで、白煙や水蒸気をより確実に検出することができる。

このように本実施の形態においては、撮像画像を処理して検出した物体を包囲する矩形状の枠線の領域内に監視ブロックを設定し、この監視ブロックの画像上の動きを監視してフレーム間の一致度を算出することで、検出した物体が道路上の水蒸気や煙等のように時間経過と共に形状が変化する不定形の物体か、車両等のように形状が時間的に変化しない物体かを適切に判断することができ、不要な制御介入を回避してドライバに違和感を与えることを防止することができる。

１物体検出装置
２カメラ
３画像処理エンジン
４認識コントローラ
３０ステレオ処理部
５０物体検出部
５１監視ブロック設定部
５２一致度算出部
５３不定形物体判定部

Claims

車両に搭載したカメラで撮像した撮像画像を処理して車外の物体までの距離情報を算出し、算出した距離情報に基づいて物体を検出する物体検出装置であって、
前記撮像画像内で互いに隣接する前記距離情報をグループ化して物体を検出する物体検出部と、
前記検出された物体の領域内で隣接する複数の距離情報の区分をまとめて１つの監視ブロックとして設定する監視ブロック設定部と、
前記監視ブロックの画像上の動きを監視し、フレーム間の前記監視ブロックの一致度を算出する一致度算出部と、
前記一致度に基づいて、前記検出された物体が時間経過と共に形状が変化する不定形の物体であるか否かを判定する不定形物体判定部と
を備えることを特徴とする物体検出装置。
前記閾値を、物体の輝度又は色に応じて可変設定することを特徴とする請求項１記載の物体検出装置。