JP4897539B2 - 障害物検知装置 - Google Patents

Description

本発明は、車両が狭い通路等を低速で移動する際に、障害物との接触を回避するための障害物検知装置に関する。

車両に搭載した撮像手段で撮像した時系列的に異なる二つの画像からオプティカルフロー（動きベクトル）を算出し、そのオプティカルフローを監視することで自車に対する前方接近車や割り込み車を抽出するものが、下記特許文献１により公知である。

また車両に搭載した撮像手段で撮像した遠景の画像のオプティカルフローを算出し、画像中に前記遠景のオプティカルフローと異なる動きをするオプティカルフローが存在する場合に、それが立体物に起因するものであると判定するものが、下記特許文献２により公知である。
特開平６−３１４３４０号公報 特開２００１−１１６５２７号公報

しかしながら上記従来のものは、自車の周辺の車両や立体物を検知するために撮像手段で撮像した画像からオプティカルフローを算出する必要があり、その演算量が膨大なものになるためにコンピュータの負荷が増大して処理時間が長くなる問題があった。

本発明は前述の事情に鑑みてなされたもので、狭い通路等を低速で通過する際に自車が接触する可能性のある障害物を簡単な演算で確実に検知し得る障害物検知装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載された発明によれば、車両の側面に設けられて、車両の移動時に少なくとも車両の側方から斜め前方を含む領域を撮像する撮像手段と、前記撮像手段で撮像した画像から特徴部を抽出する特徴部抽出手段と、前記特徴部の移動軌跡を積算して積算画像を作成する積算手段と、前記積算画像の表示画面を水平な複数の平行線で複数の領域に区画すると共に、その各領域で前記積算画像に対し、該各領域毎に予め定められた回数の収縮処理を実行した後、前記収縮処理と同一回数の膨張処理を実行することで、路面上の図形の積算画像を消去して立体物の積算画像を残す収縮／膨張処理手段と、残った立体物の積算画像から障害物を認識する障害物認識手段とを備えたことを特徴とする障害物検知装置が提案される。

また請求項２に記載された発明によれば、請求項１の構成に加えて、前記障害物の車両に対する相対位置を算出する相対位置算出手段と、車両の移動軌跡を算出する移動軌跡算出手段と、前記移動軌跡算出手段で算出した車両の移動軌跡に応じて変化する前記障害物の相対位置をトレースする相対位置トレース手段とを備えたことを特徴とする障害物検知装置が提案される。

また請求項３に記載された発明によれば、請求項２の構成に加えて、前記相対位置算出手段は、車両の上方からみた、車体を基準としたＸ−Ｙ座標系において、障害物の画像の下端位置のＸ−Ｙ座標を、その障害物の位置座標として算出することを特徴とする障害物検知装置が提案される。

また請求項４に記載された発明によれば、請求項２または請求項３の構成に加えて、前記相対位置算出手段は、複数の障害物のうち車両に最も近い障害物の相対位置を算出することを特徴とする障害物検知装置が提案される。

また請求項５に記載された発明によれば、請求項２〜請求項４の何れか１項の構成に加えて、前記移動軌跡算出手段は車両の速度および操舵角に基づいて車両の移動軌跡を算出することを特徴とする障害物検知装置が提案される。

また請求項６に記載された発明によれば、請求項２〜請求項５の何れか１項の構成に加えて、前記相対位置トレース手段でトレースした前記障害物と車両との距離が所定の閾値以下になったとき、前記特徴部との接触を回避する方向への操舵を支援する操舵支援装置、車両を自動減速する減速制御装置および運転者に警報を発する警報装置の少なくとも一つを備えたことを特徴とする障害物検知装置が提案される。

尚、実施の形態のテレビカメラ１２は本発明の撮像手段に対応する。

請求項１の構成によれば、車両の側面に設けられた撮像手段が、車両の移動時に少なくとも車両の側方から斜め前方を含む領域を撮像し、特徴部抽出手段が前記撮像手段で撮像した画像から特徴部を抽出し、積算手段が前記特徴部の移動軌跡を積算して積算画像を作成し、収縮／膨張処理手段が、積算画像の表示画面を水平な複数の平行線で複数の領域に区画すると共に、その各領域で前記積算画像に対し、該各領域毎に予め定められた回数の収縮処理を実行した後、収縮処理と同一回数の膨張処理を実行することで路面上の図形の積算画像を消去して立体物の積算画像を残し、障害物認識手段が前記立体物の積算画像から障害物を認識するので、撮像手段の画像データに簡単な演算を施すだけで障害物となる立体物を確実に検知することができる。しかも車体の各側面に撮像手段を１個ずつ設ければ良いので低コストであるだけでなく、外観上目立つ車体側面のデザインに与える影響を最小限に抑えることができる。

また請求項２の構成によれば、相対位置算出手段で障害物の車両に対する相対位置を算出し、移動軌跡算出手段で車両の移動軌跡を算出し、相対位置トレース手段で車両の移動軌跡に応じて変化する障害物の相対位置をトレースするので、運転者は車両が接触する可能性のある障害物の位置を逐次認識して接触を回避することができる。

また請求項３の構成によれば、相対位置算出手段は、車両の上方からみた、車体を基準としたＸ−Ｙ座標系において、障害物の画像の下端位置のＸ−Ｙ座標を、その障害物の位置座標として算出するので、画像から障害物の座標を算出する手順が簡単になる。

また請求項４の構成によれば、相対位置算出手段が複数の障害物のうち車両に最も近い障害物の相対位置を算出するので、車両に接触する可能性がある障害物の位置を精度良く算出することができる。

また請求項５の構成によれば、移動軌跡算出手段が車両の速度および操舵角に基づいて車両の移動軌跡を算出するので、簡単な演算で車両の移動軌跡を精度良く算出することができる。

また請求項６の構成によれば、相対位置トレース手段でトレースした障害物と車両との距離が所定の閾値以下になると、操舵支援装置が前記障害物との接触を回避する方向への操舵を支援し、減速制御装置が車両を自動減速し、あるいは警報装置が運転者に警報を発するので、車両が障害物と接触するのを確実に回避することができる。

以下、本発明の実施の形態を添付の図面に基づいて説明する。

図１〜図８は本発明の実施の形態を示すもので、図１は車両を上方から見た図、図２は障害物検知装置のブロック図、図３はテレビカメラによる物体検知の説明図、図４は路面上の図形および立体物の画像の変化を説明する図、図５は特徴部抽出手段の作用の説明図、図６は積算手段の作用の説明図、図７は収縮／膨張処理手段の作用の説明図、図８は相対位置トレース手段の作用の説明図である。

図１に示すように、車両Ｖは左右のドアミラー１１，１１に設けられた左右のテレビカメラ１２，１２を備える。各テレビカメラ１２は車両Ｖの側面から斜め前方までの広角の領域Ｒに存在する立体物Ｏや路面上の白線のような図形Ｆを撮像する。以下、立体物Ｏおよび図形Ｆを物体という。テレビカメラ１２は、撮像した画像上の物体の位置から該物体の方向を認識することが可能であるが、その物体の距離を認識することができない。

図２に示すように、電子制御ユニットＵは、特徴部抽出手段Ｍ１と、積算手段Ｍ２と、収縮／膨張処理手段Ｍ３と、障害物認識手段Ｍ４と、相対位置算出手段Ｍ５と、移動軌跡算出手段Ｍ６と、相対位置トレース手段Ｍ７とを備える。特徴部抽出手段Ｍ１には、テレビカメラ１２，１２が接続され、移動軌跡算出手段Ｍ６には、車両Ｖの走行速度を検知する車速センサ１５と、車両Ｖのステアリングホイールの操舵角を検知する操舵角センサ１６とが接続される。また相対位置トレース手段Ｍ７には、ステアリングホイールにアクチュエータで操舵トルクを加えて運転者のステアリング操作をアシストする操舵支援装置１７と、ブレーキを自動的に作動させて車両Ｖを減速する減速制御装置１８と、運転者にモニターの画像、音声、ブザー、チャイム等で警報を発する警報装置１９とが接続される。

図３（Ｃ）はテレビカメラ１２で撮像した車体右側面側の画像を示すものである。テレビカメラ１２の画像上で車体に対して所定の位置Ａに物体が検知されたとする。しかしながら、テレビカメラ１２の画像は物体の奥行き（テレビカメラ１２からの距離）を検知できないため、図３（Ａ），（Ｂ）に示すように、前記Ａ点の画像は、路面上のＡ１点の画像であるのか、路面より高い位置にあるＡ２点の画像であるのか識別することができない。

よって、車両Ｖの上方からみた、車体を基準としたＸ−Ｙ座標系でＡ点の座標を特定しようとしても、物体がＡ１点にあるときの座標は（Ｘ１，Ｙ１）となり、物体がＡ２点にあるときの座標は（Ｘ２，Ｙ２）となり、実際の物体の位置を特定できないことになる。物体のうち、路面上の白線等の図形は車両Ｖに接触する虞がないために障害物として認識する必要はないが、立体物は車両Ｖに接触する虞があるために障害物として認識する必要がある。よって、路面上の図形Ｆと立体物とを識別し、立体物だけを障害物として認識する必要がある。

尚、本実施の形態では、Ｘ−Ｙ座標系は車両Ｖの右側の物体に対するものと車両Ｖの左側の物体に対するものとが別個に設けられており、それらの原点はそれぞれ左右のドアミラー１１，１１に設けたテレビカメラ１２，１２の位置に一致し、Ｘ軸の正方向は車体前方を向き、Ｙ軸の正方向は車幅方向外側を向くものとする。勿論、Ｘ−Ｙ座標系の設定は上記したものに限定されず、任意に設定可能である。

図１に示すように、車両Ｖの右側の路面上に車両Ｖの進行方向と直交する方向に延びる白線のような図形Ｆが存在し、かつ車両Ｖの右側の路面上に立設したポールのような立体物Ｏが存在する場合を考える。

図４（Ａ）はテレビカメラ１２で撮像した時刻ｔにおける図形Ｆおよび立体物Ｏの画像であるが、この画像だけでは、何れが図形Ｆであるのか立体物Ｏであるのかを識別することはできない。図４（Ｂ）は時刻ｔ＋Δｔにおける同じ画像であり、Δｔの間に車両Ｖが前進することで、図形Ｆおよび立体物Ｏの画像は画面上で左側から右側に移動している。図形Ｆおよび立体物Ｏの移動距離は各部において一定ではなく、テレビカメラ１２に近い点ほど移動距離が大きくなる。極端な例では、テレビカメラ１２の直近に存在する点は画面の左端から右端へと通過してしまい、逆に無限遠方に存在する点は画面上で移動しないことになる。

図４（Ｃ）は時刻ｔにおける画像を破線で示し、時刻ｔ＋Δｔにおける画像を実線で示したもので、破線および実線の左右方向のずれは、各点のテレビカメラ１２からの距離に応じて異なっている。具体的には、テレビカメラ１２に最も近い立体物Ｏ（ポール）の上端は左右方向に最も大きく移動しており、テレビカメラ１２から最も遠い図形Ｆの右端は左右方向に殆ど移動していない。また図形Ｆの左端と立体物Ｏの下端とは、テレビカメラ１２からの距離に大差がないため、左右方向の移動距離が略等しくなっている。

画面の下側の領域ａと上側の領域ｂとを比較すると、下側の領域ａでは図形Ｆおよび立体物Ｏのテレビカメラ１２からの距離に大きな差がないので、左右方向の移動距離に大きな差が発生することはないが、上側の領域ｂでは図形Ｆおよび立体物Ｏのテレビカメラ１２からの距離に大きな差があるので、左右方向の移動距離に大きな差が発生する。本実施の形態では、この現象を利用して車両Ｖに接触する障害物となり得ない図形Ｆと、車両Ｖに接触する障害物となり得る立体物Ｏとを識別する。

以下、図２のブロック図に基づいて障害物検知手法を具体的に説明する。

先ず、電子制御ユニットＵの特徴部抽出手段Ｍ１にはテレビカメラ１２で撮像した画像データが時間Δｔ毎に入力され、特徴部抽出手段Ｍ１は、図５に示すように、時刻ｔの画像データと時刻ｔ＋Δｔの画像データとを比較して変化分を特徴部（エッジ抽出画像）として抽出し、この処理を時間Δｔ毎に繰り返す。そして積算手段Ｍ２は、図６に示すように、時間Δｔを介して連続する複数の特徴部、つまり時刻ｔ＋Δｔ、時刻ｔ＋２Δｔ、時刻ｔ＋３Δｔ…における特徴部を積算して積算特徴部を算出する。尚、積算の回数は任意である。

続いて収縮／膨張処理手段Ｍ３は、図７（Ａ）に示すように、積算特徴部の画像の表示画面を水平な複数の平行線で複数の領域に区画すると共に、その各領域で前記積算特徴部の画像に対し、各領域毎に予め定められた回数の後述する収縮処理および膨張処理を実行する。

前記画面は縦横に配置された多数の画素からなり、画面上の画像はデータの有る画素「１」とデータの無い画素「０」との集合で構成される。収縮処理は画像処理において良く知られた手法であり、画面上の所定の画素の上下左右に隣接する４個の画素（４近傍画素）、あるいは画面上の所定の画素の上下左右に隣接する画素に右上、右下、左上、左下に隣接する画素を加えた８個の画素（８近傍画素）を隣接画素と定義したとき、画面上の全ての「１」の画素について、隣接画素の何れか一つが「０」の画素を「０」とし、その他の画素を「１」とするものである。この収縮処理を１回行う毎に、画像の輪郭が１画素分だけ収縮する。一方、膨張処理は、画面上の全ての「０」の画素について、隣接画素の何れか一つが「１」の画素を「１」とし、その他の画素を「０」とするものである。この膨張処理を１回行う毎に、画像の輪郭が１画素分だけ膨張する。

テレビカメラ１２から遠い路面上の図形Ｆの積算特徴部の画像は左右方向の幅が狭いため、その画像が消滅するまでに必要な前記収縮処理の回数が少なくなるが、テレビカメラ１２に近い立体物Ｏの積算特徴部の画像は左右方向の幅が広いため、その画像が消滅するまでに必要な前記収縮処理の回数が多くなる。従って、画面の各領域で前記積算特徴部の画像に対し、該各領域毎に予め定められた回数の収縮処理を行うことで、幅の狭い路面上の図形Ｆの積算特徴部の画像を消滅させ、幅の広い立体物Ｏの積算特徴部の画像を残すことができる（図７（Ｂ）参照）。

続いて、収縮／膨張処理手段Ｍ３は、各領域毎に前記収縮処理の実行回数と同一回数の膨張処理を実行する。このとき、一旦消滅した路面上の図形Ｆの積算特徴部の画像は復元されることはないが、完全に消滅せずに残っている立体物Ｏの積算特徴部の画像は元の状態に復元される。このようにして、障害物を示す立体物Ｏの積算特徴部の画像だけを残すことができる（図７（Ｃ）参照）。

続いて、障害物認識手段Ｍ４が画面に残った立体物Ｏの積算特徴部の画像に基づいて、車両Ｖが接触する可能性がある立体物Ｏを障害物として認識する。立体物Ｏの積算特徴部は該立体部Ｏのエッジ（例えば建物の角や柱の角）に対応しており、自車がその周囲を回り込もうとしたときに、内輪差により自車の車体側面と接触する可能性が高い部分である。

このようにして、テレビカメラ１２の撮像データに基づいて障害物が認識されると、相対位置算出手段Ｍ５が車両Ｖに対する前記障害物の位置をＸ−Ｙ座標で算出する。図３で説明したように、画面上の同じ位置に画像が存在する場合でも、路面から高い位置にある物体の距離は実際には近く、路面上にある物体の距離は実際には遠くなり、そのために画像から障害物の座標を算出する手順が面倒になる。そこで、相対位置算出手段Ｍ５は障害物の下端、つまり障害物が路面に接する部分のＸ−Ｙ座標を、その障害物の位置として算出する。

障害物の座標の特定は、演算時間を短縮するためにマップ検索を用いて行われる。即ち、テレビカメラ１２の各検知方向に対応して障害物の座標を記憶したマップを準備しておき、このマップから障害物の座標を検索することができる。例えば、図７の画像における障害物（積算特徴部）が路面に接する下端位置の画素Ｐが決まると、その画素Ｐの位置に対応する障害物のＸ−Ｙ座標をマップから検索することができる。

尚、障害物が複数存在する場合には、それらのうちの最も距離が小さいもの（自車に最も近いもの）が障害物として選択される。

移動軌跡算出手段Ｍ６は、車速センサ１５で検知した車速と操舵角センサ１６で検知した操舵角とから、所定時間Δｔ毎に自車の移動軌跡を算出する。自車の移動軌跡にはＸ−Ｙ座標系の原点の移動軌跡と、Ｘ軸およびＹ軸の方向とが含まれる。

相対位置トレース手段Ｍ７は、相対位置算出手段Ｍ５で算出した障害物の座標と、移動軌跡算出手段Ｍ６で算出した自車の時間Δｔ毎の移動軌跡とから、時間Δｔ毎の障害物の座標をトレースする。これにより、図８に示すように、障害物が時間Δｔ毎に自車に対してどのように相対移動するかを知ることができる。そして時間Δｔ後に車体側面（その座標は既知である）と障害物との距離が閾値以下になると判断されると、操舵支援装置１７が障害物との接触を回避する方向の操舵トルクを発生させ、減速制御装置１８が自動ブレーキを作動させ、更に警報装置１９が運転者に接触の可能性があることを報知することで、自車が障害物と接触するのを確実に回避することができる。

以上のように、車両Ｖの各側面にテレビカメラ１２を１個設ければ良いので、低コストであるだけでなく、外観上目立つ車体側面のデザインに与える影響を最小限に抑えることができる。しかも簡単な演算処理で路面上の図形Ｆと立体物Ｏとを識別することができるので、コンピュータの演算負荷を軽減して処理時間を短縮することができる。

以上、本発明の実施の形態を説明したが、本発明はその要旨を逸脱しない範囲で種々の設計変更を行うことが可能である。

例えば、実施の形態では車両Ｖが障害物に接触するのを回避するために操舵支援装置１７、減速制御装置１８および警報装置１９を設けているが、そのうちの少なくとも一つだけを設けても良く、また最初に警報装置１９を作動させ、運転者が反応しない場合に操舵支援装置１７を作動させ、それでも接触の可能性がある場合に減速制御装置１８を作動させても良い。

車両を上方から見た図 障害物検知装置のブロック図 テレビカメラによる物体検知の説明図 路面上の図形および立体物の画像の変化を説明する図 特徴部抽出手段の作用の説明図 積算手段の作用の説明図 収縮／膨張処理手段の作用の説明図 相対位置トレース手段の作用の説明図

１２ テレビカメラ（撮像手段）
１７ 操舵支援装置
１８ 減速制御装置
１９ 警報装置
Ｍ１ 特徴部抽出手段
Ｍ２ 積算手段
Ｍ３ 収縮／膨張処理手段
Ｍ４ 障害物認識手段
Ｍ５ 相対位置算出手段
Ｍ６ 移動軌跡算出手段
Ｍ７ 相対位置トレース手段
Ｏ 立体物
Ｆ 図形
Ｒ 領域
Ｖ 車両

Claims (6)

1. 車両（Ｖ）の側面に設けられて、車両（Ｖ）の移動時に少なくとも車両（Ｖ）の側方から斜め前方を含む領域（Ｒ）を撮像する撮像手段（１２）と、
   前記撮像手段（１２）で撮像した画像から特徴部を抽出する特徴部抽出手段（Ｍ１）と、
   前記特徴部の移動軌跡を積算して積算画像を作成する積算手段（Ｍ２）と、
   前記積算画像の表示画面を水平な複数の平行線で複数の領域に区画すると共に、その各領域で前記積算画像に対し、該各領域毎に予め定められた回数の収縮処理を実行した後、前記収縮処理と同一回数の膨張処理を実行することで、路面上の図形（Ｆ）の積算画像を消去して立体物（Ｏ）の積算画像を残す収縮／膨張処理手段（Ｍ３）と、
   残った立体物（Ｏ）の積算画像から障害物を認識する障害物認識手段（Ｍ４）と、
   を備えたことを特徴とする障害物検知装置。
2. 前記障害物の車両（Ｖ）に対する相対位置を算出する相対位置算出手段（Ｍ５）と、車両（Ｖ）の移動軌跡を算出する移動軌跡算出手段（Ｍ６）と、前記移動軌跡算出手段（Ｍ６）で算出した車両（Ｖ）の移動軌跡に応じて変化する前記障害物の相対位置をトレースする相対位置トレース手段（Ｍ７）とを備えたことを特徴とする、請求項１に記載の障害物検知装置。
3. 前記相対位置算出手段（Ｍ５）は、車両（Ｖ）の上方からみた、車体を基準としたＸ−Ｙ座標系において、障害物の画像の下端位置のＸ−Ｙ座標を、その障害物の位置座標として算出することを特徴とする、請求項２に記載の障害物検知装置。
4. 前記相対位置算出手段（Ｍ５）は、複数の障害物のうち車両（Ｖ）に最も近い障害物の相対位置を算出することを特徴とする、請求項２または請求項３に記載の障害物検知装置。
5. 前記移動軌跡算出手段（Ｍ６）は車両（Ｖ）の速度および操舵角に基づいて車両（Ｖ）の移動軌跡を算出することを特徴とする、請求項２〜請求項４の何れか１項に記載の障害物検知装置。
6. 前記相対位置トレース手段（Ｍ７）でトレースした前記障害物と車両（Ｖ）との距離が所定の閾値以下になったとき、前記障害物との接触を回避する方向への操舵を支援する操舵支援装置（１７）、車両（Ｖ）を自動減速する減速制御装置（１８）および運転者に警報を発する警報装置（１９）の少なくとも一つを備えたことを特徴とする、請求項２〜請求項５の何れか１項に記載の障害物検知装置。

Images