JP2007279805A

JP2007279805A - 障害物衝突判断装置および障害物衝突警告システム

Info

Publication number: JP2007279805A
Application number: JP2006101745A
Authority: JP
Inventors: Koji Shin; 浩治新; Tatsuyuki Negishi; 辰行根岸; Kazuhiko Iwai; 和彦岩井
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2006-04-03
Filing date: 2006-04-03
Publication date: 2007-10-25

Abstract

【課題】視界の悪い交差点における障害物の衝突判断を可能にする障害物衝突判断装置および障害物衝突警告システムの提供。
【解決手段】車両に搭載される装置であって、画像データから障害物と道路反射鏡とを検出する物体検出手段と、物体検出手段が検出した道路反射鏡の状態を認識する道路反射鏡状態認識手段と、物体検出手段が検出した障害物の状態を認識する障害物状態認識手段と、障害物状態認識手段の認識結果に基づいて障害物の接近を判断する接近判断手段とを備え、障害物状態認識手段は、道路反射鏡状態認識手段の認識結果をもとに、障害物の状態を認識するものであり、これによって、視界の悪い交差点における障害物の衝突を判断できる。
【選択図】図１

Description

本発明は、車載カメラを用いて画像を取得し、車両から障害物となる対象物までの距離を測定して、車両と障害物の衝突の可能性を判断する技術に関し、特に道路反射鏡に映る対象物についても車両からの距離を測定して車両と障害物の衝突の可能性を判断するようにした障害物衝突判断装置および、障害物衝突判断装置を搭載した障害物衝突警告システムに関する。

自動車運転における事故を防止するために、これまで、安全運転を支援する様々な車載システムが考案されてきた。そのようなシステムのひとつとして、自車両と、他車両や歩行者などの障害物との衝突事故を防止するために、車外の様子を撮影した画像データを認識処理して車両の周囲状況を認知し、障害物の接近判断および運転者警告を行うものがある。このシステムは主に、自車両の周囲状況の画像データを取得するための画像取得装置、取得した画像データを認識処理して障害物との衝突を判断するための障害物衝突判断装置、および判断結果をもとに運転者へ警告する警告装置から構成される。

障害物衝突判断装置が自車両に対する障害物の相対距離を測定する方法としては、ステレオ構成のカメラで取得された画像の視差を算出する方法が知られている。ステレオ構成のカメラで取得された画像の視差を算出する障害物衝突判断装置の中には、一対の光学系によりイメージセンサ上に結像した一対の画像を比較して両画像の光軸からのずれ量を検出し、三角測量の原理に基づいて演算を実行して対象物までの距離を測定し、カーブ等の走行時にも対象物以外の背景等を誤認識することなく、対象物までの距離を正確に測定するように改善を加えたものも提案されている（例えば、特許文献１参照）。
特開平１１−５１６４６号公報（第３ページ、図６）

見通しの悪い交差点には、壁などの遮蔽物の陰から現れる車両について運転者が容易に認識出来るように道路反射鏡が設置されている。しかし、上記従来の障害物衝突判断装置は、車載カメラを用いて取得した画像から、車両と対象物の距離を測定して衝突の可能性を判断しているが、取得した画像の中の道路反射鏡に映った対象物について特別の扱いをしていない。そのため、たとえ道路反射鏡が設置されていたとしても、上記従来の障害物衝突判断装置では道路反射鏡自体を障害物と判断してしまうか、または、道路反射鏡に映った障害物をそのままの状態で認識してしまう。

例えば自車両から見て交差方向の道路が見えるように道路反射鏡が設置されている場合、障害物が自車両に対して交差方向に走行していても、従来の障害物衝突判断装置では、障害物が全く認識出来ないか、または自車両に正面方向から接近するように誤認識してしまう。図４に、視界の悪い交差点に設置された道路反射鏡と障害物と自車両との位置関係を示す。図４では、自車両４０に設置された一対のカメラ４１、４２が、道路反射鏡５０に映った障害物６０の画像６１から障害物６０と自車両４０との距離を計測する。図４で、障害物６０は実際には、壁７０の向こう側を右から左に移動するのであるが、障害物衝突判断装置は、障害物６０の画像６１がカメラ４１、４２の前方にあるため、障害物６０は前方にあるとして距離（Ｌ２）を障害物６０と自車両４０との距離として計測してしまう。このままでは、障害物６０が前方の距離（Ｌ２）の位置にあるという不適切な情報を運転者に与えてしまう。このように、道路反射鏡５０には衝突の可能性の高い障害物６０の画像が映っているのに、従来の障害物衝突判断装置ではその情報を無視するか、実際とは異なる不適切な情報を提供してしまうという課題があった。

本発明は、上記従来の課題を解決するためになされたもので、道路反射鏡に映った対象物についても車両からの実際の距離を計測し、衝突の可能性を判断することができる障害物衝突判断装置を供給することにより、視界の悪い交差点における障害物の衝突判断を可能にすることを目的としている。

本発明の障害物衝突判断装置は、車両に搭載される装置であって、画像データから障害物と道路反射鏡とを検出する物体検出手段と、物体検出手段が検出した道路反射鏡の状態を認識する道路反射鏡状態認識手段と、物体検出手段が検出した障害物の状態を認識する障害物状態認識手段と、障害物状態認識手段の認識結果をもとに障害物の接近を判断する接近判断手段とを備え、障害物状態認識手段は、道路反射鏡状態認識手段の認識結果をもとに、障害物の状態を認識する構成を有している。

この構成により、視界の悪い交差点であっても、交差点に設置された道路反射鏡の状態を認識することで、道路反射鏡に映った障害物の状態を測定することができ、自車両と障害物との衝突判断が可能となる。

また、本発明の障害物衝突判断装置において、障害物状態認識手段が認識する障害物の状態は、車両に対する相対位置からなり、道路反射鏡状態認識手段が認識する道路反射鏡の状態は、車両に対する相対位置および角度からなる構成を有している。

この構成により、視界の悪い交差点であっても、交差点に設置された道路反射鏡の自車両に対する相対位置と自車両に対する角度を認識することで、道路反射鏡に映った障害物の相対位置を測定することができ、障害物の衝突判断が可能となる。

また、本発明の障害物衝突判断装置において、物体検出手段が検出する障害物は、四輪車、二輪車、または歩行者である構成を有している。

この構成により、視界の悪い交差点であっても、交差点に設置された道路反射鏡の状態を認識することで、道路反射鏡に映った四輪車、二輪車、または歩行者の状態を測定することができ、衝突の判断が可能となる。

また、本発明の障害物衝突判断装置において、物体検出手段は、画像データにおける背景の連続性、または背景のゆがみをもとに、道路反射鏡の存在を検出する構成を有している。

この構成により、道路反射鏡が識別しづらい環境下でも、背景の情報から、画像データにおける道路反射鏡を高精度に検出することが出来る。

また、本発明の障害物衝突判断装置において、道路反射鏡状態認識手段は、道路反射鏡の形状を解析し、形状の解析結果をもとに、道路反射鏡の状態を認識する構成を有している。

この構成により、障害物の状態の測定に必要な、道路反射鏡の状態を、道路反射鏡の形状をもとに、高精度に認識することが出来る。

また、本発明の障害物衝突判断装置は、車両が走行する道路の交差点形状情報を記憶する交差点形状情報記憶手段をさらに備え、道路反射鏡状態認識手段は、交差点形状情報記憶手段が記憶している交差点形状情報をもとに、道路反射鏡の状態を認識する構成を有している。

この構成により、障害物の状態の測定に必要な、道路反射鏡の状態を、交差点形状情報をもとに、高精度に認識することが出来る。

本発明の障害物衝突判断装置は、画像データから道路反射鏡と障害物とを検出する手段と、道路反射鏡の自車両との相対位置と自車両との角度を認識する手段と、障害物と自車両との相対位置を計測する手段と、障害物の相対位置の計測結果をもとに障害物の接近を判断する手段とを備え、道路反射鏡の相対位置と角度の認識結果をもとに、道路反射鏡に映っている障害物についても自車両との相対位置を計測することができる。その結果、視界の悪い交差点に設置された道路反射鏡に映った障害物との衝突の可能性についても判断できるという優れた効果を有する。

以下、本発明の実施の形態の障害物衝突判断装置について、図面を用いて説明する。

（第１の実施の形態）
本発明の第１の実施の形態の障害物衝突判断装置のブロック図を図１に示す。図１では、車両４に障害物衝突判断装置１に加えて、画像取得装置２と警告装置３とを搭載して互いに接続して、画像を取得して衝突を警告する障害物衝突警告システムを構成した姿を示す。本発明においては、画像取得装置２には第一のカメラ２０１と第二のカメラ２０２という一対のカメラを搭載している。これら第一のカメラ２０１と第二のカメラ２０２はステレオ構成として平行に設置される。なお、前記一対のカメラは車両の前方を捉えるカメラ装置であるとするが、車両の側方や後方を捉えるカメラ装置であるとしても、また他の方法であっても同様に実施可能である。

図１に示すように、障害物衝突判断装置１は、物体検出部１１と、距離測定部１２と、障害物状態認識部１３と、衝突判断部１４と、道路反射鏡状態認識部１５と、交差点形状記憶部１６とを備える。物体検出部１１は、画像取得装置２から車両の前方の映像を捉えた画像データを受け取り、障害物および道路反射鏡の検出処理を行う。距離測定部１２は、画像取得装置２から車両の前方の映像を捉えた画像データを受け取り、画像データにおける任意位置について、自車両との相対距離を求める。障害物状態認識部１３は、物体検出部１１の検出結果において、障害物である四輪車、二輪車、あるいは歩行者が検出された場合に動作し、検出された障害物の状態を認識する。障害物の状態とは、障害物の自車両との相対位置である。

道路反射鏡状態認識部１５は、物体検出部１１の検出結果において、道路反射鏡が検出された場合に動作し、検出された道路反射鏡の状態を認識する。道路反射鏡の状態とは、自車両との相対位置および角度である。交差点形状情報記憶部１６は、車両４が走行する道路の交差点形状情報を予め記憶している。交差点形状情報記憶部１６は、交差点形状情報として、交差点に配置された道路反射鏡の位置と角度の情報なども含んだ形で記憶している。衝突判断部１４は、障害物状態認識部１３の認識結果をもとに、障害物との衝突を判断する。

警告装置３は、衝突判断部１４で自車両に対して、障害物の衝突の危険があると判断された場合には、衝突の危険を運転者へ警告する。警告装置３は、衝突の警告を音声で知らせるスピーカ装置とするが、衝突の警告を文字や画像で知らせるモニタ装置としても、また他の方法であっても同様に実施可能である。

以上のように障害物衝突判断装置１と画像取得装置２と警告装置３とで構成された障害物衝突警告システムでは、画像取得装置２において画像データは各カメラ２０１、２０２から一枚ずつ、合計二枚を一組として同時に取得される。距離測定部１２において、この一組の画像データをもとに、画像データの任意位置における自車両との相対距離が求められる。相対距離の計算は一組の画像における物体のずれ（視差）をもとに実施される。画像における視差の大きなものほど、自車両の近くに存在するとして計算する。

障害物状態認識部１３において、障害物の状態を認識するためには、道路反射鏡の認識結果を用いる。道路反射鏡が存在する場合、障害物の相対位置を測定するためには、障害物の画像が道路反射鏡の内側にある場合と外側にある場合とで認識処理を切り替える。障害物の画像が道路反射鏡の外側にある場合は、従来の車両の認識方法で良いが、障害物の画像が道路反射鏡の内側にある場合は、道路反射鏡で反射した先に車両が存在することを前提に、相対距離（ＬＸ）を求める必要がある。

相対距離（ＬＸ）を求める方法について説明する。相対距離（ＬＸ）は、道路反射鏡と自車両との距離（Ｌ１）と道路反射鏡の自車両に対する角度（θ）と道路反射鏡に映った鏡像としての障害物と自車両までの距離（Ｌ２）から求めることが出来る。理解を容易にするために、自車両の前方に道路反射鏡があり道路反射鏡に障害物が映っている状態を数学モデルとして図２に示す。図２では、自車両を点「Ａ」、障害物を点「Ｂ」、道路反射鏡を「Ｍ−Ｍ」、道路反射鏡の位置を点「Ｃ」、障害物の道路反射鏡上の鏡像を点「Ｂ’」として示す。なお、点「Ｄ」は、相対距離（ＬＸ）を求める計算式を導くための仮想の点である。図２では、説明を簡単にするため、道路反射鏡を平面鏡として説明する。

図２では、道路反射鏡に映った障害物の鏡像「Ｂ’」と自車両「Ａ」までの距離（Ｌ２）は、道路反射鏡「Ｍ−Ｍ」と自車両「Ａ」までの距離（Ｌ１）より、線分Ｂ’Ｃだけ長い。線分Ｂ’Ｃは線分ＢＣと等しいので線分ＢＣ＝（Ｌ２−Ｌ１）。∠ＢＣＤは１８０°から∠Ｂ’ＣＢ、すなわち２θを引いた大きさであり、∠ＢＣＤ＝（π−２θ）となる。ここで、直角三角形△ＡＤＢの三辺のうち２辺ＢＤとＡＤの長さは、それぞれ、ＢＤ＝（Ｌ２−Ｌ１）ｓｉｎ（π−２θ）、ＡＤ＝｛Ｌ１−（Ｌ２−Ｌ１）ｃｏｓ（π−２θ）｝であることから、ピタゴラスの定理、すなわちＬＸ^２＝ＢＤ^２＋ＡＤ^２という関係から、他の１辺である相対距離（ＬＸ）を求める次式が導かれる。

式（１）を見れば明らかなように、相対距離（ＬＸ）は、道路反射鏡までの距離（Ｌ１）と道路反射鏡の自車両に対する角度（θ）と道路反射鏡に映った鏡像としての障害物と自車両までの距離（Ｌ２）から求めることが出来る。

なお、日本の道路反射鏡は凸面鏡を用いている場合が多いため、相対距離（ＬＸ）の計算式を凸面鏡の曲面の状態に応じて補正する計算式を用いてもよい。また、道路反射鏡の状態をもとに障害物の相対位置を求める方法はこれに限ったものでは無く、他の方法を用いて求めるようにしても良い。

手順としては、距離測定部１２の出力結果から、道路反射鏡までの距離（Ｌ１）と、道路反射鏡に映った鏡像としての障害物までの距離（Ｌ２）をまず求める。そして、道路反射鏡状態認識部１５から自車両に対する道路反射鏡の角度（θ）を求め、それらの関係から距離（ＬＸ）を求めればよいことがわかる。

物体検出部１１において、道路反射鏡の存在を検知する方法を説明する。画像データにおいて、背景の連続性が途切れるところが無いか検索する。例えば、道路反射鏡が建物の前に設置されている場合、道路反射鏡の境界線部分にて背景が途切れ、建物に穴が開いたようになるはずである。そのような、背景が途切れる場所を検索する。背景の連続性という特徴から道路反射鏡が発見できなければ、今度は画像中からゆがみを検索する。画像中に道路反射鏡がある場合、その映った映像は歪んだ映像となっている。映像の全体から歪んだ箇所を検索することで、道路反射鏡を検出する。本実施例では、背景の連続性と、背景のゆがみという両方の情報をもとに道路反射鏡の存在を検知したが、これに限定されることは無く、背景の連続性だけで検出しても良いし、背景のゆがみだけで認識しても良いし、また他の方法であっても良い。

道路反射鏡状態認識部１５において、道路反射鏡の状態のひとつである角度を認識する方法を説明する。まず、物体検出部にて検出された道路反射鏡について、その形状を認識する。道路反射鏡自体は円形であるが、道路を走行中の自車両から見た場合、道路反射鏡は楕円形状に見える。この楕円の長軸と短軸の長さの比を求めることで、道路反射鏡の自車両に対する角度が分かる。また、この楕円の長軸と鉛直方向との成す角を求めることで、道路反射鏡の道路面に対する角度が分かる（これを角度Ｅとする）。次に、道路反射鏡の設置位置の交差点形状情報を、交差点形状記憶部１６から検索する。自車両の絶対位置はＧＰＳを用いて特定する。また自車両に対する道路反射鏡の相対位置は、距離測定部１２により求める。この自車両の絶対位置と道路反射鏡の相対位置とから、道路反射鏡の絶対位置が分かる。この道路反射鏡の絶対位置の情報を用いて、交差点形状記憶部１６から、交差点形状情報を検索する。検索して得られた交差点形状情報をもとに、道路反射鏡の角度を求める（これを角度Ｆとする）。以上で求めた道路反射鏡の角度の情報（角度Ｅ、角度Ｆ）をもとに、道路反射鏡の角度を算出する。例えば、角度Ｅと角度Ｆの平均を取り、この平均値を道路反射鏡の角度として決定する。本実施例では、道路反射鏡の形状と交差点形状の両方の情報をもとに道路反射鏡の角度を認識したが、これに限定されることは無く、道路反射鏡の形状だけで認識しても良いし、交差点形状だけで認識しても良いし、また他の方法であっても良い。

このように、物体検出部１１において道路反射鏡の存在を検知し、道路反射鏡状態認識部１５において道路反射鏡の角度（θ）を認識し、距離測定部１２によって、道路反射鏡までの距離（Ｌ１）と、道路反射鏡に映った鏡像としての障害物までの距離（Ｌ２）を求めれば、自車両と障害物との距離（ＬＸ）を求めることが出来る。

本実施の形態では、車両および道路反射鏡の相対位置を計測する方法としてステレオ構成のカメラによる視差の情報を用いているが、他の方法であっても良い。画像取得装置２のカメラを単眼とし、物体検知部１１が検出した各物体のサイズの情報をもとに、自車両からの距離を推定して位置を求めるようにしても良い。

また、本実施の形態では、物体検出部１１が検出する障害物は車両であるとして説明しているが、この車両は、四輪車、二輪車のいずれであっても良いし、また他の形態の車両であっても良い。また障害物は歩行者であっても同様に実施可能である。障害物として車両以外を想定する場合には、障害物状態認識部１３を、想定する障害物に合わせた認識部に置き換え、道路反射鏡の状態を用いて障害物の状態認識を行う。

次に、本発明の実施の形態における障害物衝突判断装置の動作を、図３を用いて説明する。まず、障害物衝突判断装置１は、画像取得装置２から、自車両の前方を撮影した画像データを受け取る（Ｓ１０１）。障害物衝突判断装置１の物体検出部１１は、画像取得装置２からの画像データを受信すると、画像データから前方車両および道路反射鏡を検出する処理を行う（Ｓ１０２）。物体検出部１１の処理結果において、画像データ中に道路反射鏡が存在しなかった場合（Ｓ１０３のＮｏ）、前方車両が存在するかどうか確かめる。画像データ中に前方車両が存在しなかった場合（Ｓ１０４のＮｏ）、再度、画像取得装置２から画像データを取得する処理に戻る。画像データ中に前方車両が存在した場合（Ｓ１０４のＹｅｓ）、障害物状態認識部１３において、道路反射鏡の存在および状態は考慮しないで、通常の障害物状態認識を行う（Ｓ１０５）。物体検出部１１の処理結果において、画像データ中に道路反射鏡が存在した場合（Ｓ１０３のＹｅｓ）、道路反射鏡状態認識部１５において、道路反射鏡の状態認識を行う（Ｓ１０６）。この際、交差点形状記憶部１６に記憶されている情報も利用する。道路反射鏡状態認識部１５の処理が終了すると、物体検出部１１の出力結果において、道路反射鏡の内外を含めて、前方車両が存在するかどうか確かめる。画像データ中に前方車両が存在しなかった場合（Ｓ１０７のＮｏ）、再度、画像取得装置２から画像データを取得する処理に戻る。画像データ中に前方車両が存在した場合（Ｓ１０７のＹｅｓ）、その前方車両は、道路反射鏡の内部に存在するかどうか、つまり道路反射鏡に映った物体であるかどうか確かめる。前方車両が道路反射鏡の内部に存在しない場合（Ｓ１０８のＮｏ）、障害物状態認識部１３において、道路反射鏡の存在および状態は考慮しないで、通常の障害物状態認識を行う（Ｓ１０５）。前方車両が道路反射鏡の内部に存在する場合（Ｓ１０８のＹｅｓ）、障害物状態認識部１３において、道路反射鏡の状態を考慮した障害物状態認識を行う（Ｓ１０９）。衝突判断部１４は、障害物状態認識部１３から障害物の状態認識の結果を受信すると、その情報をもとに障害物との衝突の可能性を判断する。障害物の衝突の可能性があると判断された場合には、警告装置３を用いて運転者に衝突の危険を警告する（Ｓ１１０）。以上の動作を、処理終了となるまで繰り返す（Ｓ１１１）。本処理は、例えば車両のエンジン始動と同時に開始され、エンジン停止と同時に終了するようにしても良いし、他の方法でも良い。

本発明の障害物衝突判断装置は、車両に搭載され、車載カメラで取得した画像を認識処理することで、障害物との衝突の危険を警告するシステムにおいて有用である。

本発明の第１の実施の形態における障害物衝突判断装置を含むブロック図本発明の第１の実施の形態における道路反射鏡に映っている障害物と自車両との距離を求める数学モデルを示す図本発明の第１の実施の形態における障害物衝突判断装置の動作説明のためのフロー図従来の障害物衝突判断装置の動作を説明するための概念図

符号の説明

１障害物衝突判断装置
２画像取得装置
３警告装置
４車両
１１物体検出部
１２距離測定部
１３障害物状態認識部
１４衝突判断部
１５道路反射鏡状態認識部
１６交差点形状記憶部

Claims

車両に搭載される装置であって、画像データから障害物と道路反射鏡とを検出する物体検出手段と、前記物体検出手段が検出した前記道路反射鏡の状態を認識する道路反射鏡状態認識手段と、前記物体検出手段が検出した前記障害物の状態を認識する障害物状態認識手段と、前記障害物状態認識手段の認識結果に基づいて障害物の接近を判断する接近判断手段とを備え、前記障害物状態認識手段は、前記道路反射鏡状態認識手段の認識結果をもとに、前記障害物の状態を認識することを特徴とする障害物衝突判断装置。
前記障害物状態認識手段が認識する前記障害物の状態は、前記車両に対する相対位置からなり、前記道路反射鏡状態認識手段が認識する前記道路反射鏡の状態は、前記車両に対する相対位置および角度からなることを特徴とする、請求項１に記載の障害物衝突判断装置。
前記物体検出手段が検出する前記障害物は、四輪車、二輪車、または歩行者であることを特徴とする、請求項１に記載の障害物衝突判断装置。
前記物体検出手段は、前記画像データにおける背景の連続性、または背景のゆがみをもとに、前記道路反射鏡の存在を検出することを特徴とする、請求項１乃至３のいずれか１項に記載の障害物衝突判断装置。
前記道路反射鏡状態認識手段は、前記道路反射鏡の形状を解析し、前記形状の解析結果をもとに、前記道路反射鏡の状態を認識することを特徴とする、請求項１乃至３のいずれか１項に記載の障害物衝突判断装置。
前記車両が走行する道路の交差点形状情報を記憶する交差点形状情報記憶手段をさらに備え、前記道路反射鏡状態認識手段は、前記交差点形状情報記憶手段が記憶している前記交差点形状情報をもとに、前記道路反射鏡の状態を認識することを特徴とする、請求項１乃至３のいずれか１項に記載の障害物衝突判断装置。
車両に搭載されるシステムであって、車外の映像情報を画像データとして取得する画像取得装置と、前記画像取得装置が取得した前記画像データを認識処理することで前記車両に対する障害物の衝突を判断する障害物衝突判断装置と、前記障害物衝突判断装置の判断結果に基づいて、障害物との衝突を前記車両の運転者へ警告する警告装置とからなり、
前記障害物衝突判断装置は、画像データから障害物と道路反射鏡とを検出する物体検出手段と、前記物体検出手段が検出した前記道路反射鏡の状態を認識する道路反射鏡状態認識手段と、前記物体検出手段が検出した前記障害物の状態を認識する障害物状態認識手段と、前記障害物状態認識手段の認識結果をもとに障害物の接近を判断する接近判断手段とを備え、前記障害物状態認識手段は、前記道路反射鏡状態認識手段の認識結果に基づいて、前記障害物の状態を認識することを特徴とする障害物衝突警告システム。