JP2009223797A - 障害物検出装置 - Google Patents

Abstract

【課題】車載用の障害物検出装置において、路車間通信や車車間通信により得られる情報を利用して、障害物との相対的な位置関係を表す情報の検出精度を向上させる。
【解決手段】撮像画像上で先行車両に対応する領域の幅（車幅に対応）Ｌｓと、先行車両から取得した車両情報に含まれる先行車両の車幅Ｌｔと、撮像画像の供給元である前方カメラの焦点距離ｆとから、次式を用いて、自車両と先行車両との距離Ｄを求める。
【数１】

【選択図】図３

Description

本発明は、撮像画像に基づいて障害物を検出する障害物検出装置に関する。

従来より、車載カメラによって車両の前方を撮像した撮像画像に基づいて、走行レーンや障害物（先行車両等）を認識する際に、路車間通信や車車間通信によって道路形状（カーブの曲率や傾斜角等）を表す道路情報や障害物の位置情報を取得し、これら取得した情報に基づいて、撮像画像の中で認識処理を行う範囲を限定することにより、認識の精度を向上させたり、処理負荷を軽減したりする技術が知られている（例えば、特許文献１，２参照）。
特開平８−１６７０９２号公報 特開２００７−３４４７７号公報

しかし、上述のように処理範囲を制限して撮像画像を画像処理しても、検出対象物（走行レーンや障害物）の有無に関する認識精度や認識速度が向上するに過ぎず、衝突を回避する制御や衝突時の安全性を確保する制御等に特に有用な、検出対象物との相対的な位置関係を表す情報を、精度良く検出することができず、レーダセンサ等、距離を高精度に測定可能なレーダセンサ等を別途設ける必要があるという問題があった。

また特に、撮像画像中では、異なる地点間の高低差を識別することが困難であるため、道路に勾配がある場合に、障害物の認識を精度よく行うことができないという問題もあった。

即ち、例えば、上り勾配の道路面に路面標識が描かれている場合（図４（ａ）参照）、この路面標識を、衝突する危険性がないにも関わらず、道路面より高い位置に存在する障害物（図４（ｂ）参照）であると誤認識したり、逆に、下り勾配の道路面上に障害物が存在する場合（図４（ｃ）参照）、この障害物を、衝突する危険性のない路面標識（図４（ｄ）参照）であると誤認識したりする可能性があり、このような誤認識も、上述の処理範囲を制限するという手法では改善することができないのである。

本発明は、上記問題点を解決するために、車載用の障害物検出装置において、路車間通信や車車間通信により得られる情報を利用して、障害物との相対的な位置関係を表す情報の検出精度を向上させることを目的とする。

上記目的を達成するためになされた発明である請求項１に記載の障害物検出装置では、車両に搭載された撮像手段が車両の前方を撮像し、画像処理手段が、その撮像手段から得られた撮像画像に基づいて、車両の前方に存在する障害物を検出する。

この時、情報生成手段が、障害物検出手段が検出した障害物の撮像手段の撮像面上での大きさを表す撮像サイズ情報を生成すると共に、情報取得手段が、車々間通信および路車間通信のうち、少なくとも一方を行う通信手段によって、車両の前方に存在する特定障害物の実際の大きさを表す実サイズ情報を取得する。

そして、距離算出手段が、情報生成手段にて生成された撮像サイズ情報、情報取得手段にて取得された実サイズ情報、撮像手段の撮像パラメータに基づいて、特定障害物との距離を算出する。

具体的には、撮像サイズ情報をＬｓ、取得した実サイズ情報をＬｔ、撮像パラメータの一つである焦点距離をｆとすると、これらのパラメータは図３（ａ）に示す関係を有しているため、特定障害物との距離Ｄは、（１）式によって算出される。

このように本発明の障害物検出装置によれば、通信手段を介して取得した実サイズ情報を利用することによって、レーダセンサ等の高精度な測距手段を別途設けることなく、車両の前方に存在する特定障害物との距離の検出精度を向上させることができる。

ところで、実サイズ情報としては、例えば、請求項２に記載のように、特定障害物上に設置された一対の目標物体間の距離を用いることが考えられる。
また、この場合、請求項３に記載のように、情報取得手段は、目標物体の設置位置を路面からの高さで表した設置情報を実サイズ情報と共に取得し、高低差算出手段が、距離算出手段にて算出された距離、情報取得手段にて取得された設置情報、撮像手段の撮像パラメータに基づいて、自車両が位置する道路面と特定障害物が位置する道路面との高低差（以下単に「路面高低差」という）を求めてもよい。

具体的には、撮像面上での目標物体の高さ（撮像面の消失点を通り且つ水平方向に沿った中心線からの距離）をＨｓ、取得した設置情報をＨｔ、撮像パラメータである焦点距離をｆ、同じく撮像パラメータである撮像手段の取付高さをＨｃ、距離算出手段にて算出された距離をＤとすると、これらのパラメータは図３（ｂ）に示す関係を有しているため、路面高低差Ｈｒは、（２）式によって算出される。

更に、請求項４に記載のように、識別手段が、高低差算出手段にて算出された高低差に基づいて、障害物検出手段にて検出された障害物が路面標識であるか否かを識別してもよい。

この場合、例えば、路面標識であると識別された障害物、即ち、危険性のない物体を、検出した障害物に基づく各種制御を実行する際に、路面標識であると識別された障害物、即ち、危険性のない物体を除外することによって、制御の負荷を軽減することができる。

ところで、請求項５に記載のように、特定障害物が車両である場合、目標物体としてテールランプを用いることが好ましい。
この場合、夜であっても、撮像サイズ情報等を確実に取得することができる。

但し、目標物体は、テールランプに限らず、撮像画像からサイズを特定できるものであればよい。また、特定障害物も車両に限らず、道路上の定常的に設置された障害物等であってもよい。

また、本発明の障害物検出装置において、情報取得手段は、請求項６に記載のように、特定障害物の位置を表す位置情報を実サイズ情報と共に取得し、画像処理手段は、位置情報に基づいて、撮像画像中で障害物を検出する処理を実行する領域を限定してもよい。

この場合、障害物の検出に要する画像処理の負荷を軽減することができる。

以下に本発明の実施形態を図面と共に説明する。
＜全体構成＞
図１は、本発明が適用された車両に搭載される障害物検出装置１の全体構成を示すブロック図である。

図１に示すように、障害物検出装置１は、車両の前方を撮像する前方カメラ３ａ（撮像手段に相当）を少なくとも含み、車両の走行環境に関する環境情報（少なくとも前方カメラ３ａでの撮像画像を含む）を獲得するための環境情報獲得センサ群３と、車速センサ，ヨーレートセンサ，舵角センサ，ＧＰＳ受信器等を含み車両の走行状態に関する走行情報（少なくとも車両の現在位置を含む）を獲得するための走行情報獲得センサ群４と、自車両の前方及び後方を走行する車両との車車間通信や道路周辺に設置された路側器との路車間通信を行う各種通信機からなる通信部５（通信手段に相当）と、これら各センサ群３，４を介して取得した環境情報や走行情報、及び通信部５を介して取得した外部情報（少なくとも車車間通信で得た先行車両に関する情報を含む）に基づいて、障害物を検出するための画像処理や、その障害物に関する情報を生成する演算処理を実行する画像・演算処理部６（画像処理手段に相当）と、画像・演算処理部６での処理結果を報知する報知部７とを備えている。

＜通信部＞
通信部５では、車車間通信を介して、自車両より前方を走行する先行車両から、先行車両の特定等に必要な車両情報を受信し（情報取得手段に相当）、また、自車両より後方を走行する後続車両に対して、自車両の車両情報を送信する。なお、車両情報には、車両の現在位置および車両の固有情報が少なくとも含まれ、更に、固有情報には、車両の車幅，車高、車種（形状）の他、テールランプの設置間隔、設置高さ（道路面からの高さ）が少なくとも含まれている。

また、通信部５では、路車間通信を介して、路側器近辺の路上に存在する固定障害物や注意を要する領域（歩行者（移動障害物）が存在する可能性の高い横断歩道等）の特定等に必要な路側情報を受信する。なお、路側情報には、これら障害物や要注意領域の位置、大きさ、形状等が含まれている。

＜報知部＞
報知部７は、画像・演算処理部６での処理結果を、ディスプレイやスピーカを用いて車両の乗員（特にドライバー）に対して視覚的、聴覚的に報知する他、処理結果を利用した各種処理を実行する他の車載装置に、その処理結果を提供するように構成されている。

＜画像・演算処理部＞
画像・演算処理部６は、ＣＰＵ，ＲＯＭ，ＲＡＭからなる周知のマイクロコンピュータを中心に構成され、Ａ／Ｄ変換器、デジタルシグナルプロセッサ（ＤＳＰ）等も備えている。

そして、ＲＯＭには、ＣＰＵが実行する処理のプログラムの他、前方カメラ３ａの撮像パラメータ、車車間通信によって送信する自車両の固有情報（車両情報の一部）が少なくとも格納されている。なお、撮像パラメータには、焦点距離ｆ、前方カメラ３ａの設置高さ（道路面からの高さ）Ｈ、撮像画面上の消失点の位置が少なくとも含まれている。

ＣＰＵでは、前方カメラ３ａから取得した撮像画像から、車両の前方に存在する障害物を検出する障害物検知処理を実行する。
＜処理＞
ここで、ＣＰＵが実行する障害物検知処理の詳細を、図２に示すフローチャートに沿って説明する。

Ｓ１１０では、前方カメラ３ａにて取得した撮像画像を画素値に基づいて領域分割すると共に、画像処理における周知の方法を用いて、各領域までの距離（以下「粗距離」という）を算出する。

Ｓ１２０では、通信部５が行う車車間通信によって、先行車両の車両情報が取得されているか否かを判断し、取得されていればＳ１３０に、取得されていなければＳ１８０に進む。

Ｓ１３０では、車両情報に含まれる車両の現在位置に基づいて処理エリアを限定し、続くＳ１４０では、その処理エリア内で先行車両の抽出を行う。具体的には、車両情報に含まれる車両形状に応じたテンプレートを用いてテンプレートマッチングを行い、検出した領域（車両）の位置及びサイズ（車幅Ｌｓ）を求める。但し、夜間の場合、一対のテールランプが検出されるため、両者の中心位置を領域（車両）の位置、両者の間隔を領域サイズ（車幅Ｌｓ）として求める。更に、撮像画像内の消失点を通り且つ水平方向に沿った直線からテールランプまでの距離を、テールランプの検出位置（道路面からの高さＨｓ）として求める。

なお、これらの位置，サイズは、前方カメラ３ａの撮像面上での位置，サイズであり、画素の大きさを単位として算出される。
Ｓ１５０では、Ｓ１４０で求めた車幅Ｌｓと、車両情報に含まれる先行車両の車幅Ｌｔと、ＲＯＭに記憶されている撮像パラメータの一つである焦点距離ｆとから、上述した（１）式を用いて、自車両と先行車両との距離（以下「精細距離」という）Ｄを算出する（図３（ａ）参照）。

Ｓ１６０では、Ｓ１４０にて算出したテールランプ検出位置Ｈｓと、Ｓ１５０にて算出した精細距離Ｄと、車両情報に含まれるテールランプの設置高さＨｔと、ＲＯＭに記憶されてた撮像パラメータである焦点距離ｆ，カメラの設置高さＨｃとから、上述した（２）式を用いて、自車両が位置する道路面と先行車両が位置する道路面との高低差Ｈｒを算出する（図３（ｂ）参照）。

なお、Ｓ１３０〜Ｓ１６０の処理は、取得した車両情報毎（即ち、先行車両毎）に実行する。
続くＳ１７０では、Ｓ１６０にて算出された道路面の高低差Ｈｒと、Ｓ１１０で算出された各領域までの粗距離とに基づいて、各領域にて表される物体が位置する路面からの高さを推定し、予め設定された高さ閾値より小さい領域を路面標識、高さ閾値以上の領域を走行に危険を及ぼす可能性のある障害物として識別する。

Ｓ１８０では、通信部が行う路車間通信によって、路側情報が取得されているか否かを判断し、取得されていればＳ１９０に、取得されていなければＳ２１０に進む。
Ｓ１９０では、路側情報に含まれる固定障害物や要注意領域の位置に基づいて処理エリアを限定し、続くＳ２００では、その処理エリア内にて固定障害物や要注意領域に存在する移動障害物の抽出を行う。具体的には、路側情報の内容に応じたテンプレートを用いてテンプレートマッチングを行い、検出した領域（固定障害物／移動障害物）の位置及びサイズを求める。

例えば、路側情報に含まれる要注意領域として横断歩道が示されている場合は、そこに存在する可能性の高い移動障害物である歩行者や自転車を表すテンプレートを用いて抽出を行う。

なお、Ｓ１９０〜Ｓ２００の処理は、路側情報に含まれる固定障害物、要注意領域毎に実行する。
Ｓ２１０では、Ｓ１３０，Ｓ１９０にて設定された処理エリア外にて、車両や障害物の抽出を行い、続くＳ２２０にて、先行車両，各種障害物の検出結果を報知部７に報知させて本処理を終了する。

なお、本処理において、Ｓ１４０が情報生成手段、Ｓ１５０が距離算出手段、Ｓ１６０が高低差算出手段、Ｓ１７０が識別手段に相当する。
＜効果＞
以上説明したように、障害物検出装置１では、車車間通信により取得した先行車両の車幅Ｌｔと、その先行車両に対応する撮像画像上の領域の横幅Ｌｓと、その撮像画像の供給元である前方カメラ３ａの撮像パラメータ（焦点距離ｆ）とに基づき、（１）式に示す関係式を用いて、車両情報を送ってきた先行車両との距離（精細距離）Ｄを算出するようにされている。

従って、障害物検出装置１によれば、レーダセンサ等の高精度な測距手段を別途設けることなく、先行車両との距離の検出精度を向上させることができる。
また、障害物検出装置１では、テールランプ間の幅を先行車両の車幅Ｌｔとして検出するため、夜間であっても確実に車幅Ｌｔを検出することができる。

更に、障害物検出装置１では、車車間通信により取得した先行車両のテールランプの設置高さＨｔと、そのテールランプに対応する撮像画面上の領域の検出位置Ｈｓと、先行車両との距離Ｄと、撮像画像の供給元である前方カメラ３ａの撮像パラメータ（焦点距離ｆ，カメラの設置高さＨｃ）とに基づき、（２）式に示す関係式を用いて、自車両が位置する道路面と先行車両が位置する道路面との高低差Ｈｒを算出するようにされている。

しかも、算出された道路面の高低差Ｈｒに基づいて、撮像画像上の各領域が、路面標識がそれ以外のものであるかを識別するようにされている。
従って、障害物検出装置１によれば、走行に危険を及ぼす可能性のある障害物（路面標識以外の物体）を、精度良く検出することができ、ひいては、当該装置１での検出結果を利用して実行する各種制御の信頼性を向上させることができる。
［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態では、車両情報に基づいて、先行車両についてのみ精細距離Ｄや道路面の高低差Ｈｒを求めているが、路側情報に基づいて、固定障害物との精細距離Ｄや高低差Ｈｒを求めるように構成してもよい。

障害物検出装置の全体構成を示すブロック図。 画像・演算処理部が実行する障害物検知処理の内容を示すフローチャート。 先行車両との精細距離、道路面の高低差の算出原理を示す説明図。 道路面の高低差がある場合に生じる問題を示す説明図。

符号の説明

１…障害物検出装置 ３…環境情報獲得センサ群 ３ａ…前方カメラ ４…走行情報獲得センサ群 ５…通信部 ６…画像・演算処理部 ７…報知部

Claims (6)

1. 車両に搭載され該車両の前方を撮像する撮像手段と、
   前記撮像手段から得られた撮像画像に基づいて、前記車両の前方に存在する障害物を検出する画像処理手段と、
   を備える障害物検出装置において、
   車車間通信および路車間通信のうち、少なくとも一方を行う通信手段と、
   前記障害物検出手段が検出した障害物の前記撮像手段の撮像面上での大きさを表す撮像サイズ情報を生成する情報生成手段と、
   前記通信手段によって、前記車両の前方に存在する特定障害物の実際の大きさを表す実サイズ情報を取得する情報取得手段と、
   前記情報生成手段にて生成された撮像サイズ情報、前記情報取得手段にて取得された実サイズ情報、前記撮像手段の撮像パラメータに基づいて、前記特定障害物との距離を算出する距離算出手段と、
   を備えることを特徴とする障害物検出装置。
2. 前記実サイズ情報は、前記特定障害物上に設置された一対の目標物体間の距離であることを特徴とする請求項１に記載の障害物検出装置。
3. 前記情報取得手段は、前記目標物体の設置位置を道路面からの高さで表した設置情報を前記実サイズ情報と共に取得し、
   前記距離算出手段にて算出された距離、前記情報取得手段にて取得された設置情報、前記撮像手段の撮像パラメータに基づいて、前記車両が位置する道路面と前記特定障害物が位置する道路面との高低差を求める高低差算出手段を備えることを特徴とする請求項２に記載の障害物検出装置。
4. 前記高低差算出手段にて算出された前記高低差に基づいて、前記障害物検出手段にて検出された障害物が路面標識であるか否かを識別する識別手段を備えることを特徴とする請求項３に記載の障害物検出装置。
5. 前記特定障害物は車両であり、前記目標物体はテールランプであることを特徴とする請求項２乃至請求項４のいずれかに記載の障害物検出装置。
6. 前記情報取得手段は、前記特定障害物の位置を表す位置情報を前記実サイズ情報と共に取得し、
   前記画像処理手段は、前記位置情報に基づいて、前記撮像画像中で障害物を検出する処理を実行する領域を限定することを特徴とする請求項１乃至請求項５のいずれかに記載の障害物検出装置。

Images