JP5012522B2 - 路側境界面検出装置 - Google Patents

Description

本発明は、路側境界面検出装置に係り、特に、カメラ等により撮像された画像から道路と路側の境界面を検出する路側境界面検出装置に関する。

近年、車両の衝突や道路からの逸脱等の事故発生の危険性を判断したり、これらの事故を自動的に回避するため、撮像された画像から道路と路側の境界面を検出して車両が走行可能な道路の範囲を認識する技術が提案されている。

例えば、特許文献１には、複数のカメラを備えたステレオ光学系によって車外を撮像し、ステレオ光学系で撮像された画像を処理して画像全体に渡る距離分布を計算し、計算された距離分布の情報に対応する被写体の各部分の三次元位置を計算し、三次元位置の情報を用いて道路の形状と側壁を検出する技術が開示されている。
特開平６−２６６８２８号公報

しかしながら、上記特許文献１の技術では距離分布を求めるため、複数のカメラを備えたステレオ光学系などの測距機構が必要であり、装置構成が煩雑となる、という問題点があった。

本発明は上記問題点を解決するためになされたものであり、簡易な構成で道路と路側の境界面を検出することができる路側境界面検出装置を提供することを目的とする。

上記目的を達成するため、本発明は、車両の前方、後方の一方、あるいはその両方を撮像する撮像手段と、前記撮像手段による撮像によって得られた画像に対してエッジ検出を行って、当該画像内に含まれる物体の形状を示す特徴点として垂直エッジ点を検出する特徴点検出手段と、前記撮像手段による撮像によって得られた画像の前記道路が消失する消失点に相当する予め定められた位置を原点として、当該原点から予め定められた角度範囲内で当該原点より伸びる２本の直線の間となる領域を当該２本の直線のなす角度を変えつつ設定し、当該なす角度毎に定まる当該２本の直線の間となる領域内における前記特徴点検出手段により検出された特徴点の分布状態に基づいて、前記車両が走行する道路と路側の境界面を特定する境界面特定手段と、を備えている。

本発明では、撮像手段により、車両の前方、後方の一方、あるいはその両方が撮像され、特徴点検出手段により、撮像手段による撮像によって得られた画像に対してエッジ検出を行って、当該画像内に含まれる物体の形状を示す特徴点として垂直エッジ点が検出され、境界面特定手段により、撮像手段による撮像によって得られた画像の道路が消失する消失点に相当する予め定められた位置を原点として、原点から予め定められた角度範囲内で原点より伸びる２本の直線の間となる領域を２本の直線のなす角度を変えつつ設定し、なす角度毎に定まる２本の直線の間となる領域内における特徴点検出手段により検出された特徴点の分布状態に基づいて、車両が走行する道路と路側の境界面が特定される。

このように、本発明によれば、撮像によって得られた画像から当該画像内に含まれる物体の形状を示す特徴点を検出し、検出された特徴点の分布状態に基づいて、車両が走行する道路と路側の境界面を特定しているので、ステレオ光学系などの測距機構を設けることなく、簡易な構成で道路と路側の境界面を検出することができる。

また、本発明は、前記特徴点検出手段により検出された特徴点から前記路側に存在する柱状物体による特徴点を抽出する特徴点抽出手段をさらに備え、前記境界面特定手段が、前記特徴点抽出手段により抽出された特徴点の分布状態に基づいて、前記境界面を特定してもよい。

また、前記特徴点抽出手段は、前記検出手段により検出された特徴点から垂直方向に連続的に並ぶ特徴点を各々グルーピングし、当該グルーピングされた特徴点を抽出することにより前記柱状物体による特徴点を抽出してもよい。

また、前記撮像手段による撮像によって得られた画像から前記道路領域を特定して当該道路が消失する消失点の位置を推定する消失点推定手段をさらに備え、前記境界面特定手段が、前記消失点推定手段により推定された消失点の位置を原点として、前記境界面を特定してもよい。

以上説明したように、本発明によれば、撮像によって得られた画像から当該画像内に含まれる物体の形状を示す特徴点を検出し、検出された特徴点の分布状態に基づいて、車両が走行する道路と路側の境界面を特定しているので、簡易な構成で道路と路側の境界面を検出することができる、という優れた効果を有する。

以下、図面を参照して本発明の実施の形態について詳細に説明する。なお、以下では、本発明を、車両に搭載され、ドライバの運転支援を行うドライバ支援装置に適用した場合を例として説明する。

［第１の実施の形態］

図１には、本実施の形態に係るドライバ支援装置１０の概略構成が示されている。

同図に示すように、ドライバ支援装置１０は、所定の検出対象領域を連続的に撮像するカメラ１２と、各種情報を表示するディスプレイ１４と、カメラ１２による撮像により得られた画像に基づいて各種の警告を行う装置本体２０と、を含んで構成されている。

なお、本実施の形態に係るカメラ１２は、車両の前方グリルまたはバンパなどの車両の前方側に取り付けられており、車両の前方を撮像する。

図１に示すように、装置本体２０は、ドライバ支援装置１０全体の動作を司るＣＰＵ（中央処理装置）２２と、ＣＰＵ２２による各種処理プログラムの実行時のワークエリア等として用いられるＲＡＭ（Random Access Memory）２４と、後述する境界面検出処理プログラムを含む各種制御プログラムや各種パラメータ等が予め記憶されたＲＯＭ（Read Only Memory）２６と、各種情報を記憶するＨＤＤ（ハード・ディスク・ドライブ）２８と、カメラ１２の撮影動作を制御するカメラ制御部３０と、ディスプレイ１４への画面やメッセージなどの各種情報の表示を制御する表示制御部３２と、運転者へ警告を行うためのスピーカ３４と、を備えている。

ＣＰＵ２２、ＲＡＭ２４、ＲＯＭ２６、ＨＤＤ２８、カメラ制御部３０、表示制御部３２、及びスピーカ３４は、システムバスＢＵＳを介して相互に接続されている。

従って、ＣＰＵ２２は、ＲＡＭ２４、ＲＯＭ２６、及びＨＤＤ２８に対するアクセスと、カメラ制御部３０を介してカメラ１２の撮影動作の制御と、表示制御部３２を介したディスプレイ１４に対する各種情報の表示の制御と、スピーカ３４からの音声の出力の制御と、を各々行うことができる。

図２には、本実施の形態に係るドライバ支援装置１０の機能的な構成を示す機能ブロック図が示されている。

同図に示されるように、ドライバ支援装置１０は、境界面検出部５０と、警告表示制御部５８と、を備えている。

カメラ制御部３０は、境界面検出部５０、及び警告表示制御部５８と接続されており、カメラ１２による撮影によって得られた画像を示す画像データを順次出力する。

同図に示すように、境界面検出部５０は、特徴点検出部５２と、境界面特定部５６と、を備えている。

特徴点検出部５２には、カメラ制御部３０、及び境界面特定部５６と接続されており、カメラ制御部３０から画像データが順次入力される。

特徴点検出部５２は、カメラ制御部３０から画像データが入力されると、当該画像データにより示される画像から当該画像内に含まれる物体の形状を示す特徴点を検出しており、本実施の形態では、撮像によって得られた画像に対して微分フィルタ（例えば、ソーベルフィルタ）などを用いてエッジ検出を行って特徴点として当該画像に含まれる物体の垂直エッジ点を検出する。なお、本実施の形態では、特徴点として垂直エッジ点を検出するものとしたが、物体の形状や輪郭を表わすものであれば、これに限定されるものではない。

境界面特定部５６は、警告表示制御部５８と接続されている。

境界面特定部５６は、特徴点検出部５２により検出された垂直エッジ点の分布状態に基づいて、車両が走行する道路と路側の境界面を特定するものとしており、本実施の形態では、撮像によって得られた画像の道路が消失する消失点に相当する予め定められた位置を原点として、当該原点から予め定められた角度範囲内で当該原点より伸びる２本の直線の角度を変えつつ当該２本の直線の間となる領域内での垂直エッジ点の分布状態に基づいて、境界面を特定する。

警告表示制御部５８は、ディスプレイ１４、及びスピーカ３４と接続されており、カメラ制御部３０から画像データが順次入力され、境界面特定部５６から境界面の位置を示す位置情報が入力される。

警告表示制御部５８は、カメラ制御部３０から順次入力される画像データにより示される画像をディスプレイ１４に表示させる。また、警告表示制御部５８は、境界面特定部５６より入力される位置情報に基づいて、車両が走行する道路と路側の境界面と車両との間隔を求め、境界面と車両との間隔が予め定められた閾値以下となった場合に、ディスプレイ１４に表示される、当該位置情報により示される境界面の表示形態を変更（例えば、境界面を赤く表示）してドライバに対して警告を発生させるものとされている。なお、この際、スピーカ３４から警告音や警告メッセージ等を出力するものとしもよい。

ところで、以上のように構成されたドライバ支援装置１０の各構成要素（境界面検出部５０（特徴点検出部５２、境界面特定部５６）及び警告表示制御部５８）による処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現することができる。但し、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成や、ハードウェア構成とソフトウェア構成の組み合わせによって実現することもできることは言うまでもない。

以下では、本実施の形態に係るドライバ支援装置１０が、境界面検出処理プログラムを実行することにより上記各構成要素による処理を実現するものとされている場合について説明する。この場合、当該境界面検出処理プログラムをＲＯＭ２６やＨＤＤ２８に予めインストールしておく形態や、コンピュータ読み取り可能な記録媒体に格納された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等を適用することができる。

次に、図３を参照して、本実施の形態に係るドライバ支援装置１０の作用を説明する。なお、図３は、ＣＰＵ２２により実行される境界面検出処理プログラムの処理の流れを示すフローチャートである。当該境界面検出処理プログラムは、例えば、ドライバ支援装置１０が搭載された車両のエンジンスイッチがオンされるなどによって図示しない車両制御装置から処理開始の指示信号が受信されるとＣＰＵ２２により実行される。

同図のステップ１００では、カメラ制御部３０からの画像データの入力待ちを行う。

次のステップ１０２では、入力された画像データにより示される画像の濃度値の変化に基づいてエッジ検出を行い、当該画像に含まれる物体の垂直エッジ点を検出する。

図４には、入力された画像データにより示される画像に対してエッジ検出を行った結果検出された垂直エッジ点が「×」印により示されている。

次のステップ１０６では、撮像によって得られた画像の直線状の道路が消失する消失点に相当する予め定められた位置を原点Ｃとして、当該原点Ｃから境界面が存在すると予測される予め定められた角度範囲内で、原点Ｃより伸びる２本の直線を定める。

次のステップ１０８では、２本の直線の間の領域内の垂直エッジ点の分布状態を示す値として、エッジ点数及びエッジ点密度を導出する。

ここで、本実施の形態では、図４に示すように、境界面が存在すると予測される角度範囲及び２本の直線を、原点Ｃより伸びる所定の基準直線（本実施の形態では原点Ｃの垂線）との角度θによって定めており、境界面が存在すると予測される角度範囲は、{θｍｉｎ、θｍａｘ}（θｍｉｎ≦θｍａｘ（例えば、θｍｉｎ＝３０°、θｍａｘ＝８５°））と表わされ、原点Ｃより伸びる２本の直線は、直線（θｂ）、直線（θｔ）（θｍｉｎ≦θｂ＜θｔ≦θｍａｘ）と表される。

本実施の形態は、この角度範囲{θｍｉｎ、θｍａｘ}内で２本の直線（θｂ）、直線（θｔ）の角度を変えつつ、直線（θｂ）、直線（θｔ）の間となる領域内での垂直エッジ点のエッジ点数Ｃ（θｂ，θｔ）及びエッジ点密度Ｄ（θｂ，θｔ）を導出している。本実施の形態では、上記ステップ１０６及びステップ１０８の処理によって、例えば、最初にθｂ＝θｍｉｎと一旦定め、当該θｂからθｍａｘの範囲で所定角度（例えば、１°）ずつ角度を変えてθｔを定めて、直線（θｂ）、直線（θｔ）の間となる領域内でのエッジ点数Ｃ（θｂ，θｔ）及びエッジ点密度Ｄ（θｂ，θｔ）を導出し、当該θｂからθｍａｘの間の範囲の上記所定角度ずつの全ての角度でエッジ点数Ｃ（θｂ，θｔ）及びエッジ点密度Ｄ（θｂ，θｔ）の導出が終ると、θｂを上記所定角度だけ角度を変えて再度θｂからθｍａｘの範囲でθｔを定めてエッジ点数Ｃ（θｂ，θｔ）及びエッジ点密度Ｄ（θｂ，θｔ）を求めることをθｂ＝θｍａｘとなるまで繰り返すことにより、角度範囲{θｍｉｎ、θｍａｘ}内において上記所定角度ずつ範囲が異なる全ての領域でエッジ点数Ｃ（θｂ，θｔ）及びエッジ点密度Ｄ（θｂ，θｔ）を導出している。

次のステップ１１０では、所定角度ずつ範囲が異なる全ての領域でのエッジ点数Ｃ（θｂ，θｔ）及びエッジ点密度Ｄ（θｂ，θｔ）の導出されか否かを判定し、肯定判定となった場合はステップ１１２へ移行する一方、否定判定となったステップ１０６へ移行する。

次のステップ１１２では、導出された各領域におけるエッジ点数Ｃ（θｂ，θｔ）及びエッジ点密度Ｄから以下の（１）式を用いて評価値Ｆ（θｂ，θｔ）を算出し、評価値Ｆが最大となるθｂ，θｔを特定する。

Ｆ（θｂ，θｔ）＝α×Ｃ（θｂ，θｔ）＋β×Ｄ（θｂ，θｔ）・・・（１）

ここで、α、βは定数

なお、上記α、βは、実機を用いた実験やコンピュータ・シミュレーション等により、適宜定めればよい。

この評価値Ｆが最大となるθｂ，θｔが車両が走行する道路と路側の境界面の位置を示している。

次のステップ１１４では、上記ステップ１１２において特定されたθｂ，θｔに基づき、境界面と車両との間隔を求める。

次のステップ１１６では、ディスプレイ１４に、カメラ制御部３０から入力される画像データにより示される画像と共に、上記ステップ１１４において求めた境界面と車両との間隔が予め定められた閾値以下である場合、ドライバに対して警告を発生させる。

次にステップ１２０では、例えば、車両のエンジンスイッチがオフされるなどによって図示しない車両制御装置から処理終了の指示信号が入力したか否かを判定し、否定判定となった場合はステップ１００へ移行する一方、肯定判定となった場合は本境界面検出処理プログラムの処理が処理終了となる。

以上のように、本実施の形態によれば、カメラ１２による撮像によって得られた画像から当該画像内に含まれる物体の形状を示す特徴点を検出し、検出された特徴点の分布状態に基づいて、車両が走行する道路と路側の境界面を特定しているので、ステレオ光学系などの測距機構を設けることなく、簡易な構成で道路と路側の境界面を検出することができる。

［第２の実施の形態］

第２の実施の形態に係るドライバ支援装置１０の電気系の要部構成は、上記第１の実施の形態（図１参照）と同一であるため、説明を省略する。

図５には、本実施の形態に係るドライバ支援装置１０の機能的な構成を示す機能ブロック図が示されている。なお、同図における図２と同一の処理部分には図２と同一の符号を付して、その説明を省略する。

本実施の形態に係る境界面検出部５０は、特徴点抽出部５４をさらに備えている。

特徴点抽出部５４は、特徴点検出部５２、及び境界面特定部５６と接続されている。

特徴点抽出部５４は、特徴点検出部５２により検出された垂直エッジ点から路側に存在する柱状物体による垂直エッジ点を抽出しており、本実施の形態では、特徴点検出部５２により検出された垂直エッジ点から垂直方向に連続的に並ぶ垂直エッジ点を各々グルーピングし、当該グルーピングされた垂直エッジ点を抽出することにより柱状物体による垂直エッジ点を抽出している。

境界面特定部５６は、特徴点抽出部５４、及び警告表示制御部５８と接続されている。

境界面特定部５６は、特徴点抽出部５４により抽出された垂直エッジ点の分布状態に基づいて、境界面を特定する。

次に、図６を参照して、本実施の形態に係る境界面検出処理プログラムの処理の流れについて説明する。なお、同図における図３と同一の処理部分には図３と同一の符号を付して、その説明を省略する。

ステップ１０４では、ステップ１０２において検出されれた各垂直エッジ点を、図７に示すように、垂直方向に連続的に並ぶ垂直エッジ点毎に各々グルーピングし、当該グルーピングされた垂直エッジ点を柱状物体による垂直エッジ点として抽出する。

すなわち、上記ステップ１０２において検出されれた各垂直エッジ点には、様々な物体の輪郭を示す垂直エッジ点が含まれている。そこで、本実施の形態では、垂直方向に連続的に（例えば、３画素範囲以内）に並ぶ垂直エッジ点をグルーピングすることにより、柱状物体による垂直エッジ点を特定している。

そして、ステップ１０８では、２本の直線の間の領域内における上記ステップ１０４により抽出された垂直エッジ点のエッジ点数及びエッジ点密度を導出する。

以上のように、本実施の形態によれば、垂直方向に連続的に並ぶ垂直エッジ点毎に各々グルーピングし、当該グルーピングされた垂直エッジ点を抽出することにより、柱状物体による垂直エッジ点を精度良く検出できるため、道路と路側の境界面の検出精度が向上する。

なお、上記各実施の形態では、垂直エッジ点の分布状態を示す値として、エッジ点数及びエッジ点密度を導出する場合について説明したが、これに限定されるもではなく、例えば、エッジ点数又はエッジ点密度の一方のみを導出し、エッジ点数又はエッジ点密度が最も大きな値となるθｂ，θｔを特定するものとしてもよい。また、垂直エッジ点の分布状態を示す値としてもエッジ点数又はエッジ点密度に限定されるもではない。

また、上記各実施の形態では、消失点に相当する原点Ｃの位置を予め定めている場合について説明したが、これに限定されるもではなく、例えば、図８に示すように、カメラ１２による撮像によって得られた画像から道路領域を特定して当該道路が消失する消失点の位置を推定する消失点推定部６０を設け、境界面特定部５６が、消失点推定部６０により推定された消失点の位置を原点として、境界面を特定してもよい。

すなわち、消失点推定部６０が撮像によって得られた画像から道路の白線や路側線を検出し、検出した白線や路側線を近似した直線あるいは曲線を求めて消失点の位置を推定するものとしてもよい。

また、上記各実施の形態では、車両の前方を撮像する場合について説明したが、これに限定されるもではなく、例えば、車両の後方、あるいは車両の前方、後方の両方を撮像して得られた画像から当該画像内に含まれる物体の形状を示す特徴点を検出し、検出された特徴点の分布状態に基づいて、車両が走行する道路と路側の境界面を特定するようにしてもよい。

その他、上記各実施の形態で説明したドライバ支援装置１０の電気系の要部構成（図１参照。）、及びドライバ支援装置１０の機能的な構成（図２、図５、及び図８参照。）は一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

また、上記各実施の形態で説明した境界面検出処理プログラム（図３、及び図６参照。）の処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

実施の形態に係るドライバ支援装置の電気系の要部構成を示すブロック図である。 第１の実施の形態に係るドライバ支援装置の機能的な構成を示すブロック図である。 第１の実施の形態に係る境界面検出処理プログラムの処理の流れを示すフローチャートである。 第１の実施の形態に係る検出された垂直エッジ点から境界面を検出する際の流れを示す模式図である。 第２の実施の形態に係るドライバ支援装置の機能的な構成を示すブロック図である。 第２の実施の形態に係る境界面検出処理プログラムの処理の流れを示すフローチャートである。 第２の実施の形態に係る検出された垂直エッジ点から境界面を検出する際の流れを示す模式図である。 ドライバ支援装置の他の機能的な構成を示すブロック図である。

符号の説明

１０ ドライバ支援装置
１２ カメラ（撮像手段）
５０ 境界面検出部
５２ 特徴点検出部（特徴点検出手段）
５４ 特徴点抽出部（特徴点抽出手段）
５６ 境界面特定部（境界面特定手段）
６０ 消失点推定部（消失点推定手段）

Claims (4)

1. 車両の前方、後方の一方、あるいはその両方を撮像する撮像手段と、
   前記撮像手段による撮像によって得られた画像に対してエッジ検出を行って、当該画像内に含まれる物体の形状を示す特徴点として垂直エッジ点を検出する特徴点検出手段と、
   前記撮像手段による撮像によって得られた画像の前記道路が消失する消失点に相当する予め定められた位置を原点として、当該原点から予め定められた角度範囲内で当該原点より伸びる２本の直線の間となる領域を当該２本の直線のなす角度を変えつつ設定し、当該なす角度毎に定まる当該２本の直線の間となる領域内における前記特徴点検出手段により検出された特徴点の分布状態に基づいて、前記車両が走行する道路と路側の境界面を特定する境界面特定手段と、
   を備えた路側境界面検出装置。
2. 前記特徴点検出手段により検出された特徴点から前記路側に存在する柱状物体による特徴点を抽出する特徴点抽出手段をさらに備え、
   前記境界面特定手段は、前記特徴点抽出手段により抽出された特徴点の分布状態に基づいて、前記境界面を特定する
   請求項１記載の路側境界面検出装置。
3. 前記特徴点抽出手段は、前記特徴点検出手段により検出された特徴点から垂直方向に連続的に並ぶ特徴点を各々グルーピングし、当該グルーピングされた特徴点を抽出することにより前記柱状物体による特徴点を抽出する
   請求項２記載の路側境界面検出装置。
4. 前記撮像手段による撮像によって得られた画像から前記道路領域を特定して当該道路が消失する消失点の位置を推定する消失点推定手段をさらに備え、
   前記境界面特定手段は、前記消失点推定手段により推定された消失点の位置を原点として、前記境界面を特定する
   請求項１〜請求項３のいずれか１項記載の路側境界面検出装置。
   

Images