[第1実施形態]
本発明の一実施形態を添付の図面を参照して説明する。まず、第1実施形態について、図1〜図10を参照して説明する。図1は、本実施形態による車両周辺監視装置の機能ブロック図であり、図2は、図1に示した車両周辺監視装置の車両への取り付け態様の説明図である。また、図3は、図1の車両周辺監視装置における対象物検出・注意喚起動作を示すフローチャートであり、図4は、図3の対象物検出・注意喚起動作における注意喚起判定処理のフローチャートであり、図5は、図4の注意喚起判定処理における車両前方の領域区分を示す説明図である。また、図6は、図4の注意喚起判定処理における人工構造物判定処理のフローチャートであり、図7は、図6の人工構造物判定処理の説明図である。
図1,図2を参照して、本実施形態の車両周辺監視装置は、CPU(中央演算装置)を備えた電子ユニットである画像処理ユニット1を有する。画像処理ユニット1には、2つの赤外線カメラ2R,2Lが接続されると共に、自車両10の走行状態を検出するセンサとして、自車両10のヨーレートを逐次検出するヨーレートセンサ3と、自車両10の走行速度(車速)を逐次検出する車速センサ4と、自車両10のブレーキの操作を逐次検出するためのブレーキセンサ5とが接続されている。
また、画像処理ユニット1には、自車両10に搭載された、音声等による聴覚的な注意喚起情報を出力するためのスピーカ6と、赤外線カメラ2R,2Lにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置7とが接続されている。表示装置7は、例えば、自車両10のフロントウィンドウに画像等の情報を表示するHUD(ヘッドアップディスプレイ)7a等を備えている。HUD7aは、自車両10のフロントウィンドウの運転者の前方視界を妨げない位置に画面が表示されるように設けられている。
赤外線カメラ2R,2Lは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。なお、赤外線カメラ2R,2Lは、本発明の撮像手段に相当する。
図2に示すように、赤外線カメラ2R,2Lは、自車両10の前方を撮像するために、自車両10の前部に所定の間隔で取り付けられている。そして、赤外線カメラ2R,2Lは、それらの光軸が互いに平行であって、且つ、それぞれの光軸の路面からの高さが等しくなるように自車両10の前部に固定されている。
画像処理ユニット1は、詳細の図示は省略するが、入力アナログ信号をデジタル信号に変換するA/D変換回路と、デジタル化した画像信号を記憶する画像メモリと、画像メモリに記憶されたデータにアクセス(読み出し及び書き込み)するためのインタフェース回路を有して、該画像メモリに記憶された画像に対して各種の演算処理を行うコンピュータ(CPU,メモリ,入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ)等とを備えている。赤外線カメラ2R,2L、ヨーレートセンサ3、車速センサ4、ブレーキセンサ5の各出力信号(アナログ信号)は、デジタル信号に変換されて当該コンピュータに入力されるように構成されている。
そして、画像処理ユニット1は、所定の演算処理周期毎に、入力されたデータを基に、歩行者等の対象物を検出する処理や、その検出した対象物に関する所定要件が満たされるか否かを判定し、該要件が満たされる場合にスピーカ6や表示装置7を介して運転者に注意喚起(対象物に対する運転者の注意の喚起)を行う処理等を実行する。
これらの処理は、画像処理ユニット1のメモリに予め実装されたプログラムを画像処理ユニット1により実行することにより実現される。このプログラムは、本発明の車両周辺監視用プログラムを含んでいる。なお、当該プログラムはCD−ROM等の記録媒体を介してメモリに格納されてもよい。また、当該プログラムは外部のサーバからネットワークや人工衛星を介して配信または放送され、車両10に搭載された通信機器により受信された上でメモリに格納されてもよい。
より詳しくは、画像処理ユニット1は、上記プログラムにより実現される機能として、特定対象物検出手段11と、第1の距離算出手段12と、探索領域設定手段13と、第2の距離算出手段14と、特定対象物種別判定手段15とを備える。
特定対象物検出手段11は、赤外線カメラ2R,2Lにより撮像された画像から、自車両10の周辺に存在する特定対象物を抽出する。具体的には、特定対象物検出手段11は、赤外線カメラ2R,2Lを介して取得された画像のうちの所定の基準画像(本実施形態では、赤外線カメラ2Rを介して取得された画像とする)に2値化処理等を施して、さらにラベリング処理等を施し、特定対象物の画像部分(2値化対象物)を抽出する。なお、特定対象物には、歩行者の頭部や、他車両のヘッドライト、テールライト、ヒーテッドミラー等が含まれる。
探索領域設定手段13は、赤外線画像内の特定対象物の画像部分に近接した上方の領域を、探索領域として設定する。なお、探索領域の大きさは、例えば、判定対象である他車両の形状に基づいて予め定められる所定値に設定してもよいし、特定対象物の路面からの高さを算出し、この算出された高さに基づいて定められる所定値に設定してもよい。
第1の距離算出手段12は、特定対象物検出手段11により検出された特定対象物の車両10に対する距離を算出する。また、第2の距離算出手段14は、探索領域設定手段13により設定された探索領域の実空間における位置の車両10に対する距離を算出する。
なお、特定対象物(探索領域)の自車両10に対する距離は、基準画像上で抽出された特定対象物(探索領域)に対応する特定対象物(探索領域)を赤外線カメラ2Lを介して取得された画像上で探索し、2つの赤外線カメラ2R,2Lから得られる画像上での特定対象物(探索領域)のずれ(視差)に基づいて算出される。なお、画像に基づいて距離を算出する具体的な手法としては、例えば、本願出願人による特開2001−6096号公報(上述の特許文献1)に記載したような手法を用いることができる。
特定対象物種別判定手段15は、第1の距離算出手段12により算出された特定対象物の車両10に対する距離と、第2の距離算出手段14により算出された探索領域の車両10に対する距離とに基づいて、特定対象物の種別を判定する。具体的には、特定対象物種別判定手段15は、特定対象物の車両10に対する距離と、探索領域の車両10に対する距離との差が、所定値以下となる場合に、特定対象物の種別が他車両であると判断する。
なお、図1において点線で示した斜めエッジ検出手段16は、第2実施形態に備える構成であるので、説明は後述する。
次に、本実施形態の車両周辺監視装置の全体的な作動(対象物検出・注意喚起動作)を、図3に示したフローチャートに従って説明する。図3を参照して、画像処理ユニット1は、所定の演算処理周期毎に、STEP1〜STEP20の処理を繰り返して、対象物検出・注意喚起動作を実行する。まず、画像処理ユニット1は、赤外線カメラ2R,2Lの出力信号である赤外線画像を取得して(STEP1)、A/D変換し(STEP2)、グレースケール画像を画像メモリに格納する(STEP3)。なお、赤外線カメラ2Rにより右画像IGRが得られ、赤外線カメラ2Lにより左画像IGLが得られる。右画像IGRと左画像IGLとでは、同一の対象物の画像上での横方向(x方向)の位置がずれて表示されるので、このずれ(視差)によりその対象物までの距離を算出することができる。
次に、画像処理ユニット1は、グレースケール画像のうちの基準画像に対して、その画像信号を2値化する(STEP4)。すなわち、基準画像の画像信号の輝度値が閾値Ithより明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理が行われる。閾値Ithは、実験的に予め決定される値である。2値化処理で「白」となった領域は、赤外線カメラ2Rから得られる画像において、輝度レベルが高く(高温で)、画面上に白色として表示される対象物の領域である。なお、基準画像の画像信号の輝度値が閾値Ithより明るい領域を「0」(黒)とし、暗い領域を「1」(白)としてもよい。
次に、画像処理ユニット1は、2値化処理で「白」となった領域(以下、2値化領域という)からランレングスデータを作成する(STEP5)。作成されるランレングスデータは、2値化領域を画像の横方向の1次元の連結画素であるラインの集合で表し、該2値化領域を構成する各ラインをその始点の座標と、始点から終点までの長さ(画素数)とで示したものである。
次に、画像処理ユニット1は、作成されたランレングスデータに基づいて、対象物のラベリングをする(STEP6)ことにより、対象物を抽出する(STEP7)。すなわち、ランレングスデータで表されたラインのうち、画像の縦方向(y方向)に重なる部分のあるラインを1つの対象物とみなしてラベル(識別子)を付すことにより、画像内の連結した領域を対象物として抽出する。
上述のSTEP5〜7の処理により、2値化領域が対象物(2値化対象物)Tkとして抽出される。このとき、例えばラベルTkの対象物は、n個のランレングスデータL1〜Lnで示される。なお、抽出される対象物(2値化対象物)には、道路周辺の歩行者等以外に、例えば、他車両、電柱や自動販売機等の人工構造物が含まれる。
次に、画像処理ユニット1は、抽出された対象物の面積S、重心位置Gc、対象物の外接四角形の高さHb、幅Wb、重心位置Gb、縦横比ASPを算出する(STEP8)。具体的には、対象物Tkの面積Skは、各ランレングスデータLi(i=1,...,n)で示されるラインの長さを、対象物Tkのn個のランレングスデータについて積算することにより算出する。また、対象物Tkの重心Gckの座標は、各ランレングスデータLiで示されるラインの長さと、各ランレングスデータLiのラインの中点の座標(x[i],y[i])とをそれぞれ掛け合わせ、更にこれを対象物Tkのn個のランレングスデータについて積算したものを、面積Skで割ることにより算出する。また、対象物Tkの外接四角形の縦横比ASPkは、対象物Tkの外接四角形の高さ(縦方向の長さ)Hbkと幅(横方向の長さ)Wbkとの比Hbk/Wbkとして算出する。なお、対象物Tkの画像部分Rkは、対象物Tkを囲む外接四角形の領域全体とする。
次に、画像処理ユニット1は、対象物の時刻間追跡、すなわち、画像処理ユニット1の演算処理周期毎に同一対象物を認識する処理を行う(STEP9)。同一対象物認識処理は、時刻kにおけるSTEP7の処理により対象物Tkが抽出され、次の演算処理周期の時刻k+1におけるSTEP7の処理により対象物Tk+1が抽出されたとしたとき、対象物Tk+1と対象物Tkとの同一性(対象物Tk+1が対象物Tkと同一の対象物であるか否か)を判定する処理である。具体的には、例えば、対象物Tk+1と対象物Tkとの面積S、重心位置Gc、縦横比ASPの変化量が、それぞれ予め定められた面積の変化量の許容値、重心位置の変化量の許容値、縦横比の変化量の許容値以下の場合に、同一の対象物であると判定される。そして、対象物Tkと対象物Tk+1とが同一の対象物であると判定された場合には、対象物Tk+1のラベルが対象物Tkのラベルと同じラベルに変更される。これにより、対象物Tkと対象物Tk+1とが同一の対象物であると認識されて、時刻間で追跡される。この同一対象物認識処理は、基準画像において実行される。
次に、画像処理ユニット1は、ヨーレートセンサ3により検出されるヨーレートYRと、車速センサ4により検出される車速VCAR(水平方向の速度)とを読み込む(STEP10)。なお、このSTEP10では、ヨーレートYRを時間積分することにより、自車両10の回頭角θrの算出も行われる。
一方、画像処理ユニット1は、STEP9,10の処理に並行して、STEP11〜14の処理を実行する。STEP11〜14の処理は、対象物と自車両10との距離z(自車両10の前後方向の距離)を算出する処理である。
まず、画像処理ユニット1は、基準画像の2値化画像によって追跡される対象物の中の1つを選択して、基準画像から探索画像R1(選択した対象物を囲む外接四角形の領域全体を探索画像とする)を抽出する(STEP11)。
次に、画像処理ユニット1は、参照画像(赤外線カメラ2R,2Lから得られた右画像及び左画像のうちの基準画像でない画像)中から探索画像R1に対応する画像(以下「対応画像」という)を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する(STEP12)。具体的には、探索画像R1の各頂点座標に応じて、参照画像中に探索領域R1aを設定し、探索領域R1a内に、座標(x0,y0)を基点(領域の左上の頂点)とした探索画像R1と同一形状の局所領域R1b設定する。そして、基点の座標(x0,y0)を変化させて、探索領域R1a内で局所領域R1bを移動させながら、局所領域R1bと探索画像R1との相関の度合を示す輝度値の絶対差分和(SAD,Sum of Absolute Difference)C(x0,y0)を次式(1)により算出する。
ここで、絶対差分和C(x0,y0)は、探索画像R1内の座標(m,n)の画素の輝度値IRと、探索領域R1a内の座標(x0,y0)を基点とした局所領域R1b内の座標(x0+m,y0+n)の画素の輝度値ILとの差の絶対値を取り、この差の絶対値の探索画像R1及び局所領域R1b内の全画素(m=0,...,M-1,n=0,...,N-1)についての総和値を求めたものである。なお、絶対差分和C(x0,y0)の値が小さいほど、探索画像R1と局所領域R1bとの相関の度合が高いことを示す。これにより、絶対差分和C(x0,y0)が最小となる基点の座標(x0,y0)を求め、この位置の局所領域R1bを対応画像R1cとして抽出する。なお、この相関演算は、2値化画像ではなくグレースケール画像を用いて行う。STEP11〜12の処理により、基準画像中の探索画像R1と、参照画像中の対応画像R1cとが抽出される。
次に、画像処理ユニット1は、探索画像R1の重心位置と、対応画像R1cの重心位置とに基づいて、視差Δd(画素数)を算出する(STEP13)。そして、画像処理ユニット1は、算出された視差Δdを用いて、次式(2)により、自車両10と対象物との距離zを算出する(STEP14)。
なお、Bは赤外線カメラ2R,2Lの基線長(光軸の間隔)、fは赤外線カメラ2R,2Lの焦点距離、pは画素間隔である。
STEP10及びSTEP14の処理の終了後、画像処理ユニット1は、次に、画像内の座標(x,y)及び距離zを、実空間座標に変換して、各対象物の実空間上での位置(自車両10に対する相対位置)である実空間位置を算出する(STEP15)。ここで、実空間位置は、図2に示すように、赤外線カメラ2R,2Lの取り付け位置の中点(自車両10に固定された位置)を原点として設定された実空間座標系(XYZ座標系)での位置(X,Y,Z)である。実空間座標系のX方向及びY方向は、それぞれ自車両10の左右方向(車幅方向)、上下方向であり、これらのX方向及びY方向は、前記右画像および左画像のx方向(横方向)、y方向(縦方向)と同方向である。また、実空間座標系のZ方向は、自車両10の前後方向である。そして、実空間位置(X,Y,Z)は、次式(3)により算出される。
次に、画像処理ユニット1は、自車両10の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、STEP10で算出した回頭角θrを用いて、対象物の実空間位置を補正する(STEP16)。回頭角補正は、時刻kから時刻k+1までの期間中に自車両10が例えば左方向に回頭角θrだけ回頭すると、赤外線カメラ2R,2Lによって得られる画像上では、画像の範囲がx方向にずれるので、これを補正する処理である。なお、以下の説明では、「対象物の実空間位置」は、この回頭角補正を施した対象物の実空間位置を意味する。
次に、画像処理ユニット1は、対象物の自車両10に対する移動ベクトルを求める(STEP17)。具体的には、同一対象物についての実空間位置の、所定期間dT(現在時刻から所定時間前までの期間)における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置(座標PvdT=(XvdT,YvdT,ZvdT))から、現在時刻における該直線上の対象物の位置(座標Pv0=(Xv0,Yv0,Zv0))に向かうベクトルを対象物の移動ベクトルとして求める。なお、近似直線の具体的な算出処理には、例えば、本願出願人による特開2003−284057号公報に記載された手法を用いることができる。
次に、画像処理ユニット1は、検出した対象物と自車両10とが接触する可能性を判定して、該対象物が注意喚起対象(注意喚起すべき対象)であるか否かを判定する注意喚起判定処理を行う(STEP18)。なお、注意喚起判定処理については、詳細を後述する。STEP18において、検出した対象物が注意喚起対象でないと判定された場合(STEP18の判定結果がNO)には、STEP1に戻り、上述の処理を繰り返す。また、STEP18において、検出した対象物が注意喚起対象であると判定された場合(STEP18の判定結果がYES)、STEP19へ進む。
STEP19では、画像処理ユニット1は、対象物に対する車両10の運転者の注意を喚起すべきか否かを判定する注意喚起出力判定処理を行う。この注意喚起出力判定処理では、ブレーキセンサ5の出力BRから、運転者による自車両10のブレーキ操作がなされていることが確認され、且つ、自車両10の減速加速度(車速の減少方向の加速度を正とする)が所定の閾値(>0)よりも大きいときには、注意喚起を行わないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、自車両10の減速加速度が所定の閾値以下である場合には、注意喚起を行うべきと判定される。
そして、画像処理ユニット1は、注意喚起を行うべきと判定した場合(STEP19の判定結果がYES)には、スピーカ6と表示装置7とによる注意喚起を自車両10の運転者に対して行う注意喚起処理を実行し(STEP20)、STEP1に戻り、上述の処理を繰り返す。この注意喚起処理では、例えば表示装置7に基準画像を表示すると共に、その基準画像中の注意喚起対象である対象物の画像を強調的に表示する。さらに、注意喚起対象である対象物が存在することをスピーカ6から運転者に音声案内する。なお、運転者に対する注意喚起は、スピーカ6および表示装置7のいずれか一方だけで行なうようにしてもよい。
また、STEP19で注意喚起を行わないと判定した場合(全ての対象物について注意喚起を行わないと判定した場合)には、STEP19の判定結果がNOとなり、この場合には、そのままSTEP1に戻り、上述の処理を繰り返す。
以上が、本実施形態の車両周辺監視装置の画像処理ユニット1における対象物検出・注意喚起動作である。これにより、自車両10の周辺の赤外線画像と、自車両10の走行状態を示す信号とから、自車両10の前方の歩行者等の対象物が検出され、注意喚起対象である対象物について運転者に注意喚起が行われる。
次に、図4に示すフローチャートを参照して、図3に示したフローチャートのSTEP18における注意喚起判定処理について詳細に説明する。注意喚起判定処理は、以下に示す第1接触判定処理、第2接触判定処理、進入接触判定処理、人工構造物判定処理、歩行者判定処理、及び人工構造物判定処理により、検出した対象物と自車両10との接触の可能性及び対象物の種別を判定して、該対象物が注意喚起対象であるか否かを判定する処理である。
図4を参照して、まず、画像処理ユニット1は、対象物が自車両10に接触する可能性の度合を判定する処理の1つとして、第1接触判定処理を行う(STEP101)。第1接触判定処理は、対象物と自車両10との接触を自車両10の操舵やブレーキ操作によって余裕を持って回避できるか否かを判定するための処理である。具体的には、第1接触判定処理では、赤外線カメラ2R,2Lにより撮像される自車両10の前方の領域(赤外線カメラ2R,2Lの視野角内の領域)AR0のうち、自車両10からのZ方向の距離(自車両10の前後方向の距離)が、所定値以下となる領域AR1(以下、第1接触判定領域という)に対象物の現在の実空間位置が存在するか否かが判定される。
この場合、自車両10からの距離に関する所定値は、対象物毎に設定される。具体的には、対象物と自車両10とのZ方向の相対速度Vs(=(Zv0−ZvdT)/dT)を求め、この相対速度Vsに所定の時間T1(例えば2〜5秒程度)を乗じた値Vs×T1が、第1接触判定領域AR1の、Z方向の境界を規定する上記所定値として設定される。なお、相対速度Vsが自車両10から遠ざかる向きの相対速度である場合には、対象物は第1接触判定領域AR1に存在しないと判定される。
ここで、図5を参照して説明すると、図5は、自車両10の走行する道路を上方から見た図であり、自車両10の前方の領域区分が示されている。図5に示したように、領域AR0を太い実線で示す外側の三角形の領域とすると、第1接触判定領域AR1は、領域AR0内のZ1(=Vs×T1)より自車両10に近い領域となる。なお、第1衝突判定領域AR1は、上下方向では、所定の高さH(例えば自車両10の車高の2倍程度の高さ)を有する領域である。従って、対象物の現在のZ方向の座標値(距離)Zv0がVs×T1以下で、且つ、対象物の現在のY方向の座標値(高さ)Yv0がH以下である場合に、対象物が第1接触判定領域AR1に存在すると判定される。
STEP101の判定結果がNOの場合(対象物が第1接触判定領域内AR1に存在しない)には、車両10の操舵やブレーキ操作によって対象物と車両10との接触を余裕を持って回避しうる状況である。この場合には、STEP107に進み、画像処理ユニット1は、対象物が注意喚起対象でないと判定して、注意喚起判定処理を終了する。
STEP101の判定結果がYESの場合(対象物が第1接触判定領域AR1内に存在している)には、STEP102に進み、画像処理ユニット1は、対象物が自車両10に接触する可能性の度合を判定する処理の1つとして、第2接触判定処理を行う。第2接触判定処理は、対象物の実空間位置が現在位置に維持されたとした場合に、対象物と車両10との接触の可能性が高いか否かを判定するための処理である。具体的には、第2接触判定処理では、対象物が、図5に示したように、第1接触判定領域AR1のうちの、自車両10の車幅αの両側に余裕βを加えた幅(α+2β)を有する領域AR2(以下、第2接触判定領域という)内に存在するか否かを判定する。なお、第2接触判定領域AR2も所定高さHを有する。
STEP102の判定結果がYESの場合(対象物が第2接触判定領域AR2内に存在している)には、対象物が現在の実空間位置に留まったとした場合に、該対象物が自車両10と接触する可能性が高い。この場合には、STEP103に進み、画像処理ユニット1は、対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う。歩行者判定処理は、対象物の画像に、例えば予め登録された歩行者の形状と一致する等の、歩行者であると考えられる特徴が検出された場合に、該対象物を歩行者と判定する処理である。なお、歩行者判定処理には、具体的には、例えば前記した特開2003−284057号公報に記載された手法が用いられる。
STEP104の判定結果がYESの場合(対象物は歩行者の可能性がある)には、STEP105に進み、更に対象物が歩行者である可能性の判定の信頼性を上げるために、画像処理ユニット1は、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。人工構造物判定処理は、対象物の画像に、例えば予め登録された人工構造物の形状と一致する等の、歩行者ではないと考えられる特徴が検出された場合に、該対象物を人工構造物と判定し、注意喚起対象から除外する処理である。この人工構造物判定処理により、例えば前走車等の、自車両10との接触の可能性が低い対象物が、注意喚起対象から除外される。なお、人工構造物処理については、詳細を後述する。
STEP105の判定結果がNOの場合(対象物が人工構造物でない、すなわち、対象物は歩行者の可能性がある)には、STEP107に進み、画像処理ユニット1は、対象物が注意喚起対象であると判定して、注意喚起判定処理を終了する。従って、対象物が第1接触判定領域内の第2接触判定領域に存在し、且つ、対象物が歩行者である可能性が高く、且つ、人工構造物でないと判定された場合には、対象物が注意喚起対象であると判定される。
また、STEP104の判定結果がNOの場合(対象物は歩行者の可能性がない)、あるいは、STEP105の判定結果がYESの場合(対象物が人工構造物である)には、STEP108に進み、画像処理ユニット1は、対象物が注意喚起対象でないと判定して、注意喚起判定処理を終了する。
一方、STEP102の判定結果がNOの場合(対象物が第2接触判定領域AR2内に存在しない)には、STEP106に進み、画像処理ユニット1は、対象物が自車両10に接触する可能性の度合を判定する処理の1つとして、進入接触判定処理を行う。進入接触判定処理は、対象物が第2接触判定領域AR2内へ進入し、且つ自車両10との接触する可能性が高いか否かを判定する処理である。進入接触判定処理では、図5に示したように、第1接触判定領域AR1内で第2接触判定領域AR2よりX座標の絶対値が大きい(第2接触判定領域AR2の横方向外側の)領域AR3,AR4(以下、進入判定領域という)内にある対象物が、第2接触判定領域AR2に進入して自車両10と接触するか否かを、対象物の移動ベクトルに基づいて判定する。なお、進入判定領域AR3,AR4も所定高さHを有する。
具体的には、自車両10の前面のXY平面(自車両10の前後方向に垂直な面)と、対象物の移動ベクトルを含む直線との交点のX座標(車幅方向の位置)が、自車両10の車幅αよりも若干広い所定範囲内に存在する場合(対象物が相対的に自車両10に向かってくる場合)に、第2接触判定領域AR2に進入して接触する可能性が高いと判定される。
STEP106の判定結果がYESの場合には、対象物が将来、自車両10と衝突する可能性が高い。そこで、この場合には、STEP107に進み、画像処理ユニット1は、対象物が注意喚起対象であると判定して、注意喚起判定処理を終了する。また、STEP106の判定結果がNOの場合には、対象物が自車両10と接触する可能性が低いので、STEP108に進み、画像処理ユニット1は、対象物が注意喚起対象でないと判定して、注意喚起判定処理を終了する。
以上が、注意喚起判定処理の詳細である。これにより、自車両10の周辺の赤外線画像と、自車両10の走行状態を示す信号とから検出された対象物が、注意喚起すべき対象であるか否かが適切に判定される。
次に、図6に示すフローチャートおよび図7に示す説明図を参照して、図4に示したフローチャートのSTEP103における人工構造物判定処理について詳細に説明する。
まず、STEP201で、画像処理ユニット1は、上述のSTEP4〜7と同様に、赤外線カメラ2R,2Lにより撮像された画像(本実施形態では、基準画像を用いる)から、2値化処理およびラベリング処理を行って、特定対象物を検出する。この処理は、特定対象物検出手段11による処理に相当する。このとき、画像処理ユニット1は、抽出された2値化対象物のうち、大きさが所定範囲内である2値化対象物を、特定対象物とする。所定範囲は、例えば、レールライトやヘッドライトやヒーテッドミラーが取り得る範囲として予め定められる値である。これにより、図7(a)に示すように、他車両Pが撮像されていた場合、特定対象物P1〜P4が検出される。なお、P1〜P2はヘッドライト(前走車の場合はテールライト)、P3〜P4はヒーテッドミラーに相当する。また、図7(b)に示すように、歩行者Qが撮像されていた場合、特定対象物Q1が検出される。Q1は歩行者の頭部に相当する。
次に、STEP202で、画像処理ユニット1は、上述のSTEP11〜14と同様に、検出された特定対象物の車両10に対する距離を算出する。この処理は、第1の距離算出手段12による処理に相当する。
次に、STEP203で、画像処理ユニット1は、グレースケール画像内で、検出された特定対象物の画像部分に近接した上方の領域を、探索領域として設定する。この処理は、探索領域設定手段13による処理に相当する。具体的には、図7(a)に例示するように、特定対象物P1の上方の探索領域として領域RP1が設定され、特定対象物P4の上方の探索領域として領域RP4が設定される。また、図7(b)に例示するように、特定対象物Q1の上方の探索領域として領域RQ1が設定される。このとき、探索領域RP1,RP4には、他車両Pのボディ部分が撮像されている。一方、探索領域RQ1には、歩行者Qの背景が撮像されている。
次に、STEP204で、画像処理ユニット1は、各探索領域について、それぞれ、上述のSTEP11〜14と同様に、実空間における位置の車両10に対する距離を算出する。この処理は、第2の距離算出手段14による処理に相当する。
次に、STEP205で、画像処理ユニット1は、特定対象物の車両10に対する距離と、各探索領域の車両10に対する距離との差を算出し、算出した差が所定値以下であるか否かを判断する。所定値は、一般に、画像上で他車両の各部分に相当する領域が取り得る範囲として予め定められる値である。このとき、図7(a)に例示するように、探索領域RP1,RP4は他車両Pのボディに相当する領域であり、この探索領域RP1,RP4の自車両10に対する距離は、同様に他車両Pに設けられたテールライトである特定対象物P1、ヒーテッドミラーである特定対象物P4の自車両10に対する距離との差が小さく、該距離の差が所定値以下となる。一方、図7(b)に例示するように、探索領域RQ1は背景に相当する領域であるので、この探索領域RQ1の自車両10に対する距離は、無限遠となるか、歩行者Qの自車両10に対する距離とは大きく相違する。このため、特定対象物の自車両10に対する距離と探索領域RQ1の自車両10に対する距離との差が所定値より大きくなる。
STEP205の判断結果がYESの場合(距離の差が所定値以下である)には、STEP206に進み、画像処理ユニット1は、特定対象物が他車両であると判定し、人工構造物判定処理が終了される。STEP205の判断結果がNOの場合(距離の差が所定値以下でない)には、STEP207に進み、画像処理ユニット1は、特定対象物が他車両でないと判定し、人工構造物判定処理が終了される。STEP205〜207の処理は、特定対象物種別判定手段15の処理に相当する。
以上が、人工構造物判定処理の詳細である。
以上の処理により、本実施形態によれば、自車両10の周辺を撮像した赤外線画像から検出される特定対象物について、他車両の特徴を適切に抽出して、特定対象物(他車両)の種別を精度良く判定することができる。これにより、自車両10の運転者に情報の提示等を適切に行うことができる。
なお、本実施形態において、人工構造物判定処理のSTEP203で、探索領域設定手段11は、特定対象物の画像部分に近接した上方の領域のうちの、右側の部分領域と左側の部分領域との少なくとも一方を探索領域として設定するようにしてもよい。すなわち、図8(a)に例示するように、図7(a)と同様に他車両Pが撮像されていた場合、特定対象物P1の上方の探索領域として領域A,Bが設定される。また、図8(b)に例示するように、図7(b)と同様に歩行者Qが撮像されていた場合、特定対象物Q1の上方の探索領域として領域A’,B’が設定される。
そして、STEP205で、特定対象物種別判定手段15は、探索領域A,Bのうち少なくともいずれか一方について、特定対象物の車両10に対する距離と、各探索領域A,Bの車両10に対する距離との差が所定値以下であるか否かを判断する。そして、判断結果がYESである場合に、STEP206に進み、特定対象物が他車両であると判定される。領域A’,B’についても同様である。
この場合も、図8(a)に例示するように、探索領域A,Bは他車両Pのボディに相当する領域であり、この探索領域A,Bの自車両10に対する距離は、同様に他車両Pに設けられたテールライトである特定対象物P1の自車両10に対する距離との差が小さく、該距離の差が所定値以下となる。一方、図8(b)に例示するように、探索領域A’,B’は背景に相当する領域であるので、この探索領域A’,B’の自車両10に対する距離は、無限遠となるか、歩行者Qの自車両10に対する距離とは大きく相違する。このため、特定対象物の自車両10に対する距離と探索領域A’,B’の自車両10に対する距離との差が所定値より大きくなる。
よって、この場合も、自車両10の周辺を撮像した赤外線画像から検出される特定対象物について、他車両の特徴を適切に抽出して、特定対象物(他車両)の種別を精度良く判定することができる。
なお、探索領域設定手段11は、特定対象物の画像部分に近接した上方の領域を、左右2つに分割する以外に、任意の数と大きさに分割して、それぞれの領域の少なくともいずれかを探索領域として設定することも可能である。
また、本実施形態において、人工構造物判定処理のSTEP203で、探索領域設定手段11は、特定対象物の画像部分に近接した上方の領域を探索領域として設定すると共に、該探索領域から右方向と左方向の少なくとも一方に延びる複数の領域を探索領域として設定するようにしてもよい。すなわち、図9(a)に例示するように、図7(a)と同様に他車両Pが撮像されていた場合、特定対象物P1の上方の探索領域として領域A,B,C,Dが設定される。また、図9(b)に例示するように、図7(b)と同様に歩行者Qが撮像されていた場合、特定対象物Q1の上方の探索領域として領域A’,B’,C’,D’が設定される。
そして、STEP205で、特定対象物種別判定手段15は、探索領域A,B,C,Dのうち特定対象物の車両10に対する距離と、各探索領域A,Bの車両10に対する距離との差が所定値以下となる探索領域が、所定数以上存在するか否かを判断する。所定数は、一般に、画像上で他車両の各部分に相当する領域が取り得る範囲として予め定められる値である。そして判断結果がYESである場合に、STEP206に進み、特定対象物が他車両であると判定される。領域A’,B’,C’,D’についても同様である。
この場合も、図9(a)に例示するように、探索領域A,Bは他車両Pのルーフ等のボディに相当する領域であり、この探索領域A,B,C,Dの自車両10に対する距離は、同様に他車両Pに設けられたテールライトである特定対象物P1の自車両10に対する距離との差が小さく、該距離の差が所定値以下となる。一方、図9(b)に例示するように、探索領域A’,B’,C’,D’は背景に相当する領域であるので、この探索領域A’,B’,C’,D’の自車両10に対する距離は、無限遠となるか、歩行者Qの自車両10に対する距離とは大きく相違する。このため、特定対象物の自車両10に対する距離と探索領域A’,B’,C’,D’の自車両10に対する距離との差が所定値より大きくなる。
よって、この場合も、自車両10の周辺を撮像した赤外線画像から検出される特定対象物について、他車両の特徴を適切に抽出して、特定対象物(他車両)の種別を精度良く判定することができる。特に、他車両Pのルーフ等のボディは、領域A,Bから領域C,Dまで延びて撮像されるものである。一方、例えば歩行者Qが帽子や傘を持っている際でも、領域C’,D’まで延びて撮像されるものではない。よって、他車両と歩行者をより精度良く区別して、特定対象物の種別を判定することができる。
また、本実施形態において、人工構造物判定処理のSTEP203で、探索領域設定手段11は、特定対象物の画像部分に近接した上方の領域を探索領域として設定すると共に、該探索領域から右方向と左方向の少なくとも一方に延び、且つそれぞれ下方向に延びる複数の領域を探索領域として設定するようにしてもよい。すなわち、図10(a)に例示するように、図7(a)と同様に他車両Pが撮像されていた場合、特定対象物P1の上方の探索領域として領域A,B,C,Dが設定される。また、図10(b)に例示するように、図7(b)と同様に歩行者Qが撮像されていた場合、特定対象物Q1の上方の探索領域として領域A’,B’,C’,D’が設定される。
そして、STEP205で、特定対象物種別判定手段15は、探索領域A,B,C,Dのうち特定対象物の車両10に対する距離と、各探索領域A,Bの車両10に対する距離との差が所定値以下となる探索領域が、所定数以上存在するか否かを判断する。所定数は、一般に、画像上で他車両の各部分に相当する領域が取り得る範囲として予め定められる値である。そして判断結果がYESである場合に、STEP206に進み、特定対象物が他車両であると判定される。領域A’,B’,C’,D’についても同様である。
この場合も、図10(a)に例示するように、探索領域A,Bは他車両Pのルーフ等のボディに相当する領域であり、この探索領域A,B,C,Dの自車両10に対する距離は、同様に他車両Pに設けられたテールライトである特定対象物P1の自車両10に対する距離との差が小さく、該距離の差が所定値以下となる。一方、図10(b)に例示するように、探索領域A’,B’,C’,D’は背景に相当する領域であるので、この探索領域A’,B’,C’,D’の自車両10に対する距離は、無限遠となるか、歩行者Qの自車両10に対する距離とは大きく相違する。このため、特定対象物の自車両10に対する距離と探索領域A’,B’,C’,D’の自車両10に対する距離との差が所定値より大きくなる。
よって、この場合も、自車両10の周辺を撮像した赤外線画像から検出される特定対象物について、他車両の特徴を適切に抽出して、特定対象物(他車両)の種別を精度良く判定することができる。特に、例えば他車両Pがオープンカーでルーフがない場合でも、領域C,Dが下方向に延びているので、他車両Pのボディが撮像される。よって、他車両と歩行者をより明確に区別して、特定対象物の種別を精度良く判定することができる。
[第2実施形態]
次に、本発明の第2実施形態について、図11〜図13を参照して説明する。図11は、本実施形態の車両周辺監視装置における人工構造物判定処理を示すフローチャートである。なお、本実施形態は、第1実施形態において、斜めエッジ検出手段16を備えるものであり特定対象物種別判定手段15による処理が相違する。以下の説明では、第1実施形態と同一の構成については、第1実施形態と同一の参照符号を用いて説明を省略する。
本実施形態の車両周辺監視装置は、探索領域設定手段13により設定された探索領域に対して斜めエッジを検出する斜めエッジ検出手段16を備える。そして、特定対象物種別判定手段15は、特定対象物の車両10に対する距離や探索領域の車両10に対する距離と共に、斜めエッジ検出手段16により検出された斜めエッジに基づいて、特定対象物の種別を判定する。他の構成は第1実施形態と同じである。
次に、本実施形態の車両周辺監視装置の作動を、図11に示すフローチャートおよび図12,図13に示す説明図を参照して説明する。なお、本実施形態における車両周辺監視装置の作動は、第1実施形態と、人工構造物判定処理のみが相違するものである。以下では、同一の処理については説明を省略する。
本実施形態の人工構造物判定処理において、STEP301〜305で、第1実施形態のSTEP201〜205と同様の処理が行われる。これにより、図12(a)に例示するように、図7(a)と同様に、特定対象物P1〜P4が検出される。なお、P1〜P2はヘッドライト、P3〜P4はヒーテッドミラーに相当する。そして、特定対象物P3の上方の探索領域として領域RP3が設定される。このとき、図12(a)に例示するように、領域RP3には、他車両Pのピラーに相当する部分(斜めエッジ)が撮像されている。また、図12(a)に例示するように、探索領域RP3は他車両Pのボディに相当する領域であり、この探索領域RP3の自車両10に対する距離は、同様に他車両Pに設けられたヒーテッドミラーである特定対象物P3の自車両10に対する距離との差が小さく、該距離の差が所定値以下となる。
STEP305の判断結果がYESの場合(距離の差が所定値以下である)には、STEP306に進み、画像処理ユニット1は、探索領域に対して、斜めエッジ検出処理を行う。この処理は、斜めエッジ検出手段16による処理に相当する。
まず、画像処理ユニット1は12(b)に例示するような赤外線画像(グレースケール画像)Igに、エッジ抽出処理を施す。なお、12(b)の赤外線画像Igでは、輝度レベルを点描で模式的に示す(点描の密度が低いほど輝度レベルが高い)。また、12(b)の赤外線画像Ig中で、他車両Pのピラー部分に相当する斜めエッジを黒線で示す。エッジ抽出処理では、具体的には、一般的な微分フィルタ(例えばSobelフィルタ等)でフィルタ処理を行い、その結果を2値化処理する。これにより、意図する輝度勾配を有する斜めエッジの候補が抽出され、12(b)に例示するようなエッジ画像Ieが得られる。次に、画像処理ユニット1は、抽出された斜めエッジの候補から、斜めエッジを検出する。これにより、12(b)のエッジ画像Ie中で、白楕円で囲んで示す斜めエッジが検出される。
ここで、図13を参照して、斜めエッジ検出処理について説明する。図13は、エッジ画像の探索領域を模式的に示す。図13において、探索領域は11×16の画素で構成され、グレーが付された画素は、エッジ抽出処理で抽出された斜めエッジの候補に相当する画素を示す。このとき、画像処理ユニット1は、3×3マスク(図13中に点線で示す)で領域内を走査し、各画素について、該各画素を中心としたマスク領域における画素の総和を算出する。なお、抽出された斜めエッジの候補に相当する画素を「1」、それ以外の画素を「0」とする。そして、画像処理ユニット1は、各列において、総和が最も大きい画素を、その列のエッジポイント(図13中に○で示す)として抽出する。この処理によりノイズ(図13中に●で示す)が除去される。そして、画像処理ユニット1は、算出された各エッジポイントの座標を用いて、抽出された斜めエッジの候補から斜めエッジを認識する。例えば、相関係数r(|r|<1)が用いられる。具体的には、エッジポイント群の相関係数が、所定条件(例えば、0.7<|r|<1.0)を満たし、且つ、エッジ端のx方向の長さwと、y方向の高さhを実空間に変換した値が、それぞれ所定値以上である場合に、斜めエッジであると認識する。
なお、例えばハフ変換を用いた手法により斜めエッジを検出することもできる。
次に、STEP307で、画像処理ユニット1は、斜めエッジが検出されたか否かを判断する。
STEP307の判断結果がYESの場合(斜めエッジが検出された)には、STEP308に進み、画像処理ユニット1は、特定対象物が他車両であると判定し、人工構造物判定処理が終了される。
一方、STEP305の判断結果がNOの場合(距離の差が所定値以下でない)と、STEP307の判断結果がNOの場合(斜めエッジが検出されない)には、STEP309に進み、画像処理ユニット1は、特定対象物が他車両でないと判定し、人工構造物判定処理が終了される。
以上が、人工構造物判定処理の詳細である。
以上の処理により、本実施形態によれば、第1実施形態と同様に、自車両10の周辺を撮像した赤外線画像から検出される特定対象物について、他車両の特徴を適切に抽出して、特定対象物(他車両)の種別を精度良く判定することができる。これにより、自車両10の運転者に情報の提示等を適切に行うことができる。特に、例えば他車両Pがオープンカーでルーフがない場合でも、斜めエッジを検出することにより、他車両Pのピラーに相当する部分が検出される。よって、他車両と歩行者をより明確に区別して、特定対象物の種別を精度良く判定することができる。
なお、本実施形態において、画像処理ユニット1は、特定対象物の画像部分の上方の領域を左右に分割してそれぞれ探索領域として設定した場合には、一方の探索領域のみに斜めエッジが検出された場合に、特定対象物が他車両であると判断する。
また、第1及び第2実施形態では、2つの赤外線カメラ2R,2Lを用いてステレオカメラを構成し、特定対象物および探索領域の自車両10に対する距離を算出したが、他の実施形態として、例えば、自車両10の前部に搭載したミリ波レーダ等のレーダを用いて、1つの赤外線カメラにより撮像された画像から抽出された特定対象物および探索領域の、自車両10に対する距離を算出するものとしてもよい。
または、他の実施形態として、例えば、1つの赤外線カメラにより撮像された画像のみを用いて、特定対象物および探索領域の自車両10に対する距離を算出するものとしてもよい。この場合、例えば、異なる時刻に撮像された複数の画像における、所定の対象物の大きさの変化率と、時刻と車速から算出される自車両10の走行距離とに基づいて、該特定対象物の距離を算出することができる。
2R,2L…赤外線カメラ(撮像手段)、10…車両、11…特定対象物検出手段、12…第1の距離算出手段、13…探索領域設定手段、14…第2の距離算出手段、15…特定対象物種別判定手段、16…斜めエッジ検出手段。