[第1実施形態]
本発明の一実施形態を添付の図面を参照して説明する。まず、第1実施形態について、図1〜図11を参照して説明する。図1は、本実施形態による対象物種別判定装置の機能ブロック図であり、図2は、図1に示した対象物種別判定装置の車両への取り付け態様の説明図である。また、図3は、図1の対象物種別判定装置における対象物検出・注意喚起動作を示すフローチャートであり、図4は、図3の対象物検出・注意喚起動作における注意喚起判定処理のフローチャートであり、図5は、図4の注意喚起判定処理における車両前方の領域区分を示す説明図である。また、図6は、図4の注意喚起判定処理における生体判定処理のフローチャートであり、図7〜図11は、図6の生体判定処理の説明図である。
図1,図2を参照して、本実施形態の対象物種別判定装置は、CPU(中央演算装置)を備えた電子ユニットである画像処理ユニット1を有する。画像処理ユニット1には、2つの赤外線カメラ2R,2Lが接続されると共に、自車両10の走行状態を検出するセンサとして、自車両10のヨーレートを逐次検出するヨーレートセンサ3と、自車両10の走行速度(車速)を逐次検出する車速センサ4と、自車両10のブレーキの操作を逐次検出するためのブレーキセンサ5とが接続されている。
また、画像処理ユニット1には、自車両10に搭載された、音声等による聴覚的な注意喚起情報を出力するためのスピーカ6と、赤外線カメラ2R,2Lにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置7とが接続されている。表示装置7は、例えば、自車両10のフロントウィンドウに画像等の情報を表示するHUD(ヘッドアップディスプレイ)7a等を備えている。HUD7aは、自車両10のフロントウィンドウの運転者の前方視界を妨げない位置に画面が表示されるように設けられている。
赤外線カメラ2R,2Lは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。なお、赤外線カメラ2R,2Lは、本発明の撮像手段に相当する。
図2に示すように、赤外線カメラ2R,2Lは、自車両10の前方を撮像するために、自車両10の前部に所定の間隔で取り付けられている。そして、赤外線カメラ2R,2Lは、それらの光軸が互いに平行であって、且つ、それぞれの光軸の路面からの高さが等しくなるように自車両10の前部に固定されている。
画像処理ユニット1は、詳細の図示は省略するが、入力アナログ信号をデジタル信号に変換するA/D変換回路と、デジタル化した画像信号を記憶する画像メモリと、画像メモリに記憶されたデータにアクセス(読み出し及び書き込み)するためのインタフェース回路を有して、該画像メモリに記憶された画像に対して各種の演算処理を行うコンピュータ(CPU,メモリ,入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ)等とを備えている。赤外線カメラ2R,2L、ヨーレートセンサ3、車速センサ4、ブレーキセンサ5の各出力信号(アナログ信号)は、デジタル信号に変換されて当該コンピュータに入力されるように構成されている。
そして、画像処理ユニット1は、所定の演算処理周期毎に、入力されたデータを基に、歩行者等の対象物を検出する処理や、その検出した対象物に関する所定要件が満たされるか否かを判定し、該要件が満たされる場合にスピーカ6や表示装置7を介して運転者に注意喚起(対象物に対する運転者の注意の喚起)を行う処理等を実行する。
これらの処理は、画像処理ユニット1のメモリに予め実装されたプログラムを画像処理ユニット1により実行することにより実現される。このプログラムは、本発明の対象物種別判定用プログラムを含んでいる。なお、当該プログラムはCD−ROM等の記録媒体を介してメモリに格納されてもよい。また、当該プログラムは外部のサーバからネットワークや人工衛星を介して配信または放送され、車両10に搭載された通信機器により受信された上でメモリに格納されてもよい。
より詳しくは、画像処理ユニット1は、上記プログラムにより実現される機能として、画像から対象物の領域を抽出する対象物領域抽出手段11と、対象物の領域から該対象物の端点を抽出する対象物端点抽出手段12と、対象物のサイズを表す特徴量が所定の周期性を有する変化をしているか否かを判断する対象物周期性判断手段13と、特徴量が周期性を有する変化をしていると判断された対象物を生体と判定する生体判定手段14とを備える。
対象物領域抽出手段11は、赤外線カメラ2R,2Lにより撮像された画像から、自車両10の周辺に存在する対象物の領域を抽出する。具体的には、対象物領域抽出手段11は、赤外線カメラ2R,2Lを介して取得された画像のうちの所定の基準画像(本実施形態では、赤外線カメラ2Rを介して取得された画像とする)に2値化処理等を施して、さらにラベリング処理等を施し、対象物の画像部分(2値化対象物)を抽出する。そして、対象物領域抽出手段11は、抽出された2値化対象物に基づいて、グレースケール画像における対象物の画像部分を対象物の領域として抽出する。このとき、対象物領域抽出手段11は、2値化対象物の周辺の画像領域について、該画像領域および2値化対象物の自車両10に対する距離の差が所定範囲内の画像領域を取得し、この取得された画像領域と2値化対象物を含む領域を、対象物の領域として抽出する。
対象物端点抽出手段12は、対象物領域抽出手段11により抽出された対象物の領域から、対象物の端点を抽出する。具体的には、対象物端点抽出手段12は、グレースケール画像における対象物の領域について、エッジ抽出処理を施して得られたエッジ点から、所定条件を満たすエッジ点を端点として抽出する。
対象物周期性判断手段13は、赤外線カメラ2R,2Lにより撮像された時系列画像の各画像について、対象物領域抽出手段11により抽出された対象物の領域から、対象物端点抽出手段12により抽出された該対象物の端点を用いて、該対象物のサイズを表す特徴量の時系列データを算出する。具体的には、対象物のサイズを表す特徴量として、対象物の領域のうち下部分領域(対象物が歩行者等である場合に脚部が撮像され得る領域)における対象物の幅を用いる。そして、対象物周期性判断手段13は、特徴量の時系列データを算出し、この特徴量が、予め定められた所定の周期性を有する変化をしているか否か、および、この特徴量の実空間における最大変化量が所定範囲内であるか否かを判断する。
生体判定手段14は、対象物周期性判断手段13による判断の結果、特徴量が周期性を有する変化をしていると判断され、且つ特徴量の実空間における最大変化量が所定範囲内であると判断された対象物を生体と判定する。
なお、図1において点線で示した第1の特定部位抽出手段15、第2の特定部位抽出手段16は、それぞれ、第4実施形態、第3実施形態に備える構成であるので、説明は後述する。
次に、本実施形態の対象物種別判定装置の全体的な作動(対象物検出・注意喚起動作)を、図3に示したフローチャートに従って説明する。図3を参照して、画像処理ユニット1は、所定の演算処理周期毎に、STEP1〜STEP20の処理を繰り返して、対象物検出・注意喚起動作を実行する。まず、画像処理ユニット1は、赤外線カメラ2R,2Lの出力信号である赤外線画像を取得して(STEP1)、A/D変換し(STEP2)、グレースケール画像を画像メモリに格納する(STEP3)。なお、赤外線カメラ2Rにより右画像IGRが得られ、赤外線カメラ2Lにより左画像IGLが得られる。右画像IGRと左画像IGLとでは、同一の対象物の画像上での横方向(x方向)の位置がずれて表示されるので、このずれ(視差)によりその対象物までの距離を算出することができる。
次に、画像処理ユニット1は、グレースケール画像のうちの基準画像に対して、その画像信号を2値化する(STEP4)。すなわち、基準画像の画像信号の輝度値が閾値Ithより明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理が行われる。閾値Ithは、実験的に予め決定される値である。2値化処理で「白」となった領域は、赤外線カメラ2Rから得られる画像において、輝度レベルが高く(高温で)、画面上に白色として表示される対象物の領域である。なお、基準画像の画像信号の輝度値が閾値Ithより明るい領域を「0」(黒)とし、暗い領域を「1」(白)としてもよい。
次に、画像処理ユニット1は、2値化処理で「白」となった領域(以下、2値化領域という)からランレングスデータを作成する(STEP5)。作成されるランレングスデータは、2値化領域を画像の横方向の1次元の連結画素であるラインの集合で表し、該2値化領域を構成する各ラインをその始点の座標と、始点から終点までの長さ(画素数)とで示したものである。
次に、画像処理ユニット1は、作成されたランレングスデータに基づいて、対象物のラベリングをする(STEP6)ことにより、対象物を抽出する(STEP7)。すなわち、ランレングスデータで表されたラインのうち、画像の縦方向(y方向)に重なる部分のあるラインを1つの対象物とみなしてラベル(識別子)を付すことにより、画像内の連結した領域を対象物として抽出する。
上述のSTEP5〜7の処理により、2値化領域が対象物(2値化対象物)Tkとして抽出される。このとき、例えばラベルTkの対象物は、n個のランレングスデータL1〜Lnで示される。なお、抽出される対象物(2値化対象物)には、道路周辺の歩行者、自転車運転者、動物等以外に、例えば、他車両、電柱や自動販売機等の人工構造物が含まれる。
次に、画像処理ユニット1は、抽出された対象物の面積S、重心位置Gc、対象物の外接四角形の高さHb、幅Wb、重心位置Gb、縦横比ASPを算出する(STEP8)。具体的には、対象物Tkの面積Skは、各ランレングスデータLi(i=1,...,n)で示されるラインの長さを、対象物Tkのn個のランレングスデータについて積算することにより算出する。また、対象物Tkの重心Gckの座標は、各ランレングスデータLiで示されるラインの長さと、各ランレングスデータLiのラインの中点の座標(x[i],y[i])とをそれぞれ掛け合わせ、更にこれを対象物Tkのn個のランレングスデータについて積算したものを、面積Skで割ることにより算出する。また、対象物Tkの外接四角形の縦横比ASPkは、対象物Tkの外接四角形の高さ(縦方向の長さ)Hbkと幅(横方向の長さ)Wbkとの比Hbk/Wbkとして算出する。なお、対象物Tkの画像部分Rkは、対象物Tkを囲む外接四角形の領域全体とする。
次に、画像処理ユニット1は、対象物の時刻間追跡、すなわち、画像処理ユニット1の演算処理周期毎に同一対象物を認識する処理を行う(STEP9)。同一対象物認識処理は、時刻kにおけるSTEP7の処理により対象物Tkが抽出され、次の演算処理周期の時刻k+1におけるSTEP7の処理により対象物Tk+1が抽出されたとしたとき、対象物Tk+1と対象物Tkとの同一性(対象物Tk+1が対象物Tkと同一の対象物であるか否か)を判定する処理である。具体的には、例えば、対象物Tk+1と対象物Tkとの面積S、重心位置Gc、縦横比ASPの変化量が、それぞれ予め定められた面積の変化量の許容値、重心位置の変化量の許容値、縦横比の変化量の許容値以下の場合に、同一の対象物であると判定される。そして、対象物Tkと対象物Tk+1とが同一の対象物であると判定された場合には、対象物Tk+1のラベルが対象物Tkのラベルと同じラベルに変更される。これにより、対象物Tkと対象物Tk+1とが同一の対象物であると認識されて、時刻間で追跡される。この同一対象物認識処理は、基準画像において実行される。
次に、画像処理ユニット1は、ヨーレートセンサ3により検出されるヨーレートYRと、車速センサ4により検出される車速VCAR(水平方向の速度)とを読み込む(STEP10)。なお、このSTEP10では、ヨーレートYRを時間積分することにより、自車両10の回頭角θrの算出も行われる。
一方、画像処理ユニット1は、STEP9,10の処理に並行して、STEP11〜14の処理を実行する。STEP11〜14の処理は、対象物と自車両10との距離z(自車両10の前後方向の距離)を算出する処理である。対象物と自車両10との距離zは、基準画像上で抽出された対象物に対応する対象物を赤外線カメラ2Lを介して取得された画像上で探索し、2つの赤外線カメラ2R,2Lから得られる画像上での対象物のずれ(視差)に基づいて算出される。なお、画像に基づいて対象物の距離を算出する具体的な手法としては、例えば、本願出願人による特開2001−6096号公報(上述の特許文献1)に記載したような手法を用いることができる。
まず、画像処理ユニット1は、基準画像の2値化画像によって追跡される対象物の中の1つを選択して、基準画像から探索画像R1(選択した対象物を囲む外接四角形の領域全体を探索画像とする)を抽出する(STEP11)。
次に、画像処理ユニット1は、参照画像(赤外線カメラ2R,2Lから得られた右画像及び左画像のうちの基準画像でない画像)中から探索画像R1に対応する画像(以下「対応画像」という)を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する(STEP12)。具体的には、探索画像R1の各頂点座標に応じて、参照画像中に探索領域R1aを設定し、探索領域R1a内に、座標(x0,y0)を基点(領域の左上の頂点)とした探索画像R1と同一形状の局所領域R1b設定する。そして、基点の座標(x0,y0)を変化させて、探索領域R1a内で局所領域R1bを移動させながら、局所領域R1bと探索画像R1との相関の度合を示す輝度値の絶対差分和(SAD,Sum of Absolute Difference)C(x0,y0)を次式(1)により算出する。
ここで、絶対差分和C(x0,y0)は、探索画像R1内の座標(m,n)の画素の輝度値IRと、探索領域R1a内の座標(x0,y0)を基点とした局所領域R1b内の座標(x0+m,y0+n)の画素の輝度値ILとの差の絶対値を取り、この差の絶対値の探索画像R1及び局所領域R1b内の全画素(m=0,...,M-1,n=0,...,N-1)についての総和値を求めたものである。なお、絶対差分和C(x0,y0)の値が小さいほど、探索画像R1と局所領域R1bとの相関の度合が高いことを示す。これにより、絶対差分和C(x0,y0)が最小となる基点の座標(x0,y0)を求め、この位置の局所領域R1bを対応画像R1cとして抽出する。なお、この相関演算は、2値化画像ではなくグレースケール画像を用いて行う。STEP11〜12の処理により、基準画像中の探索画像R1と、参照画像中の対応画像R1cとが抽出される。
次に、画像処理ユニット1は、探索画像R1の重心位置と、対応画像R1cの重心位置とに基づいて、視差Δd(画素数)を算出する(STEP13)。そして、画像処理ユニット1は、算出された視差Δdを用いて、次式(2)により、自車両10と対象物との距離zを算出する(STEP14)。
なお、Bは赤外線カメラ2R,2Lの基線長(光軸の間隔)、fは赤外線カメラ2R,2Lの焦点距離、pは画素間隔である。
STEP10及びSTEP14の処理の終了後、画像処理ユニット1は、次に、画像内の座標(x,y)及び距離zを、実空間座標に変換して、各対象物の実空間上での位置(自車両10に対する相対位置)である実空間位置を算出する(STEP15)。ここで、実空間位置は、図2に示すように、赤外線カメラ2R,2Lの取り付け位置の中点(自車両10に固定された位置)を原点として設定された実空間座標系(XYZ座標系)での位置(X,Y,Z)である。実空間座標系のX方向及びY方向は、それぞれ自車両10の左右方向(車幅方向)、上下方向であり、これらのX方向及びY方向は、前記右画像および左画像のx方向(横方向)、y方向(縦方向)と同方向である。また、実空間座標系のZ方向は、自車両10の前後方向である。そして、実空間位置(X,Y,Z)は、次式(3)により算出される。
次に、画像処理ユニット1は、自車両10の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、STEP10で算出した回頭角θrを用いて、対象物の実空間位置を補正する(STEP16)。回頭角補正は、時刻kから時刻k+1までの期間中に自車両10が例えば左方向に回頭角θrだけ回頭すると、赤外線カメラ2R,2Lによって得られる画像上では、画像の範囲がx方向にずれるので、これを補正する処理である。なお、以下の説明では、「対象物の実空間位置」は、この回頭角補正を施した対象物の実空間位置を意味する。
次に、画像処理ユニット1は、対象物の自車両10に対する移動ベクトルを求める(STEP17)。具体的には、同一対象物についての実空間位置の、所定期間dT(現在時刻から所定時間前までの期間)における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置(座標PvdT=(XvdT,YvdT,ZvdT))から、現在時刻における該直線上の対象物の位置(座標Pv0=(Xv0,Yv0,Zv0))に向かうベクトルを対象物の移動ベクトルとして求める。なお、近似直線の具体的な算出処理には、例えば、本願出願人による特開2003−284057号公報に記載された手法を用いることができる。
次に、画像処理ユニット1は、検出した対象物と自車両10とが接触する可能性を判定して、該対象物が注意喚起対象(注意喚起すべき対象)であるか否かを判定する注意喚起判定処理を行う(STEP18)。なお、注意喚起判定処理については、詳細を後述する。STEP18において、検出した対象物が注意喚起対象でないと判定された場合(STEP18の判定結果がNO)には、STEP1に戻り、上述の処理を繰り返す。また、STEP18において、検出した対象物が注意喚起対象であると判定された場合(STEP18の判定結果がYES)、STEP19へ進む。
STEP19では、画像処理ユニット1は、対象物に対する車両10の運転者の注意を喚起すべきか否かを判定する注意喚起出力判定処理を行う。この注意喚起出力判定処理では、ブレーキセンサ5の出力BRから、運転者による自車両10のブレーキ操作がなされていることが確認され、且つ、自車両10の減速加速度(車速の減少方向の加速度を正とする)が所定の閾値(>0)よりも大きいときには、注意喚起を行わないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、自車両10の減速加速度が所定の閾値以下である場合には、注意喚起を行うべきと判定される。
そして、画像処理ユニット1は、注意喚起を行うべきと判定した場合(STEP19の判定結果がYES)には、スピーカ6と表示装置7とによる注意喚起を自車両10の運転者に対して行う注意喚起処理を実行し(STEP20)、STEP1に戻り、上述の処理を繰り返す。この注意喚起処理では、例えば表示装置7に基準画像を表示すると共に、その基準画像中の注意喚起対象である対象物の画像を強調的に表示する。さらに、注意喚起対象である対象物が存在することをスピーカ6から運転者に音声案内する。なお、運転者に対する注意喚起は、スピーカ6および表示装置7のいずれか一方だけで行なうようにしてもよい。
また、STEP19で注意喚起を行わないと判定した場合(全ての対象物について注意喚起を行わないと判定した場合)には、STEP19の判定結果がNOとなり、この場合には、そのままSTEP1に戻り、上述の処理を繰り返す。
以上が、本実施形態の対象物種別判定装置の画像処理ユニット1における対象物検出・注意喚起動作である。これにより、自車両10の周辺の赤外線画像と、自車両10の走行状態を示す信号とから、自車両10の前方の歩行者等の対象物が検出され、注意喚起対象である対象物について運転者に注意喚起が行われる。
次に、図4に示すフローチャートを参照して、図3に示したフローチャートのSTEP18における注意喚起判定処理について詳細に説明する。注意喚起判定処理は、以下に示す第1接触判定処理、第2接触判定処理、進入接触判定処理、生体判定処理、歩行者判定処理、及び人工構造物判定処理により、検出した対象物と自車両10との接触の可能性及び対象物の種別を判定して、該対象物が注意喚起対象であるか否かを判定する処理である。
図4を参照して、まず、画像処理ユニット1は、対象物が自車両10に接触する可能性の度合を判定する処理の1つとして、第1接触判定処理を行う(STEP101)。第1接触判定処理は、対象物と自車両10との接触を自車両10の操舵やブレーキ操作によって余裕を持って回避できるか否かを判定するための処理である。具体的には、第1接触判定処理では、赤外線カメラ2R,2Lにより撮像される自車両10の前方の領域(赤外線カメラ2R,2Lの視野角内の領域)AR0のうち、自車両10からのZ方向の距離(自車両10の前後方向の距離)が、所定値以下となる領域AR1(以下、第1接触判定領域という)に対象物の現在の実空間位置が存在するか否かが判定される。
この場合、自車両10からの距離に関する所定値は、対象物毎に設定される。具体的には、対象物と自車両10とのZ方向の相対速度Vs(=(Zv0−ZvdT)/dT)を求め、この相対速度Vsに所定の時間T1(例えば2〜5秒程度)を乗じた値Vs×T1が、第1接触判定領域AR1の、Z方向の境界を規定する上記所定値として設定される。なお、相対速度Vsが自車両10から遠ざかる向きの相対速度である場合には、対象物は第1接触判定領域AR1に存在しないと判定される。
ここで、図5を参照して説明すると、図5は、自車両10の走行する道路を上方から見た図であり、自車両10の前方の領域区分が示されている。図5に示したように、領域AR0を太い実線で示す外側の三角形の領域とすると、第1接触判定領域AR1は、領域AR0内のZ1(=Vs×T1)より自車両10に近い領域となる。なお、第1衝突判定領域AR1は、上下方向では、所定の高さH(例えば自車両10の車高の2倍程度の高さ)を有する領域である。従って、対象物の現在のZ方向の座標値(距離)Zv0がVs×T1以下で、且つ、対象物の現在のY方向の座標値(高さ)Yv0がH以下である場合に、対象物が第1接触判定領域AR1に存在すると判定される。
STEP101の判定結果がNOの場合(対象物が第1接触判定領域内AR1に存在しない)には、車両10の操舵やブレーキ操作によって対象物と車両10との接触を余裕を持って回避しうる状況である。この場合には、STEP107に進み、画像処理ユニット1は、対象物が注意喚起対象でないと判定して、注意喚起判定処理を終了する。
STEP101の判定結果がYESの場合(対象物が第1接触判定領域AR1内に存在している)には、STEP102に進み、画像処理ユニット1は、対象物が自車両10に接触する可能性の度合を判定する処理の1つとして、第2接触判定処理を行う。第2接触判定処理は、対象物の実空間位置が現在位置に維持されたとした場合に、対象物と車両10との接触の可能性が高いか否かを判定するための処理である。具体的には、第2接触判定処理では、対象物が、図5に示したように、第1接触判定領域AR1のうちの、自車両10の車幅αの両側に余裕βを加えた幅(α+2β)を有する領域AR2(以下、第2接触判定領域という)内に存在するか否かを判定する。なお、第2接触判定領域AR2も所定高さHを有する。
STEP102の判定結果がYESの場合(対象物が第2接触判定領域AR2内に存在している)には、対象物が現在の実空間位置に留まったとした場合に、該対象物が自車両10と接触する可能性が高い。この場合には、STEP103に進み、画像処理ユニット1は、対象物に周期的な動きがあるか、すなわち、対象物が生体(歩行者、自転車運転者、動物等の生体)であるか否かを判定する生体判定処理を行う。なお、生体判定処理については、詳細を後述する。
STEP103の判定結果がYESの場合(対象物が周期的な動きを有する生体である)には、STEP107に進み、画像処理ユニット1は、対象物が注意喚起対象であると判定して、注意喚起判定処理を終了する。従って、対象物が第1接触判定領域内の第2接触判定領域に存在し、且つ、対象物に動きがあると判定された場合には、対象物が注意喚起対象であると判定される。
STEP103の判定結果がNOの場合(対象物が周期的な動きを有する生体でない)には、STEP104に進み、画像処理ユニット1は、対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う。歩行者判定処理は、対象物の画像に、例えば予め登録された歩行者の形状と一致する等の、歩行者であると考えられる特徴が検出された場合に、該対象物を歩行者と判定する処理である。なお、歩行者判定処理には、具体的には、例えば前記した特開2003−284057号公報に記載された手法が用いられる。
STEP104の判定結果がYESの場合(対象物は歩行者の可能性がある)には、STEP105に進み、更に対象物が歩行者である可能性の判定の信頼性を上げるために、画像処理ユニット1は、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。人工構造物判定処理は、対象物の画像に、例えば予め登録された人工構造物の形状と一致する等の、歩行者ではないと考えられる特徴が検出された場合に、該対象物を人工構造物と判定し、注意喚起対象から除外する処理である。この人工構造物判定処理により、例えば前走車等の、自車両10との接触の可能性が低い対象物が、注意喚起対象から除外される。
STEP105の判定結果がNOの場合(対象物が人工構造物でない、すなわち、対象物は歩行者の可能性がある)には、STEP107に進み、画像処理ユニット1は、対象物が注意喚起対象であると判定して、注意喚起判定処理を終了する。従って、対象物が第1接触判定領域内の第2接触判定領域に存在し、且つ、対象物が周期的な動きを有する生体でなく、且つ、対象物が歩行者である可能性が高く、且つ、人工構造物でないと判定された場合には、対象物が注意喚起対象であると判定される。
また、STEP104の判定結果がNOの場合(対象物は歩行者の可能性がない)、あるいは、STEP105の判定結果がYESの場合(対象物が人工構造物である)には、STEP108に進み、画像処理ユニット1は、対象物が注意喚起対象でないと判定して、注意喚起判定処理を終了する。
一方、STEP102の判定結果がNOの場合(対象物が第2接触判定領域AR2内に存在しない)には、STEP106に進み、画像処理ユニット1は、対象物が自車両10に接触する可能性の度合を判定する処理の1つとして、進入接触判定処理を行う。進入接触判定処理は、対象物が第2接触判定領域AR2内へ進入し、且つ自車両10との接触する可能性が高いか否かを判定する処理である。進入接触判定処理では、図5に示したように、第1接触判定領域AR1内で第2接触判定領域AR2よりX座標の絶対値が大きい(第2接触判定領域AR2の横方向外側の)領域AR3,AR4(以下、進入判定領域という)内にある対象物が、第2接触判定領域AR2に進入して自車両10と接触するか否かを、対象物の移動ベクトルに基づいて判定する。なお、進入判定領域AR3,AR4も所定高さHを有する。
具体的には、自車両10の前面のXY平面(自車両10の前後方向に垂直な面)と、対象物の移動ベクトルを含む直線との交点のX座標(車幅方向の位置)が、自車両10の車幅αよりも若干広い所定範囲内に存在する場合(対象物が相対的に自車両10に向かってくる場合)に、第2接触判定領域AR2に進入して接触する可能性が高いと判定される。
STEP106の判定結果がYESの場合には、対象物が将来、自車両10と衝突する可能性が高い。そこで、この場合には、STEP107に進み、画像処理ユニット1は、対象物が注意喚起対象であると判定して、注意喚起判定処理を終了する。また、STEP106の判定結果がNOの場合には、対象物が自車両10と接触する可能性が低いので、STEP108に進み、画像処理ユニット1は、対象物が注意喚起対象でないと判定して、注意喚起判定処理を終了する。
以上が、注意喚起判定処理の詳細である。これにより、自車両10の周辺の赤外線画像と、自車両10の走行状態を示す信号とから検出された対象物が、歩行者等の注意喚起すべき対象であるか否かが適切に判定される。
次に、図6に示すフローチャートおよび図7〜図11に示す説明図を参照して、図4に示したフローチャートのSTEP103における生体判定処理について詳細に説明する。
生体判定処理において、画像処理ユニット1は、所定期間S内に取得された複数の時系列の画像から、対象物のサイズを表す特徴量の時系列データを算出し、この算出した特徴量が所定の周期性を有する変化をしているか否かを判断し、この判断結果に基づいて対象物が生体であるか否かを判定する。本実施形態では、演算処理周期の各時刻において、STEP1で撮像された画像が取得されており、所定期間Sは、N回分の演算処理周期とする。例えば時刻kの演算処理周期では、時刻k−N+1〜時刻kの各演算処理周期に撮像されたN枚の時系列の画像から特徴量の時系列データを算出する。以下では、時刻kの演算処理周期で特徴量の時系列データを算出する場合を例に説明する。なお、例えば、所定期間Sとしては1[sec]が用いられる。
具体的には、以下の説明では、自車両10の前方の道路を歩行者が横断している場合を例にして説明する。図7(a)に、所定期間Sに含まれる時刻k1〜k4における、時系列画像Ik1〜Ik4に撮像される歩行者を例示する。図7(b)は、図7(a)に例示する歩行者の脚部の幅Wの時間変化を示すグラフである。図7(b)において、横軸は経過時間を示し、縦軸は幅Wを示し、各時刻k1〜k4における幅Wの値を黒丸で示す。図7に示す例では、幅Wは、周期Ta、最大変化量Waで変化している。なお、歩行者の歩行動作における幅Wの変化の周期Taは、例えば1[sec]程度であり、歩行者の歩行動作を横から見た場合の幅Wの最大変化量Waは、例えば60[cm]程度である。
まず、STEP201で、画像処理ユニット1は、各演算処理周期の画像(本実施形態では、基準画像を用いる)から、対象物の領域を抽出する。この処理は、対象物領域抽出手段11による処理に相当する。
具体的には、まず、画像処理ユニット1は、各演算処理周期の画像に、上述のSTEP4〜7と同様に、2値化処理およびラベリング処理を行って、2値化対象物を抽出する。なお、本実施形態では、上述のSTEP7で抽出された2値化対象物がそのまま用いられる。
次に、画像処理ユニット1は、抽出された2値化対象物の車両10に対する距離を算出する。なお、本実施形態では、上述のSTEP14で算出された車両10に対する距離がそのまま用いられる。次に、画像処理ユニット1は、抽出された2値化対象物の上下方向に、複数のマスク領域を設定する。そして、画像処理ユニット1は、各マスク領域について、それぞれ、上述のSTEP11〜14と同様に、車両10に対する距離を算出する。
次に、画像処理ユニット1は、2値化対象物の車両10に対する距離と、各マスク領域の車両10に対する距離との差を算出する。次に、画像処理ユニット1は、複数のマスク領域のうち、算出された差が所定範囲内のマスク領域を取得する。そして、画像処理ユニット1は、2値化対象物および取得されたマスク領域を含む領域を、対象物領域として抽出する。
上述の対象物領域を抽出する処理について、例えば、図7(a)に示した時刻k2の演算処理周期の撮像画像Ik2を例にして説明する。このとき、撮像画像Ik2から、図8で示すように2値化対象物Tk2(図中、点描を付して示す)が抽出される。そして、抽出された2値化対象物Tk2の上下に、図8に示すようにマスク領域M2(1)〜M2(8)が設定される。次に、マスク領域M2(1)〜M2(8)のうち、自車両10に対する距離の差が所定範囲内のマスク領域M2(3)〜M2(7)が取得される。そして、2値化対象物Tk2および取得されたマスク領域M2(3)〜M2(7)を含む領域が、対象物領域Rk2として抽出される。
次に、STEP202で、画像処理ユニット1は、対象物の時刻間追跡、すなわち、画像処理ユニット1の演算処理周期毎に同一対象物を認識する処理を行う。以下では、図7(a)に例示する、時刻k1に撮像された画像Ik1と、時刻k2に撮像された画像Ik2間で、対象物の時刻間追跡を行う場合を例に説明する。画像Ik1から抽出された2値化対象物Tk1の車両10に対する距離をZk1、画像Ik2から抽出された2値化対象物Tk2の車両10に対する距離をZk2とする。
図9に示すように、具体的には、まず、画像処理ユニット1は、時刻k2の画像Ik2の対象物領域Rk2に、幅XUk2、高さYUk2の上部分領域RUk2を設定する。なお、高さYUk2は、実空間における所定高さ(例えば、対象物を歩行者と仮定した場合に、その上半身が撮像され得る高さ)を、対象物領域Rk2の2値化対象物Tk2の車両10に対する距離Zk2と、焦点距離fと、画素間隔pとを用いて画像空間に変換した値に設定される。すなわち、上部分領域RUk2は、歩行者の上半身に相当する領域となる。次に、上部分領域RU k2 をZk2/Zk1倍した探索画像(テンプレート)を算出する。次に、画像処理ユニット1は、時刻k1の画像Ik1 中から、上述のSTEP11と同様に、相関演算を実行して探索画像に対応する画像領域を、時刻k1の画像Ik1における上部分領域RUk1として抽出する(テンプレートマッチング)。次に、画像処理ユニット1は、上部分領域RUk1に基づいて、距離に応じて対象物領域Rk2のサイズを変更し、画像Ik1の対象物領域Rk1を設定する。このように、歩行者では上半身の動きが比較的少ないため、対象物領域のうちの上部分領域を探索画像(テンプレート)としてテンプレートマッチングを行うことにより、対象物の時刻間追跡を精度良く行うことができる。
次に、STEP203で、画像処理ユニット1は、対象物の領域から対象物の端点を抽出する。この処理は、対象物端点抽出手段12による処理に相当する。具体的には、図10(a)に示すように、まず、画像処理ユニット1は、画像Ik2の対象物領域Rk2にエッジ抽出処理を施し、エッジ点を抽出する。図10(a)のグレースケール画像Ik2では、輝度レベルを点描で模式的に示す(点描の密度が低いほど輝度レベルが高い)。また、エッジ画像IEk2に抽出されたエッジ点(エッジ画像IEk2の図中、白い部分)を示す。次に、画像処理ユニット1は、対象物領域Rk2内に幅XDk2、高さYDk2の脚検出領域RDk2を設定する。なお、高さYDk2は、実空間における所定高さ(例えば、対象物を歩行者と仮定した場合に、その下半身が撮像され得る高さ)を、対象物領域Rk2の2値化対象物Tk2の車両10に対する距離Zk2と、焦点距離fと、画素間隔pとを用いて画像空間に変換した値に設定される。所定高さとしては、例えば1[m]程度が用いられる。
次に、画像処理ユニット1は、脚検出領域RDk2内のエッジ点を縦方向にカウントする。図10(b)のグラフに、カウントした結果を示す。図10(b)のグラフにおいて、横軸は画像上での横方向の位置[pixel]を示し、縦軸はエッジ点の数を示す。そして、画像処理ユニット1は、横方向に連続して存在するエッジ点の集合で、その集合に含まれるエッジ点の数が所定閾値TH以上のものを抽出する。なお、所定閾値THは、実空間における所定長さを、対象物領域Rk2の2値化対象物Tk2の車両10に対する距離Zk2と、焦点距離fと、画素間隔pとを用いて画像空間に変換した値に設定される。所定長さとしては、例えば50[cm]程度が用いられる。これにより、図10(b)に示す例で、集合B1,B2が抽出される。この抽出された集合B1,B2に含まれるエッジ点が、対象物の端点である。エッジ画像としては、図10(c)のように模式的に示される。
次に、STEP204で、画像処理ユニット1は、STEP203で抽出した対象物の端点に基づいて、対象物のサイズを表す特徴量を算出する。図10(c)に示すように、具体的には、まず、画像処理ユニット1は、脚検出領域RDk2に、高さYDDk2の下部分領域RDDk2を設定する。なお、高さYDDk2は、実空間における所定高さ(例えば、対象物を歩行者と仮定した場合に、その脚部が撮像され得る高さ)を、対象物領域Rk2の2値化対象物Tk2の車両10に対する距離Zk2と、焦点距離fと、画素間隔pとを用いて画像空間に変換した値に設定される。所定高さとして、例えば50[cm]程度が用いられる。そして、下部分領域RDDk2内で、抽出されたエッジ点の集合B1,B2を構成する同じ高さのエッジ点の横方向の間隔を算出する。そして、算出された間隔の平均値a[pixel]を算出する。これにより、図11(a)に例示するように、下部分領域RDDk2から平均値(幅)aが算出される。そして、この幅aを、対象物領域Rk2の2値化対象物Tk2の車両10に対する距離Zk2と、焦点距離fと、画素間隔pとを用いて実空間に変換し、実空間における間隔Aを求める。この間隔Aが、対象物のサイズを表す特徴量となる。
以上の処理を、時刻k−N+1〜時刻kの各演算処理周期に撮像された各画像について実行することにより、特徴量の時系列データが算出される。
次に、STEP205で、画像処理ユニット1は、算出された幅Aの時系列データから、周期性を有する動きをしているか否かを判断する処理を行う。図11(b)は、幅Aの時間変化を例示するグラフである。図11(b)において、横軸は画像の撮像時刻を示し、縦軸は算出された幅Aを示す。具体的には、以下の条件(1-a)(1-b)を満たすか否かが判断される。
(1-a) 画像処理ユニット1は、所定期間S内での実空間における対象物の幅Aの最大変化量DAが所定範囲DAth1〜DAth2内である(DAth1≦DA≦DAth2)か否かを判断する。所定範囲DAth1〜DAth2は、一般的な歩行者の歩幅が取り得る範囲として予め定められる値である。例えば、DAth1として20[cm]、DAth2として60[cm]を用いることができる。
(1-b) 画像処理ユニット1は、所定期間S内での対象物の幅Aが周期性を有する変化をしているか否かを判断する。具体的には、画像処理ユニット1は、所定期間内の幅Aの全データから平均値Aveを求め、幅Aから平均値Aveを減算した値A2を算出する(A2=A−Ave)。値A2が(正、0、負)のいずれであるかを示すデータを、図11(c)のグラフに示す。図11(c)において、横軸は時間(s)を示し、縦軸は、データ(正、0、負)を示す。図11(c)に示すように、値A2が所定期間Sth1〜Sth2連続して正である領域を「正の領域」、値A2が所定期間Sth1〜Sth2連続して負である領域を「負の領域」とする。所定期間Sth1〜Sth2は、一般的な歩行者の歩行動作の周期が取り得る範囲として予め定められる値である。例えば、Sth1として0.4[sec]、Sth2として0.6[sec]を用いることができる。
そして、画像処理ユニット1は、所定期間S内の特徴量の時系列データにおいて、「正の領域」と「負の領域」とのうち少なくともいずれかが存在する場合に、周期性を有する変化をしていると判断する。
STEP205の判断結果がYESの場合(特徴量の最大変化量が所定範囲内、かつ特徴量が周期性を有する)には、STEP206に進み、画像処理ユニット1は、対象物が生体であると判定し、生体判定処理が終了される。STEP205の判断結果がNOの場合には、STEP207に進み、画像処理ユニット1は、対象物が生体でないと判定し、生体判定処理が終了される。STEP206,207の処理は、生体判定手段14の処理に相当する。
以上が、生体判定処理の詳細である。
以上の処理により、本実施形態によれば、車両周辺を撮像した画像により抽出された対象物の動きの周期性を適切に判断し、対象物(歩行者等の生体)の種別を精度良く判定することができる。これにより、自車両10の運転者に情報の提示等を適切に行うことができる。
なお、上述の例では、道路を横断する歩行者の画像例を用いて説明したが、例えば、路側を道路に沿って歩行している歩行者や、動物等の場合でも用いることができる。
例えば、図12(a)に、路側を道路に沿って歩行している歩行者の場合の、時系列画像に撮像される歩行者を例示する。図12(b)は、図12(a)に例示する歩行者の脚部の幅Wの時間変化を示すグラフである。図12(b)において、横軸は経過時間を示し、縦軸は幅Wを示し、各時刻k1〜k4における幅Wの値を黒丸で示す。図12に示す例では、幅Wは、周期Tb、最大変化量Wbで変化している。なお、周期Tbは、例えば0.5[sec]程度であり、最大変化量Wbは、例えば20〜60[cm]程度である。
また、図12(c)に、馬が道路を横断している場合の、時系列画像に撮像される馬を例示する。図12(d)は、図12(c)に例示する馬の脚部の幅Wの時間変化を示すグラフである。図12(d)において、横軸は経過時間を示し、縦軸は幅Wを示す。図12に示す例では、幅Wは、周期Tc、最大変化量Wcで変化している。
このように、対象物が路側を道路に沿って歩行している歩行者や、動物等の場合でも、幅Wが周期的に変化する。よって、道路を横断する歩行者の場合と同様の処理で、幅Wを特徴量として、周期性を有する変化をしているか否かを判断することにより、対象物が路側を道路に沿って歩行している歩行者や、動物等の場合でも、対象物の種別を適切に判定できる。
また、本実施形態では、STEP202で、グレースケール画像の対象物領域のうちの上部分領域についてテンプレートマッチングにより時刻間追跡を行ったが、他の実施形態として、例えば、上述のSTEP9で説明したように、2値化対象物の面積S、重心位置Gc、縦横比ASP等を用いて、時刻間追跡を行ってもよい。
[第2実施形態]
次に、本発明の第2実施形態について、図13を参照して説明する。図13は、本実施形態の対象物種別判定装置における生体判定処理の説明図である。なお、本実施形態は、第1実施形態と、対象物周期性判断手段13が用いる特徴量のみが相違する。以下の説明では、第1実施形態と同一の構成については、第1実施形態と同一の参照符号を用いて説明を省略する。
本実施形態の対象物種別判定装置において、対象物周期性判断手段13は、対象物のサイズを表す特徴量として、対象物の高さを用いる。すなわち、図13(a)に示すように、歩行者は腰を支点として脚を回転させて歩行する。そして、図13(b)に示すように、脚が路面に接地するので、脚の回転位置に応じて、歩行者の路面に対する頭部の位置が上下に周期的に動く。このため、歩行動作において、歩行者の高さ(身長)が周期的に変化する。よって、歩行者の高さを特徴量として、周期性を有する変化をしているか否かを判断することにより、対象物が生体(歩行者)であるか否かを判定することができる。他の構成は第1実施形態と同じである。
次に、本実施形態の対象物種別判定装置の作動を説明する。なお、本実施形態における対象物種別判定装置の作動は、第1実施形態と、図6の生体判定処理におけるSTEP203〜205の処理のみが相違するものである。以下では、同一の処理については説明を省略する。
また、以下の説明では、第1実施形態と同様に、自車両10の前方の道路を歩行者が横断している場合を例にして説明する。なお、時刻k1〜k4における、時系列画像Ik1〜Ik4に撮像される歩行者は、第1実施形態の図7(a)と同様に、図13(c)に例示したようになる。図13(d)は、図13(c)に例示する歩行者の高さHの時間変化を示すグラフである。図13(d)において、横軸は経過時間を示し、縦軸は高さHを示し、各時刻k1〜k4における高さHの値を黒丸で示す。図13(d)に示す例では、高さHは、周期Td、最大変化量Hdで変化している。なお、歩行者の歩行動作における高さHの変化の周期Tdは、例えば1[sec]程度であり、歩行者の歩行動作を横から見た場合の高さHの最大変化量Hdは、例えば4[cm]程度である。
本実施形態の生体判定処理において、STEP203で、画像処理ユニット1は、対象物領域にエッジ抽出処理を施して得られたエッジ点のうち、対象物領域内の最上端のエッジ点と、最下端のエッジ点を、端点として抽出する。例えば、図13(e)に示すように、画像Ik2(輝度レベルを点描で模式的に示す)について対象物領域Rk2が抽出されている場合に、画像Ik2にエッジ抽出処理を施して得られたエッジ画像IEk2の対象物領域Rk2に含まれるエッジ点(エッジ画像IEk2の図中、白い部分)から、最上端のエッジ点PUk2と、最下端のエッジ点PDk2が抽出される。
次に、STEP204で、画像処理ユニット1は、最上端のエッジ点と、最下端のエッジ点の差から、対象物のサイズを表す特徴量を算出する。例えば、図13(e)の例では、最上端のエッジ点PUk2と、最下端のエッジ点PD k2の差(高さh[pixel])が算出される。そして、この高さhを、対象物領域Rk2の2値化対象物Tk2の車両10に対する距離Zk2と、焦点距離fと、画素間隔pとを用いて実空間に変換し、実空間における高さHが算出される。この高さHが、対象物のサイズを表す特徴量となる。
次に、STEP205で、画像処理ユニット1は、算出された高さHの時系列データから、周期性を有する動きをしているか否かを判断する処理を行う。具体的には、第1実施形態と同様に、以下の条件(2-a)(2-b)が満たされるか否かが判断される。
(2-a) 画像処理ユニット1は、所定期間S内での実空間における対象物の高さHの最大変化量DAが、所定範囲DAth1〜DAth2内である(DAth1≦DA≦DAth2)か否かを判断する。所定範囲DAth1〜DAth2は、一般的な歩行者の高さ(身長)が取り得る範囲として予め定められる値である。
(2-b) 画像処理ユニット1は、第1実施形態と同様に、所定期間S内での対象物の高さHが周期性を有する変化をしているか否かを判断する。
他の作動は第1実施形態と同様である。
以上の処理により、本実施形態によれば、第1実施形態と同様に、車両周辺を撮像した画像により抽出された対象物の動きの周期性を適切に判断し、対象物(歩行者等の生体)の種別を精度良く判定することができる。これにより、自車両10の運転者に情報の提示等を適切に行うことができる。
[第3実施形態]
次に、本発明の第3実施形態について、図14〜図16を参照して説明する。図14〜図16は、本実施形態の対象物種別判定装置における生体判定処理の説明図である。なお、本実施形態は、第1実施形態において、第2の特定部位抽出手段16を備えたものであり、対象物周期性判断手段13が用いる特徴量が異なる。以下の説明では、第1実施形態と同一の構成については、第1実施形態と同一の参照符号を用いて説明を省略する。
本実施形態の対象物種別判定装置は、対象物領域抽出手段11により抽出された対象物の領域から、該対象物の一組の特定部位を抽出する第2の特定部位抽出手段16を備えている。一組の特定部位とは、具体的には、例えば対象物が人間であるとした場合の、身体の両腕、両脚、両足等の組をなす特定部位を指す。本実施形態では、一組の特定部位として、両足を抽出するものとする。
そして、対象物端点抽出手段12は、第2の特定部位抽出手段16により抽出された対象物の特定部位の端点を抽出する。具体的には、対象物端点抽出手段12は、グレースケール画像における対象物の特定部位の画像部分について、エッジ抽出処理を施し、抽出されたエッジ点のうちから、特徴量を算出するための端点を抽出する。
さらに、対象物周期性判断手段13は、対象物のサイズを表す特徴量として、該対象物の一対の特定部位の高さの差を用いる。具体的には、左右の足部の高さの差を用いる。すなわち、例えば、対象物が自転車運転者である場合に、自転車が走行するためには、左右交互に自転車のペダルを踏むことと、自転車のペダルがクランクにより円運動をすることが必要である。このため、自転車が走行している際に、自転車運転者の左右の足が周期的に上下する。よって、例えば、図14(a)に示すように、左右の足部の高さの差(左右の足部の下端の高さの差)を特徴量として、周期性を有する変化をしているか否かを判断することにより、対象物が生体(自転車運転者)であるか否かを判定することができる。他の構成は、第1実施形態と同じである。
次に、本実施形態の対象物種別判定装置の作動を説明する。なお、本実施形態における対象物種別判定装置の作動は、第1実施形態と、図6の生体判定処理におけるSTEP203〜205の処理のみが相違するものである。以下では、同一の処理については説明を省略する。
また、以下の説明では、自車両10の前方の道路の路側を、自車両10に対向して自転車が走行している場合を例にして説明する。なお、時刻k1〜k5における、時系列画像Ik1〜Ik5に撮像される自転車運転者は、図14(b)に例示したようになる。図14(c)は、図14(b)に例示する自転車運転者の左右の足部の下端の高さの差dHの時間変化を示すグラフである。図14(c)において、横軸は経過時間を示し、縦軸は高さの差dHを示し、各時刻k1〜k5における高さの差dHの値を黒丸で示す。図14(c)に示す例では、高さの差dHは、周期Te、最大変化量dHeで変化している。なお、周期Teは、例えば1[sec]程度であり、最大変化量dHeは、例えば40[cm]程度である。
本実施形態の生体判定処理において、STEP202で、画像処理ユニット1は、第1実施形態と同様に、対象物の時刻間追跡を行う。図15に、図14(b)の時刻k1に撮像された画像Ik1と、時刻k2に撮像された画像Ik2間で、対象物の時刻間追跡を行う場合を例として示す。この場合、上部分領域RUk2は、自転車運転者の上半身に相当する領域となる。このように、自転車運転者も、歩行者と同様に、上半身の動きが比較的少ないため、対象物領域のうちの上部分領域を探索画像(テンプレート)としてテンプレートマッチングを行うことにより、対象物の時刻間追跡を精度良く行うことができる。
次に、本実施形態のSTEP203では、画像処理ユニット1は、まず、対象物領域から左右の足検出領域を抽出する(この処理は第2の特定部位抽出手段16の処理に相当する)。例えば、図16(a)に示すように、画像Ik2(輝度レベルを点描で模式的に示す)について対象物領域Rk2が抽出されている場合に、対象物領域Rk2内に、幅XFk2、高さYFk2の右足検出領域RRk2と左足検出領域RLk2を設定する。なお、幅XFk2、高さYFk2は、実空間における自転車運転者の左右の足を検出し得る範囲として予め定められた所定の値を、対象物領域Rk2の2値化対象物Tk2の車両10に対する距離Zk2と焦点距離fと画素ピッチpを用いて画像空間に変換することにより設定される。
次に、画像処理ユニット1は、左右の足検出領域内RRk2,RLk2で、それぞれ、エッジ抽出処理を施し、エッジ点を抽出する。そして、画像処理ユニット1は、左右の足検出領域内RRk2,RLk2で抽出されたエッジ点のうち、それぞれ最下端のエッジ点を、対象物の端点として抽出する(この処理は対象物端点抽出手段12の処理に相当する)。例えば、図16(a)に示すように、画像Ik2にエッジ抽出処理を施して得られたエッジ点(エッジ画像IEk2の図中、白い部分)を示すエッジ画像IEk2について、左右の足検出領域内RRk2,RLk2に含まれるエッジ点から、最下端のエッジ点が、対象物の端点として抽出される。
次に、STEP204で、画像処理ユニット1は、抽出された最下端のエッジ点の高さの差dh[pixel]を算出する。これにより、図16(a)に示すように、高さの差dhが得られる。そして、画像処理ユニット1は、算出した高さの差dhを、対象物領域Rk2の2値化対象物Tk2の車両10に対する距離Zk2と、焦点距離fと、画素間隔pを用いて、実空間内での高さの差dH[m]に変換する。この高さの差dHが、対象物のサイズを表す特徴量となる。
次に、STEP205で、画像処理ユニット1は、算出された高さの差dHの時系列データから、対象物の動きが周期性を有するか否かを判断する処理を行う。具体的には、以下の条件(3-a)(3-b)を満たすか否かが判断される。
(3-a) 画像処理ユニット1は、所定期間S内での実空間における高さの差dHの最大変化量DAが所定範囲DAth1〜DAth2内である(DAth1≦DA≦DAth2)か否かを判断する。所定範囲は、一般的な自転車運転者の左右の足の高さの差が取り得る範囲として予め定められる値である。例えば、DAth1として30[cm]、DAth2として80[cm]を用いることができる。
(3-b) 画像処理ユニット1は、所定期間S内での対象物の高さの差dHが周期性を有する変化をしているか否かを判断する。具体的には、画像処理ユニット1は、所定期間S内の高さの差dHの全データから平均値Aveを求め、高さの差dHから平均値Aveを減算した値dH2を算出する(dH2=dH−Ave)。これにより、図16(b)のグラフに示すような値dH2が取得される。図16(b)において、横軸は時間[sec]を示し、縦軸は、値dH2を示す。図16(b)に示すように、値dH2が所定期間Sth1〜Sth2連続して正である領域を「正の領域」、値dH2が所定期間Sth1〜Sth2連続して負である領域を「負の領域」とする。所定期間Sth1〜Sth2は、一般的な自転車の運転者の走行動作の周期が取り得る範囲として予め定められる値である。例えば、Sth1として0.4[sec]、Sth2として0.6[sec]を用いることができる。
そして、画像処理ユニット1は、所定期間S内の特徴量の時系列データにおいて、「正の領域」と「負の領域」とのうち少なくともいずれかが存在する場合に、周期性を有する変化をしていると判断する。
他の作動は第1実施形態と同じである。
以上の処理により、本実施形態によれば、第1実施形態と同様に、車両周辺を撮像した画像により抽出された対象物の動きの周期性を適切に判断し、対象物(自転車運転者等の生体)の種別を精度良く判定することができる。これにより、自車両10の運転者に情報の提示等を適切に行うことができる。
[第4実施形態]
次に、本発明の第4実施形態について説明する。なお、本実施形態は、第3実施形態において、第2の特定部位抽出手段16の代わりに、第1の特定部位抽出手段15を備えたものであり、対象物周期性判断手段13が用いる特徴量が異なる。以下の説明では、第3実施形態と同一の構成については、第3実施形態と同一の参照符号を用いて説明を省略する。
本実施形態の対象物種別判定装置は、対象物領域抽出手段11により抽出された対象物の領域から、該対象物の特定部位を抽出する第1の特定部位抽出手段15を備えている。特定部位とは、具体的には、例えば対象物が人間であるとした場合の、身体の腕、脚、足等の特定部位を指す。本実施形態では、特定部位として、左右のうち一方の足を抽出するものとする。
そして、対象物端点抽出手段12は、第1の特定部位抽出手段15により抽出された対象物の特定部位の端点を抽出する。具体的には、対象物端点抽出手段12は、グレースケール画像における対象物の特定部位の画像部分について、エッジ抽出処理を施し、抽出されたエッジ点のうちから端点を抽出する。
さらに、対象物周期性判断手段13は、対象物のサイズを表す特徴量として、該対象物の特定部位の高さを用いる。具体的には、左右のうち一方の足の高さを用いる。すなわち、例えば、対象物が自転車運転者である場合に、第3実施形態で説明したように、自転車が走行している際に、自転車運転者の左右の足が周期的に上下する。よって、例えば、左右のうち一方の足(足部の下端)の高さを特徴量として、周期性を有する変化をしているか否かを判断することにより、対象物が生体(自転車運転者)であるか否かを判定することができる。他の構成は、第3実施形態と同じである。
次に、本実施形態の対象物種別判定装置の作動を説明する。なお、本実施形態における対象物種別判定装置の作動は、第5実施形態と、図6の生体判定処理におけるSTEP203〜205の処理のみが相違するものである。以下では、同一の処理については説明を省略する。
本実施形態の生体判定処理のSTEP203では、画像処理ユニット1は、まず、対象物領域から左右のうちの一方の足検出領域を抽出する(この処理は第1の特定部位抽出手段15の処理に相当する)。例えば、図16(a)に示す例において、本実施形態では、対象物領域Rk2内に、幅XFk2、高さYFk2の右足検出領域RRk2のみを設定する。
次に、画像処理ユニット1は、右足検出領域RRk2内で、エッジ抽出処理を施し、エッジ点を抽出する。そして、画像処理ユニット1は、右足検出領域内RRk2で抽出されたエッジ点のうち、最下端のエッジ点を、対象物の端点として抽出する(この処理は対象物端点抽出手段12の処理に相当する)。
次に、STEP204で、画像処理ユニット1は、抽出された最下端のエッジ点の高さhr[pixel]を算出する。そして、画像処理ユニット1は、算出した高さhrを、対象物領域Rk2の2値化対象物Tk2の車両10に対する距離Zk2と焦点距離fと画素ピッチpを用いて、実空間における高さHr[m]に変換する。
次に、STEP205で、画像処理ユニット1は、算出された高さHの時系列データから、対象物の動きが周期性を有するか否かを判断する処理を行う。具体的には、以下の条件(4-a)(4-b)を満たすか否かを判断する。
(4-a) 画像処理ユニット1は、所定期間内での実空間における高さHrの最大変化量DAが所定範囲DAth1〜DAth2内である(DAth1≦DA≦DAth2)か否かを判断する。所定範囲は、一般的な自転車運転者の左右のうちの一方の足の高さが取り得る範囲として予め定められる値である。例えば、DAth1として30[cm]、DAth2として80[cm]を用いることができる。
(4-b) 画像処理ユニット1は、第3実施形態と同様に、所定期間S内での対象物の足の高さHrが周期性を有する変化をしているか否かを判断する。
他の作動は第3実施形態と同じである。
以上の処理により、本実施形態によれば、第3実施形態と同様に、車両周辺を撮像した画像により抽出された対象物の動きの周期性を適切に判断し、対象物(自転車運転者等の生体)の種別を精度良く判定することができる。これにより、自車両10の運転者に情報の提示等を適切に行うことができる。
[第5実施形態]
次に、本発明の第5実施形態について説明する。本実施形態は、第1実施形態において、第1の特定部位抽出手段15及び第2の特定部位抽出手段16の両方を備えたものであり、対象物周期性判断手段13が用いる特徴量及び判定条件が異なる。すなわち、本実施形態は、生体判定処理において、対象物周期性判断手段13が、第1〜第4実施形態の特徴量及び判定条件を組み合わせて用いるものである。以下の説明では、第1実施形態と同一の構成については、第1実施形態と同一の参照符号を用いて説明を省略する。
本実施形態の対象物種別判定装置は、第3実施形態と同様の、第2の特定部位抽出手段16と、第4実施形態と同様の、第1の特定部位抽出手段15とを備えている。そして、対象物端点抽出手段12は、対象物領域抽出手段11により抽出された対象物の領域から該対象物の端点を抽出すると共に、第1の特定部位抽出手段15により抽出された対象物の特定部位の端点と、第2の特定部位抽出手段16により抽出された対象物の一組の特定部位の端点とを抽出する。
そして、対象物周期性判断手段13は、対象物のサイズを表す特徴量として、少なくとも1つ以上(本実施形態では4つ)の特徴量を用いる。具体的には、第1の特徴量として、第1実施形態と同様の、対象物の領域のうちの下部分領域における該対象物の幅が用いられる。また、第2の特徴量として、第2実施形態と同様の、対象物の高さが用いられる。また、第3の特徴量として、第3実施形態と同様の、対象物の一組の特定部位の高さの差が用いられる。また、第4の特徴量として、第4実施形態と同様の、対象物の特定部位の高さが用いられる。
さらに、対象物周期性判断手段13は、少なくとも1つ以上(本実施形態では4つ)の判定条件を有し、これらの判定条件のうち所定数(本実施形態では1つ)以上の判定条件による判定結果が、特徴量が周期性を有する変化をしていることを示す場合に、特徴量が周期性を有すると判断する。具体的には、第1〜第4の特徴量をそれぞれ用いた、第1〜第4の判定条件が用いられる。他の構成は、第1実施形態と同じである。
次に、本実施形態の対象物種別判定装置の作動を説明する。なお、本実施形態における対象物種別判定装置の作動は、第1実施形態と、図6の生体判定処理におけるSTEP203〜205の処理のみが相違するものである。以下では、同一の処理については説明を省略する。
本実施形態の生体判定処理のSTEP203では、画像処理ユニット1は、第1実施形態と同様に、対象物領域にエッジ抽出処理を施して得られたエッジ点から、所定条件を満たすエッジ点を端点として抽出する。また、画像処理ユニット1は、第2実施形態と同様に、画像処理ユニット1は、対象物領域にエッジ抽出処理を施して得られたエッジ点のうち、対象物領域内の最上端のエッジ点と、最下端のエッジ点を、端点として抽出する。また、画像処理ユニット1は、第3実施形態と同様に、左右の足検出領域を抽出し、左右の足検出領域にエッジ抽出処理を施して得られたエッジ点のうち、それぞれ最下端のエッジ点を、対象物の端点として抽出する。また、画像処理ユニット1は、第4実施形態と同様に、左右のうちの一方(本実施形態では右とする)の足検出領域を抽出し、右足検出領域RRにエッジ抽出処理を施して得られたエッジ点のうち、それぞれ最下端のエッジ点を、対象物の端点として抽出する。
次に、STEP204で、画像処理ユニット1は、第1の特徴量として、第1実施形態と同様に、対象物領域のうちの下部分領域における対象物の幅Wを算出する。また、画像処理ユニット1は、第2の特徴量として、第2実施形態と同様に、対象物の高さHを算出する。また、画像処理ユニット1は、第3の特徴量として、第3実施形態と同様に、対象物の左右の足の高さの差dHを算出する。また、画像処理ユニット1は、第4の特徴量として、第4実施形態と同様に、対象物の右足の高さHrを算出する。そして、第1〜第4特徴量の時系列データを算出する。
次に、STEP205で、画像処理ユニット1は、算出された第1〜第4の特徴量に基づいて、その時系列データから、対象物の動きが周期性を有するか否かを判断する処理を行う。具体的には、画像処理ユニット1は、以下の第1〜第4の判定条件(5-a)〜(5-d)のうち少なくとも1つの判定条件による判定結果が、特徴量が周期性を有する変化をしていることを示す(条件が満たされる)場合に、特徴量が周期性を有すると判断する。
(5-a) 第1の判定条件:第1実施形態と同様に、第1の特徴量が条件(1-a)(1-b)を満たすか否かを判定する。
(5-b) 第2の判定条件:第2実施形態と同様に、第2の特徴量が条件(2-a)(2-b)を満たすか否かを判定する。
(5-c) 第3の判定条件:第3実施形態と同様に、第3の特徴量が条件(3-a)(3-b)を満たすか否かを判定する。
(5-d) 第4の判定条件:第4実施形態と同様に、第4の特徴量が条件(4-a)(4-b)を満たすか否かを判定する。
他の作動は第1実施形態と同じである。
以上の処理により、本実施形態によれば、第1〜第4実施形態と同様に、車両周辺を撮像した画像により抽出された対象物の動きの周期性を適切に判断し、対象物(自転車運転者等の生体)の種別を精度良く判定することができる。これにより、自車両10の運転者に情報の提示等を適切に行うことができる。特に、本実施形態では、複数の判定条件を有することで、対象物の多様な状況に対応した判定を実行することができ、対象物の状況によらずに、対象物の動きの周期性を適切に判断し、対象物の種別を精度良く判定することができる。
なお、本実施形態では、対象物周期性判断手段13は、4つの判定条件を用いたが、判定条件の数は任意に変更可能である。
また、本実施形態では、対象物周期性判断手段13は、4つの判定条件のうち少なくとも1つ(所定数)の判定条件が満たされた場合に、周期性を有すると判断するものとしたが、所定数は任意に変更可能である。例えば、2つ以上、あるいは3つ以上判定条件が満たされた場合に、周期性を有すると判断するものとしてもよい。
[第6実施形態]
次に、本発明の第6実施形態について、図17〜図20を参照して説明する。図17は、本実施形態における対象物種別判定装置の機能ブロック図であり、図18〜図20は、本実施形態における対象物種別判定装置の生体判定処理における対象部領域抽出処理の説明図である。なお、本実施形態は、第1実施形態において、画像処理ユニット1に、2つの赤外線カメラ2R,2Lの代わりに、1つの赤外線カメラ2のみを備えるものである。以下の説明では、第1実施形態と同一の構成については、第1実施形態と同一の参照符号を用いて説明を省略する。
本実施形態において、赤外線カメラ2は、自車両10の前方を撮像するために、自車両10の前部に取り付けられている。なお、赤外線カメラ2は、本発明の撮像手段に相当する。
そして、画像処理ユニット1は、赤外線カメラ2により撮像された画像から、対象物の車両10に対する距離を算出する。具体的には、画像処理ユニット1は、赤外線カメラ2で異なる時刻に撮像された複数の画像における、所定の対象物の画像部分の大きさの変化率Rateと、時刻と車速から算出される自車両10の走行距離とに基づいて、該対象物の距離を算出する。
さらに、画像処理ユニット1において、対象物領域抽出手段11は、赤外線カメラ2により撮像された画像から、自車両10の周辺に存在する対象物の領域を抽出する。具体的には、対象物領域抽出手段11は、赤外線カメラ2により撮像された画像に2値化処理等を施して、さらにラベリング処理等を施し、対象物の画像部分(2値化対象物)を抽出する。そして、対象物領域抽出手段11は、抽出された2値化対象物に基づいて、グレースケール画像における対象物の画像部分を対象物の領域として抽出する。
このとき、本実施形態では、対象物領域抽出手段11は、2値化対象物の上下方向の画像領域について、互いに異なる時刻に撮像された2つの画像内にそれぞれ複数のマスク領域を設定し、該2つの画像間で対応する位置に設定された各マスク領域について相関演算を行うことにより、対象物の領域を抽出する。他の構成は第1実施形態と同じである。
次に、本実施形態の対象物種別判定装置の作動を説明する。なお、本実施形態における対象物種別判定装置の対象物検出・注意喚起動作は、第1実施形態と、図3のSTEP11〜14における対象物の距離を算出する処理、及び図6の生体判定処理におけるSTEP201の対象物領域を抽出する処理のみが相違するものである。
本実施形態では、画像処理ユニット1は、上述のようなSTEP11〜14を実行する代わりに、赤外線カメラ2による画像のみを用いて自車両10と対象物との距離zを算出する。
具体的には、まず、画像処理ユニット1は、赤外線カメラ2で異なる時刻に撮像された複数の画像における、所定の対象物の画像部分の大きさの変化率Rateを算出する。
ここで、図18を用いて、対象物の画像部分の大きさの変化率Rateの算出方法について説明する。図18中、50は時刻t50でのグレースケール画像Ig(1)における2値化対象物を示し、51は時刻t51(時刻t50の処理演算周期の次の処理演算周期における撮像時点)でのグレースケール画像Ig(2)における2値化対象物を示している。以下では、グレースケール画像Ig(1)における2値化対象物とグレースケール画像Ig(2)における2値化対象物の大きさの変化率Rateを算出する場合を例に説明する。
画像処理ユニット1は、時刻t51でのグレースケール画像Ig(2)における2値化対象物51の大きさをアフィン変換により縮小(対象物が自車両10に近づいている場合)又は拡大(対象物が自車両10から遠ざかっている場合)して、時刻t50でのグレースケール画像Ig(1)における2値化対象物50との相関度を算出する。具体的には、図18に例示したように、2値化対象物51を1.5倍した画像60、1.25倍した画像61、1.0倍した画像62、0.75倍した画像63、及び0.5倍した画像64と、グレースケール画像Ig(1)の2値化対象物50との相関度を算出する。そして、画像処理ユニット1は、相関度が最も高くなったときの2値化対象物51の倍率を変化率Rateとして決定する。
次に、画像処理ユニット1は、変化率Rateを用いて、対象物の車両10に対する距離zを算出する。
ここで、図19を参照して、変化率Rateを用いて対象物の車両10に対する距離zを算出する手法について説明する。
図19中、Im1は撮像時点t10における赤外線カメラ2の撮像画像であり、Im2は該時点t10からdT経過した時点t11における赤外線カメラ2の撮像画像である。
Im1においては対象物として歩行者の画像部分30が撮像されており、Im2においては同一の歩行者の画像部分31が撮像されている。図19は歩行者が車両10に向かって歩いてきている状況を示しており、Im1の撮像時点t10よりもIm2の撮像時点t11の方が、歩行者が車両10に接近しているため、Im1における歩行者の画像部分30の幅w10よりもIm2における歩行者の画像部分31の幅w11の方が、大きくなっている。
このとき、変化率Rateと今回の撮像時(撮像時点t11)における車両10から対象物までの距離Z1は以下の式(4)の関係にある。
但し、w11:対象物の今回の撮像時(撮像時点t11)の画像部分の幅、w10:対象物の前回の撮像時(撮像時点t10)の画像部分の幅、f:赤外線カメラ2の焦点距離、W:実空間における対象物の幅、Z1:今回の撮像時(撮像時点t11)における車両10から対象物までの距離、Z0:前回の撮像時(撮像時点t10)における車両10から対象物までの距離、Vs:車両10と対象物間の相対速度、dT:撮像間隔。
このとき、画像処理ユニット1は、上記式(4)において、自車両10と対象物間の相対速度Vs(=車両の走行速度Vj+対象物の移動速度Vd)を、自車両10の速度Vjが対象物の移動速度Vdよりも十分に高いとみなして、自車両10の走行速度Vjに置き換えて変形した以下の式(5)により、今回の対象物までの距離Z1を算出する。
但し、Z1:今回の対象物までの距離、Rate:変化率、Vj:車両の走行速度、dT:撮像間隔。
また、画像処理ユニット1は、前回の撮像時における対象物までの距離Z0を、以下の式(6)により算出する。
但し、Z0:前回の撮像時における対象物までの距離、Z1:今回の撮像時における対象物までの距離、Vj:車両の走行速度、dT:撮像間隔。
このように、上記式(5)と式(6)により、画像処理ユニット1は、今回の撮像時における車両10から対象物までの距離Z1と、前回の撮像時における車両10から対象物までの距離Z0とを算出する。
そして、この算出された距離z(=Z1)を用いて、画像処理ユニット1は、第1実施形態と同様に、画像内の座標(x,y)及び距離Z1を、実空間座標に変換して、各対象物の実空間上での位置(自車両10に対する相対位置)である実空間位置を算出する。また、この距離Z1,Z0が、図6の生体判定処理において、対象物の距離として用いられる。
次に、本実施形態のSTEP201の、対象物の領域を抽出する処理について説明する。以下では、図20(a)(b)に例示するように、時刻k1に撮像された画像Ik1と、時刻k2に撮像された画像Ik2を用いて、時刻k1における対象物領域Rk1を抽出する場合を例に説明する。
まず、画像処理ユニット1は、赤外線カメラ2により撮像された画像Ik1,Ik2に2値化処理等を施して、さらにラベリング処理等を施し、2値化対象物Tk1,Tk2を抽出する。そして、2値化対象物Tk1,Tk2の重心位置を通る縦方向のラインを基準ラインLk1,Lk2とする。
次に、画像処理ユニット1は、画像Ik2の2値化対象物Tk2の上下方向に、基準ラインLk2を横方向の中心位置とした複数のマスク領域M2(1)〜M2(12)を設定する。図20(a)に、設定されたマスク領域M2(1)〜M2(12)を示す。次に、画像処理ユニット1は、マスク領域M2(1)〜M2(12)を探索画像として、画像Ik2内で上述のSTEP11と同様に、相関演算を実行して探索画像に対応するマスク領域M1(1)〜M1(12)を抽出する。図20(b)は、パターンマッチングの結果を示す。このとき、マスク領域M1(6)〜M1(9)は、対象物に相当する領域であり、マスク領域M1(1)〜M1(5)は、背景に対応する領域であり、マスク領域M1(10)〜M1(12)は、路面に対応する領域である。
次に、画像処理ユニット1は、画像Ik1で抽出された各マスク領域M1(1)〜M1(12)について、その重心位置の基準ラインLk1に対するずれ量Dを算出する。次に、画像処理ユニット1は、算出されたずれ量Dが閾値THよりも小さい領域を抽出する。すなわち、対象物が撮像されている領域では、マスク領域の2値化対象物に対する相対的な位置関係が変わらないため、パターンマッチングの結果は、基準ラインLk1にほぼ1列に並ぶ。一方、背景や路面が撮像されている領域では、パターンマッチングの結果がばらつく。よって、ずれ量Dが小さい領域を抽出することで、対象物が撮像されている領域が適切に抽出される。そして、画像処理ユニット1は、2値化対象物Tk1と、抽出されたマスク領域とを含む領域を、対象物領域Rk1として抽出する。これにより、対象物領域Rk1が適切に抽出される。他の作動は第1実施形態と同じである。
以上の処理により、本実施形態によれば、第1実施形態と同様に、車両周辺を撮像した画像により抽出された対象物の動きの周期性を適切に判断し、対象物(歩行者等の生体)の種別を精度良く判定することができる。これにより、自車両10の運転者に情報の提示等を適切に行うことができる。このとき、本実施形態によれば、1つの赤外線カメラ2のみを用いて処理が可能であり、簡易な構成とすることができる。
なお、本実施形態は、第1実施形態において、1つの赤外線カメラ2のみを備えるものとしたが、第2〜第5実施形態において、1つの赤外線カメラ2のみを備えるものとしてもよい。
[第7実施形態]
次に、本発明の第7実施形態について説明する。なお、本実施形態は、第6実施形態と、対象物領域抽出手段11および対象物端点抽出手段12の処理のみが相違する。以下の説明では、第6実施形態と同一の構成については、第6実施形態と同一の参照符号を用いて説明を省略する。
本実施形態の対象物種別判定装置において、対象物領域抽出手段11は、2値化対象物の周辺の画像領域について、互いに異なる時刻に撮像された2つの画像内にそれぞれ複数のマスク領域を設定し、該2つの画像間で対応する位置に設定された各マスク領域について相関演算を行うことにより対象物の領域を抽出する。
そして、対象物端点抽出手段12は、対象物領域抽出手段11により抽出された対象物の領域に含まれる複数のマスク領域の位置情報を用いて、該対象物の端点を抽出する。他の構成は、第6実施形態と同じである。
次に、本実施形態の対象物種別判定装置の作動を説明する。なお、本実施形態における対象物種別判定装置の作動は、第6実施形態と、図6の生体判定処理におけるSTEP201,203の処理のみが相違するものである。以下では、図21に例示するように、時刻k1に撮像された画像Ig(1)と、時刻k2に撮像された画像Ig(2)を用いて、画像Ig(2)の対象物領域を抽出する場合を例に説明する。
本実施形態のSTEP201において、画像処理ユニット1は、異なる時点におけるグレースケール画像Ig(1),Ig(2)間において、2値化画像との相対的な位置関係の変化率が所定レベル以下であって、特徴量の相関度が所定レベル以上である周辺画像領域を抽出し、2値化画像と抽出された周辺画像領域を含む領域を対象物領域として抽出する。
画像処理ユニット1は、まず、グレースケール画像Ig(2)の2値化画像の周囲にマスク領域を設定する。具体的には、図21(a)に示したように、2値化画像A1の周囲にマトリックス状に50個のマスク領域M1(M1(0,0)、M1(1,0)、…、M1(5,8))を設定する。なお、各マスク領域における黒点は各マスク領域の重心位置を示している。
次に、画像処理ユニット1は、グレースケール画像Ig(1)から周辺画像領域を抽出する。具体的には、図21(a)に示した各マスク領域M1(0,0)〜M1(5,8)を、変化率Rateでアフィン変換した比較パターンについて、グレースケール画像Ig(2)に対してパターンマッチング処理(相関演算)を実行する。
図21(b)は、パターンマッチングの結果を示したものであり、図21(a)の歩行者の胴部及び脚部の画像B1に対応するB2を含む9個の周辺画像領域M2(2,3)、M2(3,3)、M2(2,4)、M2(3,4)、M2(2,5)、M2(3,5)、M2(1,6)、M2(2,6)、M2(3,6)が抽出されている。例えば、図21(b)のM2(2,3)は、図21(a)のM1(2,3)をアフィン変換した比較パターンにより抽出された領域を示しており、図21(b)のM2(3,3)は、図21(a)のM1(3,3)をアフィン変換した比較パターンにより抽出された領域を示している。
図21(b)中の黒点は、図21(a)におけるマスク領域M1(2,3)、M1(3,3)、M1(2,4)、M1(3,4)、M1(2,5)、M1(3,5)、M1(1,6)、M1(2,6)、M1(3,6)の各重心位置に対応した位置(2値化対象物A2に対して、マスク領域M1を変化率Rateで縮小した領域の重心位置)を示している。また、図21(b)中の×点は、パターンマッチングにより抽出された各領域M2の重心位置を示している。
画像処理ユニット1は、以下の式(7)により、パターンマッチングにより抽出された各領域の重心位置(xm(i,j),ym(i,j))と、マスク領域に対応した重心位置(xb(i,j),yb(i,j))とのずれ量Dが、閾値THよりも小さいか否かを判断する。なお、i,jはマスク領域のインデックスを示している。
但し、D:マスク領域に対応した重心位置とパターンマッチングにより抽出された領域の重心位置とのずれ量、TH:閾値。
そして、画像処理ユニット1は、ずれ量Dが閾値THよりも小さい領域を周辺画像領域として抽出する。これにより、図21(b)の例では、歩行者の胴部及び脚部の画像B2を含む9個の領域が周辺画像領域として抽出される。
次に、画像処理ユニット1は、2値化対象物A2と周辺画像領域を含む領域を対象物領域(同一の対象物の画像領域)として抽出する。図21(b)の例では、2値化対象物A2と、周辺画像領域M2(2,3)、M2(3,3)、M2(2,4)、M2(3,4)、M2(2,5)、M2(3,5)、M2(1,6)、M2(2,6)、M2(3,6)を含む領域が、対象物領域として抽出される。このように、各マスク領域についてパターンマッチングを行うことにより、対象物領域の局所的な相関度のレベルが反映されて、対象物領域が精度良く抽出される。
なお、図21(a)では、2値化対象物A1の上下左右に格子状にマスク領域M1(0,0)〜M1(5,8)を設定したが、対象物が限定される場合には、対象物の形状に合わせてマスク領域を設定することで、効率良く周辺画像領域を抽出することができる。
次に、STEP203で、画像処理ユニット1は、抽出した対象物領域において、第1実施形態と同様に、脚検出領域を設定する。そして、画像処理ユニット1は、脚検出領域のうちの最も左にあるマスク領域の重心位置の点と、最も右にあるマスク領域の重心位置の点を、それぞれ端点として抽出する。図21(b)では、M2(1,6)とM2(3,6)の重心位置の点が対象物の端点として抽出される。
これにより、STEP204で、画像処理ユニット1は、抽出された2つの端点の横方向の差から、幅wを算出する。他の作動は第6実施形態と同様である。
以上の処理により、本実施形態によれば、第6実施形態と同様に、車両周辺を撮像した画像により抽出された対象物の動きの周期性を適切に判断し、対象物(歩行者等の生体)の種別を精度良く判定することができる。これにより、自車両10の運転者に情報の提示等を適切に行うことができる。
なお、第1〜第5実施形態において、本実施形態における相関演算を用いて対象物の領域及び端点を抽出する処理を適用することも可能である。すなわち、例えば、第1〜第5実施形態において、図3のSTEP11〜14における対象物の距離を算出する処理はそのまま(2つの赤外線カメラ2R,2Lの撮像画像の視差を用いる)とし、図6のSTEP201における対象物領域を抽出する処理、及びSTEP203における端点を抽出する処理のみに、本実施形態のSTEP201,203と同様の、相関演算を用いて対象物の領域及び端点を抽出する処理を適用する。
[第8実施形態]
次に、本発明の第8実施形態について、図22を参照して説明する。図22は、本実施形態における対象物種別判定装置の機能ブロック図である。なお、本実施形態は、第1実施形態において、画像処理ユニット1に、2つの赤外線カメラ2R,2Lの代わりに、1つの赤外線カメラ2を備えると共に、車両10の前方の対象物の車両10に対する距離を検知するレーダ20を備えるものである。以下の説明では、第1実施形態と同一の構成については、第1実施形態と同一の参照符号を用いて説明を省略する。
本実施形態において、赤外線カメラ2は、自車両10の前方を撮像するために、自車両10の前部に取り付けられている。また、レーダ20は、例えばミリ波レーダ等であり、自車両10の前部に取り付けられている。なお、赤外線カメラ2は、本発明の撮像手段に相当する。
そして、画像処理ユニット1は、レーダ20による検知結果を用いて、対象物及び画像領域の車両10に対する距離を算出する。具体的には、画像処理ユニット1は、赤外線カメラ2で撮像された画像から抽出された対象物と、レーダ20で検知された対象物とを、赤外線カメラ2及びレーダ20の取り付け位置、赤外線カメラ2の撮像領域、及びレーダ20の検知領域の位置関係に基づいて対応付ける。これにより、画像処理ユニット1は、レーダ20により検知される対象物の距離から、対象物及び画像領域の車両10に対する距離を算出する。他の構成は第1実施形態と同じである。
次に、本実施形態の対象物種別判定装置の作動を説明する。なお、本実施形態における対象物種別判定装置の対象物検出・注意喚起動作は、第1実施形態と、図3のSTEP11〜14における対象物の距離を算出する処理、及び図6のSTEP201における画像領域の距離を算出する処理のみが相違するものである。
本実施形態では、画像処理ユニット1は、上述のようなSTEP11〜14を実行する代わりに、レーダ20による検知結果を用いて自車両10と対象物との距離zを算出する。具体的には、まず、画像処理ユニット1は、レーダ20から検知結果を取得する。次に、画像処理ユニット1は、レーダ20による検知結果と、STEP7で抽出された対象物とを対応付け、自車両10と対象物との距離zを算出する。そして、この算出された距離zを用いて、画像処理ユニット1は、第1実施形態と同様に、画像内の座標(x,y)及び距離zを、実空間座標に変換して、各対象物の実空間上での位置(自車両10に対する相対位置)である実空間位置を算出する(STEP15)。また、この距離zが、図6の生体判定処理において、対象物の距離として用いられる。さらに、生体判定処理において、レーダ20による検知結果を用いて、対象物の距離と同様に、画像領域の距離が算出される。以上説明した以外の作動は第1実施形態と同じである。
以上の処理により、本実施形態によれば、第1実施形態と同様に、車両周辺を撮像した画像により抽出された対象物の動きの周期性を適切に判断し、対象物(歩行者等の生体)の種別を精度良く判定することができる。これにより、自車両10の運転者に情報の提示等を適切に行うことができる。
なお、本実施形態の生体判定処理において、STEP201の対象物領域を抽出する処理の代わりに、第6実施形態に示した、1つの赤外線カメラ2の撮像画像から相関演算を用いて対象物の領域を抽出する処理を用いるものとしてもよい。
また、本実施形態の生体判定処理において、STEP201の対象物領域を抽出する処理及びSTEP203の対象物の端点を抽出する処理の代わりに、第7実施形態に示した、1つの赤外線カメラ2の撮像画像から相関演算を用いて対象物の領域及び端点を抽出する処理を用いるものとしてもよい。
また、本実施形態は、第1実施形態において、1つの赤外線カメラ2およびレーダ20を備えるものとしたが、第2〜第5実施形態において、1つの赤外線カメラ2およびレーダ20を備えるものとしてもよい。
また、第1〜第8実施形態において、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なCCDカメラ等を使用してもよい。ただし、赤外線カメラを用いることにより、歩行者や走行中の車両等の抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現可能とすることができる。
また、第1〜第8実施形態において、対象物種別判定装置は、車両10に搭載されるものとしたが、例えば車両以外の移動体等に搭載されるものとしてもよい。
1…画像処理ユニット、2,2R,2L…赤外線カメラ(撮像手段)、10…車両、11…対象物領域抽出手段、12…対象物端点抽出手段、13…対象物周期性判断手段、14…生体判定手段、15…第1の特定部位抽出手段、16…第2の特定部位抽出手段、20…レーダ。