JP5077017B2 - 運転支援装置及び歩行者検出装置 - Google Patents

Description

この発明は、運転支援装置及び歩行者検出装置に係り、特に、自車両の前方を撮像した画像から歩行者又は自転車を検出する運転支援装置及び歩行者検出装置に関する。

従来、各センサによって検出されたデータを取り込み、死角及びバリアを検出し、飛び出し歩行者との衝突確率を推定し、衝突確率を基準値以下に保つ適正車速を設定して提示するよう制御する潜在危険度推定装置が知られている（特許文献１）。

また、自車前方の状況を赤外線カメラで撮影し、撮影された画像に基づいて歩行者の位置を検出し、対向車の有無を検出してその位置を求め、これらの検出結果に基づいて、ランプユニットのマーキング光が歩行者に照射されるようにするとともに、赤外フィルタを移動させて対向車の運転者にマーキング光が照射されないように照射領域を制限する夜間移動体報知装置が知られている（特許文献２）。
特開２００７−２５７３３８号公報 特開２００６−１８５４１０号公報

しかしながら、上記の特許文献１に記載の技術では、歩行者の飛び出しが生じる危険のある死角領域の大きさを推定することで、間接的に歩行者の飛び出しによる衝突事故の生じる危険度を推定しているが、歩行者を直接検出していないため、精度よく危険度を算出することができない、という問題がある。

また、上記の特許文献２に記載の技術では、画像で検出した歩行者に対してマーキング光を照射するが、画像の検出範囲外の歩行者は検出することができない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、画像の撮像範囲外に歩行者又は自転車が存在する場合であっても、精度よく衝突危険度を算出して、適切に運転支援を行なうことができる運転支援装置を提供することを第１の目的とする。

また、短い処理時間で、歩行者又は自転車を検出することができる歩行者検出装置を提供することを第２の目的とする。

上記の目的を達成するために第１の発明に係る運転支援装置は、前方を照射する照明装置を備えた自車両の前方を撮像する撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方を検出する歩行者検出手段と、前記歩行者検出手段によって歩行者及び自転車が検出されなかった場合、前記撮像された画像から、前記歩行者及び自転車の少なくとも一方の影を検出する影検出手段と、前記歩行者検出手段によって検出された前記歩行者及び自転車の少なくとも一方、又は前記影検出手段によって検出された前記歩行者及び自転車の少なくとも一方の影に基づいて、前記歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する危険度算出手段と、前記危険度算出手段によって算出された衝突危険度に基づいて、運転支援を行なう運転支援手段とを含んで構成されている。

第１の発明に係る運転支援装置によれば、撮影手段によって、前方を照射する照明装置を備えた自車両の前方を撮像し、歩行者検出手段によって、撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方を検出する。また、影検出手段によって、歩行者検出手段によって歩行者及び自転車が検出されなかった場合、撮像された画像から、歩行者及び自転車の少なくとも一方の影を検出する。

そして、危険度算出手段によって、歩行者検出手段によって検出された歩行者及び自転車の少なくとも一方、又は影検出手段によって検出された歩行者及び自転車の少なくとも一方の影に基づいて、歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する。運転支援手段によって、危険度算出手段によって算出された衝突危険度に基づいて、運転支援を行なう。

このように、自車両の前方を撮像した画像から、歩行者及び自転車の少なくとも一方が検出されなかった場合に、歩行者及び自転車の少なくとも一方の影を検出して、衝突危険度を算出するため、画像の撮像範囲外に歩行者又は自転車が存在する場合であっても、精度よく衝突危険度を算出して、適切に運転支援を行なうことができる。

第２の発明に係る運転支援装置は、前方を照射する照明装置を備えた自車両の前方を撮像する撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方の影を検出する影検出手段と、前記影検出手段によって前記歩行者及び自転車の少なくとも一方の影が検出されたとき、前記撮像された画像の、前記影検出手段によって検出された歩行者又は自転車の影の周辺から、前記歩行者及び自転車の少なくとも一方を検出する歩行者検出手段と、前記歩行者検出手段によって前記歩行者及び自転車の少なくとも一方が検出されたとき、前記歩行者検出手段によって検出された前記歩行者及び自転車の少なくとも一方に基づいて、前記歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出し、前記歩行者検出手段によって歩行者及び自転車が検出されなかったとき、前記影検出手段によって検出された前記歩行者及び自転車の少なくとも一方の影に基づいて、前記歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する危険度算出手段と、前記危険度算出手段によって算出された衝突危険度に基づいて、運転支援を行なう運転支援手段とを含んで構成されている。

第２の発明に係る運転支援装置によれば、撮像手段によって、前方を照射する照明装置を備えた自車両の前方を撮像し、影検出手段によって、撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方の影を検出する。また、歩行者検出手段によって、影検出手段によって歩行者及び自転車の少なくとも一方の影が検出されたとき、撮像された画像の、影検出手段によって検出された歩行者及び自転車の少なくとも一方の影の周辺から、歩行者及び自転車の少なくとも一方を検出する。

そして、危険度算出手段によって、歩行者検出手段によって歩行者及び自転車の少なくとも一方が検出されたとき、歩行者検出手段によって検出された歩行者及び自転車の少なくとも一方に基づいて、歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出し、歩行者検出手段によって歩行者及び自転車が検出されなかったとき、影検出手段によって検出された歩行者及び自転車の少なくとも一方の影に基づいて、歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する。

そして、運転支援手段によって、危険度算出手段によって算出された衝突危険度に基づいて、運転支援を行なう。

このように、自車両の前方を撮像した画像から、歩行者及び自転車の少なくとも一方が検出されなかった場合に、検出された歩行者及び自転車の少なくとも一方の影に基づいて、衝突危険度を算出するため、画像の撮像範囲外に歩行者又は自転車が存在する場合であっても、精度よく衝突危険度を算出して、適切に運転支援を行なうことができる。

第３の発明に係る歩行者検出装置は、前方を照射する照明装置を備えた自車両の前方を撮像する撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方の影を検出する影検出手段と、前記影検出手段によって前記歩行者及び自転車の少なくとも一方の影が検出されたとき、前記撮像された画像の、前記影検出手段によって検出された前記歩行者及び自転車の少なくとも一方の影の周辺から、前記歩行者及び自転車の少なくとも一方を検出する歩行者検出手段とを含んで構成されている。

第３の発明に係る歩行者検出装置によれば、撮像手段によって、前方を照射する照明装置を備えた自車両の前方を撮像し、影検出手段によって、撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方の影を検出する。

そして、歩行者検出手段によって、影検出手段によって歩行者及び自転車の少なくとも一方の影が検出されたとき、撮像された画像の、影検出手段によって検出された歩行者及び自転車の少なくとも一方の影の周辺から、歩行者及び自転車の少なくとも一方を検出する。

このように、歩行者及び自転車の少なくとも一方の影を検出し、検出された影の周辺から、歩行者及び自転車の少なくとも一方を検出することにより、検出範囲を限定することができるため、短い処理時間で、歩行者又は自転車を検出することができる。

第３の発明に係る歩行者検出手段は、撮像された画像の、影検出手段によって検出された歩行者及び自転車の少なくとも一方の影の周辺に、検出候補領域を設定し、設定した検出候補領域から、歩行者及び自転車の少なくとも一方を検出することができる。これによって、検出範囲を検出候補領域に限定することができる。

第３の発明に係る歩行者検出装置は、影検出手段によって検出された歩行者及び自転車の少なくとも一方の影に基づいて、歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する危険度算出手段を更に含み、歩行者検出手段は、危険度算出手段によって算出された衝突危険度が所定値以上であるときに、撮像された画像の、影検出手段によって検出された歩行者及び自転車の少なくとも一方の影の周辺から、歩行者及び自転車の少なくとも一方を検出することができる。

第４の発明に係る運転支援装置は、上記の危険度算出手段を含む第３の発明に歩行者検出装置と、歩行者検出装置によって歩行者及び自転車の少なくとも一方が検出されたときに、運転支援を行なう運転支援手段とを含んで構成されている。

第４の発明に係る運転支援装置によれば、撮像手段によって、前方を照射する照明装置を備えた自車両の前方を撮像し、影検出手段によって、撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方の影を検出する。また、危険度算出手段によって、影検出手段によって検出された歩行者及び自転車の少なくとも一方の影に基づいて、歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する。

そして、歩行者検出手段によって、影検出手段によって歩行者及び自転車の少なくとも一方の影が検出されたときであって、危険度算出手段によって算出された衝突危険度が所定値以上であるときに、撮像された画像の、影検出手段によって検出された歩行者及び自転車の少なくとも一方の影の周辺から、歩行者及び自転車の少なくとも一方を検出する。

そして、運転支援手段によって、歩行者及び自転車の少なくとも一方が検出されたときに、運転支援を行なう。

このように、検出された歩行者及び自転車の少なくとも一方の影に基づく衝突危険度が高い場合に、自車両の前方を撮像した画像から、歩行者及び自転車の少なくとも一方が検出されると、運転支援を行なうため、衝突する危険が高い場合に、適切に運転支援を行なうことができる。

以上説明したように、本発明の運転支援装置によれば、自車両の前方を撮像した画像から検出された歩行者及び自転車の少なくとも一方、又は検出された歩行者及び自転車の少なくとも一方の影に基づいて、衝突危険度を算出するため、画像の撮像範囲外に歩行者又は自転車が存在する場合であっても、精度よく衝突危険度を算出して、適切に運転支援を行なうことができる、という効果が得られる。

本発明の歩行者検出装置によれば、歩行者及び自転車の少なくとも一方の影を検出し、検出された影の周辺から、歩行者及び自転車の少なくとも一方を検出することにより、検出範囲を限定することができるため、短い処理時間で、歩行者又は自転車を検出することができる、という効果が得られる。

以下、図面を参照して、本発明の好適な実施の形態について説明する。なお、本実施の形態では、車両に搭載された運転支援装置に本発明を適用した場合について説明する。

図１に示すように、第１の実施の形態に係る運転支援装置１０は、自車両に搭載された近赤外光を受光するカメラで構成され、かつ、自車両の前方の画像を撮像する近赤外カメラ１２と、自車両の前方に近赤外光を照射し、近赤外カメラ１２による撮像時に、照射する近赤外光を点滅させる近赤外ランプ１４と、近赤外カメラ１２によって撮像された画像に基づいて、出力部１８によって、歩行者との衝突の危険性を警報するコンピュータ１６とを備えている。

近赤外カメラ１２は、近赤外ランプ１４の点滅によって、近赤外ランプ１４から近赤外光が照射されているときの前方の画像を撮像すると共に、近赤外ランプ１４から近赤外光が照射されていないときの前方の画像を撮像する。

出力部１８は、例えばスピーカから構成され、警報メッセージをドライバに対して音声出力する。

コンピュータ１６は、ＣＰＵと、ＲＡＭと、後述する運転支援処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ１６は、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像から、自車両の前方に存在する歩行者を検出する歩行者検出部２０と、歩行者が検出されなかったときに、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像、及び近赤外光が照射されていないときに近赤外カメラ１２によって撮像された画像に基づいて、歩行者の影を検出する影検出部２２と、歩行者検出部２０によって検出された歩行者、又は影検出部２２によって検出された歩行者の影に基づいて、歩行者と衝突する衝突危険度を算出する危険度算出部２４と、算出された衝突危険度に基づいて、出力部１８によって警報メッセージを音声出力させる警報制御部２６とを備えている。

歩行者検出部２０は、既知のＳＶＭ等の学習型パターン識別手法を用いて、図２に示すような、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像から、歩行者が存在する領域を検出する。

影検出部２２は、歩行者検出部２０によって撮像画像から歩行者が検出されなかったときに、以下に説明するように、近赤外カメラ１２によって撮像された画像から、歩行者の影を検出する。

まず、図３（Ａ）に示すような、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像と、図３（Ｂ）に示すような、近赤外光が照射されていないときに近赤外カメラ１２によって撮像された画像とから、図３（Ｃ）に示すような輝度値の差分画像を生成する。生成された輝度値の差分画像によって、近赤外カメラ１２の死角に存在する歩行者の影が強調される。

そして、図３（Ｄ）に示すように、既知のエッジ検出手法を用いて、輝度値の差分画像から、エッジを検出し、検出されたエッジに基づいて、歩行者の影を検出する。

ここで、本実施の形態の原理について説明する。例えば、夜間の歩行者注意喚起用の近赤外カメラは、遠方１５０ｍの距離の歩行者を撮像するため、画角が１６度程度と狭い。そのため、図４に示すように、自車両が歩行者の側方を通過する際、自車両の横１〜２ｍ離れた位置に存在する歩行者は、自車両と歩行者との距離が１０ｍ〜２０ｍの距離に接近すると、近赤外カメラの撮像範囲外にはずれてしまう。画像に対する歩行者検出により歩行者を追跡していた場合には、自車両と歩行者とが近距離になると追跡が終了してしまう、という問題があった。また、近赤外ランプの照射範囲は、近赤外カメラの撮像範囲より広いため、近赤外カメラの死角に存在する歩行者に、近赤外光を照射することができ、これによって、歩行者の影が形成される。そこで、本実施の形態では、近赤外カメラの撮像画像から歩行者自体が検出できなくても、歩行者の影部分を継続して検出する。これによって、歩行者が近赤外カメラの死角に存在する場合でも歩行者を追跡し続けることができる。

危険度算出部２４は、歩行者検出部２０によって撮像画像から歩行者が検出された場合には、以下に説明するように、車速センサ（図示省略）から取得した自車両の車速と、撮像画像からの歩行者の検出結果とに基づいて、歩行者との衝突危険度を算出する。

まず、検出された歩行者と自車両との位置関係、及び検出された歩行者と周囲の物標との位置関係から、歩行者の横断意図を推定する。例えば、画像に対するパターン識別で判定される歩行者の姿勢（自車両の走行車線の車線方向に対する歩行者の体の向き）、及びナビ地図情報または路車間通信により得られる周辺の横断歩道、信号状態、道路周辺のバス停、駅、学校、商店、会社の存在を表わす情報と現在時刻とに基づいて、歩行者の横断意図を推定する。

歩行者の姿勢は、歩行者を検出した領域に対して、さらにパターン識別処理を行うことにより検出される。自車両からみて背面向き及び正面向きの歩行者を表わす画像と、横向きの歩行者を表わす画像とに分けて記憶した画像のデータベースを各々生成しておき、各々のデータベースを既知のパターン識別手法で学習して、歩行者の姿勢を判定できる識別器を構成しておく。そして、識別器を用いてパターン識別処理を行えばよい。

歩行者が横向きであると検出された場合は、検出された歩行者が飛び出す可能性が高いと判定し、背面及び正面向きであると検出された場合は、検出された歩行者が飛び出す可能性が低いと判定される。

また、画像処理で歩行者を検出した場合の歩行者検出領域の大きさ（身長）や歩行者の歩幅から、歩行者の年齢を推定し、歩行者が子供または老齢であると推定される場合は、検出された歩行者が飛び出す確率が高いと判定される。

また、ナビ地図情報が得られる場合には、歩行者の姿勢が横向き（横断方向）であると判定されると、歩行者の検出位置を基準に、以下の判定も行う。

ナビ地図情報により、歩行者が検出された位置の道路の反対側に、バス停、駅、学校、又は会社があり、現在時刻が通勤通学時間帯であると判断される場合は、検出された歩行者が飛び出す可能性が高いと判定される。

また、ナビ地図情報により，歩行者の検出された位置の道路の反対側に商店があり、現在時刻が、買い物の時間帯であると判断される場合は、検出された歩行者が飛び出す可能性が高いと判定される。

また、最近傍の横断歩道の位置を、ナビ地図情報から得て、横断歩道の位置と歩行者との間隔を算出し、算出された間隔が設定値以上である場合、検出された歩行者は横断歩道外を横断するために飛び出す可能性が高いと判定される。

上記の各判定項目の寄与度を、予め表に設定しておき、判定条件が満たされる判定項目の寄与度の総和により、歩行者の横断意図の大きさを推定する。このとき、歩行者の姿勢に対する寄与度は、他の寄与度よりも大きくなるように設定しておく。各寄与度は、道路環境の実測に基づいて設定するか、または、優良なドライバの知見に基づいて設定しておけばよい。

上記のように推定された歩行者の横断意図の大きさに基づいて、検出された歩行者の横断確率ｐｃと並進確率ｐｔとが設定される。このとき、ｐｃ＋ｐｔ＝１となるように設定する。

次に、以下に説明するように、歩行者の横断意図推定の結果から、検出された歩行者が、自車両が走行している車線上に侵入して、自車両と衝突する可能性を予測し、歩行者と自車両との衝突危険度を算出する。

まず、歩行者が横断方向に移動している場合の歩行者との衝突確率を推定する。ここでは、歩行者の横断意図の推定処理で推定した横断確率で、歩行者が横断するものと仮定する。この仮定を用いて、物理的衝突としての衝突確率を計算する。このとき、車両前方の飛び出し歩行者との衝突確率は、車両と歩行者との相対位置及び相対速度に依存する。

ここで以下の変数を定義する。
ｖｃ：自車両の速度
Ｘ０：歩行者検出時の歩行者横断方向の自車両に対する歩行者の相対位置
Ｚ０：歩行者検出時の自車両進行方向の自車両と歩行者との相対距離
ｖｐ：歩行者の移動速度（一般的には１．２ｍ／ｓ）
ｔｄ：歩行者の横断開始の遅れ時間
ｔｃ：自車両が歩行者に最接近する時刻（歩行者脇を自車両が通過する時刻、あるいは衝突する時刻）
Ｘｐ：時刻ｔｃにおける歩行者横断方向の自車両に対する歩行者の相対位置
ｗ：自車両の横幅
ｐｃ：歩行者が横断する確率
Δｖｐ：歩行者の横断速度の標準偏差
Δｔｄ：歩行者の横断開始の遅れ時間の標準偏差

このとき、時刻ｔｃにおける歩行者横断方向の自車両に対する歩行者の相対位置Ｘｐと自車両速度ｖｃとは、以下の（１）式で計算される。
Ｘｐ＝Ｘ０＋ｖｐ・（Ｚ０／ｖｃ−ｔｄ） ・・・（１）

時刻ｔｃにおいて、自車両の前面と歩行者とが重なり合う状況、すなわち、以下の（２）式で表される条件が満たされる場合に、衝突が発生する。
−ｗ／２＜Ｘｐ＜ｗ／２ ・・・（２）

なお、上記の（２）式の条件では、歩行者の大きさが自動車の大きさに比べて無視できるものと仮定したが、余裕を持って計算する場合には、ｗに設定値（歩行者幅相当量０．４ｍ〜歩行者と車との安全な距離余裕１ｍ程度の値）を加算すればよい。

そして、以下の（３）式に従って、時刻ｔｃにおける歩行者位置Ｘｐの標準偏差σ（Ｘｐ）を計算する。
σ（Ｘｐ）＝［（（Ｚ０／ｖｃ−ｔｄ)・Δｖｐ）^２＋（ｖｐ・Δｔｄ）^２］^１／２
・・・（３）
上記のように、時刻ｔｃにおける歩行者の予測位置を上記（２）式で計算し、その標準偏差を（３）式で計算する。

歩行者と自車両との衝突確率ｐは、図５に示す面積で表わされ、以下の（４）式で表される。

ただし、Ｎ（μ，σ^２)は、正規分布の確率密度関数を表わし、μは平均を表わし、σ^２は分散を表わしている。

次に、歩行者が道路に対して並進方向に移動している場合、歩行者が車道に並進して移動すると仮定して、以下のように、歩行者が並進方向に移動している場合の歩行者との衝突確率を算出する。

まず、歩行者の並進移動を仮定した場合に、自車両が歩行者の位置を通過する時刻ｔｃと、通過時の位置までの並進方向の距離Ｚｐとを求める。

並進方向の歩行者は、既に移動速度ｖｐで歩いているものとし、歩行者の移動速度ｖｐはセンシングによる観測により既知とする。

このとき、通過時刻ｔｃは以下の（５）式で表され、通過時刻ｔｃにおける歩行者の並進方向の位置Ｚｐは、以下の（６）式で表される。
ｔｃ＝Ｚｐ／ｖｃ ・・・（５）
Ｚｐ＝Ｚ０・ｖｃ／（ｖｃ−ｖｐ） ・・・（６）

また、歩行者の並進方向の位置Ｚｐにおけるバリアの車道側縁の位置を、撮像画像に対するバリア検出処理によって求め、バリアが検出された場合に、検出されたバリアの車道側縁の位置を、時刻ｔｃにおける歩行者の横断方向の位置Ｘｐとする。

そして、上記（４）式により、衝突確率を計算する。このとき、σ（Ｘｐ）は、歩行者の横断方向のふらつき量の標準偏差であり、歩行者の観測結果より設定すればよい。

最終的な歩行者との衝突確率Ｐは、以下の（７）式によって求められる。
Ｐ＝ｐｃ・ｐｃｃ＋ｐｔ・ｐｔｃ ・・・（７）

ただし、ｐｃは、歩行者の横断確率、ｐｔは、歩行者の並進確率、ｐｃｃは、歩行者が横断している場合の歩行者との衝突確率、ｐｔｃは、歩行者が並進方向に移動している場合の歩行者との衝突確率を表わしている。

そして、上記（７）式で算出された衝突確率Ｐを、歩行者との衝突危険度とする。

なお、衝突確率に重みを積算して衝突危険度の推定値としてもよい。例えば、重みとして、歩行者の被害度が考えられる。特に、歩行者事故においては車速ｖｃにより歩行者の受ける被害度が変わり、車速が低速であればあるほど被害度が小さくなる。そこで、簡易的には、車両の運動エネルギーに比例する車速の２乗の項を衝突確率に積算すればよいため、重み付き衝突確率Ｄを以下の（８）式で計算することができる。

ただし、ｖｓは基準とする速度で、国内の一般道路であれば時速６０ｋｍに設定すればよい。また、被害度による重みは、実際の事故統計データから衝突時の車速と被害度との関係を統計的に調査して設定すればよい。

危険度算出部２４は、影検出部２２によって撮像画像から歩行者の影が検出された場合には、以下に説明するように、車速センサ（図示省略）から取得した自車両の車速と、撮像画像からの歩行者の検出結果とに基づいて、歩行者との衝突危険度を算出する。なお、図６に示すように、近赤外カメラ１２の撮像範囲外に歩行者が存在する場合について説明する。

まず、歩行者を垂直の立体で近似すると、ＸＺ車両座標（Ｘ軸方向を横断方向とし、Ｚ軸方向を自車両の進行方向、すなわち、並進方向とする座標系）上の歩行者の影の稜線は、以下の（９）式の直線で表される。
Ｘ＝Ｌ＋（Ｘ０−Ｌ）／Ｚ０＊Ｚ ・・・（９）

ただし、Ｘ０は、衝突危険度予測時の車両と歩行者との横断方向の相対位置であり、Ｚ０は、衝突危険度予測時の車両と歩行者との車両進行方向の相対位置であり、Ｌは、カメラと投光器との間隔である。

路面が平面であることを仮定すると、図７に示すように、歩行者の影の稜線をｘｙカメラ画像座標（ｘ軸方向を水平方向とし、ｙ軸方向を高さ方向とする座標系）上へ投影して、以下の（１０）式を得ることができる。
ｘ＝（Ｌ／ｈ）ｙ＋ｆ（Ｘ０−Ｌ）／Ｚ０ ・・・（１０）

ただし、消失点をｘｙカメラ画像座標の原点とし、ｈは、カメラ高さであり、ｆは、焦点距離である。

また、この歩行者の影の稜線の延長線と水平線ｙ＝０との交点ｘｃは、以下の（１１）式によって求められる。
ｘｃ＝ｆ（Ｘ０−Ｌ）／Ｚ０ ・・・（１１）

ｘｃを時間微分すると、以下の（１２）式が得られる。
ｄ（ｘｃ）／ｄｔ＝ｆ［−（Ｘ０−Ｌ）ｖｃ＋ｖｐ・Ｚ０］／Ｚ０^２ ・・・（１２）

ただし、ｖｃは自車両の車速、ｖｐは歩行者が横断方向に移動する速度である。

また、歩行者が自車両の右先端に衝突する場合は、以下の（１３）式が成立する。
［（Ｘ０−Ｌ）ｖｃ−ｖｐ・Ｚ０］＝０ ・・・（１３）

ここで、上記（１３）式は、衝突する危険がある対象は、相対角度が変わらないように見えることを示している。

上記（１２）式、（１３）式から、自車両と歩行者とが衝突する場合は、以下の（１４）式が成立する。
ｄ（ｘｃ）／ｄｔ＝ｆ［−（Ｘ０−Ｌ）ｖｃ＋ｖｐ・Ｚ０］／Ｚ０^２＝０
・・・（１４）

上記（１４）式より、撮像画像上で検出した影の稜線の延長線と水平線とが交わる点ｘｃが静止して観測される場合は、衝突する危険度が高く、歩行者が車両に接近してきていることがわかる。従って、撮像画像上で検出した影の稜線の延長線と水平線とが交わる点ｘｃが静止して観測される場合に、高い衝突危険度が算出される。

また、警報制御部２６は、危険度算出部２４によって算出された衝突危険度が、閾値以上であると、出力部１８によって、警報メッセージを音声出力させて、ドライバに、歩行者と衝突する危険性があることを報知する。

次に、第１の実施の形態に係る運転支援装置１０の作用について説明する。まず、近赤外ランプ１４を点滅させながら近赤外光を前方に照射して、近赤外カメラ１２によって、近赤外ランプ１４から近赤外光が照射されているときの自車両の前方を撮像し、そして、近赤外ランプ１４から近赤外光が照射されていないときの自車両の前方を撮像する。

そして、コンピュータ１６において、図８に示す運転支援処理ルーチンが実行される。

まず、ステップ１００において、近赤外カメラ１２から、近赤外光が照射されているときの撮像画像と、近赤外光が照射されていないときの撮像画像との２枚の撮像画像を取得する。

そして、ステップ１０２において、上記ステップ１００で取得した近赤外光が照射されているときの撮像画像から、パターン識別手法を用いて歩行者を検出する。ステップ１０４では、上記ステップ１０２で撮像画像から歩行者が検出されたか否かを判定し、歩行者が検出された場合には、ステップ１０６において、上記で説明したように、検出した歩行者と衝突する衝突危険度を算出して、ステップ１１６へ移行する。

一方、上記ステップ１０４で、撮像画像から歩行者が検出されなかったと判定された場合には、ステップ１０８において、上記ステップ１００で取得した２枚の撮像画像から、輝度値の差分画像を生成する。そして、ステップ１１０において、上記ステップ１０８で生成された差分画像に対してエッジ検出を行ない、過去に検出した歩行者や影の近傍から、影を表わすエッジを抽出して、歩行者の影を検出する。

次のステップ１１２では、上記ステップ１１０で歩行者の影が検出されたか否かを判定する。差分画像から歩行者の影を表わすエッジが検出されなかった場合には、ステップ１００へ戻るが、一方、歩行者の影を表わすエッジが検出された場合には、ステップ１１４へ移行する。ステップ１１４では、上記で説明したように、検出された歩行者の影に基づいて、歩行者と衝突する衝突危険度を算出して、ステップ１１６へ移行する。

ステップ１１６では、上記ステップ１０６又はステップ１１４で算出された衝突危険度が、閾値以上であるか否かを判定し、衝突危険度が、閾値未満である場合には、歩行者と衝突する危険性が低いと判断し、ステップ１００へ戻る。一方、上記ステップ１１６で、衝突危険度が、閾値以上である場合には、歩行者と衝突する危険性が高いと判断し、ステップ１１８において、出力部１８によって、警報メッセージを音声出力させて、ステップ１００へ戻る。

以上説明したように、第１の実施の形態に係る運転支援装置によれば、自車両の前方を撮像した画像から、歩行者が検出されなかった場合に、歩行者の影を検出して、衝突危険度を算出するため、画像の撮像範囲外に歩行者が存在する場合であっても、精度よく衝突危険度を算出して、ドライバに対して適切に警報を出力することができる。

また、歩行者が近赤外カメラの死角の領域外へ位置して、撮像画像から歩行者が検出されなくなっても、歩行者の影を追跡しつづけることで、死角の歩行者の存在を検出して衝突危険度を推定することができる。また、歩行者側方を自車両が通過する際の追跡性能を向上させることができる。

次に、第２の実施の形態に係る運転支援装置について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して、説明を省略する。

第２の実施の形態では、歩行者の影を検出し、検出された歩行者の影の周辺から、歩行者を検出するようにしている点が、第１の実施の形態と異なっている。

図９に示すように、第２の実施の形態に係る運転支援装置２１０のコンピュータ２１６は、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像、及び近赤外光が照射されていないときに近赤外カメラ１２によって撮像された画像に基づいて、歩行者の影を検出する影検出部２２０と、歩行者の影が検出されたときに、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像から、自車両の前方に存在する歩行者を検出する歩行者検出部２２２と、影検出部２２０によって検出された歩行者の影、又は歩行者検出部２２２によって検出された歩行者に基づいて、歩行者と衝突する衝突危険度を算出する危険度算出部２２４と、警報制御部２６とを備えている。

影検出部２２０は、第１の実施の形態と同様に、図１０（Ａ）に示すような、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像と、図１０（Ｂ）に示すような、近赤外光が照射されていないときに近赤外カメラ１２によって撮像された画像とから、図１０（Ｃ）に示すような輝度値の差分画像を生成し、輝度値の差分画像から、図１０（Ｄ）に示すように、エッジを検出し、検出されたエッジに基づいて、歩行者の影を検出する。

歩行者検出部２２２は、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像において、上記の図１０（Ｄ）に示すように、影検出部２２０によって検出された歩行者の影の周辺に、歩行者検出候補領域を設定し、既知のＳＶＭ等の学習型パターン識別手法を用いて、設定した歩行者検出候補領域から、歩行者が存在する領域を検出する。

危険度算出部２２４は、歩行者検出部２２２によって撮像画像から歩行者が検出された場合には、第１の実施の形態で説明したように、検出された歩行者に基づいて、歩行者との衝突危険度を算出する。また、危険度算出部２２４は、影検出部２２０によって歩行者の影が検出され、歩行者検出部２２２によって歩行者が検出されなかった場合には、第１の実施の形態で説明したように、検出された歩行者の影に基づいて、歩行者との衝突危険度を算出する。

次に、第２の実施の形態に係る運転支援処理ルーチンについて、図１１を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ１００において、近赤外カメラ１２から、近赤外光が照射されているときの撮像画像と、近赤外光が照射されていないときの撮像画像との２枚の撮像画像を取得する。そして、次のステップ１０８において、上記ステップ１００で取得した２枚の撮像画像から、輝度値の差分画像を生成する。そして、ステップ２５０において、上記ステップ１０８で生成された差分画像に対してエッジ検出を行ない、影を表わすエッジを抽出して、歩行者の影を検出する。

次のステップ２５２では、上記ステップ２５０で、歩行者の影が検出されたか否かを判定し、差分画像から歩行者の影を表わすエッジが検出されなかった場合には、自車両の前方に歩行者がいないと判断し、ステップ１００へ戻る。一方、歩行者の影を表わすエッジが検出された場合には、ステップ２５４において、上記ステップ１００で取得した、近赤外光が照射されているときの撮像画像に対して、検出された歩行者の影の周辺に、歩行者検出候補領域を設定する。

そして、ステップ２５６において、近赤外光が照射されているときの撮像画像の歩行者検出候補領域から、パターン識別手法を用いて歩行者を検出する。ステップ２５８では、上記ステップ２５６で撮像画像から歩行者が検出されたか否かを判定し、歩行者が検出された場合には、ステップ１０６において、上記で説明したように、検出した歩行者と衝突する衝突危険度を算出して、ステップ１１６へ移行する。

一方、上記ステップ２５８で、撮像画像から歩行者が検出されなかったと判定された場合には、ステップ１１４において、上記で説明したように、検出された歩行者の影に基づいて、歩行者と衝突する衝突危険度を算出して、ステップ１１６へ移行する。

ステップ１１６では、上記ステップ１０６又はステップ１１４で算出された衝突危険度が、閾値以上であるか否かを判定し、衝突危険度が、閾値未満である場合には、ステップ１００へ戻る。一方、上記ステップ１１６で、衝突危険度が、閾値以上である場合には、ステップ１１８において、出力部１８によって、警報メッセージを音声出力させて、ステップ１００へ戻る。

以上説明したように、第２の実施の形態に係る運転支援装置によれば、自車両の前方を撮像した画像から、歩行者が検出されなかった場合に、撮像した画像から検出された歩行者の影に基づいて、衝突危険度を算出するため、近赤外カメラの撮像範囲外に歩行者が存在する場合であっても、精度よく衝突危険度を算出して、ドライバに対して適切に警報を出力することができる。

また、歩行者の影を検出し、検出された影の周辺に設定された検出候補領域から、歩行者を検出することにより、検出範囲を限定することができるため、短い処理時間で、歩行者を検出することができる。

また、２枚の撮像画像の差分画像から、影の出現を検出し、歩行者の存在を予め推定することにより、夜間の飛び出し歩行者による潜在危険度を推定して、ドライバに警報することができ、事故を予防することができる。

次に、第３の実施の形態に係る運転支援装置について説明する。なお、第１の実施の形態及び第２の実施の形態と同様の構成となる部分については、同一符号を付して、説明を省略する。

第３の実施の形態では、まず歩行者の影を検出し、検出された歩行者の影に基づいて算出される衝突危険度が高い場合に、歩行者の影の周辺から歩行者を検出するようにしている点が、第２の実施の形態と異なっている。

図１２に示すように、第３の実施の形態に係る運転支援装置３１０のコンピュータ３１６は、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像、及び近赤外光が照射されていないときに近赤外カメラ１２によって撮像された画像に基づいて、歩行者の影を検出する影検出部３２０と、影検出部３２０によって検出された歩行者の影に基づいて、歩行者と衝突する衝突危険度を算出する危険度算出部３２２と、歩行者の影が検出され、かつ、歩行者と衝突する危険度が大きいときに、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像から、自車両の前方に存在する歩行者を検出する歩行者検出部３２４と、歩行者検出部３２４によって歩行者が検出されたときに、出力部１８によって警報を出力させる警報制御部３２６とを備えている。

影検出部３２０は、上記図３（Ａ）に示すような、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像と、上記図３（Ｂ）に示すような、近赤外光が照射されていないときに近赤外カメラ１２によって撮像された画像とから、輝度値の差分画像を生成し、輝度値の差分画像の左端領域及び右端領域の各々から、エッジを検出し、検出されたエッジに基づいて、歩行者の影を検出する。

危険度算出部３２２は、影検出部３２０によって歩行者の影が検出された場合には、第１の実施の形態で説明したように、検出された歩行者の影に基づいて、歩行者との衝突危険度を算出する。

歩行者検出部３２４は、検出された歩行者の影に基づいて算出された歩行者との衝突危険度が閾値以上である場合、近赤外光が照射されたときに近赤外カメラ１２によって撮像された画像において、第２の実施の形態と同様に、検出された歩行者の影の周辺に、歩行者検出候補領域を設定し、既知のＳＶＭ等の学習型パターン識別手法を用いて、設定した歩行者検出候補領域から、歩行者が存在する領域を検出する。

警報制御部３２６は、算出された衝突危険度が閾値以上であって、かつ、歩行者が検出された場合に、出力部１８によって、警報メッセージを音声出力させて、ドライバに、歩行者と衝突する危険性があることを報知する。

ここで、本実施の形態の原理について説明する。上記図３（Ａ）に示すように、歩行者が自車両の前方に飛び出してくる場合には、まず、近赤外カメラの撮像範囲内に、歩行者の影だけが出現し、歩行者が飛び出してくると、近赤外カメラの撮像範囲に、歩行者が出現する。

そこで、本実施の形態では、撮像画像の左右端領域から、歩行者の影の出現を検出して、歩行者の存在を予め推定し、歩行者の影が検出された場合に、飛び出し歩行者と衝突する潜在危険度を推定する。推定された潜在危険度が高い場合に、撮像画像の左右端領域から歩行者を検出し、歩行者が検出されると、飛び出してきた歩行者と衝突する危険性が高いと判断して、ドライバに警報を報知する。

次に、第３の実施の形態に係る運転支援処理ルーチンについて、図１３を用いて説明する。なお、第１の実施の形態及び第２の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ１００において、近赤外光が照射されているときの撮像画像と、近赤外光が照射されていないときの撮像画像との２枚の撮像画像を取得し、次のステップ１０８において、取得した２枚の撮像画像から、輝度値の差分画像を生成する。そして、ステップ３５０において、上記ステップ１０８で生成された差分画像の左端領域及び右端領域の各々に対してエッジ検出を行ない、左右端領域から影を表わすエッジを抽出して、歩行者の影を検出する。

次のステップ２５２では、上記ステップ３５０で、歩行者の影が検出されたか否かを判定し、差分画像の左右端領域から歩行者の影を表わすエッジが検出されなかった場合には、近赤外カメラ１２の撮影範囲外から自車両の前方に飛び出してくる可能性がある歩行者が存在しないと判断し、ステップ１００へ戻る。一方、差分画像の左右端領域から歩行者の影を表わすエッジが検出された場合には、ステップ１１４において、上記で説明したように、検出された歩行者の影に基づいて、歩行者と衝突する衝突危険度を算出する。

そして、ステップ３５２において、上記ステップ１１４で算出された衝突危険度が、閾値以上であるか否かを判定し、衝突危険度が、閾値未満である場合には、ステップ１００へ戻る。一方、上記ステップ３５２で、衝突危険度が、閾値以上である場合には、ステップ２５４において、上記ステップ１００で取得した近赤外光が照射されているときの撮像画像に対して、検出された歩行者の影の周辺に、歩行者検出候補領域を設定する。

そして、ステップ２５６において、近赤外光が照射されているときの撮像画像の歩行者検出候補領域から、パターン識別手法を用いて歩行者を検出する。ステップ３５４では、上記ステップ２５６で撮像画像から歩行者が検出されたか否かを判定し、歩行者が検出されなかったと判定された場合には、近赤外カメラ１２の撮影範囲外に存在する歩行者が飛び出しこないと判断し、ステップ１００へ戻る。一方、上記ステップ３５４において、歩行者が検出されたと判定された場合には、近赤外カメラ１２の撮影範囲外に存在していた歩行者が自車両の前方に飛び出してきたと判断し、ステップ１１８において、出力部１８によって、警報メッセージを音声出力させて、ステップ１００へ戻る。

以上説明したように、第３の実施の形態に係る運転支援装置によれば、検出された歩行者の影に基づく衝突危険度が高い場合に、自車両の前方を撮像した画像から、歩行者が検出されると、警報を出力するため、歩行者と衝突する危険性が高い場合に、ドライバに対して適切に警報を出力することができる。

また、歩行者の影を検出し、検出された影の周辺に設定された検出候補領域から、歩行者を検出することにより、検出範囲を限定することができるため、短い処理時間で、歩行者を検出することができる。

また、２枚の撮像画像の差分画像の左右端領域から、影の出現を検出し、歩行者の存在を予め推定することにより、夜間の飛び出し歩行者による潜在危険度を推定することができる。

また、近赤外カメラで撮像した画像の左右端領域から影を検出し、影が検出できた場合には、検出候補領域を設定して、歩行者検出の計算リソースを検出候補領域に集中させることで、早く確実に飛び出し歩行者を検出することができる。

なお、上記の第１の実施の形態〜第３の実施の形態では、歩行者との衝突する衝突危険度が高いときに、警報メッセージを音声出力する場合を例に説明したが、これに限定されるものではなく、警報音や、振動、配光などで、歩行者と衝突する危険性をドライバに対して警報するようにしてもよい。また、歩行者との衝突する衝突危険度が高い場合に、歩行者との衝突を回避するように、運転介入制御を行うようにしてもよい。例えば、制動介入制御や操舵介入制御を行うようにしてもよい。

また、歩行者や歩行者の影を検出する場合を例に説明したが、これに限定されるものではなく、近赤外カメラで撮像された画像から、自転車や自転車の影を検出するようにしてもよい。この場合には、検出された自転車や自転車の影に基づいて、自転車との衝突危険度を算出して、衝突危険度に応じて警報出力するようにすればよい。また、近赤外カメラで撮像された画像から、歩行者と自転車とを検出すると共に、歩行者の影と自転車の影とを検出するようにしてもよい。この場合には、歩行者が検出された場合には、検出された歩行者や歩行者の影に基づいて、歩行者との衝突危険度を算出し、自転車が検出された場合には、検出された自転車や自転車の影に基づいて、自転車との衝突危険度を算出するようにすればよい。

また、撮像装置として近赤外カメラを用いた場合を例に説明したが、これに限定されるものではなく、可視光に感度を有する通常のカメラを用いてもよい。この場合には、照明装置として、可視光ランプを用いればよく、自車両に設けられているヘッドライトを用いてもよい。

本発明の第１の実施の形態に係る運転支援装置の構成を示す概略図である。 近赤外光が照射されたときに近赤外カメラによって撮像された画像を示すイメージ図である。 （Ａ）近赤外光が照射されたときに近赤外カメラによって撮像された画像を示すイメージ図、（Ｂ）近赤外光が照射されていないときに近赤外カメラによって撮像された画像を示すイメージ図、（Ｃ）輝度値の差分画像を示すイメージ図、及び（Ｄ）輝度値の差分画像のエッジ画像を示すイメージ図である。 第１の実施の形態の原理を説明するための図である。 歩行者と自車両との衝突確率の正規分布の確率密度関数を示すグラフである。 歩行者との衝突危険度の算出方法を説明するためのイメージ図である。 歩行者の影の稜線をｘｙカメラ画像座標上へ投影したときのイメージ図である。 本発明の第１の実施の形態に係る運転支援装置における運転支援処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態に係る運転支援装置の構成を示す概略図である。 （Ａ）近赤外光が照射されたときに近赤外カメラによって撮像された画像を示すイメージ図、（Ｂ）近赤外光が照射されていないときに近赤外カメラによって撮像された画像を示すイメージ図、（Ｃ）輝度値の差分画像を示すイメージ図、及び（Ｄ）輝度値の差分画像のエッジ画像を示すイメージ図である。 本発明の第２の実施の形態に係る運転支援装置における運転支援処理ルーチンの内容を示すフローチャートである。 本発明の第３の実施の形態に係る運転支援装置の構成を示す概略図である。 本発明の第３の実施の形態に係る運転支援装置における運転支援処理ルーチンの内容を示すフローチャートである。

符号の説明

１０、２１０、３１０ 運転支援装置
１２ 近赤外カメラ
１４ 近赤外ランプ
１６、２１６、３１６ コンピュータ
１８ 出力部
２０、２２２、３２４ 歩行者検出部
２２、２２０、３２０ 影検出部
２４、２２４、３２２ 危険度算出部
２６、３２６ 警報制御部

Claims (6)

1. 前方を照射する照明装置を備えた自車両の前方を撮像する撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方を検出する歩行者検出手段と、
   前記歩行者検出手段によって歩行者及び自転車が検出されなかった場合、前記撮像された画像から、前記歩行者及び自転車の少なくとも一方の影を検出する影検出手段と、
   前記歩行者検出手段によって検出された前記歩行者及び自転車の少なくとも一方、又は前記影検出手段によって検出された前記歩行者及び自転車の少なくとも一方の影に基づいて、前記歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する危険度算出手段と、
   前記危険度算出手段によって算出された衝突危険度に基づいて、運転支援を行なう運転支援手段と、
   を含む運転支援装置。
2. 前方を照射する照明装置を備えた自車両の前方を撮像する撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方の影を検出する影検出手段と、
   前記影検出手段によって前記歩行者及び自転車の少なくとも一方の影が検出されたとき、前記撮像された画像の、前記影検出手段によって検出された歩行者及び自転車の少なくとも一方の影の周辺から、前記歩行者及び自転車の少なくとも一方を検出する歩行者検出手段と、
   前記歩行者検出手段によって前記歩行者及び自転車の少なくとも一方が検出されたとき、前記歩行者検出手段によって検出された前記歩行者及び自転車の少なくとも一方に基づいて、前記歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出し、前記歩行者検出手段によって歩行者及び自転車が検出されなかったとき、前記影検出手段によって検出された前記歩行者及び自転車の少なくとも一方の影に基づいて、前記歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する危険度算出手段と、
   前記危険度算出手段によって算出された衝突危険度に基づいて、運転支援を行なう運転支援手段と、
   を含む運転支援装置。
3. 前方を照射する照明装置を備えた自車両の前方を撮像する撮像手段によって撮像された画像から、歩行者及び自転車の少なくとも一方の影を検出する影検出手段と、
   前記影検出手段によって前記歩行者及び自転車の少なくとも一方の影が検出されたとき、前記撮像された画像の、前記影検出手段によって検出された前記歩行者及び自転車の少なくとも一方の影の周辺から、前記歩行者及び自転車の少なくとも一方を検出する歩行者検出手段と、
   を含む歩行者検出装置。
4. 前記歩行者検出手段は、前記撮像された画像の、前記影検出手段によって検出された前記歩行者及び自転車の少なくとも一方の影の周辺に、検出候補領域を設定し、設定した検出候補領域から、前記歩行者及び自転車の少なくとも一方を検出する請求項３記載の歩行者検出装置。
5. 前記影検出手段によって検出された前記歩行者及び自転車の少なくとも一方の影に基づいて、前記歩行者及び自転車の少なくとも一方と衝突する衝突危険度を算出する危険度算出手段を更に含み、
   前記歩行者検出手段は、前記危険度算出手段によって算出された前記衝突危険度が所定値以上であるときに、前記撮像された画像の、前記影検出手段によって検出された前記歩行者及び自転車の少なくとも一方の影の周辺から、前記歩行者及び自転車の少なくとも一方を検出する請求項３又は４記載の歩行者検出装置。
6. 請求項５記載の歩行者検出装置と、
   前記歩行者検出装置によって前記歩行者及び自転車の少なくとも一方が検出されたときに、運転支援を行なう運転支援手段と、
   を含む運転支援装置。