JP2008027309A - 衝突判定システム、及び衝突判定方法 - Google Patents

Abstract

【課題】障害物の検出位置の算出誤差の影響を受けにくく、運転者の視点に基づく危険度との乖離の少ない障害物との衝突判定を精度良く行うことができる衝突判定システム、及び衝突判定方法を提供する。
【解決手段】車両の周辺を撮像する複数の撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出し、障害物の当該車両に対する相対位置データを時系列的に検出して衝突の可能性を判定する。車両に対する相対位置に基づいて、車両の周辺領域を複数の領域に分割しておき、分割された領域ごとに衝突の可能性の大小を示すパラメータを記憶しておく。検出された相対位置データに基づいて対応する領域を抽出し、抽出された領域に対応するパラメータを読み出して、衝突の可能性を判定する。
【選択図】図５

Description

本発明は、車両の外部を撮像する複数の撮像装置が撮像した画像データに基づいて、検出された障害物の車両との相対位置に応じて、該障害物との衝突可能性を判定することができる衝突判定システム、及び衝突判定方法に関する。

自動車等の車両に周囲を撮像する撮像装置を搭載し、例えば車両前方の歩行者、自転車等の障害物の存在を認識し、障害物の動きを検出することにより自車両との衝突の可能性を判定する衝突判定システムが開発されている。

例えば撮像装置で撮像した画像から、所定の基準パターンとパターンマッチングすることにより障害物、例えば人間が存在すると考えられる領域を抽出し、ステレオ視により該領域までの距離及び車両に対する相対移動ベクトルを算出することにより、障害物との衝突の可能性を判定している（非特許文献１参照）。

そして、衝突する可能性の算出精度を高めるため、例えば特許文献１では、撮像手段により取得した画像データに含まれる障害物との実際の相対位置を時系列的に算出し、算出した実際の相対位置を直線近似することにより、障害物の自車両との相対的な移動ベクトルを算出し、自車両と衝突する可能性の高低を判定していた。
特開２００１−００６０９６号公報 「ホンダ アールアンドディー テクニカル レビュー (Honda R&D Technical Review)」Vol.13 No.1、２００１年４月

上述した従来の衝突判定システムにおける移動ベクトルは、距離測定の誤差の影響を受けやすい。また、視差を算出することにより距離を測定した障害物の位置を、三次元座標に変換する場合にも、算出誤差が含まれる。したがって、自車両の進路に歩行者等の障害物の存在を検出した場合、その移動ベクトルの信頼性を高めることは困難であり、衝突判定精度を高めることが困難であるという問題点があった。

また、歩行者等の障害物の過去の移動軌跡に基づいて移動ベクトルを算出することから、突然の飛び出し等の突発的な動きを予測することはできない。したがって、数フレームといった短時間での移動を検出することは困難であり、衝突判定の信頼度は低い。

さらに、移動ベクトルに基づいて衝突の可能性を判定した結果は、車両の運転者の視点に基づく感覚的な危険度判定結果とは相違しており、実際に運転者が感じる危険度との乖離が大きいという問題点も残されている。

本発明は、斯かる事情に鑑みてなされたものであり、障害物の検出位置の算出誤差の影響を受けにくく、運転者の視点に基づく危険度との乖離の少ない障害物との衝突判定を精度良く行うことができる衝突判定システム、及び衝突判定方法を提供することを目的とする。

上記目的を達成するために第１発明に係る衝突判定システムは、車両の周辺を撮像する複数の撮像装置、該複数の撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出手段、及び該障害物検出手段で障害物を検出した場合、前記複数の撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出する相対位置検出手段を有し、検出した障害物との衝突の可能性を判定する衝突判定システムにおいて、車両に対する相対位置に基づいて、車両の周辺領域を複数の領域に分割しておき、分割された領域ごとに衝突の可能性の大小を示すパラメータを記憶する手段と、検出された相対位置データに基づいて対応する領域を抽出する手段と、抽出された領域に対応するパラメータを読み出す手段とを備え、読み出されたパラメータに基づいて衝突の可能性を判定するようにしてあることを特徴とする。

また、第２発明に係る衝突判定システムは、第１発明において、車両の速度を検出する手段と、検出された車両の速度に応じて、分割された領域の形状を変形させる手段とを備えることを特徴とする。

また、第３発明に係る衝突判定システムは、第１又は第２発明において、車両が旋回しているか否かを判断する手段と、該手段で旋回していると判断した場合、旋回方向及び旋回半径を算出する手段と、算出された旋回方向及び旋回半径に応じて、分割された領域の形状を変形させる手段とを備えることを特徴とする。

また、第４発明に係る衝突判定システムは、第１乃至第３発明のいずれか１つにおいて、抽出された領域に対応するパラメータを時系列的に読み出すようにしてあり、読み出されたパラメータを時系列的に記憶する手段と、パラメータの時系列的変化に応じて、衝突の可能性を示す指標値を算出する手段とを備え、算出された指標値に基づいて、衝突の可能性を判定するようにしてあることを特徴とする。

また、第５発明に係る衝突判定方法は、車両の周辺を撮像する複数の撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出し、障害物が検出された場合、前記複数の撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出し、衝突の可能性を判定する衝突判定方法において、車両に対する相対位置に基づいて、車両の周辺領域を複数の領域に分割しておき、分割された領域ごとに衝突の可能性の大小を示すパラメータを記憶し、検出された相対位置データに基づいて対応する領域を抽出し、抽出された領域に対応するパラメータを読み出し、読み出されたパラメータに基づいて衝突の可能性を判定することを特徴とする。

第１発明、及び第５発明では、車両の周辺を撮像する複数の撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する。障害物が検出された場合、複数の撮像装置により取得した画像データから障害物の当該車両に対する相対位置データを時系列的に検出し、衝突の可能性を判定する。車両に対する相対位置に基づいて、車両の周辺領域を複数の領域に分割しておき、分割された領域ごとに衝突の可能性の大小を示すパラメータを記憶しておく。検出された相対位置データに基づいて対応する領域を抽出し、抽出された領域に対応するパラメータを読み出し、読み出されたパラメータに基づいて衝突の可能性を判定する。障害物が実際に存在する位置に該当する領域に応じて衝突の可能性、すなわち危険度を判定することができ、距離測定に誤差が存在する場合であっても危険度判定の結果は影響を受けにくい。また、歩行者等の障害物の突然の飛び出し等の突発的な動きがあった場合であっても、所定の領域に存在するか否かに応じて危険度を判定することができ、衝突判定の信頼度を高く維持することが可能となる。さらに、分割された領域ごとに衝突の可能性の大小を示すパラメータを、運転者の視点に基づく感覚的な危険度に合致させて記憶しておくことにより、実際に運転者が感じる危険度との乖離を最小限に止めることができ、運転者の感覚に合致した衝突判定を行なうことが可能となる。

第２発明では、車両の速度を検出し、検出された車両の速度に応じて、分割された領域の形状を変形させる。このようにすることで、車両の走行速度に応じて障害物との衝突の危険度判定を動的に変更することができ、車両の速度が低速である場合には衝突の可能性が少ない位置にて検出した障害物であっても、車両の速度が増加した場合には衝突の可能性が高いと判定することが可能となる。

第３発明では、車両が旋回しているか否かを判断し、旋回していると判断した場合、旋回方向及び旋回半径を算出して、分割された領域の形状を変形させる。このようにすることで、車両が旋回しているか否かに応じて障害物との衝突の危険度判定を動的に変更することができ、例えば車両が直進している場合には衝突の可能性が少ない位置にて検出した障害物であっても、車両が旋回した場合には衝突の可能性が高いと判定することが可能となる。また、第２発明と併用することにより、車両の走行状態に応じてより正確な衝突判定を行なうことが可能となる。

第４発明では、読み出されたパラメータを時系列的に記憶しておき、パラメータの時系列的変化に応じて、衝突の可能性を示す指標値を算出する。算出された指標値に基づいて、衝突の可能性を判定する。このようにすることで、障害物までの距離の推定誤差、車両の走行状態等による誤った衝突可能性判定を未然に防止することができ、障害物の動きに応じて適切な危険度判定を行なうことが可能となる。

本発明によれば、障害物が実際に存在する位置に該当する領域に応じて衝突の可能性、すなわち危険度を判定することができ、距離測定に誤差が存在する場合であっても危険度判定の結果は影響を受けにくい。また、歩行者等の障害物の突然の飛び出し等の突発的な動きがあった場合であっても、所定の領域に存在するか否かに応じて危険度を判定することができ、衝突判定の信頼度を高く維持することが可能となる。さらに、分割された領域ごとに衝突の可能性の大小を示すパラメータを、運転者の視点に基づく感覚的な危険度に合致させて記憶しておくことにより、実際に運転者が感じる危険度との乖離を最小限に止めることができ、運転者の感覚に合致した衝突判定を行なうことが可能となる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施の形態では、走行中に遠赤外線撮像装置で撮像された画像に基づいて車両の前方に存在する障害物までの距離を算出する場合を例として説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る衝突判定システムの構成を示す模式図である。本実施の形態１では、走行中に周辺の画像を撮像する遠赤外線撮像装置１、１を、車両前方の中央近傍のフロントグリル内に並置している。なお、遠赤外線撮像装置１、１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。遠赤外線撮像装置１、１で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して接続してある判定装置３へ送信される。

判定装置３は、遠赤外線撮像装置１、１の他、操作部を備えた表示装置４とは、ＮＴＳＣ、ＶＧＡ、ＤＶＩ等の映像方式に対応したケーブル８を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とは、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して接続されている。

図２は、本発明の実施の形態１に係る衝突判定システムの遠赤外線撮像装置１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング（ｍｉｃｒｏｍａｃｈｉｎｉｎｇ）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴ（Ｂａｒｉｕｍ−Ｓｔｒｏｎｔｉｕｍ−Ｔｉｔａｎｉｕｍ）の焦電型等の赤外線センサを用いている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を信号処理部１２へ送信する。

信号処理部１２は、ＬＳＩであり、画像撮像部１１から受信した輝度信号をデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ１３へ記憶する。なお、画像データを画像メモリ１３へ一時記憶することは必須ではなく、映像出力部１４を介して直接判定装置３へ送信しても良いことは言うまでもない。

映像出力部１４は、ＬＳＩであり、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して判定装置３に映像データを出力する。

図３は、本発明の実施の形態１に係る障害物位置算出システムの判定装置３の構成を示すブロック図である。映像入力部３１ａは、遠赤外線撮像装置１、１から映像信号の入力を行う。映像入力部３１ａは、遠赤外線撮像装置１、１から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３１ｂは、ケーブル８を介して液晶ディスプレイ等の表示装置４に対して画像データを出力し、通信インタフェース部３１ｃは車載ＬＡＮケーブル６を介してブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３１ａを介して遠赤外線撮像装置１、１から入力された画像データを記憶する。ＲＡＭ３３１は、演算処理の途上で生成したデータ及び推算した障害物の時系列的位置データを記憶する。また、ＲＡＭ３３１は、車両の周辺の領域を複数の領域に区分けした領域情報を、衝突の危険度を示す危険度パラメータと対応付けて記憶してある。

画像処理を行うＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読み出し、遠赤外線撮像装置１、１から取得した画像データに基づいて、視差を算出する対象となる対象領域を特定する。ＬＳＩ３３は、対象領域について、遠赤外線撮像装置１、１から取得した左右の画像データの視差を算出し、対象物までの距離及び方向を三角測量の原理に基づいて推算する。

ＬＳＩ３３は、推算された位置データに基づいて、車両の周辺の領域のうちどの領域に属するか否かを判断し、属する領域に対応付けてＲＡＭ３３１に記憶してある危険度パラメータを抽出する。抽出された危険度パラメータにより、外部へ送信する警告情報の内容を変更することにより、運転者へ適切な情報を通知することが可能となる。すなわち、危険度パラメータが所定値より大きい場合には危険が迫っていることを示す情報を、所定値以下である場合には単なる警告情報を、というように使い分けることができる。

ＬＳＩ３３での詳細な処理について以下に説明する。図４は、本発明の実施の形態１に係る衝突判定システムの判定装置３のＬＳＩ３３の危険度抽出処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ４０１）、読み出した画像データを所定の大きさの対象領域に分割する（ステップＳ４０２）。分割する対象領域の設定方法は特に限定されるものではない。例えばｍ×ｎ（ｍ、ｎは自然数）画素からなる方形領域として設定しても良い。本実施の形態１では、３×３画素からなる方形領域として対象領域を設定する。

ＬＳＩ３３は、設定された対象領域ごとに画像単位で相関値を算出する（ステップＳ４０３）。例えば左の遠赤外線撮像装置１で撮像された画像に基づいて設定された対象領域を基準として、右の遠赤外線撮像装置１で撮像された画像中の該対象領域と同一の形状、同一の大きさの領域群との間の相関値を算出する。なお、対象領域と同一の形状、同一の大きさの領域群とは、例えば視差＝１、２、・・・、ｎ（ｎは自然数）の場合の領域群を意味している。

ＬＳＩ３３が、対象領域ごとに画像単位で相関値Ｒを算出する場合、相関値Ｒは（数１）に基づいて算出される。

（数１）において、Ｎはマッチング処理を行う領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは左の遠赤外線撮像装置１で撮像された画像に基づいて設定された対象領域内におけるｋ番目の画素の画素値を、Ｇｋは右の遠赤外線撮像装置１で撮像された画像中の該対象領域と同一の形状、同一の大きさの領域群におけるｋ番目の画素の画素値を、それぞれ示している。

ＬＳＩ３３は、算出した相関値が最大である視差を抽出する（ステップＳ４０４）。すなわち算出された相関値が最大である視差にて障害物が存在する可能性が高い。

ＬＳＩ３３は、抽出された相関値が最大である対象領域を障害物候補領域として特定する（ステップＳ４０５）。ＬＳＩ３３は、特定された障害物候補領域の代表点の実際の位置を推算する（ステップＳ４０６）。例えば障害物候補領域の重心を代表点とする。

具体的には、ＬＳＩ３３は、左右の遠赤外線撮像装置１、１で撮像された画像にて対応している障害物候補領域の視差に基づいて、車両前部中心点と検出された障害物との距離、及び障害物の方向を示す車両前部中心点からの角度を算出する。方向を示す角度は、車両の進行方向に対して左側を正の角度、右側を負の角度として算出する。

ＬＳＩ３３は、算出した障害物までの距離及び障害物が存在する方向に基づいて、障害物の車両前部からの相対位置を三次元座標値に換算する（ステップＳ４０７）。三次元座標値を算出する座標系は、車両前面中央を原点とし、前方をＸ軸正方向、右方向をＹ軸正方向、上方をＺ軸正方向とする座標系である。

ＬＳＩ３３は、換算された三次元座標値に基づいて、ＲＡＭ３３１に記憶してある領域情報を照会し、衝突の危険度を示す危険度パラメータを抽出する（ステップＳ４０８）。図５は、ＲＡＭ３３１に記憶してある領域情報の内容を模式的に示す図である。

図５に示すように、車両の前方領域を所定の領域にて複数の領域に分割している。図５の例では、前方の距離に応じてＸ軸方向に３分割している。すなわち、車両前端からＸ１（ｍ）までの領域５１、Ｘ１（ｍ）以上Ｘ２（ｍ）までの領域５２、Ｘ２（ｍ）以上の領域５３の３領域に分割している。

車両前端からＸ１（ｍ）までの領域５１は、ステレオ視により距離を推算した場合であって、警告情報を通知した場合であっても回避することが困難である近い距離にある領域を示す。領域５１では、状況はあまり変化せず、検出された障害物の確度も高い。

Ｘ１（ｍ）以上Ｘ２（ｍ）までの領域５２は、適切な衝突判定を行うことができる領域を示す。領域５２では、状況が変化するおそれが比較的少なく、検出された対象物が障害物であると確認することも比較的容易である。

Ｘ２（ｍ）以上の領域５３は、検出された対象物が障害物であるか否かを判定することが困難である領域を示す。領域５３では、状況が変化するおそれが高く、障害物として検出された場合であっても、検出された対象物が何であって、障害物として警告すべき対象物であるか保証することができない。

一方、Ｙ軸方向には、車幅、法定の安全幅、車幅の整数倍を加算した幅等に基づいて４つの領域に分割している。すなわち車幅の範囲内の領域６１、車幅に対する法定の安全幅、例えば車幅から１．５ｍの範囲内の領域６２、領域６２に車幅分を加算した領域６３、領域６３にさらに車幅分を加算した領域６４に分割している。

そして、Ｘ軸方向の３領域、Ｙ軸方向の４領域が交差する領域に応じて最も危険度が高い旨を示す危険度パラメータ‘３’である領域７１、以下、危険度パラメータ‘２’である領域７２、危険度パラメータ‘１’である領域７３、危険度パラメータ‘０’である領域７４を、それぞれ設定してＲＡＭ３３１に記憶してある。ＬＳＩ３３は、換算した三次元座標値が、どの領域に存在するかを照会して、対応する領域の危険度パラメータを抽出する。

なお、三次元座標値へ変換する場合に、演算誤差が発生する。したがって、画面上にＲＡＭ３３１に記憶されている領域を表示し、検出された障害物の位置と対応付けて領域を特定することにより、より精度良く危険度パラメータを抽出することができる。

ＬＳＩ３３は、抽出した危険度パラメータに基づいて、警告情報を送出する（ステップＳ４０９）。例えば図５に示す危険度パラメータが‘３’である場合には、障害物との衝突を回避する緊急度が高い旨を示す信号を表示装置４又は警報装置５へ出力する。表示装置４では、障害物との衝突を回避する緊急度が高い旨を示す表示を出力する、警告表示を点滅させる等の警告表示を出力する。警報装置５では、ブザーの鳴動等によって障害物との衝突を回避する緊急度が高い旨を運転者へ報知する。危険度パラメータに応じて、警告表示を変化させ、警報装置５での鳴動を変化させる。このようにすることで運転者は、検出された障害物と衝突する危険度を判断することが可能となる。

なお、上述した実施の形態１は、車両が一定速度で直進している場合にのみ有効であり、車両の速度が変化する場合、車両が旋回している場合等にはそのまま適用することはできない。そこで、車両の速度及び／又は車両が旋回しているか否かに応じて、ＲＡＭ３３１に記憶してある分割された領域の形状（座標値）を変化させる。車両の速度は、車両の速度を検出する速度センサの検出値に基づいて検出する。車両が旋回しているか否かは、例えばステアリングホイールの操舵角度、操舵軸の回転角度等を検出するセンサの検出値に基づいて検出する。

図６は、車両の速度の変化に応じて、ＲＡＭ３３１に記憶してある分割された領域のＸ軸方向の分割位置Ｘ１、Ｘ２の変化を示す図である。図６の例では、車両前端からＸ１（ｍ）までの領域５１、Ｘ１（ｍ）以上Ｘ２（ｍ）までの領域５２、Ｘ２（ｍ）以上の領域５３の３領域に分割する境界値Ｘ１、Ｘ２を車両の速度に応じて変化させている。

図６の例では、Ｘ１は、車両の速度Ｖ（ｋｍ／ｈ）が３０（ｋｍ／ｈ）までは一定値１５（ｍ）である。３０（ｋｍ／ｈ）を越えてからＸ１は漸次増加しており、４０（ｋｍ／ｈ）では２５（ｍ）となるよう設定している。Ｘ２は、車両の速度Ｖ（ｋｍ／ｈ）が０（ｋｍ／ｈ）、すなわち停止時に３０（ｍ）であり、速度３０（ｋｍ／ｈ）では５５（ｍ）、４０（ｋｍ／ｈ）では７０（ｍ）となるよう設定している。なお、領域のＸ軸方向の分割位置Ｘ１、Ｘ２の変化は図６の例に限定されるものではなく、速度に応じて変化させる方法であればなんでも良い。

図７は、車両が回転半径Ｒで右旋回している場合のＲＡＭ３３１に記憶してある領域の変化状態を示す模式図である。図７に示すように、最も危険度が高い旨を示す危険度パラメータ‘３’である領域７１、危険度パラメータ‘２’である領域７２、危険度パラメータ‘１’である領域７３を、それぞれ変形させている。衝突危険度の判定は、変形された領域に基づいて、検出された障害物の三次元座標値が存在する領域の危険度パラメータを抽出することにより行なう。このようにすることで、車両の速度及び／又は車両が旋回しているか否かに応じて、動的に障害物との衝突の危険度を判定することが可能となる。

以上のように本実施の形態１によれば、障害物が実際に存在する位置に該当する領域に応じて衝突の可能性、すなわち危険度を判定することができ、距離測定に誤差が存在する場合であっても危険度判定の結果は影響を受けにくい。また、歩行者等の障害物の突然の飛び出し等の突発的な動きがあった場合であっても、所定の領域に存在するか否かに応じて危険度を判定することができ、衝突判定の信頼度を高く維持することが可能となる。さらに、分割された領域ごとに衝突の可能性の大小を示すパラメータを、運転者の視点に基づく感覚的な危険度に合致させて記憶しておくことにより、実際に運転者が感じる危険度との乖離を最小限に止めることができ、運転者の感覚に合致した衝突判定を行なうことが可能となる。

（実施の形態２）
以下、本発明の実施の形態２に係る衝突判定システムについて図面を参照しながら詳細に説明する。実施の形態２に係る衝突判定システムの構成、遠赤外線撮像装置１の構成、判定装置３の構成は実施の形態１と同様であることから、同一の符号を付することにより詳細な説明は省略する。本実施の形態２は、検出された障害物の移動遷移に基づいて危険度パラメータを抽出する点で、実施の形態１と相違する。

すなわち画像処理を行うＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読み出し、遠赤外線撮像装置１、１から取得した画像データに基づいて、視差を算出する対象となる対象領域を特定する。ＬＳＩ３３は、対象領域について、遠赤外線撮像装置１、１から取得した左右の画像データの視差を算出し、対象物までの距離及び方向を三角測量の原理に基づいて推算する。

ＲＡＭ３３１には、検出された障害物の過去の相対位置データ及び該相対位置が属する領域を時系列的に記憶しておく。ＬＳＩ３３は、推算された位置データに基づいて、車両の周辺の領域のうちどの領域に属するか否かを判断し、過去の移動遷移を特定する。ＬＳＩ３３は、特定された移動遷移に基づいてＲＡＭ３３１に記憶してある危険度パラメータを抽出する。抽出された危険度パラメータにより、外部へ送信する警告情報の内容を変更することにより、運転者へ適切な情報を通知することが可能となる。すなわち、危険度パラメータが所定値より大きい場合には危険が迫っていることを示す情報を、所定値以下である場合には単なる警告情報を、というように使い分けることができる。

ＬＳＩ３３での詳細な処理について以下に説明する。図８は、本発明の実施の形態２に係る衝突判定システムの判定装置３のＬＳＩ３３の危険度抽出処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ８０１）、読み出した画像データを所定の大きさの対象領域に分割する（ステップＳ８０２）。分割する対象領域の設定方法は特に限定されるものではない。例えばｍ×ｎ（ｍ、ｎは自然数）画素からなる方形領域として設定しても良い。本実施の形態１では、３×３画素からなる方形領域として対象領域を設定する。

ＬＳＩ３３は、設定された対象領域ごとに画像単位で相関値を算出する（ステップＳ８０３）。例えば左の遠赤外線撮像装置１で撮像された画像に基づいて設定された対象領域を基準として、右の遠赤外線撮像装置１で撮像された画像中の該対象領域と同一の形状、同一の大きさの領域群との間の相関値を算出する。なお、対象領域と同一の形状、同一の大きさの領域群とは、例えば視差＝１、２、・・・、ｎ（ｎは自然数）の場合の領域群を意味している。

ＬＳＩ３３は、視差ごとに算出した相関値が最大である視差を抽出する（ステップＳ８０４）。すなわち算出された相関値が最大である視差で障害物が存在する可能性が高い。

ＬＳＩ３３は、相関値が最大である対象領域を障害物候補領域として特定する（ステップＳ８０５）。ＬＳＩ３３は、特定された障害物候補領域の代表点の実際の位置を推算する（ステップＳ８０６）。例えば障害物候補領域の重心を代表点とする。

具体的には、ＬＳＩ３３は、左右の遠赤外線撮像装置１、１で撮像された画像にて対応している障害物候補領域の視差に基づいて、車両前部中心点と検出された障害物との距離、及び障害物の方向を示す車両前部中心点からの角度を算出する。方向を示す角度は、車両の進行方向に対して左側を正の角度、右側を負の角度として算出する。

ＬＳＩ３３は、算出した障害物までの距離及び障害物が存在する方向に基づいて、障害物の車両前部からの相対位置を三次元座標値に換算する（ステップＳ８０７）。三次元座標値を算出する座標系は、車両前面中央を原点とし、前方をＸ軸正方向、右方向をＹ軸正方向、上方をＺ軸正方向とする座標系である。

ＬＳＩ３３は、検出された障害物の過去の三次元座標値をＲＡＭ３３１から読み出し、移動遷移を特定する（ステップＳ８０８）。図９は、図５と同様、ＲＡＭ３３１に記憶してある領域情報の内容を模式的に示す図である。

図９の例では、図５と同様、車両前方の距離に応じてＸ軸方向に３分割している。車両前端からＸ１（ｍ）までの領域を領域Ｎ、Ｘ１（ｍ）以上Ｘ２（ｍ）までの領域を領域Ｍ、Ｘ２（ｍ）以上の領域を領域Ｆとする。

一方、Ｙ軸方向には、車幅、法定の安全幅、車幅の整数倍を加算した幅等に基づいて４つの領域に分割している。車幅の範囲内の領域を領域Ｃ０、車幅に対する法定の安全幅、例えば車幅から１．５ｍの範囲内までの領域を領域Ｌ１、Ｒ１、領域Ｌ１、Ｒ１の外側であって車幅分を加算した領域を領域Ｌ２、Ｒ２、領域Ｌ２、Ｒ２にさらに車幅分を加算した領域を領域Ｌ３、Ｒ３とする。

そして、Ｘ軸方向の３領域、Ｙ軸方向の４領域が交差する領域に応じて最も危険度が高い旨を示す危険度パラメータ‘３’である領域７１、以下、危険度パラメータ‘２’である領域７２、危険度パラメータ‘１’である領域７３、危険度パラメータ‘０’である領域７４を、それぞれ設定してある。ＲＡＭ３３１には、検出された障害物の現在の位置、１回前に検出された位置、２回前に検出された位置のそれぞれが属する領域の遷移をＸ軸方向、Ｙ軸方向の領域座標として記憶してある。ＲＡＭ３３１には、検出された障害物の移動遷移に対応付けて危険度パラメータを記憶してある。

図１０は、ＲＡＭ３３１に記憶してある移動遷移に対応付けた危険度パラメータの一例を示す図である。検出された障害物の位置は、図９の領域座標で記憶してあり、例えば（Ｍ、Ｃ０）は、Ｘ軸方向にてＸ１（ｍ）以上Ｘ２（ｍ）までの領域であり、Ｙ軸方向にて車幅の範囲内の領域を示している。ＬＳＩ３３は、特定された移動遷移に対応する領域の危険度パラメータを抽出する（ステップＳ８０９）。

ＬＳＩ３３は、抽出した危険度パラメータに基づいて、警告情報を送出する（ステップＳ８１０）。例えば図１０に示す危険度パラメータが‘５’である場合には、障害物との衝突を回避する緊急度が高い旨を示す信号を表示装置４又は警報装置５へ出力する。表示装置４では、障害物との衝突を回避する緊急度が高い旨を示す表示を出力する、警告表示を点滅させる等の警告表示を出力する。警報装置５では、ブザーの鳴動等によって障害物との衝突を回避する緊急度が高い旨を運転者へ報知する。危険度パラメータに応じて、警告表示を変化させ、警報装置５での鳴動を変化させる。このようにすることで運転者は、検出された障害物と衝突する危険度を判断することが可能となる。

なお、実施の形態１と同様、車両の速度及び／又は車両が旋回しているか否かに応じて、ＲＡＭ３３１に記憶してある分割された領域の形状（座標値）を変化させることにより、動的に障害物との衝突の危険度を判定することが可能となる。

以上のように本実施の形態２によれば、障害物までの距離の推定誤差、車両の走行状態等による誤った衝突可能性判定を未然に防止することができ、障害物の動きに応じて適切な危険度判定を行なうことが可能となる。

上述した実施の形態１及び２の他、走行する周囲の環境を検出する各種のセンサを用いて、領域の設定、危険度パラメータの設定を変化させることにより、様々な状況に対応した衝突判定を行うことができる。例えばＧＰＳ等を介して地図情報を取得し、走行している道路が市街地であるのか、郊外であるのか、あるいは事故多発地点を走行しているのか等の情報に基づき、領域の設定、危険度パラメータの設定を変化させる。

具体的には、車両が市街地を走行していると判断した場合には、歩行者等の飛び出しの検出感度を高めるために危険度パラメータを増大させる。また、移動遷移に基づく衝突判定を行う場合には、危険領域へ侵入するまで危険度パラメータを低く抑制することにより、頻繁な警告通知による運転者の煩わしさを緩和することも可能となる。

一方、車両が高速道路等を高速かつ速度変動幅が少なく走行していると判断した場合には、障害物が存在する確率が通常の道路走行時よりも低いことから、障害物を検出次第警告情報を送出するように、危険度パラメータをすべて最大値に設定する。このようにすることで、障害物を検出した時点で早期に運転者に通知することが可能となり、事故の発生を未然に回避することができる。

また、ＧＰＳ等を介して取得した地図情報、あるいは白線検出処理により検出された白線位置等に基づいて道路幅を推定することにより、衝突の危険度を示す危険度パラメータと対応付けてある領域情報の区分けを変更することもできる。一般に道路幅が広い道路は、車両が高速かつ速度変動幅が少なく走行する場合が多い。したがって、高速道路等を走行していると判断した場合と同様、障害物を検出次第警告情報を送出するように、危険度パラメータをすべて最大値に設定する。このようにすることで、障害物を検出した時点で早期に運転者に通知することが可能となり、事故の発生を未然に回避することができる。

また、フロントウインドウの雨滴センサの検出値、ワイパーの動作状況を示す情報、フォグランプの点灯状況を示す情報、携帯電話等の車外との通信システム等を介して取得した天気に関する情報等に基づいて、領域の設定、危険度パラメータの設定を変化させても良い。例えば雨天走行時、降雪走行時等は視界が狭く、停止距離も延伸する。したがって、近接領域の危険度パラメータを増大させ、車両の速度に対する領域変動幅を大きくする。このようにすることで、障害物との衝突判定をより安全側で行うことができ、安全の確保の観点からも有効である。

また、運転者の脈拍、顔の表面温度等の生体情報を検出するセンサを備え、運転者の覚醒状態を把握することにより、より早期に警告情報を送出するようにしても良い。もちろん、運転者ごとに車両運転の経験度合も相違していることから、上述した領域の設定、危険度パラメータの設定を運転者ごとに変動させるようにしても良いことは言うまでもない。

なお、上述した実施の形態では、判定装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。

本発明の実施の形態１に係る衝突判定システムの構成を示す模式図である。 本発明の実施の形態１に係る衝突判定システムの遠赤外線撮像装置の構成を示すブロック図である。 本発明の実施の形態１に係る障害物位置算出システムの判定装置の構成を示すブロック図である。 本発明の実施の形態１に係る衝突判定システムの判定装置のＬＳＩの危険度抽出処理の手順を示すフローチャートである。 ＲＡＭに記憶してある領域情報の内容を模式的に示す図である。 車両の速度の変化に応じて、ＲＡＭに記憶してある分割された領域のＸ軸方向の分割位置の変化を示す図である。 車両が回転半径Ｒで右旋回している場合のＲＡＭに記憶してある領域の変化状態を示す模式図である。 本発明の実施の形態２に係る衝突判定システムの判定装置のＬＳＩの危険度抽出処理の手順を示すフローチャートである。 ＲＡＭに記憶してある領域情報の内容を模式的に示す図である。 ＲＡＭに記憶してある移動遷移に対応付けた危険度パラメータの一例を示す図である。

符号の説明

１ 遠赤外線撮像装置
３ 判定装置
４ 表示装置
５ 警報装置
３１ａ 映像入力部
３１ｂ 映像出力部
３１ｃ 映像出力部
３２ 画像メモリ
３３ ＬＳＩ
３３１ ＲＡＭ

Claims (5)

1. 車両の周辺を撮像する複数の撮像装置、
   該複数の撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出手段、及び
   該障害物検出手段で障害物を検出した場合、前記複数の撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出する相対位置検出手段を有し、
   検出した障害物との衝突の可能性を判定する衝突判定システムにおいて、
   車両に対する相対位置に基づいて、車両の周辺領域を複数の領域に分割しておき、分割された領域ごとに衝突の可能性の大小を示すパラメータを記憶する手段と、
   検出された相対位置データに基づいて対応する領域を抽出する手段と、
   抽出された領域に対応するパラメータを読み出す手段と
   を備え、
   読み出されたパラメータに基づいて衝突の可能性を判定するようにしてあることを特徴とする衝突判定システム。
2. 車両の速度を検出する手段と、
   検出された車両の速度に応じて、分割された領域の形状を変形させる手段と
   を備えることを特徴とする請求項１記載の衝突判定システム。
3. 車両が旋回しているか否かを判断する手段と、
   該手段で旋回していると判断した場合、旋回方向及び旋回半径を算出する手段と、
   算出された旋回方向及び旋回半径に応じて、分割された領域の形状を変形させる手段と
   を備えることを特徴とする請求項１又は２記載の衝突判定システム。
4. 抽出された領域に対応するパラメータを時系列的に読み出すようにしてあり、読み出されたパラメータを時系列的に記憶する手段と、
   パラメータの時系列的変化に応じて、衝突の可能性を示す指標値を算出する手段と
   を備え、
   算出された指標値に基づいて、衝突の可能性を判定するようにしてあることを特徴とする請求項１乃至３のいずれか一項に記載の衝突判定システム。
5. 車両の周辺を撮像する複数の撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出し、障害物が検出された場合、前記複数の撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出し、衝突の可能性を判定する衝突判定方法において、
   車両に対する相対位置に基づいて、車両の周辺領域を複数の領域に分割しておき、分割された領域ごとに衝突の可能性の大小を示すパラメータを記憶し、
   検出された相対位置データに基づいて対応する領域を抽出し、
   抽出された領域に対応するパラメータを読み出し、
   読み出されたパラメータに基づいて衝突の可能性を判定することを特徴とする衝突判定方法。

Images