JP3999025B2 - 警報表示装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、撮像手段により撮影された画像から車両の走行に影響を与えそうな対象物を検出して警報を表示する警報表示装置に関する。
【０００２】
【従来の技術】
従来、赤外線カメラ等の撮像手段により捉えられた車両周辺の画像から、車両との衝突の可能性がある歩行者等の対象物（警報対象物）を抽出し、その情報を車両の運転者に提供する装置としては、例えば特開２００１−６０９６号公報に記載のものがある。この装置では、歩行者等の対象物における車両との衝突の可能性は、車両と対象物との相対距離や相対速度に基づいて判定される。
【０００３】
また、例えばこのように撮像手段により捉えられた車両周辺の画像から、車両との衝突の可能性がある警報対象物を抽出して車両の運転者に表示するものには、特開２００１−２３０９１号公報や特開２００１−１８７３８号公報に記載のもの、更には特開平８−２６３７８４号公報に記載のものがある。
例えば、特開２００１−２３０９１号公報に記載のものでは、車両の走行方向に対して接近しつつも、車両と衝突する等、すぐに車両に影響を与えるとは判断されなかった対象物については、その存在を表すアイコン等の表示を撮像手段が捉えた画像とは別に表示する。
【０００４】
また、特開２００１−１８７３８号公報に記載のものでは、車両と衝突する可能性が高いと判定された対象物であっても、当該車両のヘッドライトの照射範囲内に存在する対象物、あるいは所定時間内に当該車両のヘッドライトの照射範囲内に進入すると予想される対象物については、運転者に対して音声による通知のみを行い、画像の表示は行わない。
更に、特開平８−２６３７８４号公報に記載のものでは、道路領域に存在する温度分布のみを検出し、その温度分布に異常がある場合は、その部分を警報対象物と認識して運転者に警報を発する。
【０００５】
【発明が解決しようとする課題】
しかし、車両が走行している場合、撮像手段により得られた画像は時々刻々変化するので、表示画面内において、抽出された対象物もその表示位置が時々刻々と変化する。特に、車両がカーブを走行しているような場合、撮像手段の光軸の方向が車両の方向と共に短時間の間に大きく変化するため、撮像手段の画角内に捉えられる物体は常に変化している。
従って、上述の従来装置のように、撮像手段により捉えられた車両周辺の画像から、車両との衝突の可能性がある歩行者等の警報対象物を抽出し、その情報に基づいて車両の運転者に音声案内や強調枠表示により警報を通知したとしても、運転者が反応するには多少の時間がかかるため、運転者が画面上の表示を見に行った時には捉えられた警報対象物が撮像手段の画角外に位置してしまい、表示上には強調表示枠等を付けられた警報対象物またはその一部が存在せず、運転者には警報対象物を把握することができない場合があるという問題があった。
【０００６】
本発明は、上記課題に鑑みてなされたもので、撮像手段により撮影された画像から抽出される対象物の移動予測位置により、運転者の正確な対象物認識を妨げる警報表示を排除する警報表示装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係る警報表示装置は、撮像手段により得られた画像から、車両の走行に影響を与える可能性のある警報対象物を検知し、該画像に加えて前記警報対象物の位置を特定可能な警報表示を行う車両用の警報表示装置において、前記検知から規定時間後の前記警報対象物の移動予測位置を推定し、推定された移動予測位置が画像表示範囲に入るか否かに基づき、前記警報対象物が、画像表示範囲内に規定時間表示可能か否かを判断する画像表示範囲内外判断手段（例えば実施の形態のＳ３１〜Ｓ３２）と、前記警報対象物が、前記画像表示範囲内に規定時間表示可能な時のみ警報表示を実施する警報対象物表示手段（例えば実施の形態のＳ３３）とを備えたことを特徴とする。
以上の構成を備えた警報表示装置は、画像表示範囲内外判断手段によって、警報対象物の情報を運転者に通知してから、運転者が反応して画面表示を確認するまでの時間に相当する所定の時間以上、該警報対象物が撮像手段の画像表示範囲内に存在すると判断される場合のみ、該警報対象物の警報表示を行うことで、警報対象物に関する情報の通知に運転者が反応して画面表示を確認した際に、運転者が確認可能な警報対象物の警報表示のみを画像表示範囲内に行うことができる。
【０００８】
請求項２の発明に係る警報表示装置は、請求項１に記載の警報表示装置において、前記画像表示範囲内外判断手段は、少なくともカーブ走行における前記警報対象物の移動予測位置を推定し、推定された移動予測位置が画像表示範囲に入るか否かに基づき、前記警報対象物が、前記画像表示範囲内に規定時間表示可能か否かを判断することを特徴とする。
以上の構成を備えた警報表示装置は、現在の位置が撮像手段の画像表示範囲内に存在する警報対象物で、かつカーブ走行における移動予測位置も撮像手段の画像表示範囲内である警報対象物のみを、運転者が確認可能な警報対象物として、画像表示範囲内に警報表示することができる。
【０００９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の一実施の形態の警報表示装置の構成を示すブロック図である。
図１において、符号１は、本実施の形態の警報表示装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【００１０】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。
【００１１】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１２】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１３】
次に、本実施の形態の動作について図面を参照して説明する。
図３は、本実施の形態の警報表示装置の画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１４】
ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【００１５】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
【００１６】
ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。
更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１７】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【００１８】
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施の形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００１９】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１１より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する（ステップＳ１１）。
【００２０】
次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ステップＳ１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。
【００２１】
ステップＳ１２の処理により、基準画像（右画像）中に探索画像Ｒ１と、左画像中にこの対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１３）。
次に、ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離算出が完了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【００２２】
また、実空間座標が求められたら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１５）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。
なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【００２３】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める（ステップＳ１６）。
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【００２４】
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００２５】
また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定し、自車両１０と衝突の可能性のある対象物が存在する場合は、例えばスピーカ６を介して音声による警報を発するとともに、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する警報判定処理を行う（ステップＳ１７）。
また、ステップＳ１７の警報判定処理が終了したら、ステップＳ１へ戻り、上述の処理を繰り返す。
なお、警報判定処理については、詳細を後述する。
【００２６】
以上が、本実施の形態の警報表示装置の画像処理ユニット１における対象物検出・警報動作であるが、次に、図５に示すフローチャートを参照して、図３に示したフローチャートのステップＳ１７における警報判定処理について更に詳しく説明する。
図５は、本実施の形態の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、警報出力判定処理、警報出力選択処理、及び映像入力処理により、自車両１０と検出した対象物との衝突の可能性を判定し、衝突の可能性のある対象物を運転者に対して通知する処理である。以下、図６に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる対象物２０がいる場合を例に取って説明する。
【００２７】
図５において、まず、画像処理ユニット１は衝突判定処理を行う（ステップＳ２１）。衝突判定処理は、図６において、対象物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Ｔは、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。従って、余裕時間Ｔは例えば２〜５秒程度に設定される。またＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００２８】
次に、ステップＳ２１において、余裕時間Ｔ以内に自車両１０と対象物２０とが衝突する可能性がある場合（ステップＳ２１のＹＥＳ）、更に判定の信頼性を上げるために、画像処理ユニット１は対象物２０が接近判定領域内に存在するか否かの判定処理を行う（ステップＳ２２）。接近判定領域内か否かの判定処理は、図７に示すように、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域であって、対象物２０が自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域ＡＲ１、すなわち対象物２０がそのまま存在し続ければ自車両１０との衝突の可能性がきわめて高い接近判定領域ＡＲ１内に存在するか否かを判定する処理である。なお、接近判定領域ＡＲ１も所定高さＨを有する。
【００２９】
更に、ステップＳ２２において、対象物２０が接近判定領域内に存在しない場合（ステップＳ２２のＮＯ）、画像処理ユニット１は対象物２０が接近判定領域内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ステップＳ２３）。進入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域ＡＲ２、ＡＲ３を進入判定領域と呼び、この領域内にある対象物２０が、移動することにより接近判定領域ＡＲ１に進入すると共に自車両１０と衝突するか否かを判定する処理である。なお、進入判定領域ＡＲ２、ＡＲ３も所定高さＨを有する。
【００３０】
一方、ステップＳ２２において、対象物２０が接近判定領域内に存在している場合（ステップＳ２２のＹＥＳ）、またはステップＳ２３において、対象物２０が接近判定領域内へ進入して自車両１０と衝突する可能性があると判定された場合（ステップＳ２３のＹＥＳ）、警報出力判定処理を行う（ステップＳ２４）。
【００３１】
ここで、警報出力判定処理は、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力を行うか否かの判定を行う処理であって、もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ２５へ進み（ステップＳ２４のＹＥＳ）、対象物２０の移動位置の予測を行い、移動予測位置に従って、自車両１０の運転者へ通知するための対象物２０の表示方法を選択し、対象物を適切に画面に表示するための映像を生成する警報出力選択処理を行う（ステップＳ２５）。
【００３２】
そして、画像表示装置７に表示対象の映像を入力する映像入力処理を行い（ステップＳ２６）、警報判定処理を終了する。
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、対象物２０と自車両１０との距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。また、警報出力選択処理については、詳細を後述する。
【００３３】
また、ステップＳ２１において、余裕時間Ｔ以内に自車両１０と対象物２０とが衝突する可能性がない場合（ステップＳ２１のＮＯ）、またはステップＳ２３において、対象物２０が接近判定領域内へ進入して自車両１０と衝突する可能性がないと判定された場合（ステップＳ２３のＮＯ）、更に、ステップＳ２４において、加速度Ｇｓが所定閾値ＧＴＨより大きく、自車両１０の運転者のブレーキ操作により対象物２０との衝突が回避されると判定された場合（ステップＳ２４のＮＯ）のいずれかの場合は、ステップＳ２６へ進み、画像表示装置７に表示対象の映像を入力する映像入力処理を行い（ステップＳ２６）、警報判定処理を終了する。
【００３４】
次に、図面を参照して、図５に示したフローチャートのステップＳ２５における警報出力選択処理について説明する。
まず、警報出力選択処理の概要について説明すると、警報出力選択処理は、警報対象物と判定された対象物２０の情報を、どのように自車両１０の運転者に通知するかを選択する処理である。
具体的には、例えば図８において自車両１０がａ点に存在する場合に、上述の衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、及び警報出力判定処理により、自車両１０と衝突の可能性があると判定された対象物２０が、赤外線カメラ２Ｒ、２Ｌで監視可能な領域ＡＲ０内に存在したとする。しかし、この対象物２０は、一度は警報対象物であると判定されるも、自車両１０がｂ点に移動した場合に、ｂ点に存在する自車両１０の赤外線カメラ２Ｒ、２Ｌで監視可能な領域ＡＲ０’からは外れることが予想できる。
【００３５】
そこで、自車両１０が進行する過程において、画像処理ユニット１が自車両１０と衝突の可能性がある対象物２０を検出してから規定時間Ｔの間、該対象物２０を画像表示装置７に強調表示を伴う実映像として表示可能（自車両１０に備えられた赤外線カメラ２Ｒ、２Ｌで監視可能な領域ＡＲ０内に存在し続ける）か否かを判定するために、規定時間Ｔ後の対象物２０の位置を推定する。対象物の規定時間Ｔ後の移動位置推定は、実際は図９に示すように、自車両１０に対する対象物の相対的な挙動を推定することで、規定時間Ｔ後に対象物が赤外線カメラ２Ｒ、２Ｌで監視可能な領域ＡＲ０とどのような位置関係になるかを求める処理である。
【００３６】
例えば図９では、対象物２０と対象物２１が、それぞれ対象物２０−１、対象物２１−１として示す位置では、両方とも画像表示装置７に強調表示を伴う実映像として表示可能な位置（領域ＡＲ０内）で、かつ自車両１０の運転者に警報を発するべき自車両１０からの情報提供距離Ｙ内に存在し、警報対象物であると判定されたとする。なお、情報提供距離Ｙは、自車両１０と対象物２０との相対速度が大きくなるほど距離が長くなるもので、情報提供距離Ｙ以内に自車両１０と対象物２０とが接近すると、注意を要する状態として運転者に警報を発する境界線を示す。
【００３７】
しかし、対象物２０と対象物２１を、それぞれ対象物２０−１、２１−１として示した位置が、図８において自車両がａ点に存在する場合だとすると、自車両１０が進行するに従い、自車両１０はカーブを描く走行路３０に沿ってその方向を変えるため、対象物２０は対象物２０−２、２０−３と示す位置に、対象物２１は対象物２１−２、２１−３と示す位置に、それぞれ相対的に移動していくように見える。この時、対象物２０−３と示す位置へ対象物２０が移動する場合、、領域ＡＲ０から外れるので対象物２０は、画像表示装置７に強調表示を伴う実映像として表示することができなくなる。そこで、対象物２０が警報対象物と判定されてから規定時間Ｔ以内に自車両１０との相対位置が領域ＡＲ０から外れるものは、運転者に警報を行うと共に画像表示装置７に強調表示を行う警報対象物から除外する。
【００３８】
この警報出力選択処理を、更に図１０に示す本実施の形態の警報出力選択処理動作を示すフローチャートを用いて詳細に説明すると、図１０において、まず、画像処理ユニット１は、規定時間Ｔ後の対象物２０の位置を推定する（ステップＳ３１）。
すなわち、まず走行路３０のカーブ曲率データと自車両１０からカーブまでの距離データを計算する。ここで、走行路３０のカーブ曲率データと自車両１０からカーブまでの距離データを求める方法には、（１）画像処理ユニット１に、自車両の走行位置（自車位置情報）を算出すると共に地図情報を出力するナビゲーションユニットを接続し、ナビゲーションユニットから取得した地図情報と自車位置情報により計算する方法、（２）赤外線カメラ２Ｒ、２Ｌから取得した映像の画像処理により計算する方法、（３）ヨーレートセンサ３から取得したヨーレートと赤外線カメラ２Ｒ、２Ｌから取得した映像の画像処理により計算する方法等がある。
【００３９】
そして、図１１に示すように、計算されたカーブ曲率データや距離データと現在の自車両１０の挙動４１と対象物２０の位置より、自車両１０に対する相対的な対象物２０の挙動４２を計算し、規定時間Ｔ後の対象物２０の位置（例えば図１１において、対象物２０−４として示す位置）を推定する。なお、図１１は、図９に円で囲って示す領域４０を拡大して記載した図である。
次に、該対象物２０の推定移動位置が、画像表示装置７に強調表示を伴う実映像として表示可能な範囲内（自車両１０に備えられた赤外線カメラ２Ｒ、２Ｌで監視可能な領域ＡＲ０内：図１１に示す４０ｂ側の領域内）か否か（自車両１０に備えられた赤外線カメラ２Ｒ、２Ｌで監視可能な領域ＡＲ０外：図１１に示す４０ａ側の領域内）を判定する（ステップＳ３２）。
【００４０】
ステップＳ３２において、該対象物２０の推定移動位置が、画像表示装置７に強調表示を伴う実映像として表示可能な範囲内であった場合（ステップＳ３２のＹＥＳ）、運転者に対して、例えばスピーカ６を介して音声による警報を発すると共に、対象物２０の存在を自車両１０の運転者に認識させるための強調映像を画像表示装置７へ出力し（ステップＳ３３）、警報出力選択処理を終了する。
また、ステップＳ３２において、該対象物２０の推定移動位置が、画像表示装置７に強調表示を伴う実映像として表示可能な範囲内でなかった場合（ステップＳ３２のＮＯ）、対象物２０の存在を自車両１０の運転者に認識させるためのアイコン表示映像を画像表示装置７へ出力し（ステップＳ３４）、警報出力選択処理を終了する。なお、図１１において、情報提供距離Ｙから対象物２０−４として示す運転者表示視認点Ｗの間が、画像処理ユニット１が対象物２０を警報対象物と判定してから、自車両１０の運転者が画像表示装置７の画面表示を確認するまでに必要な時間に対応する距離Ｖである。
【００４１】
また、図１２は、画像表示装置７の実映像を表示する実映像表示エリア５０に対象物２０が表示できなくなった場合と、その時の画像表示の一例を示す図であって、図１２（ａ）に示すように、例えば左カーブを描く走行路３０を走行する際に、画像表示装置７の実映像を表示する実映像表示エリア５０に対象物２０が表示できなくなった場合、図１２（ｂ）に示すように、実映像表示エリア５０の左側に位置すると共に、対象物２０が存在するはずの方向であるアイコン表示左エリア５１に、対象物２０の代わりに対象物２０が存在することを示すアイコン６０を表示する。また、カーブが右カーブで、対象物２０が画像表示装置７の実映像を表示する実映像表示エリア５０の右側に外れて行く場合は、図１２（ｂ）と同様に、実映像表示エリア５０の右側に位置すると共に、対象物２０が存在するはずの方向であるアイコン表示右エリア５２に、対象物２０の代わりに対象物２０が存在することを示すアイコン６０を表示する。
【００４２】
なお、上述の実施の形態では、図１０のステップＳ３４において、規定時間Ｔ後の対象物２０の推定位置が表示エリア内でなかった場合、対象物２０を、図１２（ｂ）に示すように、アイコン表示することにより自車両１０の運転者に通知すると説明したが、必ずしもアイコン表示を行う必要はなく、規定時間Ｔ後の対象物２０の推定位置が表示エリア内でなかった場合（ステップＳ３３のＮＯ）、ステップＳ３４を行わず、該対象物２０の存在を自車両１０の運転者に通知しなくても良い。
【００４３】
また、本実施の形態では、画像処理ユニット１が、画像表示範囲内外判断手段と、警報対象物表示手段とを含んでいる。より具体的には、図１０のＳ３１〜Ｓ３２が画像表示範囲内外判断手段に相当し、図１０のＳ３３が警報対象物表示手段に相当する。
【００４４】
以上説明したように、本実施の形態の警報表示装置は、自車両１０が進行する過程において、対象物の移動位置を推定することにより、画像処理ユニット１が自車両１０と衝突の可能性がある対象物２０を検出してから規定時間Ｔの間、該対象物２０を画像表示装置７に強調表示を伴う実映像として表示可能（自車両１０に備えられた赤外線カメラ２Ｒ、２Ｌで監視可能な領域ＡＲ０内に存在し続ける）か否かを判定し、対象物２０が、一度は警報対象物であると判定されても、自車両１０が走行するに従い、自車両１０の赤外線カメラ２Ｒ、２Ｌで監視可能な領域ＡＲ０から外れることが予想できる場合は、この対象物２０の画像表示装置７における強調表示を実行しない。これにより、警報対象物の表示の中から車両の運転者が認識できないものを除外し、本当に注意を払うことが必要な警報対象物の位置を正確に運転者に把握させることができるという効果が得られる。
【００４５】
また、画像表示装置７における強調表示を実行しない代わりに、画像表示装置７の実映像を表示する実映像表示エリア５０に並べて、対象物２０が存在するはずの方向に、対象物２０の存在を示すアイコン６０を表示して自車両１０の運転者に注意を促すことにより、運転者に車両周辺に対する十分な注意を払わせ、安全な車両の走行を行わせることができるという効果が得られる。
【００４６】
【発明の効果】
以上の如く、請求項１に記載の警報表示装置によれば、画像表示範囲内外判断手段によって、警報対象物が所定時間以上、撮像手段の画像表示範囲内に存在するか否かを判断し、該警報対象物の強調表示を行うことで、運転者が確認可能な警報対象物の強調表示のみを画像表示範囲内に行うことができる。
従って、警報対象物の表示の中から車両の運転者が認識できないものを除外し、本当に注意を払うことが必要な警報対象物の位置を正確に運転者に把握させることができるという効果が得られる。
【００４７】
請求項２に記載の警報表示装置によれば、現在位置も、カーブ走行における移動予測位置も、撮像手段の画像表示範囲内である警報対象物のみを、画像表示範囲内に強調表示することができる。
従って、カーブ走行時の警報対象物を精度良く予測し、運転者が確認可能な警報対象物のみを運転者に通知して、運転者による警報対象物の把握のし易さを向上させることができるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態の警報表示装置の構成を示すブロック図である。
【図２】 車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】 同実施の形態の警報表示装置の対象物検出・警報動作を示すフローチャートである。
【図４】 赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】 同実施の形態の警報判定処理動作を示すフローチャートである。
【図６】 衝突が発生しやすい場合を示す図である。
【図７】 車両前方の領域区分を示す図である。
【図８】 車両がカーブを走行する場合の領域ＡＲ０の変化を示す図である。
【図９】 車両がカーブを走行する場合の対象物の位置の変化を、車両からの相対位置として示す図である。
【図１０】 同実施の形態の警報出力選択処理動作を示すフローチャートである。
【図１１】 車両がカーブを走行する場合の対象物の位置の変化を、車両からの相対位置として示す図であって、図９の一部を拡大して示す図である。
【図１２】 実映像表示エリアに対象物が表示できなくなった場合と、その時の画像表示の一例を示す図である。
【符号の説明】
１ 画像処理ユニット
２Ｒ、２Ｌ 赤外線カメラ
３ ヨーレートセンサ
４ 車速センサ
５ ブレーキセンサ
６ スピーカ
７ 画像表示装置
１０ 自車両
Ｓ３１〜Ｓ３２ 画像表示範囲内外判断手段
Ｓ３３ 警報対象物表示手段

Claims (2)

1. 撮像手段により得られた画像から、車両の走行に影響を与える可能性のある警報対象物を検知し、該画像に加えて前記警報対象物の位置を特定可能な警報表示を行う車両用の警報表示装置において、
   前記検知から規定時間後の前記警報対象物の移動予測位置を推定し、推定された移動予測位置が画像表示範囲に入るか否かに基づき、前記警報対象物が、画像表示範囲内に規定時間表示可能か否かを判断する画像表示範囲内外判断手段と、
   前記警報対象物が、前記画像表示範囲内に規定時間表示可能な時のみ警報表示を実施する警報対象物表示手段とを備えたことを特徴とする警報表示装置。
2. 前記画像表示範囲内外判断手段は、少なくともカーブ走行における前記警報対象物の移動予測位置を推定し、推定された移動予測位置が画像表示範囲に入るか否かに基づき、前記警報対象物が、前記画像表示範囲内に規定時間表示可能か否かを判断することを特徴とする請求項１に記載の警報表示装置。

Images