JP5588707B2 - 車両の周辺監視装置 - Google Patents

Description

この発明は、車両の運転者に情報を提供する際に、車両のふらつきを防止するための装置に関する。

従来より、車両の操舵について様々な制御が提案されている。下記の特許文献１には、運転者の意図に応じた操舵が可能であって、かつ運転者の意図にはない車両のヨーレート変化のみを打ち消すように操舵アシストを行う制御が開示されている。

また、下記の特許文献２には、車両の前方の物体を検知する手段を備え、該検知された情報に基づいて該物体までの距離を算出し、該距離が所定値以下であり、かつ車速に対するハンドル角が所定値よりも大きい場合に、通常特性の補助操舵トルクよりも大きい回避特性の補助操舵トルクでハンドル操舵をアシストするパワーステアリング装置が開示されている。

特開２００４−３１４７１５号公報 特開２００５−１７０２６０号公報

車両に搭載されたカメラにより撮像した画像に基づいて車両の周辺の対象物を検出した際に、表示装置上に該対象物を含む撮像画像を表示すると共に、該対象物についての警報を運転者に発行することが行われている。しかしながら、該表示装置の車両内の取り付け位置によっては、運転者は、該表示装置上の画面を視認するのに視線移動を行う必要が生じる。このような視線移動を行う際、車両のハンドル（ステアリングホイール）が運転者によって左右に動かされるおそれがあり、よって車両がふらつくおそれがある。また、警報が発せられた該対象物を実空間上で認知しようとして運転者が視線を移動させる際にも、このようなふらつきを生じさせるおそれがある。

ふらつきが発生すると、運転者には、ふらつきをなくそうという意識が働く。運転者は、運転中に、不用意な緊張と運転タスクを強いられることとなり、運転の負担が大きくなる。また、視線を移動させている時間が長くなるにつれ、ふらつき量も大きくなるおそれがある。

したがって、上記のような警報が発せられることによって車両のふらつきが発性すると予測される場合には、該ふらつきを事前に防止するような手法が所望されている。

この発明の一つの側面によると、車両の周辺監視装置は、車両に搭載された撮像装置によって撮像した画像に基づいて車両の周辺の対象物を検出する手段と、該撮像画像に基づく表示画像を、該車両の乗員が視認可能なように表示装置上に表示する表示手段と、前記対象物が車両から所定範囲内にあるとき、前記表示手段を用いて、前記表示画像上に該対象物に関する警報を行う警報手段と、を有する。また、該車両には、運転者によるステアリングホイールの操舵を補助するパワーステアリング装置が備えられている。該車両の周辺監視装置は、さらに、少なくとも前記警報手段が前記警報を発している間にわたり、前記ステアリングホイールの操舵を補助するアシスト量を低減するように、前記パワーステアリング装置を制御する制御手段を備える。

この発明によれば、表示手段を介して対象物に関する警報が行われる場合、運転者が、該警報の対象物を視認しようとして、前方から表示装置上へと視線を移動させるものと予測することができ、よって、該視線移動によって車両がふらつくおそれがあると予測することができる。この発明によれば、このような視線移動ひいては車両のふらつきが予測された場合には、ステアリングホイール（ハンドル）のアシスト量を低減する。これにより、ハンドル操作を重くすることができるので、車両がふらつくのを事前に防止することができる。

この発明の一実施形態によると、前記表示装置は、運転者が、水平方向に所定距離以上の視線移動が必要な位置に配置されている。

この発明によれば、上記のように車両のふらつきを防止することができるので、たとえば、通常、運転者の左または右側に配置されているナビゲーション装置の表示装置を利用して、対象物に関する警報を発することができる。

この発明の一実施形態によると、前記制御手段は、さらに、前記検出した対象物の位置に応じて、前記アシスト量を低減する量を変更する。こうして、対象物の位置に適切なように、ハンドル操作の重さを調整することができる。

本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。

この発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図。 この発明の一実施例に従う、表示装置およびカメラの取り付け位置を示す図。 この発明の一実施例に従う、電動パワーステアリング装置を示す図。 この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の一実施例に従う、対象物判定・警報プロセスを示すフローチャート。 この発明の一実施例に従う、警報を発行するための車両からの所定範囲の一例を示す図。 この発明の一実施例に従う、警報表示の一例を示す図。 この発明の他の実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の他の実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。

次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、ナビゲーション装置の表示装置を利用した、車両の周辺監視装置の構成を示すブロック図であり、図２は、表示装置とカメラの車両への取り付けを示す図である。

車両には、ナビゲーション装置が搭載されており、該ナビゲーション装置は、ナビゲーションユニット５と、表示装置４とを備えている。表示装置４は、図２の（ａ）に示すように、車両のハンドル（ステアリングホイール）２１の中心を通り、かつ車両の前後方向に伸長する線Ｌ１（図には、わかりやすいよう図の垂直方向に伸長するよう示されている）に対して所定距離だけ離れた位置に、運転者が視認可能なように取り付けられている。この実施例では、表示装置４は、車両のダッシュボード２３にはめこまれている。

ナビゲーションユニット５は、中央処理装置（ＣＰＵ）およびメモリを備えたコンピュータで実現される。ナビゲーションユニット５は、たとえば人工衛星を利用して車両の位置を測定するためのＧＰＳ信号を、該ナビゲーションユニット５に備えられた通信装置（図示せず）を介して受信し、該ＧＰＳ信号に基づいて、車両の現在位置を検出する。ナビゲーションユニット５は、車両の周辺の地図情報（これは、ナビゲーション装置の記憶装置に記憶されることもできるし、該通信装置を介して所定のサーバから受信することもできる）に、該現在位置を示す画像を重畳させて、表示装置４の表示画面２５に表示する。また、表示装置４の表示画面２５はタッチパネルを構成しており、該タッチパネルを介して、またはキーやボタン等の他の入力装置２７を介して、乗員はナビゲーションユニット５に目的地を入力することができる。ナビゲーションユニット５は、該目的地までの車両の最適経路を算出し、該最適経路を示す画像を地図情報に重畳させて、表示装置４の表示画面２５に表示することができる。

また、ナビゲーションユニット５には、スピーカ３が接続されており、必要に応じて、たとえば一時停止や交差点等の経路案内を行う際に、表示装置４上への表示だけでなく、スピーカ３を介して音または音声によって乗員に知らせることができる。なお、最近のナビゲーション装置には、交通情報の提供や車両近傍の施設案内等、他にも様々な機能が搭載されており、この実施形態では、任意の適切なナビゲーション装置を利用することができる。

また、車両の周辺監視装置は、車両に搭載され、遠赤外線を検出可能な２つの赤外線カメラ１Ｒおよび１Ｌと、カメラ１Ｒおよび１Ｌによって撮像された画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット２を備えている。画像処理ユニット２は、表示装置４およびスピーカ３に接続されている。表示装置４は、カメラ１Ｒまたは１Ｌの撮像を介して得られた画像を表示すると共に、該画像から検出された車両周辺の対象物の存在について警報表示を行うのに利用される。また、スピーカ３は、該対象物の検出結果に基づいて音または音声で警報を発行するのに利用される。

この実施例では、図２の（ｂ）に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前方を撮像するよう、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。

画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号および表示装置４に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。

このように、この実施例では、ナビゲーション装置の表示装置４を、カメラ１Ｒおよび１Ｌによる撮像を介して得られた画像の表示、および該画像から検出された所定の対象物の存在を運転者に通知（警報）するための表示に利用する。フロントウィンドウ上の、運転者の前方位置に画面が表示されるように設けられたヘッドアップディスプレイ（ＨＵＤ）と異なり、表示装置４は、ハンドル２１から、車幅方向に所定距離だけ離れた位置に設けられているので、ＨＵＤに比べて、運転者が運転中に表示装置４の画面を視認するには水平方向に視線を移動させる必要がある。この視線移動により、ステアリングホイール２１が運転者によって左右に動かされるおそれがあり、結果として車両がふらつくおそれがある。ふらつきが生じると、運転者には、ふらつきをなくそうという意識が働き、これは、運転者への負担となりうる。

また、表示装置４への視線移動の時間が長くなるにつれ、ふらつき量も大きくなるおそれがあり、これは、走行路外へ車両を逸脱させたり、急に現れた歩行者や自転車と衝突する可能性を高くさせるおそれがある。

本願発明は、このような、表示装置に対する視線移動によって車両のふらつきが発生すると予測される場合には、該車両のふらつきを事前に防止するような制御を行う。このため、図１に示すように、車両に設けられた電動パワーステアリング（ＥＰＳ）ユニット６に、画像処理ユニット２が接続される。

ＥＰＳユニット６は、中央処理装置（ＣＰＵ）およびメモリを備えたコンピュータであるＥＣＵ（電子制御ユニット）に実現されることができる。ＥＰＳユニット６は、車両のステアリングホイール２１の操舵を補助（アシスト）するための装置であり、ステアリングモータ７およびステアリングダンパ８を制御する。

ここで、ＥＰＳユニット６を備えた電動パワーステアリング装置の一例を、図３を参照して簡単に説明する。

電動パワーステアリング装置は、この実施例では、手動操舵力発生機構３１を備えており、ステアリングホイール（操作子）２１に一体結合されたステアリングシャフト３４が、ユニバーサルジョイントを有する連結軸３５を介してラック＆ピニオン機構のピニオン３６に連結されて構成されている。ピニオン３６は、車幅方向に往復動し得るラック軸３７のラック歯３７ａに噛合し、ラック軸３７の両端には、タイロッド３８，３８を介して転舵輪としての左右の前輪３９，３９が連係されている。この構成により、ステアリングホイール２１の操舵時に通常のラック＆ピニオン式の転舵操作が可能であり、前輪３９，３９を転舵させて車両の向きを変えることができる。ラック軸３７とタイロッド３８，３８は転舵機構を構成する。

また、ラック軸３７と同軸上に、手動操舵力発生機構３１による操舵力を軽減するための補助操舵力（操舵アシスト量またはアシスト量と呼ばれる）を供給するステアリングモータ７が設けられている。すなわち、この装置ではステアリングモータ７が操舵をアシストする。ステアリングモータ７の出力はボールねじ機構４２を介して推力に変換され、ラック軸３７に作用せしめられる。

ステアリングシャフト３４には、ステアリングシャフト３４の操舵角を検出するための操舵角センサ４５が設けられ、上記のラック＆ピニオン機構（３６，３７ａ）を収容するステアリングギアボックス（図示せず）内には、ピニオン３６に作用する操舵トルクを検出するための操舵トルクセンサ４６が設けられている。また、車体の適所には、車両のヨーレートを検出するヨーレートセンサ４８と、車速を検出する車速センサ４９とが取り付けられている。

操舵角センサ４５は、検出した操舵角に対応する電気信号を、操舵トルクセンサ４６は、検出した操舵トルクに対応する電気信号を、ヨーレートセンサ４８は、検出したヨーレートに対応する電気信号を、車速センサ４９は、検出した車速に対応した電気信号を、それぞれＥＰＳユニット６に出力する。

ＥＰＳユニット６は、操舵トルクセンサ４６および車速センサ４９の出力信号に基づき、操舵トルクと車速に応じたベース電流を算出する。通常、操舵トルクが大きくなるにしたがってベース電流が大きくなり、車速が大きくなるにしたがってベース電流が小さくなるように設定する。

また、ＥＰＳユニット６は、ヨーレートセンサ４８の出力信号に基づき、ヨーレート反力補正電流を算出する。ヨーレート反力補正電流は、例えば車両の旋回走行時などにおいてヨーレートが発生したときに、このヨーレートを打ち消す方向のトルクを発生させる反力成分である。通常、ヨーレートが大きくなるにしたがってヨーレート反力補正電流が大きくなるように設定する。

ＥＰＳユニット６は、ベース電流からヨーレート反力補正電流を減算してステアリングモータ７の目標電流を決定する。ＥＰＳユニット６は、該決定した目標電流を、駆動回路５１を介してステアリングモータ７に供給することによりステアリングモータ７の出力トルクを制御し、ステアリング操作における補助操舵力（アシスト量）を制御する。

また、ラック軸３７には、路面から前輪３９を介してステアリング系に入力されるトルク外乱を抑制するためのステアリングダンパ（ダンパ）８が連結されている。すなわち、ステアリングダンパ８は、ステアリングホイール２１と前輪３９とを連結する伝達経路に配置されている。このステアリングダンパ８は、ＥＰＳユニット６からの制御信号に基づいて減衰力を調節することができる電子制御減衰力可変ダンパで構成されている。電子制御減衰力可変ダンパは、任意の適切な手段で構成されることができ、たとえば、その詳細は特開２００７−２８３９５４号公報に記載されている。減衰力は、上記の補助操舵力（アシスト量）を打ち消す方向に働くため、減衰力が大きいほど、ステアリングホイール２１の操作性は重くなる。したがって、運転者は、同じ量だけ車両を旋回させる場合でも、減衰力が大きくなるにつれて、ハンドル操作を重く感じることとなる。

図１に戻り、画像処理ユニット２は、カメラ１Ｒ，１Ｌにより取得された撮像画像に基づいて検出された対象物について表示装置４上に警報表示を出力するとき、車両のふらつきが予測される状態であると判定する。また、該警報表示が解除されているとき、車両のふらつきが予測される状態ではないと判定する。

画像処理ユニット２は、車両のふらつきが予測される状態と判定したことに応じて、アシスト量を低減するように、ステアリングダンパ８の制御値に第２の値を設定し、これをＥＰＳユニット６に送出する。該ふらつきが予測される状態ではないと判定したならば、該アシスト量の低減が解除されるように、該制御値に第１の値（通常の値）を設定し、これをＥＰＳユニット６に送出する。

ＥＰＳユニット６は、第２の値の制御値を受け取ったならば、アシスト量が所定量だけ低減されるように、ステアリングダンパ８を制御する。これにより、所定量だけ低減されたアシスト量となるように減衰力が制御される。また、ＥＰＳユニット６は、第１の値の制御値を受け取ったならば、該アシスト量の低減が解除されるように、ステアリングダンパ８を制御する。これにより、該低減が解除されたアシスト量（すなわち、上記のように決定されたステアリングモータ７の目標電流に基づくアシスト量）となるように減衰力が制御される。

撮像画像に基づいて検出された対象物について警報表示を出力すると、運転者は、通常、表示装置上に視線を移動させて該対象物を視認しようとする。すなわち、該警報表示の出力によって、運転者の視線が移動し、これによって車両にふらつきが生じる可能性があると予測することができる。したがって、このようなふらつきを事前に防止するため、画像処理ユニット２は、上記のように、ＥＰＳユニット６に対し、アシスト量を低減するための制御を行うよう指示する。こうして、警報表示が出力されている間にわたり、低減されたアシスト量でハンドル操作がアシストされることとなるので、ハンドル操作は重くなり、車両のふらつきを防止することができる。

一実施形態では、アシスト量を低減する量を、検出された対象物の位置に応じて変更してもよい。たとえば、第１の形態として、対象物が、車両から見て左右のどちら側に存在するかに応じて、アシスト量を低減する量を変更する。対象物が車両から見て右側に存在している場合には、運転者が警報対象物を認知しようとして車両が右側にふらつくおそれがある。したがって、ステアリングホイール２１が右方向に操舵される際のアシスト量が、左方向に操舵される際のアシスト量よりも低減されるようにし、右方向へのハンドル操作を重くする。同様に、対象物が車両から見て左側に存在している場合には、ステアリングホイール２１が左方向に操舵される際のアシスト量が、右方向に操舵される際のアシスト量よりも低減されるようにし、左方向へのハンドル操作を重くする。こうして、車両が対象物の存在する側にふらつくのを防止することができる。

第２の形態として、対象物の移動方向に応じて、アシスト量を低減する量を変更する。車両の走行路を横切るように移動する対象物が存在すると、運転者は、焦り等から操舵操作をふらつかせるおそれがある。したがって、対象物の移動方向を算出し、該対象物が、車両の走行路に向けて移動していると判断した場合には、該対象物が、車両の走行路に向けて移動していると判断しない場合に比べて、アシスト量を低減する量を大きくする。代替的に、対象物の移動方向だけでなく、対象物の車両に対する相対速度を算出してもよい。そして、該対象物の移動方向が車両の走行路に向かっており、かつ相対速度が所定値以上の場合、そうではない場合に比べて、アシスト量を低減する量を大きくするようにしてもよい。

第３の形態として、対象物の自車両からの距離に応じて、アシスト量を低減する量を変更する。対象物が、比較的車両から近距離に存在すると、上記と同様に、運転者は、焦り等から操舵操作をふらつかせるおそれがある。したがって、対象物までの距離を算出し、該距離が所定値以下であるときには、該距離が所定値より大きい場合に比べて、アシスト量を低減する量を大きくする。なお、対象物が至近距離に迫っているときには、ハンドル操作を軽くするために、該アシスト量の低減を解除するようにしてもよい。したがって、たとえば、対象物の自車両からの距離が、第１の所定値以上であり、かつ第２の所定値（これは、第１の所定値より大きい）以下である場合、該対象物までの距離が該第２の所定値より大きい場合に比べて、アシスト量を低減する量を大きくしてもよい。

必ずしも必要とされるものではないが、この実施形態では、図１に示すように、視線検知ユニット９がさらに設けられており、これは、画像処理ユニット２に接続される。視線検知ユニット９は、運転者の視線の方向を検知するよう構成されている。

視線検知ユニット９は、任意の適切な手法で実現されることができる。たとえば、特開２０１０−０２３６７０には、２個の赤外線ＬＥＤを発光させ、運転者の顔に向けて赤外線を照射させた後、赤外線カメラで撮像し、該撮像された画像に基づいて、角膜表面における反射像（プルキニエ像）の中心位置と瞳孔の中心位置との相対距離から運転者の視線の方向を検知する手法が記載されている。また、特開２００９−２１１４９８号公報には、車室内センサから出力される画像データに対して、例えば運転者の頭部などを検知対象物とした所定の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトル（視線方向）あるいは運転者の顔向きを算出することが記載されている。

こうして、視線検知ユニット９によって検出された、運転者の視線の方向を示すデータは、画像処理ユニット２に渡される。

上記では、警報表示の出力が行われるときに、車両のふらつきが予測される状態と判定したが、該状態を、さらに、視線検知ユニット９によって検知された運転者の視線の方向およびナビゲーションユニット５によって出力される経路案内に関する情報に基づいて判定してもよい。

たとえば、以下のいずれかの条件が満たされたとき、車両のふらつきが予測される状態であると判定することができる。

１）視線検知ユニット９によって検出された運転者の視線の向きが、表示装置４に向けられていると判定されたとき。
２）ナビゲーションユニット５によって、車両の進行経路に関する案内（たとえば、進行経路上に交差点や一時停止等が存在することを事前に運転者に知らせるための案内）が表示装置４上に出力されているとき。

上記１）は、表示装置４に対して視線移動が行われた状態を示す。上記２）は、何らかの案内情報が表示装置４上に表示されている状態であるので、運転者が該案内情報を視認するため、表示装置４に対して視線移動を行う可能性が高いと予測される。

また、上記の条件１）および２）のいずれも満たされず、かつ前述した警報表示の出力も解除されているとき、車両のふらつきが予測される状態ではないと判定することができる。

この場合も、画像処理ユニット２は、前述したのと同様に、車両のふらつきが予測される状態と判定されたならば、アシスト量を低減するため、ステアリングダンパ８の制御値に第２の値を設定して、これをＥＰＳユニット６に送出する。車両のふらつきが予測される状態と判定されなければ、該アシスト量の低減を解除するため、該制御値に第１の値を設定して、これをＥＰＳユニット６に送出する。

こうして、運転者の視線が、表示装置に向けられているとき、および向けられる可能性が高いときには、車両のふらつきが予測される状態と判定され、該車両のふらつきを防止するための制御が行われる。

なお、上記の実施形態では、機械的なステアリングダンパを設けることでステアリング系に減衰力を作用させているが、代替的に、ステアリングモータ７の制御量に対して、減衰力に対応する補正（ダンパ補正）を電気的に行うようにしてもよい。この場合、減衰力を大きくするときには、前述したベース電流から、ダンパ補正電流を減算することで、モータ７を駆動する電流を小さくする。ダンパ補正電流の大きさを調整することにより、該減衰力の大きさを調整することができる。このような電流制御は、特開２００７−２８３９５４に記載されている。

図４は、この発明の一実施形態に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。

ステップＳ１１において、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これに基づいて、ステップＳ１３において対象物判定・警報処理のプロセスを実行する。

該プロセスは図５に示されており、ステップＳ５１、５２において、撮像画像のデータがＡ／Ｄ変換されて、グレースケール画像が取得され、これが、画像メモリに格納される。格納される画像データは、輝度情報を含んだグレースケール画像である。

ステップＳ５３において、カメラ１Ｒで撮像された右画像を基準画像とし（代替的に、左画像を基準画像としてもよい）、その画像信号の２値化を行う。具体的には、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。この２値化処理により、たとえば生体のような所定の温度より高い温度の対象物が、白領域として抽出される。輝度閾値ＩＴＨは、任意の適切な手法で決定されることができる。

ステップＳ５４において、２値化した画像データをランレングスデータに変換する。具体的には、２値化により白となった領域について、各画素行の該白領域（ラインと呼ぶ）の開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで、ランレングスデータを表す。ここで、画像における垂直方向にｙ軸をとり、水平方向にｘ軸をとる。たとえば、ｙ座標がｙ１である画素行における白領域が、（ｘ１，ｙ１）から（ｘ３，ｙ１）までのラインであるとすると、このラインは３画素からなるので、（ｘ１，ｙ１，３）というランレングスデータで表される。

ステップＳ５５およびＳ５６において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを合わせて１つの対象物とみなし、これにラベルを付与する。こうして、１または複数の対象物が抽出される。

ステップＳ５７において、こうして抽出された対象物のそれぞれについて、注意すべき対象物か否かを判定する。この実施形態では、該注意すべき対象物は、歩行者であり、該歩行者に加えて動物を含めてもよい。ここで、対象物が歩行者か動物かを判定する処理は、任意の適切な手法で実現されることができる。たとえば、周知のパターンマッチングを利用し、上記のように抽出された対象物と、歩行者を表す所定のパターンとの類似度を算出し、該類似度が高ければ、歩行者であると判定することができる。動物についても、同様に判定することができる。このような判定処理の例示として、歩行者かどうかを判定する処理は、たとえば特開２００７−２４１７４０号公報、特開２００７−３３４７５１号公報等に記載されている。動物かどうかを判定する処理は、たとえば特開２００７−３１０７０５号公報、特開２００７−３１０７０６号公報等に記載されている。

ステップＳ５８において、注意すべき対象物と判定された対象物について、警報出力を行うか否かを判定する。具体的には、該注意すべき対象物が、車両から所定範囲内に存在するか否かを判断し、該所定範囲内に存在すれば、警報出力を行うと判定する。該所定範囲は、任意の手法で設定されることができる。

ここで、図６を参照して、該所定範囲の一例を簡単に説明すると、領域ＡＲ０は、カメラ１Ｒおよび１Ｌによって撮像可能な領域である撮像範囲を示す。撮像範囲ＡＲ０に対応する撮像画像に対して、図５のステップＳ５１からＳ５７の処理は実行される。領域ＡＲ１は、車両１０の車幅αの両側に余裕β（たとえば、５０〜１００ｃｍ程度とすることができる）を加えた範囲に対応する領域、換言すれば車両１０の車両長方向の中心軸の両側に（α／２＋β）の幅を有する領域であり、対象物がそのまま存在し続ければ衝突の可能性が高い接近判定領域である。領域ＡＲ２およびＡＲ３は、接近判定領域よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域であり、この領域にある対象物は接近判定領域へと侵入するおそれがある侵入判定領域である。接近判定領域および侵入判定領域は、距離値Ｚ１で制限される。

一例では、上記の所定範囲は、撮像範囲ＡＲ０とすることができる。この場合、ステップＳ５７で判定された対象物について、警報出力を行えばよい。他の例では、所定範囲は、領域ＡＲ１〜ＡＲ３を含む領域であり、判定された対象物が、車両１０から該距離Ｚ１の範囲内に存在する場合に、該対象物について警報出力を行うと判定することができる。距離Ｚ１は、固定値としてもよいし、対象物の車両１０に対する相対速度Ｖｓに所定時間Ｔを乗算した値でもよい。また、さらに他の例では、所定範囲を、接近判定領域ＡＲ１に限定してもよい。

図４に戻り、ステップＳ１５において、上記の警報出力の判定結果が、警報出力を行うとの判定であれば（Ｓ１５がＹｅｓ）、ステップＳ１７に進み、警報を出力する。警報出力は、この実施形態では、表示装置４上に表示された画像（この実施例では、ステップＳ５２で取得されたグレースケール画像）中の対象物に、強調枠を表示すると共に、音声による出力がなされる。

図７には、強調枠による警報出力の一例を模式的に示す。ここでは、該対象物は歩行者である。撮像画像から検出された歩行者を囲むように強調枠１０１を重畳表示することにより、警報出力を行っている。当然ながら、他の表示形態を用いて、警報出力を行ってもよい。

図４に戻り、警報出力が行われたので、運転者が表示装置４上に視線移動することが予測され、よって、車両のふらつきの可能性が予測される。したがって、ステップＳ２３において、アシスト量を低減するため、ステアリングダンパ８の制御値に第２の値を設定する。

他方、警報出力を行うとの判定がなされなければ（Ｓ１５がＮｏ）、ステップＳ２１において、アシスト量の低減を行わないように、ステアリングダンパ８の制御値に第１の値を設定する。ステップＳ２５において、第１または第２の値が設定された制御値を、ＥＰＳユニット６に送出する。これにより、該制御値に従ったステアリングダンパ８の制御が行われる。

前述したように、第２の値は、アシスト量の低減を指示するための値であり、第１の値は、このような低減を行わずに通常のアシスト量を指示するための値である。したがって、警報出力が行われていない間は、前述したように、電動パワーステアリング装置によって算出された目標電流に基づくアシスト量で通常通りハンドル操作がアシストされるが、警報出力が行われている間は、該アシスト量が所定量だけ低減されるので、ハンドル操作が重くなる。これにより、警報出力に応じて起こりうる車両のふらつきを事前に防止することができる。

図８は、この発明の他の実施形態に従う、画像処理ユニット２によって実行されるプロセスのフローチャートを示す。該プロセスは、所定の時間間隔で実行される。このプロセスは、前述した、対象物の位置に応じてステアリングホイール２１のアシスト量を変更する形態に基づいており、ここでは、対象物位置として、対象物が車両から見て左右のどちら側に存在するか、を用いている（第１の形態）。

図４と異なるのは、ステップＳ１８が追加されている点である。図５を参照して述べたように、撮像画像中から対象物は検出されているので、該対象物が、車両に対し、左右のどちらに存在するかは判明している。たとえば、図６を参照すると、対象物が領域ＡＲ１に存在すれば、該対象物は車両の進行方向に存在しており、対象物が領域ＡＲ２に存在すれば、該対象物は車両の右側に存在しており、対象物が領域ＡＲ３に存在すれば、該対象物は車両の左側に存在していると判定することができる。

ステップＳ１８では、車両の操舵方向と、対象物の車両から見た方向とが、一致するかどうかを判断する。すなわち、対象物が領域ＡＲ２に存在している場合、右方向に旋回する操舵が行われていれば、一致すると判断される。また、対象物がＡＲ３に存在している場合、車両が左方向に旋回する操舵が行われていれば、一致すると判断される。車両がどちらに旋回する操舵が行われているかは、操舵角センサ４５（図３）の出力から判断することができる。

こうして、操舵方向と、対象物の車両から見た方向とが一致すれば（Ｓ１８がＹｅｓ）、ステップＳ２３に進み、前述したように、ステアリングダンパ８の制御値に第２の値を設定して、ステアリングホイール２１のアシスト量を低減し、ハンドル操作を重くする。こうすることにより、運転者が、警報出力が行われた対象物を実空間上で認知しようとして視線を移動したことに伴う車両のふらつきを回避することができる。

他方、操舵方向と、対象物の車両から見た方向とが一致しなければ（Ｓ１８がＮｏ）、ステップＳ２１に進み、ステアリングダンパ８の制御値に第１の値を設定する。アシスト量の低減は行われず、通常のアシスト量がステアリングホイール２１に作用されるようにする。

代替的に、ステップＳ１８の判断がＮｏの場合、ステアリングダンパ８の制御値に第３の値を設定するステップを設け、該第３の値がＥＰＳユニット６に送出されるようにしてもよい。第３の値は、アシスト量を低減する量が、第１の値よりも大きいが、第２の値よりも小さいように設定される。こうすることにより、対象物が車両の周辺に存在するためにアシスト量の低減は行うものの、操舵方向と対象物の存在する方向が一致した場合は、一致しない場合に比べて、アシスト量の低減量を大きくすることができる。

なお、ステップＳ１８において、対象物が領域ＡＲ１上に存在し、かつ車両が直進走行しているときにも、方向は一致する。当該図では、この場合にステップＳ２３が実行されるようになっているが、代替的に、ステップＳ２１を実行するようにしてもよい。

前述したように、対象物の移動方向および（または）相対速度を考慮する第２の形態の場合には、抽出された対象物の追跡処理を実行することによって、対象物の移動方向および相対速度を表す相対移動ベクトルを算出することができる。この詳細な手法は、特開２００１−６０９６号公報に記載されている。該相対移動ベクトルに基づいて、アシスト量を変更してもよい。たとえば、ステップＳ１８において、相対移動ベクトルにより、対象物が、接近判定領域ＡＲ１に向けて移動しているかどうかを判断し、この判断がＹｅｓならばステップＳ２３に進み、この判断がＮｏならばステップＳ２１に進む（もしくは、前述したように、第３の値に設定するステップに進む）ことができる。

もしくは、ステップＳ１８において、対象物が、所定値以上の相対速度で接近判定領域ＡＲ１に向けて移動しているかどうかを判断し、この判断がＹｅｓならばステップＳ２３に進み、この判断がＮｏならばステップＳ２１に進む（もしくは、前述したように、第３の値に設定するステップに進む）ことができる。

また、対象物の距離を考慮する第３の形態の場合、たとえばステップＳ１８において、対象物の距離が所定値以下かどうかを判断し、この判断がＹｅｓならばステップＳ２３に進み、この判断がＮｏならばステップＳ２１に進む（もしくは、前述したように、第３の値に設定するステップに進む）ことができる。

図９は、この発明のさらに他の実施形態に従う、画像処理ユニット２によって実行されるプロセスのフローチャートである。該プロセスは、所定の時間間隔で実行される。このプロセスは、視線検知およびナビゲーションによる経路案内をも考慮した形態となっている。

ステップＳ１１〜Ｓ１５、Ｓ１７は図４のものと同じであり、ステップＳ１５で警報出力を行うとの判定であれば、ステップＳ１６で第１のフラグＦｌａｇ１に値１をセットし、警報出力を行わないとの判定ならば、ステップＳ１８で第１のフラグＦｌａｇ１にゼロをセットする。

ステップＳ２１において、視線検知ユニット９によって検知された運転者の視線の方向を示すデータを取得する。ステップＳ２３において、該視線方向が、表示装置４に向かっているか否かを判断し、向かっていれば（Ｓ２３がＹｅｓ）、ステップＳ２５で第２のフラグＦｌａｇ２に値１をセットし、向かっていなければ（Ｓ２３がＮｏ）、ステップＳ２７で第２のフラグＦｌａｇ２にゼロをセットする。

ステップＳ３１において、ナビゲーションユニット５によって、車両の進行経路に関する案内が表示装置４上に出力されているか否かを判定する。経路案内として、任意のものを含めることができ、たとえば、前述したように一時停止案内や交差点の案内等を含めることができる。経路案内に関する情報が表示装置４上に出力されているならば（Ｓ３１がＹｅｓ）、ステップＳ３３で第３のフラグＦｌａｇ３に値１をセットし、出力されていなければ（Ｓ３１がＮｏ）、ステップＳ３５で第３のフラグＦｌａｇ３にゼロをセットする。

ステップＳ４１において、第１〜第３のフラグＦｌａｇ１〜３の少なくとも１つに値１がセットされているか否かを判断する。少なくとも１つのフラグに値１がセットされていれば（Ｓ４１がＹｅｓ）、ステップＳ２３において、前述したように、ステアリングダンパ８の制御値に第２の値を設定し、アシスト量を低減してハンドル操作を重くする。すべてのフラグがゼロであれば（Ｓ４１がＮｏ）、ステアリングダンパ８の制御値に第１の値を設定する。

こうして、運転者の視線の方向、ナビゲーションの経路案内、撮像を介した警報出力に基づいて、車両のふらつきが予測される状態が判定されたならば、アシスト量を低減してハンドル操作を重くするので、車両のふらつきを事前に防止することができる。

なお、アシスト量を低減する量を変更する形態は、上記のものに限定されるものではなく、以下のような形態も可能である。

一実施形態では、検出された対象物として、歩行者が検出されたか否かに応じて、アシスト量を低減する量を変更してもよい。たとえば、歩行者が検出されない場合のアシスト量に比べて、歩行者が検出された場合のアシスト量が低減されるようにする。これにより、歩行者が検出された場合の方が、ハンドル操作が重くなり、車両のふらつきを防止することができる。この場合、たとえば図８のステップＳ１８で、対象物が歩行者か否かを判断し、歩行者でなければ、ステップＳ２１に進み、歩行者であれば、ステップＳ２３に進むことができる。

さらなる一実施形態では、検出された対象物の種別に応じて、アシスト量を低減する量を変更してもよい。たとえば、検出された対象物が歩行者である場合のアシスト量に比べて、検出された対象物が自転車または動物である場合のアシスト量が低減されるようにする。自転車および動物は、歩行者に比べて移動速度が速く、また、移動方向も急変するおそれがある。したがって、自転車および動物のいずれかが検出された場合には、ハンドル操作を重くして、車両のふらつきを防止することができる。この場合、たとえば図５のステップＳ５７の対象物判定処理において、対象物が歩行者か動物かを判定する処理に加え、対象物が自転車かどうかを判定する処理が行われる。この判定処理は、任意の適切な手段で行うことができる。たとえば、自転車を運転する運転者の両足の周期的な動きに着目し、対象物を時間追跡して、両足に相当するとみなすことができる２つの縦長の画像領域が垂直方向に交互に動くことが検出されたならば、自転車と判定することができる。そして、たとえば図８のステップＳ１８において、対象物が歩行者であれば、ステップＳ２１に進み、対象物が自転車または動物であれば、ステップＳ２３に進むことができる。

さらなる一実施形態では、ナビゲーション装置から、車両が走行している地域に関する情報を取得し、該情報に応じてアシスト量を低減する量を変更してもよい。たとえば、ナビゲーション装置から、車両が現在走行している地域が、或る程度の数の人口が存在する「街」かどうかを示す情報を取得する。「街」は、任意の情報源に基づいて、任意の適切な条件を満たす地域として定義されることができる。たとえば、日本の場合、市区町村の単位で、人口密度が所定値以上であれば「街」に分類し、人口密度が該所定値より小さければ、「街」以外に分類することができる。また、人口密度に加え、その地域への就業や通学のための流入人口を考慮してもよい。こうして、各市区町村について、「街」か否かが決定されて、この情報が、たとえば地図情報に予め記憶されることができる。

そして、ナビゲーション装置から取得した情報が「街」を示している場合のアシスト量を、「街」を示していない場合のアシスト量よりも低減されるようにする。こうして、比較的人が多い地域では、ハンドル操作を重くして、車両のふらつきを防止することができる。この場合、たとえば図９のステップＳ３１において、前述した経路案内が出力中か否かの処理に加え、車両の現在位置が「街」かどうかの情報をナビゲーション装置から取得する。経路案内が出力中、または「街」であれば、ステップＳ３３に進み、経路案内が出力されておらず、かつ「街」でなければ、ステップＳ３５に進むことができる。

上記の実施形態では、ナビゲーション装置に備えられた表示装置を用いている。上記に述べたように、本願発明では、このような運転者による視線移動の必要な表示装置を用いても、車両のふらつきを防止することができる。しかしながら、表示装置として、前述したようなＨＵＤを用いてもよい。

さらに、上記の実施形態では、遠赤外線カメラを用いているが、本願発明は、他のカメラ（たとえば、可視カメラ）にも適用可能である。

以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。

１Ｒ，１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット
３ スピーカ
４ 表示装置

Claims (3)

1. 車両に搭載された撮像装置によって撮像した画像に基づいて該車両の周辺の対象物を検出する手段と、該撮像画像に基づく表示画像を、該車両の乗員が視認可能なように表示装置上に表示する表示手段と、前記対象物が車両から所定範囲内にあるとき、前記表示手段を用いて、前記表示画像上に該対象物に関する警報を行う警報手段と、を有する車両の周辺監視装置であって、
   該車両には、運転者によるステアリングホイールの操舵を補助するパワーステアリング装置が備えられており、
   さらに、少なくとも前記警報手段が前記警報を発している間にわたり、前記ステアリングホイールの操舵を補助するアシスト量を低減するように、前記パワーステアリング装置を制御する制御手段を備え、
   前記制御手段は、前記対象物と前記車両との距離が至近距離である所定値以下では前記アシスト量の低減を解除する、
   車両の周辺監視装置。
2. 前記制御手段は、前記車両が直進走行しており、少なくとも前記警報手段が前記警報を発している間にわたり、前記ステアリングホイールの操舵を補助するアシスト量を低減するように、前記パワーステアリング装置を制御すること
   を特徴とする、請求項１に記載の車両の周辺監視装置。
3. 前記制御手段は、前記対象物が、前記車両の走行している走行路に向けて移動している場合には、前記走行路に向けて移動していないときに比べて前記アシスト量を低減する量を大きくすること
   を特徴とする、請求項１または２に記載の車両の周辺監視装置。

Images