JP4696792B2 - 車載警報装置 - Google Patents

Description

本発明は、車載警報装置に係り、特に、カメラの撮像画像に基づいて車両運転者の視線方向を検出し、その検出結果に応じて運転者への警報制御を行う車載警報装置に関する。

従来から、車両前方の障害物に対する自車両の衝突可能性が所定レベルに達したときに車両運転者に衝突警報を行う装置が知られている（例えば、特許文献１参照）。この装置においては、車室内に設けられたカメラの撮影する画像を用いて運転者が視線を正面方向から外す脇見をしているか否かが検出される。そして、運転者の脇見が検出されたときは、車両運転者にスピーカ出力やディスプレイ表示による警報を行うための前方障害物との衝突可能性に関する上記所定レベルが小さく変更される。このため、上記従来の装置によれば、車両運転者が脇見をしたときに上記の衝突警報を早目に出力させることができ、その結果として、車両走行時における安全性を向上させることが可能となる。
特開２００４−１４５７２５号公報

ところで、上記従来の装置において、運転者の脇見を検出するために設けられるカメラは、ステアリングホイールのコラムカバー上に設けられるため、太陽や街灯，他車のヘッドライトなどの光の影響によっては、カメラの撮像画像が画像処理されても、運転者の脇見検出に必要な特徴部が抽出されず、その脇見の有無を検出することができないことがある。また、カメラ自体が何らかの要因で故障することがある。しかしながら、上記従来の装置では、脇見有無に応じた上記の警報制御を行ううえで、上述の如く運転者の脇見検出が不可能な状況になった場合における対応がなされていないので、運転者への警報が適切なタイミングで行われないおそれがあった。

本発明は、上述の点に鑑みてなされたものであり、カメラの撮像画像に基づく運転者の脇見検出が不可能な状況になった場合においても適切に警報制御を実行することが可能な車載警報装置を提供することを目的とする。

上記の目的は、カメラの撮像画像に基づいて車両運転者の視線方向を検出する視線方向検出手段と、前記視線方向検出手段により検出される前記視線方向が正面方向にあるときは前方障害物との衝突可能性が所定レベルに達してから、一方、前記視線方向が正面方向にないときは前方障害物との衝突可能性が前記所定レベルに達する前から、車両運転者に向けて第１の警報を行う第１の警報手段と、前記視線方向検出手段により検出される前記視線方向が正面方向にないときに、前記第１の警報手段により第１の警報を開始するタイミングを一律に早めるタイミング変更手段と、前記第１の警報手段により前方障害物との衝突可能性が前記所定レベルに達する前から第１の警報が開始された後、前記視線方向検出手段により検出される前記視線方向が正面方向にない状態の継続時間が所定時間以上である場合に、第１の警報とは異なる第２の警報を車両運転者に向けて行う第２の警報手段と、を備える車載警報装置であって、前記視線方向検出手段による検出が不可能な状況にあるか否かを判別する検出状況判別手段を備え、前記第１の警報手段は、前記検出状況判別手段により前記視線方向検出手段による検出が不可能な状況にあると判別される場合には、前方障害物との衝突可能性が前記所定レベルに達してから第１の警報を行うと共に、前記第２の警報手段は、前記検出状況判別手段により前記視線方向検出手段による検出が不可能な状況にあると判別される場合には、車両運転者に向けた第２の警報を禁止する車載警報装置により達成される。

この態様の発明において、通常は、カメラの撮像画像に基づいて検出される車両運転者の視線方向が正面方向にあるときは前方障害物との衝突可能性が所定レベルに達してから第１の警報が行われ、一方、その視線方向が正面方向にないときは衝突可能性がその所定レベルに達する前から第１の警報が行われるが、カメラの撮像画像に基づく車両運転者の視線方向の検出が不可能な状況にある場合には、視線方向に関係なく、衝突可能性が所定レベルに達してから第１の警報が行われる。従って、カメラの撮像画像に基づく車両運転者の視線方向の検出が不可能な状況になっても適切に警報制御を実行することができる。

また、上記の目的は、カメラの撮像画像に基づいて車両運転者の視線方向を検出する視線方向検出手段と、前記視線方向検出手段により検出される前記視線方向が正面方向にあるときは前方障害物との衝突可能性が所定レベルに達してから、一方、前記視線方向が正面方向にないときは前方障害物との衝突可能性が前記所定レベルに達する前から、車両運転者に向けて第１の警報を行う第１の警報手段と、前記視線方向検出手段により検出される前記視線方向が正面方向にない状態の継続時間に応じて、前記第１の警報手段により前方障害物との衝突可能性が前記所定レベルに達する前において第１の警報を開始するタイミングを変更するタイミング変更手段と、前記第１の警報手段により前方障害物との衝突可能性が前記所定レベルに達する前から第１の警報が開始された後、前記視線方向検出手段により検出される前記視線方向が正面方向にない状態の継続時間が所定時間以上である場合に、第１の警報とは異なる第２の警報を車両運転者に向けて行う第２の警報手段と、を備える車載警報装置であって、前記視線方向検出手段による検出が不可能な状況にあるか否かを判別する検出状況判別手段を備え、前記タイミング変更手段は、前記検出状況判別手段により前記視線方向検出手段による検出が不可能な状況にあると判別される場合には、前記タイミングの変更を禁止すると共に、前記第２の警報手段は、前記検出状況判別手段により前記視線方向検出手段による検出が不可能な状況にあると判別される場合には、車両運転者に向けた第２の警報を禁止する車載警報装置により達成される。

この態様の発明において、通常、カメラの撮像画像に基づいて検出される車両運転者の視線方向が正面方向にないときは衝突可能性がその所定レベルに達する前から第１の警報が行われ、その視線方向が正面方向にない状態の継続時間に応じてその第１の警報の開始タイミングが変更されるが、カメラの撮像画像に基づく車両運転者の視線方向の検出が不可能な状況にある場合には、その第１の警報の開始タイミングの変更が禁止される。従って、カメラの撮像画像に基づく車両運転者の視線方向の検出が不可能な状況になっても第１の警報を適切なタイミングで開始させることができる。

ところで、上記した車載警報装置において、前記第１の警報手段により前方障害物との衝突可能性が前記所定レベルに達する前から第１の警報が開始された後、前記視線方向検出手段により検出される前記視線方向が正面方向にない状態の継続時間が所定時間以上である場合に、第１の警報とは異なる第２の警報を車両運転者に向けて行う第２の警報手段を備え、前記第２の警報手段は、前記検出状況判別手段により前記視線方向検出手段による検出が不可能な状況にあると判別される場合には、車両運転者に向けた第２の警報を禁止する。かかる構成においては、車両運転者の視線方向の検出が不可能な状況になっても第２の警報が誤って行われることはなく、これにより、第２の警報の適切な実行を確保することが可能となる。
尚、上記した車載警報装置において、前記第１の警報は、車両運転者の視覚又は聴覚を刺激する警報表示又はブザー吹鳴であると共に、前記第２の警報は、車両運転者が体感する車輪制動又はステアリング振動であることとしてもよい。

尚、上記した車載警報装置において、前記検出状況判別手段は、前記視線方向検出手段によりカメラの撮像画像から車両運転者の視線方向の検出がなされないか否かを判別することとしてもよく、また、前記検出状況判別手段は、前記カメラに故障が生ずるか否かを判別することとしてもよい。

尚、これらの発明において、「正面方向」とは、運転者が一般に直線走行時に視線をほぼ車両進行方向に向けているときの方向のことである。

本発明によれば、カメラの撮像画像に基づく運転者の脇見検出が不可能な状況になった場合においても適切に警報制御を実行することができる。

図１は、本発明の一実施例である車載警報装置１０の構成図を示す。また、図２は、本実施例の車載警報装置１０が備える車両運転者の顔を撮影するために設けられたカメラの配置図を示す。尚、図２（Ａ）には車両横方向から見た際の図を、また、図２（Ｂ）には図１（Ａ）に示す矢視IIIの方向へ見た際の図を、それぞれ示す。本実施例の車載警報装置１０は、自車両と自車両の前方に存在する先行車両や対向車両，静止物などの障害物との衝突を予測して、その衝突可能性が比較的高くなったときに車両運転者に向けて衝突回避或いは衝突緩和のための警報を行うプリクラッシュセーフティ（ＰＣＳ）システムである。

図１に示す如く、車載警報装置１０は、コンピュータを主体に構成された電子制御ユニット（以下、ＰＣＳ−ＥＣＵと称す）１２を備えている。ＰＣＳ−ＥＣＵ１２には、車体前端のバンパやフロントグリル等に配設された障害物センサ１４が接続されている。障害物センサ１４は、例えばミリ波レーダやレーザレーダ，カメラ等により構成されており、自車両の前方（特に自車両の進路上）に存在する障害物に応じた信号をＰＣＳ−ＥＣＵ１２に対して出力する。ＰＣＳ−ＥＣＵ１２は、障害物センサ１４の出力信号に基づいて、前方障害物の有無を検出すると共に、前方障害物が存在するときには自車両とその前方障害物との距離を検出し、そして、その検出距離と車速センサなどを用いて検出される自車速とに基づいて両者の相対速度を検出する。

車載警報装置１０は、また、上記のＰＣＳ−ＥＣＵ１２とシリアル通信接続された、コンピュータを主体に構成されたカメラＥＣＵ１６を備えている。カメラＥＣＵ１６には、車両運転者の顔を撮影するために設けられた顔画像撮影カメラ１８が接続されている。顔画像撮影カメラ１８は、図２に示す如く例えば、運転者が操舵時に左右に回転操作するステアリングホイール２０の軸部を覆う非回転部材であるステアリングコラムカバー２２の上面又はコンビネーションメータ２４内に配置されている。顔画像撮影カメラ１８は、ステアリングホイール２０の表面に運転者がそのステアリングホイール２０を手で握るためかつコンビネーションメータ２４を視認するために開口する開口部を通して、車両進行方向と正対する方向かつ車両運転者の頭部が存在する方向に指向されており、車両運転者の顔をほぼ正面から撮影する。尚、夜間撮影のため、車両運転者の顔へ向けて赤外線を投光するランプを設けることとしてもよい。

顔画像撮影カメラ１８の映像信号は、カメラＥＣＵ１６に供給されている。カメラＥＣＵ１６は、顔画像撮影カメラ１８から供給される映像信号に基づいて２値化処理や特徴点抽出処理を行うことにより、運転者の顔を映した画像を抽出し、その抽出画像から運転者の顔幅及び顔中心線を検出し、それらのパラメータから画像に映る顔の左右間隔比率を算出し、そして、その左右間隔比率から運転者の顔が向く方向すなわち正面からの角度（以下、運転者が直線走行時にその走行レーンに沿って車両進行方向に真正面に視線を向けたときを０°とする。；顔向き角度）を検出する。

カメラＥＣＵ１６は、また、顔画像撮影カメラ１８の撮像画像に基づいて運転者の顔向き角度を検出する過程において、太陽などの光の影響などに起因してエッジ点や特徴点の抽出を行うことができないため顔向き角度の検出を行うことができない状況にあるか否かを判別する。更に、顔画像撮影カメラ１８の電源電圧異常や同期信号未発信などの故障並びに顔画像撮影カメラ１８との通信ラインの途絶などの異常を検出することができる。

カメラＥＣＵ１６の検出した車両運転者の顔向き角度の情報並びに顔向き角度の未検出及び故障の情報は、ＰＣＳ−ＥＣＵ１２に供給される。ＰＣＳ−ＥＣＵ１２は、カメラＥＣＵ１６からの顔向き角度の情報に基づいて、車両運転者が視線を向けた方向としてその顔向き角度θを把握する。また、顔向き角度未検出や故障の情報の有無に基づいて、顔画像撮影カメラ１８を用いた運転者の顔向き角度の検出が不可能であるか否かを判別する。

ＰＣＳ−ＥＣＵ１２には、警報表示ディスプレイ２６、警報ブザー２８、及びブレーキ装置３０が接続されている。警報表示ディスプレイ２６は、例えば車室内のインストルメントパネルに設けられたメータユニットであり、後述の如くＰＣＳ−ＥＣＵ１２からの駆動指令に従って警報表示を行うことで車両運転者に対する注意喚起を行う。また、警報ブザー２８は、車室内に設けられたブザー警報器であり、後述の如くＰＣＳ−ＥＣＵ１２からの駆動指令に従ってブザー吹鳴を行うことで車両運転者に対する注意喚起を行う。更に、ブレーキ装置３０は、車両の車輪を制動させる油圧式や電動式のブレーキアクチュエータを有しており、運転者のブレーキ操作が行われた場合及びＰＣＳ−ＥＣＵ１２からの指示がなされた場合にそのブレーキアクチュエータを駆動して車輪を制動させる。

次に、本実施例の車載警報装置１０の動作について説明する。図３は、本実施例の車載警報装置１０の動作を説明するための図を示す。図４は、本実施例において用いられる後述の脇見継続時間としきい値タイムとの関係を表したマップを示す。また、図５は、本実施例の車載警報装置１０の動作を説明するための図を示す。

本実施例において、ＰＣＳ−ＥＣＵ１２は、障害物センサ１４の出力に基づいて前方障害物の存在を検知したときには、以後一定時間ごとに、その前方障害物との距離及び相対速度並びに自車両の進路及びその進路に対する前方障害物の位置等に基づいて、自車両が現時点で前方障害物と衝突する可能性（衝突可能性）を演算する。尚、自車両が前方障害物と衝突するまでの時間が短いほどその衝突可能性は高まるので、ＰＣＳ−ＥＣＵ１２が演算する衝突可能性は、自車両と前方障害物との距離を両者の相対速度で割って求まる時間（衝突予測時間）に対応した値とすればよく、この際には、その衝突予測時間が短いほど大きな値となる。

一般に、車両運転者は、自車両と同じ車線上で前方にある前方障害物（例えば停止車両）に対して、その前方障害物と衝突する前所定時間（例えば、１．８秒や２秒；時速６０ｋｍ／ｈのときは約３０メートル手前）までに、衝突回避のためのステアリング操作やブレーキ操作などの行動を開始することが多い。従って、衝突前において、早いタイミングで車両運転者に向けて表示やブザーによる警報を行うことは衝突回避や被害軽減を図るうえでは有効であるが、車両運転者が衝突回避行動をとり得る上記の所定時間内に運転者への警報が行われるものとすると、運転者が近い将来に衝突回避行動をとることを予定しているときにも警報が行われる事態が起こり得、運転者が警報を煩わしく感じ、不快な思いをすることがある。そこで、ＰＣＳ−ＥＣＵ１２は、運転者が不快な思いをするのを抑えつつ衝突回避行動を有効にとることが可能な衝突可能性すなわち衝突までの時間（例えば、１．８秒や２秒）を、警報を開始するための基準しきい値レベル（衝突までの基準タイムｔ１）として予め記憶装置に格納している。

また、車両の前面衝突は、運転者がインナーミラーや運転席側や助手席側のアウターミラー，車室内のディスプレイ表示を見たり、或いは、車体左右の安全確認のために車外を視認したりする脇見による前方不注意が原因となって起こることが多い。従って、自車両の衝突回避や被害軽減を図るうえでは、衝突前、運転者の車両前方への注意力が低下しているときは、通常よりも早いタイミングで車両運転者に向けて上記の警報を行うことが適切である。

ここで、上述の如き運転者の脇見は、その視線が正面からある程度の角度を伴って行われるものである。そこで、ＰＣＳ−ＥＣＵ１２は、運転者が視線を正面方向から外す脇見を行っているか否かを判別するための顔向き角度のしきい値θ０（例えば、±１５°）を、予め記憶装置に格納している。ＰＣＳ−ＥＣＵ１２は、カメラＥＣＵ１６から運転者の顔向き角度θの情報が供給されるごとに、その顔向き角度θを記憶装置に格納されているしきい値θ０と比較する。

ＰＣＳ−ＥＣＵ１２は、上記比較の結果として顔向き角度θがしきい値θ０内に収まる状況では、運転者の視線がほぼ正面に向いていると判断して、上記の如く現時点での自車両と前方障害物との衝突可能性を演算した際に、その衝突可能性を記憶装置に格納されている基準しきい値レベルと比較する。尚、運転者の視線がほぼ正面に向いていると判断するのは、顔向き角度θがしきい値θ０内に収まる状態の継続時間が所定時間に達してから、顔向き角度θがしきい値θ０外にある状態の継続時間が所定時間に達するまでであってもよく、かかる判断がなされた際に、演算した衝突可能性を基準しきい値レベルと比較することとなる。

そして、かかる比較結果から、衝突可能性が基準しきい値レベルに達したとき、すなわち、衝突予測時間が基準タイムｔ１以下になったとき、その時点から衝突時まで警報がなされるように警報表示ディスプレイ２６及び警報ブザー２８に対して駆動指令を行う。この場合には、自車両と前方障害物との衝突回避又は衝突緩和を運転者に促すため、警報表示ディスプレイ２６が警報表示を行い、警報ブザー２８がブザー吹鳴を行うこととなる（図３（Ａ）参照）。

また、ＰＣＳ−ＥＣＵ１２は、上述の比較結果として顔向き角度θがしきい値θ０外にある状況では、運転者の視線が正面方向に向いていないと判断して、まず、運転者への警報を開始するうえで前方障害物との衝突予測時間が至るべきしきい値タイムｔｔを上記の基準タイムｔ１よりも長くすること（衝突時を基準にして早めにすること）で、衝突可能性が達すべきしきい値レベルを上記の基準しきい値レベルから低下させる。尚、運転者の視線が正面方向に向いていないと判断するのは、顔向き角度θがしきい値θ０外にある状態の継続時間が所定時間（例えば０．３秒）に達してから、顔向き角度θがしきい値θ０内に収まる状態の継続時間が所定時間に達するまでであってもよい。

尚、ＰＣＳ−ＥＣＵ１２は、このようにしきい値レベルの低下を実施するうえでは、まず、顔画像撮影カメラ１８の撮像画像に基づく運転者の顔向き角度θが脇見判別のためのしきい値θ０外にあることにより運転者の視線が正面方向に向いていないと判断したとき、以後その状態が継続する継続時間を計数する。そして、その計数した脇見の継続時間の長さに応じて、運転者への警報を開始するうえで前方障害物との衝突可能性が達すべきしきい値レベルの上記基準しきい値レベルからの低下量を変更する、すなわち、運転者への警報を開始するうえで前方障害物との衝突予測時間が至るべきしきい値タイムｔｔの上記基準タイムｔ１からの前出し時間を変更する。

具体的には、ＰＣＳ−ＥＣＵ１２は、図４に示す如き脇見継続時間としきい値タイムｔｔとの関係を表したマップを予め記憶装置に格納している。このマップは、両者の関係を下向きに凸の曲線状としたものであり、脇見継続時間が所定時間ｓ１（例えば、０．５秒）よりも短いときはしきい値タイムｔｔがほぼ基準タイムｔ１に一致する（＝前出し時間がゼロである）が、脇見継続時間が所定時間ｓ１以上であるときはその継続時間が長いほどしきい値タイムｔｔが基準タイムｔ１よりも長くなり（衝突時を基準にして早めになり＝前出し時間が長くなり）、脇見継続時間が所定時間ｓ１よりも長い所定時間ｓ２（例えば、１秒）以上であるときは、しきい値タイムｔｔが基準タイムｔ１よりも長い所定タイムｔ２（例えば、衝突まで３秒や３．５秒）となる（＝前出し時間が最大となる）ように設定されている。尚、このマップは、両者の関係を直線状や階段状などにしたものであってもよい。

従って、ＰＣＳ−ＥＣＵ１２は、図４に示す如き脇見継続時間としきい値タイムｔｔとの関係を表したマップを参照して、脇見継続時間の長さに応じたしきい値レベルの低下量すなわちしきい値タイムｔｔの前出し時間を設定すると共に、以後、脇見継続時間が更新されるごとに、その脇見継続時間に対応したしきい値レベルの低下量すなわちしきい値タイムｔｔの前出し時間を設定する。

そして、ＰＣＳ−ＥＣＵ１２は、運転者の視線が正面方向に向いていないと判断する状況において、各時点での自車両と前方障害物との衝突可能性を演算した際に、その演算された衝突可能性を上記の如く脇見継続時間に対応した量だけ低下されるしきい値レベルと比較する、具体的には、その演算された衝突予測時間が上記の如く脇見継続時間に対応した時間だけ基準タイムｔ１から前出しされるしきい値タイムｔｔ以下になっているか否かを判別する。

その比較結果から、衝突予測時間が上記基準タイムｔ１よりも長いしきい値タイムｔｔよりも長く、衝突可能性がレベル低下後のしきい値レベルに達していないときは、何ら警報表示ディスプレイ２６及び警報ブザー２８に対する駆動指令を行わない一方、衝突予測時間が上記のしきい値タイムｔｔ以下となり、衝突可能性が上記のしきい値レベルに達したときは、その時点から衝突時まで警報が行われるように警報表示ディスプレイ２６及び警報ブザー２８に対して駆動指令を行う。この場合には、自車両と前方障害物との衝突回避又は衝突緩和を運転者に促すため、警報表示ディスプレイ２６が警報表示を行い、警報ブザー２８がブザー吹鳴を行うこととなる（図３（Ｂ）参照）。

従って、本実施例の車載警報装置１０においては、前方障害物との衝突前、衝突回避又は被害軽減のための警報表示ディスプレイ２６による警報表示及び警報ブザー２８によるブザー吹鳴の警報を、運転者が視線を正面方向に向けているときは運転者が通常衝突回避行動をとり得るタイミングを経過した時点で行い、一方、運転者が視線を正面方向から外しているときは運転者が通常衝突回避行動をとり得るタイミングを経過する前から行うことができる。すなわち、前方障害物との衝突前、運転者が視線を正面方向から外しているときは、衝突回避又は被害軽減のための警報開始タイミングを、運転者が視線を正面方向に向けているときに比べて早めることができる。このため、本実施例によれば、前方障害物との衝突前において、できるだけ警報によって運転者に煩わしさを与えるのを抑制しつつ、運転者の脇見に起因して衝突回避行動が遅れるのを防止することができ、これにより、車両走行時における安全性を向上させることが可能となっている。

また、本実施例の構成において、前方障害物との衝突までの時間がある程度十分にある（具体的には、しきい値タイムｔｔの基準タイムｔ１からの前出し時間の最大時間とその前出し時間を最大にするのに脇見が継続すべき時間の最小時間とを加算した時間よりも長い）状況で運転者の視線が正面を向かない脇見が生じ、その脇見状態が長時間（ｓ２）にわたって継続した場合には、しきい値タイムｔｔの基準タイムｔ１からの前出し時間が最大となり、この際には、脇見が継続する状態で衝突予測時間がその前出し時間が最大となったしきい値タイムｔｔ（所定タイムｔ２）以下となった時点で警報が開始される。

また、前方障害物との衝突までの時間が上記の如く十分にはない状況で運転者の視線が正面を向かない脇見が生じた場合には、その後の脇見状態の継続時間に応じて上記の前出し時間が増加するが、その増加過程で衝突予測時間がそのしきい値タイムｔｔ以下となるので、その衝突予測時間がしきい値タイムｔｔ以下となった時点で警報が開始される。このことは、衝突時を基準にした脇見の開始タイミングによってはしきい値タイムｔｔの基準タイムｔ１からの前出し時間が制限されることを意味する。

尚、前方障害物との衝突前に運転者の脇見が生じたが、衝突予測時間がその脇見継続時間の増加に伴って前出し時間が増加されるしきい値タイムｔｔ以下となる前に、その脇見が解消されて運転者の視線が正面方向に向き直った場合には、前出し時間をゼロにしてしきい値タイムｔｔを通常の基準タイムｔ１に設定するのが好適である。これは、運転者の視線が正面方向に向き直れば、警報開始タイミングを通常のタイミングよりも早める必要性が少なくなるからである。この場合には、通常どおり、衝突予測時間が基準タイムｔ１以下となった時点で警報が開始されることとなる。

このように、本実施例の車載警報装置１０によれば、運転者が視線を正面方向から外しているときに早める警報の開始タイミングを、その視線が外れて脇見が生じている状態の継続時間の長さに応じて変更することができる。具体的には、脇見継続時間が長いほど、運転者への警報を開始するうえで前方障害物との衝突予測時間が至るべきしきい値タイムｔｔの上記基準タイムｔ１からの前出し時間を長くすることで衝突可能性が達すべきしきい値レベルの上記基準しきい値レベルからの低下量を大きくし、上記の警報開始タイミングを早めることができる。

このため、前方障害物との衝突前において、車両運転者の脇見継続時間が比較的短いときは、警報開始タイミングが衝突可能性が基準しきい値レベルに達する時点よりも大きく早まることはないので、運転者に対して警報による不快な思いを与えるのを抑止することが可能となる。また、車両運転者の脇見継続時間が比較的長いときは、警報開始タイミングが衝突可能性が基準しきい値レベルに達する時点よりも大きく早まることとなるので、視線が正面に向き直らない運転者に衝突回避や被害軽減のための行動を早期に促すことが可能となる。従って、本実施例の車載警報装置１０によれば、車両衝突前において警報によって運転者に煩わしさを与えるのを抑えつつ運転者の脇見状態に合わせた適切な警報を行うことが可能となっており、これにより、車両走行時における安全性を向上させることが可能となっている。

また、本実施例において、ＰＣＳ−ＥＣＵ１２は、前方障害物との衝突可能性が運転者の脇見に起因して基準しきい値レベルから低下させたしきい値レベルに達することにより、警報表示ディスプレイ２６による警報表示及び警報ブザー２８によるブザー吹鳴の一次警報を開始した後、（１）その警報開始前から始まった運転者の視線が正面方向に向いていない脇見状態の継続する継続時間が、しきい値タイムｔｔの基準タイムｔ１からの前出し時間を最大とする上記所定時間ｓ２よりも長い所定時間ｓ３（例えば、２秒）以上であり、かつ、（２）現時点でもその脇見状態が継続するか否かを判別する。

その結果、上記した（１）及び（２）の条件が共に成立すると判別する場合は、次に、（３）現時点で演算される自車両と前方障害物との衝突予測時間が上記基準タイムｔ１以下であることでその衝突可能性が上記基準しきい値レベルに達しているか否か、及び、衝突可能性が基準しきい値レベルに達していると判別する場合は、（４）自車両の前方障害物に対する相対速度が所定相対速度（例えば＋４０ｋｍ／ｈ）以上であり、かつ、（５）自車両の速度が所定速度（例えば４０ｋｍ／ｈ）以上であるか否かを判別する。

その結果、上記した（３）〜（５）の条件の何れかが成立しないと判別する場合は、以後何ら処理を進めることはないが、かかる（３）〜（５）の条件のすべてが成立すると判別する場合は、その時点から所定時間（例えば、０．５秒間）だけ車輪制動が行われるようにブレーキ装置３０に対して駆動指示を行う。この場合には、自車両と前方障害物との衝突回避又は衝突緩和を体感警報により運転者に促すため、ブレーキ装置３０が二次警報としての車輪制動（警報制動）を行うこととなる。尚、かかる二次警報としての車輪制動は、予め定められた所定減速度（例えば２ｍ／ｓ^２）で行われるものであればよい。

かかる処理によれば、例えば図５（Ａ）に示す如く、前方障害物との衝突前に運転者の脇見に起因して衝突可能性が基準しきい値レベルに達する前から警報表示ディスプレイ２６による警報表示及び警報ブザー２８によるブザー吹鳴の一次警報が開始されても、その後、衝突可能性が基準しきい値レベルに達する前（衝突予測時間が基準タイムｔ１以下となる前）に運転者の視線が正面に向き直って脇見状態が解消した場合は、それまでの脇見状態の継続時間に関係なく、二次警報としての車輪制動が行われることはない。

一方、図５（Ｂ）に示す如く、前方障害物との衝突前に運転者の脇見に起因して衝突可能性が基準しきい値レベルに達する前から上記の警報表示及びブザー吹鳴の一次警報が開始された後、衝突可能性が基準しきい値レベルに達した時点で、その時点を含めた脇見状態の継続時間が所定時間ｓ３以上である場合は、直ちにその時点で二次警報としての車輪制動が行われる。また、図５（Ｃ）に示す如く、前方障害物との衝突前に運転者の脇見に起因して衝突可能性が基準しきい値レベルに達する前から上記の警報表示及びブザー吹鳴の一次警報が開始された後、衝突可能性が基準しきい値レベルに達した時点ではその時点を含めた脇見の継続時間が所定時間ｓ３未満であるが、その後に脇見継続時間が所定時間ｓ３以上となった場合は、その時点で始めて二次警報としての車輪制動が行われる。

このように、本実施例の車載警報装置１０によれば、前方障害物との衝突前に運転者の脇見に起因して衝突可能性が基準しきい値レベルに達する前から警報表示ディスプレイ２６による警報表示及び警報ブザー２８によるブザー吹鳴の一次警報が開始された後、前方障害物との衝突予測時間が基準タイムｔ１以下となることで衝突可能性が基準しきい値レベル以上にあり、かつ、脇見継続時間が所定時間ｓ３以上である場合には、更に、ブレーキ装置３０を用いた車輪制動の二次警報が行われる。すなわち、前方障害物との衝突前、運転者の脇見に起因して通常よりも早いタイミングで開始された警報表示やブザー吹鳴の一次警報が実行されている最中に、運転者の脇見があまり長時間継続することなく運転者の視線が正面に向き直ったときは、一次警報とは別の新たな警報が行われることはないが、上記の通常よりも早いタイミングで開始された一次警報が行われているにもかかわらず、運転者の脇見が所定時間ｓ３以上継続するときは、衝突可能性が基準しきい値レベルに達していることを条件に、車輪制動の二次警報が所定時間だけ実施される。

このような車輪制動の二次警報が行われれば、運転者は、視覚や聴覚を刺激する警報とは別に、車両から制動を伴った体感警報がなされているのを知ることが可能となる。従って、本実施例の車載警報装置１０によれば、前方障害物との衝突前、視覚や聴覚を刺激する警報が行われても車両運転者の脇見が継続する状況においては、その車両運転者に、その視覚や聴覚を刺激する警報とは異なる体感を伴う警報により、その視線を正面に向き直らせ易くすると共に、衝突回避や衝突軽減のための行動を更に促進することができ、これにより、運転者の脇見状態に合わせた適切な警報を実行することが可能となっている。

また、本実施例において、車輪制動の二次警報は、上記の如く、衝突可能性が運転者の非脇見時に一次警報を開始するうえで達すべき基準しきい値レベルに達していることを条件に実施される。すなわち、運転者の脇見が長時間継続していても衝突可能性が基準しきい値レベルに達していなければ、二次警報がなされることはない。従って、本実施例の車載警報装置１０によれば、前方障害物との衝突前、警報表示及びブザー吹鳴の一次警報が開始された後に車輪制動の二次警報が不必要に早いタイミングで行われることはないので、かかる二次警報によって運転者に煩わしさを与えるのを防止することが可能である。

ところで、本実施例の車載警報装置１０は、顔画像撮影カメラ１８の撮像画像を処理することにより運転者の視線が正面方向から外れる脇見を検出するものであり、検出される運転者の脇見の有無及び継続時間に応じて一次警報の開始タイミングを早めること（一次警報の前出し）を可能とし、更に、検出される運転者の脇見に起因して通常よりも早いタイミングで開始された警報表示やブザー吹鳴の一次警報の開始後、運転者の脇見の継続時間に応じて一次警報とは異なる二次警報を行うことを可能としている。この点、本実施例において、顔画像撮影カメラ１８の撮像画像を処理することにより運転者の視線が正面方向から外れる脇見を検出することは極めて重要であって、運転者の脇見検出を適正に行うためには、顔画像撮影カメラ１８に故障が生ずることなく、かつ、カメラＥＣＵ１６におけるカメラ撮像画像に対する２値化処理や特徴点抽出などの画像処理により運転者の顔幅や顔中心線が検出されてその顔向き角度θが適正に検出されることが必要である。

すなわち、顔画像撮影カメラ１８に何らかの故障が生じたときやカメラ撮像画像から運転者の顔幅や顔中心線などが検出されず顔向き角度θが適正に検出されないときは、運転者の脇見検出が適正に行われないとして、上記の一次警報や二次警報の制御を行うことが適切である。そこで、本実施例の車載警報装置１０においては、上記の如き運転者の脇見の検出が不可能な状況にあるか否かを判別して、その検出が不可能な状況にある場合に、脇見検出不能に対応させて一次警報や二次警報の制御を行うこととしている。以下、図６を参照して、本実施例の特徴部について説明する。図６は、本実施例の車載警報装置１０においてＰＣＳ−ＥＣＵ１２が実行する制御ルーチンの一例のフローチャートを示す。

本実施例において、カメラＥＣＵ１６は、上述の如く、光の影響などに起因して顔向き角度の検出を行うことができない状況にあるか否かを判別すると共に、顔画像撮影カメラ１８の故障並びに顔画像撮影カメラ１８との通信ラインの途絶などの異常を検出する。カメラＥＣＵ１６は、運転者の顔向き角度の検出を行うことができなかったとき又は顔画像撮影カメラ１８の故障や通信ラインの異常を検出したときは、顔向き角度の情報に代えて、運転者の顔向き角度の検出が不可能である旨を示す情報をＰＣＳ−ＥＣＵ１２に対して供給する。

ＰＣＳ−ＥＣＵ１２は、カメラＥＣＵ１６から顔向き角度検出が不可能である旨を示す情報が供給されるか否かに基づいて、顔画像撮影カメラ１８を用いた運転者の脇見検出が不可能であるか否かを判別する（ステップ１００）。そして、かかる情報が供給されないときは、通常どおり、顔向き角度の情報に基づいて運転者の顔向き角度θを把握して脇見検出を行ったうえで、その脇見の有無に応じて警報表示及びブザー吹鳴の一次警報を開始するうえで前方障害物との衝突可能性が達すべきしきい値レベルを設定し、また、その脇見の継続時間の長さに応じて脇見時におけるしきい値レベルの低下量を変更し、更に、脇見に起因して通常よりも早いタイミングで開始された一次警報の開始後、その脇見の継続時間の長さに応じて車輪制動の二次警報を行うか否かの制御を行う（ステップ１０２）。

一方、上記の顔向き角度検出が不可能である旨を示す情報が供給されたときは、カメラ画像に基づく運転者の脇見検出が不可能な状況にあると判断し、その時点までの脇見継続時間に関係なく、以後、その時点までに警報表示及びブザー吹鳴の一次警報を開始していないときは、警報表示及びブザー吹鳴の一次警報を開始するうえで衝突予測時間が至るべきしきい値タイムｔｔを基準タイムｔ１に戻すことで前方障害物との衝突可能性が達すべきしきい値レベルを基準しきい値レベルに戻すと共に、更に、脇見継続時間の計数値をゼロにしてその計数を中止することで脇見継続時間の長さに応じた衝突可能性のしきい値レベルの変更及び車輪制動の二次警報を共に禁止する（ステップ１０４）。

このように、本実施例の車載警報装置１０においては、顔画像撮影カメラ１８等に故障・異常が生ずる事態、及び、光の影響などに起因してカメラ画像から顔向き角度の検出を行うことができない事態が生じないときは、運転者の脇見検出が可能な状況にあるとして、通常どおりの上記した一次警報や二次警報の制御を実行する一方、顔画像撮影カメラ１８等に故障・異常が生ずる事態、又は、太陽光の影響などに起因してカメラ画像から顔向き角度の検出を行うことができない事態が生じたときは、運転者の脇見検出が不可能な状況にあるとして、一次警報を開始するための前方障害物との衝突可能性のしきい値レベルを通常の基準しきい値レベルに戻しかつ脇見継続時間に応じた衝突可能性のしきい値レベルの変更を禁止したうえで、警報表示及びブザー吹鳴の一次警報の制御を実行すると共に、車輪制動の二次警報を禁止することができる。

運転者の脇見検出が不可能な状況において、その時点までの脇見継続時間に関係なく、一次警報の開始タイミングが図３（Ａ）に示す如く非脇見時と同様の通常のタイミングに復帰され、脇見継続時間の長さに応じた一次警報の開始タイミングの変更が禁止されることによって、前方障害物との衝突可能性が基準しきい値レベルに達した時点からその一次警報が開始されるものとすれば、一次警報が通常よりも早いタイミングで開始されることはなくなるので、脇見検出不能時に警報表示及びブザー吹鳴の一次警報によって運転者に煩わしさを与えるのをできる限り防止することが可能である。

従って、本実施例の車載警報装置１０によれば、顔画像撮影カメラ１８の撮像画像に基づく運転者の脇見検出が不可能な状況になっても、運転者に煩わしさを与えることのない適切なタイミングで一次警報を行うことが可能となっている。また、顔画像撮影カメラ１８の撮像画像に基づく運転者の脇見状態に応じて行われる一次警報の制御や衝突可能性のしきい値レベルの変更制御を、運転者の脇見が検出可能な適切な環境下でのみ実行することができ、これにより、運転者の脇見状態に合わせた適切な一次警報の制御を実行することが可能となっている。

また、本実施例において、顔画像撮影カメラ１８の撮像画像に基づく運転者の脇見検出が不可能な状況では、上記の如く通常よりも早いタイミングで一次警報が開始されることはなく、また、一次警報が通常よりも早いタイミングで開始された後に脇見継続時間の長さが所定時間以上である場合に行われる車輪制動の二次警報の実行は禁止される。この点、顔画像撮影カメラ１８の撮像画像に基づく運転者の脇見検出が不可能なときに二次警報が誤って行われることは回避されるので、従って、車輪制動の二次警報を運転者の脇見が検出可能な適切な環境下でのみ実行することができ、これにより、運転者の脇見状態に合わせた適切な二次警報の制御を実行することが可能となっている。

尚、上記の実施例においては、顔画像撮影カメラ１８が特許請求の範囲に記載した「カメラ」に、基準しきい値レベルが特許請求の範囲に記載した「所定レベル」に、警報表示ディスプレイ２６による警報表示及び警報ブザー２８によるブザー吹鳴の一次警報が特許請求の範囲に記載した「第１の警報」に、ブレーキ装置３０による車輪制動の二次警報が特許請求の範囲に記載した「第２の警報」に、それぞれ相当している。

また、ＰＣＳ−ＥＣＵ１２が、カメラＥＣＵ１６からの情報に基づいて運転者の顔向き角度θを検出することにより特許請求の範囲に記載した「視線方向検出手段」が、警報表示及びブザー吹鳴の一次警報がなされるように警報表示ディスプレイ２６及び警報ブザー２８に対して駆動指令を行うことにより特許請求の範囲に記載した「第１の警報手段」が、上記図６に示すルーチン中ステップ１００の処理を実行することにより特許請求の範囲に記載した「検出状況判別手段」が、運転者の脇見継続時間の長さに応じて運転者への警報を開始するうえで前方障害物との衝突可能性が達すべきしきい値レベルの上記基準しきい値レベルからの低下量を変更すること、及び、脇見検出が不可能である状況でかかるしきい値レベルの変更を禁止することにより特許請求の範囲に記載した「警報タイミング変更手段」が、通常よりも早いタイミングで一次警報が開始された後、運転者の脇見継続時間が所定時間以上である場合に車輪制動の二次警報を行うこと、及び、脇見検出が不可能である状況でかかる二次警報を禁止することにより特許請求の範囲に記載した「第２の警報手段」が、それぞれ実現されている。

ところで、上記の実施例においては、車両運転者の視線方向としてその顔が正面から向く角度を検出することとしているが、本発明はこれに限定されるものではなく、車両運転者の目の向く方向そのものを検出することとしてもよい。

また、上記の実施例においては、顔画像撮影カメラ１８の撮像画像に基づく運転者の脇見検出が不可能な状況で、一次警報の開始タイミングを非脇見時と同様の通常タイミングに復帰させ、脇見継続時間の長さに応じた一次警報の開始タイミングの変更を禁止することで、前方障害物との衝突可能性が基準しきい値レベルに達した時点から一次警報を行うこととしているが、更に、カメラ画像を利用した運転者の脇見検出が不可能である旨をコンビネーションメータ２４にインジケータ表示することとしてもよい。

また、上記の脇見検出が不可能な状況で、脇見継続時間の長さに応じた一次警報の開始タイミングの変更を禁止する一方で、その開始タイミングを固定して、衝突可能性のしきい値レベルをその時点でのレベルに維持することとしてもよい。この場合においては、前方障害物との衝突可能性がその時点までの脇見継続時間に応じたレベルに達した時点から一次警報が行われることとなる。尚、この構成においても、脇見検出が不可能である状況で、運転者の脇見継続時間が所定時間以上である場合に行う車輪制動の二次警報を禁止することとしてもよい。

また、上記の実施例においては、顔画像撮影カメラ１８の撮像画像に基づく運転者の脇見検出が不可能な状況では、脇見継続時間の長さに応じた一次警報の開始タイミングの変更を禁止すると共に、前方障害物との衝突可能性が基準しきい値レベルに達した時点からその一次警報を行い、脇見継続時間が所定時間以上である場合になされる二次警報を禁止するが、その後にカメラ画像に基づく運転者の脇見検出が可能な状況に移行した場合は、以後、上記した各種警報制御を元通りに復帰させることとしてもよい。

また、上記の実施例においては、運転者の視線が外れて脇見が生じている状態の継続時間の長さに応じて、視線を正面方向から外しているときに早める警報の開始タイミングを変更することとしているが、その脇見状態の継続時間の長さに関係なく、視線を正面方向から外しているときは正面方向に向けているときに比べて警報の開始タイミングを一律に早めるシステムに適用することも可能である。

また、上記の実施例においては、運転者の脇見に起因して通常よりも早いタイミングで警報表示やブザー吹鳴の一次警報が開始された後、運転者の脇見継続時間が所定時間以上である場合に、ブレーキ装置３０を用いて運転者に衝突回避や衝突軽減を図る行動を促がすための車輪制動の二次警報を行うこととしているが、車両の運転席自体やステアリングホイール２０を微小振動させ得る装置を車両に搭載したときはその装置を作動させて運転者に衝突回避や衝突軽減を図る行動を促がすための二次警報を行うこととしてもよい。また、車輪制動の二次警報を実施することとしているが、かかる二次警報を実施しないシステムに適用することも可能である。

本発明の一実施例である車載警報装置の構成図である。 本実施例の車載警報装置が備える車両運転者の顔を撮影するために設けられたカメラの配置図である。 本実施例の車載警報装置の動作を説明するための図である。 本実施例において用いられる脇見継続時間としきい値タイムｔｔとの関係を表したマップである。 本実施例の車載警報装置の動作を説明するための図である。 本実施例の車載警報装置において実行される制御ルーチンの一例のフローチャートである。

符号の説明

１０ 車載警報装置
１２ ＰＣＳ−ＥＣＵ
１４ 障害物センサ
１６ カメラＥＣＵ
１８ 顔画像撮影カメラ
２０ 警報表示ディスプレイ
２２ 警報ブザー
２４ ブレーキ装置

Claims (5)

1. カメラの撮像画像に基づいて車両運転者の視線方向を検出する視線方向検出手段と、前記視線方向検出手段により検出される前記視線方向が正面方向にあるときは前方障害物との衝突可能性が所定レベルに達してから、一方、前記視線方向が正面方向にないときは前方障害物との衝突可能性が前記所定レベルに達する前から、車両運転者に向けて第１の警報を行う第１の警報手段と、前記視線方向検出手段により検出される前記視線方向が正面方向にないときに、前記第１の警報手段により第１の警報を開始するタイミングを一律に早めるタイミング変更手段と、前記第１の警報手段により前方障害物との衝突可能性が前記所定レベルに達する前から第１の警報が開始された後、前記視線方向検出手段により検出される前記視線方向が正面方向にない状態の継続時間が所定時間以上である場合に、第１の警報とは異なる第２の警報を車両運転者に向けて行う第２の警報手段と、を備える車載警報装置であって、
   前記視線方向検出手段による検出が不可能な状況にあるか否かを判別する検出状況判別手段を備え、
   前記第１の警報手段は、前記検出状況判別手段により前記視線方向検出手段による検出が不可能な状況にあると判別される場合には、前方障害物との衝突可能性が前記所定レベルに達してから第１の警報を行うと共に、
   前記第２の警報手段は、前記検出状況判別手段により前記視線方向検出手段による検出が不可能な状況にあると判別される場合には、車両運転者に向けた第２の警報を禁止することを特徴とする車載警報装置。
2. カメラの撮像画像に基づいて車両運転者の視線方向を検出する視線方向検出手段と、前記視線方向検出手段により検出される前記視線方向が正面方向にあるときは前方障害物との衝突可能性が所定レベルに達してから、一方、前記視線方向が正面方向にないときは前方障害物との衝突可能性が前記所定レベルに達する前から、車両運転者に向けて第１の警報を行う第１の警報手段と、前記視線方向検出手段により検出される前記視線方向が正面方向にない状態の継続時間に応じて、前記第１の警報手段により前方障害物との衝突可能性が前記所定レベルに達する前において第１の警報を開始するタイミングを変更するタイミング変更手段と、前記第１の警報手段により前方障害物との衝突可能性が前記所定レベルに達する前から第１の警報が開始された後、前記視線方向検出手段により検出される前記視線方向が正面方向にない状態の継続時間が所定時間以上である場合に、第１の警報とは異なる第２の警報を車両運転者に向けて行う第２の警報手段と、を備える車載警報装置であって、
   前記視線方向検出手段による検出が不可能な状況にあるか否かを判別する検出状況判別手段を備え、
   前記タイミング変更手段は、前記検出状況判別手段により前記視線方向検出手段による検出が不可能な状況にあると判別される場合には、前記タイミングの変更を禁止すると共に、
   前記第２の警報手段は、前記検出状況判別手段により前記視線方向検出手段による検出が不可能な状況にあると判別される場合には、車両運転者に向けた第２の警報を禁止することを特徴とする車載警報装置。
3. 前記第１の警報は、車両運転者の視覚又は聴覚を刺激する警報表示又はブザー吹鳴であると共に、
   前記第２の警報は、車両運転者が体感する車輪制動又はステアリング振動であることを特徴とする請求項１又は２記載の車載警報装置。
4. 前記検出状況判別手段は、前記視線方向検出手段によりカメラの撮像画像から車両運転者の視線方向の検出がなされないか否かを判別することを特徴とする請求項１乃至３の何れか一項記載の車載警報装置。
5. 前記検出状況判別手段は、前記カメラに故障が生ずるか否かを判別することを特徴とする請求項１乃至３の何れか一項記載の車載警報装置。

Images