JP6627787B2

JP6627787B2 - ドライバ状態検出装置

Info

Publication number: JP6627787B2
Application number: JP2017006120A
Authority: JP
Inventors: 松村　健; 健松村
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2017-01-17
Filing date: 2017-01-17
Publication date: 2020-01-08
Anticipated expiration: 2037-01-17
Also published as: US10525981B2; JP2018116426A; US20180201274A1

Description

本発明はドライバ状態検出装置に関する。

急病等によって車両のドライバに異常が生じた場合、ドライバは車両を適切に運転又は監視することができない。このため、自車両及び他車両の安全を確保すべく、ドライバ状態を監視し、ドライバの異常を検出できることが望ましい。

従来、ドライバの異常を検出するための方法がいくつか提案されている。例えば、特許文献１には、走行中の車両に外力が加えられた後に検出されるドライバの顔情報（頭部の揺れの振幅の大きさ）に基づいてドライバの運転不能状態を検出することが開示されている。また、特許文献２には、ドライバの顔情報（視線情報、瞬目情報、顔向き情報等）、心拍情報、呼吸情報、脳波情報等に基づいてドライバ状態を検出することが開示されている。

国際公開第２０１５／１９８５４２号特開２０１４−０１９３０１号公報

しかしながら、ドライバの顔情報を用いる方法では、ドライバの顔が未検出の場合、ドライバの異常を検出することができない。また、ドライバの心拍情報、呼吸情報又は脳波情報を検出するためには、複雑且つ高価な装置が必要である。

そこで、本発明の目的は、ドライバの顔が未検出の場合であっても、ドライバの異常を容易に検出することができるドライバ状態検出装置を提供することにある。

本開示の要旨は以下のとおりである。

（１）車内に設けられると共に、車両のドライバを撮影してドライバ画像を生成するドライバモニタカメラと、前記ドライバ画像に基づいて前記ドライバの状態を判定するドライバ状態判定部とを備え、前記ドライバ状態判定部は、前記ドライバ画像に基づいて前記ドライバのステアリングへの倒れ込みを検出した場合に前記ドライバが運転不能状態にあると判定する、ドライバ状態検出装置。

（２）前記ドライバ状態判定部は、前記ドライバ画像のコントラストが、前記ドライバが前記ドライバモニタカメラの前方にいないときに前記ドライバモニタカメラによって生成される車内画像のコントラストよりも低い場合に前記ステアリングへの倒れ込みを検出する、上記（１）に記載のドライバ状態検出装置。

（３）前記ドライバ状態判定部は、前記倒れ込みの検出を開始する前に、前記ドライバモニタカメラによる撮影によって前記車内画像のコントラストを更新する、上記（２）に記載のドライバ状態検出装置。

（４）前記ドライバ状態判定部は、輝度差が所定値以下の領域の面積の割合が前記車内画像よりも前記ドライバ画像において高い場合に前記ドライバ画像のコントラストが前記車内画像のコントラストよりも低いと判定する、上記（２）又は（３）に記載のドライバ状態検出装置。

（５）前記ドライバ状態判定部は、前記ドライバ画像において前記ドライバの顔を検出できず且つ前記ステアリングのホーンボタンが押圧されていることを検出した場合に前記ステアリングへの倒れ込みを検出する、上記（１）から（４）のいずれか１つに記載のドライバ状態検出装置。

（６）前記ドライバの前記ステアリングへの接触を検出するステアリングタッチセンサを更に備え、前記ドライバ状態判定部は、前記ドライバ画像において前記ドライバの顔を検出できず且つ前記ステアリングタッチセンサによって前記ステアリングへの接触が検出された場合に前記ステアリングへの倒れ込みを検出する、上記（１）から（５）のいずれか１つに記載のドライバ状態検出装置。

本発明によれば、ドライバの顔が未検出の場合であっても、ドライバの異常を容易に検出することができるドライバ状態検出装置が提供される。

図１は、本発明の第一実施形態に係るドライバ状態検出装置の構成を示すブロック図である。図２は、ドライバ状態検出装置を搭載した車両の内部を概略的に示す図である。図３は、ドライバのステアリングへの倒れ込みを示す図である。図４は、第一実施形態における倒れ込み検出処理の制御ルーチンを示すフローチャートである。図５は、第一実施形態におけるドライバ状態判定処理の制御ルーチンを示すフローチャートである。図６は、第二実施形態におけるコントラスト更新処理の制御ルーチンを示すフローチャートである。図７は、第三実施形態における倒れ込み検出処理の制御ルーチンを示すフローチャートである。図８は、本発明の第四実施形態に係るドライバ状態検出装置の構成を示すブロック図である。図９は、第四実施形態における倒れ込み検出処理の制御ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

＜第一実施形態＞
以下、図１〜図５を参照して、本発明の第一実施形態について説明する。図１は、本発明の第一実施形態に係るドライバ状態検出装置の構成を示すブロック図である。ドライバ状態検出装置１は、車両に搭載され、車両のドライバの状態を検出する。ドライバ状態検出装置１はドライバモニタカメラ１０と電子制御ユニット（ＥＣＵ）２０とを備える。

図２は、ドライバ状態検出装置を搭載した車両の内部を概略的に示す図である。ドライバモニタカメラ１０は車両８０のドライバを撮影してドライバ画像を生成する。ドライバモニタカメラ１０は車内に設けられる。具体的には、図２に示すように、ドライバモニタカメラ１０は車両８０のステアリングコラム８１の上部に設けられる。図２には、ドライバモニタカメラ１０の投影範囲が破線で示されている。なお、ドライバモニタカメラ１０は、車両８０のステアリング８２、メータパネル、メータフード等に設けられてもよい。

ドライバモニタカメラ１０はカメラ及び投光器から構成される。例えば、カメラはＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラであり、投光器はＬＥＤ（発光ダイオード）である。また、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影できるように、好ましくは、投光器は近赤外ＬＥＤである。例えば、投光器は、カメラの両側に配置された二個の近赤外ＬＥＤである。また、カメラには可視光カットフィルタのようなフィルタが設けられてもよい。ドライバモニタカメラ１０によって生成されたドライバ画像はドライバモニタカメラ１０からＥＣＵ２０に送信される。

ＥＣＵ２０は、双方向性バスによって相互に接続された中央演算装置（ＣＰＵ）、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、入力ポート及び出力ポートを備えたマイクロコンピュータである。本実施形態では、一つのＥＣＵ２０が設けられているが、機能毎に複数のＥＣＵが設けられていてもよい。ＥＣＵ２０は、ドライバモニタカメラ１０によって生成されたドライバ画像に基づいてドライバの状態を判定するドライバ状態判定部２１と、車両８０の各種アクチュエータ４０を制御する車両制御部２２とを含む。

急病等によって車両８０のドライバに異常が生じた場合、ドライバは車両８０を適切に運転又は監視することができない。このため、自車両及び他車両の安全を確保すべく、ドライバ状態を監視し、ドライバの異常を検出できることが望ましい。しかしながら、ドライバに異常が生じたとき、ドライバモニタカメラ１０によって生成されたドライバ画像からドライバの顔を検出できない場合がある。また、ドライバの心拍情報、呼吸情報又は脳波情報を検出するためには、複雑且つ高価な装置が必要である。そこで、本実施形態では、ドライバのステアリング８２への倒れ込みを検出することによってドライバの異常を検出する。

具体的には、ドライバ状態判定部２１が、ドライバモニタカメラ１０によって生成されたドライバ画像に基づいてドライバのステアリング８２への倒れ込みを検出し、ドライバのステアリング８２への倒れ込みを検出した場合に、ドライバが運転不能状態にあると判定する。このことによって、本実施形態では、ドライバの顔が未検出の場合であっても、ドライバの異常を容易に検出することができる。

ドライバのステアリング８２への倒れ込みは例えば以下のように検出される。図３に示すようにドライバがステアリング８２に倒れ込んだ場合、ドライバがドライバモニタカメラ１０に接近するため、ドライバモニタカメラ１０によって生成されるドライバ画像のコントラストが低下する。このときのコントラストは、ドライバがドライバモニタカメラ１０の前方にいないときにドライバモニタカメラ１０によって生成される車内画像のコントラストよりも低い。また、ドライバ画像のコントラストは、ドライバが通常の運転姿勢にあるときには、上記車内画像のコントラストよりも高くなる。このため、ドライバ状態判定部２１は、ドライバモニタカメラ１０によって生成されるドライバ画像のコントラストが上記車内画像のコントラストよりも低い場合にドライバのステアリング８２への倒れ込みを検出する。

また、ＥＣＵ２０の車両制御部２２は、ドライバが運転不能状態にあると判定された場合には、危険回避制御を実行する。例えば、車両制御部２２は車両８０の各種アクチュエータ４０を制御して車両８０を退避させる。具体的には、車両制御部２２は、車両８０のハザードランプを点灯させつつ、車速を徐々に低下させて車両８０を路肩に停止させる。また、車両８０の走行を自動で制御可能な自動運転システムが車両８０に備えられていない場合には、危険回避制御として、例えばハザードランプの点灯が行われる。

なお、ドライバ状態判定部２１は、ドライバのステアリング８２への倒れ込みを検出した場合に、ドライバに警報を与えてもよい。この場合、ドライバ状態判定部２１は、ドライバのステアリング８２への倒れ込みを検出し且つドライバが警報に反応しなかった場合にドライバが運転不能状態にあると判定する。

例えば、ドライバ状態判定部２１はヒューマン・マシン・インターフェース（Human Machine Interface（ＨＭＩ））５０を介して視覚的又は聴覚的にドライバに警報を与える。ＨＭＩ５０は、ドライバと車両８０との間で情報の入出力を行うためのインターフェイスである。ＨＭＩ５０は、例えば、文字又は画像情報を表示するディスプレイ、音を発生させるスピーカ、ドライバが入力操作を行うための操作ボタン、タッチパネル、マイク等から構成される。

以下、図４及び図５のフローチャートを参照して、ドライバ状態検出装置１を用いてドライバ状態を検出するための制御について詳細に説明する。図４は、第一実施形態における倒れ込み検出処理の制御ルーチンを示すフローチャートである。本制御ルーチンは所定のタイミングでＥＣＵ２０によって実行される。本制御ルーチンでは、ドライバのステアリング８２への倒れ込みの有無が検出される。

最初に、ステップＳ１０１において、ドライバ状態判定部２１がドライバモニタカメラ１０を起動する。その後、ドライバモニタカメラ１０は所定間隔で車両８０のドライバを撮影してドライバ画像を生成し、生成されたドライバ画像はドライバ状態判定部２１に送信される。

次いで、ステップＳ１０２において、ドライバ状態判定部２１が、ドライバモニタカメラ１０によって生成されたドライバ画像のコントラストＣｄｒが、ドライバがドライバモニタカメラの前方にいないときにドライバモニタカメラによって生成される車内画像のコントラストＣｖｅよりも低いか否かを判定する。車内画像のコントラストＣｖｅは例えばＥＣＵ２０のＲＯＭに予め記憶されている。

例えば、ドライバ状態判定部２１は、輝度差が所定値以下の領域の面積の割合が車内画像よりもドライバ画像において高い場合にドライバ画像のコントラストが車内画像のコントラストよりも低いと判定する。また、ドライバ状態判定部２１は、輝度の最大値と最小値との差が車内画像よりもドライバ画像において小さい場合にドライバ画像のコントラストが車内画像のコントラストよりも低いと判定してもよい。

ステップＳ１０２においてドライバ画像のコントラストＣｄｒが車内画像のコントラストＣｖｅ以上であると判定された場合、ステップＳ１０２が繰り返し実行される。一方、ステップＳ１０２においてドライバ画像のコントラストＣｄｒが車内画像のコントラストＣｖｅよりも低いと判定された場合、本制御ルーチンはステップＳ１０３に進む。

ステップＳ１０３では、ドライバ状態判定部２１が、ドライバ画像のコントラストＣｄｒが車内画像のコントラストＣｖｅよりも低いと判定されている第一時間Ｔｊ１が第一基準時間Ｔｒｅｆ１以上であるか否かを判定する。言い換えれば、ドライバ状態判定部２１は、ドライバ画像のコントラストＣｄｒが車内画像のコントラストＣｖｅよりも低い状態が維持されている第一時間Ｔｊ１が第一基準時間Ｔｒｅｆ１以上であるか否かを判定する。第一基準時間Ｔｒｅｆ１は、予め定められ、例えば１秒〜５秒である。ステップＳ１０３において第一時間Ｔｊ１が第一基準時間Ｔｒｅｆ１未満であると判定された場合、本制御ルーチンはステップＳ１０２に戻る。一方、ステップＳ１０３において第一時間Ｔｊ１が第一基準時間Ｔｒｅｆ１以上であると判定された場合、本制御ルーチンはステップＳ１０４に進む。

ステップＳ１０４では、ドライバ状態判定部２１が、ドライバ操作が有るか否かを判定する。例えば、ドライバ状態判定部２１は、車両８０の加速、操舵及び制動の少なくとも一つがドライバによって操作されている場合に、ドライバ操作が有ると判定する。一方、ドライバ状態判定部２１は、車両８０の加速、操舵及び制動がドライバによって操作されていない場合に、ドライバ操作が無いと判定する。ステップＳ１０４においてドライバ操作が無いと判定された場合、本制御ルーチンはステップＳ１０５に進む。

この場合、ドライバがステアリング８２に倒れ込んでいると推定される。このため、ステップＳ１０５では、ドライバ状態判定部２１が倒れ込み検出フラグＦｄｆを１に設定する。すなわち、ドライバ状態判定部２１がドライバのステアリング８２への倒れ込みを検出する。倒れ込み検出フラグＦｄｆの初期値はゼロである。ステップＳ１０５の後、本制御ルーチンは終了する。

一方、ステップＳ１０４においてドライバ操作が有ると判定された場合、本制御ルーチンはステップＳ１０６に進む。この場合、光路内の異物等によってドライバモニタカメラ１０が正常に機能していないと推定される。このため、ステップＳ１０６では、ドライバ状態判定部２１が、ドライバモニタカメラ１０による撮影に異常が生じていると判定し、ＨＭＩ５０等を用いてドライバに異常を伝達する。ステップＳ１０６の後、本制御ルーチンは終了する。なお、ステップＳ１０４及びステップＳ１０６は省略されてもよい。

図５は、第一実施形態におけるドライバ状態判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、車両８０のイグニッションスイッチがオンにされている間、ＥＣＵ２０によって繰り返し実行される。本制御ルーチンではドライバ状態が判定される。

最初に、ステップＳ２０１において、ドライバ状態判定部２１が、倒れ込み検出フラグＦｄｆが１であるか否かを判定する。倒れ込み検出フラグＦｄｆが０であると判定された場合、本制御ルーチンは終了する。一方、倒れ込み検出フラグＦｄｆが１であると判定された場合、すなわちドライバの倒れ込みが検出されている場合、本制御ルーチンはステップＳ２０２に進む。

ステップＳ２０２では、ドライバ状態判定部２１がドライバに警報を与える。例えば、ドライバ状態判定部２１はＨＭＩ５０を介して視覚的又は聴覚的にドライバに警報を与える。警報時間は例えば２秒〜１０秒である。

次いで、ステップＳ２０３において、ドライバ状態判定部２１が、警報中にドライバの反応があったか否かを判定する。ドライバの反応とは、音声による応答、スイッチの押圧、運転操作等である。ステップＳ２０３において警報中にドライバの反応がなかったと判定された場合、本制御ルーチンはステップＳ２０４に進む。

ステップＳ２０４では、ドライバ状態判定部２１が、ドライバが運転不能状態にあると判定する。次いで、ステップＳ２０５において、車両制御部２２が危険回避制御を実行する。例えば、車両制御部２２は車両８０の各種アクチュエータ４０を制御して車両８０を退避させる。具体的には、車両制御部２２は、車両８０のハザードランプを点灯させつつ、車速を徐々に低下させて車両８０を路肩に停止させる。また、車両８０の走行を自動で制御可能な自動運転システムが車両８０に備えられていない場合には、危険回避制御として、例えばハザードランプの点灯が行われる。

次いで、ステップＳ２０６において、ドライバ状態判定部２１が倒れ込み検出フラグＦｄｆをリセットしてゼロに設定する。ステップＳ２０６の後、本制御ルーチンは終了する。

一方、ステップＳ２０３において警報中にドライバの反応があったと判定された場合、本制御ルーチンはステップＳ２０６に進む。この場合、警報によってドライバの意識が回復し又は倒れ込みの誤検出があったと推定されるため、ステップＳ２０６において倒れ込み検出フラグＦｄｆがゼロに設定される。ステップＳ２０６の後、本制御ルーチンは終了する。

なお、ステップＳ２０２及びステップＳ２０３は省略されてもよい。また、ドライバが運転不能状態にあることが明確に通知されなくても、車両８０の退避のような危険回避制御が実行された場合には、実質的に、ドライバが運転不能状態にあると判定されていると言える。

＜第二実施形態＞
第二実施形態に係るドライバ状態検出装置の構成及び制御は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ状態検出装置の構成及び制御と同様である。このため、以下、本発明の第二実施形態について、第一実施形態と異なる部分を中心に説明する。

ドライバモニタカメラ１０によって生成される画像のコントラストは、車内の照度の影響を受ける。また、車内の照度は、天候、時刻等によって変化する。そこで、第二実施形態では、ドライバ状態判定部２１は、ドライバのステアリング８２への倒れ込みの検出を開始する前に、ドライバモニタカメラ１０による撮影によって車内画像のコントラストを更新する。このことによって、車内の照度に関わらずドライバの倒れ込みによるドライバ画像のコントラストの低下を識別することができ、ひいてはドライバの倒れ込みをより精度良く検出することができる。

図６は、第二実施形態におけるコントラスト更新処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、ドライバが運転席に座る前にＥＣＵ２０によって実行される。例えば、本制御ルーチンは、車両８０のドアロックが解除されたときに実行される。本制御ルーチンでは、車内画像のコントラストが更新される。

最初に、ステップＳ３０１において、ドライバ状態判定部２１が車内画像を取得する。具体的には、ドライバ状態判定部２１は、ドライバモニタカメラ１０を起動して、ドライバモニタカメラ１０による撮影によって生成された車内画像をドライバモニタカメラ１０から受信する。次いで、ステップＳ３０２において、ドライバ状態判定部２１が車内画像のコントラストＣｖｅを更新する。更新された車内画像のコントラストＣｖｅは例えばＥＣＵ２０のＲＡＭに記憶される。ステップＳ３０２の後、本制御ルーチンは終了する。

第二実施形態においても、第一実施形態と同様に図４の倒れ込み検出処理の制御ルーチンと図５のドライバ判定処理の制御ルーチンとが実行される。第二実施形態では、図４のステップＳ１０２において、車内画像のコントラストＣｖｅとして、図６のステップＳ３０２において更新されたデータが用いられる。

＜第三実施形態＞
第三実施形態に係るドライバ状態検出装置の構成及び制御は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ状態検出装置の構成及び制御と同様である。このため、以下、本発明の第三実施形態について、第一実施形態と異なる部分を中心に説明する。

上述したように、ドライバがステアリング８２に倒れ込んだ場合、ドライバがドライバモニタカメラ１０に接近するため、ドライバモニタカメラ１０によって生成されるドライバ画像のコントラストが低下する。この結果、ドライバ画像においてドライバの顔を検出することができない。しかしながら、ドライバがドライバモニタカメラ１０の撮影範囲から外れたときにも、ドライバの顔が検出されない。一方、ドライバがステアリング８２に倒れ込んだ場合、ステアリング８２のホーンボタンがドライバによって押圧される場合がある。

そこで、第三実施形態では、ドライバ状態判定部２１は、ドライバモニタカメラ１０によって生成されたドライバ画像においてドライバの顔を検出できず且つステアリング８２のホーンボタンが押圧されていることを検出した場合にドライバのステアリング８２への倒れ込みを検出する。このことによって、より簡易的にドライバのステアリング８２への倒れ込みを検出することができる。

図７は、第三実施形態における倒れ込み検出処理の制御ルーチンを示すフローチャートである。本制御ルーチンは所定のタイミングでＥＣＵ２０によって実行される。本制御ルーチンでは、ドライバのステアリング８２への倒れ込みの有無が検出される。

最初に、ステップＳ４０１において、ドライバ状態判定部２１がドライバモニタカメラ１０を起動する。その後、ドライバモニタカメラ１０は所定間隔で車両８０のドライバを撮影してドライバ画像を生成し、生成されたドライバ画像はドライバ状態判定部２１に送信される。

次いで、ステップＳ４０２において、ドライバ状態判定部２１が、ドライバモニタカメラ１０によって生成されたドライバ画像においてドライバの顔が検出不可能であるか否かを判定する。例えば、ドライバ状態判定部２１は、画像処理によってドライバ画像から眼、鼻、口等の顔部品を検出できなかった場合に、ドライバ画像においてドライバの顔が検出不可能であると判定する。

ステップＳ４０２においてドライバ画像においてドライバの顔が検出可能であると判定された場合、ステップＳ４０２が繰り返し実行される。一方、ステップＳ４０２においてドライバ画像においてドライバの顔が検出不可能であると判定された場合、本制御ルーチンはステップＳ４０３に進む。

ステップＳ４０３では、ドライバ状態判定部２１が、ステアリング８２のホーンボタンが押圧されているか否かを判定する。例えば、ドライバ状態判定部２１は、ホーンの音を検出した場合に、ステアリング８２のホーンボタンが押圧されていると判定する。ステップＳ４０３においてステアリング８２のホーンボタンが押圧されていないと判定された場合、本制御ルーチンはステップＳ４０２に戻る。一方、ステップＳ４０３においてステアリング８２のホーンボタンが押圧されていると判定された場合、本制御ルーチンはステップＳ４０４に進む。

ステップＳ４０４では、ドライバ状態判定部２１が、ステップＳ４０２及びステップＳ４０３の両方の条件が成立している第二時間Ｔｊ２が第二基準時間Ｔｒｅｆ２以上であるか否かを判定する。言い換えれば、ドライバ状態判定部２１は、ドライバの顔が検出不可能であり且つホーンボタンが押圧されている状態が維持されている第二時間Ｔｊ２が第二基準時間Ｔｒｅｆ２以上であるか否かを判定する。第二基準時間Ｔｒｅｆ２は、予め定められ、例えば１秒〜５秒である。ステップＳ４０４において第二時間Ｔｊ２が第二基準時間Ｔｒｅｆ２未満であると判定された場合、本制御ルーチンはステップＳ４０２に戻る。一方、ステップＳ４０４において第二時間Ｔｊ２が第二基準時間Ｔｒｅｆ２以上であると判定された場合、本制御ルーチンはステップＳ４０５に進む。

ステップＳ４０５では、図４のステップＳ１０４と同様に、ドライバ状態判定部２１が、ドライバ操作が有るか否かを判定する。ステップＳ４０５においてドライバ操作が無いと判定された場合、本制御ルーチンはステップＳ４０６に進む。ステップＳ４０６では、ドライバ状態判定部２１が倒れ込み検出フラグＦｄｆを１に設定する。フラグＦｄｆの初期値はゼロである。ステップＳ４０６の後、本制御ルーチンは終了する。

一方、ステップＳ４０５においてドライバ操作が有ると判定された場合、本制御ルーチンはステップＳ４０７に進む。ステップＳ４０７では、ドライバ状態判定部２１が、ドライバモニタカメラ１０による撮影に異常が生じていると判定し、ＨＭＩ５０等を用いてドライバに異常を伝達する。ステップＳ４０７の後、本制御ルーチンは終了する。なお、ステップＳ４０５及びステップＳ４０７は省略されてもよい。

第三実施形態においても、第一実施形態と同様に図５のドライバ判定処理の制御ルーチンが実行される。

＜第四実施形態＞
第四実施形態に係るドライバ状態検出装置の構成及び制御は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ状態検出装置の構成及び制御と同様である。このため、以下、本発明の第四実施形態について、第一実施形態と異なる部分を中心に説明する。

上述したように、ドライバがステアリング８２に倒れ込んだ場合、ドライバがドライバモニタカメラ１０に接近するため、ドライバモニタカメラ１０によって生成されるドライバ画像のコントラストが低下する。この結果、ドライバ画像においてドライバの顔を検出することができない。しかしながら、ドライバがドライバモニタカメラ１０の撮影範囲から外れたときにも、ドライバの顔が検出されない。一方、ドライバがステアリング８２に倒れ込んだ場合、ドライバがステアリング８２に接触する。

このため、第四実施形態では、ドライバ状態判定部２１は、ドライバモニタカメラ１０によって生成されたドライバ画像においてドライバの顔を検出できず且つドライバのステアリング８２への接触が検出された場合にドライバのステアリング８２への倒れ込みを検出する。このことによって、より簡易的にドライバのステアリング８２への倒れ込みを検出することができる。

ドライバのステアリング８２への接触はステアリングタッチセンサによって検出される。図８は、本発明の第四実施形態に係るドライバ状態検出装置の構成を示すブロック図である。ドライバ状態検出装置１’はドライバモニタカメラ１０と電子制御ユニット（ＥＣＵ）２０とステアリングタッチセンサ３０とを備える。ステアリングタッチセンサ３０は、ドライバがステアリング８２に接触しているか否かを検出する。ステアリングタッチセンサ３０はステアリング８２に設けられる。ステアリングタッチセンサ３０によって検出されたステアリング８２の接触情報はＥＣＵ２０に送信される。

図９は、第四実施形態における倒れ込み検出処理の制御ルーチンを示すフローチャートである。本制御ルーチンは所定のタイミングでＥＣＵ２０によって実行される。本制御ルーチンでは、ドライバのステアリング８２への倒れ込みの有無が検出される。

最初に、ステップＳ５０１において、ドライバ状態判定部２１がドライバモニタカメラ１０を起動する。その後、ドライバモニタカメラ１０は所定間隔で車両８０のドライバを撮影してドライバ画像を生成し、生成されたドライバ画像はドライバ状態判定部２１に送信される。

次いで、ステップＳ５０２において、図７のステップＳ４０２と同様に、ドライバ状態判定部２１が、ドライバモニタカメラ１０によって生成されたドライバ画像においてドライバの顔が検出不可能であるか否かを判定する。

ステップＳ５０２においてドライバ画像においてドライバの顔が検出可能であると判定された場合、ステップＳ５０２が繰り返し実行される。一方、ステップＳ５０２においてドライバ画像においてドライバの顔が検出不可能であると判定された場合、本制御ルーチンはステップＳ５０３に進む。

ステップＳ５０３では、ドライバ状態判定部２１が、ドライバがステアリング８２に接触しているか否かを判定する。ドライバのステアリング８２への接触はステアリングタッチセンサ３０によって検出される。ステップＳ５０３においてドライバがステアリング８２に接触していないと判定された場合、本制御ルーチンはステップＳ５０２に戻る。一方、ステップＳ５０３においてドライバがステアリング８２に接触していると判定された場合、本制御ルーチンはステップＳ５０４に進む。

ステップＳ５０４では、ドライバ状態判定部２１が、ステップＳ５０２及びステップＳ５０３の両方の条件が成立している第三時間Ｔｊ３が第三基準時間Ｔｒｅｆ３以上であるか否かを判定する。言い換えれば、ドライバ状態判定部２１は、ドライバの顔が検出不可能であり且つドライバがステアリング８２に接触している状態が維持されている第三時間Ｔｊ３が第三基準時間Ｔｒｅｆ３以上であるか否かを判定する。第三基準時間Ｔｒｅｆ３は、予め定められ、例えば１秒〜５秒である。ステップＳ５０４において第三時間Ｔｊ３が第三基準時間Ｔｒｅｆ３未満であると判定された場合、本制御ルーチンはステップＳ５０２に戻る。一方、ステップＳ５０４において第三時間Ｔｊ３が第三基準時間Ｔｒｅｆ３以上であると判定された場合、本制御ルーチンはステップＳ５０５に進む。

ステップＳ５０５では、図４のステップＳ１０４及び図７のステップＳ４０５と同様に、ドライバ状態判定部２１が、ドライバ操作が有るか否かを判定する。ステップＳ５０５においてドライバ操作が無いと判定された場合、本制御ルーチンはステップＳ５０６に進む。ステップＳ５０６では、ドライバ状態判定部２１が倒れ込み検出フラグＦｄｆを１に設定する。フラグＦｄｆの初期値はゼロである。ステップＳ５０６の後、本制御ルーチンは終了する。

一方、ステップＳ５０５においてドライバ操作が有ると判定された場合、本制御ルーチンはステップＳ５０７に進む。ステップＳ５０７では、ドライバ状態判定部２１が、ドライバモニタカメラ１０による撮影に異常が生じていると判定し、ＨＭＩ５０等を用いてドライバに異常を伝達する。ステップＳ５０７の後、本制御ルーチンは終了する。なお、ステップＳ５０５及びステップＳ５０７は省略されてもよい。

以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。また、上述した実施形態は、任意に組み合わせて実施可能である。

１、１’ ドライバ状態検出装置
１０ドライバモニタカメラ
２０電子制御ユニット（ＥＣＵ）
２１ドライバ状態判定部
２２車両制御部
３０ステアリングタッチセンサ
８０車両

Claims

車内に設けられると共に、車両のドライバを撮影してドライバ画像を生成するドライバモニタカメラと、
前記ドライバ画像に基づいて前記ドライバの状態を判定するドライバ状態判定部と
を備え、
前記ドライバ状態判定部は、前記ドライバ画像に基づいて前記ドライバのステアリングへの倒れ込みを検出した場合に前記ドライバが運転不能状態にあると判定し、
前記ドライバ状態判定部は、前記ドライバ画像のコントラストが、前記ドライバが前記ドライバモニタカメラの前方にいないときに前記ドライバモニタカメラによって生成される車内画像のコントラストよりも低い場合に前記ステアリングへの倒れ込みを検出する、ドライバ状態検出装置。
車内に設けられると共に、車両のドライバを撮影してドライバ画像を生成するドライバモニタカメラと、
前記ドライバ画像に基づいて前記ドライバの状態を判定するドライバ状態判定部と
を備え、
前記ドライバ状態判定部は、前記ドライバ画像に基づいて前記ドライバのステアリングへの倒れ込みを検出した場合に前記ドライバが運転不能状態にあると判定し、
前記ドライバ状態判定部は、前記ドライバ画像において前記ドライバの顔を検出できず且つ前記ステアリングのホーンボタンが押圧されていることを検出した場合に前記ステアリングへの倒れ込みを検出する、ドライバ状態検出装置。
前記ドライバ状態判定部は、前記ドライバ画像のコントラストが、前記ドライバが前記ドライバモニタカメラの前方にいないときに前記ドライバモニタカメラによって生成される車内画像のコントラストよりも低い場合に前記ステアリングへの倒れ込みを検出する、請求項２に記載のドライバ状態検出装置。
前記ドライバ状態判定部は、前記倒れ込みの検出を開始する前に、前記ドライバモニタカメラによる撮影によって前記車内画像のコントラストを更新する、請求項１又は３に記載のドライバ状態検出装置。
前記ドライバ状態判定部は、輝度差が所定値以下の領域の面積の割合が前記車内画像よりも前記ドライバ画像において高い場合に前記ドライバ画像のコントラストが前記車内画像のコントラストよりも低いと判定する、請求項１、３又は４に記載のドライバ状態検出装置。
前記ドライバの前記ステアリングへの接触を検出するステアリングタッチセンサを更に備え、
前記ドライバ状態判定部は、前記ドライバ画像において前記ドライバの顔を検出できず且つ前記ステアリングタッチセンサによって前記ステアリングへの接触が検出された場合に前記ステアリングへの倒れ込みを検出する、請求項１から５のいずれか１項に記載のドライバ状態検出装置。