JP2017049636A - 運転者状態検出装置 - Google Patents

Abstract

【課題】運転者の姿勢を意識状態判定のパラメータとして運転者の意識消失状態を判定することにより、簡単な構成で運転者の意識消失状態を迅速に判定することができる運転者状態検出装置を提供する。【解決手段】車両の運転者の意識消失状態を検出する運転者状態検出装置１において、運転者の正面から運転者頭部を撮像可能な第１カメラ３と、運転者の上方から運転者頭部を撮像可能な第２カメラ４と、第１，第２カメラ３，４の第１，第２撮像画像に基づいて運転者状態を判定可能な状態判定部８ｃとを備え、状態判定部８ｃは、第１，第２カメラ３，４の第１，第２撮像画像が双方とも運転者の顔面の画像を含むとき、又は第１，第２カメラ３，４の第１，第２撮像画像が双方とも運転者の顔面の画像を含まないとき、運転者が意識消失状態であると判定する。【選択図】 図１

Description

本発明は、運転者状態検出装置に関し、特に車両の運転者の意識消失状態を検出する運転者状態検出装置に関する。

従来より、運転者の状態、特に運転者の意識がどのような状態にあるのかを的確に把握し、運転者の意識状態に応じて運転操作を支援することが行われている。
特許文献１の車両の緊急退避装置は、運転者の生理状態を推定する生理状態推定部と、自動停車制御の実行開始指令を出力する運転者指示入力部と、運転者に対して自動停車制御の実行を確認する意識確認部と、自動停車を行う自動停車制御部とを備え、生理状態推定部による運転者の意識状態レベルに応じて運転者指示入力部の表示位置を変更し、運転者が意識消失状態のときには意識確認処理を省略して自動停車制御を実行する。
この生理状態推定部では、検出された運転者の脳波、心拍数、発汗量、血圧、呼気中の成分等の生体情報に基づいて運転者の意識状態を推定している。

居眠り状態のような運転者の低覚醒状態を判定する場合、カメラ等の撮像手段によって運転者の正面から運転者の顔面を撮像し、この撮像画像に基づいて運転者の開眼度を検出することが行われている（特許文献２）。
また、車両走行中、低覚醒状態では修正舵角操作が多くなることに着目して、ステアリングホイールの修正操舵量や修正操舵回数を所定の判定値と比較し、実行された修正操舵量や修正操舵回数が判定値よりも大きい場合、運転者の覚醒度の低下を推定することが行われている（特許文献３）。

特許第５５２７４１１号公報 特開２００８−９９８８４号公報 特開２０１１−３９７３５号公報

特許文献１の車両の緊急退避装置は、運転者の脳波、心拍数、発汗量、血圧、呼気中の成分等の生体情報に基づいて運転者の意識状態を推定することができる。
しかし、特許文献１の車両の緊急退避装置では、複数の生体情報センサ、これらセンサの保持部やハーネス等が必要になることから、運転者による車両操作性が低下する虞がある。しかも、部品点数の増加等の面からも、一般車両に適用するには実用的でない。

ところで、運転者の意識状態レベルが低い低意識状態には、意識確認処理である警報（刺激）等によって覚醒状態に復帰可能な低覚醒状態と、運転者の意識の覚醒を促しても意識の覚醒が難しく運転者による運転操作が困難な意識消失状態とが存在している。
特許文献２の状態推定装置では、運転者の姿勢（座席に対する着座状態）によっては開眼度を検出できない虞がある。
つまり、運転操作が困難な意識消失状態のときには、運転者の顔面が必ずしもカメラに向かって正面を向いているとは限らず、両眼が撮像できない姿勢の場合には運転者の開眼度を検出することができない。
しかも、運転者が意識消失状態の場合、意識を覚醒させるために所定時間警報を行っても意識が覚醒されないため、自動停車等の運転支援の実行開始が遅くなる虞がある。
特許文献３の状態推定装置でも、運転者によって操作された修正舵角の確認によって覚醒度の低下を推定しているため、特許文献２と同様に、迅速な運転支援の実行を期待することができない。

そこで、本発明者が運転席に着座した運転者の姿勢と運転者の意識状態レベルの関係を検証した結果、運転者による運転操作が困難な意識消失状態のとき、正常状態に対して極端な前傾姿勢又は後傾姿勢になることが知見された。
これは、シートベルト着用時には運転者が運転席に対して拘束されるため、シートベルトによる運転席への押付け力によって意識消失状態の運転者の姿勢が主に前述の２形態に特定されるものと推測される。

本発明の目的は、簡単な構成で運転者の意識消失状態を迅速に判定することができる運転者状態検出装置等を提供することである。

請求項１の運転者状態検出装置は、車両の運転者の意識消失状態を検出する運転者状態検出装置において、運転者の正面から運転者頭部を撮像可能な第１撮像手段と、運転者の上方から運転者頭部を撮像可能な第２撮像手段と、前記第１，第２撮像手段の撮像画像に基づいて運転者状態を判定可能な状態判定手段とを備え、前記状態判定手段は、前記第１，第２撮像手段の撮像画像が双方とも運転者の顔面の画像を含むとき、又は第１，第２撮像手段の撮像画像が双方とも運転者の顔面の画像を含まないとき、運転者が意識消失状態であると判定することを特徴としている。

この運転者状態検出装置では、運転者の正面から運転者頭部を撮像可能な第１撮像手段と、運転者の上方から運転者頭部を撮像可能な第２撮像手段と、第１，第２撮像手段の撮像画像に基づいて運転者状態を判定可能な状態判定手段とを備えるため、運転者の顔面が指向している顔面方向を最少限の撮像手段で判定することができ、この顔面方向に基いて運転者の前傾姿勢又は後傾姿勢を判定することができる。
状態判定手段が、第１，第２撮像手段の撮像画像が双方とも運転者の顔面の画像を含むとき、又は第１，第２撮像手段の撮像画像が双方とも運転者の顔面の画像を含まないとき、運転者が意識消失状態であると判定するため、運転者の実際の姿勢に基いて運転者の運転操作が困難な意識消失状態を判定することができる。

請求項２の発明は、請求項１の発明において、前記状態判定手段は、前記第１撮像手段の撮像画像が運転者の顔面の画像を含み且つ前記第２撮像手段の撮像画像が運転者の顔面の画像を含まないとき、運転者が意識覚醒状態であると判定することを特徴としている。
この構成によれば、運転者の意識覚醒状態を簡単な構成で精度良く判定することができる。

請求項３の発明は、請求項１又は２の発明において、前記状態判定手段は、運転者が意識消失状態であると判定したとき、車両を緊急停車させることを特徴としている。
この構成によれば、運転者が意識消失状態であっても、車両を安全に停車させることができる。

請求項４の発明は、請求項１〜３の何れか１項の発明において、前記状態判定手段は、運転者が意識消失状態であると判定したとき、緊急異常状態を外部に通報することを特徴としている。
この構成によれば、運転者が意識消失状態であっても、緊急異常状態を外部に通報することによって運転者を救助することができる。

本発明の運転者状態検出装置によれば、運転者の姿勢を意識状態判定のパラメータとして運転者の意識消失状態を判定することにより、簡単な構成で運転者の意識消失状態を迅速に判定することができる。

実施例１に係る運転者状態検出装置のブロック図である。 意識覚醒状態の運転者の着座モデルを示し、（ａ）は正面図、（ｂ）は側面図、（ｃ）は平面図である。 第１意識消失状態の運転者の着座モデルを示し、（ａ）は正面図、（ｂ）は側面図、（ｃ）は平面図である。 第２意識消失状態の運転者の着座モデルを示し、（ａ）は正面図、（ｂ）は側面図、（ｃ）は平面図である。 第１，第２カメラによって撮像された意識覚醒状態の運転者の撮像画像を示し、（ａ）は第１撮像画像、（ｂ）は第２撮像画像の例である。 第１，第２カメラによって撮像された第１意識消失状態の運転者の撮像画像を示し、（ａ）は第１撮像画像、（ｂ）は第２撮像画像の例である。 第１，第２カメラによって撮像された第２意識消失状態の運転者の撮像画像を示し、（ａ）は第１撮像画像、（ｂ）は第２撮像画像の例である。 運転者状態検出処理を示すフローチャートである。 運転者状態判定処理を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて詳細に説明する。
以下の説明は、本発明を車両に適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。

以下、本発明の実施例１について図１〜図９に基づいて説明する。
運転者状態検出装置１は、運転者の意識状態、特に運転者による車両（自車両ともいう）の運転操作が困難な意識消失状態を判定可能な運転支援装置である。
図１に示すように、運転者状態検出装置１は、車両前方を含む周辺風景を撮像する車外カメラ２と、シートベルトを装着して運転席に着座した運転者の頭部を夫々撮像する車内カメラとしての第１，第２カメラ３，４と、ナビゲーションシステム５と、運転制御部６と、通信部７と、ＥＣＵ（Electronic Control Unit）８等を備えている。

車外カメラ２は、例えばルーフパネル前端側下面のバックミラー（図示略）近傍位置に装着され、フロントウインドガラス（図示略）を介して車体前方を静止画または動画で撮像可能なＣＣＤ（Charge Coupled Device）カメラによって構成されている。

第１カメラ３は、ＣＣＤカメラによって構成され、例えばインスツルメントパネル（図示略）上部の運転者対向位置に装着されている。図２〜図４に示すように、第１カメラ３は、運転席に着座してシートベルトを着用した運転者の顔面を含む頭部を前方正面から撮像可能に形成され、撮像された頭部画像は、運転者の顔面部分の画像を切り出して、顔面の指向方向、運転者の表情の特定、目のアイリス（虹彩）を拡大検出して瞳孔寸法や視線方向の特定等を実行可能に構成されている。

第２カメラ４は、ＣＣＤカメラによって構成され、例えば運転席の真上のルーフパネル（図示略）に装着されている。図２〜図４に示すように、第２カメラ４は、運転席に着座してシートベルトを着用した運転者の顔面を含む頭部上面を真上から撮像可能に形成され、撮像された頭部画像は、運転者の顔面部分と顔面以外の部分とを識別可能に構成されている。

ナビゲーションシステム５は、車両の経路案内を行うシステムである。
ナビゲーションシステム５は、外部の情報センタ９を介して複数のＧＰＳ衛星からの位置信号を受信することで自車両の現在位置情報を検出可能に構成されている。
このナビゲーションシステム５は、道路地図データを記憶した地図データベースと、交通規則データを記憶した交通規則データベース（何れも図示略）等を備えている。
これにより、ナビゲーションシステム５は、自車両の現在位置データ、地図データベースの道路地図データ及び交通規則データベースの交通規則データを利用して運転者に目的地までの経路案内を行う。

運転制御部６は、自車両の走行制御を実行するための駆動機構や操舵機構である。
この運転制御部６は、エンジン制御部、ステアリングアクチュエータ、ブレーキアクチュエータ、及びシフトアクチュエータ等によって構成されている。
運転制御部６は、ＥＣＵ８から緊急指令が入力されたとき、自車両の走行制御を実行する。この走行制御は、例えば、緊急停車や自動運転による道路端縁側等の安全地帯への緊急避難等である。自動運転は、先行車両、対向車両、走行車線等の検出情報に基づいて実行される公知の技術であるため、詳細な説明を省略する。

通信部７は、アンテナ（図示略）等を備え、情報センタ９と送受信可能に構成されている。この通信部７は、ＥＣＵ８から緊急指令が入力されたとき、緊急異常状態を通知するための緊急救助信号と、自車両の車両ＩＤと、自車両位置情報と、運転者の姿勢状態（前傾姿勢のうつ伏せ状態又は後傾姿勢の仰向け状態）情報等を情報センタ９に緊急通報する。

次に、ＥＣＵ８について説明する。
図１に示すように、ＥＣＵ８は、画像処理部８ａと、運転者の感情を判定する感情推定部８ｂと、運転者の意識消失状態を判定する状態判定部８ｃ等を備えている。
ＥＣＵ８は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなる電子制御ユニットであり、ＲＯＭに記憶されているアプリケーションプログラムをＲＡＭにロードし、ＣＰＵで実行することにより各種演算処理を行っている。

画像処理部８ａは、車外カメラ２及び第１，第２カメラ３，４によって撮像された画像データの画像処理、画像データの一時記憶、画像データの圧縮・伸張の処理、複数の撮像画像を合成可能に構成されている。
車外カメラ２１の撮像画像によって、自車両に先行する先行車両、反対車線を走行する対向車両、自車両が走行する走行車線及び路側帯等を検出している。
先行車両及び対向車両は、予め格納された車両判定用テンプレートとパターンマッチングすることにより抽出する。走行車線及び路側帯の白線部分は、前方画像の輝度を水平方向に微分処理することにより、白線の両端部に高周波成分となるエッジが発生することを利用して走行車線の白線部分を推定し、この推定された白線部分について輝度及び路面とのコントラストから定められる閾値や白線幅の閾値等に基づいて白線を抽出している。

画像処理部８ａは、第１カメラ３による第１撮像画像に基づき運転席に着座した運転者の頭部及び運転者の顔面を検出し、第１画像データ毎に顔面認識処理を行っている。
顔面認識は、例えば目の位置、鼻の位置、口の位置等の認識及びこれらの位置関係等を認識し、これらの数値データを予め格納された顔判定データと比較して運転者の顔認識を行う。更に、第１カメラ３で顔認識された第１画像データに基いて、視線方向変化数や瞳孔径が検出される。
画像処理部８ａは、第２カメラ４による第２撮像画像に基づき運転席に着座した運転者の頭部及び運転者の顔面を検出し、第２画像データ毎に顔面認識処理を行っている。
顔面認識は、例えば目の位置、鼻の位置、口の位置等の認識及びこれらの位置関係等を認識し、これらの数値データを予め格納された顔判定データと比較して運転者の顔認識を行う。

感情推定部８ｂは、第１カメラ３による顔画像データに基いて、運転者の現在の感情を判定している。運転者の各感情に対応して順序付けされた表情マスタ画像が予め準備され、顔画像データと表情マスタ画像とを比較して特定の表情マスタ画像と適合したとき、運転者の感情が特定の感情であることを推定している。この推定された運転者の感情は、視線方向変化数や瞳孔径によって補正される。
運転者感情の判定結果に基いて、運転者の感情が悪化している場合には、運転者の感情を改善する方向に各種車載機器を制御している（特願２０１５−１５３３４号参照）。

状態判定部８ｃは、第１，第２カメラ３，４の顔認識結果に基いて運転者による車両の運転操作が困難な意識消失状態を判定している。
この状態判定部８ｃは、第１撮像画像が運転者の顔面の画像を含み且つ第２撮像画像が運転者の顔面画像を含まないとき、正常に車両の運転操作が可能な意識覚醒状態、第１，第２撮像画像が双方とも運転者の顔面画像を含まないとき、運転者が前傾姿勢である第１意識消失状態、第１，第２撮像画像が双方とも運転者の顔面画像を含むとき、運転者が後傾姿勢である第２意識消失状態を判定し、第１，第２意識消失状態のうち何れかの意識消失状態が判定されたとき、運転制御部６及び通信部７に緊急指令を出力する。

ここで、図２〜図７に基いて、乗車中の運転者の意識状態について説明する。
運転者の意識状態レベルには、正常に車両の運転操作が可能な意識覚醒状態と、警報等の刺激によって意識覚醒状態に復帰可能な低覚醒状態と、意識覚醒を促しても意識の覚醒が難しく運転者による運転操作が困難な意識消失状態とが存在している。
図２（ａ）〜図２（ｃ）に示すように、運転者が意識覚醒状態のとき、運転者は車両進行方向に視線を指向させている。また、眠気による低覚醒状態であっても、極端な前傾姿勢或いは後傾姿勢にはならないため、意識覚醒状態と略同様の運転者姿勢に分類することができる。このとき、図５（ａ）に示すように、第１撮像画像には運転者の顔面が認識され、図５（ｂ）に示すように、第２撮像画像には運転者の頭部上面が認識されている。

図３（ａ）〜図３（ｃ）に示すように、運転者が第１意識消失状態のとき、運転者は頭部をステアリングホイールに持たれ掛けたうつ伏せ状の極端な前傾姿勢になる。このとき、図６（ａ）に示すように、第１撮像画像には運転者の頭部上面が認識され、図６（ｂ）に示すように、第２撮像画像には運転者の頭部後面が認識されている。
また、図４（ａ）〜図４（ｃ）に示すように、運転者が第２意識消失状態のとき、運転者は腰が前方に移行した仰向け状の極端な後傾姿勢になる。このとき、図７（ａ）に示すように、第１撮像画像には運転者の顔面が認識され、図７（ｂ）に示すように、第２撮像画像には運転者の顔面が認識されている。
これにより、運転者の姿勢、換言すれば運転者の顔面が指向する方向を指標として運転者の意識消失状態を的確に判定することができる。

次に、図８，図９のフローチャートに基づいて、運転者状態検出処理について説明する。尚、Ｓｉ（ｉ＝１，２…）は、各処理のためのステップを示す。
まず、図８に示すように運転者状態検出装置１では、運転席着座センサやシートベルト装着センサ等の各種機器からの出力を入力し（Ｓ１）、運転者の運転席着座とシートベルト装着を条件としてＳ２へ移行する。
Ｓ２では、運転者状態判定処理を行っている。運転者状態判定処理では、運転者の意識状態が、意識覚醒状態、第１意識消失状態、第２意識消失状態のうちの何れの意識消失状態か判定する。

運転者状態判定処理の後、Ｓ３に移行して、運転者の意識状態が第１意識消失状態又は第２意識消失状態か否か判定する。
Ｓ３の判定の結果、運転者の意識状態が第１意識消失状態又は第２意識消失状態の場合、Ｓ４に移行し、車両を緊急停車させる。Ｓ３の判定の結果、運転者の意識状態が第１意識消失状態又は第２意識消失状態ではない場合、リターンする。
車両の緊急停車の後、Ｓ５に移行して、情報センタ９に救助要請を通報してリターンする。

次に、運転者状態判定処理について説明する。
図９のフローチャートに示すように、第１，第２カメラ３，４によって着座状態の運転者の頭部を夫々撮像し（Ｓ１０）、Ｓ１１に移行する。
Ｓ１１では、第１カメラ３で撮像した第１撮像画像に運転者の頭部が認識されるか、換言すれば運転者の頭部が存在しているか否か判定する。
Ｓ１１の判定の結果、第１撮像画像に運転者の頭部が存在している場合、Ｓ１２に移行して、第１撮像画像に運転者の顔面が存在しているか否かを判定する。

Ｓ１２の判定の結果、第１撮像画像に運転者の顔面が存在している場合、Ｓ１３に移行して、第２カメラ４で撮像した第２撮像画像に運転者の顔面が存在しているか否かを判定する。
Ｓ１３の判定の結果、第２撮像画像に運転者の顔面が存在している場合、運転者が図４及び図７に示す極端な後傾姿勢であるため、Ｓ１４に移行して、第２意識消失状態を判定して終了する。
Ｓ１３の判定の結果、第２撮像画像に運転者の顔面が存在していない（頭部が存在する）場合、運転者が図２及び図５に示す正常姿勢であるため、Ｓ１５に移行して、意識覚醒状態を判定して終了する。

Ｓ１２の判定の結果、第１撮像画像に運転者の顔面が存在していない（頭部が存在する）場合、Ｓ１６に移行して、第２カメラ４で撮像した第２撮像画像に運転者の顔面が存在しているか否かを判定する。
Ｓ１６の判定の結果、第２撮像画像に運転者の顔面が存在している場合、運転者が特異な姿勢であるため、Ｓ１０にリターンする。
Ｓ１６の判定の結果、第２撮像画像に運転者の顔面が存在していない（頭部が存在する）場合、運転者が図３及び図６に示す極端な前傾姿勢であるため、Ｓ１７に移行して、第１意識消失状態を判定して終了する。

次に、上記運転者状態検出装置１の作用、効果について説明する。
本運転者状態検出装置１によれば、運転者の正面から運転者頭部を撮像可能な第１カメラ３と、運転者の上方から運転者頭部を撮像可能な第２カメラ４と、第１，第２カメラ３，４の第１，第２撮像画像に基づいて運転者状態を判定可能な状態判定部８ｃとを備えるため、運転者の顔面が指向している顔面方向を最少限の第１，第２カメラ３，４で判定することができ、この顔面方向に基いて運転者の前傾姿勢又は後傾姿勢を判定することができる。状態判定部８ｃが、第１，第２カメラ３，４の第１，第２撮像画像が双方とも運転者の顔面の画像を含むとき、又は第１，第２撮像手段の第１，第２撮像画像が双方とも運転者の顔面の画像を含まないとき、運転者が意識消失状態であると判定するため、運転者の実際の姿勢に基いて運転者の運転操作が困難な意識消失状態を判定することができる。

状態判定部８ｃは、第１カメラ３の第１撮像画像が運転者の顔面の画像を含み且つ第２カメラ４の第２撮像画像が運転者の顔面の画像を含まないとき、運転者が意識覚醒状態であると判定するため、運転者の意識覚醒状態を簡単な構成で精度良く判定することができる。

状態判定部８ｃは、運転者が意識消失状態であると判定したとき、車両を緊急停車させるため、運転者が意識消失状態であっても、車両を安全に停車させることができる。

状態判定部８ｃは、運転者が意識消失状態であると判定したとき、緊急異常状態を外部に通報するため、運転者が意識消失状態であっても、緊急異常状態を外部に通報することによって運転者を救助することができる。

次に、前記実施形態を部分的に変更した変形例について説明する。
１〕前記実施形態においては、運転者の表情を検出するため、第２カメラよりも高性能な第１カメラを運転者の感情推定に兼用した例を説明したが、運転者の感情推定機能を省略することで、第１，第２カメラを共に顔面認識のみ実行可能な機能にしてコストを抑えても良い。

２〕前記実施形態においては、低覚醒状態を意識覚醒状態に含めた例を説明したが、意識覚醒状態と低覚醒状態とを区分し、低覚醒状態を検出したとき、運転者の意識覚醒を促す意識覚醒機構と組み合わせて用いることも可能である。

３〕その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施形態に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。

１ 運転者状態検出装置
３ 第１カメラ
４ 第２カメラ
８ ＥＣＵ
８ｃ 状態判定部

Claims (4)

1. 車両の運転者の意識消失状態を検出する運転者状態検出装置において、
   運転者の正面から運転者頭部を撮像可能な第１撮像手段と、
   運転者の上方から運転者頭部を撮像可能な第２撮像手段と、
   前記第１，第２撮像手段の撮像画像に基づいて運転者状態を判定可能な状態判定手段とを備え、
   前記状態判定手段は、前記第１，第２撮像手段の撮像画像が双方とも運転者の顔面の画像を含むとき、又は第１，第２撮像手段の撮像画像が双方とも運転者の顔面の画像を含まないとき、運転者が意識消失状態であると判定することを特徴とする運転者状態検出装置。
2. 前記状態判定手段は、前記第１撮像手段の撮像画像が運転者の顔面の画像を含み且つ前記第２撮像手段の撮像画像が運転者の顔面の画像を含まないとき、運転者が意識覚醒状態であると判定することを特徴とする請求項１に記載の運転者状態検出装置。
3. 前記状態判定手段は、運転者が意識消失状態であると判定したとき、車両を緊急停車させることを特徴とする請求項１又は２に記載の運転者状態検出装置。
4. 前記状態判定手段は、運転者が意識消失状態であると判定したとき、緊急異常状態を外部に通報することを特徴とする請求項１〜３の何れか１項に記載の運転者状態検出装置。