JP6811834B2 - 運転状態判定装置および運転状態判定方法 - Google Patents

Description

この発明は、車両を運転する運転者の状態を判定する技術に関するものである。

従来、車両を運転する運転者の状態を判定する技術として、運転者の顔向きまたは視線を検出し、検出した視線の方向が、設定された正常範囲から逸脱する場合に、運転者が脇見運転をしていると判定する技術がある。しかし、運転者の視野範囲および当該視野範囲における正常範囲には個人差がある。また、当該正常範囲は、運転者の姿勢等によっても変わりうる。そのため、運転者の視野範囲および当該視野範囲における正常範囲は、運転者毎に設定される、または運転者の姿勢等に応じて設定されるのが望ましい。例えば、特許文献１には、手形状検出手段により検出された手の形状が予め設定された設定開始形状であるときには、方向検出手段により検出された顔向きまたは視線の方向に基づいて、脇見正常判定範囲の中心位置を設定する脇見判定装置が開示されている。

特開２０１３−１６４６６３号公報

上記特許文献１に記載された脇見判定装置によれば、脇見正常判定範囲の中心位置を設定するためには、運転者が予め設定された設定開始形状である手の形状をとる必要がある。そのため、運転者毎に脇見正常判定範囲を設定することは可能であるが、当該設定のために運転者は予め設定された動作を行うことを求められるという課題があった。

この発明は、上記のような課題を解決するためになされたもので、運転者が予め設定された動作を行うことなく、運転者毎に運転状態を判定するための、運転者の定常状態を設定することを目的とする。

この発明に係る運転状態判定装置は、運転者の顔画像から、運転者の顔の特徴点に関する位置情報を、顔特徴点として検出する顔特徴点検出部と、顔特徴点検出部が検出した顔特徴点から、運転者の顔の状態を示す顔情報を検出する顔情報検出部と、顔情報検出部が検出した顔情報を参照し、顔情報検出部が検出した顔情報から、予め設定された時間区間での顔情報の頻度分布を作成する頻度分布作成部と、頻度分布作成部が作成した頻度分布から、顔情報の最頻値を算出する最頻値算出部と、最頻値算出部が算出した顔情報の最頻値から、運転者の定常状態を示す基準値を算出する基準値算出部と、基準値算出部が算出した基準値に基づいて正常視認範囲を設定し、顔情報検出部が検出した顔情報から、運転者が正常視認範囲外の領域を視認しているか否か判定を行い、判定の結果に基づき運転者の運転状態を判定する運転状態判定部とを備えるものである。

この発明によれば、運転者に予め設定された動作を行うことを求めることなく、運転者毎に運転状態を判定するための、運転者の定常状態を設定することができる。

実施の形態１に係る運転状態判定装置の構成を示すブロック図である。 図２Ａ、図２Ｂは、実施の形態１に係る運転状態判定装置のハードウェア構成例を示す図である。 図３Ａ，図３Ｂ，図３Ｃは、実施の形態１に係る運転状態判定装置の顔特徴点検出部の検出処理を示す図である。 図４Ａ，図４Ｂは、実施の形態１に係る運転状態判定装置の顔情報検出部の目の開閉状態の検出を示す図である。 図５Ａ，図５Ｂ，図５Ｃは、実施の形態１に係る運転状態判定装置の顔情報検出部の顔特徴点の位置関係を示す情報および顔向きの検出を示す図である。 実施の形態１に係る運転状態判定装置の顔情報検出部の目の扁平率の検出を示す図である。 実施の形態１に係る運転状態判定装置の頻度分布作成部が参照する有効顔位置領域の一例を示す図である。 実施の形態１に係る運転状態判定装置の基準値算出処理の動作を示すフローチャートである。 図９Ａ，図９Ｂは、実施の形態１に係る運転状態判定装置の運転状態判定部が設定した正常視認範囲の一例を示す図である。 実施の形態１に係る運転状態判定装置の運転状態判定処理の動作を示すフローチャートである。 図１１Ａ，図１１Ｂ，図１１Ｃは、実施の形態１に係る運転状態判定装置の運転状態判定部による正常視認範囲の補正の一例を示す図である。 図１２Ａ，図１２Ｂは、実施の形態１に係る運転状態判定装置の運転状態判定部による正常視認範囲の補正の一例を示す図である。 実施の形態２に係る運転状態判定装置の構成を示すブロック図である。 実施の形態２に係る運転状態判定装置の認証部の動作を示すフローチャートである。 実施の形態３に係る運転状態判定装置の構成を示すブロック図である。 実施の形態３に係る運転状態判定装置の認証部の動作を示すフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る運転状態判定装置１００の構成を示すブロック図である。
運転状態判定装置１００は、顔画像取得部１０１、顔特徴点検出部１０２、顔情報検出部１０３、操作情報取得部１０４、頻度分布作成部１０５、最頻値算出部１０６、基準値算出部１０７および運転状態判定部１０８を備える。
図１に示すように、運転状態判定装置１００は、例えば警告装置２００に接続される。

顔画像取得部１０１は、車両に搭載されたカメラ等のキャプチャ画像に基づいて、運転者の少なくとも頭部領域全体を含む顔画像を取得する。顔画像取得部１０１は、顔画像を顔特徴点検出部１０２に出力する。
顔特徴点検出部１０２は、顔画像取得部１０１が取得した顔画像から、目、鼻、および口等の顔を構成するパーツが含まれる顔領域を検出する。顔特徴点検出部１０２は、検出した顔領域から、顔を構成する各パーツに関する位置情報を、運転者の顔の特徴点として検出する。以下、運転者の顔の特徴点を、「顔特徴点」と記載する。顔特徴点検出部１０２は、顔を構成する各パーツに関する位置情報として、当該各パーツの構成要素の顔画像上の位置、または、当該各パーツの構成要素の顔画像上の座標を示す情報を取得する。

顔情報検出部１０３は、顔特徴点検出部１０２が検出した顔特徴点を用いて、顔情報を検出する。
顔情報とは、運転者の顔の状態を示す情報であり、例えば、顔特徴点の位置関係、運転者の目の開閉状態、運転者の視線、運転者の顔向き、運転者の姿勢、運転者の目の扁平率、運転者の視認範囲、運転者の視認エリア、運転者の顔への装着物の着脱、および運転者の顔におけるコントラストの発生を示す情報である。なお、装着物とは、例えば、メガネ、サングラス、またはマスクである。

上述した、顔特徴点の位置関係を示す情報とは、顔特徴点検出部１０２が検出した目、鼻および口等の顔画像上の座標の位置関係を示す情報であり、鼻の位置が目に近い、鼻の位置が口に近い等である。より具体的には、運転者がカメラ等を正面から見た場合、顔情報検出部１０３は、鼻の横位置は両目の中央に位置することを示す位置関係を示す情報を取得する。また、運転者がカメラ等に対して真横を向いた場合、顔情報検出部１０３は、口に対してどのくらいの高さに位置しているかを示す位置関係を示す情報を取得する。なお、運転者がカメラ等に対して正面または真横を向くことが頻繁に発生しない場合には、顔情報検出部１０３は、一定時間内に検出した鼻等の位置関係を示す情報から、運転者がカメラ等を正面から見た場合、または運転者がカメラ等に対して真横を向いた場合の鼻等の位置関係を示す情報を推測して取得する。

操作情報取得部１０４は、ＣＡＮ（Controller Area Network）またはＯＢＤ（On-board Diagnosis）等から、運転者が搭乗している車両の操作状態を示す車両操作情報を取得する。車両操作情報とは、例えば、車両の舵角情報、車速情報、ターンシグナル情報、ドアの開閉情報、運転者によるシートベルトの着脱を示す情報、運転者のシートへの着座を示す情報、シートポジションの変更を示す情報、またはシフトポジションのドライブモードへの移行を示す情報である。

頻度分布作成部１０５は、顔情報検出部１０３が検出した顔情報を参照し、運転者の顔に予め設定された変化が生じた場合に、予め設定された時間区間における顔情報の頻度分布を作成する。さらに、頻度分布作成部１０５は、操作情報取得部１０４が取得した車両操作情報を参照し、車両に対して予め設定された車両操作が行われた場合に、予め設定された時間区間における顔情報の頻度分布を作成する。
運転者の顔に予め設定された変化が生じた場合とは、例えば運転者の顔への装着物の着脱または装着物の着用の仕方の変化によるずれがあった場合、または運転者の顔に外光が入射してコントラストが発生した場合等である。
車両に対して予め設定された車両操作が行われた場合とは、車両のドアの開閉操作、車両のシートベルトの着脱操作、車両の座席への着座、車両の座席位置の変更操作、またはシフトレバーのドライブへの移行操作等が発生した場合である。

頻度分布作成部１０５は、少なくとも顔情報検出部１０３が検出した顔情報を参照できれば顔情報の頻度分布を作成することが可能である。

最頻値算出部１０６は、頻度分布作成部１０５が作成した顔情報の頻度分布から、発生頻度が最も高い顔情報を最頻値として算出する。
基準値算出部１０７は、最頻値算出部１０６が算出した顔情報の最頻値から、運転者毎の最適化パラメータを算出する。基準値算出部１０７は、予め設定された正常な運転状態における顔情報の値に対して、算出した運転者毎の最適化パラメータを適用し、運転者毎の運転時の定常状態を示す顔情報の値（以下、基準値と記載する）を算出する。基準値は、１つの値を示す情報であってもよいし、または、ある値の範囲を示す情報であってもよい。

運転状態判定部１０８は、基準値算出部１０７が算出した基準値と、顔情報検出部１０３から入力される現在の顔情報とを比較し、運転者の運転状態を判定する。運転状態判定部１０８は、運転者が脇見をしている状態か否かの判定、または、運転者が居眠りをしている状態か否かの判定等、現在の運転状態が正常な運転状態から逸脱する状態であるか否かの判定を行う。例えば、運転状態判定部１０８は、基準値算出部１０７が算出した基準値に基づいて、運転者毎の正常視認範囲を設定し、当該設定した正常視認範囲と、現在の視認範囲とを比較し、運転者の脇見状態を判定する。運転状態判定部１０８は、運転状態の判定結果を警告装置２００等に出力する。
警告装置２００は、運転状態判定部１０８から、現在の運転状態が正常な運転状態から逸脱する状態であるとの判定結果が入力されると、車両の運転手を含めた乗員に対して、警告を出力する。

次に、運転状態判定装置１００のハードウェア構成例を説明する。
図２Ａおよび図２Ｂは、運転状態判定装置１００のハードウェア構成例を示す図である。
運転状態判定装置１００における顔画像取得部１０１、顔特徴点検出部１０２、顔情報検出部１０３、操作情報取得部１０４、頻度分布作成部１０５、最頻値算出部１０６、基準値算出部１０７および運転状態判定部１０８の各機能は、処理回路により実現される。即ち、運転状態判定装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図２Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図２Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。

図２Ａに示すように、顔画像取得部１０１、顔特徴点検出部１０２、顔情報検出部１０３、操作情報取得部１０４、頻度分布作成部１０５、最頻値算出部１０６、基準値算出部１０７および運転状態判定部１０８が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。顔画像取得部１０１、顔特徴点検出部１０２、顔情報検出部１０３、操作情報取得部１０４、頻度分布作成部１０５、最頻値算出部１０６、基準値算出部１０７および運転状態判定部１０８の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。

図２Ｂに示すように、顔画像取得部１０１、顔特徴点検出部１０２、顔情報検出部１０３、操作情報取得部１０４、頻度分布作成部１０５、最頻値算出部１０６、基準値算出部１０７および運転状態判定部１０８がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、顔画像取得部１０１、顔特徴点検出部１０２、顔情報検出部１０３、操作情報取得部１０４、頻度分布作成部１０５、最頻値算出部１０６、基準値算出部１０７および運転状態判定部１０８の各機能を実現する。即ち、顔画像取得部１０１、顔特徴点検出部１０２、顔情報検出部１０３、操作情報取得部１０４、頻度分布作成部１０５、最頻値算出部１０６、基準値算出部１０７および運転状態判定部１０８は、プロセッサ１００ｂにより実行されるときに、後述する図８および図１０に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、顔画像取得部１０１、顔特徴点検出部１０２、顔情報検出部１０３、操作情報取得部１０４、頻度分布作成部１０５、最頻値算出部１０６、基準値算出部１０７および運転状態判定部１０８の手順または方法をコンピュータに実行させるものであるともいえる。

ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。

なお、顔画像取得部１０１、顔特徴点検出部１０２、顔情報検出部１０３、操作情報取得部１０４、頻度分布作成部１０５、最頻値算出部１０６、基準値算出部１０７および運転状態判定部１０８の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、運転状態判定装置１００における処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

次に、顔特徴点検出部１０２、顔情報検出部１０３、頻度分布作成部１０５および基準値算出部１０７について、より詳細に説明する。
まず、顔特徴点検出部１０２について、図３を参照しながら説明する。
図３は、実施の形態１に係る運転状態判定装置１００の顔特徴点検出部１０２の検出処理を示す図である。図３Ａは顔画像を示す図であり、図３Ｂは顔領域を示す図であり、図３Ｃは顔特徴点を示す図である。
顔特徴点検出部１０２は、顔画像取得部１０１から顔画像を取得する。例えば、顔特徴点検出部１０２は、図３Ａに示す顔画像３００を取得する。顔特徴点検出部１０２は、顔画像取得部１０１から取得した顔画像に対して、顔を構成する各パーツが含まれる顔領域を検出する。例えば、顔特徴点検出部１０２は、図３Ａの顔画像３００に対して、図３Ｂに示す顔領域３０１を検出する。

顔特徴点検出部１０２は、検出した顔領域３０１内で、例えば図３Ｃに示すように、目に関して、両目尻３１１、両目頭３１２、両上瞼３１３および両下瞼３１４の位置情報を取得する。顔特徴点検出部１０２は、顔領域３０１内で、例えば図３Ｃに示すように、鼻に関して、鼻根３１５、鼻尖３１６、鼻背および鼻翼の位置情報を取得する。顔特徴点検出部１０２は、顔領域３０１内で、例えば図３Ｃに示すように、口に関して、上唇３１７、下唇３１８および口角３１９の位置情報を取得する。顔特徴点検出部１０２が取得する各パーツの構成要素の位置情報は、図３Ａで示した顔画像３００の始点Ｏからの位置、または図３Ａで示した顔画像３００における座標を示す情報である。これらの位置情報が、顔特徴点として検出される。

次に、顔情報検出部１０３について、図４から図６を参照しながら説明する。
図４から図６は、実施の形態１に係る運転状態判定装置１００の顔情報検出部１０３の検出処理を示す図である。図４Ａおよび図４Ｂは目の開閉状態の検出を示す図であり、図５Ａ、図５Ｂおよび図５Ｃは顔特徴点の位置関係を示す情報および顔向きの検出を示す図であり、図６は目の扁平率の検出を示す図である。
顔情報検出部１０３は、顔特徴点に含まれる目に関する位置情報のうち、上瞼の位置情報および下瞼の位置情報から、目が開いているか、または目が閉じているかを検出し、さらに目の開き度合いを算出する。

図４Ａに示すように、顔情報検出部１０３は、上瞼３１３の位置情報および下瞼３１４の位置情報から上瞼３１３と下瞼３１４との間の距離Ｐａを算出する。図４Ａの例では、顔情報検出部１０３は、算出した距離Ｐａが設定値よりも長いことから、目が開いていると検出する。また、図４Ｂの例では、顔情報検出部１０３は、算出した距離Ｐｂが設定値よりも短いことから、目が閉じていると検出する。また、顔情報検出部１０３は、算出した距離Ｐａ、Ｐｂと、予め設定された距離の値とを比較し、目の開き度合いを算出する。さらに、顔情報検出部１０３は、目に関する位置情報に基づいて、目の領域を特定し、特定した目の領域内で輝度が最も低い領域を探索する。顔情報検出部１０３は、探索した輝度が最も低い領域から虹彩または瞳孔の位置を求め、運転者の視線を検出する。

顔情報検出部１０３は、顔特徴点から得られる、目、鼻、および口の互いの位置関係を示す情報を取得する。また、顔情報検出部１０３は、取得した目、鼻、および口の互いの位置関係を示す情報から運転者の顔向きを検出する。例えば、図５Ａから図５Ｃに示すように、顔情報検出部１０３は、鼻尖と両目の位置関係を取得する。また、顔情報検出部１０３は、鼻尖と両目の位置関係から、運転者Ｘの顔の変位量を推定して運転者Ｘの顔向きを検出する。
図５Ａの場合、顔情報検出部１０３は、鼻尖３１６が左目の目尻３１１を通る直線Ｑａ付近に位置していることから、運転者Ｘの顔向きは右であると検出する。
図５Ｂの場合、顔情報検出部１０３は、鼻尖３１６が両目頭３１２の間に位置していることから、運転者Ｘの顔向きは正面であると検出する。
図５Ｃの場合、顔情報検出部１０３は、鼻尖３１６が右目の目尻３１１を通る直線Ｑｂ付近に位置していることから、運転者Ｘの顔向きは左であると検出する。
また、図５Ｂで示したように、顔情報検出部１０３は、運転者が正面を向いているときに鼻尖が位置する点を通る直線Ｑｃを利用して、運転者Ｘの顔の上下の向きを検出する。直線Ｑｃは、運転者が上下方向および左右方向のいずれにおいても正面を向いている状態の顔画像から、予め求められたものである。顔情報検出部１０３は、鼻尖３１６が直線Ｑｃよりも上側に位置しているか、下側に位置しているかに応じて、運転者Ｘの顔向きが上向きであるか、または下向きであるかを検出する。

さらに、顔情報検出部１０３は、顔特徴点に含まれる目に関する位置情報のうち、上瞼、下瞼、目尻および目頭の位置情報から目の扁平率を算出する。
例えば、顔情報検出部１０３は、図６に示すように、上瞼３１３と下瞼３１４との間の距離Ｐａから目の高さを求め、目尻３１１と目頭３１２との間の距離Ｐｃから目の幅を求める。顔情報検出部１０３は、求めた目の幅（距離Ｐｃ）を目の高さ（距離Ｐａ）で除算し、目の扁平率を算出する。

さらに、顔情報検出部１０３は、運転者の視認範囲を検出する。運転者の視認範囲とは、運転者の正面視に対して、眼球運動だけで瞬時に情報を受容することができる範囲（有効視野）である。顔情報検出部１０３は、運転者の視認範囲として、例えば運転者の正面視に対して、水平方向に±１５°、垂直方向の上方向に８°および垂直方向の下方向に１２°の範囲と検出する。なお、上述した運転者の正面視に対する水平方向および垂直方向の値は変更可能なパラメータである。上記の数値は一例であり、それぞれ他の値が設定されてもよい。

顔情報検出部１０３は、上述した視認範囲に替えて、運転者の視認エリアを取得してもよい。運転者の視認エリアは、車両が備える構造物のうちいずれの構造物が運転者の有効視野に含まれるかを示す情報で表される。例えば、運転者の有効視野内にメータディスプレイとＣＩＤ（Center Information Display）とが含まれる場合、顔情報検出部１０３は、視認エリアとしてメータディスプレイとＣＩＤとを示す情報を視認エリアとして取得する。

具体的には、顔情報検出部１０３は、車両が備える構造物のうち、メータディスプレイ、ＣＩＤ、ＨＵＤ（Head-up Display）、左右のサイドミラーおよびバックミラー等の、運転者が視認可能な構造物の設置位置を示す情報を予め取得しているものとする。また、顔情報検出部１０３は、顔画像取得部１０１に入力される顔画像を撮像するカメラの設置位置を示す情報を予め取得しているものとする。
顔情報検出部１０３は、例えば、顔特徴点に含まれる鼻尖の位置から求めた奥行き距離に基づいて、運転者の顔とカメラとの相対位置を算出する。顔情報検出部１０３は、当該相対位置、および、カメラと各構造物との相対位置関係を用いて、運転者の有効視野に、いずれの構造物が存在するかを示す情報を取得し、視認エリアとして出力する。
なお、Ａピラーの位置、ダッシュボードの位置、およびＣＩＤが格納されたバイザー位置等が予め測定され、顔情報検出部１０３は、これらの位置を予め取得しているものとしてもよい。この場合、顔情報検出部１０３は、これらの位置に基づいて境界が規定される各エリアを利用して、乗員の視認エリアを、ウインドシールド、ドライバーサイドウィンドウ、パセンジャーサイドウィンドウ、またはセンターコンソール領域等として出力する。

また、顔情報検出部１０３は、顔特徴点および顔画像自体に基づき、運転手の顔に対して装着物の着脱または装着物のずれがあったかどうかを検出する。
また、顔情報検出部１０３は、顔画像取得部１０１が取得した顔画像の輝度と、顔特徴点検出部１０２が検出した顔特徴点とを用いて、顔特徴点の付近でのみ輝度が変化しているか否かを判定する。
顔情報検出部１０３は、輝度の変化が顔特徴点の付近のみでなく顔領域全体で発生していると判定した場合には、例えば車両に搭載されたカメラ等のＡＥ（Auto Exposure）機能を用いて、顔領域全体の平均輝度を調整するように露光時間を補正する。
顔情報検出部１０３は、顔特徴点の付近でのみ輝度が変化していると判定した場合には、例えば外光の影響により、顔にコントラストが発生していると判定し、当該コントラストの発生を、顔情報として検出する。

次に、頻度分布作成部１０５について説明する。
頻度分布作成部１０５は、顔情報検出部１０３が検出した顔情報を参照し、運転者の顔に予め設定された変化が生じた場合に、予め設定された時間区間における顔情報の頻度分布を作成する。さらに、頻度分布作成部１０５は、操作情報取得部１０４が取得した車両操作情報を参照し、車両に対して予め設定された車両操作が行われた場合に、予め設定された時間区間における顔情報の頻度分布を作成する。
顔特徴点検出部１０２による顔特徴点の検出は、搭乗者が車両を使用している間、例えば所定周期毎に随時行われ、顔情報検出部１０３は検出された顔特徴点から常時顔情報を検出して記憶領域（図示しない）に記憶されているものとする。運転状態判定装置１００においては、運転状態判定の精度向上のため、記憶された顔情報のうち、どの時間区間の顔情報を頻度分布の作成に利用するかが予め設定されている。

まず、頻度分布作成部１０５が、運転者の顔に関する変化が生じた場合に、予め設定された時間区間における顔情報の頻度分布を作成する場合について説明する。
運転状態判定装置１００においては、顔情報が示す運転者の顔の状態のうち、顔への装着物の着脱、装着物のずれ、または顔にコントラストが発生したことが、頻度分布作成部１０５による頻度分布作成の起点となる運転者の顔に関する変化として予め設定されている。

頻度分布作成部１０５は、顔情報検出部１０３から、顔への装着物の着脱、または装着物のずれを検出したことを示す顔情報が入力された場合に、予め設定された時間区間における顔情報の頻度分布の作成を開始する。
さらに、頻度分布作成部１０５は、顔情報検出部１０３から、顔にコントラストが発生したことを示す顔情報が入力された場合に、予め設定された時間区間における顔情報の頻度分布の作成を開始する。

次に、頻度分布作成部１０５が、予め設定された車両操作が行われた場合に予め設定された時間区間における顔情報の頻度分布を作成する場合について説明する。
運転状態判定装置１００においては、車両操作のうち、例えば、ドアの開閉、シートベルトの着脱、シートへの着座、シートポジションの変更およびシフトポジションのドライブモードへの移行が、頻度分布作成部１０５による頻度分布作成の起点となる車両操作として予め設定されている。
頻度分布作成部１０５は、操作情報取得部１０４から予め設定された車両操作が行われたことを示す車両操作情報を取得したことを起点として、予め設定された時間区間における顔情報の頻度分布の作成を開始する。

頻度分布作成部１０５は、顔情報検出部１０３が検出した顔領域の位置が、予め設定した有効顔位置領域に存在している場合のみの顔情報を、頻度分布作成に利用することとしてもよい。ここで、有効顔位置領域とは、運転者が運転席に着座した場合に顔領域が位置する範囲を規定した領域である。
図７は、実施の形態１に係る運転状態判定装置１００の頻度分布作成部１０５が参照する有効顔位置領域の一例を示す図である。
有効顔位置領域Ｒは、例えば、運転席に設けられたヘッドレスト、または座席の背もたれ等の位置に基づいて予め設定されている。

また、頻度分布作成部１０５は、顔情報検出部１０３が検出した運転者の顔向きが予め設定された一定範囲内の顔向きである場合の顔情報のみ、または運転者の視線または運転者の顔向きの前フレームからの変動量が一定の値より小さい場合の顔情報のみ、頻度分布作成に利用することとしてもよい。

次に、基準値算出部１０７について説明する。
基準値算出部１０７は、最頻値算出部１０６が算出した最頻値を用いて、運転者毎の最適化パラメータを算出する。基準値算出部１０７は、予め設定された正常な運転状態における顔情報の値に対して、算出した運転者毎の最適化パラメータを適用し、基準値を算出する。基準値は、上述した通り運転者毎の正常な運転状態における顔情報の値である。ここで、正常な運転状態とは、運転者が運転している際の正面視における顔向き、または運転者の定常状態における目の扁平率等である。
基準値算出部１０７は、車両が走行している際に、予め設定されたタイミングで基準値を算出して更新する。基準値算出部１０７が基準値を算出して更新するタイミングは任意に設定可能である。例えば、基準値算出部１０７において、運転者の運転状態での正面視における顔向きについては、更新タイミングは５分毎など、頻度が比較的高めとなる値に設定され、運転者の定常状態における目の扁平率については、更新タイミングは１時間毎等、頻度が比較的低めとなる値に設定される。このように更新タイミングは、各項目の特性に合わせて設定することが可能である。

次に、運転状態判定装置１００の動作について説明する。運転状態判定装置１００の動作は、基準値算出処理の動作と、運転状態判定処理の動作とに分けて説明する。
まず、図８のフローチャートを参照しながら、基準値算出処理の動作について説明する。
図８は、実施の形態１に係る運転状態判定装置１００の運転状態の正常範囲の算出処理の動作を示すフローチャートである。なお、図８のフローチャートでは、頻度分布作成部１０５が、顔情報および車両操作情報を参照して顔情報の頻度分布を作成する場合を例に説明する。
顔画像取得部１０１が顔画像を取得すると（ステップＳＴ１）、顔特徴点検出部１０２は取得された顔画像から、顔を構成するパーツが含まれる顔領域を検出する（ステップＳＴ２）。顔特徴点検出部１０２は、ステップＳＴ２で検出した顔領域内に存在する顔を構成する各パーツの位置情報を取得する（ステップＳＴ３）。顔情報検出部１０３は、ステップＳＴ３で取得された顔を構成する各パーツの位置情報から顔情報を検出する（ステップＳＴ４）。ステップＳＴ４においては、顔画像に基づいてコントラストの発生を示す顔情報を検出してもよい。

頻度分布作成部１０５は、ステップＳＴ４で検出された顔情報を参照し、運転者の顔に予め設定された変化が生じたか、および車両操作情報を参照し、車両に対して予め設定された車両操作が行われたか否か判定を行う（ステップＳＴ５）。運転者の顔に予め設定された変化が生じていない、且つ車両に対して予め設定された車両操作が行われていない場合（ステップＳＴ５；ＮＯ）、ステップＳＴ１の処理に戻る。一方、運転者の顔に予め設定された変化が生じた、または車両に対して予め設定された車両操作が行われた場合（ステップＳＴ５；ＹＥＳ）、頻度分布作成部１０５は、予め設定された時間区間における顔情報の頻度分布を作成する（ステップＳＴ６）。

最頻値算出部１０６は、ステップＳＴ６で作成された頻度分布から、顔情報の最頻値を算出する（ステップＳＴ７）。基準値算出部１０７は、ステップＳＴ７で算出された顔情報の最頻値から運転者毎の最適化パラメータを算出する（ステップＳＴ８）。基準値算出部１０７は、予め設定された正常な運転状態における顔情報の値に対してステップＳＴ８で算出した最適化パラメータを適用して基準値を算出する（ステップＳＴ９）。基準値算出部１０７は、ステップＳＴ９で算出した基準値を運転状態判定部１０８に適用し（ステップＳＴ１０）、ステップＳＴ１の処理に戻る。
なお、図８のフローチャートの繰り返し処理において、ステップＳＴ６では少なくとも１回は運転者の顔に予め設定された変化が生じた（ステップＳＴ５；ＹＥＳ）との判定結果に基づいて顔情報の頻度分布が作成されるものとする。
また、図８のフローチャートでは、頻度分布作成部１０５が顔情報および車両操作情報を参照する場合を例に示したが、頻度分布作成部１０５は、顔情報のみを参照して判定を行い、顔情報の頻度分布を作成することが可能である。

運転状態判定部１０８は、ステップＳＴ１０で適用された基準値に基づいて、正常視認範囲を設定する。運転状態判定部１０８が設定する正常視認範囲の一例を図９に示す。
図９は、実施の形態１に係る運転状態判定装置１００の運転状態判定部１０８が設定した正常視認範囲の一例を示す図である。
図９Ａは正常視認範囲を上方から見た図であり、図９Ｂは正常視認範囲を運転者Ｘの視点位置から見た図である。
図９Ａにおいて、角度θ１の範囲が正常視認範囲Ｓであり、当該正常視認範囲Ｓ以外の範囲（例えば、角度θ２および角度θ３の範囲）が脇見運転であると判定される領域になる。

図９Ｂの正常視認範囲Ｓ内の基点Ｔ（０，０）が運転者の正面視の顔向きを示している。基点Ｔに対して上下左右方向の範囲（図９Ｂの例では、上方向＋１５ｄｅｇ、下方向−２０ｄｅｇ、左方向−２０ｄｅｇ、右方向＋３０ｄｅｇ）は、基準値算出部１０７が算出した基準値に基づいて設定される。
なお、図９Ａ、図９Ｂで示した正常視認範囲は一例であり、これらの範囲に限定されるものではない。

また、車両が、運転者が手動で運転する手動運転モード、および車両側で自動的に運転制御する自動運転モードを備え、自動運転モードに複数の自動運転レベルが存在する場合に、運転状態判定部１０８は車両の自動運転レベルに基づいて、正常視認範囲Ｓを動的に変更させてもよい。
例えば、前方車両に追従するモードで、車間距離および走行速度に対する注意力を軽減できるが、その他に関しては手動運転と同等の注意力が必要であるレベル（自動運転レベル１）から、自車両の運転を全自動で行うモードで、運転者による運転操作および危険回避操作等の必要はないレベル（自動運転レベル３）までの自動運転レベルが存在するものとする。例えば、この自動運転レベル３では、図９Ｂで示した正常視認範囲Ｓを上下左右方向に広げて脇見運転であると判定する範囲を狭めてもよい。

次に、図１０のフローチャートを参照しながら、運転状態判定処理の動作について説明する。
図１０は、実施の形態１に係る運転状態判定装置１００の運転状態判定処理の動作を示すフローチャートである。図１０のフローチャートでは、運転者の運転状態として、運転者が脇見運転をしているか否かの判定を行う場合を例に説明する。
運転状態判定部１０８は、基準値算出部１０７が算出した基準値に基づいて、上述した正常視認範囲を設定しているものとして説明を行う。

運転状態判定部１０８は、操作情報取得部１０４から入力されるギア情報および車速情報を参照し、車両が走行状態であるか否か判定を行う（ステップＳＴ２１）。車両が走行中でなかった場合（ステップＳＴ２１；ＮＯ）、ステップＳＴ２１の判定処理を繰り返す。一方、車両が走行中であった場合（ステップＳＴ２１；ＹＥＳ）、運転状態判定部１０８は、操作情報取得部１０４から入力されるターンシグナル情報を参照し、車両が旋回動作中であるか否か判定を行う（ステップＳＴ２２）。車両が旋回動作中であった場合（ステップＳＴ２２；ＹＥＳ）、ステップＳＴ２１の処理に戻り、上述した処理を繰り返す。これは、右左折時の車両旋回動作中の脇見判定はＤＤ（Driver Distruction）となる可能性が高いこと、および脇見範囲の特定が困難であることから、脇見判定を実施しない。

一方、車両が旋回動作中でなかった場合（ステップＳＴ２２；ＮＯ）、運転状態判定部１０８は、操作情報取得部１０４から入力される舵角情報を参照して車両の旋回方向を予測し、正常視認範囲の方向を補正する（ステップＳＴ２３）。さらに運転状態判定部１０８は、操作情報取得部１０４から入力される車速情報を参照して、正常視認範囲またはステップＳＴ２３で方向を補正した正常視認範囲の広がり角度を補正する（ステップＳＴ２４）。運転状態判定部１０８は、顔情報検出部１０３から入力される運転者の視線、または運転者の顔向きから、運転者がステップＳＴ２３およびステップＳＴ２４で補正して得られた正常視認範囲外の領域を一定時間以上視認しているか否か判定を行う（ステップＳＴ２５）。

一定時間以上視認している場合（ステップＳＴ２５；ＹＥＳ）、運転状態判定部１０８は運転者が脇見運転を行っていると判定する（ステップＳＴ２６）。運転状態判定部１０８は、例えば警告装置２００に対して脇見運転を警告するように指示する処理を行い（ステップＳＴ２７）、ステップＳＴ２１の処理に戻る。一方、一定時間以上視認していない場合（ステップＳＴ２５；ＮＯ）、運転状態判定部１０８は運転者が脇見運転をしていないと判定し（ステップＳＴ２８）、ステップＳＴ２１の処理に戻る。

上述した図１０のフローチャートのステップＳＴ２３の正常視認範囲の方向の補正について図１１を参照しながら説明する。
図１１は、実施の形態１に係る運転状態判定装置１００の運転状態判定部１０８による正常視認範囲の補正の一例を示す図である。
図１１Ａは、車両Ｙが左方向に旋回していると予測した場合に、図９Ａで示した正常視認範囲Ｓを運転者Ｘに対して左側に向けて正常視認範囲Ｓａとし、方向を補正する場合を示している。図１１Ｃは、車両Ｙが右方向に旋回していると予測した場合に、図９Ａで示した正常視認範囲Ｓを運転者Ｘに対して右側に向けて正常視認範囲Ｓｂとし、方向を補正する場合を示している。なお、図１１Ｂに示したように、車両Ｙが直進方向に走行していると予測した場合には、正常視認範囲Ｓの方向の補正は行わない。

上述したフローチャートのステップＳＴ２４の正常視認範囲の広がり角度の補正について図１２を参照しながら説明する。
図１２は、実施の形態１に係る運転状態判定装置１００の運転状態判定部１０８による正常視認範囲の補正の一例を示す図である。
図１２Ａは、車両Ｙが下限閾値以下の低速で走行している場合に、図９Ａで示した正常視認範囲Ｓの広がり角度を広げて正常視認範囲Ｓｃとする補正を示している。図１２Ｂは、車両Ｙが上限閾値以上の高速で走行している場合に、図９Ａで示した正常視認範囲Ｓの広がり角度を狭めて正常視認範囲Ｓｄとする補正を行っている。なお、車両が閾値範囲内の車速で走行している場合には、正常視認範囲Ｓの広がり角度の補正は行わない。

運転状態判定部１０８は、図１０のフローチャートで示した脇見運転判定処理以外にも、運転者が居眠り運転を行っていないか否かの判定処理等を行うことができる。

以上のように、実施の形態１によれば、運転者の顔画像から、運転者の顔の特徴点に関する位置情報を、顔特徴点として検出する顔特徴点検出部１０２と、検出された顔特徴点から、運転者の顔の状態を示す顔情報を検出する顔情報検出部１０３と、顔情報を参照し、運転者の顔に予め設定された変化が生じた場合に、検出された顔情報から、予め設定された時間区間での顔情報の頻度分布を作成する頻度分布作成部１０５と、作成された頻度分布から、顔情報の最頻値を算出する最頻値算出部１０６と、算出された顔情報の最頻値から、運転者の定常状態を示す基準値を算出する基準値算出部１０７と、算出された基準値と、検出された顔情報とを比較し、運転者の運転状態を判定する運転状態判定部１０８とを備えるように構成したので、運転者に予め設定された動作を行うことを求めることなく、運転者毎に運転状態を判定するための基準値を算出することができる。また、当該基準値に基づいて、運転者毎に運転状態を判定するための正常視認範囲を設定することができる。これらにより、運転者の個人差の影響により、運転状態の判定結果の精度が低下するのを緩和することができる。

また、この実施の形態１によれば、運転者が搭乗している車両の操作状態を示す車両操作情報を取得する操作情報取得部１０４を備え、頻度分布作成部１０５は、取得された前記車両操作情報を参照し、前記車両に対して予め設定された車両操作が行われた場合に、前記頻度分布を作成するように構成したので、運転者に予め設定された動作を行うことを求めることなく、運転者毎に運転状態を判定するための正常視認範囲を設定することができる。

また、この実施の形態１によれば、顔情報検出部が、顔情報として、運転者の顔への装着物の着脱を検出するように構成したので、運転開始後に変動が予測される挙動も考慮した運転状態の判定を行うことができる。

なお、上述した実施の形態１で示した、基準値算出処理および運転状態判定処理は、車両の走行中に適宜繰り返し実行される処理である。

また、上述した実施の形態１では、顔情報検出部１０３が検出した顔情報および操作情報取得部１０４が取得した車両操作情報を参照して顔情報の頻度分布を作成する場合を示したが、頻度分布作成部１０５は、少なくとも顔情報検出部１０３が検出した顔情報を参照できれば顔情報の頻度分布を作成することか可能である。この点は、以下の実施の形態２および実施の形態３においても同様である。

実施の形態２．
この実施の形態２では、運転者の顔認証を行う構成を示す。
図１３は、実施の形態２に係る運転状態判定装置１００Ａの構成を示すブロック図である。
実施の形態２に係る運転状態判定装置１００Ａは、図１に示した実施の形態１の運転状態判定装置１００に、認証情報記憶部１０９および認証部１１０を追加して構成している。また、頻度分布作成部１０５および基準値算出部１０７に替えて、頻度分布作成部１０５ａおよび基準値算出部１０７ａを備えて構成している。
以下では、実施の形態１に係る運転状態判定装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。

基準値算出部１０７ａは、実施の形態１で示した処理によって算出した基準値を、運転者の識別情報と紐付けて、認証情報記憶部１０９に記憶する。運転者の識別情報は、例えば入力装置（図示しない）を介して基準値算出部１０７ａに入力される。
認証情報記憶部１０９は、基準値算出部１０７ａが算出した基準値と、運転者の識別情報とを紐付けて記憶する領域である。認証情報記憶部１０９は、運転状態判定装置１００が備えてもよいし、車両に搭載されたその他の車載機器（図示しない）が備えてもよいし、外部サーバ（図示しない）が備えていてもよい。

認証部１１０は、顔情報検出部１０３が検出した顔情報と、認証情報記憶部１０９に記憶された基準値との照合を行う。認証部１１０は、顔情報と一致した基準値に紐付けられた運転者の識別情報を参照し、運転者の認証を行う。認証部１１０は、運転者の認証に成功した場合には、運転状態判定部１０８に対して、運転状態の判定開始を指示する。また、認証部１１０は、運転者の認証に成功したことを示す情報を、例えばモニタまたはスピーカ等で構成される出力装置４００に出力する。また、認証部１１０は、運転者の認証に失敗した場合には、認証に失敗したことを示す情報を、例えば出力装置４００に出力する。

運転状態判定部１０８は、認証情報記憶部１０９に記憶された基準値と、顔情報検出部１０３から入力される運転者の顔情報とを比較し、運転者の運転状態を判定する。なお、運転状態判定部１０８は、実施の形態１と同様に基準値算出部１０７ａから入力される基準値と、顔情報検出部１０３から入力される運転者の顔情報とを比較し、運転者の運転状態を判定してもよい。運転状態判定部１０８の運転状態の判定処理は、実施の形態１と同様である。

頻度分布作成部１０５ａは、実施の形態１で示した処理によって算出した顔情報の時間変化を用いて、認証情報記憶部１０９に記憶された基準値を更新する。
頻度分布作成部１０５ａは、実施の形態１で示したように、運転者の顔への装着物の着脱を契機として、顔情報の時間変化を算出し、認証情報記憶部１０９に記憶された基準値を更新する。認証情報記憶部１０９は、基準値を、顔への装着物の種類、例えばメガネ、サングラスおよびマスク等に応じて分類して記憶するのが好適である。また、頻度分布作成部１０５ａは、顔への装着物を外したタイミングでは、欠損していた顔情報を重点的に更新して顔情報を補間するように、認証情報記憶部１０９に記憶された基準値を更新してもよい。

同様に、頻度分布作成部１０５ａは、実施の形態１で示したように、運転者の顔の一部の領域においてコントラストが発生したことを契機として、顔情報の時間変化を算出し、認証情報記憶部１０９に記憶された基準値を更新する。

次に、運転状態判定装置１００Ａのハードウェア構成例を説明する。なお、実施の形態１と同一の構成の説明は省略する。
運転状態判定装置１００Ａにおける頻度分布作成部１０５ａ、基準値算出部１０７ａおよび認証部１１０は、図２Ａで示した処理回路１００ａ、または図２Ｂで示したメモリ１００ｃに格納されるプログラムを実行するプロセッサ１００ｂである。

次に、運転状態判定装置１００Ａによる運転者の認証動作について説明する。
図１４は、実施の形態２に係る運転状態判定装置１００Ａの認証部１１０の動作を示すフローチャートである。図１４で示す運転者の認証動作は、例えば運転者が運転席に座ったとき等、運転者が車両に乗車した際に行われる。
認証部１１０は、顔情報検出部１０３から顔情報が入力されると（ステップＳＴ３１）、入力された顔情報と、認証情報記憶部１０９に記憶された基準値との照合を行う（ステップＳＴ３２）。認証部１１０は、照合結果を参照し運転者の認証に成功したか否か判定を行う（ステップＳＴ３３）。運転者の認証に成功した場合（ステップＳＴ３３；ＹＥＳ）、認証部１１０は、運転状態判定部１０８に対して運転状態の判定開始を指示する（ステップＳＴ３４）。また、認証部１１０は、運転者の認証に成功したことを示す情報を、出力装置４００に出力し（ステップＳＴ３５）、処理を終了する。

一方、運転者の認証に成功しなかった場合（ステップＳＴ３３；ＮＯ）、認証部１１０は、運転者の認証に失敗したことを示す情報を出力装置４００に出力する（ステップＳＴ３６）。その後、フローチャートはステップＳＴ３１の処理に戻り、上述した処理を繰り返す。

以上のように、この実施の形態２によれば、基準値算出部１０７ａが算出した基準値を、運転者の識別情報と紐付けて記憶した認証情報記憶部１０９と、取得された顔情報と、記憶された基準値とを照合し、運転者の認証を行う認証部１１０とを備えるように構成したので、運転者毎に算出された基準値に基づいて、運転者の認証を行うことができる。これにより、運転者の個人差の影響により、認証結果の精度が低下するのを緩和することができる。

また、この実施の形態２によれば、顔情報検出部１０３が、顔情報として、運転者の顔への装着物の着脱または装着物のずれを検出した、または運転者の顔においてコントラストの発生を検出した場合に、算出した運転者の顔の特徴点の変化に基づいて認証情報記憶部１０９に記憶した基準値を更新するように構成したので、運転開始後に変動が予測される運転者の顔への装着物の着脱、または運転者の着座姿勢、外光の影響等を考慮して、運転者を認証することができ。
また、運転状態判定部は、認証部が運転者の認証が完了した場合に認証情報記憶部１０９に記憶された基準値と、顔情報検出部１０３が検出した顔情報とを比較し、運転者の運転状態を判定するように構成したので、運転開始後に変動が予測される運転者の顔への装着物の着脱、または運転者の着座姿勢、外光の影響等を考慮して、運転状態を判定することができる。

実施の形態３．
この実施の形態３では、運転者毎の顔情報の時間変化を、車両周辺の情報と共に記憶し、当該運転者の認証を行う構成を示す。
図１５は、実施の形態３に係る運転状態判定装置１００Ｂの構成を示すブロック図である。
実施の形態３に係る運転状態判定装置１００Ｂは、図１３に示した実施の形態２の運転状態判定装置１００Ａに、周辺情報取得部１１１を追加して構成している。また、基準値算出部１０７ａ、運転状態判定部１０８、認証情報記憶部１０９および認証部１１０に替えて、基準値算出部１０７ｂ、運転状態判定部１０８ａ、認証情報記憶部１０９ａおよび認証部１１０ａを備えて構成している。
以下では、実施の形態２に係る運転状態判定装置１００の構成要素と同一または相当する部分には、実施の形態２で使用した符号と同一の符号を付して説明を省略または簡略化する。

周辺情報取得部１１１は、外部装置（図示しない）から入力される現在の天候情報、日時情報および交通情報等（以下、車両周辺情報と記載する）を取得する周辺情報取得部１１１は、取得した車両周辺情報を基準値算出部１０７ｂ、運転状態判定部１０８ａおよび認証部１１０ａに出力する。基準値算出部１０７ｂは、算出した基準値を、運転者の識別情報および当該基準値を算出した際の車両周辺情報と紐付けて、認証情報記憶部１０９ａに記憶させる。認証情報記憶部１０９ａは、基準値算出部１０７ｂが算出した基準値と、運転者の識別情報および車両周辺情報とを紐付けて記憶する領域である。

認証部１１０ａは、周辺情報取得部１１１から入力される現在の車両周辺情報を取得する。認証部１１０ａは、取得した車両周辺情報に一致または類似する車両周辺情報が紐付けられた基準値と、顔情報検出部１０３が検出した顔情報との照合を行う。認証部１１０ａは、顔情報と一致した基準値に紐付けられた運転者の識別情報を参照し、運転者の認証を行う。認証部１１０ａは、実施の形態２と同様に運転者の認証に成功した場合には、運転状態判定部１０８ａに対して、運転状態の判定開始を指示し、運転者の認証に成功したことを示す情報を出力装置４００に出力する。また、認証部１１０ａは、運転者の認証に失敗した場合には、認証に失敗したことを示す情報を、例えば出力装置４００に出力する。

認証情報記憶部１０９ａが、基準値を現在の天候情報および日時情報を紐付けて記憶することにより、認証部１１０ａにおいて、天候または日時によって運転者の撮像画像に生じる光の変化を考慮した認証を行うことができる。
また、認証情報記憶部１０９ａが、基準値を交通情報に紐付けて記憶することにより、認証部１１０ａにおいて、道路の混雑度合いによって運転者の撮像画像に生じる表情等の変化を考慮した認証を行うことができる。

運転状態判定部１０８ａは、取得した車両周辺情報に一致または類似する車両周辺情報が紐付けられた基準値と、顔情報検出部１０３から入力される運転者の顔情報とを比較し、運転者の運転状態を判定する。運転状態判定部１０８ａは、周辺情報取得部１１１から入力される車両周辺情報を考慮した基準値を用いて運転状態を判定することにより、運転者の撮像画像に生じる光の変化、または表情の変化を考慮して運転状態を判定することができる。
なお、運転状態判定部１０８ａは、実施の形態１と同様に基準値算出部１０７ｂから入力される基準値と、顔情報検出部１０３から入力される運転者の顔情報とを比較し、運転者の運転状態を判定してもよい。

次に、運転状態判定装置１００Ｂのハードウェア構成例を説明する。なお、実施の形態１と同一の構成の説明は省略する。
運転状態判定装置１００Ｂにおける基準値算出部１０７ｂ、運転状態判定部１０８ａ、認証部１１０ａおよび周辺情報取得部１１１は、図２Ａで示した処理回路１００ａ、または図２Ｂで示したメモリ１００ｃに格納されるプログラムを実行するプロセッサ１００ｂである。

次に、運転状態判定装置１００Ｂによる運転者の認証動作について説明する。
図１６は、実施の形態３に係る運転状態判定装置１００Ｂの認証部１１０ａの動作を示すフローチャートである。図１６で示す運転者の認証動作は、例えば運転者が運転席に座ったとき等、運転者が車両に乗車した際に行われる。なお、以下では、実施の形態２に係る運転状態判定装置１００Ａと同一のステップには図１４で使用した符号と同一の符号を付し、説明を省略または簡略化する。

認証部１１０ａは、顔情報検出部１０３から顔情報が入力されると（ステップＳＴ３１）、周辺情報取得部１１１から車両周辺情報を取得する（ステップＳＴ４１）。認証部１１０ａは、認証情報記憶部１０９に記憶された基準値のうち、ステップＳＴ４１で取得した車両周辺情報に一致または類似する車両周辺情報に紐付けられた基準値と、入力された顔情報との照合を行う（ステップＳＴ４２）。その後、ステップＳＴ３３の処理に進む。

以上のように、この実施の形態３によれば、車両の周辺の環境情報を取得する周辺情報取得部１１１を備え、認証情報記憶部１０９ａは、基準値算出部１０７ｂが算出した基準値を、運転者の識別情報および取得された環境情報と紐付けて記憶するように構成したので、車両の周辺の環境を考慮して、運転者を認証し、運転状態を判定することができる。これにより、車両の周辺の環境の影響により、認証結果の精度が低下するのを緩和することができる。

上述した実施の形態１から実施の形態３において示した各構成の機能の一部を、運転状態判定装置１００，１００Ａ，１００Ｂと接続されたサーバ装置が行うように構成してもよい。また、上述した実施の形態１から実施の形態３において示した運転状態判定装置１００，１００Ａ，１００Ｂの各構成の機能の一部を、乗員のスマートフォンなどの携帯端末が実行するように構成してもよい。

上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。

この発明に係る運転状態判定装置は、判定精度の向上が求められるドライバモニタリングシステム等に適用し、運転者毎に設定された正常範囲に基づいて運転状態等を判定するのに適している。

１００，１００Ａ，１００Ｂ 運転状態判定装置、１０１ 顔画像取得部、１０２ 顔特徴点検出部、１０３ 顔情報検出部、１０４ 操作情報取得部、１０５、１０５ａ 頻度分布作成部、１０６ 最頻値算出部、１０７，１０７ａ，１０７ｂ 基準値算出部、１０８，１０８ａ 運転状態判定部、１０９，１０９ａ 認証情報記憶部、１１０，１１０ａ 認証部、１１１ 周辺情報取得部。

Claims (18)

1. 運転者の顔画像から、前記運転者の顔の特徴点に関する位置情報を、顔特徴点として検出する顔特徴点検出部と、
   前記顔特徴点検出部が検出した前記顔特徴点から、前記運転者の顔の状態を示す顔情報を検出する顔情報検出部と、
   前記顔情報検出部が検出した前記顔情報を参照し、前記顔情報検出部が検出した前記顔情報から、予め設定された時間区間での前記顔情報の頻度分布を作成する頻度分布作成部と、
   前記頻度分布作成部が作成した前記頻度分布から、前記顔情報の最頻値を算出する最頻値算出部と、
   前記最頻値算出部が算出した前記顔情報の最頻値から、定常状態を示す基準値を示す基準値を算出する基準値算出部と、
   前記基準値算出部が算出した前記基準値に基づいて正常視認範囲を設定し、前記顔情報検出部が検出した前記顔情報から、前記運転者が前記正常視認範囲外の領域を視認しているか否か判定を行い、前記判定の結果に基づき前記運転者の運転状態を判定する運転状態判定部とを備えた運転状態判定装置。
2. 前記運転者が搭乗している車両の操作状態を示す車両操作情報を取得する操作情報取得部を備え、
   前記頻度分布作成部は、前記操作情報取得部が取得した前記車両操作情報を参照し、前記車両に対して予め設定された車両操作が行われた場合に、前記頻度分布を作成することを特徴とする請求項１記載の運転状態判定装置。
3. 前記顔情報検出部は、前記顔特徴点検出部が検出した前記顔特徴点から、前記運転者の顔領域の位置を検出し、
   前記頻度分布作成部は、前記顔領域の位置が、前記運転者が着座した場合に顔領域が位置すると設定された有効顔位置領域内である場合に、前記頻度分布を作成することを特徴とする請求項１記載の運転状態判定装置。
4. 前記頻度分布作成部は、前記顔情報検出部がある時点で検出した前記顔情報と、当該ある時点から１つ前のタイミングで検出した前記顔情報との差が一定範囲内にある場合に、前記頻度分布を作成することを特徴とする請求項１記載の運転状態判定装置。
5. 前記頻度分布作成部は、前記顔情報検出部が前記運転者の顔への装着物の着脱、または前記装着物のずれを検出した場合に、前記頻度分布を作成することを特徴とする請求項１記載の運転状態判定装置。
6. 前記頻度分布作成部は、前記顔情報検出部が前記運転者の顔のコントラストの発生を検出した場合に、前記頻度分布を作成することを特徴とする請求項１記載の運転状態判定装置。
7. 前記頻度分布作成部は、前記操作情報取得部が前記車両のドアの開閉操作、前記車両のシートベルトの着脱操作、前記車両の座席への着座、前記車両の座席位置の変更操作、および前記車両のシフトレバーのドライブへの移行操作のうちの少なくともいずれか１つを示す情報を取得した場合に、前記頻度分布を作成することを特徴とする請求項２記載の運転状態判定装置。
8. 前記顔情報検出部は、前記顔情報として、前記顔特徴点の位置関係を示す情報、前記運転者の目の開閉状態、前記運転者の視線、前記運転者の顔向き、前記運転者の目の扁平率、前記運転者の視認範囲、前記運転者の視認エリアのうち、少なくともいずれか１つを検出することを特徴とする請求項１記載の運転状態判定装置。
9. 前記運転状態判定部は、前記運転者が搭乗している車両が、前記運転者が手動で運転する手動運転モード、および前記車両側で自動的に運転制御する自動運転モードを有し、当該自動運転モードに複数の自動運転レベルが存在する場合に、前記自動運転レベルに応じて前記正常視認範囲を変更することを特徴とする請求項１記載の運転状態判定装置。
10. 前記運転状態判定部は、前記自動運転レベルが全自動に近づくほど、前記正常視認範囲を広げることを特徴とする請求項９記載の運転状態判定装置。
11. 前記運転者が搭乗している車両の操作状態を示す車両操作情報を取得する操作情報取得部を備え、
    前記頻度分布作成部は、前記操作情報取得部が取得した前記車両操作情報を参照し、前記車両に対して予め設定された車両操作が行われた場合に、前記頻度分布を作成し、
    前記運転状態判定部は、前記操作情報取得部から入力される舵角情報を参照して前記車両の旋回方向を予測し、前記正常視認範囲の方向を補正することを特徴とする請求項１記載の運転状態判定装置。
12. 前記運転者が搭乗している車両の操作状態を示す車両操作情報を取得する操作情報取得部を備え、
    前記頻度分布作成部は、前記操作情報取得部が取得した前記車両操作情報を参照し、前記車両に対して予め設定された車両操作が行われた場合に、前記頻度分布を作成し、
    前記運転状態判定部は、前記操作情報取得部から入力される車速情報を参照して、前記車両の車速に応じて、前記正常視認範囲の広がり角度を補正することを特徴とする請求項１記載の運転状態判定装置。
13. 前記基準値算出部が算出した前記基準値を、前記運転者の識別情報と紐付けて記憶した認証情報記憶部と、
    前記顔情報検出部が取得した前記顔情報と、前記認証情報記憶部に記憶された前記基準値とを照合し、前記運転者の認証を行う認証部とを備えた請求項１記載の運転状態判定装置。
14. 前記頻度分布作成部は、前記顔情報検出部が、前記顔情報として、前記運転者の顔への装着物の着脱または前記装着物のずれを検出した、または前記運転者の顔のコントラストの発生を検出した場合に、算出した前記運転者の顔の特徴点の変化に基づいて前記認証情報記憶部に記憶した基準値を更新することを特徴とする請求項１３記載の運転状態判定装置。
15. 前記認証部が前記運転者の認証が完了した場合に前記認証情報記憶部に記憶された前記基準値と、前記顔情報検出部が検出した前記顔情報とを比較し、前記運転者の運転状態を判定する運転状態判定部を備えることを特徴とする請求項１３記載の運転状態判定装置。
16. 前記運転者が搭乗する車両の周辺の環境情報を取得する周辺情報取得部を備え、
    前記認証情報記憶部は、前記基準値算出部が算出した基準値を、前記運転者の識別情報および前記周辺情報取得部が取得した前記環境情報と紐付けて記憶したことを特徴とする請求項１３記載の運転状態判定装置。
17. 前記周辺情報取得部は、前記車両の周辺の天候情報、日時情報、および交通情報のうちの少なくともいずれか１つを取得することを特徴とする請求項１６記載の運転状態判定装置。
18. 顔特徴点検出部が、運転者の顔画像から、前記運転者の顔の特徴点に関する位置情報を、顔特徴点として検出するステップと、
    顔情報検出部が、前記顔特徴点から、前記運転者の顔の状態を示す顔情報を検出するステップと、
    頻度分布作成部が、前記顔情報を参照し、前記運転者の顔に予め設定された変化が生じた場合に、前記顔情報から、予め設定された時間区間での前記顔情報の頻度分布を作成するステップと、
    最頻値算出部が、前記頻度分布から、前記顔情報の最頻値を算出するステップと、
    基準値算出部が、前記顔情報の最頻値から、前記運転者の定常状態を示す基準値を算出するステップと、
    運転状態判定部が、前記基準値に基づいて正常視認範囲を設定し、前記顔情報検出部が検出した前記顔情報から、前記運転者が前記正常視認範囲外の領域を視認しているか否か判定を行い、前記判定の結果に基づき前記運転者の運転状態を判定するステップとを備えた運転状態判定方法。

Images