JP2006109980A - 覚醒度判定装置 - Google Patents

Abstract

【課題】 覚醒度低下の初期状態を正確に検出することが可能な覚醒度判定装置を提供する。
【解決手段】 覚醒度判定装置１は、撮像した画像から運転者の眼の開度を示す開度値を検出し、これを時系列的に収集する。そして、覚醒度判定装置１は、開度値の統計的代表値及び統計的偏差を求める。ここで、開度値の統計的代表値は眼の開度値の大きさを表すものとなる。また、統計的偏差は、眼の開度値の散らばり具合、すなわち瞬きの頻度を表すものとなる。ここで、運転者は、覚醒度低下の初期状態において、眼の開度値が小さくなると共に、瞬きの回数が減少する傾向にある。従って、覚醒度判定装置１は、算出した統計的代表値と統計的偏差とから、覚醒度低下の初期状態を正確に検出することができる。
【選択図】 図４

Description

本発明は、覚醒度判定装置に関する。

従来、運転者が眼を閉じている時間（閉眼時間）を積算し、所定時間中における閉眼時間の割合から、運転者の覚醒度が低下していることを検出する検出装置が知られている（例えば特許文献１参照）。
特開平７−１５６６８２号公報

しかし、運転者の覚醒度が低下し始めた状態、すなわち覚醒度低下の初期状態には、所定時間中における閉眼時間の割合が覚醒時よりも低くなってしまう場合がある。このため、従来装置では、覚醒度低下の初期状態を正確に検出できない場合がある。

本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、覚醒度低下の初期状態を正確に検出することが可能な覚醒度判定装置を提供することにある。

本発明によれば、覚醒度判定装置は、撮像手段と、開度値検出手段と、算出手段と、覚醒度判定手段とを備えている。撮像手段は運転者の顔を撮像するものである。開度値検出手段は、撮像手段により撮像された画像から、運転者の眼の開度を示す開度値を検出するものである。算出手段は、開度値検出手段により検出された開度値を時系列的に収集して、開度値の統計的代表値及び統計的偏差を求めるものである。覚醒度判定手段は、算出手段により算出された統計的代表値と統計的偏差とから、覚醒度低下の初期状態を判定するものである。

本発明によれば、撮像した画像から運転者の眼の開度を示す開度値を検出し、これを時系列的に収集して開度値の統計的代表値及び統計的偏差を求めることとしている。ここで、開度値の統計的代表値は眼の開度値の大きさを表すものとなる。また、統計的偏差は、眼の開度値の散らばり具合、すなわち瞬きの頻度を表すものとなる。

そして、算出した統計的代表値と統計的偏差とから、覚醒度低下の初期状態を判定することとしている。ここで、運転者は、眠くなり始めたときにおいて、すなわち覚醒度低下の初期状態において、眼の開度値が小さくなると共に、瞬きの回数が減少する傾向にある。従って、眼の開度値の大きさを示す統計的代表値と瞬きの頻度を示す統計的偏差とから覚醒度低下の初期状態を判定することで、覚醒度低下の初期状態を正確に検出することができる。

以下、本発明の好適な実施形態を図面に基づいて説明する。なお、各図において、同一又は同様の要素には同一の符号を付して説明を省略するものとする。

本発明の実施形態に係る覚醒度判定装置を説明するに先立って、本発明を創作するに至った経緯を説明する。図１は、運転者の開閉眼の状態を示す説明図である。

まず、運転者は、正常時（覚醒状態時）において図１の符号ａに示すように大きく眼を見開いて運転をしている。このとき、運転者は開眼状態にある。また、運転者は、正常時において図１の符号ｂに示すように瞬きをする。このとき、運転者は閉眼状態となる。

覚醒度判定装置では、上記のような開眼状態及び閉眼状態を判定するために、開閉眼判定基準値が設定されている。そして、覚醒度判定装置では、図１の符号ａ，ｂに示す画像が撮像された場合、その画像から運転者の眼を特定し、眼の開度値を求める。このとき、覚醒度判定装置は、眼の開度値が開閉眼判定基準値よりも大きければ開眼状態であると判定し、眼の開度値が開閉眼判定基準値以下であれば閉眼状態であると判定する。

また、覚醒度判定装置は、覚醒度低下時においても同様に、運転者の開閉眼を判定する。まず、運転者は覚醒度低下時において図１の符号ｃに示すようにやや眼を細めて運転している。このとき、眼の開度値は開閉眼判定基準値よりも大きい。よって、覚醒度判定装置は、運転者が開眼状態にあると判定する。さらに、運転者は、図１の符号ｄに示すように覚醒度低下時において眠さから眼を閉じてしまう。このとき、眼の開度値は開閉眼判定基準値以下となる。よって、覚醒度判定装置は、運転者が閉眼状態にあると判定する。

このように、正常時及び覚醒度低下時の双方において、開閉眼判定基準値から眼の開閉眼の状態を判定することができる。そして、覚醒度判定装置は、開閉眼状態から、運転者の覚醒度を判定する。すなわち、覚醒度判定装置は、開閉眼状態から運転者が覚醒状態にあることや、覚醒度低下状態にあることを判定する。

ここで、運転者は覚醒度低下時に眼を閉じやすい傾向にある。このため、或る時間中に占める閉眼の割合（以下閉眼率という）は、覚醒度低下時の方が正常時よりも高くなる傾向にある。覚醒度判定装置は、この傾向を利用し、閉眼率を求めることにより、覚醒度の低下を判定することとなる。

ところが、覚醒度判定装置は、覚醒度の低下を検出できるものの、運転者が眠くなり始めた状態、すなわち覚醒度低下の初期状態を、閉眼率から検出することが困難となっている。

図２は、閉眼率を示すグラフであり、（ａ）は正常時における閉眼率を示し、（ｂ）は覚醒度低下時の初期状態における閉眼率を示している。なお、図２の各図において縦軸は開度値を示し、横軸は経過時間を示している。

まず、図２（ａ）に示すように、正常時における閉眼率は４．３％となっている。すなわち、運転者は、正常時において約４．３％の割合で眼を閉じている。一方、図２（ｂ）に示すように、覚醒度低下の初期状態における閉眼率は２．５％となっている。すなわち、正常時よりも閉眼率が小さくなる。これは、覚醒度低下の初期状態において運転者の瞬き回数が正常時よりも減少する傾向にあるためである。

このように、覚醒度判定装置は、閉眼率から覚醒度低下時（覚醒度が低下し切った状態）を検出できるものの、覚醒度低下の初期状態については検出できない。図３は、開閉眼判定基準値を高めた場合の閉眼率を示すグラフであり、（ａ）は正常時における閉眼率を示し、（ｂ）は覚醒度低下時の初期状態における閉眼率を示している。なお、図３の各図において縦軸は開度値を示し、横軸は経過時間を示している。

上記の如く、覚醒度判定装置は、覚醒度低下の初期状態を検出できない。そこで、開閉眼判定基準値を高めることで、覚醒度低下の初期状態の閉眼率を上昇させることが考えられる。

しかし、この場合であっても、図３（ａ）及び（ｂ）に示すように、正常時における閉眼率は１２．１％であり、覚醒度低下の初期状態における閉眼率は８．９％である。すなわち、覚醒度低下の初期状態における閉眼率の方が正常時における閉眼率よりも高くなっている。よって、覚醒度判定装置は、たとえ開閉眼判定基準値を高めたとしても、覚醒度低下の初期状態を検出できないこととなる。

そこで、以下の実施形態に係る覚醒度判定装置では、覚醒度低下の初期状態についても精度良く検出できるように、以下の構成及び処理を採用している。次に、実施形態に係る覚醒度判定装置を説明する。

図４は、本発明の第１実施形態に係る覚醒度判定装置のハード構成図である。本実施形態の覚醒度判定装置１は、運転者の覚醒度を判定するためのものであって、特に覚醒度低下の初期状態を判定するためのものである。

この覚醒度判定装置１は、図４に示すように、運転者の顔を撮像する撮像部（撮像手段）１０を備えている。撮像部１０は、例えば、可視光を撮像するためのＣＣＤカメラなどであり、運転者の正面下方に設置される。

また、上記覚醒度判定装置１は、撮像部１０により撮像された画像に基づき、運転者の覚醒度を判定する処理装置２０を具備している。この処理装置２０は、運転者の覚醒度が正常である場合、運転者の覚醒度が低下の初期時である場合、及び運転者の覚醒度が低下し切った場合の少なくとも３段階に覚醒度を判定可能となっている。

さらに、上記覚醒度判定装置１は、処理装置２０にて判定された覚醒度に応じて所定の提示をする提示部３０を有している。この提示部３０は、例えば運転者の覚醒度が低下し切っている場合に、音声などによって運転者を覚醒させるように報知するものである。

次に、処理装置２０の詳細構成を図５を参照して説明する。図５は、図４に示した処理装置２０の詳細構成図である。なお、図５においては、接続関係を明確にするために、撮像部１０についても図示することとする。

図５に示すように、処理装置２０は、眼位置検出部２１、追跡部２２、開度値検出部（開度値検出手段）２３、学習部（学習手段）２４、開閉眼判定基準値算出部（開閉眼判定基準値算出手段）２５、開閉眼判定部（開閉眼判定手段）２６、及び覚醒度判定部（覚醒度判定手段）２７を備えている。

眼位置検出部２１は、撮像部１０からの画像のデータに基づいて、運転者の眼の位置を検出するものである。図６は、眼位置検出部２１が眼の位置の検出に際して行う初期処理の説明図である。なお、図６においては、縦４８０画素、横５１２画素の画像を例に説明する。

まず、眼位置検出部２１は、画像縦方向にすべての画素について、濃度値のデータを取得する。その後、眼位置検出部２１は、濃度値の変化が所定の条件を満たす画素を抽出して、図７に示すような画素群を得る。図７は、眼位置検出部２１が所定の画素を抽出したとき様子を示す説明図である。同図に示すように、抽出された画素は、運転者の眉、眼、鼻及び口の位置に対応するものとなっている。そして、画素の抽出後、眼位置検出部２１は、画像横方向に近接する画素をグループ化する。

図８は、画像横方向に近接する画素をグループ化したときの様子を示す説明図である。同図に示すように、グループ化することにより、眼位置検出部２１は、運転者の右眉、左眉、右眼、左眼、鼻及び口それぞれに対応した連続データＧ１〜Ｇ６を形成する。

その後、眼位置検出部２１は、ゾーン化の処理を行う。図９は、眼位置検出部２１によるゾーン化後の様子を示す説明図である。眼位置検出部２１は、連続データＧ１〜Ｇ６の存在位置について画像縦方向にゾーン化する。この際、眼位置検出部２１は、３つのゾーン（ＺＯＮＥ：Ｌ、ＺＯＮＥ：Ｃ、ＺＯＮＥ：Ｒ）を形成する。そして、眼位置検出部２１は、相対位置関係を判断して眼の位置を検出する。

再度、図５を参照する。追跡部２２は、運転者の眼の位置を追跡するものである。この追跡部２２は、眼の位置の検出後、検出された眼の位置の座標値を記憶し、この記憶した位置を基準にして、全体画像よりも小さい追跡領域を設定する。その後、追跡部２２は、画像が入力される毎に、追跡領域内において眼の位置を検出する。

図１０は、追跡部２２による眼の位置の追跡の様子を示す説明図であり、（ａ）は初期の追跡領域を示しており、（ｂ）は初期の追跡領域の設定後に、検出した眼の位置を示しており、（ｃ）は検出した眼の位置に基づいて新たに設定する追跡領域を示しており、（ｄ）は新たに設定した追跡領域内から検出した眼の位置を示している。なお、図１０において、破線は前回検出された眼を示し、実線は今回検出された眼を示すものとする。

眼位置検出部２１により眼の位置が検出された場合、追跡部２２は、検出された眼の位置を中心として追跡領域を設定する（図１０（ａ））。このときの眼の座標位置を（ｘｋ１，ｙｋ１）とする。その後、画像が入力された場合、追跡部２２は、（ｘｋ１，ｙｋ１）を中心とする追跡領域内から眼の位置を検出する（図１０（ｂ））。このとき検出された眼の座標位置を（ｘｋ２，ｙｋ２）とする。

そして、追跡部２２は、新たに検出された眼の座標位置（ｘｋ２，ｙｋ２）を中心とする追跡領域を設定する（図１０（ｃ））。その後、再度画像が入力された場合、追跡部２２は、（ｘｋ２，ｙｋ２）を中心とする追跡領域内から眼の位置を検出する。このときに検出された眼の座標位置を（ｘｋ３，ｙｋ３）とする。

そして、追跡部２２は、再度、新たな眼の座標位置（ｘｋ３，ｙｋ３）を中心とする追跡領域を設定する（図１０（ｄ））。その後、同様に、追跡部２２は、追跡領域内から眼の位置を検出していく。

再度、図５を参照する。追跡部２２は、上記のようにして得られた眼の位置のデータを開度値検出部２３に送出する。開度値検出部２３は、撮像部１０により撮像された画像から、運転者の眼の開度を示す開度値を検出するものである。すなわち、開度値検出部２３は、眼位置検出部２１及び追跡部２２により検出・追跡された眼について開度値を検出するものである。

図１１は、眼の縦幅の開度を示す説明図であり、（ａ）は開眼時を示しており、（ｂ）は閉眼時を示している。同図（ａ）及び（ｂ）に示すように、開度値は具体的に眼の縦幅の大きさである。従って、開度値検出部２３は、眼の縦幅を検出し、検出値を開度値とすることとなる。

再度、図５を参照する。学習部２４は、開度値検出部２３により検出された開度値の検出頻度から、運転者個人の開眼状態における開度値を求めて学習するものである。すなわち、眼の縦幅は運転者毎に異なるものであるため、学習部２４は、現在の運転者個人の開眼状態における開度値を求めることとしている。

詳細に学習部２４は、開度値検出部２３により検出された開度値の再頻値を求める。ここで、運転者は、瞬きをするものの多くの時間眼を見開いているのが通常である。よって、再頻値は運転者が眼を開いているときの眼の開度値を示すといえる。このため、学習部２４は、再頻値を求めることで、運転者個人の開眼状態における開度値を求める。そして、学習部２４は、再頻値を学習する。これにより、運転者個人の開眼状態における開度値が学習されることとなる。

開閉眼判定基準値算出部２５は、学習部２４により学習された開度値から、眼の開眼及び閉眼を判定するための開閉眼判定基準値を求めるものである。すなわち、眼の縦幅は運転者毎に異なるため、開閉眼判定基準値算出部２５は、学習部２４からの学習内容によって現在の運転者に適した開閉眼判定基準値を求めるようになっている。

具体的に開閉眼判定基準値算出部２５は、学習部２４により学習された開度値よりもやや小さい値を開閉眼判定基準値として求める。すなわち、開閉眼判定基準値算出部２５は、運転者の開眼状態における開度値よりも、やや小さい開度値を開閉眼判定基準値とする。これにより、開閉眼判定基準値算出部２５は、好適に開閉眼を判定するための開閉眼判定基準値を設定するようにしている。

また、開閉眼判定部２６は、撮像部１０により新たに撮像されて開度値検出部２３により新たに検出された開度値を、開閉眼判定基準値算出部２５により算出された開閉眼判定基準値と比較して、開閉眼を判定するものである。すなわち、開閉眼判定部２６は、開閉眼判定基準値算出部２５により一度開閉眼判定基準値が算出されると、その後撮像された画像について開度値検出部２３により眼の開度値を検出し、その開度値と開閉眼判定基準値とを比較することで開閉眼を判定する。そして、開閉眼判定部２６は、比較の結果、新たに検出された開度値が開閉眼判定基準値よりも大きい場合、運転者が開眼状態であると判定し、開度値が開閉眼判定基準値以下である場合、運転者が閉眼状態であると判定する。

覚醒度判定部２７は、開閉眼判定部２６により閉眼と判定された時間が所定時間中に占める割合（すなわち閉眼率）に基づいて、覚醒度が低下し切った状態を判定する。ここで、運転者の覚醒度が低下し切った場合、正常時に比べると、閉眼率が高くなる傾向にある。このため、覚醒度判定部２７は、開閉眼判定部２６により閉眼と判定された時間から閉眼率を求め、閉眼率に基づいて覚醒度が低下し切った状態を判定する。

以上の構成により、処理装置２０は覚醒度が低下し切った状態を判定する。さらに、処理装置２０は、覚醒度低下の初期状態を検出するために、記憶部２８と算出部（算出手段）２９とを備えている。

記憶部２８は、開度値検出部２３により検出された開度値を時系列的に収集して記憶していくものである。算出部２９は、開度値検出部２３により検出された開度値を時系列的に収集した時系列データから、開度値の統計的代表値及び統計的偏差を求めるものである。すなわち、算出部２９は、記憶部２８により記憶されたデータから、開度値の統計的代表値及び統計的偏差を求めるものとして機能する。

ここで、開度値の統計的代表値は、例えば平均値など眼の開度値の代表値を表すものである。また、統計的偏差は、例えば標準偏差など眼の開度値の散らばり具合を表すものである。従って、算出部２９は、開度値の統計的代表値及び統計的偏差を求めることで、運転者の眼の開度値の代表値とその散らばり具合を求めることとなる。なお、運転者の眼の散らばり具合は、運転者の瞬きが増えるほど大きくなる。すなわち、統計的偏差は、運転者の瞬きの頻度を示すものといえる。

また、上記覚醒度判定部２７は、算出部２９により算出された統計的代表値と標準偏差とから、覚醒度低下の初期状態を判定するものとしても機能する。すなわち、覚醒度判定部２７は、眼の開度値の代表値と瞬きの頻度とから、覚醒度低下の初期状態を判定することとなる。

ここで、運転者は、覚醒度低下の初期状態において、眼の開度値が小さくなると共に、瞬きの回数が減少する傾向にある。すなわち、運転者は、覚醒度低下の初期時において、眠さから眼の開度が小さくなる。また、運転者は、眼の開度が小さくなる分、眼の乾き等が少なくなり瞬きの回数が減少する。このため、覚醒度判定部２７は、開度値の統計的代表値が低下し、且つ開度値の統計的偏差が小さくなったときに、覚醒度低下の初期状態を検出することとなる。

次に、本実施形態に係る覚醒度判定装置１の動作を説明する。なお、以下の説明において、統計的代表値を平均値として説明し、統計的偏差を標準偏差として説明する。なお、統計的代表値は平均値に限らず、眼の開度値の代表値を表すものであれば、中央値や最頻値などであってもよい。さらに、統計的偏差は標準偏差に限らず、眼の開度値の散らばり具合を表すものであれば、分散などであってもよい。

まず、覚醒度判定装置１の撮像部１０は、運転者の顔を含む領域を撮像し、得られた画像のデータを処理装置２０に送出する。そして、処理装置２０は、図１２及び図１３に従う処理を実行する。図１２及び図１３は、図４に示した処理装置２０の詳細動作を示すフローチャートである。なお、図１２は処理の前半部分を示し、図１３は処理の後半部分を示している。

図１２に示すように、まず、眼位置検出部２１は、画像のデータを入力する（ＳＴ１）。その後、眼位置検出部２１は、眼の追跡領域が設定されているか否かを判断する（ＳＴ２）。眼の追跡領域が設定されている場合（ＳＴ２：ＹＥＳ）、処理はステップＳＴ５に移行する。

一方、本装置１の起動直後など、眼の追跡領域が設定されていない場合（ＳＴ２：ＮＯ）、眼位置検出部２１は、画像全体から眼の位置を検出する（ＳＴ３）。ここでは、図６〜図９を参照して説明したように、眼の位置を検出する。そして、眼位置検出部２１は、眼の位置のデータを追跡部２２に送出する。

その後、追跡部２２は、眼位置検出部２１からの眼の位置のデータに基づいて、追跡領域を設定する（ＳＴ４）。このとき、追跡部２２は、眼の移動量や、画像の取り込み間隔を考慮して、追跡領域の大きさをできる限り小さく設定する。これにより、より速く眼の追従性に優れた処理を行うことができる。

その後、追跡部２２は、新たに入力される画像のデータに基づいて、追跡領域内から眼を検出する（ＳＴ５）。その後、追跡部２２は、眼の追跡が正しく行われているか否かを判断する（ＳＴ６）。

眼の追跡が正しく行われていないと判断した場合（ＳＴ６：ＮＯ）、追跡部２２は、眼の追跡領域をクリアする（ＳＴ７）。さらに、後述するタイマーが作動している場合、処理装置２０は、タイマーを停止させる（ＳＴ８）。その後、処理はステップＳＴ１に戻る。そして、再度追跡領域の設定処理が行われることとなる。

一方、眼の追跡が正しく行われていると判断した場合（ＳＴ６：ＹＥＳ）、図１０を参照して説明したように、追跡部２２は追跡領域の更新を行う（ＳＴ９）。

その後、開度値検出部２３は、ステップＳＴ５において追跡部２２により追跡された眼について開度値を求める（ＳＴ１０）。そして、処理装置２０は、ステップＳＴ１０において求められた開度値を所定数記憶したか否かを判断する（ＳＴ１１）。

開度値を所定数記憶していないと判断した場合（ＳＴ１１：ＮＯ）、記憶部２８は、ステップＳＴ１０において求められた開度値を記憶する（ＳＴ１２）。そして、処理はステップＳＴ１５に移行する。

一方、開度値を所定数記憶したと判断した場合（ＳＴ１１：ＹＥＳ）、算出部２９は、記憶部２８に記憶された時系列データから、開度値の平均値及び標準偏差を算出する（ＳＴＹ１３）。算出後、記憶部２８は、記憶した開度値をクリアする（ＳＴ１４）。そして処理はステップＳＴ１５に移行する。

ステップＳＴ１５において処理装置２０は、運転者個人の開眼状態における開度値を学習し終えたか否かを判断する（ＳＴ１５）。ここで、学習し終えていないと判断した場合（ＳＴ１５：ＮＯ）、学習部２４は記憶部２８に記憶されている開度値に基づいて、運転者個人の開眼状態における開度値を求めて学習する。さらに、開閉眼判定基準値算出部２５は、学習された開度値から開閉眼判定基準値を求める（ＳＴ１６）。そして、処理はステップＳＴ１に移行する。

一方、学習し終えていると判断した場合（ＳＴ１５：ＹＥＳ）、開閉眼判定部２６は、ステップＳＴ５にて検出されステップＳＴ１０にて算出された開度値と、ステップＳＴ１６にて求めた開閉眼判定基準値とを比較して、開閉眼判定を行う（ＳＴ１７）。

そして、覚醒度判定部２７は、閉眼時間を積算する（ＳＴ１８）。次いで、処理装置２０は、タイマーが作動中か否かを判断し（ＳＴ１９）、作動中でないと判断した場合には（ＳＴ１９：ＮＯ）、タイマーをスタートさせる（ＳＴ２０）。その後、処理はステップＳＴ２１に移行する。一方、タイマーが作動中であると判断した場合には（ＳＴ１９：ＹＥＳ）、タイマーをスタートさせることなく、処理はステップＳＴ２１に移行する。

ステップＳＴ２１において、処理装置２０は、タイマーにより計時される時間が所定時間に達したか否かを判断する（ＳＴ２１）。所定時間に達していないと判断した場合（ＳＴ２１：ＮＯ）、処理は図１２のステップＳＴ１に戻る。

一方、所定時間に達したと判断した場合（ＳＴ２１：ＹＥＳ）、処理装置２０は、タイマーを停止させると共に、計時されている時間をクリアする（ＳＴ２２）。そして、覚醒度判定部２７は、所定時間中における閉眼率を求める（ＳＴ２３）。このとき、覚醒度判定部２７は、ステップＳＴ１７において積算された積算時間に基づいて閉眼率を求める。

その後、覚醒度判定部２７は、閉眼率と、図１２に示すステップＳＴ１４において求められた平均値及び標準偏差に基づいて、覚醒度を判定する（ＳＴ２４）。その後、提示部３０は、提示動作する（ＳＴ２５）。次いで、処理装置２０は、積算してきた積算時間や、記憶してきた開度値、開閉眼判定基準値などをクリアする（ＳＴ２６）。そして、処理はステップＳＴ１に戻る。なお、以上の処理は、例えば本装置１の電源がオフされるまで繰り返されることとなる。

次に、本実施形態に係る覚醒度判定装置１の詳細動作を、図１４及び図１５を参照して説明する。図１４は、閉眼率の算出ステップ（ＳＴ１８）の説明図である。なお、同図においてステップＳＴ１１の所定数は「５」であるとして説明する。

まず、開閉眼判定基準値算出部２５により開閉眼判定基準値が算出されているものとする。そして、１回目の撮像により画像が得られ、開度値検出部２３により開度値が「２５」と検出されたとする。ここで、開閉眼判定基準値が「１６」と算出されていれば、開閉眼判定部２６は、運転者が開眼状態（図１４において「Ｏ」と示す）であると判定する。

また、２回目の撮像により画像が得られ、開度値検出部２３により開度値が「２５」と検出された場合も、開閉眼判定部２６は運転者が開眼状態であると判定する。さらに、３〜５回目の撮像によっても同様に、開閉眼判定部２６は運転者が開眼状態であると判定する。

ここで、ステップＳＴ１１の所定数は「５」である。このため、図１２に示すステップＳＴ１１では「ＹＥＳ」と判断され、算出部２９は、５回分の開度値から平均値Ｍ１及び標準偏差Ｄ１を算出する。そして、ステップＳＴ１４の処理において開度値はクリアされる。なお、この時点において図１３のステップＳＴ１７における閉眼時間は「０」となる。

その後、同様にして平均値Ｍ２及び標準偏差Ｄ２が算出される。そして、撮像回数が１１回目に至ったとする。このとき、開度値検出部２３により開度値が「１７」と検出されたとすると、開閉眼判定部２６は運転者が開眼状態であると判定する。次いで、１２回目の撮像により画像が得られ、開度値検出部２３により開度値が「１３」と検出されたとする。このとき、開度値が開閉眼判定基準値以下となっている。このため、開閉眼判定部２６は運転者が閉眼状態（図１４において「Ｃ」と示す）であると判定する。

また、１３回目の撮像により画像が得られ、開度値検出部２３により開度値が「１５」と検出されたとすると、開閉眼判定部２６は同様に運転者が閉眼状態であると判定する。そして、１４回目及び１５回目についても開閉眼が判定される。

ここで、上記した如く、ステップＳＴ１１の所定数は「５」であるため、算出部２９は、５回分の開度値から平均値Ｍ３及び標準偏差Ｄ３を算出する。そして、ステップＳＴ１４の処理において開度値はクリアされる。その後、同様にして、平均値Ｍ４，Ｍ５及び標準偏差Ｄ４，Ｄ５が算出される。そして、１回目の撮像から所定時間経過したとする。

このとき、図１３のステップＳＴ２１では「ＹＥＳ」と判断され、ステップＳＴ２３において閉眼率が算出される。ここで、閉眼率は、所定時間中に閉眼と判定されたフレーム数を、所定時間中に開閉眼判定処理されたフレーム数で除することにより、求めることができる。

そして、図１３のステップＳＴ２４において、覚醒度が判定される。ここで、覚醒度低下の初期状態については、閉眼率のみからでは判断することができない。しかし、覚醒度が低下し切った状態については、閉眼率のみから判断することができる。従って、覚醒度判定部２７は、閉眼率が或る値以上であれば、運転者の覚醒度が低下し切ったと判定する。

また、閉眼率が或る値以上でない場合、覚醒度判定部２７は、ステップＳＴ１３において求めた平均値と標準偏差とから、運転者が覚醒状態であるか、又は覚醒度低下の初期状態であるかを判定する。

図１５は、図１２のステップＳＴ１３において求められる平均値と標準偏差とを示すグラフであり、（ａ）は運転者の覚醒度が正常であるときの例を示し、（ｂ）は覚醒度低下の初期状態の第１の例を示し、（ｃ）は覚醒度低下の初期状態の第２の例を示している。なお、図１５の各図において左縦軸は開度値を示し、右縦軸は標準偏差を示している。さらに、横軸は経過時間を示している。また、図１５に示すグラフにおいて平均値及び標準偏差は１００フレーム分の開度値から算出されるものとする。さらに、図１５（ａ）においては、標準偏差の基準値（特定値）が定められている。標準偏差の基準値は、例えば覚醒度が正常であるときの全標準偏差の平均値である。また、図１５（ｂ）及び（ｃ）に示す標準偏差の基準値は、図１５（ａ）に示す標準偏差の基準値と同じものである。

まず、運転者の覚醒度が正常である場合の平均値と標準偏差とを説明する。運転者の覚醒度が正常である場合、図１５（ａ）に示すように、平均値と標準偏差とは或る相関を有している。まず、開度値の標準偏差が特定値以下となる場合、運転者は瞬き回数が少ないと言える。そして、瞬き回数が少ないときには、運転者が眼を見開いている時間が長くなる。従って、開度値の平均値は高くなる傾向にある。図１５（ａ）に示すように、開度値の標準偏差が特定値以下となる場合、開度値の平均値は、運転者個人の開眼状態における開度値から所定値以上小さい値とならない。

これに対し、覚醒度低下の初期状態では、図１５（ｂ）に示すように上記の相関関係が崩れる。すなわち、覚醒度低下の初期状態において、開度値の標準偏差が特定値以下となる場合、開度値の平均値は、運転者個人の開眼状態における開度値から所定値以上小さい値となっている。また、図１５（ｃ）に示す場合も同様に、標準偏差が特定値以下であるにも関わらず、開度値の平均値は運転者個人の開眼状態における開度値から所定値以上小さい値となっている。

これは、以下の理由によるものである。すなわち、覚醒度低下の初期状態において、運転者は、眠さから眼の開度が小さくなる。また、運転者は、眼の開度が小さくなる分、眼の乾き等が少なくなり瞬きの回数が減少する。このため、図１５（ａ）に示した相関関係は崩れることとなる。

そして、覚醒度判定部２７は、図１５（ｂ）及び（ｃ）のような状態を検出することにより、覚醒度低下の初期状態を判定することとなる。すなわち、覚醒度判定部２７は、算出部２９により算出された平均値が運転者個人の開眼状態における開度値よりも所定値以上小さく、且つ、算出部２９により算出された標準偏差が特定値以下であるときに、運転者が覚醒度低下の初期状態にあると判定する。

このように、本装置１は、覚醒度低下の初期状態を判定する。なお、図１４に示すように、算出部２９は、開度値の平均値及び標準偏差を所定時間以内に算出することが望ましい。これにより、閉眼率を求めた段階において、少なくとも１回の平均値及び標準偏差が算出されることとなる。このため、本装置１は、閉眼率から覚醒度が低下し切った状態を判定する一方で、開度値の平均値及び標準偏差から覚醒度低下の初期状態を判定することが可能となる。故に、本装置１は、覚醒度が低下し切った状態と覚醒度低下の初期状態とを同時に判定することができる。

このようにして、本実施形態に係る覚醒度判定装置１によれば、撮像した画像から運転者の眼の開度を示す開度値を検出し、これを時系列的に収集して開度値の統計的代表値及び統計的偏差を求めることとしている。ここで、開度値の統計的代表値は眼の開度値の大きさを表すものとなる。また、統計的偏差は、眼の開度値の散らばり具合、すなわち瞬きの頻度を表すものとなる。

そして、算出した統計的代表値と統計的偏差とから、覚醒度低下の初期状態を判定することとしている。ここで、運転者は、眠くなり始めたときにおいて、すなわち覚醒度低下の初期状態において、眼の開度値が小さくなると共に、瞬きの回数が減少する傾向にある。従って、眼の開度値の大きさを示す統計的代表値と瞬きの頻度を示す統計的偏差とから覚醒度低下の初期状態を判定することで、覚醒度低下の初期状態を正確に検出することができる。

また、開度値の検出頻度から、運転者個人の開眼状態における開度値を求めて学習し、学習された開度値から、眼の開眼及び閉眼を判定するための開閉眼判定基準値を求めている。そして、新たに撮像されて検出された開度値を、開閉眼判定基準値と比較して開閉眼を判定し、閉眼と判定された時間が所定時間中に占める割合に基づいて、覚醒度が低下し切った状態を判定する。これにより、覚醒度低下の初期状態だけでなく、覚醒度が低下し切った状態についても判定できることとなり、多段階に覚醒度を判定することができる。

また、開度値の統計的代表値及び統計的偏差を所定時間以内に算出することとしている。これにより、閉眼率を求めた段階において、少なくとも１回の平均値及び標準偏差が算出されることとなる。このため、本装置１は、閉眼率から覚醒度が低下し切った状態を判定する一方で、開度値の平均値及び標準偏差から覚醒度低下の初期状態を判定することが可能となる。故に、本装置１は、覚醒度が低下し切った状態と覚醒度低下の初期状態とを同時に判定することができる。

また、統計的代表値が運転者個人の開眼状態における開度値よりも、所定値以上小さく、且つ、統計的偏差が、特定値以下であるときに、運転者が覚醒度低下の初期状態にあると判定している。ここで、運転者は、覚醒度低下の初期時において、眠さから眼の開度が小さくなる。また、運転者は、眼の開度が小さくなる分、眼の乾き等が少なくなり瞬きの回数が減少する。このため、統計的代表値が運転者個人の開眼状態における開度値よりも所定値以上小さく、且つ、統計的偏差が特定値以下である場合、覚醒度低下の初期状態である可能性が非常に高いといえる。従って、一層正確に覚醒度低下の初期状態を判定することができる。

また、開度値は眼の縦幅であるため、簡便な演算処理で精度の高い開度値を求めることができる。

ここで、開度値は眼の縦幅に限らず、上瞼の曲率であってもよい。図１６は、開度値の例を示すグラフであり、（ａ）は開度値を眼の縦幅としたときの例を示し、（ｂ）は開度値を上瞼の曲率としたときの例を示している。なお、図１６（ｂ）では開度値を上瞼の曲率半径として図示するものとする。

まず、覚醒度が正常である場合において開度値を眼の縦幅としたとき、図１６（ａ）に示すように、開度値が不安定となることがある。すなわち、運転者が笑ったときには、眠くないにも関わらず、眼の縦幅は小さくなる。このため、開度値は「２０」〜「２８」辺りで不規則に変化してしまう場合がある。

一方、覚醒度が正常である場合において開度値を上瞼の曲率半径としたとき、図１６（ｂ）に示すように、開度値は安定したものとなる。すなわち、運転者が笑った場合、眼が細くなるものの運転者の頬が上がるため、上瞼の曲率は影響を受けないこととなる。

なお、開度値を上瞼の曲率とした場合、図１７に示すように、運転者が眠くなったときに開度値が小さくなることは言うまでもない。図１７は、開度値を上瞼の曲率とした場合における開眼時及び閉眼時の曲率を示す説明図であり、（ａ）は開眼時の例を示し、（ｂ）は閉眼時の例を示している。

図１７（ａ）に示すように、開眼状態において上瞼は弧を描くため、曲率は大きくなる。これに対し、図１７（ｂ）に示すように、運転者は眠くなると上瞼が下がってくる。すなわち、運転者が笑ったときとは異なり、上瞼の形状は線に近くなる。従って、曲率は小さくなる。このように、開度値を上瞼の曲率とすることで、運転者が笑った場合においても、開度値を正確に求めることができる。

次に、本発明の第２実施形態を説明する。第２実施形態に係る覚醒度判定装置２は、第１実施形態のものと同様であるが、構成及び処理内容が第１実施形態のものと一部異なっている。

以下、第１実施形態との相違点について説明する。図１８は、第２実施形態に係る覚醒度判定装置のハード構成図である。同図に示すように、第２実施形態に係る覚醒度判定装置２は、新たにハンズフリーマイク４１、音声認識装置４２、タイマー４３、運転操作検出部４４、及び走行検出部４５を備えている。

ハンズフリーマイク４１は、車室内に取り付けられ、運転者の発話などの音声を入力するものである。また、ハンズフリーマイク４１は、入力した音声に応じた電気信号を出力する構成となっている。

音声認識装置４２は、ハンズフリーマイク４１からの電気信号を解析して、入力された音声が運転者の発話によるものであるか否かを判断するものである。また、音声認識装置４２は、入力された音声が運転者の発話によるものであると判断した場合、その旨の信号を処理装置２０に送信する構成となっている。

タイマー４３は、計時機能を有し、運転開始からの時間を計測して、計測した時間情報を処理装置２０に送信する構成となっている。運転操作検出部４４は、運転者の運転操作を検出するためのものであって、例えば蛇角センサ、アクセルセンサ、及びブレーキセンサが該当する。また、運転操作検出部４４は、それぞれのセンサで検出した運転者の運転操作を示す信号を処理装置２０に送信する構成となっている。

走行検出部４５は、車両の走行に関する情報（以下走行情報という）を検出するものであって、例えば車速センサ、車両周囲検出センサ、及びナビゲーションシステムが該当する。すなわち、走行検出部４５の車速センサは、走行情報の１つである車両の走行速度を検出する。また、車両周囲検出センサは走行情報の１つである車両の走行環境を検出し、ナビゲーションシステムは走行情報の１つである車両の走行経路を検出する。また、走行検出部４５は、検出した車両の走行情報を処理装置２０に送信する構成となっている。

図１９は、図１８に示した処理装置２０の詳細構成図である。なお、図１９においては、接続関係を明確にするために、撮像部１０や信号の入力の様子についても図示することとする。

同図に示すように、処理装置２０は、新たに再学習指令部（再学習指令手段）４６を備えている。再学習指令部４６は、運転者個人の開眼状態における開度値を、学習部２４に再学習させるものである。この再学習指令部４６は、運転者が起きているか否かを判断し、起きていると判断できた場合、及び、運転者の眼を誤って追跡しているか否かを判断し、誤って追跡していると判断できた場合の少なくとも一方の場合に、学習部２４に再学習をさせる構成となっている。

ここで、運転者が起きている場合や運転者の眼を誤って追跡している場合に、再学習指令部４６が学習部２４に再学習させる理由は以下の通りである。

まず、学習部２４は、開眼状態における開度値を、開度値検出部２３により検出された開度値の最頻値から求めるとする。このとき、運転者の覚醒度が低下していれば、運転者が眼を閉じているときの開度値が最頻値となる可能性がある。このため、運転者の覚醒度が低下しているときの開度値からでは、開眼状態における開度値を正確に求めることが困難となり、ひいては開閉眼判定基準値までもが不正確なものとなりえる。そこで、再学習指令部４６は、運転者が起きている場合に再学習させることで、運転者個人の開眼状態における開度値を精度良く求めることとしている。

また、運転者が眼鏡を着用している場合、追跡部２２は誤って眼鏡のフレーム部を眼として追跡してしまう可能性がある。また、誤って追跡していた間に得られた開度値は、不正確なものといえる。このため、再学習指令部４６は、運転者の眼を誤って追跡している場合に再学習させることで、運転者個人の開眼状態における開度値を正確に求めるようにしている。

次に、第２実施形態に係る覚醒度判定装置２の動作を説明する。第２実施形態に係る覚醒度判定装置２は、第１実施形態のものと同様の処理を実行する。すなわち、撮像部１０は、運転者の顔を含む領域を撮像し、得られた画像のデータを処理装置２０に送出する。次いで、処理装置２０は、図１２に示した処理を実行する。そして、図１２のステップＳＴ１５において処理装置２０は、運転者個人の開眼状態における開度値を学習し終えたか否かを判断し（ＳＴ１５）、学習し終えていると判断した場合（ＳＴ１５：ＹＥＳ）、図２０及び図２１に示す処理を実行する。

図２０及び図２１は、図１８に示した処理装置２０の詳細動作を示すフローチャートである。なお、図２０は第２実施形態特有の処理の前半部分を示し、図２１は第２実施形態特有の処理の後半部分を示している。

まず、学習し終えていると判断した場合（ＳＴ１５：ＹＥＳ）、開閉眼判定部２６は、ステップＳＴ１７と同様にして開閉眼判定を行う（図２０：ＳＴ３０）。そして、開閉眼判定部２６は、ステップＳＴ３０の開閉眼判定の結果が、開眼であったか否かを判断する（ＳＴ３１）。

ここで、開閉眼判定の結果が開眼であった場合（ＳＴ３１：ＹＥＳ）、再学習指令部４６は、連続して開眼と判定された回数を示す開眼判定回数を、カウントアップする（ＳＴ３２）。その後、再学習指令部４６は、連続して閉眼と判定された回数を示す閉眼判定回数を、クリアする（ＳＴ３３）。そして、再学習指令部４６は、開眼判定回数が所定回数を超えたか否かを判断する（ＳＴ３４）。

ここで、開眼判定回数が所定回数を超えたと判断した場合（ＳＴ３４：ＹＥＳ）、すなわち或る程度の時間（第１規定時間）連続して開眼と判断された場合、あまりに長期に渡り開眼状態が継続しているといえる。すなわち、人間は必ず瞬きをするにも関わらず、開眼状態が継続し続けているため、誤って眼を追跡していると判断できる。

このため、再学習指令部４６は、学習部２４が学習した運転者個人の開眼状態における開度値をクリアする（図２１：ＳＴ５１）。その後、処理はステップＳＴ１に戻る。これにより、図１２に示したステップＳＴ１６の学習処理が再度実行されることとなる。すなわち、再学習指令部４６は、学習部２４に運転者個人の開眼状態における開度値を再学習させることとなる。

また、開眼判定回数が所定回数を超えていないと判断した場合（ＳＴ３４：ＮＯ）、処理は図２１に示したステップＳＴ４０に移行する。

ところで、開閉眼判定の結果が開眼でなかった場合（ＳＴ３１：ＮＯ）、覚醒度判定部２７は、閉眼時間を積算する（ＳＴ３６）。次いで、再学習指令部４６は、閉眼判定回数をカウントアップする（ＳＴ３７）。その後、再学習指令部４６は、開眼判定回数をクリアする（ＳＴ３８）。そして、再学習指令部４６は、閉眼判定回数が所定回数を超えたか否かを判断する（ＳＴ３９）。

ここで、開眼判定回数が所定回数を超えたと判断した場合（ＳＴ３９：ＹＥＳ）、すなわち或る程度の時間（第２規定時間）連続して閉眼と判断された場合、運転しているにも関わらず、あり得ないほど長期に渡り閉眼状態が継続しているといえる。すなわち、誤って眼を追跡していると判断できる。

このため、再学習指令部４６は、学習部２４が学習した運転者個人の開眼状態における開度値をクリアする（図２１：ＳＴ５１）。そして、処理はステップＳＴ１に戻る。これにより、図１２に示したステップＳＴ１６の処理が再度実行されることとなる。すなわち、再学習指令部４６は、学習部２４に再学習させることとなる。

また、閉眼判定回数が所定回数を超えていないと判断した場合（ＳＴ３９：ＮＯ）、処理は図２１に示したステップＳＴ４０に移行する。

図２１のステップＳＴ４０において、処理装置２０は、タイマーが作動中か否かを判断し（ＳＴ４０）、作動中でないと判断した場合には（ＳＴ４０：ＮＯ）、タイマーをスタートさせる（ＳＴ４１）。その後、処理はステップＳＴ４２に移行する。一方、タイマーが作動中であると判断した場合には（ＳＴ４０：ＹＥＳ）、タイマーをスタートさせことなく、処理はステップＳＴ４２に移行する。

ステップＳＴ４２において、処理装置２０は、タイマーにより計時される時間が所定時間に達したか否かを判断する（ＳＴ４２）。所定時間に達していないと判断した場合（ＳＴ４２：ＮＯ）、処理は図１２のステップＳＴ１に戻る。一方、所定時間に達したと判断した場合（ＳＴ４２：ＹＥＳ）、処理装置２０は、タイマーを停止させると共に、計時されている時間をクリアする（ＳＴ４３）。

次いで、再学習指令部４６は、図２２に示す所定条件に合致する平均値及び標準偏差の個数を求める（ＳＴ４４）。図２２は、ステップＳＴ４４の処理の詳細を示すグラフである。なお、図２２において左縦軸は開度値を示し、右縦軸は標準偏差を示している。さらに、横軸は経過時間を示している。また、図２２に示すグラフにおいて平均値及び標準偏差は１００フレーム分の開度値から算出されるものとする。さらに、図２２においては、覚醒度が正常であるときの全標準偏差の平均値として標準偏差の基準値（基準値）が定められている。

まず、所定条件とは、学習部２４により学習された運転者個人の開眼状態における開度値より平均値の方が大きく、且つ、標準偏差が基準値以下である状態をいう。ここで、図２２の符号Ａに示す区間において、平均値は、学習部２４により学習された運転者個人の開眼状態における開度値よりも大きくなっている。また、標準偏差は、図２２の符号Ｂに示すように、ほぼ全区間に渡って基準値以下となっている。このため、図２２の符号Ａ及び符号Ｂが示す区間の重複区間において、平均値と標準偏差とは所定条件を満たすこととなる。

そして、所定条件を満たす場合には以下のことが言える。すなわち、平均値が運転者個人の開眼状態における開度値よりも大きい場合、運転者は普段よりも眼を見開いているといえる。また、標準偏差が基準値以下である場合、運転者は瞬きの回数が少なくなっているといえる。従って、所定条件を満たす場合、運転者は普段よりも眼を見開き、且つ瞬きが少なくなっていることから、再学習指令部４６は、運転者が起きていると判断する。

なお、再学習指令部４６は、所定条件を満たすときに運転者が起きていると判断し、学習部２４に再学習をさせてもよいが、より正確に処理を実行するため、図２１のステップＳＴ４４に示すように、所定条件を満たす平均値と標準偏差との個数を求めることとしている。

その後、再学習指令部４６は、所定条件を満たす平均値と標準偏差との個数が、所定個数以上か否かを判断する（ＳＴ４５）。そして、所定個数以上と判断した場合（ＳＴ４５：ＹＥＳ）、再学習指令部４６は、学習部２４が学習した運転者個人の開眼状態における開度値をクリアする（ＳＴ５１）。そして、処理はステップＳＴ１に戻り、再学習指令部４６は、学習部２４に再学習させることとなる。

他方、所定個数以上でないと判断した場合（ＳＴ４５：ＮＯ）、再学習指令部４６は、入力信号に基づいて運転者が起きているか否かを判断する（ＳＴ４６）。すなわち、再学習指令部４６は、音声認識装置４２からの信号を入力して発話があったか否かを検出する。また、再学習指令部４６は、タイマー４３から、運転開始からの時間を示す時間情報を入力する。さらに、再学習指令部４６は、運転操作検出部４４から、運転者の運転操作を示す運転操作信号を入力すると共に、走行検出部４５から、走行情報を入力する。

そして、再学習指令部４６は、運転者による発話が検出されるときには、運転者が起きていると判断する。また、再学習指令部４６は、エンジン始動から一定時間が経過するまでは、運転者が起きていると判断する。さらに、再学習指令部４６は、運転者による運転操作が所定頻度以上検出されるとき、及び車両の走行情報により運転者の運転意思が検出されるときには、運転者が起きていると判断する。

なお、車両の走行情報により運転者の運転意思が検出される場合とは、例えば加速と減速とが繰り返し検出される場合や、車両周囲の障害物を避ける動作をしている場合や、ナビゲーションシステムによる誘導経路から外れることなく自車両が走行している場合などである。

そして、運転者が起きていると判断した場合（ＳＴ４６：ＹＥＳ）、再学習指令部４６は、学習部２４が学習した運転者個人の開眼状態における開度値をクリアする（ＳＴ５１）。次いで、処理はステップＳＴ１に戻り、再学習指令部４６は、学習部２４に再学習させることとなる。

他方、運転者が起きていないと判断した場合（ＳＴ４６：ＮＯ）、再学習指令部４６は、運転者個人の開眼状態における開度値をクリアしない。すなわち、再学習指令部４６は、学習部２４に再学習させることなく、処理はステップＳＴ４７に移行する。

その後、図１３に示したステップＳＴ２３〜ＳＴ２６の処理と同様にして、ステップＳＴ４７〜ＳＴ５０の処理が実行される。

このようにして、第２実施形態に係る覚醒度判定装置２によれば、第１実施形態と同様に、覚醒度低下の初期状態を正確に検出することができる。また、多段階に覚醒度を判定することができ、覚醒度を詳細に判定し易くすることができる。

さらに、一層正確に覚醒度低下の初期状態を判定することができ、簡便な演算処理で精度の高い開度値を求めることができ、運転者が笑った場合においても、開度値を正確に求めることができる。

さらに、第２実施形態によれば、運転者が起きているか否かを判断し、且つ、運転者の眼を誤って追跡しているか否かを判断している。そして、起きていると判断できた場合や、誤って追跡していると判断できた場合には、運転者個人の開眼状態における開度値を再学習させている。このため、運転者の覚醒度が低下しているときに、運転者個人の開眼状態における開度値を学習し、そのまま学習した開度値により処理が実行され続けてしまうことを防止できる。さらに、運転者が眼鏡を着用している場合などに、誤って追跡していた間に得られた開度値により処理が実行され続けてしまうことを防止できる。

また、統計的代表値が運転者個人の開眼状態における開度値よりも大きく、且つ、統計的偏差が、基準値以下であるときに、運転者が起きていると判断している。すなわち、統計的代表値が運転者個人の開眼状態における開度値よりも大きい場合、運転者は普段よりも眼を見開いているといえる。また、統計的偏差が基準値以下である場合、運転者は瞬きの回数が少なくなっているといえる。従って、確実に運転者が起きていることを判断することができる。

また、第１規定時間連続して開眼と判断され、又は第２規定時間連続して閉眼と判断されたときに、運転者の眼を誤って追跡していると判断している。すなわち、第１規定時間連続して開眼と判断された場合、あまりに長期に渡り開眼状態が継続しているといえる。すなわち、人間は必ず瞬きをするにも関わらず、開眼状態が継続し続けているため、眼を誤って眼を追跡していると判断できる。さらに、第２規定時間連続して閉眼と判断された場合、運転しているにも関わらず、あり得ないほど長期に渡り閉眼状態が継続しているといえる。すなわち、誤って眼を追跡していると判断できる。このように、誤って眼を追跡していることを確実に判断することができる。

また、エンジン始動から一定時間が経過するまでは、運転者が起きていると判断している。すなわち、エンジン始動から間もない時間に運転者の覚醒度が低下することは考えられず、確実に運転者が起きていることを判断することができる。

また、運転者による運転操作が所定頻度以上検出されるときには、運転者が起きていると判断している。ここで、運転者の覚醒度が低下している場合には運転操作の頻度が低下して、操作頻度は所定頻度を下回ることとなる。このため、運転操作が所定頻度以上検出されるときには、確実に運転者が起きていることを判断することができる。

また、車両の走行情報により運転者の運転意思が検出されるときには、運転者が起きていると判断している。ここで、車両の走行情報により運転者の運転意思が検出される場合とは、例えば加速と減速とが繰り返し検出される場合や、車両周囲の障害物を避ける動作をしている場合や、ナビゲーションシステムによる誘導経路から外れることなく自車両が走行している場合などである。

すなわち、加速と減速とが繰り返されるような場合には、走路にあわせて適切な車速に調整しようとする運転者の意思が検出される。このため、運転者の覚醒度が低下していると考えられず、確実に運転者が起きていると判断できる。また、車両周囲の障害物を避ける動作をしている場合には、車両周囲の環境にあわせて障害物を避けようとする運転者の意思が検出される。また、ナビゲーションシステムによる誘導経路から外れることなく自車両が走行している場合には、誘導経路に沿って運転しようとする運転者の意思が検出される。このため、同様に確実に運転者が起きていると判断できる。

従って、確実に運転者が起きていることを判断することができる。

また、運転者による発話が検出されるときには、運転者が起きていると判断している。すなわち、覚醒度が低下した状態で運転者が発話するとは考え難く、確実に運転者が起きていることを判断することができる。

次に、本発明の第３実施形態を説明する。第３実施形態に係る覚醒度判定装置３は、第１実施形態のものと同様であるが、構成及び処理内容が第１実施形態のものと一部異なっている。

以下、第１実施形態との相違点について説明する。図２３は、第３実施形態に係る覚醒度判定装置の処理装置の詳細構成図である。なお、図２３においては、接続関係を明確にするために、撮像部１０についても図示することとする。

同図に示すように、第３実施形態に係る覚醒度判定装置３は、新たに信頼度推定部４７を備えている。信頼度推定部４７は、算出部２９により算出された平均値と標準偏差との関係が眼の状態としてあり得るか否かを判断するものである。また、信頼度推定部４７は、眼の状態としてあり得るか否かの判断結果によって覚醒度判定部２７の判定結果について信頼度を推定するものである。

ここで、信頼度推定部４７は、算出部２９により算出された平均値と標準偏差との関係が眼の状態としてあり得るか否かを判断するにあたり、以下の条件を用いる。図２４は、信頼度推定部４７による判断の詳細を示すグラフである。なお、図２４において左縦軸は開度値を示し、右縦軸は標準偏差を示している。さらに、横軸は経過時間を示している。また、図２４に示すグラフにおいて平均値及び標準偏差は１００フレーム分の開度値から算出されるものとする。さらに、図２４においては、覚醒度が正常であるときの全標準偏差の平均値として標準偏差の基準値（規定値）が定められている。

信頼度推定部４７は、算出部２９により算出された平均値が運転者個人の開眼状態における開度値よりも大きく、且つ、算出部２９により算出された標準偏差が規定値を超えるときに、眼の状態としてあり得ないと判断して、信頼度を推定する。

すなわち、符号Ｄにより示す区間のように、標準偏差が規定値を超える場合、運転者の瞬きの回数が多くなっていることを示している。このため、閉眼の割合が増加することから、眼の開度値の平均は、符号Ｄにより示す区間と対応する符号Ｃの区間において、低くなるはずである。ところが、算出部２９により算出された平均値が運転者個人の開眼状態における開度値よりも大きくなっている。このため、眼の状態としてあり得ない現象が起こっていることとなる。従って、信頼度推定部４７は信頼度が低いと推定する。

このように、信頼度を推定することにより、仮に覚醒度が低下していると判定されたとしても、運転者を覚醒させる報知を行わないようにするなど、信頼度に応じて適切な提示を行うことが可能となる。

次に、第３実施形態に係る覚醒度判定装置３の動作を説明する。第３実施形態に係る覚醒度判定装置３は、第１実施形態のものと同様の処理を実行する。すなわち、撮像部１０は、運転者の顔を含む領域を撮像し、得られた画像のデータを処理装置２０に送出する。次いで、処理装置２０は、図１２に示した処理を実行する。そして、図１２のステップＳＴ１５において処理装置２０は、運転者個人の開眼状態における開度値を学習し終えたか否かを判断し（ＳＴ１５）、学習し終えていると判断した場合（ＳＴ１５：ＹＥＳ）、図２５に示す処理を実行する。

図２５は、図２３に示した処理装置２０の詳細動作を示すフローチャートである。同図に示すように、学習し終えていると判断した場合（ＳＴ１５：ＹＥＳ）、開閉眼判定部２６は、ステップＳＴ１７と同様にして開閉眼判定を行う（ＳＴ６０）。その後、ステップＳＴ６１〜ＳＴ６５において、図１３に示したステップＳＴ１８〜ＳＴ２２と同様の処理が行われる。

そして、ステップＳＴ６６において、信頼度推定部４７は、図２４に示した条件に合致する平均値及び標準偏差の個数を求める（ＳＴ６６）。その後、信頼度推定部４７は、図２４に示した条件を満たす平均値と標準偏差との個数が、所定個数以上か否かを判断する（ＳＴ６７）。

そして、所定個数以上と判断した場合（ＳＴ６７：ＹＥＳ）、信頼度推定部４７は、覚醒度判定部２７の判定結果について信頼度が低いと推定する（ＳＴ６８）。すなわち、眼の状態としてあり得ない現象が起こっていることから、信頼度推定部４７は覚醒度判定部２７の判定結果について信頼度が低いと推定する。そして、処理はステップＳＴ７０に移行する。他方、所定個数以上でないと判断した場合（ＳＴ６７：ＮＯ）、信頼度推定部４７は、覚醒度判定部２７の判定結果について信頼度が高いと推定する（ＳＴ６９）。そして、処理はステップＳＴ７０に移行する。

その後、ステップＳＴ７０，ＳＴ７１において、図１３に示したステップＳＴ２３，ＳＴ２４と同様の処理が行われる。そして、ステップＳＴ７２において、提示部３０は、提示動作する（ＳＴ２５）。このとき、提示部３０は、運転者の覚醒度が低下している場合、運転者を覚醒させるように報知を行うが、ステップＳＴ６８において信頼度が低いと推定された場合には、報知を中止する。

そして、ステップＳＴ７３において図１３に示したステップＳＴ２６と同様の処理が行われる。

このようにして、第３実施形態に係る覚醒度判定装置３によれば、第１実施形態と同様に、覚醒度低下の初期状態を正確に検出することができる。また、多段階に覚醒度を判定することができ、覚醒度を詳細に判定し易くすることができる。

さらに、一層正確に覚醒度低下の初期状態を判定することができ、簡便な演算処理で精度の高い開度値を求めることができ、運転者が笑った場合においても、開度値を正確に求めることができる。

さらに、第３実施形態によれば、算出部２９により算出された統計的代表値と統計的偏差との関係が眼の状態としてあり得るか否かを判断し、この判断結果によって覚醒度判定部２７の判定結果について信頼度を推定することとしている。このため、判定された覚醒度について信頼度が低い場合には、仮に覚醒度が低下していると判定されたとしても、例えば運転者を覚醒させる報知を行わないようにすることができる。従って、信頼度に応じて適切な提示を行うことが可能となる。

また、信頼度推定部４７は、算出部２９により算出された平均値が運転者個人の開眼状態における開度値よりも大きく、且つ、算出部２９により算出された標準偏差が規定値を超えるときに、眼の状態としてあり得ないと判断して、信頼度を推定している。すなわち、算出された標準偏差が規定値を超える場合、運転者の瞬きの回数が多くなっていることを示している。このため、閉眼の割合が増加することから、眼の開度値の平均は低くなるはずである。ところが、算出部２９により算出された平均値が運転者個人の開眼状態における開度値よりも大きい場合、眼の状態としてあり得ない現象が起こっていることとなる。従って、眼の状態としてあり得るか否かを確実に判断することができる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、各実施形態を組み合わせてもよい。また、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。

運転者の開閉眼の状態を示す説明図である。 閉眼率を示すグラフであり、（ａ）は正常時における閉眼率を示し、（ｂ）は覚醒度低下時の初期状態における閉眼率を示している。 開閉眼判定基準値を高めた場合の閉眼率を示すグラフであり、（ａ）は正常時における閉眼率を示し、（ｂ）は覚醒度低下時の初期状態における閉眼率を示している。 本発明の第１実施形態に係る覚醒度判定装置のハード構成図である。 図４に示した処理装置２０の詳細構成図である。 眼位置検出部２１が眼の位置の検出に際して行う初期処理の説明図である。 眼位置検出部２１が所定の画素を抽出したとき様子を示す説明図である。 画像横方向に近接する画素をグループ化したときの様子を示す説明図である。 眼位置検出部２１によるゾーン化後の様子を示す説明図である。 追跡部２２による眼の位置の追跡の様子を示す説明図であり、（ａ）は初期の追跡領域を示しており、（ｂ）は初期の追跡領域の設定後に、検出した眼の位置を示しており、（ｃ）は検出した眼の位置に基づいて新たに設定する追跡領域を示しており、（ｄ）は新たに設定した追跡領域内から検出した眼の位置を示している。 眼の縦幅の開度を示す説明図であり、（ａ）は開眼時を示しており、（ｂ）は閉眼時を示している。 図４に示した処理装置２０の詳細動作を示すフローチャートであり、処理の前半部分を示している。 図４に示した処理装置２０の詳細動作を示すフローチャートであり、処理の後半部分を示している。 閉眼率の算出ステップ（ＳＴ１８）の説明図である。 図１２のステップＳＴ１３において求められる平均値と標準偏差とを示すグラフであり、（ａ）は運転者の覚醒度が正常であるときの例を示し、（ｂ）は覚醒度低下の初期状態の第１の例を示し、（ｃ）は覚醒度低下の初期状態の第２の例を示している。 開度値の例を示すグラフであり、（ａ）は開度値を眼の縦幅としたときの例を示し、（ｂ）は開度値を上瞼の曲率としたときの例を示している。 開度値を上瞼の曲率とした場合における開眼時及び閉眼時の曲率を示す説明図であり、（ａ）は開眼時の例を示し、（ｂ）は閉眼時の例を示している。 第２実施形態に係る覚醒度判定装置のハード構成図である。 図１８に示した処理装置２０の詳細構成図である。 図１８に示した処理装置２０の詳細動作を示すフローチャートであり、第２実施形態特有の処理の前半部分を示している。 図１８に示した処理装置２０の詳細動作を示すフローチャートであり、第２実施形態特有の処理の後半部分を示している。 ステップＳＴ４４の処理の詳細を示すグラフである。 第３実施形態に係る覚醒度判定装置の処理装置の詳細構成図である。 信頼度推定部４７による判断の詳細を示すグラフである。 図２３に示した処理装置２０の詳細動作を示すフローチャートである。

符号の説明

１〜３…覚醒度判定装置
１０…撮像部（撮像手段）
２０…処理装置
２１…眼位置検出部
２２…追跡部
２３…開度値検出部（開度値検出手段）
２４…学習部（学習手段）
２５…開閉眼判定基準値算出部（開閉眼判定基準値算出手段）
２６…開閉眼判定部（開閉眼判定手段）
２７…覚醒度判定部（覚醒度判定手段）
２８…記憶部
２９…算出部（算出手段）
３０…提示部
４１…ハンズフリーマイク
４２…音声認識装置
４３…タイマー
４４…運転操作検出部
４５…走行検出部
４６…再学習指令部（再学習指令手段）
４７…信頼度推定部（信頼度推定手段）

Claims (16)

1. 運転者の顔を撮像する撮像手段と、
   前記撮像手段により撮像された画像から、運転者の眼の開度を示す開度値を検出する開度値検出手段と、
   前記開度値検出手段により検出された開度値を時系列的に収集して、開度値の統計的代表値及び統計的偏差を求める算出手段と、
   前記算出手段により算出された統計的代表値と統計的偏差とから、覚醒度低下の初期状態を判定する覚醒度判定手段と、
   を備えることを特徴とする覚醒度判定装置。
2. 前記開度値検出手段により検出された開度値の検出頻度から、運転者個人の開眼状態における開度値を求めて学習する学習手段と、
   前記学習手段により学習された開度値から、眼の開眼及び閉眼を判定するための開閉眼判定基準値を求める開閉眼判定基準値算出手段と、
   前記撮像手段により新たに撮像されて前記開度値検出手段により検出された開度値を、前記開閉眼判定基準値算出手段により算出された開閉眼判定基準値と比較して、開閉眼を判定する開閉眼判定手段と、をさらに備え、
   前記覚醒度判定手段は、前記開閉眼判定手段により閉眼と判定された時間が所定時間中に占める割合に基づいて、覚醒度が低下し切った状態を判定する
   ことを特徴とする請求項１に記載の覚醒度判定装置。
3. 運転者個人の開眼状態における開度値を前記学習手段に再学習させる再学習指令手段をさらに備え、
   前記再学習指令手段は、運転者が起きているか否かを判断し、起きていると判断できた場合、及び運転者の眼を誤って追跡しているか否かを判断し、誤って追跡していると判断できた場合の少なくとも一方の場合に、前記学習手段に運転者個人の開眼状態における開度値を再学習させる
   ことを特徴とする請求項２に記載の覚醒度判定装置。
4. 前記再学習指令手段は、
   前記算出手段により算出された統計的代表値が、前記学習手段により学習された運転者個人の開眼状態における開度値よりも大きく、且つ、
   前記算出手段により算出された統計的偏差が、基準値以下であるときに、
   運転者が起きていると判断する
   ことを特徴とする請求項３に記載の覚醒度判定装置。
5. 前記再学習指令手段は、前記開閉眼判定手段により第１規定時間連続して開眼と判断され、又は前記開閉眼判定手段により第２規定時間連続して閉眼と判断されたときに、運転者の眼を誤って追跡していると判断することを特徴とする請求項３に記載の覚醒度判定装置。
6. 前記再学習指令手段は、エンジン始動から一定時間が経過するまでは、運転者が起きていると判断することを特徴とする請求項３に記載の覚醒度判定装置。
7. 前記再学習指令手段は、運転者による運転操作が所定頻度以上検出されるときには、運転者が起きていると判断することを特徴とする請求項３に記載の覚醒度判定装置。
8. 前記再学習指令手段は、車両の走行情報により運転者の運転意思が検出されるときには、運転者が起きていると判断することを特徴とする請求項３に記載の覚醒度判定装置。
9. 前記再学習指令手段は、運転者による発話が検出されるときには、運転者が起きていると判断することを特徴とする請求項３に記載の覚醒度判定装置。
10. 前記算出手段により算出された統計的代表値と統計的偏差との関係が眼の状態としてあり得るか否かを判断し、この判断結果によって前記覚醒度判定手段の判定結果について信頼度を推定する信頼度推定手段をさらに備えることを特徴とする請求項２又は請求項３のいずれかに記載の覚醒度判定装置。
11. 前記信頼度推定手段は、
    前記算出手段により算出された統計的代表値が、前記学習手段により学習された運転者個人の開眼状態における開度値よりも大きく、且つ、
    前記算出手段により算出された統計的偏差が、規定値を超えるときに、
    眼の状態としてあり得ないと判断して、信頼度を推定する
    ことを特徴とする請求項１０に記載の覚醒度判定装置。
12. 前記算出手段は、開度値の統計的代表値及び統計的偏差を前記所定時間以内に算出することを特徴とする請求項２〜請求項１１のいずれか１項に記載の覚醒度判定装置。
13. 前記覚醒度判定手段は、
    前記算出手段により算出された統計的代表値が、前記学習手段により学習された運転者個人の開眼状態における開度値よりも、所定値以上小さく、且つ、
    前記算出手段により算出された統計的偏差が、特定値以下であるときに、
    運転者が覚醒度低下の初期状態にあると判定する
    ことを特徴とする請求項１〜請求項１２のいずれか１項に記載の覚醒度判定装置。
14. 前記開度値は、眼の縦幅であることを特徴とする請求項１〜請求項１３のいずれか１項に記載の覚醒度判定装置。
15. 前記開度値は、上瞼の曲率であることを特徴とする請求項１〜請求項１３のいずれか１項に記載の覚醒度判定装置。
16. 運転者の顔を撮像して得られた画像から、運転者の眼の開度を示す開度値を検出し、この開度値を時系列的に収集して、開度値の統計的代表値及び統計的偏差を求め、求めた統計的代表値と統計的偏差とから、覚醒度低下の初期状態を判定することを特徴とする覚醒度判定装置。
    

Images