JPWO2019123569A1 - 眠気推定装置、眠気推定方法、および眠気推定プログラム - Google Patents

Abstract

眠気推定装置は対象者の開眼度の時系列信号から対象者の眠気を推定する。フィルタリング回路部は、開眼度の時系列信号から対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力する。特徴量算出器は、少なくともフィルタリング後の開眼度の時系列信号から特徴量を算出する。眠気推定器は、特徴量から眠気の評定値を推定して、推定結果を出力する。特徴量算出器は、特徴量算出窓幅内での、フィルタリング後の開眼度の時系列信号のばらつき度を算出して、そのばらつき度を第１の特徴量として出力する第１の特徴量算出回路を、少なくとも含む。

Description

本発明は、眠気推定装置、眠気推定方法、および眠気推定プログラム記録媒体に関する。

少子高齢化により生産年齢人口が減少し、労働力不足が進む中、今まで人が行っていた仕事を、ロボットやＡＩ（artificial intelligence）で置き換えることがなされている。このような状況において、人は、ロボットやＡＩでは困難な知的労働の生産性を維持、向上することが必須である。

しかし、人は眠気（低覚醒状態）やストレス（高覚醒状態）の影響により、知的能力を十分に発揮できず、その人が備える知的生産性は低下する。覚醒状態の変化による知的生産性の低下を防止するように、知的労働を行うオフィス内環境等の制御を行うためには、知的生産性の低下を伴う覚醒度、すなわち人がどのような覚醒状態にあるかを推定することが必要である。本発明は、覚醒度のうち低覚醒度すなわち眠気を推定する技術に関する。

眠気は、例えば、１〜５の眠気評価値で評定されることが知られている（非特許文献１参照）。この非特許文献１によると、眠気評価値において、１は「全く眠くなさそう」を示し、２は「やや眠そう」を示し、３は「眠そう」を示し、４は「かなり眠そう」を示し、５は「非常に眠そう」を示す。

居眠り運転検知を目的として、目の開き具合（以降、「開眼度」と呼ぶ）から上記眠気を推定する技術が多数提案されている。

たとえば、特許文献１は、自動車の運転者の意識状態等を推定する状態推定装置を開示している。特許文献１に開示された状態推定装置は、運転者の開眼度を検出し、この開眼度の検出頻度の度数分布を作成して、度数分布の極値を抽出し、その度数分布の極値の時間変化に基づいて、運転者の状態を推定している。

また、特許文献２は、自動車のドライバの眠気状態を検出する方法を開示している。ドライバの目の少なくとも１つの目蓋の動きを検出し、検出された動きに応じて、ドライバの眠気状態を認識している。特に、通常の開眼度から最大で４０％、特に最大で３０％だけ眼が閉じる動きの周期性（０．２〜１Ｈｚ）から眠気を推定している。

また、特許文献３は、人が浅い眠気を感じている状態では、開眼時間（瞬きと瞬きとの間の眼を開いている時間）のばらつきが小さくなることを見出し、それを利用して生体状態を判定している。

さらに、非特許文献２は、眠気指標として、目が例えば８０％以上閉じている時間の割合（閉眼割合）を利用し、眠気を検出している。

特開２００８−０９９８８４号公報 特開２０１７−０７９０５５号公報 国際公開第２０１０／０９２８６０号

北島洋樹、他３名、「自動車運転時の眠気の予測手法についての研究（第１報、眠気表情の評定法と眠気変動の予測に有効な指標について）」、日本機械学会論文集（Ｃ編）、１９９７年９月、６３巻、６１３号、p.3059-3066 "Research on Vehicle-Based Driver State/Performance Monitoring; Development, Validation, and Refinement of Algorithms For Detection of Driver Drowsiness", U.S. Department of Transportation, (December 1994), Chapter Two, p. 24-43

しかしながら、上記特許文献１乃至３、非特許文献２に記載の方法では、眠気を推定する時間窓幅や開眼度データのサンプリングレート等各種条件によっては充分高精度に眠気を推定できないという課題がある。

本発明の目的は、上述した課題を解決できる眠気推定装置、眠気推定方法、および眠気推定プログラム記録媒体を提供することにある。

本発明の一形態は、対象者の開眼度の時系列信号から前記対象者の眠気を推定する眠気推定装置であって、前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力するフィルタリング回路部と、少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出する特徴量算出器と、前記特徴量から前記眠気の評定値を推定して、推定結果を出力する眠気推定器と、を備え、前記特徴量算出器は、特徴量算出窓幅（Ｔ_Ｍ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する第１の特徴量算出回路を、少なくとも含む、眠気推定装置である。

本発明の一形態は、対象者の開眼度の時系列信号から前記対象者の眠気を推定する眠気推定方法であって、フィルタリング回路部が、前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力し、特徴量算出器が、少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出し、眠気推定器が、前記特徴量から前記眠気の評定値を推定して、推定結果を出力し、前記特徴量検出器では、少なくとも、第１の特徴量算出回路が、特徴量算出窓幅（Ｔ_Ｍ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する、眠気推定方法である。

本発明の一形態は、対象者の開眼度の時系列信号から前記対象者の眠気を推定する処理をコンピュータに実行させる眠気推定プログラムを記録した眠気推定プログラム記録媒体であって、前記眠気推定プログラムは、前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力するフィルタリング手順と、少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出する特徴量算出手順と、前記特徴量から前記眠気の評定値を推定して、推定結果を出力する眠気推定手順と、を前記コンピュータに実行させ、前記特徴量算出手順は、特徴量算出窓幅（Ｔ_Ｍ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する第１の特徴量算出手順を、少なくとも含む、眠気推定プログラム記録媒体である。

本発明によれば、眠気を推定する時間窓幅や開眼度データのサンプリングレート等各種条件によらず高精度に眠気を推定することができる。

本発明の第１の実施形態に係る眠気推定装置の構成を示すブロック図である。 図１の眠気推定装置に接続されたカメラで撮影される対象者の一例を示す概略正面図である。 図１の眠気推定装置で使用される開眼度検出器の一例を示すブロック図である。 図２に示した対象者の眼が冴えている状態（眠気評定値＝１）のときの、対象者の開眼度の時系列信号Ｘ（ｔ）の一例を示す波形図である。 図２に示した対象者が眠い状態（眠気評定値≧３）のときの、対象者の開眼度の時系列信号Ｘ（ｔ）の一例を示す波形図である。 図１の眠気推定装置で使用されるフィルタリング回路部の一例を示すブロック図である。 図１の眠気推定装置で使用されるフィルタリング回路部の第１の例を示すブロック図である。 図５に示した対象者の開眼度の時系列信号Ｘ（ｔ）を、図７に示したフィルタリング回路部を使用してフィルタリング処理した後の、対象者の開眼度の時系列信号Ｘ_Ｆ（ｔ）を示す波形図である。 図６に示した対象者の開眼度の時系列信号Ｘ（ｔ）を、図７に示したフィルタリング回路部を使用してフィルタリング処理した後の、対象者の開眼度の時系列信号Ｘ_Ｆ（ｔ）を示す波形図である。 図１の眠気推定装置で使用されるフィルタリング回路部の第２の例を示すブロック図である。 図１の眠気推定装置で使用されるフィルタリング回路部の第３の例を示すブロック図である。 図１の眠気推定装置で使用されるフィルタリング回路部の第４の例を示すブロック図である。 図１に示した第１の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図１の眠気推定装置で使用される眠気推定器の動作の一例を示すフローチャートである。 図１に示した第１の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第２の実施形態に係る眠気推定装置の構成を示すブロック図である。 図１６に示した第２の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図１６に示した第２の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第３の実施形態に係る眠気推定装置の構成を示すブロック図である。 図１９に示した第３の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図１９に示した第３の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第４の実施形態に係る眠気推定装置の構成を示すブロック図である。 図２２に示した第４の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図２２に示した第４の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第５の実施形態に係る眠気推定装置の構成を示すブロック図である。 図２５に示した第５の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図２６に示した第５の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第６の実施形態に係る眠気推定装置の構成を示すブロック図である。 図２８に示した第６の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図２８に示した第６の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第７の実施形態に係る眠気推定装置の構成を示すブロック図である。 図３１に示した第７の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図３１に示した第７の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第８の実施形態に係る眠気推定装置の構成を示すブロック図である。 図３４に示した第８の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図３４に示した第８の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第９実施形態に係る眠気推定装置の構成を示すブロック図である。 図３７に示した第９の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図３７に示した第９の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

[第１の実施形態]
図１は、本発明の第１の実施形態に係る眠気推定装置１００の構成を示すブロック図である。図示の眠気推定装置１００は、プログラム制御により動作するコンピュータで実現可能である。

図示の眠気推定装置１００は、カメラ１０に接続されている。カメラ１０は、対象者２０の顔画像を撮像して、撮像した顔画像を示す動画像信号Ｖ（ｔ）を生成する。この生成された動画像信号Ｖ（ｔ）は、眠気推定装置１００に供給される。ただし、ｔは時間のインデックスであり、フレーム番号である。一般に、動画像信号は、フレームレートｆｓ［フレーム／秒］の信号である。図示の例では、ｆｓは３０に等しい。従って、本例では、動画像信号Ｖ（ｔ）は３０［フレーム／秒］の信号であるとする。

ここで、対象者２０は、例えば、オフィスで働いている職員であってよい。この場合、眠気推定装置１００は、職員２０の眠気を推定する装置として使用され得る。そのような状況では、カメラ１０は、例えば、机上に搭載されているパーソナルコンピュータのモニタ（ディスプレイ）やラップトップコンピュータのディスプレイの所定の箇所に取り付けられて、当該社員（従業者）２０の顔画像を撮像する。眠気推定装置１００は、パーソナルコンピュータやラップトップコンピュータのコンピュータ本体に内蔵されてもよいし、それらとは別体に設けられてもよい。また、コンピュータ本体に内蔵される記憶装置やネットワーク上の記憶装置に記憶された、動画像信号を眠気推定装置１００に入力する構成としてもよい。

一方、対象者２０は、自動車や電車、船舶、飛行機等の乗り物を運転（操縦）する運転者であってもよい。この場合、眠気推定装置１００は、運転者２０の眠気を推定する装置として使用され得る。このような状況では、カメラ１０は、運転者２０の前方の自動車の計器盤に配置されて、当該運転者２０の顔画像を撮像する。眠気推定装置１００には、図示しない警報器に接続されてよい。その場合、眠気推定装置１００は、運転者２０が眠気の状態にあると推定した場合に、その警報器に対して警報を発生させる制御信号を送出してよい。

眠気推定装置１００は、開眼度検出器１２０と、フィルタリング回路部１４０と、特徴量算出器１６０と、眠気推定器１８０とを備える。開眼度検出器１２０は動画像信号から開眼度を検出する。フィルタリング回路部１４０は開眼度の時系列信号をフィルタリングする。特徴量算出器１６０はフィルタリング後の時系列信号から特徴量を算出する。眠気推定器１８０は特徴量から眠気を推定し、推定結果を出力する。以降、それぞれを詳細に説明する。

開眼度検出器１２０は、動画像信号Ｖ（ｔ）を画像処理して、対象者２０の開眼度を検出し、対象者２０の開眼度の時系列信号Ｘ（ｔ）を出力する。

図２に示されるように、対象者２０は、左眼２０Ｌと右眼２０Ｒとを持つ。したがって、開眼度検出器１２０は、左眼２０Ｌの開眼度および右眼２０Ｒの開眼度を検出して、それぞれ、左眼２０Ｌの開眼度の時系列信号Ｘ_Ｌ（ｔ）および右眼２０Ｒの開眼度の時系列信号Ｘ_Ｒ（ｔ）を出力してもよい。この場合、上記対象者２０の開眼度の時系列信号Ｘ（ｔ）は、左眼２０Ｌの開眼度の時系列信号Ｘ_Ｌ（ｔ）と右眼２０Ｒの開眼度の時系列信号Ｘ_Ｒ（ｔ）とを加算平均して得られてよい。

図３は開眼度検出器１２０の一例を示すブロック図である。開眼度検出器１２０は、左眼開眼度検出回路１２２と、右眼開眼度検出回路１２４と、平均値算出回路１２６とを備える。

左眼開眼度検出回路１２２は、動画像信号Ｖ（ｔ）から対象者２０の左眼２０Ｌの部位を抽出し、左眼２０Ｌの開眼度を検出して、左眼２０Ｌの開眼度の時系列信号Ｘ_Ｌ（ｔ）を出力する。同様に、右眼開眼度検出回路１２４は、動画像信号Ｖ（ｔ）から対象者２０の右眼２０Ｒの部位を抽出し、右眼２０Ｒの開眼度を検出して、右眼２０Ｒの開眼度の時系列信号Ｘ_Ｒ（ｔ）を出力する。なお、左眼開眼度検出回路１２２と右眼開眼度検出回路１２４とは同じ回路を用いてもよい。例えば、左眼開眼度検出回路１２２に左右反転させた右眼の動画像信号を入力することで、右眼の開眼度の時系列信号Ｘ_Ｒ（ｔ）を算出してもよい。

平均値算出回路１２６は、左眼２０Ｌの開眼度の時系列信号Ｘ_Ｌ（ｔ）と右眼２０Ｒの開眼度の時系列信号Ｘ_Ｒ（ｔ）とを加算平均して平均値を求め、その平均値を対象者２０の開眼度の時系列信号Ｘ（ｔ）として出力する。したがって、対象者２０の開眼度の時系列信号Ｘ（ｔ）は、次の数１で表される。
［数１］
Ｘ（ｔ）＝{Ｘ_Ｌ（ｔ）＋Ｘ_Ｒ（ｔ）}／２

尚、本例では、左眼２０Ｌの開眼度の時系列信号Ｘ_Ｌ（ｔ）、右眼２０Ｒの開眼度の時系列信号Ｘ_Ｒ（ｔ）、および対象者２０の開眼度の時系列信号Ｘ（ｔ）の各々として、０〜１の範囲の値に正規化された値を使用している。

図４は、対象者２０の眼が冴えている状態（眠気評定値＝１）のときの、対象者２０の開眼度の時系列信号Ｘ（ｔ）の一例を示す波形図である。一方、図５は、対象者２０が眠い状態（眠気評定値≧３）のときの、対象者２０の開眼度の時系列信号Ｘ（ｔ）の一例を示す波形図である。

図４および図５の各々において、横軸は時間［秒］を表し、縦軸は開眼度を表している。“０”の開眼度は、対象者２０が眼を完全に閉じていることを示し、“１”の開眼度は、対象者２０が眼を完全に開いていることを示している。

次に、図１のフィルタリング回路部１４０について説明する。フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）を出力する。このフィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）は、一般に、次の数２で表される。
［数２］
Ｘ_Ｆ（ｔ）＝Ｆ［Ｘ（ｔ）、・・・、Ｘ（ｔ−Ｎ＋１）］
ここで、Ｎはフィルタリング処理用のフレーム数を表す。従って、フィルタリング回路部１４０は、フィルタリング算出窓幅Ｔ_Ｎ［秒］単位でフィルタリング処理を行う。フレーム数Ｎとフィルタリング算出窓幅Ｔ_Ｎ［秒］との間には、次の数３で表される関係がある。
［数３］
Ｎ＝Ｔ_Ｎ×ｆｓ
例えば、図４に示されるように、フレーム数Ｎが３、フレームレートｆｓが３０［フレーム／秒］に等しいとき、フィルタリング算出窓幅Ｔ_Ｎ［秒］は０．１［秒］となる。

本例では、フィルタリング回路部１４０は、フィルタリング算出窓幅Ｔ_Ｎ［秒］単位でフィルタリングすることで、開眼度の時系列信号Ｘ（ｔ）を所定の値に置換し、その置換した信号をフィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）として出力する。

尚、本例のフィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）のみを使用しているが、更に、左眼２０Ｌの開眼度の時系列信号Ｘ_Ｌ（ｔ）や右眼２０Ｒの開眼度の時系列信号Ｘ_Ｒ（ｔ）を用いてもよい。

図６は、そのような場合におけるフィルタリング回路部１４０の一例を示すブロック図である。フィルタリング回路部１４０は、主フィルタリング回路１４０−１と、第１の副フィルタリング回路１４０−２と、第２の副フィルタリング回路１４０−３とを備える。

主フィルタリング回路１４０−１は、フィルタリング算出窓幅Ｔ_Ｎ［秒］単位でフィルタリングすることで、開眼度の時系列信号Ｘ（ｔ）を所定の主値に置換し、その置換した信号をフィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）として出力する。

第１の副フィルタリング回路１４０−２は、フィルタリング算出窓幅Ｔ_Ｎ［秒］単位でフィルタリングすることで、左眼２０Ｌの開眼度の時系列信号Ｘ_Ｌ（ｔ）を所定の第１の副値に置換し、その置換した信号をフィルタリング後の左眼２０Ｌの開眼度の時系列信号Ｘ_ＦＬ（ｔ）として出力する。

同様に、第２の副フィルタリング回路１４０−３は、フィルタリング算出窓幅Ｔ_Ｎ［秒］単位でフィルタリングすることで、右眼２０Ｒの開眼度の時系列信号Ｘ_Ｒ（ｔ）を所定の第２の値に置換し、その置換した信号をフィルタリング後の右眼２０Ｒの開眼度の時系列信号Ｘ_ＦＲ（ｔ）として出力する。

なお図６の例では、フィルタリング回路部１４０は３つのフィルタリング回路１４０−１、１４０−２、および１４０−３を備えているが、本発明はこれに限定せず、それら３つのフィルタリング回路の内の１つのみを備えていてもよい。但し、以下においては、説明を簡略化するために、フィルタリング回路部１４０は主フィルタリング回路１４０−１のみから成る場合を例に挙げて、説明する。

フィルタリング回路部１４０で実施されるフィルタリング処理としては、種々の方法を採用され得る。

次に、フィルタリング回路部１４０で実施されるフィルタリング処理の具体例について説明する。

図７は、フィルタリング回路部１４０の第１の例１４０Ａを示すブロック図である。本第１の例のフィルタリング回路部１４０Ａは、フィルタリング算出窓幅Ｔ_Ｎ［秒］が少なくとも０．１［秒］以上である場合に適用可能である（Ｔ_Ｎ≧０．１）。その理由は、瞬きの時間が０．１〜０．１５［秒］のためである。すなわち、本第１の例のフィルタリング回路部１４０Ａは、フレームレートｆｓが３０［フレーム／秒］の場合、フレーム数Ｎが３以上である場合に適用される。本例では、図４に示されるように、フレーム数Ｎが３０に等しく、フィルタリング算出窓幅Ｔ_Ｎ［秒］が１［秒］である場合について説明する。

図示のフィルタリング回路部１４０Ａは、最大値取得回路１４２から成る。最大値取得回路１４２は、上記所定の値として、フィルタリング算出窓幅Ｔ_Ｎ［秒］単位でフィルタリングを行い、開眼度の時系列信号Ｘ（ｔ）の最大値を取得し、その取得した最大値をフィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）として出力する。

最大値取得回路１４２は、次の数４で表されるように、フィルタリング算出窓幅Ｔ_Ｎ［秒］の開眼度の時系列信号Ｘ（ｔ）の最大値をとる。ただし、max［］は要素の最大値をとる演算子である。
［数４］
Ｘ_Ｆ（ｔ）＝max［Ｘ（ｔ）、・・・、Ｘ（ｔ−Ｎ＋１）］

図８は、図４に示した対象者の開眼度の時系列信号Ｘ（ｔ）を、図７に示したフィルタリング回路部１４０Ａを使用してフィルタリング処理した後の、対象者の開眼度の時系列信号Ｘ_Ｆ（ｔ）を示す波形図である。また、図９は、図５に示した対象者の開眼度の時系列信号Ｘ（ｔ）を、図７に示したフィルタリング回路部を使用してフィルタリング処理した後の、対象者の開眼度の時系列信号Ｘ_Ｆ（ｔ）を示す波形図である。

図８と図９との比較から、次のことが分かる。すなわち、図８に示されるように、対象者２０の眼が冴えている状態では、開眼度を一定に維持できていることがわかる。一方、図９に示されるように、対象者２０が眠い状態では、開眼度を一定に維持できていないことが分かる。

図１０は、フィルタリング回路部１４０の第２の例１４０Ｂを示すブロック図である。フィルタリング回路部１４０Ｂは、分位点算出回路１４４から成る。分位点算出回路１４４は、上記所定の値として、フィルタリング算出窓幅Ｔ_Ｎ［秒］毎の開眼度の時系列信号Ｘ（ｔ）の第（Ｐ−１）Ｐ分位点の値を算出し、その第（Ｐ−１）Ｐ分位点の値をフィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）として出力する。ここで、第（Ｐ−１）Ｐ分位点とは、データを小さい順に並べて、下から（Ｐ−１）／Ｐのところのデータをいう。本第２の例では、Ｐ＝４であるので、第（Ｐ−１）Ｐ分位点は、第３四分位点である。

Ｐが２以上の整数であるとき、本第２の例のフィルタリング回路部１４０Ｂは、フィルタリング算出窓幅Ｔ_Ｎ［秒］が{０．１＋０．１／（Ｐ−１）}［秒］以上である場合に適用可能である。その理由は、瞬きの時間が０．１〜０．１５［秒］のためである。本第２の例では、Ｐが４に等しく、またフレームレートｆｓが３０［フレーム／秒］に等しい。したがって、フィルタリング算出窓幅Ｔ_Ｎ［秒］が{０．１＋０．１／３}［秒］、すなわちフレーム数Ｎが４より大きい場合として、フレーム数Ｎが３０に等しい場合について説明する。

分位点算出回路１４４は、次の数５で表されるように、上記所定の値として、フィルタリング算出窓幅Ｔ_Ｎ［秒］の開眼度の時系列信号Ｘ（ｔ）の第（Ｐ−１）Ｐ分位点の値を算出する。ただし、percentile_Ｐ［］は要素の第（Ｐ−１）Ｐ分位点の値を算出する演算子である。
［数５］
Ｘ_Ｆ（ｔ）＝percentile_Ｐ［Ｘ（ｔ）、・・・、Ｘ（ｔ−Ｎ＋１）］

なお、図示の例では、分位点算出回路１４４は、上記所定の値として、フィルタリング算出窓幅Ｔ_Ｎ［秒］の開眼度の時系列信号Ｘ（ｔ）の第（Ｐ−１）Ｐ分位点の値を算出しているが、本発明はそれに限定されない。例えば、分位点算出回路１４４は、上記所定の値として、フィルタリング算出窓幅Ｔ_Ｎ［秒］の開眼度の時系列信号Ｘ（ｔ）の第（Ｐ−１）Ｐ分位点以上の平均値を算出してもよい。

図１１は、フィルタリング回路部１４０の第３の例１４０Ｃを示すブロック図である。フィルタリング回路部１４０Ｃは、平均値算出回路１４６から成る。平均値算出回路１４６は、上記所定の値として、フィルタリング算出窓幅Ｔ_Ｎ［秒］単位で開眼度の時系列信号Ｘ（ｔ）の平均値を算出し、その平均値をフィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）として出力する。

本第３の例のフィルタリング部１４０Ｃは、フィルタリング算出窓幅Ｔ_Ｎ［秒］が０．１［秒］以上より十分に大きな値、例えば、１［秒］以上である場合に適用可能である（Ｔ_Ｎ≧１）。その理由は、瞬きの時間が０．１〜０．１５［秒］であり、瞬きの影響を平均処理で取り除くためである。すなわち、第３の例では、フレームレートｆｓが３０［フレーム／秒］の場合、フレーム数Ｎは３０以上であることが好ましい。本第３の例では、フレーム数Ｎが３０に等しく、フィルタリング算出窓幅Ｔ_Ｎ［秒］が１［秒］である場合について説明する。

平均値算出回路１４６は、次の数６で表されるように、上記所定の値として、フィルタリング算出窓幅Ｔ_Ｎ［秒］の開眼度の時系列信号Ｘ（ｔ）の平均値を算出する。ただし、average［］は要素の平均値を算出する演算子である。
［数６］
Ｘ_Ｆ（ｔ）＝average［Ｘ（ｔ）、・・・、Ｘ（ｔ−Ｎ＋１）］

図１２は、フィルタリング回路部１４０の第４の例１４０Ｄを示すブロック図である。フィルタリング回路部１４０Ｄは、ｆｓより十分小さなカットオフ周波数ｆｃ［Ｈｚ］を持つローパスフィルタ（ＬＰＦ）１４８から成る。フィルタリング回路部１４０Ｄは、ローパスフィルタ１４８を通して得られた値をフィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）として出力する。

本第４の例のフィルタリング回路部１４０Ｄは、カットオフ周波数をｆｃ［Ｈｚ］とすると、ｆｃがｆｓより十分小さな値、例えば、６［Ｈｚ］以下である場合に適用可能である（ｆｃ＜＜ｆｓ）。その理由は、瞬きの時間が０．１〜０．１５［秒］、すなわち瞬きは１０〜６．７Ｈｚであり、その瞬きの影響をローパスフィルタで取り除くためである。本第４の例では、カットオフ周波数ｆｃ［Ｈｚ］が６［Ｈｚ］に等しい場合について説明する。

ローパスフィルタ１４８は、次の数７で表されるように、上記所定の値として、開眼度の時系列信号Ｘ（ｔ）を、当該ローパスフィルタ１４８を通して得られた値を選択して出力する。ただし、ＬＰＦ［］は要素に対してローパスフィルタを通す演算子である。
［数７］
Ｘ_Ｆ（ｔ）＝ＬＰＦ［Ｘ（ｔ）、・・・、Ｘ（ｔ−Ｎ＋１）］

次に、図１の特徴量算出器１６０について説明する。特徴量算出器１６０は、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）から特徴量Ｆ（Ｔ）を特徴量算出窓幅Ｔ_Ｍ［秒］毎に算出する。ここで、Ｔは時間のインデックスであり、特徴量算出窓の窓番号（０，１，２，．．．）である。特徴量算出窓幅Ｔ_Ｍ［秒］とフレームレートｆｓ［フレーム／秒］とを用いると、特徴量算出窓幅のフレーム数ＭはＭ＝Ｔ_Ｍ×ｆｓと表せる。Ｔ＝０の場合には、特徴量算出器１６０は、フレーム番号ｔ＝０〜（Ｍ−１）のフィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）を使用して、特徴量Ｆ（０）を算出する。また、Ｔ＝１の場合には、特徴量算出器１６０は、フレーム番号ｔ＝Ｍ〜（２Ｍ−１）のフィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）を使用して、特徴量Ｆ（１）を算出する。Ｔ＝２の場合には、特徴量算出部１６０は、フレーム番号ｔ＝２Ｍ〜（３Ｍ−１）のフィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）を使用して、特徴量Ｆ（２）を算出する。したがって、Ｔ^＊Ｍずつ、特徴算出処理のスタート地点がずれることになる。図示の特徴量算出器１６０は、第１の特徴量算出回路を少なくとも含む。第１の特徴量算出回路は、特徴量算出窓幅Ｔ_Ｍ［秒］内での、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として算出する。人は眠い状態では、瞼を一定に維持するのが難しく、このばらつき度は大きくなる。一方、目が冴えている状態では、瞼を一定に維持するのが容易で、このばらつき度は小さくなる。以下、特徴量算出器１６０の具体例について詳細に説明する。

図１３は、特徴量算出器１６０の構成を示すブロック図である。図示の特徴量算出器１６０は、ばらつき度算出回路１６１から成る。ばらつき度算出回路１６１は、特徴量算出窓幅Ｔ_Ｍ［秒］内での、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力する。したがって、ばらつき度算出回路１６１は、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）から第１の特徴量Ｆ１（Ｔ）を算出して、出力する第１の特徴量算出回路として働く。

ばらつき度、すなわち、第１の特徴量Ｆ１（Ｔ）は、次の数８で表される。
［数８］
Ｆ１（Ｔ）＝Ｖ［Ｘ_Ｆ（Ｔ^＊Ｍ＋ｔ）、・・・、Ｘ_Ｆ（Ｔ^＊Ｍ＋ｔ−Ｍ＋１）］
ここで、Ｖ［］は、分散、標準偏差、最大値と最小値との差分、エントロピー等のばらつき度を計算する演算子である。

尚、本例のばらつき度算出回路１６１では、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）を用いているが、その代わりに、上記フィルタリング後の左眼２０Ｌの開眼度の時系列信号Ｘ_ＦＬ（ｔ）や、上記フィルタリング後の右眼２０Ｒの開眼度の時系列信号Ｘ_ＦＲ（ｔ）を用いてもよい。その場合、ばらつき度算出回路１６１は、特徴量算出窓幅Ｔ_Ｍ［秒］内での、フィルタリング後の左眼２０Ｌの開眼度の時系列信号Ｘ_ＦＬ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力する。また、ばらつき度算出回路１６１は、特徴量算出窓幅Ｔ_Ｍ［秒］内での、フィルタリング後の右眼２０Ｒの開眼度の時系列信号Ｘ_ＦＲ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力する。

次に、図１の眠気推定器１８０について説明する。眠気推定器１８０は、特徴量Ｆ（Ｔ）から眠気の評定値を推定し、推定結果ＥＲを出力する。図１４は、眠気推定器１８０の動作の一例を示すフローチャートである。以下、図１４を参照して、眠気推定器１８０の動作について説明する。

図示の眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）である特徴量Ｆ（Ｔ）から、上述した１〜５の眠気評定値を推定して、推定結果ＥＲを出力する眠気推定器である。そのため、眠気推定器１８０には、第１乃至第４の閾値ＴＨ_１、ＴＨ_２、ＴＨ_３、およびＴＨ_４が予め設定されている。ここで、第１乃至第４の閾値ＴＨ_１、ＴＨ_２、ＴＨ_３、およびＴＨ_４は、この順番に大きくなる値を持っている。すなわち、ＴＨ_１＜ＴＨ_２＜ＴＨ_３＜ＴＨ_４である。

最初に、眠気推定器１８０は、特徴量Ｆ（Ｔ）と第１の閾値ＴＨ_１とを比較する（ステップＳ１１）。もし、特徴量Ｆ（Ｔ）が第１の閾値ＴＨ_１より小さければ（ステップＳ１１のＹＥＳ）、眠気推定器１８０は、対象者２０が「全く眠くなさそう」であると判断して、推定結果ＥＲとして「１」の眠気評価値を出力する（ステップＳ１２）。これは、図８に示されるように、対象者２０の眼が冴えていて、開眼度を一定に維持できていることを示している。

もし、特徴量Ｆ（Ｔ）が第１の閾値ＴＨ_１以上であれば（ステップＳ１１のＮＯ）、眠気推定器１８０は、特徴量Ｆ（Ｔ）と第２の閾値ＴＨ_２とを比較する（ステップＳ１３）。もし、特徴量Ｆ（Ｔ）が第２の閾値ＴＨ_２より小さければ（ステップＳ１３のＹＥＳ）、眠気推定器１８０は、対象者２０が「やや眠そう」であると判断して、推定結果ＥＲとして「２」の眠気評価値を出力する（ステップＳ１４）。

もし、特徴量Ｆ（Ｔ）が第２の閾値ＴＨ_２以上であれば（ステップＳ１３のＮＯ）、眠気推定器１８０は、特徴量Ｆ（Ｔ）と第３の閾値ＴＨ_３とを比較する（ステップＳ１５）。もし、特徴量Ｆ（Ｔ）が第３の閾値ＴＨ_３より小さければ（ステップＳ１５のＹＥＳ）、眠気推定器１８０は、対象者２０が「眠そう」であると判断して、推定結果ＥＲとして「３」の眠気評価値を出力する（ステップＳ１６）。これは、図９に示されるように、対象者２０が眠い状態であって、開眼度を一定に維持できていないことを示している。

もし、特徴量Ｆ（Ｔ）が第３の閾値ＴＨ_３以上であれば（ステップＳ１５のＮＯ）、眠気推定器１８０は、特徴量Ｆ（Ｔ）と第４の閾値ＴＨ４とを比較する（ステップＳ１７）。もし、特徴量Ｆ（Ｔ）が第４の閾値ＴＨ_４より小さければ（ステップＳ１７のＹＥＳ）、眠気推定器１８０は、対象者２０が「かなり眠そう」であると判断して、推定結果ＥＲとして「４」の眠気評価値を出力する（ステップＳ１８）。

もし、特徴量Ｆ（Ｔ）が第４の閾値ＴＨ_４以上であれば（ステップＳ１７のＮＯ）、眠気推定器１８０は、対象者２０が「非常に眠そう」であると判断して、推定結果ＥＲとして「５」の眠気評価値を出力する（ステップＳ１９）。

以上のようにして、眠気推定器１８０は、特徴量Ｆ（Ｔ）から１〜５の眠気評定値を推定して、推定結果ＥＲを出力している。尚、推定結果ＥＲを出力した後は、眠気推定器１８０はステップＳ１１の処理に戻る。

尚、本例では、眠気推定器１８０は、特徴量Ｆ（Ｔ）を値の小さい第１乃至第４の閾値ＴＨ_１〜ＴＨ_４の順番に比較しているが、本発明はこれに限定されない。すなわち、眠気推定器１８０は、特徴量Ｆ（Ｔ）を値の大きい第４乃至第１の閾値ＴＨ_４〜ＴＨ_１の順番に比較してもよい。

また本例では、眠気推定器１８０は、推定結果ＥＲとして１〜５の五段階の眠気評価値を出力しているが、本発明はこれに限定されない。例えば、眠気推定器１８０は、特徴量Ｆ（Ｔ）から、対象者２０が「眠くない」状態であるのと「眠い」状態であるのと、の２つの状態のみを推定して、その２つの状態のみを推定結果ＥＲとして出力してもよい。この場合には、眠気推定器１８０には１つの閾値ＴＨ_０のみが設定される。１つの閾値ＴＨ_０としては、例えば、上記第３の閾値ＴＨ_３を使用してよいが、本発明はこれに限定されない。状況に応じて、種々の閾値を選択してよいのは勿論である。また、眠気評定値は離散値だが、通常、眠気は連続値であるので、上記のように分類問題ではなく回帰問題として捉えて、連続値を推定するようにしてもよい。その場合、閾値ではなく回帰式のパラメータ、例えば線形単回帰の場合、ＥＲ＝ａＦ（Ｔ）＋ｂにおけるａとｂを事前に学習する等して設定すればよい。もちろん、上記の分類問題や回帰問題において、各種パラメータを学習する際には、線形な手法だけでなく、通常、よく利用される機械学習手法、例えば、サポートベクターマシン、ランダムフォレスト、ニューラルネットワークなど、様々な手法を適用できる。

[動作の説明]
次に、図１５のフローチャートを参照して、本第１の実施形態に係る眠気推定装置１００の動作について説明する。

まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）を出力する（ステップＳ１０１）。

次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）を出力する（ステップＳ１０２）。

引き続いて、特徴量算出器１６０は、特徴量算出窓幅Ｔ_Ｍ［秒］内での、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力する（ステップＳ１０３）。

最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）から対象者２０の眠気を推定し、推定結果ＥＲを出力する（ステップＳ１０４）。

[効果の説明]
次に、本第１の実施形態の効果について説明する。

本発明の第１の実施形態によれば、眠気を推定する時間窓幅や開眼度データのサンプリングレート等各種条件によらず高精度に眠気を推定することができる。第一の理由は、瞬きを眠気推定の特徴量としていないためである。瞬きの回数は、１分間に１５〜２０回と言われており、瞬き回数の変化や瞬き間隔の変化等の特徴を捉えるためには、最低でも１分間程度の時間窓で特徴を抽出する必要がある。しかし、本発明では瞬き区間を除く、残りの大部分の開眼度データを利用するため、時間窓幅を１分間より短く（例えば１０秒）に設定しても、また長く（例えば３分）設定しても高精度に眠気を推定できる。さらに、開眼度データのサンプリングレートについては、０．１〜０．１５秒の瞬きを捉えて特徴量を算出するために、高いサンプリングレート（例えば１０フレーム／秒以上）に設定が必要となる。しかし、本発明では瞬きを捉える必要がないため、５フレーム／秒や３フレーム／秒としても高い精度で眠気を推定できる。低フレームレートで高精度に眠気を推定することは、カメラの要求仕様やＣＰＵの要求仕様に直接的に影響する、すなわちシステムのコストに直接的に影響するため、産業上極めて重要である。次に、本発明が効果を得ることができる第二の理由は、本発明におけるフィルタリング回路部１４０で瞬きによる信号変化を除去する際、人の瞬きの時間長（０．１〜０．１５秒）に基づいて、フィルタリング算出窓幅等のパラメータを設定しているためである。それにより、確実に瞬きによる信号変化の影響を取り除くことができ、パラメータ値が学習データ、すなわち人に依存しないため、高精度な眠気推定を実現できる。さらに第三の理由は、開眼度の時系列信号から対象者の瞬きによる信号変化を除去するようフィルタリングし、フィルタリング後の開眼度の時系列信号からばらつき度である第１の特徴量を算出し、その第１の特徴量から眠気の評定値を推定しているからである。フィルタリング後の開眼度の時系列信号からばらつき度を算出することで、浅い眠気であっても眠気の変化を確実にとらえることができる。

尚、眠気推定装置１００の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

上記第１の実施形態を別の表現で説明すれば、眠気推定装置１００として動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０、および眠気推定器１８０として動作させることで実現することが可能である。

[第２の実施形態]
図１６は、本発明の第２の実施形態に係る眠気推定装置１００Ａの構成を示すブロック図である。図示の眠気推定装置１００Ａは、プログラム制御により動作するコンピュータで実現可能である。

図示の眠気推定装置１００Ａは、特徴量算出器の構成が後述するように相違している点を除いて、図１に示した眠気推定装置１００と同様の構成を有し、動作をする。したがって、特徴量算出器に１６０Ａの参照符号を付してある。図１に示したものと同様の構成を有するものには同一の参照符号を付し、説明の簡略化のためにそれらの説明については省略する。

図１７は、特徴量算出器１６０Ａの構成を示すブロック図である。図示の特徴量算出器１６０Ａは、差分最大値算出回路１６２を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。したがって、特徴量算出回路１６０Ａは、ばらつき度算出回路１６１と、差分最大値算出回路１６２とを備えている。

差分最大値算出回路１６２は、開眼度の時系列信号Ｘ（ｔ）のフレーム間差分の絶対値（以下、「フレーム間差分」と呼ぶ）を算出し、特徴量算出窓幅（Ｔ_Ｍ）［秒］内のフレーム間差分の最大値を求め、その最大値を第２の特徴量Ｆ２［Ｔ］として出力する。したがって、差分最大値算出回路１６２は、開眼度の時系列信号Ｘ（ｔ）から第２の特徴量Ｆ２（Ｔ）を算出して、出力する第２の特徴量算出回路として働く。このフレーム間差分の絶対値の最大値は、眠い状態では値が小さくなり、目が冴えている状態では大きくなるため、眠気の推定に有用である。

フレーム間差分の最大値、すなわち、第２の特徴量Ｆ２（Ｔ）は、次の数９で表される。
［数９］
Ｆ２（Ｔ）
＝１−ｍａｘ［|Ｘ（Ｔ^＊Ｍ＋ｔ）−Ｘ（Ｔ^＊Ｍ＋ｔ−１）｜、・・・、
｜Ｘ（Ｔ^＊Ｍ＋ｔ−Ｍ＋１）−Ｘ（Ｔ^＊Ｍ＋ｔ−Ｍ＋１−１）｜］
ここで、１−ｍａｘ［］としているのは、他の特徴量と同様に、眠気が少ないほど値が小さくなるようにするためである。

尚、本例の差分最大値算出回路１６２では、開眼度の時系列信号Ｘ（ｔ）を用いているが、その代わりに、上記左眼２０Ｌの開眼度の時系列信号Ｘ_Ｌ（ｔ）や、上記右眼２０Ｒの開眼度の時系列信号Ｘ_Ｒ（ｔ）を用いてもよい。その場合、差分最大値算出回路１６２は、特徴量算出窓幅Ｔ_Ｍ［秒］内での、左眼２０Ｌの開眼度の時系列信号Ｘ_Ｌ（ｔ）のフレーム間の差分の最大値を算出し、その最大値を第２の特徴量Ｆ２（Ｔ）として出力する。また、差分最大値算出回路１６２は、特徴量算出窓幅Ｔ_Ｍ［秒］内での、右眼２０Ｒの開眼度の時系列信号Ｘ_Ｒ（ｔ）のフレーム間の差分の最大値を算出し、その最大値を算出し、そのばらつき度を第２の特徴量Ｆ２（Ｔ）として出力する。

[動作の説明]
次に、図１８のフローチャートを参照して、本第２の実施形態に係る眠気推定装置１００Ａの動作について説明する。

まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）を出力する（ステップＳ２０１）。

次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）を出力する（ステップＳ２０２）。

引き続いて、特徴量算出器１６０Ａは、特徴量算出窓幅Ｔ_Ｍ［秒］内での、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力すると共に、特徴量算出窓幅Ｔ_Ｍ［秒］内での、開眼度の時系列信号Ｘ（ｔ）のフレーム間差分の最大値を算出し、その最大値を第２の特徴量Ｆ２（Ｔ）として出力する（ステップＳ２０３）。

最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）と第２の特徴量Ｆ２（Ｔ）とから対象者２０の眠気を推定し、推定結果を出力する（ステップＳ２０４）。

[効果の説明]
次に、本第２の実施形態の効果について説明する。

本発明の第２の実施形態によれば、第１の実施形態と比較して、さらに高精度に眠気を推定することできる。その理由は、開眼度のフレーム間差分の絶対値の最大値を第２の特徴量として加えることで、眠気推定に利用できる情報が増すためである。

尚、眠気推定装置１００Ａの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

上記第２の実施形態を別の表現で説明すれば、眠気推定装置１００Ａとして動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０Ａ、および眠気推定器１８０として動作させることで実現することが可能である。

[第３の実施形態]
図１９は、本発明の第３の実施形態に係る眠気推定装置１００Ｂの構成を示すブロック図である。図示の眠気推定装置１００Ｂは、プログラム制御により動作するコンピュータで実現可能である。

図示の眠気推定装置１００Ｂは、特徴量算出器の構成が相違している点を除いて、図１に示した眠気推定装置１００と同様の構成を有し、動作をする。したがって、特徴量算出器に１６０Ｂの参照符号を付してある。図１に示したものと同様の構成を有するものには同一の参照符号を付し、説明の簡略化のためにそれらの説明については省略する。

図２０は、特徴量算出器１６０Ｂの構成を示すブロック図である。図示の特徴量算出器１６０Ｂは、閉眼割合算出回路１６３を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。したがって、特徴量算出回路１６０Ｂは、ばらつき度算出回路１６１と、閉眼割合算出回路１６３とを備えている。

閉眼割合算出回路１６３は、開眼度の時系列信号Ｘ（ｔ）から閉眼を検知し、特徴量算出窓幅（Ｔ_Ｍ）［秒］内の閉眼の割合を求め、その閉眼の割合を第３の特徴量Ｆ３［Ｔ］として出力する。したがって、閉眼割合算出回路１６３は、開眼度の時系列信号Ｘ（ｔ）から第３の特徴量Ｆ３（Ｔ）を算出して、出力する第３の特徴量算出回路として働く。この閉眼割合は、眠い状態では値が大きくなり、目が冴えている状態では小さくなるため、眠気の推定に有用である。

［数１０］
Ｆ３（Ｔ）＝Ｃ／Ｍ
ただし、Ｃは［Ｘ（Ｔ^＊Ｍ＋ｔ）、・・・、Ｘ（Ｔ^＊Ｍ＋ｔ−Ｍ＋１）］のうち、閉眼判定閾値（例えば、０．５）を下回る要素数とする。

尚、閉眼割合の詳細については、例えば、上記非特許文献２を参照されたい。

尚、本例の閉眼割合算出回路１６３でも、開眼度の時系列信号Ｘ（ｔ）を用いているが、その代わりに、上記左眼２０Ｌの開眼度の時系列信号Ｘ_Ｌ（ｔ）や、上記右眼２０Ｒの開眼度の時系列信号Ｘ_Ｒ（ｔ）を用いてもよい。その場合、閉眼割合算出回路１６３は、特徴量算出窓幅Ｔ_Ｍ［秒］内での、左眼２０Ｌの開眼度の時系列信号Ｘ_Ｌ（ｔ）の閉眼の割合を算出し、その閉眼の割合を第３の特徴量Ｆ３（Ｔ）として出力する。また、閉眼割合算出回路１６３は、特徴量算出窓幅Ｔ_Ｍ［秒］内での、右眼２０Ｒの開眼度の時系列信号Ｘ_Ｒ（ｔ）の閉眼の割合を算出し、その閉眼の割合を第３の特徴量Ｆ３（Ｔ）として出力する。また、左眼２０Ｌの開眼度の時系列信号Ｘ_Ｌ（ｔ）と右眼２０Ｒの開眼度の時系列信号Ｘ_Ｒ（ｔ）との両方が同時に閉眼している割合を算出し、その閉眼の割合を第３の特徴量Ｆ３（Ｔ）として出力する。また、左眼２０Ｌの開眼度の時系列信号Ｘ_Ｌ（ｔ）の閉眼の割合、右眼２０Ｒの開眼度の時系列信号Ｘ_Ｒ（ｔ）の閉眼の割合をそれぞれ算出し、それらを要素とする第３の特徴量Ｆ３（Ｔ）=[Ｘ_Ｌ（ｔ）の閉眼割合、Ｘ_Ｒ（ｔ）の閉眼の割合]を出力する。また、複数の閉眼判定閾値（例えば、０．５と０．８等）を用いて、複数の閉眼割合を算出し、それらを要素とする第３の特徴量Ｆ３（Ｔ）=[閉眼判定閾値０．５の場合の閉眼割合、閉眼判定閾値０．８の場合の閉眼割合]を出力する。

[動作の説明]
次に、図２１のフローチャートを参照して、本第３の実施形態に係る眠気推定装置１００Ｂの動作について詳細に説明する。

まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）を出力する（ステップＳ３０１）。

次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）を出力する（ステップＳ３０２）。

引き続いて、特徴量算出器１６０Ｂは、特徴量算出窓幅Ｔ_Ｍ［秒］内での、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力すると共に、特徴量算出窓幅Ｔ_Ｍ［秒］内での、開眼度の時系列信号Ｘ（ｔ）の閉眼の割合を算出し、その閉眼の割合を第３の特徴量Ｆ３（Ｔ）として出力する（ステップＳ３０３）。

最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）と第３の特徴量Ｆ３（Ｔ）とから対象者２０の眠気の評価値を推定し、推定結果を出力する（ステップＳ３０４）。

[効果の説明]
次に、本第３の実施形態の効果について説明する。

本発明の第３の実施形態によれば、第１の実施形態と比較して、さらに高精度に眠気を推定することできる。その理由は、閉眼割合を第３の特徴量として加えることで、眠気推定に利用できる情報が増すためである。特に、完全に寝ている状態において、第１の特徴量だけで、寝ている状態と推定することは難しい。一方、完全に寝ている状態において閉眼割合は明らかに高い。そのため、この第３の特徴量を加えることで、完全に寝ている状態も含めて高精度に眠気を推定することができる。なお、第３の特徴量だけでは、閉眼割合が小さい浅い眠気を推定することが難しく、第１の特徴量と第３の特徴量を組み合わせて用いることの効果は極めて高い。

尚、眠気推定装置１００Ｂの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

上記第３の実施形態を別の表現で説明すれば、眠気推定装置１００Ｂとして動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０Ｂ、および眠気推定器１８０として動作させることで実現することが可能である。

[第４の実施形態]
図２２は、本発明の第４の実施形態に係る眠気推定装置１００Ｃの構成を示すブロック図である。図示の眠気推定装置１００Ｃは、プログラム制御により動作するコンピュータで実現可能である。

図示の眠気推定装置１００Ｃは、特徴量算出器の構成が相違している点を除いて、図１に示した眠気推定装置１００と同様の構成を有し、動作をする。したがって、特徴量算出器に１６０Ｃの参照符号を付してある。図１に示したものと同様の構成を有するものには同一の参照符号を付し、説明の簡略化のためにそれらの説明については省略する。

図２３は、特徴量算出器１６０Ｃの構成を示すブロック図である。図示の特徴量算出器１６０Ｃは、動き差分平均値算出回路１６４を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。したがって、特徴量算出回路１６０Ｃは、ばらつき度算出回路１６１と、動き差分平均値算出回路１６４とを備えている。

動き差分平均値算出回路１６４は、左眼２０Ｌの開眼度の時系列信号Ｘ_Ｌ（ｔ）と右眼２０Ｒの開眼度の時系列信号Ｘ_Ｒ（ｔ）との間の動き差分の絶対値（以下、「動き差分」と呼ぶ）を算出し、特徴量算出窓幅（Ｔ_Ｍ）［秒］内の上記動き差分の平均値を求め、その動き差分の平均値を第４の特徴量Ｆ４［Ｔ］として出力する。したがって、動き差分平均値算出回路１６４は、開眼度の時系列信号Ｘ（ｔ）から第４の特徴量Ｆ４（Ｔ）を算出して、出力する第４の特徴量算出回路として働く。この動き差分平均値は、眠い状態では値が大きくなり、目が冴えている状態では小さくなるため、眠気の推定に有用である。

動き差分の平均値、すなわち、第４の特徴量Ｆ４（Ｔ）は、次の数１１で表される。
［数１１］
Ｆ４（Ｔ）
＝average[｜{Ｘ_Ｌ（Ｔ^＊Ｍ＋ｔ）−Ｘ_Ｌ（Ｔ^＊Ｍ＋ｔ−１）}−
{Ｘ_Ｒ（Ｔ^＊Ｍ＋ｔ）−Ｘ_Ｒ（Ｔ^＊Ｍ＋ｔ−１）}｜、・・・、
｜{Ｘ_Ｌ（Ｔ^＊Ｍ＋ｔ−Ｍ＋１）−Ｘ_Ｌ（Ｔ^＊Ｍ＋ｔ−Ｍ＋１−１）}−
{Ｘ_Ｒ（Ｔ^＊Ｍ＋ｔ−Ｍ＋１）−Ｘ_Ｒ（Ｔ^＊Ｍ＋ｔ−Ｍ＋１−１）}｜］

[動作の説明]
次に、図２４のフローチャートを参照して、本第４の実施形態に係る眠気推定装置１００Ｃの動作について詳細に説明する。

まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）、左眼２０Ｌの開眼度の時系列信号Ｘ_Ｌ（ｔ）、および右眼２０Ｒの開眼度の時系列信号Ｘ_Ｒ（ｔ）を出力する（ステップＳ４０１）。

次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）を出力する（ステップＳ４０２）。

引き続いて、特徴量算出器１６０Ｃは、特徴量算出窓幅Ｔ_Ｍ［秒］内での、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力すると共に、特徴量算出窓幅Ｔ_Ｍ［秒］内での、左眼と右眼の開眼度の動き差分を算出し、その動き差分の平均値を第４の特徴量Ｆ４（Ｔ）として出力する（ステップＳ４０３）。

最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）と第４の特徴量Ｆ４（Ｔ）とから対象者２０の眠気を推定し、推定結果を出力する（ステップＳ４０４）。

[効果の説明]
次に、本第４の実施形態の効果について説明する。

本発明の第４の実施形態によれば、第１の実施形態と比較して、さらに高精度に眠気を推定することできる。その理由は、動き差分平均値を第４の特徴量として加えることで、眠気推定に利用できる情報が増すためである。眠い状態における、右眼と左眼の異なる動きを的確に捉えることにより、眠気推定の精度が向上する。

尚、眠気推定装置１００Ｃの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

上記第４の実施形態を別の表現で説明すれば、眠気推定装置１００Ｃとして動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０Ｃ、および眠気推定器１８０として動作させることで実現することが可能である。

[第５の実施形態]
図２５は、本発明の第５の実施形態に係る眠気推定装置１００Ｄの構成を示すブロック図である。図示の眠気推定装置１００Ｄは、プログラム制御により動作するコンピュータで実現可能である。

図示の眠気推定装置１００Ｄは、特徴量算出器の構成が相違している点を除いて、図１に示した眠気推定装置１００と同様の構成を有し、動作をする。したがって、特徴量算出器に１６０Ｄの参照符号を付してある。図１に示したものと同様の構成を有するものには同一の参照符号を付し、説明の簡略化のためにそれらの説明については省略する。

図２６は、特徴量算出器１６０Ｄの構成を示すブロック図である。図示の特徴量算出器１６０Ｄは、隣接差分算出回路１６５を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。したがって、特徴量算出回路１６０Ｄは、ばらつき度算出回路１６１と、隣接差分算出回路１６５とを備えている。

隣接差分算出回路１６５は、ある特徴量算出窓幅（Ｔ_Ｍ）［秒］で算出された第１の特徴量Ｆ１［Ｔ］とそれに隣接する特徴量算出窓幅（Ｔ_Ｍ）［秒］で算出された第１の特徴量Ｆ１［Ｔ−１］との差分の絶対値（以下、「隣接窓間の差分」と呼ぶ）を算出して、その隣接窓間の差分を第５の特徴量Ｆ１１［Ｔ］として出力する。したがって、隣接差分算出回路１６５は、第１の特徴量Ｆ１［Ｔ］における隣接窓間の差分を第５の特徴量Ｆ１１（Ｔ）として算出して、出力する第５の特徴量算出回路として働く。この隣接窓間の差分は、眠い状態では値が大きくなり、目が冴えている状態では小さくなるため、眠気の推定に有用である。

隣接窓間の差分、すなわち、第５の特徴量Ｆ１１（Ｔ）は、次の数１２で表される。
［数１２］
Ｆ１１（Ｔ）＝｜Ｆ１（Ｔ）−Ｆ１（Ｔ−１）｜

尚、本第５の実施形態では、第５の特徴量として、第１の特徴量Ｆ１［Ｔ］における隣接窓間の差分Ｆ１１（Ｔ）を用いているが、本発明はこれに限定されない。例えば、第５の特徴量としては、上記第２の特徴量Ｆ２［Ｔ］における隣接窓間の差分Ｆ２１（Ｔ）や、上記第３の特徴量Ｆ３［Ｔ］における隣接窓間の差分Ｆ３１（Ｔ）や、上記４の特徴量Ｆ４［Ｔ］における隣接窓間の差分Ｆ４１（Ｔ）を用いてもよい。

[動作の説明]
次に、図２７のフローチャートを参照して、本第５の実施形態に係る眠気推定装置１００Ｄの動作について詳細に説明する。

まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）を出力する（ステップＳ５０１）。

次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）を出力する（ステップＳ５０２）。

引き続いて、特徴量算出器１６０Ｄは、特徴量算出窓幅Ｔ_Ｍ［秒］内での、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力すると共に、隣接する２つの特徴量算出窓幅Ｔ_Ｍ［秒］間の第１の特徴量Ｆ１（Ｔ）の差分（隣接窓間の差分）を算出し、その隣接窓間の差分を第５の特徴量Ｆ１１（Ｔ）として出力する（ステップＳ５０３）。

最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）と第５の特徴量Ｆ１１（Ｔ）とから対象者２０の眠気を推定し、推定結果ＥＲを出力する（ステップＳ５０４）。

尚、本第５の実施形態では、眠気推定器１８０に供給する特徴量として、第１の特徴量Ｆ１（Ｔ）と第５の特徴量Ｆ１１（Ｔ）との両方を使用しているが、本発明はこれに限定されない。すなわち、眠気推定器１８０に供給する特徴量として第５の特徴量Ｆ１１（Ｔ）のみを用いてもよい。この場合、眠気推定器１８０は、第５の特徴量Ｆ１１（Ｔ）から対象者２０の眠気の評価値を推定し、推定結果ＥＲを出力することになる。

[効果の説明]
次に、本第５の実施形態の効果について説明する。

本発明の第５の実施形態によれば、第１の実施形態と比較して、同等以上の精度で眠気を推定することできる。その理由は、隣接窓間の差分を第５の特徴量として用いることで、眠気推定に利用できる情報が増すためである。眠い状態において、隣接窓間の差分が大きくなること、より長時間の変化を簡単かつ的確に捉えることにより、眠気推定の精度が向上する。

尚、眠気推定装置１００Ｄの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

上記第５の実施形態を別の表現で説明すれば、眠気推定装置１００Ｄとして動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０Ｄ、および眠気推定器１８０として動作させることで実現することが可能である。

[第６の実施形態]
図２８は、本発明の第６の実施形態に係る眠気推定装置１００Ｅの構成を示すブロック図である。図示の眠気推定装置１００Ｅは、プログラム制御により動作するコンピュータで実現可能である。

図示の眠気推定装置１００Ｅは、特徴量算出器の構成が相違している点を除いて、図１に示した眠気推定装置１００と同様の構成を有し、動作をする。したがって、特徴量算出器に１６０Ｅの参照符号を付してある。図１に示したものと同様の構成を有するものには同一の参照符号を付し、説明の簡略化のためにそれらの説明については省略する。

図２９は、特徴量算出器１６０Ｅの構成を示すブロック図である。図示の特徴量算出器１６０Ｅは、対数算出回路１６６を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。したがって、特徴量算出回路１６０Ｅは、ばらつき度算出回路１６１と、対数算出回路１６６とを備えている。

対数算出回路１６６は、第１の特徴量Ｆ１［Ｔ］の対数を算出して、その対数を第６の特徴量Ｆ１２［Ｔ］として出力する。したがって、対数算出回路１６６は、第１の特徴量Ｆ１［Ｔ］の対数を第６の特徴量Ｆ１２［Ｔ］として算出して、出力する第６の特徴量算出回路として働く。前述の通り、推定対象の眠気評定値を算出するのは、人である。一般に人の感覚は対数に従っていると言われており、眠気評定値も対数に従っている。そのため、特徴量の対数をとることで、特徴量と眠気評定値との間の関係性を線形にできる。

第１の特徴量の対数、すなわち、第６の特徴量Ｆ１２（Ｔ）は、次の数１３で表される。
［数１３］
Ｆ１２（Ｔ）＝Ｌｏｇ{Ｆ１［Ｔ］＋α}
ここで、αは小さな値、例えば、１０^−６である。尚、第１の特徴量Ｆ１［Ｔ］に小さな値αを加えているのでは、対数の中身がゼロにならないようにするためである。

尚、本第６の実施形態では、第６の特徴量として、第１の特徴量Ｆ１［Ｔ］の対数を用いているが、本発明はこれに限定されない。例えば、第６の特徴量としては、上記第２の特徴量Ｆ２［Ｔ］の対数Ｆ２２［Ｔ］や、上記第３の特徴量Ｆ３［Ｔ］の対数Ｆ３２（Ｔ）や、上記４の特徴量Ｆ４［Ｔ］の対数Ｆ４２［Ｔ］や、上記５の特徴量Ｆ１１［Ｔ］の対数Ｆ１１２［Ｔ］を用いてもよい。

[動作の説明]
次に、図３０のフローチャートを参照して、本第６の実施形態に係る眠気推定装置１００Ｅの動作について詳細に説明する。

まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）を出力する（ステップＳ６０１）。

次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）を出力する（ステップＳ６０２）。

引き続いて、特徴量算出器１６０Ｅは、特徴量算出窓幅Ｔ_Ｍ［秒］内での、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）のばらつき度を算出し、そのばらつき度を第１の特徴量Ｆ１（Ｔ）として出力すると共に、ばらつき度の対数を算出し、その対数を第６の特徴量Ｆ１２（Ｔ）として出力する（ステップＳ６０３）。

最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）と第６の特徴量Ｆ１２（Ｔ）とから対象者２０の眠気を推定し、推定結果ＥＲを出力する（ステップＳ６０４）。

尚、本第６の実施形態では、眠気推定器１８０に供給する特徴量として、第１の特徴量Ｆ１（Ｔ）と第６の特徴量Ｆ１２（Ｔ）との両方を使用しているが、本発明はこれに限定されない。すなわち、眠気推定器１８０に供給する特徴量として第６の特徴量Ｆ１２（Ｔ）のみを用いてもよい。この場合、眠気推定器１８０は、第６の特徴量Ｆ１２（Ｔ）から対象者２０の眠気を推定し、推定結果ＥＲを出力することになる。

[効果の説明]
次に、本第６の実施形態の効果について説明する。

本発明の第６の実施形態によれば、第１の実施形態と比較して、同等以上の精度で眠気を推定することできる。その理由は、第１の特徴量の対数値を第６の特徴量として用いることで、特徴量と眠気評定値との間の関係性が線形になるためである。関係性が簡単になることで、関係式を推定することが容易になり、眠気推定の精度が向上する。

尚、眠気推定装置１００Ｅの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

上記第６の実施形態を別の表現で説明すれば、眠気推定装置１００Ｅとして動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０Ｅ、および眠気推定器１８０として動作させることで実現することが可能である。

[第７の実施形態]
図３１は、本発明の第７の実施形態に係る眠気推定装置１００Ｆの構成を示すブロック図である。図示の眠気推定装置１００Ｆは、プログラム制御により動作するコンピュータで実現可能である。

図示の眠気推定装置１００Ｆは、特徴量算出器の構成が相違している点を除いて、図１に示した眠気推定装置１００と同様の構成を有し、動作をする。したがって、特徴量算出器に１６０Ｆの参照符号を付してある。図１に示したものと同様の構成を有するものには同一の参照符号を付し、説明の簡略化のためにそれらの説明については省略する。

図３２は、特徴量算出器１６０Ｆの構成を示すブロック図である。図示の特徴量算出器１６０Ｆは、上述した特徴量の統計量を特徴量として用いている。図示の特徴量算出器１６０Ｆは、統計量算出窓幅Ｔ_Ｋ［秒］毎に、後述するように、上述した特徴量のいずれかの統計量Ｆ（Ｓ）を算出し、特徴量として用いることを特徴としている。ここで、Ｓは時間のインデックスであり、統計量算出窓の窓番号（０，１，２，．．．）を示す。また、図示の例では、統計量算出窓幅Ｔ_Ｋ［秒］内の特徴量の数がＫであるとする。図４に示される例では、統計量算出窓幅Ｔ_Ｋは６０［秒］に等しく、したがって、特徴量の数Ｋは６に等しい。

図示の例では、上述した特徴量として第１の特徴量Ｆ１［Ｔ］を用い、統計量として第１の特徴量Ｆ１［Ｔ］の平均値を用いている。したがって、特徴量算出器１６０Ｆは、平均値算出回路１６７を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。平均値算出回路１６７は、統計量算出回路として動作する。

平均値算出回路１６７は、統計量算出窓幅Ｔ_Ｋ［秒］内の、第１の特徴量Ｆ１（Ｔ）の平均値を算出して、その平均値を第７の特徴量Ｆ１３（Ｓ）として出力する。したがって、平均値算出回路１６７は、統計量算出窓幅Ｔ_Ｋ［秒］毎に、第１の特徴量Ｆ１（Ｔ）の平均値を、第７の特徴量Ｆ１３（Ｓ）として算出して、出力する第７の特徴量算出回路として働く。

第１の特徴量の平均値、すなわち、第７の特徴量Ｆ１３（Ｓ）は、次の数１４で表される。ただし、average［］は要素の平均値を算出する演算子である。
［数１４］
Ｆ１３（Ｓ）＝
average［Ｆ１（Ｓ＊Ｋ＋Ｔ）、・・・Ｆ１（Ｓ＊Ｋ＋Ｔ−Ｋ＋１）］

尚、本第７の実施形態では、第７の特徴量（統計量）として、第１の特徴量Ｆ１（Ｔ）の平均値を用いているが、本発明はこれに限定されない。例えば、第７の特徴量としては、上記第２の特徴量Ｆ２（Ｔ）の平均値Ｆ２３（Ｓ）や、上記第３の特徴量Ｆ３（Ｔ）の平均値Ｆ３３（Ｓ）や、上記４の特徴量Ｆ４（Ｔ）の平均値Ｆ４３（Ｓ）や、上記５の特徴量Ｆ１１（Ｔ）の平均値Ｆ１１３（Ｓ）や、上記第６の特徴量Ｆ１２（Ｔ）の平均値Ｆ１２３（Ｓ）を用いてもよい。

[動作の説明]
次に、図３３のフローチャートを参照して、本第７の実施形態に係る眠気推定装置１００Ｆの動作について詳細に説明する。

まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）を出力する（ステップＳ７０１）。

次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）を出力する（ステップＳ７０２）。

引き続いて、特徴量算出器１６０Ｆは、特徴量算出窓幅Ｔ_Ｍ［秒］内での、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）のばらつき度を算出し、統計量算出窓幅Ｔ_Ｋ［秒］内でのばらつき度の平均値を算出し、その平均値を第７の特徴量Ｆ１３（Ｓ）として出力する（ステップＳ７０３）。

最後に、眠気推定器１８０は、第７の特徴量Ｆ１３（Ｓ）から対象者２０の眠気を推定し、推定結果ＥＲを出力する（ステップＳ７０４）。

尚、本第７の実施形態では、眠気推定器１８０に供給する特徴量として、第７の特徴量Ｆ１３（Ｓ）を使用している。この場合、眠気推定器１８０は、第７の特徴量Ｆ１３（Ｓ）から対象者２０の眠気を推定し、推定結果ＥＲを出力することになる。

[効果の説明]
次に、本第７の実施形態の効果について説明する。

本発明の第７の実施形態によれば、第１の実施形態と比較して、より安定して眠気を推定することできる。その理由は、第１の特徴量の統計値（平均値）を第７の特徴量として用いることで、より長時間の安定した特徴となるためである。

尚、眠気推定装置１００Ｆの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

上記第７の実施形態を別の表現で説明すれば、眠気推定装置１００Ｆとして動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０Ｆ、および眠気推定器１８０として動作させることで実現することが可能である。

[第８の実施形態]
図３４は、本発明の第８の実施形態に係る眠気推定装置１００Ｇの構成を示すブロック図である。図示の眠気推定装置１００Ｇは、プログラム制御により動作するコンピュータで実現可能である。

図示の眠気推定装置１００Ｇは、特徴量算出器の構成が相違している点を除いて、図１に示した眠気推定装置１００と同様の構成を有し、動作をする。したがって、特徴量算出器に１６０Ｇの参照符号を付してある。図１に示したものと同様の構成を有するものには同一の参照符号を付し、説明の簡略化のためにそれらの説明については省略する。

図３５は、特徴量算出器１６０Ｇの構成を示すブロック図である。図示の特徴量算出器１６０Ｇは、上記統計量として第１の特徴量Ｆ１［Ｔ］の標準偏差を用いている。すなわち、特徴量算出器１６０Ｇは、平均値算出回路１６７の代わりに標準偏差算出回路１６８を備えている点を除いて、図３２に示す特徴量算出器１６０Ｆと同様の構成を有し、動作をする。標準偏差算出回路１６８も統計量算出回路として動作する。

標準偏差算出回路１６８は、統計量算出窓幅Ｔ_Ｋ［秒］内の、第１の特徴量Ｆ１（Ｔ）の標準偏差を算出して、その標準偏差を第８の特徴量Ｆ１４（Ｓ）として出力する。したがって、標準偏差算出回路１６８は、統計量算出窓幅Ｔ_Ｋ［秒］毎に、第１の特徴量Ｆ１（Ｔ）の標準偏差を、第８の特徴量Ｆ１４（Ｓ）として算出して、出力する第８の特徴量算出回路として働く。

第１の特徴量の標準偏差、すなわち、第８の特徴量Ｆ１４（Ｓ）は、次の数１５で表される。ただし、standard_dev［］は要素の標準偏差を算出する演算子である。
［数１５］
Ｆ１４（Ｓ）＝
standard_dev［Ｆ１（Ｓ＊Ｋ＋Ｔ）、・・・Ｆ１（Ｓ＊Ｋ＋Ｔ−Ｋ＋１）］

尚、本第８の実施形態では、第８の特徴量（統計量）として、第１の特徴量Ｆ１（Ｔ）の標準偏差を用いているが、本発明はこれに限定されない。例えば、第８の特徴量としては、上記第２の特徴量Ｆ２（Ｔ）の標準偏差Ｆ２４（Ｓ）や、上記第３の特徴量Ｆ３（Ｔ）の標準偏差Ｆ３４（Ｓ）や、上記４の特徴量Ｆ４（Ｔ）の標準偏差Ｆ４４（Ｓ）や、上記５の特徴量Ｆ１１（Ｔ）の標準偏差Ｆ１１４（Ｓ）や、上記第６の特徴量Ｆ１２（Ｔ）の標準偏差Ｆ１２４（Ｓ）を用いてもよい。

[動作の説明]
次に、図３６のフローチャートを参照して、本第８の実施形態に係る眠気推定装置１００Ｇの動作について詳細に説明する。

まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）を出力する（ステップＳ８０１）。

次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）を出力する（ステップＳ８０２）。

引き続いて、特徴量算出器１６０Ｇは、特徴量算出窓幅Ｔ_Ｍ［秒］内での、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）のばらつき度を算出し、統計量算出窓幅Ｔ_Ｋ［秒］内でのばらつき度の標準偏差を算出し、その標準偏差を第８の特徴量Ｆ１４（Ｓ）として出力する（ステップＳ８０３）。

最後に、眠気推定器１８０は、第８の特徴量Ｆ１４（Ｓ）から対象者２０の眠気を推定し、推定結果ＥＲを出力する（ステップＳ８０４）。

尚、本第８の実施形態では、眠気推定器１８０に供給する特徴量として、第８の特徴量Ｆ１４（Ｓ）を使用している。この場合、眠気推定器１８０は、第８の特徴量Ｆ１４（Ｓ）から対象者２０の眠気を推定し、推定結果ＥＲを出力することになる。

[効果の説明]
次に、本第８の実施形態の効果について説明する。

本発明の第８の実施形態によれば、第１の実施形態と比較して、より安定して眠気を推定することできる。その理由は、第１の特徴量の統計値（標準偏差）を第８の特徴量として用いることで、より長時間の安定した特徴となるためである。

尚、眠気推定装置１００Ｇの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

上記第８の実施形態を別の表現で説明すれば、眠気推定装置１００Ｇとして動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０Ｇ、および眠気推定器１８０として動作させることで実現することが可能である。

[第９の実施形態]
図３７は、本発明の第９の実施形態に係る眠気推定装置１００Ｈの構成を示すブロック図である。図示の眠気推定装置１００Ｈは、プログラム制御により動作するコンピュータで実現可能である。

図示の眠気推定装置１００Ｈは、特徴量算出器の構成が相違している点を除いて、図１に示した眠気推定装置１００と同様の構成を有し、動作をする。したがって、特徴量算出器に１６０Ｈの参照符号を付してある。図１に示したものと同様の構成を有するものには同一の参照符号を付し、説明の簡略化のためにそれらの説明については省略する。

図３８は、特徴量算出器１６０Ｈの構成を示すブロック図である。図示の特徴量算出器１６０Ｈは、上記統計量として第１の特徴量Ｆ１［Ｔ］の分散を用いている。すなわち、特徴量算出器１６０Ｈは、平均値算出回路１６７の代わりに分散算出回路１６９を備えている点を除いて、図３２に示す特徴量算出器１６０Ｆと同様の構成を有し、動作をする。分散算出回路１６９も、統計量算出回路として動作する。

分散算出回路１６９は、統計量算出窓幅Ｔ_Ｋ［秒］内の、第１の特徴量Ｆ１（Ｔ）の分散を算出して、その分散を第９の特徴量Ｆ１５（Ｓ）として出力する。したがって、分散算出回路１６９は、統計量算出窓幅Ｔ_Ｋ［秒］毎に、第１の特徴量Ｆ１（Ｔ）の分散を、第９の特徴量Ｆ１５（Ｓ）として算出して、出力する第９の特徴量算出回路として働く。

第１の特徴量の分散、すなわち、第９の特徴量Ｆ１５（Ｓ）は、次の数１６で表される。ただし、variance［］は要素の分散値を算出する演算子である。
［数１６］
Ｆ１５（Ｓ）＝
variance［Ｆ１（Ｓ＊Ｋ＋Ｔ）、・・・Ｆ１（Ｓ＊Ｋ＋Ｔ−Ｋ＋１）］

尚、本第９の実施形態では、第９の特徴量（統計量）として、第１の特徴量Ｆ１（Ｔ）の分散を用いているが、本発明はこれに限定されない。例えば、第９の特徴量としては、上記第２の特徴量Ｆ２（Ｔ）の分散Ｆ２５（Ｓ）や、上記第３の特徴量Ｆ３（Ｔ）の分散Ｆ３５（Ｓ）や、上記４の特徴量Ｆ４（Ｔ）の分散Ｆ４５（Ｓ）や、上記５の特徴量Ｆ１１（Ｔ）の分散Ｆ１１５（Ｓ）や、上記第６の特徴量Ｆ１２（Ｔ）の分散Ｆ１２５（Ｓ）を用いてもよい。

[動作の説明]
次に、図３９のフローチャートを参照して、本第９の実施形態に係る眠気推定装置１００Ｈの動作について詳細に説明する。

まず、開眼度検出器１２０は、動画像信号Ｖ（ｔ）から開眼度を検出して、開眼度の時系列信号Ｘ（ｔ）を出力する（ステップＳ９０１）。

次に、フィルタリング回路部１４０は、開眼度の時系列信号Ｘ（ｔ）から対象者２０の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）を出力する（ステップＳ９０２）。

引き続いて、特徴量算出器１６０Ｈは、特徴量算出窓幅Ｔ_Ｍ［秒］内での、フィルタリング後の開眼度の時系列信号Ｘ_Ｆ（ｔ）のばらつき度を算出し、統計量算出窓幅Ｔ_Ｋ［秒］内でのばらつき度の分散を算出し、その分散を第９の特徴量Ｆ１５（Ｓ）として出力する（ステップＳ９０３）。

最後に、眠気推定器１８０は、第９の特徴量Ｆ１５（Ｓ）から対象者２０の眠気を推定し、推定結果ＥＲを出力する（ステップＳ９０４）。

尚、本第９の実施形態では、眠気推定器１８０に供給する特徴量として、第９の特徴量Ｆ１５（Ｓ）を使用している。この場合、眠気推定器１８０は、第９の特徴量Ｆ１５（Ｓ）から対象者２０の眠気を推定し、推定結果ＥＲを出力することになる。

[効果の説明]
次に、本第９の実施形態の効果について説明する。

本発明の第９の実施形態によれば、第１の実施形態と比較して、より安定して眠気を推定することできる。その理由は、第１の特徴量の統計値（分散）を第９の特徴量として用いることで、より長時間の安定した特徴となるためである。

尚、眠気推定装置１００Ｈの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に眠気推定プログラムが展開され、該眠気推定プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該眠気推定プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された眠気推定プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

上記第９の実施形態を別の表現で説明すれば、眠気推定装置１００Ｈとして動作させるコンピュータを、ＲＡＭに展開された眠気推定プログラムに基づき、開眼度検出器１２０、フィルタリング回路部１４０、特徴量算出器１６０Ｈ、および眠気推定器１８０として動作させることで実現することが可能である。

なお、本発明の具体的な構成は前述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。

以上、実施形態（実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）対象者の開眼度の時系列信号から前記対象者の眠気を推定する眠気推定装置であって、
前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力するフィルタリング回路部と、
少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出する特徴量算出器と、
前記特徴量から前記眠気の評定値を推定して、推定結果を出力する眠気推定器と、
を備え、
前記特徴量算出器は、特徴量算出窓幅（Ｔ_Ｍ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する第１の特徴量算出回路を、少なくとも含む、
眠気推定装置。

（付記２）前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
Ｎをフレーム数とし、フィルタリング算出窓幅をＴ_Ｎ［秒］としたとき、Ｎ＝Ｔ_Ｎ×ｆｓの関係があり、
前記フィルタリング回路部は、前記フィルタリング算出窓幅（Ｔ_Ｎ）単位で前記開眼度の時系列信号をフィルタリングすることにより所定の値に置換し、該置換した信号を前記フィルタリング後の開眼度の時系列信号として出力する、
付記１に記載の眠気推定装置。

（付記３）前記フィルタリング算出窓幅（Ｔ_Ｎ）が０．１［秒］以上であるとき、
前記フィルタリング回路部は、前記所定の値として、フィルタリング算出窓幅（Ｔ_Ｎ）内の前記開眼度の時系列信号の最大値を取得する最大値取得回路から成る、
付記２に記載の眠気推定装置。

（付記４）Ｐが２以上の整数であり、前記フィルタリング算出窓幅（Ｔ_Ｎ）が０．２［秒］以上であるとき、
前記フィルタリング回路部は、前記所定の値として、前記フィルタリング算出窓幅（Ｔ_Ｎ）内の前記開眼度の時系列信号の第（Ｐ−１）Ｐ分位点の値、又は該第（Ｐ−１）Ｐ分位点以上の平均値を算出する分位点算出回路から成る、
付記２に記載の眠気推定装置。

（付記５）前記フィルタリング算出窓幅（Ｔ_Ｎ）が１［秒］以上であるとき、
前記フィルタリング回路部は、前記所定の値として、前記フィルタリング算出窓幅（Ｔ_Ｎ）内の前記開眼度の時系列信号の平均値を算出する平均値算出回路から成る、
付記２に記載の眠気推定装置。

（付記６）前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
前記フィルタリング回路部は、カットオフ周波数ｆｃ［Ｈｚ］が前記ｆｓより十分小さく、６Ｈｚより小さいローパスフィルタから成る、
付記１に記載の眠気推定装置。

（付記７）前記特徴量算出器は、前記開眼度の時系列信号のフレーム間差分を算出し、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］内の前記フレーム間差分の最大値を求め、該最大値を第２の特徴量として出力する第２の特徴量算出回路を、更に含む、付記１乃至６のいずれか１項に記載の眠気推定装置。

（付記８）前記特徴量算出器は、前記開眼度の時系列信号から閉眼を検知し、前記第１の所定時間窓幅（Ｔ_Ｍ）［秒］内の前記閉眼の割合を求め、該閉眼の割合を第３の特徴量として出力する第３の特徴量算出回路を、更に含む、付記１乃至７のいずれか１項に記載の眠気推定装置。

（付記９）前記特徴量算出器は、前記開眼度の時系列信号から左眼と右眼の開眼度の動き差分を算出し、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］内の前記動き差分の平均値を求め、該動き差分の平均値を第４の特徴量として出力する第４の特徴量算出回路を、更に含む、付記１乃至８のいずれか１項に記載の眠気推定装置。

（付記１０）前記特徴量算出器は、隣接する２つの特徴量算出窓幅（Ｔ_Ｍ）［秒］で、前記第１乃至第４の特徴量算出器でそれぞれ算出される、隣接する２つの第１乃至第４の特徴量の差分を求め、該差分の中から選択された１つを第５の特徴量として出力する第５の特徴量算出回路を更に含む、付記９に記載の眠気推定装置。

（付記１１）前記特徴量算出器は、前記第１乃至第５の特徴量算出回路でそれぞれ算出される、第１乃至第５の特徴量の対数を求め、該対数の中から選択された１つを第６の特徴量として出力する第６の特徴量算出回路を更に含む、付記１０に記載の眠気推定装置。

（付記１２）前記特徴量算出器は、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］の倍数である統計量算出窓幅（Ｔ_Ｋ）［秒］内の、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］毎に前記第１乃至第６の特徴量算出回路でそれぞれ算出された第１乃至第６の特徴量から選択された１つの統計量を算出する統計量算出回路を更に含む、付記１１に記載の眠気推定装置。

（付記１３）前記統計量算出回路は、前記統計量として、前記統計量算出窓幅（Ｔ_Ｋ）［秒］毎に、前記第１乃至第６の特徴量から選択された１つの平均値、標準偏差、および分散の中から選択された少なくとも１つを算出する、付記１２に記載の眠気推定装置。

（付記１４）対象者の開眼度の時系列信号から前記対象者の眠気を推定する眠気推定方法であって、
フィルタリング回路部が、前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力し、
特徴量算出器が、少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出し、
眠気推定器が、前記特徴量から前記眠気の評定値を推定して、推定結果を出力し、
前記特徴量検出器では、少なくとも、第１の特徴量算出回路が、特徴量算出窓幅（Ｔ_Ｍ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する、
眠気推定方法。

（付記１５）前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
Ｎをフレーム数とし、フィルタリング算出窓幅をＴ_Ｎ［秒］としたとき、Ｎ＝Ｔ_Ｎ×ｆｓの関係があり、
前記フィルタリング回路部は、前記フィルタリング算出窓幅（Ｔ_Ｎ）単位で前記開眼度の時系列信号をフィルタリングすることにより所定の値に置換し、該置換した信号を前記フィルタリング後の開眼度の時系列信号として出力する、
付記１４に記載の眠気推定方法。

（付記１６）前記フィルタリング算出窓幅（Ｔ_Ｎ）が０．１［秒］以上であるとき、
前記フィルタリング回路部では、最大値取得回路が、前記所定の値として、フィルタリング算出窓幅（Ｔ_Ｎ）内の前記開眼度の時系列信号の最大値を取得する、
付記１５に記載の眠気推定方法。

（付記１７）Ｐが２以上の整数であり、前記フィルタリング算出窓幅（Ｔ_Ｎ）が０．２［秒］以上であるとき、
前記フィルタリング回路部では、分位点算出回路が、前記所定の値として、前記フィルタリング算出窓幅（Ｔ_Ｎ）内の前記開眼度の時系列信号の第（Ｐ−１）Ｐ分位点の値、又は該第（Ｐ−１）Ｐ分位点以上の平均値を算出する、
付記１５に記載の眠気推定方法。

（付記１８）前記フィルタリング算出窓幅（Ｔ_Ｎ）が１［秒］以上であるとき、
前記フィルタリング回路部では、平均値算出回路が、前記所定の値として、前記フィルタリング算出窓幅（Ｔ_Ｎ）内の前記開眼度の時系列信号の平均値を算出する、
付記１５に記載の眠気推定方法。

（付記１９）前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
前記フィルタリング回路部では、カットオフ周波数ｆｃ［Ｈｚ］が前記ｆｓより十分小さく、６Ｈｚより小さいローパスフィルタが、前記開眼度の時系列信号を低域通過させて、低域通過された信号を、前記フィルタリング後の開眼度の時系列信号として出力する、
付記１４に記載の眠気推定方法。

（付記２０）前記特徴量算出器では、更に、第２の特徴量算出回路が、前記開眼度の時系列信号のフレーム間差分を算出し、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］内の前記フレーム間差分の最大値を求め、該最大値を第２の特徴量として出力する、付記１４乃至１９のいずれか１項に記載の眠気推定方法。

（付記２１）前記特徴量算出器では、更に、第３の特徴量算出回路が、前記開眼度の時系列信号から閉眼を検知し、前記第１の所定時間窓幅（Ｔ_Ｍ）［秒］内の前記閉眼の割合を求め、該閉眼の割合を第３の特徴量として出力する、付記１４至２０のいずれか１項に記載の眠気推定方法。

（付記２２）前記特徴量算出器では、更に、第４の特徴量算出回路が、前記開眼度の時系列信号から左眼と右眼の開眼度の動き差分を算出し、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］内の前記動き差分の平均値を求め、該動き差分の平均値を第４の特徴量として出力する、付記１４乃至２１のいずれか１項に記載の眠気推定方法。

（付記２３）前記特徴量算出器では、更に、第５の特徴量算出回路が、隣接する２つの特徴量算出窓幅（Ｔ_Ｍ）［秒］で、前記第１乃至第４の特徴量算出回路でそれぞれ算出される、隣接する２つの第１乃至第４の特徴量の差分を求め、該差分の中から選択された１つを第５の特徴量として出力する、付記２２に記載の眠気推定方法。

（付記２４）前記特徴量算出器では、更に、第６の特徴量算出回路が、前記第１乃至第５の特徴量算出回路でそれぞれ算出される、第１乃至第５の特徴量の対数を求め、該対数の中から選択された１つを第６の特徴量として出力する、付記２２に記載の眠気推定方法。

（付記２５）前記特徴量算出器では、更に、統計量算出回路が、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］の倍数である統計量算出窓幅（Ｔ_Ｋ）［秒］内の、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］毎に前記第１乃至第６の特徴量算出回路でそれぞれ算出された第１乃至第６の特徴量から選択された１つの統計量を算出する、付記２４に記載の眠気推定方法。

（付記２６）前記統計量算出回路は、前記統計量として、前記統計量算出窓幅（Ｔ_Ｋ）［秒］毎に、前記第１乃至第６の特徴量から選択された１つの平均値、標準偏差、および分散の中から選択された少なくとも１つを算出する、付記２５に記載の眠気推定方法。

（付記２７）対象者の開眼度の時系列信号から前記対象者の眠気を推定する処理をコンピュータに実行させる眠気推定プログラムを記録した眠気推定プログラム記録媒体であって、前記眠気推定プログラムは、
前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力するフィルタリング手順と、
少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出する特徴量算出手順と、
前記特徴量から前記眠気の評定値を推定して、推定結果を出力する眠気推定手順と、を前記コンピュータに実行させ、
前記特徴量算出手順は、特徴量算出窓幅（Ｔ_Ｍ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する第１の特徴量算出手順を、少なくとも含む、
眠気推定プログラム記録媒体。

（付記２８）前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
Ｎをフレーム数とし、フィルタリング算出窓幅をＴ_Ｎ［秒］としたとき、Ｎ＝Ｔ_Ｎ×ｆｓの関係があり、
前記フィルタリング手順は、前記コンピュータに、前記フィルタリング算出窓幅（Ｔ_Ｎ）単位で前記開眼度の時系列信号をフィルタリングすることにより所定の値に置換し、該置換した信号を前記フィルタリング後の開眼度の時系列信号として出力させる、
付記２７に記載の眠気推定プログラム記録媒体。

（付記２９）前記フィルタリング算出窓幅（Ｔ_Ｎ）が０．１［秒］以上であるとき、
前記フィルタリング手順は、前記所定の値として、フィルタリング算出窓幅（Ｔ_Ｎ）内の前記開眼度の時系列信号の最大値を取得する最大値取得手順から成る、
付記２８に記載の眠気推定プログラム記録媒体。

（付記３０）Ｐが２以上の整数であり、前記フィルタリング算出窓幅（Ｔ_Ｎ）が０．２［秒］以上であるとき、
前記フィルタリング手順は、前記所定の値として、前記フィルタリング算出窓幅（Ｔ_Ｎ）内の前記開眼度の時系列信号の第（Ｐ−１）Ｐ分位点の値、又は該第（Ｐ−１）Ｐ分位点以上の平均値を算出する分位点算出手順から成る、
付記２８に記載の眠気推定プログラム記録媒体。

（付記３１）前記フィルタリング算出窓幅（Ｔ_Ｎ）が１［秒］以上であるとき、
前記フィルタリング手順は、前記所定の値として、前記フィルタリング算出窓幅（Ｔ_Ｎ）内の前記開眼度の時系列信号の平均値を算出する平均値算出手順から成る、
付記２８に記載の眠気推定プログラム記録媒体。

（付記３２）前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
前記フィルタリング手順は、カットオフ周波数ｆｃ［Ｈｚ］が前記ｆｓより十分小さく、６Ｈｚより小さいローパスフィルタを用いて、前記開眼度の時系列信号を低域通過させて、低域通過された信号を、前記フィルタリング後の開眼度の時系列信号として出力する手順から成る、
付記２７に記載の眠気推定プログラム記録媒体。

（付記３３）前記特徴量算出手順は、前記開眼度の時系列信号のサンプル間差分を算出し、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］内の前記サンプル間差分の最大値を求め、該最大値を第２の特徴量として出力する第２の特徴量算出手順を、更に含む、付記２７乃至３２のいずれか１項に記載の眠気推定プログラム記録媒体。

（付記３４）前記特徴量算出手順は、前記開眼度の時系列信号から閉眼を検知し、前記第１の所定時間窓幅（Ｔ_Ｍ）［秒］内の前記閉眼の割合を求め、該閉眼の割合を第３の特徴量として出力する第３の特徴量算出手順を、更に含む、付記２７乃至３３のいずれか１項に記載の眠気推定プログラム記録媒体。

（付記３５）前記特徴量算出手順は、前記開眼度の時系列信号から左眼と右眼の開眼度の動き差分を算出し、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］内の前記動き差分の平均値を求め、該動き差分の平均値を第４の特徴量として出力する第４の特徴量算出手順を、更に含む、付記２７乃至３４のいずれか１項に記載の眠気推定プログラム記録媒体。

（付記３６）前記特徴量算出手順は、隣接する２つの特徴量算出窓幅（Ｔ_Ｍ）［秒］で、前記第１乃至第４の特徴量算出手順でそれぞれ算出される、隣接する２つの第１乃至第４の特徴量の差分を求め、該差分の中から選択された１つを第５の特徴量として出力する第５の特徴量算出手順を更に含む、付記３５に記載の眠気推定プログラム記録媒体。

（付記３７）前記特徴量算出手順は、前記第１乃至第５の特徴量算出手順でそれぞれ算出される、第１乃至第５の特徴量の対数を求め、該対数の中から選択された１つを第６の特徴量として出力する第６の特徴量算出手順を更に含む、付記３６に記載の眠気推定プログラム記録媒体。

（付記３８）前記特徴量算出手順は、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］の倍数である統計量算出窓幅（Ｔ_Ｋ）［秒］内の、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］毎に前記第１乃至第６の特徴量算出手順でそれぞれ算出された第１乃至第６の特徴量から選択された１つの統計量を算出する統計量算出手順を更に含む、付記３７に記載の眠気推定プログラム記録媒体。

（付記３９）前記統計量算出手順は、前記統計量として、前記統計量算出窓幅（Ｔ_Ｋ）［秒］毎に、前記第１乃至第６の特徴量から選択された１つの平均値、標準偏差、および分散の中から選択された少なくとも１つを算出する、付記３８に記載の眠気推定プログラム記録媒体。

本発明に係る眠気推定装置は、オフィスで働く職員や、自動車等を操縦する運転者の眠気を推定する用途に適用可能である。

１０ カメラ
２０ 対象者
２０Ｌ 左眼
２０Ｒ 右眼
１００〜１００Ｈ 眠気推定装置
１２０ 開眼度検出器
１２２ 左眼開眼度検出回路
１２４ 右眼開眼度検出回路
１２６ 平均値算出回路
１４０〜１４０Ｄ フィルタリング回路部
１４０−１ 主フィルタリング回路
１４０−２ 第１の副フィルタリング回路
１４０−３ 第２の副フィルタリング回路
１４２ 最大値取得回路
１４４ 分位点算出回路
１４６ 平均値算出回路
１４８ ローパスフィルタ
１６０〜１６０Ｈ 特徴量算出器
１６１ ばらつき度算出回路（第１の特徴量算出回路）
１６２ 差分最大値算出回路（第２の特徴量算出回路）
１６３ 閉眼割合算出回路（第３の特徴量算出回路）
１６４ 動き差分平均値算出回路（第４の特徴量算出回路）
１６５ 隣接差分算出回路（第５の特徴量算出回路）
１６６ 対数算出回路（第６の特徴量算出回路）
１６７ 平均値算出回路（第７の特徴量算出回路）
１６８ 標準偏差算出回路（第８の特徴量算出回路）
１６９ 分散算出回路（第９の特徴量算出回路）
１８０ 眠気推定器

本発明は、眠気推定装置、眠気推定方法、および眠気推定プログラムに関する。

本発明の目的は、上述した課題を解決できる眠気推定装置、眠気推定方法、および眠気推定プログラムを提供することにある。

本発明の一形態は、対象者の開眼度の時系列信号から前記対象者の眠気を推定する眠気推定方法であって、フィルタリング回路部が、前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力し、特徴量算出器が、少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出し、眠気推定器が、前記特徴量から前記眠気の評定値を推定して、推定結果を出力し、前記特徴量算出器では、少なくとも、第１の特徴量算出回路が、特徴量算出窓幅（Ｔ_Ｍ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する、眠気推定方法である。

本発明の一形態は、対象者の開眼度の時系列信号から前記対象者の眠気を推定する処理をコンピュータに実行させる眠気推定プログラムであって、前記眠気推定プログラムは、前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力するフィルタリング手順と、少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出する特徴量算出手順と、前記特徴量から前記眠気の評定値を推定して、推定結果を出力する眠気推定手順と、を前記コンピュータに実行させ、前記特徴量算出手順は、特徴量算出窓幅（Ｔ_Ｍ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する第１の特徴量算出手順を、少なくとも含む、眠気推定プログラムである。

本発明の第１の実施形態に係る眠気推定装置の構成を示すブロック図である。 図１の眠気推定装置に接続されたカメラで撮影される対象者の一例を示す概略正面図である。 図１の眠気推定装置で使用される開眼度検出器の一例を示すブロック図である。 図２に示した対象者の眼が冴えている状態（眠気評定値＝１）のときの、対象者の開眼度の時系列信号Ｘ（ｔ）の一例を示す波形図である。 図２に示した対象者が眠い状態（眠気評定値≧３）のときの、対象者の開眼度の時系列信号Ｘ（ｔ）の一例を示す波形図である。 図１の眠気推定装置で使用されるフィルタリング回路部の一例を示すブロック図である。 図１の眠気推定装置で使用されるフィルタリング回路部の第１の例を示すブロック図である。 図４に示した対象者の開眼度の時系列信号Ｘ（ｔ）を、図７に示したフィルタリング回路部を使用してフィルタリング処理した後の、対象者の開眼度の時系列信号Ｘ_Ｆ（ｔ）を示す波形図である。 図５に示した対象者の開眼度の時系列信号Ｘ（ｔ）を、図７に示したフィルタリング回路部を使用してフィルタリング処理した後の、対象者の開眼度の時系列信号Ｘ_Ｆ（ｔ）を示す波形図である。 図１の眠気推定装置で使用されるフィルタリング回路部の第２の例を示すブロック図である。 図１の眠気推定装置で使用されるフィルタリング回路部の第３の例を示すブロック図である。 図１の眠気推定装置で使用されるフィルタリング回路部の第４の例を示すブロック図である。 図１に示した第１の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図１の眠気推定装置で使用される眠気推定器の動作の一例を示すフローチャートである。 図１に示した第１の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第２の実施形態に係る眠気推定装置の構成を示すブロック図である。 図１６に示した第２の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図１６に示した第２の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第３の実施形態に係る眠気推定装置の構成を示すブロック図である。 図１９に示した第３の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図１９に示した第３の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第４の実施形態に係る眠気推定装置の構成を示すブロック図である。 図２２に示した第４の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図２２に示した第４の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第５の実施形態に係る眠気推定装置の構成を示すブロック図である。 図２５に示した第５の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図２５に示した第５の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第６の実施形態に係る眠気推定装置の構成を示すブロック図である。 図２８に示した第６の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図２８に示した第６の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第７の実施形態に係る眠気推定装置の構成を示すブロック図である。 図３１に示した第７の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図３１に示した第７の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第８の実施形態に係る眠気推定装置の構成を示すブロック図である。 図３４に示した第８の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図３４に示した第８の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。 本発明の第９実施形態に係る眠気推定装置の構成を示すブロック図である。 図３７に示した第９の実施形態に係る眠気推定装置で使用される特徴量算出器の構成を示すブロック図である。 図３７に示した第９の実施形態に係る眠気推定装置の動作を説明するためのフローチャートである。

図８は、図４に示した対象者の開眼度の時系列信号Ｘ（ｔ）を、図７に示したフィルタリング回路部１４０Ａを使用してフィルタリング処理した後の、対象者の開眼度の時系列信号Ｘ_Ｆ（ｔ）を示す波形図である。また、図９は、図５に示した対象者の開眼度の時系列信号Ｘ（ｔ）を、図７に示したフィルタリング回路部１４０Ａを使用してフィルタリング処理した後の、対象者の開眼度の時系列信号Ｘ_Ｆ（ｔ）を示す波形図である。

本第３の例のフィルタリング回路部１４０Ｃは、フィルタリング算出窓幅Ｔ_Ｎ［秒］が０．１［秒］以上より十分に大きな値、例えば、１［秒］以上である場合に適用可能である（Ｔ_Ｎ≧１）。その理由は、瞬きの時間が０．１〜０．１５［秒］であり、瞬きの影響を平均処理で取り除くためである。すなわち、第３の例では、フレームレートｆｓが３０［フレーム／秒］の場合、フレーム数Ｎは３０以上であることが好ましい。本第３の例では、フレーム数Ｎが３０に等しく、フィルタリング算出窓幅Ｔ_Ｎ［秒］が１［秒］である場合について説明する。

最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）から対象者２０の眠気の評定値を推定し、推定結果ＥＲを出力する（ステップＳ１０４）。

図１７は、特徴量算出器１６０Ａの構成を示すブロック図である。図示の特徴量算出器１６０Ａは、差分最大値算出回路１６２を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。したがって、特徴量算出器１６０Ａは、ばらつき度算出回路１６１と、差分最大値算出回路１６２とを備えている。

差分最大値算出回路１６２は、開眼度の時系列信号Ｘ（ｔ）のフレーム間差分の絶対値（以下、「フレーム間差分」と呼ぶ）を算出し、特徴量算出窓幅（Ｔ_Ｍ）［秒］内のフレーム間差分の最大値を求め、その最大値を第２の特徴量Ｆ２（Ｔ）として出力する。したがって、差分最大値算出回路１６２は、開眼度の時系列信号Ｘ（ｔ）から第２の特徴量Ｆ２（Ｔ）を算出して、出力する第２の特徴量算出回路として働く。このフレーム間差分の絶対値の最大値は、眠い状態では値が小さくなり、目が冴えている状態では大きくなるため、眠気の推定に有用である。

最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）と第２の特徴量Ｆ２（Ｔ）とから対象者２０の眠気の評定値を推定し、推定結果ＥＲを出力する（ステップＳ２０４）。

図２０は、特徴量算出器１６０Ｂの構成を示すブロック図である。図示の特徴量算出器１６０Ｂは、閉眼割合算出回路１６３を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。したがって、特徴量算出器１６０Ｂは、ばらつき度算出回路１６１と、閉眼割合算出回路１６３とを備えている。

最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）と第３の特徴量Ｆ３（Ｔ）とから対象者２０の眠気の評価値を推定し、推定結果ＥＲを出力する（ステップＳ３０４）。

図２３は、特徴量算出器１６０Ｃの構成を示すブロック図である。図示の特徴量算出器１６０Ｃは、動き差分平均値算出回路１６４を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。したがって、特徴量算出器１６０Ｃは、ばらつき度算出回路１６１と、動き差分平均値算出回路１６４とを備えている。

最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）と第４の特徴量Ｆ４（Ｔ）とから対象者２０の眠気の評定値を推定し、推定結果ＥＲを出力する（ステップＳ４０４）。

図２６は、特徴量算出器１６０Ｄの構成を示すブロック図である。図示の特徴量算出器１６０Ｄは、隣接差分算出回路１６５を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。したがって、特徴量算出器１６０Ｄは、ばらつき度算出回路１６１と、隣接差分算出回路１６５とを備えている。

隣接差分算出回路１６５は、ある特徴量算出窓幅（Ｔ_Ｍ）［秒］で算出された第１の特徴量Ｆ１（Ｔ）とそれに隣接する特徴量算出窓幅（Ｔ_Ｍ）［秒］で算出された第１の特徴量Ｆ１（Ｔ−１）との差分の絶対値（以下、「隣接窓間の差分」と呼ぶ）を算出して、その隣接窓間の差分を第５の特徴量Ｆ１１（Ｔ）として出力する。したがって、隣接差分算出回路１６５は、第１の特徴量Ｆ１（Ｔ）における隣接窓間の差分を第５の特徴量Ｆ１１（Ｔ）として算出して、出力する第５の特徴量算出回路として働く。この隣接窓間の差分は、眠い状態では値が大きくなり、目が冴えている状態では小さくなるため、眠気の推定に有用である。

尚、本第５の実施形態では、第５の特徴量として、第１の特徴量Ｆ１（Ｔ）における隣接窓間の差分Ｆ１１（Ｔ）を用いているが、本発明はこれに限定されない。例えば、第５の特徴量としては、上記第２の特徴量Ｆ１（Ｔ）における隣接窓間の差分Ｆ２１（Ｔ）や、上記第３の特徴量Ｆ３（Ｔ）における隣接窓間の差分Ｆ３１（Ｔ）や、上記４の特徴量Ｆ４（Ｔ）における隣接窓間の差分Ｆ４１（Ｔ）を用いてもよい。

最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）と第５の特徴量Ｆ１１（Ｔ）とから対象者２０の眠気の評定値を推定し、推定結果ＥＲを出力する（ステップＳ５０４）。

図２９は、特徴量算出器１６０Ｅの構成を示すブロック図である。図示の特徴量算出器１６０Ｅは、対数算出回路１６６を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。したがって、特徴量算出器１６０Ｅは、ばらつき度算出回路１６１と、対数算出回路１６６とを備えている。

対数算出回路１６６は、第１の特徴量Ｆ１（Ｔ）の対数を算出して、その対数を第６の特徴量Ｆ１２（Ｔ）として出力する。したがって、対数算出回路１６６は、第１の特徴量Ｆ１（Ｔ）の対数を第６の特徴量Ｆ１２（Ｔ）として算出して、出力する第６の特徴量算出回路として働く。推定対象の眠気評定値を算出するのは、人である。一般に人の感覚は対数に従っていると言われており、眠気評定値も対数に従っている。そのため、特徴量の対数をとることで、特徴量と眠気評定値との間の関係性を線形にできる。

第１の特徴量の対数、すなわち、第６の特徴量Ｆ１２（Ｔ）は、次の数１３で表される。
［数１３］
Ｆ１２（Ｔ）＝Ｌｏｇ｛Ｆ１（Ｔ）＋α}
ここで、αは小さな値、例えば、１０^−６である。尚、第１の特徴量Ｆ１（Ｔ）に小さな値αを加えているのでは、対数の中身がゼロにならないようにするためである。

尚、本第６の実施形態では、第６の特徴量として、第１の特徴量Ｆ１（Ｔ）の対数を用いているが、本発明はこれに限定されない。例えば、第６の特徴量としては、上記第２の特徴量Ｆ２（Ｔ）の対数Ｆ２２（Ｔ）や、上記第３の特徴量Ｆ３（Ｔ）の対数Ｆ３２（Ｔ）や、上記４の特徴量Ｆ４（Ｔ）の対数Ｆ４２（Ｔ）や、上記５の特徴量Ｆ１１（Ｔ）の対数Ｆ１１２（Ｔ）を用いてもよい。

最後に、眠気推定器１８０は、第１の特徴量Ｆ１（Ｔ）と第６の特徴量Ｆ１２（Ｔ）とから対象者２０の眠気の評定値を推定し、推定結果ＥＲを出力する（ステップＳ６０４）。

尚、本第６の実施形態では、眠気推定器１８０に供給する特徴量として、第１の特徴量Ｆ１（Ｔ）と第６の特徴量Ｆ１２（Ｔ）との両方を使用しているが、本発明はこれに限定されない。すなわち、眠気推定器１８０に供給する特徴量として第６の特徴量Ｆ１２（Ｔ）のみを用いてもよい。この場合、眠気推定器１８０は、第６の特徴量Ｆ１２（Ｔ）から対象者２０の眠気の評定値を推定し、推定結果ＥＲを出力することになる。

図示の例では、上述した特徴量として第１の特徴量Ｆ１（Ｔ）を用い、統計量として第１の特徴量Ｆ１（Ｔ）の平均値を用いている。したがって、特徴量算出器１６０Ｆは、平均値算出回路１６７を更に備えている点を除いて、図１３に示す特徴量算出器１６０と同様の構成を有し、動作をする。平均値算出回路１６７は、統計量算出回路として動作する。

最後に、眠気推定器１８０は、第７の特徴量Ｆ１３（Ｓ）から対象者２０の眠気の評定値を推定し、推定結果ＥＲを出力する（ステップＳ７０４）。

尚、本第７の実施形態では、眠気推定器１８０に供給する特徴量として、第７の特徴量Ｆ１３（Ｓ）を使用している。この場合、眠気推定器１８０は、第７の特徴量Ｆ１３（Ｓ）から対象者２０の眠気の評定値を推定し、推定結果ＥＲを出力することになる。

図３５は、特徴量算出器１６０Ｇの構成を示すブロック図である。図示の特徴量算出器１６０Ｇは、上記統計量として第１の特徴量Ｆ１（Ｔ）の標準偏差を用いている。すなわち、特徴量算出器１６０Ｇは、平均値算出回路１６７の代わりに標準偏差算出回路１６８を備えている点を除いて、図３２に示す特徴量算出器１６０Ｆと同様の構成を有し、動作をする。標準偏差算出回路１６８も統計量算出回路として動作する。

最後に、眠気推定器１８０は、第８の特徴量Ｆ１４（Ｓ）から対象者２０の眠気の評定値を推定し、推定結果ＥＲを出力する（ステップＳ８０４）。

尚、本第８の実施形態では、眠気推定器１８０に供給する特徴量として、第８の特徴量Ｆ１４（Ｓ）を使用している。この場合、眠気推定器１８０は、第８の特徴量Ｆ１４（Ｓ）から対象者２０の眠気の評定値を推定し、推定結果ＥＲを出力することになる。

図３８は、特徴量算出器１６０Ｈの構成を示すブロック図である。図示の特徴量算出器１６０Ｈは、上記統計量として第１の特徴量Ｆ１（Ｔ）の分散を用いている。すなわち、特徴量算出器１６０Ｈは、平均値算出回路１６７の代わりに分散算出回路１６９を備えている点を除いて、図３２に示す特徴量算出器１６０Ｆと同様の構成を有し、動作をする。分散算出回路１６９も、統計量算出回路として動作する。

最後に、眠気推定器１８０は、第９の特徴量Ｆ１５（Ｓ）から対象者２０の眠気の評定値を推定し、推定結果ＥＲを出力する（ステップＳ９０４）。

尚、本第９の実施形態では、眠気推定器１８０に供給する特徴量として、第９の特徴量Ｆ１５（Ｓ）を使用している。この場合、眠気推定器１８０は、第９の特徴量Ｆ１５（Ｓ）から対象者２０の眠気の評定値を推定し、推定結果ＥＲを出力することになる。

（付記６）前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
前記フィルタリング回路部は、カットオフ周波数ｆｃ［Ｈｚ］が前記ｆｓより十分小さく、６Ｈｚ以下のローパスフィルタから成る、
付記１に記載の眠気推定装置。

（付記８）前記特徴量算出器は、前記開眼度の時系列信号から閉眼を検知し、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］内の前記閉眼の割合を求め、該閉眼の割合を第３の特徴量として出力する第３の特徴量算出回路を、更に含む、付記１乃至７のいずれか１項に記載の眠気推定装置。

（付記１４）対象者の開眼度の時系列信号から前記対象者の眠気を推定する眠気推定方法であって、
フィルタリング回路部が、前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力し、
特徴量算出器が、少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出し、
眠気推定器が、前記特徴量から前記眠気の評定値を推定して、推定結果を出力し、
前記特徴量算出器では、少なくとも、第１の特徴量算出回路が、特徴量算出窓幅（Ｔ_Ｍ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する、
眠気推定方法。

（付記１９）前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
前記フィルタリング回路部では、カットオフ周波数ｆｃ［Ｈｚ］が前記ｆｓより十分小さく、６Ｈｚ以下のローパスフィルタが、前記開眼度の時系列信号を低域通過させて、低域通過された信号を、前記フィルタリング後の開眼度の時系列信号として出力する、
付記１４に記載の眠気推定方法。

（付記２１）前記特徴量算出器では、更に、第３の特徴量算出回路が、前記開眼度の時系列信号から閉眼を検知し、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］内の前記閉眼の割合を求め、該閉眼の割合を第３の特徴量として出力する、付記１４至２０のいずれか１項に記載の眠気推定方法。

（付記２４）前記特徴量算出器では、更に、第６の特徴量算出回路が、前記第１乃至第５の特徴量算出回路でそれぞれ算出される、第１乃至第５の特徴量の対数を求め、該対数の中から選択された１つを第６の特徴量として出力する、付記２３に記載の眠気推定方法。

（付記２７）対象者の開眼度の時系列信号から前記対象者の眠気を推定する処理をコンピュータに実行させる眠気推定プログラムであって、前記眠気推定プログラムは、
前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力するフィルタリング手順と、
少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出する特徴量算出手順と、
前記特徴量から前記眠気の評定値を推定して、推定結果を出力する眠気推定手順と、を前記コンピュータに実行させ、
前記特徴量算出手順は、特徴量算出窓幅（Ｔ_Ｍ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する第１の特徴量算出手順を、少なくとも含む、
眠気推定プログラム。

（付記２８）前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
Ｎをフレーム数とし、フィルタリング算出窓幅をＴ_Ｎ［秒］としたとき、Ｎ＝Ｔ_Ｎ×ｆｓの関係があり、
前記フィルタリング手順は、前記コンピュータに、前記フィルタリング算出窓幅（Ｔ_Ｎ）単位で前記開眼度の時系列信号をフィルタリングすることにより所定の値に置換し、該置換した信号を前記フィルタリング後の開眼度の時系列信号として出力させる、
付記２７に記載の眠気推定プログラム。

（付記２９）前記フィルタリング算出窓幅（Ｔ_Ｎ）が０．１［秒］以上であるとき、
前記フィルタリング手順は、前記所定の値として、フィルタリング算出窓幅（Ｔ_Ｎ）内の前記開眼度の時系列信号の最大値を取得する最大値取得手順から成る、
付記２８に記載の眠気推定プログラム。

（付記３０）Ｐが２以上の整数であり、前記フィルタリング算出窓幅（Ｔ_Ｎ）が０．２［秒］以上であるとき、
前記フィルタリング手順は、前記所定の値として、前記フィルタリング算出窓幅（Ｔ_Ｎ）内の前記開眼度の時系列信号の第（Ｐ−１）Ｐ分位点の値、又は該第（Ｐ−１）Ｐ分位点以上の平均値を算出する分位点算出手順から成る、
付記２８に記載の眠気推定プログラム。

（付記３１）前記フィルタリング算出窓幅（Ｔ_Ｎ）が１［秒］以上であるとき、
前記フィルタリング手順は、前記所定の値として、前記フィルタリング算出窓幅（Ｔ_Ｎ）内の前記開眼度の時系列信号の平均値を算出する平均値算出手順から成る、
付記２８に記載の眠気推定プログラム。

（付記３２）前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
前記フィルタリング手順は、カットオフ周波数ｆｃ［Ｈｚ］が前記ｆｓより十分小さく、６Ｈｚ以下のローパスフィルタを用いて、前記開眼度の時系列信号を低域通過させて、低域通過された信号を、前記フィルタリング後の開眼度の時系列信号として出力する手順から成る、
付記２７に記載の眠気推定プログラム。

（付記３３）前記特徴量算出手順は、前記開眼度の時系列信号のサンプル間差分を算出し、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］内の前記サンプル間差分の最大値を求め、該最大値を第２の特徴量として出力する第２の特徴量算出手順を、更に含む、付記２７乃至３２のいずれか１項に記載の眠気推定プログラム。

（付記３４）前記特徴量算出手順は、前記開眼度の時系列信号から閉眼を検知し、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］内の前記閉眼の割合を求め、該閉眼の割合を第３の特徴量として出力する第３の特徴量算出手順を、更に含む、付記２７乃至３３のいずれか１項に記載の眠気推定プログラム。

（付記３５）前記特徴量算出手順は、前記開眼度の時系列信号から左眼と右眼の開眼度の動き差分を算出し、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］内の前記動き差分の平均値を求め、該動き差分の平均値を第４の特徴量として出力する第４の特徴量算出手順を、更に含む、付記２７乃至３４のいずれか１項に記載の眠気推定プログラム。

（付記３６）前記特徴量算出手順は、隣接する２つの特徴量算出窓幅（Ｔ_Ｍ）［秒］で、前記第１乃至第４の特徴量算出手順でそれぞれ算出される、隣接する２つの第１乃至第４の特徴量の差分を求め、該差分の中から選択された１つを第５の特徴量として出力する第５の特徴量算出手順を更に含む、付記３５に記載の眠気推定プログラム。

（付記３７）前記特徴量算出手順は、前記第１乃至第５の特徴量算出手順でそれぞれ算出される、第１乃至第５の特徴量の対数を求め、該対数の中から選択された１つを第６の特徴量として出力する第６の特徴量算出手順を更に含む、付記３６に記載の眠気推定プログラム。

（付記３８）前記特徴量算出手順は、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］の倍数である統計量算出窓幅（Ｔ_Ｋ）［秒］内の、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］毎に前記第１乃至第６の特徴量算出手順でそれぞれ算出された第１乃至第６の特徴量から選択された１つの統計量を算出する統計量算出手順を更に含む、付記３７に記載の眠気推定プログラム。

（付記３９）前記統計量算出手順は、前記統計量として、前記統計量算出窓幅（Ｔ_Ｋ）［秒］毎に、前記第１乃至第６の特徴量から選択された１つの平均値、標準偏差、および分散の中から選択された少なくとも１つを算出する、付記３８に記載の眠気推定プログラム。

Claims (15)

1. 対象者の開眼度の時系列信号から前記対象者の眠気を推定する眠気推定装置であって、
   前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力するフィルタリング回路部と、
   少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出する特徴量算出器と、
   前記特徴量から前記眠気の評定値を推定して、推定結果を出力する眠気推定器と、
   を備え、
   前記特徴量算出器は、特徴量算出窓幅（Ｔ_Ｍ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する第１の特徴量算出回路を、少なくとも含む、
   眠気推定装置。
2. 前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
   Ｎをフレーム数とし、フィルタリング算出窓幅をＴ_Ｎ［秒］としたとき、Ｎ＝Ｔ_Ｎ×ｆｓの関係があり、
   前記フィルタリング回路部は、前記フィルタリング算出窓幅（Ｔ_Ｎ）単位で前記開眼度の時系列信号をフィルタリングすることにより所定の値に置換し、該置換した信号を前記フィルタリング後の開眼度の時系列信号として出力する、
   請求項１に記載の眠気推定装置。
3. 前記フィルタリング算出窓幅（Ｔ_Ｎ）が０．１［秒］以上であるとき、
   前記フィルタリング回路部は、前記所定の値として、フィルタリング算出窓幅（Ｔ_Ｎ）内の前記開眼度の時系列信号の最大値を取得する最大値取得回路から成る、
   請求項２に記載の眠気推定装置。
4. Ｐが２以上の整数であり、前記フィルタリング算出窓幅（Ｔ_Ｎ）が０．２［秒］以上であるとき、
   前記フィルタリング回路部は、前記所定の値として、前記フィルタリング算出窓幅（Ｔ_Ｎ）内の前記開眼度の時系列信号の第（Ｐ−１）Ｐ分位点の値、又は該第（Ｐ−１）Ｐ分位点以上の平均値を算出する分位点算出回路から成る、
   請求項２に記載の眠気推定装置。
5. 前記フィルタリング算出窓幅（Ｔ_Ｎ）が１［秒］以上であるとき、
   前記フィルタリング回路部は、前記所定の値として、前記フィルタリング算出窓幅（Ｔ_Ｎ）内の前記開眼度の時系列信号の平均値を算出する平均値算出回路から成る、
   請求項２に記載の眠気推定装置。
6. 前記開眼度の時系列信号は、ｆｓ［フレーム／秒］の時系列信号であり、
   前記フィルタリング回路部は、カットオフ周波数ｆｃ［Ｈｚ］が前記ｆｓより十分小さく、６Ｈｚより小さいローパスフィルタから成る、
   請求項１に記載の眠気推定装置。
7. 前記特徴量算出器は、前記開眼度の時系列信号のフレーム間差分を算出し、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］内の前記フレーム間差分の最大値を求め、該最大値を第２の特徴量として出力する第２の特徴量算出回路を、更に含む、請求項１乃至６のいずれか１項に記載の眠気推定装置。
8. 前記特徴量算出器は、前記開眼度の時系列信号から閉眼を検知し、前記第１の所定時間窓幅（Ｔ_Ｍ）［秒］内の前記閉眼の割合を求め、該閉眼の割合を第３の特徴量として出力する第３の特徴量算出回路を、更に含む、請求項１乃至７のいずれか１項に記載の眠気推定装置。
9. 前記特徴量算出器は、前記開眼度の時系列信号から左眼と右眼の開眼度の動き差分を算出し、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］内の前記動き差分の平均値を求め、該動き差分の平均値を第４の特徴量として出力する第４の特徴量算出回路を、更に含む、請求項１乃至８のいずれか１項に記載の眠気推定装置。
10. 前記特徴量算出器は、隣接する２つの特徴量算出窓幅（Ｔ_Ｍ）［秒］で、前記第１乃至第４の特徴量算出回路でそれぞれ算出される、隣接する２つの第１乃至第４の特徴量の差分を求め、該差分の中から選択された１つを第５の特徴量として出力する第５の特徴量算出回路を更に含む、請求項９に記載の眠気推定装置。
11. 前記特徴量算出器は、前記第１乃至第５の特徴量算出回路でそれぞれ算出される、第１乃至第５の特徴量の対数を求め、該対数の中から選択された１つを第６の特徴量として出力する第６の特徴量算出回路を更に含む、請求項１０に記載の眠気推定装置。
12. 前記特徴量算出器は、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］の倍数である統計量算出窓幅（Ｔ_Ｋ）［秒］内の、前記特徴量算出窓幅（Ｔ_Ｍ）［秒］毎に前記第１乃至第６の特徴量算出回路でそれぞれ算出された第１乃至第６の特徴量から選択された１つの統計量を算出する統計量算出回路を更に含む、請求項１１に記載の眠気推定装置。
13. 前記統計量算出回路は、前記統計量として、前記統計量算出窓幅（Ｔ_Ｋ）［秒］毎に、前記第１乃至第６の特徴量から選択された１つの平均値、標準偏差、および分散の中から選択された少なくとも１つを算出する、請求項１２に記載の眠気推定装置。
14. 対象者の開眼度の時系列信号から前記対象者の眠気を推定する眠気推定方法であって、
    フィルタリング回路部が、前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力し、
    特徴量算出器が、少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出し、
    眠気推定器が、前記特徴量から前記眠気の評定値を推定して、推定結果を出力し、
    前記特徴量検出器では、少なくとも、第１の特徴量算出回路が、特徴量算出窓幅（Ｔ_Ｍ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する、
    眠気推定方法。
15. 対象者の開眼度の時系列信号から前記対象者の眠気を推定する処理をコンピュータに実行させる眠気推定プログラムを記録した眠気推定プログラム記録媒体であって、前記眠気推定プログラムは、
    前記開眼度の時系列信号から前記対象者の瞬きによる信号変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列信号を出力するフィルタリング手順と、
    少なくとも前記フィルタリング後の開眼度の時系列信号から特徴量を算出する特徴量算出手順と、
    前記特徴量から前記眠気の評定値を推定して、推定結果を出力する眠気推定手順と、を前記コンピュータに実行させ、
    前記特徴量算出手順は、特徴量算出窓幅（Ｔ_Ｍ）［秒］内での、前記フィルタリング後の開眼度の時系列信号のばらつき度を算出して、該ばらつき度を第１の特徴量として出力する第１の特徴量算出手順を、少なくとも含む、
    眠気推定プログラム記録媒体。
    
    

Images