JP2007312824A - まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置 - Google Patents
まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置 Download PDFInfo
- Publication number
- JP2007312824A JP2007312824A JP2006142582A JP2006142582A JP2007312824A JP 2007312824 A JP2007312824 A JP 2007312824A JP 2006142582 A JP2006142582 A JP 2006142582A JP 2006142582 A JP2006142582 A JP 2006142582A JP 2007312824 A JP2007312824 A JP 2007312824A
- Authority
- JP
- Japan
- Prior art keywords
- blink
- data
- waveform
- electrooculogram
- eog
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004397 blinking Effects 0.000 title claims abstract description 161
- 230000037007 arousal Effects 0.000 title claims abstract description 42
- 238000011156 evaluation Methods 0.000 title abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 183
- 206010062519 Poor quality sleep Diseases 0.000 claims description 50
- 238000013075 data extraction Methods 0.000 claims description 49
- 238000000605 extraction Methods 0.000 claims description 48
- 238000013179 statistical model Methods 0.000 claims description 43
- 238000010606 normalization Methods 0.000 claims description 39
- 230000008859 change Effects 0.000 claims description 31
- 230000002123 temporal effect Effects 0.000 claims description 31
- 238000005259 measurement Methods 0.000 claims description 22
- 238000005457 optimization Methods 0.000 claims description 7
- 230000000630 rising effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 103
- 238000003860 storage Methods 0.000 description 57
- 238000013500 data storage Methods 0.000 description 43
- 238000012545 processing Methods 0.000 description 37
- 206010041349 Somnolence Diseases 0.000 description 29
- 208000032140 Sleepiness Diseases 0.000 description 26
- 230000037321 sleepiness Effects 0.000 description 26
- 210000001508 eye Anatomy 0.000 description 24
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 14
- 230000007704 transition Effects 0.000 description 11
- 239000000284 extract Substances 0.000 description 10
- 238000012706 support-vector machine Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 230000004424 eye movement Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 210000000744 eyelid Anatomy 0.000 description 5
- 230000035479 physiological effects, processes and functions Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000004399 eye closure Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】まばたき波形データにおける、当該波形のピーク高(距離)、ピーク高までの立ち上がり時間及びピーク高からの立ち下がり時間の3つのパラメータを正規化し、正規化したこれらパラメータを所定のクラスタリング手法を用いて種別し、当該種別結果に基づきまばたき映像データの特徴量データ及び前記3つのパラメータにまばたき種類の識別情報を付与して学習データを生成する。
【選択図】 図1
Description
また、従来、把握されたまばたき波形の種類(モデル)は、正確に把握されていたかの検証が十分ではなく、更なる正確なモデルの把握が求められていた。
前記まばたきの眼電図(EOG)波形のデータである眼電図(EOG)波形データから抽出された、単位の異なる複数種類のパラメータを正規化する正規化手段と、
前記正規化手段で正規化された複数種類のまばたきの前記眼電図(EOG)波形データに対応するパラメータを、所定のクラスタリング手法を用いて種別する種別手段と、
前記種別手段の種別結果に基づき、前記種別された各パラメータに対応する前記まばたきデータに対して、前記各パラメータの属する種類の識別情報をそれぞれ付与する識別情報付与手段と、を備えることを特徴としている。
更に、識別情報付与手段によって、前記種別手段の種別結果に基づき、前記種別された各パラメータに対応する前記まばたきデータに対して、前記各パラメータの属する種類の識別情報をそれぞれ付与することが可能である。
ここで、上記「まばたきデータ」は、まばたきの眼電図(EOG)波形データ、当該眼電図(EOG)波形データから抽出される特徴量データ、前記まばたきの眼電図(EOG)波形データを測定時の対象者のまばたきの動画像データ(まばたき映像データ)、当該まばたき映像データから抽出される特徴量データなどである。
また、上記「種別する」とは、上記正規化されたパラメータを、クラスタリング手段によって複数のクラスのいずれかにクラスタリングすることであり、このクラスタリング結果そのものを種別結果としても良いし、クラスタリング結果に何らかの加工を施した結果を種別結果としても良い。
また、上記「識別情報」は、クラスタリング手段でクラスタリング(種別)された各パラメータに対応するまばたきデータが、どのクラス(種類)に属するかを識別可能な情報である。
前記単位の異なる複数種類のパラメータは、前記まばたきの眼電図(EOG)波形データから抽出される、前記眼電図(EOG)波形のピーク高の距離データ、まばたきの開始から前記ピーク高に至るまでの時間データ及び前記ピーク高からまばたきの終了に至るまでの時間データを含むことを特徴としている。
このような構成であれば、様々な形状のまばたきの眼電図(EOG)波形を区別することができるので、より正確にまばたきデータの種別を行うことができるという効果が得られる。
ここで、上記「ピーク高」は、例えば、まばたきの発生した時間区間の眼電図(EOG)波形における、波形の最も高いレベル位置と最も低いレベル位置との差などで表されるものである。
前記正規化手段は、Zスコア法を用いて、前記単位の異なる複数種類のパラメータを正規化することを特徴としている。
このような構成であれば、公知のZスコア法を用いて正規化を行うので、単位(次元)の異なる複数種類のパラメータを、そのそれぞれについて、平均値を「0」、標準偏差を「1」とするように分布の加工を行って正規化をすることが可能である。これによって、距離や時間などの単位(次元)の異なるパラメータを混在させてクラスタリングを行うことができるという効果が得られる。
前記種別手段は、前記所定のクラスタリング手法として、分割最適化手法又は階層的手法を用いることを特徴としている。
このような構成であれば、分割最適化手法又は階層的手法を用いてクラスタリングを行うことが可能となるので、簡易にパラメータの種別を行うことができるという効果が得られる。
前記まばたきデータは、前記まばたきの眼電図(EOG)波形に対応する、各対象者のまばたき時の少なくとも片眼全体の動画像データを含むまばたき映像データから抽出される特徴量データであることを特徴としている。
このような構成であれば、まばたきの眼電図(EOG)波形測定時のまばたき映像データから抽出される特徴量データに属性情報を付加することが可能である。
請求項1乃至請求項4のいずれか1項に記載のまばたきデータ種別装置と、
前記まばたきデータ種別装置で前記識別情報の付与された前記まばたきデータを学習データとして統計モデルを学習させて、前記まばたきデータを入力とし、当該まばたきデータの識別データを出力とするパターンモデルを生成するパターンモデル生成手段と、を備えることを特徴としている。
従って、安定且つ正確に種別されたまばたきデータを学習データとして学習されたパターンモデルを生成することが可能となるので、眼電図(EOG)波形の種類の識別能力の高いパターンモデルを生成することができるという効果が得られる。
また、識別データは、入力されたまばたきデータに対するまばたき波形種類を示す識別結果そのものを示すデータ、入力されたまばたきデータに対する各まばたき波形種類に対する尤度などのまばたき波形種類を識別するためのデータなど、パターンモデルを構成する統計モデルの種類や、パターンモデルの仕様に応じたデータとなる。以下、請求項8記載のパターンモデル生成装置において同じである。
前記統計モデルは、HMM(Hidden Markov Model)であることを特徴としている。
このような構成であれば、統計モデルとして公知のHMMを用いるので、まばたきのように時間的概念を伴う動作内容に対して、高精度な前記眼電図(EOG)波形の種類の識別を行うことができるパターンモデルを生成することができるという効果が得られる。
請求項5記載のまばたきデータ種別装置と、
前記まばたきデータ種別装置で前記識別情報の付与された前記まばたきデータを学習データとして統計モデルを学習させ、前記まばたきデータを入力とし、当該まばたきデータの識別データを出力とするパターンモデルを生成するパターンモデル生成手段と、を備えることを特徴としている。
前記統計モデルは、HMM(Hidden Markov Model)であることを特徴としている。
このような構成であれば、統計モデルとして公知のHMMを用いるので、まばたきのように時間的概念を伴う動作内容に対して、高精度な前記眼電図(EOG)波形の種類の識別を行うことができるパターンモデルを生成することができるという効果が得られる。
請求項6又は請求項7記載のパターンモデル生成装置で生成されたパターンモデルと、
対象者のまばたき時の眼電図(EOG)波形を測定する眼電図波形測定手段と、
前記眼電図波形測定手段で測定された眼電図(EOG)波形のデータである眼電図(EOG)波形データから、前記パターンモデルに対応するまばたきデータを抽出するまばたきデータ抽出手段と、
前記まばたきデータ抽出手段で抽出したまばたきデータと、前記パターンモデルとに基づき、前記まばたきデータに対応する眼電図(EOG)波形の種類を識別するまばたき波形識別手段と、
所定期間において測定された前記対象者のまばたき時の眼電図(EOG)波形に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記眼電図(EOG)波形の種類の出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、を備えることを特徴としている。
更に、出現頻度情報生成手段によって、所定期間において測定された前記対象者のまばたき時の眼電図(EOG)波形に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記眼電図(EOG)波形の種類の出現頻度の時間的変化を示す出現頻度情報を生成することが可能である。
つまり、生理学の見地において覚醒状態の判定に有効であるとされている、特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化に基づいて、高精度の覚醒状態の判定を行うことが可能である。
請求項8又は請求項9記載のパターンモデル生成装置で生成されたパターンモデルと、
対象者のまばたき時の少なくとも片眼全体の動画像を含むまばたき映像を撮影する撮影手段と、
前記撮影手段で撮影したまばたき映像のデータであるまばたき映像データから、前記パターンモデルに対応する特徴量データを抽出する特徴量データ抽出手段と、
前記特徴量データ抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対応したまばたき映像に対応する眼電図(EOG)波形の種類を識別するまばたき波形識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図(EOG)波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、を備えることを特徴としている。
更に、出現頻度情報生成手段によって、所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図(EOG)波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成することが可能である。
また、まばたき映像データを撮影するだけで、対象者のまばたき(眼電図(EOG)波形)の種類を識別することができるので、まばたきの眼電図(EOG)波形を直接測定する場合と比べて、対象者に電極等の測定部材を装着させずに、簡易にまばたき波形の識別を行うことが可能である。
請求項10又は請求項11記載のまばたき波形出現頻度情報生成装置と、
前記まばたき波形出現頻度情報生成装置で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判定する覚醒状態判定手段と、を備えることを特徴としている。
このような構成であれば、覚醒状態判定手段によって、前記まばたき波形出現頻度情報生成装置で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判定することが可能である。
従って、例えば、対象者の高覚醒状態から居眠り状態へと移行するまでの様々な覚醒状態を判定することができるという効果が得られる。
対象者のまばたき時の眼電図(EOG)波形を測定するまばたき眼電図波形測定手段と、
前記まばたき眼電図波形測定手段で測定された眼電図(EOG)波形のデータである眼電図(EOG)波形データから、まばたきデータを抽出するまばたきデータ抽出手段と、
前記まばたきデータ抽出手段で抽出されたまばたきデータと、予め記憶されたまばたき波形種類の識別用データとに基づき、前記まばたきデータに対応するまばたき波形の種類を識別するまばたき波形識別手段と、
所定期間において測定された前記眼電図(EOG)波形に対応する前記まばたき波形識別手段の識別結果に基づき、前記所定期間の前記まばたき波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、
前記出現頻度情報生成手段で生成した出現頻度情報に基づき、前記まばたき波形の所定の種類の出現頻度から、前記対象者の覚醒状態を判定する覚醒状態判定手段と、を備えることを特徴としている。
ここで、識別用データは、特徴量データから、当該特徴量データに対応するまばたき波形種類を識別できるデータであり、例えば、特徴量データを入力とし、当該特徴量データの識別データを出力とするパターンモデル、様々な特徴量データとまばたき波形種類との関係が登録されたデータテーブル(データベース)などがある。
前記まばたき波形の所定の種類の出現頻度は、前記まばたき波形の複数種類の出現頻度であることを特徴としている。
このような構成であれば、対象者の特定の複数種類のまばたきの発生頻度、特定の複数種類のまばたきの群発などの所定時間内における特定の複数種類のまばたきの発生頻度の変化が解るので、予め実験等を行って、例えば、前記出現頻度の時間的変化と、高覚醒時から居眠りへと移行するまでの様々な覚醒水準(状態)との関係を得ておくことにより、出現頻度情報から、対象者の様々な覚醒水準(状態)をより正確に判断することができるという効果が得られる。つまり、高覚醒時から居眠りへと移行するまでには、様々な種類のまばたきが混在して発生するので、その中でも特に覚醒水準(状態)に係る複数種類のまばたきの出現頻度に着目して判定を行うことで、覚醒水準の判定精度をより高精度にすることが可能である。
対象者のまばたき時の眼電図(EOG)波形を測定するまばたき眼電図波形測定手段と、
前記眼電図(EOG)波形のデータである眼電図(EOG)波形データから抽出される特徴量データを入力とし、当該特徴量データに対応するまばたき波形種類の識別データを出力とするパターンモデルと、
前記まばたき眼電図波形測定手段で測定された眼電図(EOG)波形のデータである眼電図(EOG)波形データから、特徴量データを抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対するまばたき波形種類を識別するまばたき種類識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき種類識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図(EOG)波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成するまばたき波形種類出現頻度情報生成手段と、
前記まばたき波形種類出現頻度情報生成手段で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判断する覚醒状態判断手段と、を備えることを特徴としている。
つまり、生理学の見地において覚醒状態の判定に有効であるとされている、特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化に基づいて、高精度の覚醒状態の判定を行うことが可能である。
対象者のまばたき時の少なくとも片眼全体の動画像を含むまばたき映像を撮影するまばたき映像撮影手段と、
前記まばたき映像のデータであるまばたき映像データから抽出される特徴量データを入力とし、当該特徴量データに対応するまばたき波形種類の識別データを出力とするパターンモデルと、
前記まばたき映像撮影手段で撮影したまばたき映像のデータであるまばたき映像データから特徴量データを抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対するまばたき波形種類を識別するまばたき種類識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき種類識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図(EOG)波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成するまばたき波形種類出現頻度情報生成手段と、
前記まばたき波形種類出現頻度情報生成手段で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判断する覚醒状態判断手段と、を備えることを特徴としている。
請求項12又は請求項13記載の覚醒状態判定装置と、
前記覚醒状態判定装置における前記覚醒状態の判定結果に基づき、前記対象者に警告を与える警告手段と、を備えることを特徴としている。
このような構成であれば、警告手段によって、前記覚醒状態判定装置における前記覚醒状態の判定結果に基づき、前記対象者に警告を与えることが可能である。
ここで、上記警告は、ブザー等の警報音、警告音声メッセージ等の音によるもの、光の点灯、点滅等による視覚的な警告、対象者に振動や衝撃などの与える警告などがある。また、これらを任意に組み合わせた警告を対象者に与えるようにしても良い。
以下、本発明の第1の実施の形態を図面に基づき説明する。図1〜図10は、本発明に係るまばたきデータ種別装置、まばたきデータ種別プログラム及びまばたきデータ種別方法、並びにパターンモデル生成装置、パターンモデル生成プログラム及びパターンモデル生成方法の実施の形態を示す図である。
図1に示すように、パターンモデル生成装置100は、まばたきの眼電図(EOG)波形のデータ(以下、眼電図(EOG)波形データと称す)を記憶するまばたき波形データ記憶部10と、まばたきの眼電図(EOG)波形の測定時に同時に撮影したまばたきの映像データ(以下、まばたき映像データと称す)を記憶するまばたき映像データ記憶部11と、まばたき波形データからパラメータを抽出するパラメータ抽出部12と、まばたき映像データから特徴量データを抽出する特徴量データ抽出部13と、パラメータ抽出部12で抽出したパラメータ及び特徴量データ抽出部13で抽出した特徴量データを対応付けて記憶する種別対象データ記憶部14とを含んだ構成となっている。
まばたき映像データ記憶部11は、まばたき波形データ記憶部10に記憶された左眼又は右眼の少なくとも一方のまばたきの眼電図(EOG)波形データに対応するまばたき映像データを、後述する記憶装置70の所定領域に記憶するようになっている。ここで、まばたき映像データは、眼電図(EOG)波形の測定時に同時に撮影したまばたきの映像データであり、被験者のまばたき時の左眼又は右眼の少なくとも一方を含む動画像データで構成されている。また、眼電図(EOG)波形データ及びまばたき映像データは識別情報によってそれぞれが対応付けされており、これによって、眼電図(EOG)波形データ及びまばたき波形データのいずれか一方から他方を知ることが可能となっている。
本実施の形態においては、眼電図(EOG)波形のピーク高の距離データ、まばたきの開始からピーク高に至るまでの時間データ、ピーク高からまばたきの終了に至るまでの時間データの3つのパラメータを抽出する。
特徴量データ抽出部13は、まばたき映像データ記憶部11によって記憶されたまばたき映像データから、特徴量データを抽出するようになっている。
本実施の形態においては、まばたき映像データの各フレーム毎に、所定領域の各ラインごとの輝度合計を算出し、各まばたき映像データの輝度合計のデータを特徴量データとする。
パラメータ種別部16は、パラメータ正規化部15で正規化後のパラメータ(以下、正規化パラメータと称す)を、所定のクラスタリング手法を用いて種別するようになっている。本実施の形態においては、階層的クラスタリング手法の1つである公知のウォード法、及び分割最適化クラスタリング手法の1つである公知のk−平均法のいずれか指定された方のクラスタリング手法を用いて正規化パラメータをクラスタリングする。本実施の形態においては、このクラスタリング結果を種別結果とし、各正規化パラメータの属するクラスの情報を各正規化パラメータに付与し、これを種別結果とする。
学習データ記憶部18は、識別情報付与部17で識別情報の付与された、パラメータ及び特徴量データを学習データとして、後述する記憶装置70の所定領域に記憶するようになっている。
パターンモデル生成装置100は、更に、学習データ記憶部18に記憶された学習データを用いて統計モデルを学習する統計モデル学習部19と、学習後の統計モデルからなるパターンモデルを記憶するパターンモデル記憶部20とを含んだ構成となっている。
パターンモデル記憶部20は、統計モデル学習部19において生成された、まばたき波形用パターンモデル及びまばたき映像用パターンモデルを、後述する記憶装置70の所定領域に記憶するようになっている。
まばたき波形データからのパラメータの抽出処理及びまばたき映像データからの特徴量データの抽出処理は、図3のフローチャートに示すように、まずステップS100に移行し、パラメータ抽出部12において、入力装置74等を介したユーザからの抽出指示があったか否かを判定し、抽出指示があったと判定された場合(Yes)は、ステップS102に移行し、そうでない場合(No)は、抽出指示があるまで待機する。
ステップS104では、パラメータ抽出部12において、ステップS102で取得したまばたき波形データから、単位の異なる複数種類のパラメータを抽出し、当該抽出したパラメータを種別対象データ記憶部14に出力してステップS106に移行する。
ステップS108に移行した場合は、特徴量データ抽出部13において、まばたき映像データ記憶部11を介して記憶装置70からまばたき映像データを取得してステップS110に移行する。
ステップS112では、種別対象データ記憶部14において、パラメータ抽出部12から入力されたパラメータと、特徴量データ抽出部13から入力された特徴量データとを対応付けて記憶装置70の所定領域に記憶してステップS114に移行する。
一方、ステップS106において、まばたき波形データに対応するまばたき映像データがなくステップS116に移行した場合は、種別対象データ記憶部14において、パラメータ抽出部12から入力されたパラメータを記憶装置70の所定領域に記憶してステップS114に移行する。
学習データ生成処理は、図4のフローチャートに示すように、まずステップS200に移行し、入力装置74等を介したユーザからの学習データの生成指示があったか否かを判定し、生成指示があったと判定された場合(Yes)は、ステップS202に移行し、そうでない場合(No)は、抽出指示があるまで待機する。
ステップS204では、パラメータ正規化部15において、ステップS202で取得したパラメータを正規化してステップS206に移行する。
ステップS206では、パラメータ種別部16において、ステップS204において正規化されたパラメータを、所定のクラスタリング手法を用いて種別してステップS208に移行する。
ステップS210では、識別情報付与部17において、ステップS206の種別結果に基づき、ステップS208で取得したパラメータ及び特徴量データに識別情報を付与してステップS212に移行する。
次に、図5に基づき、パターンモデル生成装置100における、パターンモデル生成処理の流れを説明する。ここで、図5は、パターンモデル生成装置100における、パターンモデル生成処理を示すフローチャートである。
ステップS304では、統計モデル学習部19において、ステップS302で取得したパラメータを学習データとして統計モデルを学習させてまばたき波形用パターンモデルを生成しステップS306に移行する。
一方、ステップS300において、まばたき波形用パターンモデルの生成指示ではなくステップS308に移行した場合は、統計モデル学習部19において、まばたき映像用パターンモデルの生成指示があったか否かを判定し、生成指示があったと判定された場合(Yes)は、ステップS310に移行し、そうでない場合(No)は、ステップS300に移行する。
ステップS312では、統計モデル学習部19において、ステップS310で取得した特徴量データを学習データとして統計モデルを学習させてまばたき映像用パターンモデルを生成しステップS306に移行する。
ここで、図6は、まばたき波形データから抽出するパラメータの説明図である。また、図7(a)及び(b)は、まばたき映像データから抽出する特徴量データの説明図である。また、図8は、3種類のパラメータを用いて本発明の手法によって種別された、ある一人の被験者に対するまばたき波形を示す図であり、図9は、2種類のパラメータを用いて本発明の手法によって種別された、ある一人の被験者に対するまばたき波形を示す図である。また、図10(a)〜(c)は、ある一人の被験者に対するZスコアのレーダーチャートである。また、図18は、HMMの一例を示す図である。
パターンモデル生成装置100は、まばたき波形データ及びまばたき映像データが用意された状態において、入力装置74等を介した、ユーザからの抽出指示が与えられると(ステップS100)、パラメータ抽出部12において、まばたき波形データ記憶部10を介して、記憶装置70からまばたき波形データを取得する(ステップS102)。本実施の形態において、まばたき波形データの取得は、記憶された全てのデータ又は新規のデータなどを自動で取得するか、ユーザに指示されたものを取得するかを選択できるようになっている。
そして、まばたき映像データが取得されると、当該取得したまばたき映像データから特徴量データを抽出する(ステップS110)。具体的には、図7(a)に示すように、まばたき映像データを構成するまばたき画像データにおける眼球部分を中央に横11画素×縦30画素の抽出領域画像を切り出し、この切り出した抽出領域画像を構成する各ライン(11画素)の輝度合計値を算出し、例えば、図7(b)に示すような特性を示す、抽出領域画像の30ライン分の各ラインごとの輝度合計値のデータを生成する。本実施の形態においては、この輝度合計値のデータを、1回のまばたきに対応するまばたき映像データを構成する全まばたき画像データに対して生成したものが、各まばたき映像データに対する特徴量データとなる。なお、まばたき映像データを構成するまばたき画像データの数は、撮影手段の性能やまばたきの種類などによって変わってくる(通常のCCDカメラを用いた場合は、例えば、1回のまばたきに対して8〜11画像くらいとなる)。
上記したパラメータの抽出処理及び特徴量データの抽出処理が、取得したまばたき波形データ及びこれらに対応するまばたき映像データに対して全て終了すると(ステップS114の「Yes」の分岐)、パターンモデル生成装置100は、抽出処理を終了する。
パターンモデル生成装置100は、種別対象データ記憶部14によって、記憶装置70の所定領域に、パラメータ及び特徴量データが記憶された状態において、入力装置74等を介した、ユーザからの学習データの生成指示が与えられると(ステップS200)、パラメータ正規化部15において、種別対象データ記憶部14を介して記憶装置70からパラメータ(以下、特徴パラメータと称す)を取得する(ステップS202)。
Zスコア法による正規化は、上記x1〜x3の3種類の特徴パラメータを、それぞれの平均値が0、標準偏差が1になるように分布の加工をすることで行われる。具体的には、x1〜x3のそれぞれの特徴パラメータの中での平均値μを求める。また、同時にx1〜x3のそれぞれの特徴パラメータの中での標準分散σを求める。
ここで、x1〜x3のそれぞれにおいて各特徴パラメータをXとし、下式(1)に従って、特徴パラメータXをzに変換する。
上記種別処理によって、Class1〜Class12にそれぞれクラスタリングした、ある一人の被験者の正規化パラメータ(上記x1〜x3に対応)に対応する眼電図(EOG)波形は、図8に示すように、各Classに分類される。
図10(a)〜(c)の例では、Class1の波形と他のClassの波形とを比較すると、Class2には、まばたきの持続時間(立ち上がり時間と、立ち下り時間の総和)はほぼ同等であるが、ピーク高のみが小さなまばたきが分類され、Class3には、まばたき持続時間が長く、ピーク高も大きなまばたきが分類される(図10(a)参照)。また、Class4には、まばたき持続時間はほぼ同等であるが、ピーク高がClass2よりも更に小さなまばたきが分類され、Class5には、立ち上がり時間が長く、ピーク高が小さなまばたきが分類される(図10(b)参照)。また、Class6及びClass7には、立ち上がり時間、立ち下がり時間ともに長く、且つピーク高の小さなまばたきが分類されるが、Class6には、特に立ち下がり時間の長いまばたきが分類され、Class7には、特に立ち上がり時間の長いまばたきが分類される(図10(b)参照)。また、Class8及びClass9には、まばたき持続時間、ピーク高がともにClass2よりも小さなまばたきが分類され、そのうち、立ち上がり時間が長く、立ち下がり時間の短いまばたきがClass9に分類される(図10(c)参照)。
Class1:高覚醒時の標準的なまばたき
Class2:眠気によりまぶたが落ちてきて波高が少し小さくなったまばたき
Class3:眠気に対抗するために意図的なはっきりとした大きなまばたき
Class4:低覚醒状態で発生する波高が非常に小さくなったまばたき
Class5〜7:低覚醒状態時の持続時間の長いまばたき
Class8:低覚醒状態から一時的に瞬時覚醒する際のまばたき
Class9:群発まばたき
なお、図10(a)〜(c)のいずれにも分類されていないClass10〜Class12には、まばたき波形の検出時に誤検出されたもの、まばたき以外の眼球運動の影響を受けたもの、眼球運動かまばたきかの判断が難しいものなどが分類される。
最終的に、識別情報の付与された特徴パラメータ及び特徴量データは、学習データとして、学習データ記憶部18を介して、記憶装置70の所定領域に記憶される(ステップS212)。
パターンモデル生成装置100は、学習データ記憶部18によって、記憶装置70の所定領域に、学習データが記憶された状態において、入力装置74等を介した、ユーザからのまばたき波形用パターンモデルの生成指示又はまばたき映像用パターンモデルの生成指示が与えられると、統計モデル学習部19において、パターンモデルの生成処理を開始する。
以上、本実施の形態のパターンモデル生成装置100は、まばたきの眼電図(EOG)波形のピーク高(距離)x1、まばたきの開始からピーク高までの立ち上がり時間x2、ピーク高からまばたきの終了までの立ち下がり時間x3の3つのパラメータを正規化することで、単位(次元)の異なるパラメータが混在したクラスタリングを行うことが可能である。
また、種別結果に基づき、特徴パラメータ及び特徴量データに識別情報を自動的に付与して学習データを生成するようにしたので、人手をかけずに簡易に識別情報を付与して学習データを生成することが可能である。
また、上記正確且つ詳細に種別された種別結果に基づき、特徴パラメータ及び特徴量データに識別情報を付与して学習データを生成し、この学習データを用いてパターンモデルを生成するようにしたので、まばたき種類の識別結果のデータを精度良く出力できるパターンモデルを生成することが可能である。
また、上記第1の実施の形態において、統計モデル学習部19は、請求項7又は9記載のパターンモデル生成手段に対応する。
次に、本発明の第2の実施の形態を図面に基づき説明する。図11〜図16は、本発明に係るまばたき波形出現頻度情報生成装置、まばたき波形出現頻度情報生成プログラム及びまばたき波形出現頻度情報生成方法、覚醒状態判定装置、覚醒状態判定プログラム及び覚醒状態判定方法、並びに警告装置、警告装置制御プログラム及び警告装置制御方法の実施の形態を示す図である。
また、本実施の形態の警告装置は、上記第1の実施の形態のパターンモデル生成装置100において生成された、まばたき波形用パターンモデル及びまばたき映像用パターンモデルを備え、これらパターンモデルを用いて、運転者の所定期間ごとのまばたき種類の識別を行うようになっている。
図11に示すように、警告装置200は、運転者の眼部分の映像を含む顔映像を撮影する映像撮影部21と、運転者のまばたきの眼電図(EOG)波形を測定するまばたき波形測定部22と、映像撮影部21で撮影された映像データから特徴量データを抽出し、まばたき波形測定部22で測定されたまばたき波形データから特徴量データを抽出する特徴量データ抽出部23と、上記第1の実施の形態のパターンモデル生成装置100において生成されたパターンモデルを記憶するパターンモデル記憶部24と、パターンモデル記憶部24によって記憶されたパターンモデルと、特徴量データ抽出部23で抽出された特徴量データとに基づきまばたき種類を識別するまばたき種類識別部25と、所定期間のまばたき種類の識別結果に基づき、まばたき種類の出現頻度情報を生成する出現頻度情報生成部26とを含んだ構成となっている。
まばたき波形測定部22は、生体計測用交流アンプを有しており、運転者の右眼瞼の上下に装着された電極を介して、リアルタイムに垂直EOG(眼電図(EOG)波形)を測定するようになっている。
パターンモデル記憶部24は、上記第1の実施の形態のパターンモデル生成装置100で生成された、まばたき波形用パターンモデルと、まばたき映像用パターンモデルとを、後述する記憶装置90の所定領域に記憶するようになっている。
覚醒状態判定部27は、各副出現頻度情報の示す各Classのまばたき種類の出現頻度、出現頻度情報から解る各出現頻度の時間変化などに基づき、運転者の覚醒状態を判定する。判定する覚醒状態としては、意識のはっきりとした覚醒状態から居眠りに至るまでの間に段階的に変化する状態が含まれる。例えば、正常な状態、弱い眠気を感じている状態、眠気を感じている状態、強い眠気を感じている状態、居眠り状態などが含まれる。
警告部28は、覚醒状態判定部27の判定結果に基づき、覚醒状態の内容に応じた警告を運転者に与えるようになっている。
具体的には、例えば、弱い眠気を感じていると判定された場合は、休憩をとることを進める音声メッセージを出力し、眠気を感じていると判定された場合は、やや大きい音量で警告音を出力し、強い眠気を感じている又は居眠り状態であると判定された場合は、極めて大きい音量で警告音を出力する。
特徴量データ抽出処理は、図13に示すように、まずステップS400に移行し、特徴量データ抽出部23において、識別処理のモードとして、まばたき映像モードが設定されているか否かを判定し、設定されていると判定された場合(Yes)は、ステップS402に移行し、そうでない場合(No)は、ステップS410に移行する。
ステップS404では、特徴量データ抽出部23において、SVMを用いて、ステップS402で取得した顔映像データからまばたき映像データを検出し、当該検出したまばたき映像データから特徴量データを抽出してステップS406に移行する。
ステップS408では、まばたき種類識別部25において、ステップS406又はステップS416の識別結果を出現頻度情報生成部26に出力してステップS400に移行する。
ステップS412に移行した場合は、特徴量データ抽出部23において、まばたき波形測定部22から、まばたき波形データを取得してステップS414に移行する。
ステップS416では、まばたき種類識別部25において、パターンモデル記憶部24からまばたき波形用パターンモデルを取得し、当該取得したまばたき波形用パターンモデルと、ステップS414で抽出した特徴量データ(特徴パラメータ)とに基づき、当該特徴量データに対応するまばたき種類を識別してステップS408に移行する。
出現頻度情報生成処理は、図14のフローチャートに示すように、まずステップS500に移行し、出現頻度情報生成部26において、まばたき種類識別部25から識別結果を取得したか否かを判定し、取得したと判定された場合(Yes)は、ステップS502に移行し、そうでない場合(No)は、取得するまで待機する。本実施の形態において、識別結果は、識別結果のまばたき種類の情報と、特徴量データに対応するまばたき映像データ又はまばたき波形データの取得時刻の情報とを含んでいる。
ステップS504では、出現頻度情報生成部26において、識別結果の時刻時間差が所定時間を越えたか否かを判定し、超えたと判定された場合(Yes)は、ステップS506に移行し、そうでない場合(No)は、ステップS500に移行する。
ステップS506に移行した場合は、出現頻度情報生成部26において、所定時間分の識別結果に基づき、各まばたき種類ごとの所定時間における出現頻度を算出してステップS508に移行する。
ステップS510では、出現頻度情報生成部26において、ステップS508で生成した副出現頻度情報を、RAM82又は記憶装置90の所定領域に記憶してステップS512に移行する。
ステップS514に移行した場合は、出現頻度情報生成部26において、ステップS508で記憶した所定期間分の副出現頻度情報に基づき、出現頻度情報を生成してステップS516に移行する。
ステップS516では、出現頻度情報生成部26において、ステップS514で生成した出現頻度情報を覚醒状態判定部27に出力してステップS500に移行する。
覚醒状態判定処理及び警告処理は、図15のフローチャートに示すように、まずステップS600に移行し、覚醒状態判定部27において、出現頻度情報生成部26から出現頻度情報を取得したか否かを判定し、取得したと判定された場合(Yes)は、ステップS602に移行し、そうでない場合(No)は、取得するまで待機する。
ステップS604では、警告部28において、ステップS602の判定結果に基づき、運転者は弱い眠気を感じた状態であるか否かを判定し、そうである場合(Yes)は、ステップS606に移行し、そうでない場合(No)は、ステップS608に移行する。
一方、ステップS608に移行した場合は、警告部28において、運転者は眠気を感じた状態であるか否かを判定し、そうである場合(Yes)は、ステップS610に移行し、そうでない場合(No)は、ステップS612に移行する。
一方、ステップS612に移行した場合は、警告部28において、強い眠気を感じた状態であるか否か又は居眠り状態であるか否かを判定し、強い眠気を感じた状態又は居眠り状態である場合(Yes)は、ステップS614に移行し、そうでない場合(No)は、ステップS600に移行する。
ステップS614に移行した場合は、警告部28において、警告処理(3)を実行してステップS600に移行する。ここで、警告処理(3)を実行すると、車内に配設されたスピーカから極めて大きい音量(例えば、70%以上のボリューム)で警告音及び警告メッセージが出力される。
ここで、図16は、まばたき波形用パターンモデルの識別結果を用いて生成された出現頻度情報の一例を示す図である。また、図17は、まばたき映像用パターンモデルの識別結果を用いて生成された出現頻度情報の一例を示す図である。
警告装置200は、入力装置94を介してユーザの任意の識別モードが設定され、識別処理が開始されると、まず、設定された識別モードがまばたき映像モードであるか否かを判定する(ステップS400)。設定された識別モードがまばたき映像モードである場合(ステップS400の「Yes」の分岐)は、特徴量データ抽出部23において、映像撮影部21から顔映像データを取得する(ステップS402)。更に、特徴量データ抽出部23は、SVMを用いて取得した顔映像データから右眼のまばたき映像データを検出し、当該検出したまばたき映像データから特徴量データを抽出する(ステップS404)。この特徴量データの抽出は、上記第1の実施の形態のパターンモデル生成装置100における特徴量データ抽出部13と同様の方法を用いる。つまり、1回のまばたきに対応するまばたき映像データを構成する各まばたき画像データにおける、抽出領域画像の30ライン分の各ラインごとの輝度合計値のデータが特徴量データとして抽出される。
そして、RAM82又は記憶装置90の所定領域に所定期間分の副出現頻度情報が蓄積されると(ステップS512の「Yes」の分岐)、所定期間分の副出現頻度情報を時刻順にグループ化して出現頻度情報を生成し(ステップS514)、当該生成した出現頻度情報を覚醒状態判定部27に出力する。
なお、図16に示す出現頻度情報は、ある一人の被験者に対する、実際に測定したまばたき波形データに対するまばたき波形用パターンモデルの識別結果に基づき、上記まばたき波形モードで生成されたものである。このまばたき波形用パターンモデルは、上記第1の実施の形態で生成されたものと同じものである。
従って、図17に示す出現頻度情報と、図16に示す出現頻度情報とを比較すると、図17に示す、まばたき映像入力のみからまばたき種類を識別して生成されたまばたき種類の出現頻度の時間的変化(出現頻度情報)が、図16に示す、まばたき種類の種別の基準となる眼電図(EOG)波形入力からまばたき種類を識別して生成されたものに対して、ほぼ同じ内容となる。つまり、Class10〜Class12のまばたき種類が出現頻度情報に与える影響は極めて小さいことが解る。
より具体的には、図16及び図17に示すように、運転初期から高覚醒状態時の標準的なまばたき種類であるClass1に加えて、眠気によりまぶたの落ちてきたまばたき種類であるClass2の発生が始まる。運転中盤にかけて覚醒状態の低下が進み、Class2のまばたき種類の増加と共にClass3の眠気に対抗するための意図的なはっきりとしたまばたき種類が増加している。運転者の覚醒状態が著しく低下した運転中盤以降から終盤にかけては、Class4の低覚醒状態で発生する波高の小さいまばたき種類が発生し、同時にClass5〜Class7の低覚醒状態時の持続時間の長いまばたき種類も発生している。また、低覚醒状態から外的要因により一時的に瞬時覚醒したときに、Class8のまばたき種類が発生している。
図16や図17に示された、まばたき種類の出現頻度の時間的変化(経時変化)を見ると解るように、15分を過ぎたあたりからClass1の高覚醒時の標準的なまばたきの発生が減少し、20分以降には発生しなくなる。また、同じ時間帯において、Class3の眠気に対抗した意図的なはっきりとした大きなまばたきが発生している。つまり、Class1及びClass3のまばたきの発生状態に着目することで、8分後から20分後にかけて運転者は眠気を感じており(Class1から)、かつその眠気に対抗しようとしている(Class3から)と判断(判定)することができる。
また、上記第1及び第2の実施の形態において、眼電図(EOG:Electro-oculography)の波形データを用いた部分は、これに代えて、あるいはこれと同時に眼輪筋電図(EMG:Electro-myography)の波形データを使用してもよい。
また、所定期間における所定時間幅のまばたき種類の出現頻度の時間変化の情報である出現頻度情報を生成し、この出現頻度情報に基づき運転者の覚醒状態を判定することができるので、覚醒した状態から睡眠状態に至るまでの間に段階的な発生する様々な覚醒状態を判定することが可能であり、これにより、眠気の強弱をより正確に判定することができるので、より適切な警告を与えることが可能である。
また、上記第2の実施の形態では、撮影対象者の右眼領域を検出し覚醒状態の判定を行う例を説明したが、撮影環境や適用するシステムの種類などに応じて撮影対象者の左眼領域や両眼領域を検出して判定を行うようにしても良い。
また、上記第2の実施の形態においては、出現頻度情報に基づき対象者(運転者)の覚醒状態を判定するようにしたが、これに限らず、出現頻度情報に基づき対象者の緊張状態など、対象者の他の状態を判定するようにしても良い。
200 警告装置
10 まばたき波形データ記憶部
11 まばたき映像データ記憶部
12 パラメータ抽出部
13 特徴量データ抽出部
14 種別対象データ記憶部
15 パラメータ正規化部
16 パラメータ種別部
17 識別情報付与部
18 学習データ記憶部
19 統計モデル学習部
20 パターンモデル記憶部
21 映像撮影部
22 まばたき波形測定部
23 特徴量データ抽出部
24 パターンモデル記憶部
25 まばたき種類識別部
26 出現頻度情報生成部
27 覚醒状態判定部
28 警告部
Claims (17)
- まばたきの眼電図(EOG)波形に係るデータであるまばたきデータを種別するまばたきデータ種別装置であって、
前記まばたきの眼電図(EOG)波形のデータである眼電図(EOG)波形データから抽出された、単位の異なる複数種類のパラメータを正規化する正規化手段と、
前記正規化手段で正規化された複数種類のまばたきの前記眼電図(EOG)波形データに対応するパラメータを、所定のクラスタリング手法を用いて種別する種別手段と、
前記種別手段の種別結果に基づき、前記種別された各パラメータに対応する前記まばたきデータに対して、前記各パラメータの属する種類の識別情報をそれぞれ付与する識別情報付与手段と、を備えることを特徴とするまばたきデータ種別装置。 - 前記単位の異なる複数種類のパラメータは、前記まばたきの眼電図(EOG)波形データから抽出される、前記眼電図(EOG)波形のピーク高の距離データ、まばたきの開始から前記ピーク高に至るまでの時間データ及び前記ピーク高からまばたきの終了に至るまでの時間データを含むことを特徴とする請求項1記載のまばたきデータ種別装置。
- 前記正規化手段は、Zスコア法を用いて、前記単位の異なる複数種類のパラメータを正規化することを特徴とする請求項1又は請求項2記載のまばたきデータ種別装置。
- 前記種別手段は、前記所定のクラスタリング手法として、分割最適化手法又は階層的手法を用いることを特徴とする請求項1乃至請求項3のいずれか1項に記載のまばたきデータ種別装置。
- 前記まばたきデータは、前記まばたきの眼電図(EOG)波形に対応する、各対象者のまばたき時の少なくとも片眼全体の動画像データを含むまばたき映像データから抽出される特徴量データであることを特徴とする請求項1乃至請求項4のいずれか1項に記載のまばたきデータ種別装置。
- 請求項1乃至請求項4のいずれか1項に記載のまばたきデータ種別装置と、
前記まばたきデータ種別装置で前記識別情報の付与された前記まばたきデータを学習データとして統計モデルを学習させ、前記まばたきデータを入力とし、当該まばたきデータの識別データを出力とするパターンモデルを生成するパターンモデル生成手段と、を備えることを特徴とするパターンモデル生成装置。 - 前記統計モデルは、HMM(Hidden Markov Model)であることを特徴とする請求項6記載のパターンモデル生成装置。
- 請求項5記載のまばたきデータ種別装置と、
前記まばたきデータ種別装置で前記識別情報の付与された前記まばたきデータを学習データとして統計モデルを学習させ、前記まばたきデータを入力とし、当該まばたきデータの識別データを出力とするパターンモデルを生成するパターンモデル生成手段と、を備えることを特徴とするパターンモデル生成装置。 - 前記統計モデルは、HMM(Hidden Markov Model)であることを特徴とする請求項8記載のパターンモデル生成装置。
- 請求項6又は請求項7記載のパターンモデル生成装置で生成されたパターンモデルと、
対象者のまばたき時の眼電図(EOG)波形を測定する眼電図波形測定手段と、
前記眼電図波形測定手段で測定された眼電図(EOG)波形のデータである眼電図(EOG)波形データから、前記パターンモデルに対応するまばたきデータを抽出するまばたきデータ抽出手段と、
前記まばたきデータ抽出手段で抽出したまばたきデータと、前記パターンモデルとに基づき、前記まばたきデータに対応する眼電図(EOG)波形の種類を識別するまばたき波形識別手段と、
所定期間において測定された前記対象者のまばたき時の眼電図(EOG)波形に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記眼電図(EOG)波形の種類の出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、を備えることを特徴とするまばたき波形出現頻度情報生成装置。 - 請求項8又は請求項9記載のパターンモデル生成装置で生成されたパターンモデルと、
対象者のまばたき時の少なくとも片眼全体の動画像を含むまばたき映像を撮影する撮影手段と、
前記撮影手段で撮影したまばたき映像のデータであるまばたき映像データから、前記パターンモデルに対応する特徴量データを抽出する特徴量データ抽出手段と、
前記特徴量データ抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対応したまばたき映像に対応する眼電図(EOG)波形の種類を識別するまばたき波形識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図(EOG)波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、を備えることを特徴とするまばたき波形出現頻度情報生成装置。 - 請求項10又は請求項11記載のまばたき波形出現頻度情報生成装置と、
前記まばたき波形出現頻度情報生成装置で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判定する覚醒状態判定手段と、を備えることを特徴とする覚醒状態判定装置。 - 対象者のまばたき時の眼電図(EOG)波形を測定するまばたき眼電図波形測定手段と、
前記まばたき眼電図波形測定手段で測定された眼電図(EOG)波形のデータである眼電図(EOG)波形データから、まばたきデータを抽出するまばたきデータ抽出手段と、
前記まばたきデータ抽出手段で抽出されたまばたきデータと、予め記憶されたまばたき波形種類の識別用データとに基づき、前記まばたきデータに対応するまばたき波形の種類を識別するまばたき波形識別手段と、
所定期間において測定された前記眼電図(EOG)波形に対応する前記まばたき波形識別手段の識別結果に基づき、前記所定期間の前記まばたき波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、
前記出現頻度情報生成手段で生成した出現頻度情報に基づき、前記まばたき波形の所定の種類の出現頻度から、前記対象者の覚醒状態を判定する覚醒状態判定手段と、を備えることを特徴とする覚醒状態判定装置。 - 前記まばたき波形の所定の種類の出現頻度は、前記まばたき波形の複数種類の出現頻度であることを特徴とする請求項13記載の覚醒状態判定装置。
- 対象者のまばたき時の眼電図(EOG)波形を測定するまばたき眼電図波形測定手段と、
前記眼電図(EOG)波形のデータである眼電図(EOG)波形データから抽出される特徴量データを入力とし、当該特徴量データに対応するまばたき波形種類の識別データを出力とするパターンモデルと、
前記まばたき眼電図波形測定手段で測定された眼電図(EOG)波形のデータである眼電図(EOG)波形データから、特徴量データを抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対するまばたき波形種類を識別するまばたき種類識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき種類識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図(EOG)波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成するまばたき波形種類出現頻度情報生成手段と、
前記まばたき波形種類出現頻度情報生成手段で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判断する覚醒状態判断手段と、を備えることを特徴とする覚醒状態判断装置。 - 対象者のまばたき時の少なくとも片眼全体の動画像を含むまばたき映像を撮影するまばたき映像撮影手段と、
前記まばたき映像のデータであるまばたき映像データから抽出される特徴量データを入力とし、当該特徴量データに対応するまばたき波形種類の識別データを出力とするパターンモデルと、
前記まばたき映像撮影手段で撮影したまばたき映像のデータであるまばたき映像データから特徴量データを抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対するまばたき波形種類を識別するまばたき種類識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき種類識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図(EOG)波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成するまばたき波形種類出現頻度情報生成手段と、
前記まばたき波形種類出現頻度情報生成手段で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判断する覚醒状態判断手段と、を備えることを特徴とする覚醒状態判断装置。 - 請求項12又は請求項13記載の覚醒状態判定装置と、
前記覚醒状態判定装置における前記覚醒状態の判定結果に基づき、前記対象者に警告を与える警告手段と、を備えることを特徴とする警告装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006142582A JP4864541B2 (ja) | 2006-05-23 | 2006-05-23 | まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006142582A JP4864541B2 (ja) | 2006-05-23 | 2006-05-23 | まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007312824A true JP2007312824A (ja) | 2007-12-06 |
JP4864541B2 JP4864541B2 (ja) | 2012-02-01 |
Family
ID=38847242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006142582A Active JP4864541B2 (ja) | 2006-05-23 | 2006-05-23 | まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4864541B2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008088070A1 (ja) * | 2007-01-19 | 2008-07-24 | Asahi Kasei Kabushiki Kaisha | 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置 |
JP2009054101A (ja) * | 2007-08-29 | 2009-03-12 | Saga Univ | 視線入力装置、視線入力方法、及び、視線入力プログラム |
JP2009279099A (ja) * | 2008-05-20 | 2009-12-03 | Asahi Kasei Corp | 瞬目種別識別装置、瞬目種別識別方法、及び瞬目種別識別プログラム |
JP2010273954A (ja) * | 2009-05-29 | 2010-12-09 | Hamamatsu Photonics Kk | 瞬目計測装置及び瞬目計測方法 |
JP2011125691A (ja) * | 2009-11-19 | 2011-06-30 | Panasonic Corp | ノイズ低減装置、眼電位計測装置、眼科診断装置、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがね、ノイズ低減方法及びプログラム |
JP2011523867A (ja) * | 2008-05-28 | 2011-08-25 | エフェクティブ・コントロール・トランスポート・インコーポレイテッド | 微睡み検出方法及び装置 |
EP2410501A1 (en) * | 2009-03-19 | 2012-01-25 | Aisin Seiki Kabushiki Kaisha | Drowsiness assessment device and program |
KR101391374B1 (ko) * | 2012-07-11 | 2014-05-07 | 상명대학교서울산학협력단 | 눈 깜박임 분류 방법 및 이를 적용하는 장치 |
WO2014175161A1 (ja) * | 2013-04-25 | 2014-10-30 | オムロンヘルスケア株式会社 | 月経開始予定日算出装置、プログラムおよび生体分析装置 |
KR101869713B1 (ko) * | 2016-12-30 | 2018-06-21 | (주)씽크포비엘 | 뇌파 정보 기반의 사용성 테스트 방법 및 장치 |
JP2018134274A (ja) * | 2017-02-22 | 2018-08-30 | 株式会社ジンズ | 情報処理方法、情報処理装置及びプログラム |
JP2019025311A (ja) * | 2017-07-28 | 2019-02-21 | パナソニックIpマネジメント株式会社 | データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム |
JP2019082776A (ja) * | 2017-10-30 | 2019-05-30 | 富士通株式会社 | 操作支援方法、操作支援プログラム及び頭部装着型表示装置 |
KR20220051445A (ko) * | 2020-10-19 | 2022-04-26 | 부산대학교 산학협력단 | 머신러닝을 이용한 손상된 망막에서 측정된 망막전위도검사(erg) 신호의 분류 방법 및 이를 이용한 손상된 망막에서 측정된 망막전위도검사(erg) 신호의 분류 시스템 |
JP7416112B2 (ja) | 2022-03-23 | 2024-01-17 | いすゞ自動車株式会社 | 覚醒度判定装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0257433A (ja) * | 1988-08-23 | 1990-02-27 | Omron Tateisi Electron Co | 居眠り検出装置 |
JPH064092A (ja) * | 1992-06-18 | 1994-01-14 | Matsushita Electric Ind Co Ltd | Hmm作成装置、hmm記憶装置、尤度計算装置及び、認識装置 |
JPH07156682A (ja) * | 1993-12-03 | 1995-06-20 | Nissan Motor Co Ltd | 覚醒状態検出装置 |
JPH07249197A (ja) * | 1994-03-10 | 1995-09-26 | Mitsubishi Electric Corp | 人物状態検出装置 |
JPH11318843A (ja) * | 1998-05-21 | 1999-11-24 | Univ Kyoto | 脳波測定方法 |
JP2000040148A (ja) * | 1998-07-24 | 2000-02-08 | Multi Media System Jigyo Kyodo Kumiai | 居眠り運転防止装置 |
JP2002331850A (ja) * | 2001-05-07 | 2002-11-19 | Nissan Motor Co Ltd | 運転行動意図検出装置 |
JP2007502630A (ja) * | 2003-08-21 | 2007-02-15 | ジェフリー バートン,ピーター | 認知処理 |
-
2006
- 2006-05-23 JP JP2006142582A patent/JP4864541B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0257433A (ja) * | 1988-08-23 | 1990-02-27 | Omron Tateisi Electron Co | 居眠り検出装置 |
JPH064092A (ja) * | 1992-06-18 | 1994-01-14 | Matsushita Electric Ind Co Ltd | Hmm作成装置、hmm記憶装置、尤度計算装置及び、認識装置 |
JPH07156682A (ja) * | 1993-12-03 | 1995-06-20 | Nissan Motor Co Ltd | 覚醒状態検出装置 |
JPH07249197A (ja) * | 1994-03-10 | 1995-09-26 | Mitsubishi Electric Corp | 人物状態検出装置 |
JPH11318843A (ja) * | 1998-05-21 | 1999-11-24 | Univ Kyoto | 脳波測定方法 |
JP2000040148A (ja) * | 1998-07-24 | 2000-02-08 | Multi Media System Jigyo Kyodo Kumiai | 居眠り運転防止装置 |
JP2002331850A (ja) * | 2001-05-07 | 2002-11-19 | Nissan Motor Co Ltd | 運転行動意図検出装置 |
JP2007502630A (ja) * | 2003-08-21 | 2007-02-15 | ジェフリー バートン,ピーター | 認知処理 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4805358B2 (ja) * | 2007-01-19 | 2011-11-02 | 旭化成株式会社 | 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置 |
WO2008088070A1 (ja) * | 2007-01-19 | 2008-07-24 | Asahi Kasei Kabushiki Kaisha | 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置 |
US8400313B2 (en) | 2007-01-19 | 2013-03-19 | Asahi Kasei Kabushiki Kaisha | Vehicle driver sleep state classification generating device based on Hidden Markov Model, sleep state classification device and warning device |
EP2363067A1 (en) * | 2007-01-19 | 2011-09-07 | Asahi Kasei Kabushiki Kaisha | Arousal state classification model generating device, arousal state classifying device, and warning device |
JP2009054101A (ja) * | 2007-08-29 | 2009-03-12 | Saga Univ | 視線入力装置、視線入力方法、及び、視線入力プログラム |
JP2009279099A (ja) * | 2008-05-20 | 2009-12-03 | Asahi Kasei Corp | 瞬目種別識別装置、瞬目種別識別方法、及び瞬目種別識別プログラム |
JP2011523867A (ja) * | 2008-05-28 | 2011-08-25 | エフェクティブ・コントロール・トランスポート・インコーポレイテッド | 微睡み検出方法及び装置 |
EP2410501A4 (en) * | 2009-03-19 | 2013-05-29 | Aisin Seiki | DEVICE AND PROGRAM FOR ESTIMATING SOMNOLENCE |
EP2410501A1 (en) * | 2009-03-19 | 2012-01-25 | Aisin Seiki Kabushiki Kaisha | Drowsiness assessment device and program |
JP2010273954A (ja) * | 2009-05-29 | 2010-12-09 | Hamamatsu Photonics Kk | 瞬目計測装置及び瞬目計測方法 |
JP2011125691A (ja) * | 2009-11-19 | 2011-06-30 | Panasonic Corp | ノイズ低減装置、眼電位計測装置、眼科診断装置、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがね、ノイズ低減方法及びプログラム |
KR101391374B1 (ko) * | 2012-07-11 | 2014-05-07 | 상명대학교서울산학협력단 | 눈 깜박임 분류 방법 및 이를 적용하는 장치 |
WO2014175161A1 (ja) * | 2013-04-25 | 2014-10-30 | オムロンヘルスケア株式会社 | 月経開始予定日算出装置、プログラムおよび生体分析装置 |
KR101869713B1 (ko) * | 2016-12-30 | 2018-06-21 | (주)씽크포비엘 | 뇌파 정보 기반의 사용성 테스트 방법 및 장치 |
JP2018134274A (ja) * | 2017-02-22 | 2018-08-30 | 株式会社ジンズ | 情報処理方法、情報処理装置及びプログラム |
WO2018155098A1 (ja) * | 2017-02-22 | 2018-08-30 | 株式会社ジンズ | 情報処理方法、情報処理装置及びプログラム |
US11006873B2 (en) | 2017-02-22 | 2021-05-18 | Jins Holdings Inc. | Calculating a score of a degree of arousal of a user |
JP2019025311A (ja) * | 2017-07-28 | 2019-02-21 | パナソニックIpマネジメント株式会社 | データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム |
JP7336755B2 (ja) | 2017-07-28 | 2023-09-01 | パナソニックIpマネジメント株式会社 | データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム |
JP2019082776A (ja) * | 2017-10-30 | 2019-05-30 | 富士通株式会社 | 操作支援方法、操作支援プログラム及び頭部装着型表示装置 |
KR20220051445A (ko) * | 2020-10-19 | 2022-04-26 | 부산대학교 산학협력단 | 머신러닝을 이용한 손상된 망막에서 측정된 망막전위도검사(erg) 신호의 분류 방법 및 이를 이용한 손상된 망막에서 측정된 망막전위도검사(erg) 신호의 분류 시스템 |
KR102434188B1 (ko) | 2020-10-19 | 2022-08-19 | 부산대학교 산학협력단 | 머신러닝을 이용한 손상된 망막에서 측정된 망막전위도검사(erg) 신호의 분류 방법 및 이를 이용한 손상된 망막에서 측정된 망막전위도검사(erg) 신호의 분류 시스템 |
JP7416112B2 (ja) | 2022-03-23 | 2024-01-17 | いすゞ自動車株式会社 | 覚醒度判定装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4864541B2 (ja) | 2012-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4864541B2 (ja) | まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置 | |
JP4805358B2 (ja) | 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置 | |
JP5326521B2 (ja) | 覚醒状態判断装置及び覚醒状態判断方法 | |
US7948387B2 (en) | Drowsiness determination apparatus, program, and method | |
Ji et al. | Fatigue state detection based on multi-index fusion and state recognition network | |
CN109460703B (zh) | 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法 | |
JP2007006427A (ja) | 映像監視装置 | |
Yimyam et al. | The System for Driver Fatigue Monitoring Using Decision Tree via Wireless Sensor Network for Intelligent Transport System. | |
JP2010155072A (ja) | 覚醒度判定装置および覚醒度判定方法 | |
Triyanti et al. | Challenges in detecting drowsiness based on driver’s behavior | |
Salzillo et al. | Evaluation of driver drowsiness based on real-time face analysis | |
Khan et al. | Efficient Car Alarming System for Fatigue Detectionduring Driving | |
Walizad et al. | Driver drowsiness detection system using convolutional neural network | |
JPH08225028A (ja) | 運転者の覚醒度検出装置 | |
Caryn et al. | Driver drowsiness detection based on drivers’ physical behaviours: a systematic literature review | |
Asirvadam et al. | Fractal dimension and power spectrum of electroencephalography signals of sleep inertia state | |
Manjula et al. | Driver inattention monitoring system based on the orientation of the face using convolutional neural network | |
CN114399752A (zh) | 一种基于微眼跳特性的眼动多特征融合疲劳检测***及检测方法 | |
Khadkikar et al. | A Comparative Study of Driver Drowsiness Detection Techniques | |
Purohit et al. | An Artificial Intelligence based Prototype of Drıver Drowsıness Detectıon for Intelligent Vehicles | |
Kalisetti et al. | Analysis of driver drowsiness detection methods | |
Fernandes | Driver drowsiness detection using non-intrusive eletrocardiogram and steering wheel angle signals | |
Golz et al. | Detection and prediction of driver’s microsleep events | |
de Oliveira | Driver drowsiness detection using non-intrusive signal acquisition | |
Lipatova et al. | Researching Effective Systems and Methods for Detecting Drowsiness |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111018 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111109 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4864541 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |