JP6780616B2 - 瞬き検出装置 - Google Patents

瞬き検出装置 Download PDF

Info

Publication number
JP6780616B2
JP6780616B2 JP2017167643A JP2017167643A JP6780616B2 JP 6780616 B2 JP6780616 B2 JP 6780616B2 JP 2017167643 A JP2017167643 A JP 2017167643A JP 2017167643 A JP2017167643 A JP 2017167643A JP 6780616 B2 JP6780616 B2 JP 6780616B2
Authority
JP
Japan
Prior art keywords
eyelid
threshold value
threshold
value
index value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017167643A
Other languages
English (en)
Other versions
JP2019042048A (ja
Inventor
理比古 吉井
理比古 吉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017167643A priority Critical patent/JP6780616B2/ja
Priority to US16/049,095 priority patent/US11045115B2/en
Priority to DE102018119223.1A priority patent/DE102018119223A1/de
Priority to CN201810888246.5A priority patent/CN109419507B/zh
Publication of JP2019042048A publication Critical patent/JP2019042048A/ja
Application granted granted Critical
Publication of JP6780616B2 publication Critical patent/JP6780616B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/398Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7282Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Developmental Disabilities (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、人間の瞬き(瞬目)を検出する装置に係り、より詳細には、人間の眼球電図(EOG:Electrooculogram)等の瞼の開閉運動に於ける瞼の状態を表す波形に於いて瞬きを検出する装置に係る。
人間の瞬きの発生頻度やその変化は、人間の眠気の程度に関連していることから、人間の眠気を検知するなどの目的で、人間の瞬きを検知する技術が提案されている。人間の瞬きの検出の方法としては、人間の瞼を撮像し、その撮影画像に於いて瞼の開閉を検出する方法の他、眼の周辺に電極を装着し、瞼の開閉に伴う網膜と角膜の間の電位差(眼電位)を検出するEOG法(眼球電図法)が知られている。EOG法に於いては、端的に述べれば、瞼の開閉運動が発生すると、図6(A)に模式的に描かれている如く、眼電位の一時的な変化が発生するので、そのような眼電位変化を時系列に計測された眼電位データに於いて捉えることにより、瞬きが検知される。この点に関し、非特許文献1に於いては、かかる瞬目に伴う眼電位変化を自動検出するアルゴリズムの一つとして、眼電位の時系列データの微分値を算出し、眼電位の微分値の波形に於いて、図6(B)に示されている如く、値が、所定の時間(0.2秒程度)内にマイナス側とプラス側の閾値を連続して超えた波形の部分を瞬きとして検出することが提案されている。特許文献1では、眼電位の微分値の時系列データの波形に於いて瞬目を検知する装置であって、眼電位の微分値が上閾値を上回った後に上閾値から下閾値まで所定時間内に変化したとき又は下閾値を下回った後に下閾値から上閾値まで所定時間内に変化したときにその眼電位の微分値の変化を瞬目波形として検出する装置に於いて、上閾値及び下閾値として、眼電位の微分値の周波数特性を表す周波数特性値に基づいて設定された閾値用係数に眼電位の微分値の標準偏差を乗じて得られた数を用い、瞬目波形の検出精度の向上を図ることが提案されている。
特開2017−42269
「瞬目の自動検出と瞬目波形解析」湯瀬裕昭、田多英興 人間工学 Vol.30 No.5 P331−337
上記の如き瞬きを検出する技術は、一般的には、眼電位を検出するセンサや瞼を撮像するカメラなどを用いて瞼の開閉運動に於ける瞼の状態又は位置を表す指標値が時系列に計測され、瞼の開いているときの指標値(ベースライン)に対する瞼の閉じられたときの指標値の変化が「閾値」を越えたときに(即ち、瞼の閉じられたときの指標値が瞼の開いているときの指標値(ベースライン)から上向きに変位する場合には、指標値が「閾値」を越えて上に変位したときに、瞼の閉じられたときの指標値が瞼の開いているときの指標値(ベースライン)から下向きに変位する場合には、指標値が「閾値」を越えて下に変位したときに)、瞬きが発生したと判定されるよう構成される。かかる瞬き検出技術に於いて、瞬き発生の判定基準となる「閾値」の設定に於いては、典型的には、予め、目視による瞼の開閉運動の観察と指標値の変化とを照合して、瞼が開状態から閉状態へ遷移したときの指標値として予め特定された値が「閾値」として設定され、例えば、車両の運転中の運転者の瞬きの検出を行う場合など、実際の被検者の瞬きの検出に於いて使用される。
しかしながら、上記の如く予め設定された閾値は、或る値に固定されたままの場合、瞬きの検出処理の開始直後では、最適であったとしても、被検者の実際の瞬きの検出処理を開始した後で、被検者の体調変化やその他の様々な要因によって、もし指標値の基準となるベースラインの変動や瞬き発生時の指標値の変化幅の変動が生じてしまうと、瞬きの発生を正しく検出することに利用できなくなってしまう場合が起き得る。従って、そのような場合に備えて、瞬きを検出する装置に於いて、被検者の実際の瞬きの検出処理の開始後にも適切な閾値を設定し直すことが可能な構成があると便利である。
かくして、本発明の一つの課題は、瞼の開閉運動に於ける瞼の状態を表す指標値を時系列に計測し、指標値が閾値を越えて上に又は下に変位したときに瞬きが発生したと判定する瞬き検出装置に於いて、瞬き検出処理開始後に於いても適切な閾値を設定できる構成を提供することである。
また、上記の如き装置に於いて、瞬き検出処理開始後の閾値の設定は、適切なタイミングで実行されることが好ましい。そこで、本発明の更なる課題は、上記の如き装置であって、閾値の設定が適時に実行できるよう構成された装置を提供することである。
本発明によれば、上記の課題は、瞬き検出装置であって、
被検者の目に於ける瞼の開状態と閉状態との間に於ける状態を表す瞼状態指標値を時系列に計測する瞼状態指標値計測手段と、
前記被検者の前記瞼が開状態にある場合の前記瞼状態指標値の基準値であるベースラインからの前記計測された瞼状態指標値の変化幅が前記ベースラインからの閾値の大きさを越えたときに瞬きが発生したと判定する瞬き判定手段と、
前記閾値を設定する閾値設定手段にして、前記時系列に計測された瞼状態指標値を記憶する記憶手段と、複数の互いに大きさの異なる仮閾値の各々に対して所定の期間に亙る前記記憶された時系列に計測された瞼状態指標値に於ける該瞼状態指標値の前記ベースラインからの変化幅が前記ベースラインからの前記仮閾値の大きさを越える回数を計数する計数手段と、前記仮閾値に対する前記回数の変化が極小となるときの仮閾値を前記閾値として選択する閾値選択手段とを含む閾値設定手段と
を含む装置によって達成される。
上記の構成に於いて、「瞼状態指標値」は、典型的には、眼電位であってよく、その場合、「瞼状態指標値計測手段」は、任意の態様にて、瞼の開閉に伴う網膜と角膜の間の電位差を計測できるように眼の周辺に装着された少なくとも一対の電極間の電位差を計測する「眼電位計測手段」であり、電極間の電位差、即ち、眼電位、の信号は、A/D変換されて、その後の処理に用いられる。この場合、瞼が開状態にある場合の眼電位の値に対して、瞬きが発生したとき、即ち、瞼が開状態から閉状態となった場合の眼電位の変化の方向が正側となるか負側となるかは、被検者に於ける電極の配置によって決定される。本発明に於いては、瞬きが発生したときの眼電位の変化が正側である場合も負側である場合も含まれることは理解されるべきである。なお、「瞼状態指標値」は、眼電位の時間微分値であってもよい。また、別の態様に於いて、「瞼状態指標値」は、被検者の目の画像に於ける瞼の開度(上瞼と下瞼の距離若しくは下瞼に対する上瞼の位置)を表す指標値であってもよい。その場合、「瞼状態指標値計測手段」は、被検者の目を撮像するカメラと、その目の画像に於いて上瞼と下瞼との位置を任意の手法の画像処理により検出して瞼の開度を検出する手段であってよい。この場合、瞼が開状態から閉状態となった場合の瞼の開度の変化の方向は、正側となるか負側となるかは、瞼の開度の定義によるところ、本発明に於いては、瞬きが発生したときの瞼の開度の変化が正側である場合も負側である場合も含まれることは理解されるべきである。なお、「瞼状態指標値」は、瞼の開度の時間微分値であってもよい。重要なことは、瞼が開状態のときから閉状態となった場合に、「瞼状態指標値」が変位するということである。
更に、上記の構成に於いて、「ベースライン」とは、上記の如く、被検者の瞼が開状態にある場合の瞼状態指標値の基準値であってよく、典型的には、瞼が開状態にある場合に計測された瞼状態指標値の時間平均値などであってよい。ここで瞼が開状態にある場合に計測された瞼状態指標値は、通常、目視により瞼が開状態にあることが確認された期間に於いて予め計測された瞼状態指標値であってよい。なお、瞼状態指標値が眼電位又はその時間微分値であるときには、ベースラインは、瞼が開状態にある場合の瞼状態指標値の基準値として単に0Vに設定されてもよく、その場合も本発明の範囲に属することは理解されるべきである。かくして、上記の瞼状態指標値は、典型的には、瞼が開状態のときには、ベースライン近傍に推移し、瞼が閉状態となったとき、即ち、瞬きが発生したときに、上方向(正側)に又は下方向(負側)に、ベースラインから或る幅を越えて変化することとなる。また、「ベースラインからの閾値の大きさ」とは、ベースラインと閾値との差分の大きさに相当する。従って、本発明の装置では、上記の如く、ベースラインからの瞼状態指標値の変化幅がベースラインからの閾値の大きさを越えたときに瞬きが発生したと判定できることとなる。なお、実施の形態に於いて、瞬き発生時に瞼状態指標値がベースラインから正側に変位する場合には、瞼状態指標値が閾値を上回ると、瞼状態指標値のベースラインからの変化幅がベースラインからの閾値の大きさを越えることとなるので、瞼状態指標値が閾値を上回ったときに、瞬きが発生したと判定されてよい。また、瞬き発生時に瞼状態指標値がベースラインから負側に変位する場合には、瞼状態指標値が閾値を下回ると、瞼状態指標値のベースラインからの変化幅がベースラインからの閾値の大きさを越えることとなるので、瞼状態指標値が閾値を下回ったときに、瞬きが発生したと判定されてよい。
しかしながら、上記の本発明の如き瞬き検出装置の構成に於いて、瞬き発生の判定基準となる「閾値」は、既に触れた如く、或る値に固定されたままの状態では、ベースラインの変動や瞬き発生時の指標値の変化幅の変動が生じたときに、瞬きの発生を精度良く検出できなくなってしまう場合がある。より詳細には、瞼状態指標値に於いては、異常な事象が発生しない限り、瞬きが発生したときに、瞼状態指標値が最も大きく且つ或る概ね一定の幅にてベースラインから変位することとなるところ(瞼状態指標値に於いて、瞬き発生時よりもその値が大きく変動することは、通常、発生しない)、このような変化をする瞼状態指標値に於いて、瞬きの発生に対応するベースラインからの瞼状態指標値の変化幅に対してベースラインからの閾値の大きさが過小になってしまうときには、瞬きの発生ではない瞼状態指標値の変化を瞬きとして誤検出してしまうこととなり、ベースラインからの閾値の大きさが過大になってしまうときには、瞬きの発生の検出漏れが生じてしまうこととなる。
そこで、上記の本発明の装置に於いては、上記の如く、「閾値を設定する閾値設定手段」が設けられ、適時、閾値が適正な値に更新できるようになっている。かかる「閾値設定手段」は、具体的には、上記の如く、時系列に計測された瞼状態指標値を記憶する「記憶手段」と、複数の互いに大きさの異なる仮閾値の各々に対して所定の期間に亙る瞼状態指標値のベースラインからの変化幅がベースラインからの仮閾値の大きさ(ベースラインと仮閾値との差分の大きさ)を越える回数を計数する「計数手段」と、仮閾値に対する回数の変化が極小となるときの仮閾値を閾値として選択する「閾値選択手段」とを含む「閾値設定手段」とから構成される。即ち、「閾値設定手段」に於いては、まず、所定の期間に亙って記録された瞼状態指標値に於いて、仮閾値を変更しながら、瞼状態指標値のベースラインからの変化幅がベースラインからの仮閾値の大きさを越える回数、謂わば、「仮の瞬きの発生回数」をそれぞれの仮閾値に対して計数し、次いで、仮の瞬きの発生回数の変化が極小となる仮閾値を検出して、その仮閾値が瞬き発生の判定基準となる「閾値」として更新されることとなる。
上記の閾値設定手段の構成によれば、瞬き検出処理開始後に於いても、それまでに計測された瞼状態指標値を用いて「閾値」をより適切な値へ更新することが可能となる。即ち、本発明の如きベースラインからの瞼状態指標値の変化幅がベースラインからの閾値の大きさを越えたことで瞬きの発生を検出する構成に於いては、既に触れた如く、ベースラインからの閾値の大きさが過小なときには、瞬きの発生の誤検出が多くなり、ベースラインからの閾値の大きさが過大なときには、瞬きの発生の検出漏れが多くなるところ、「閾値」が適正な値であれば、瞬きの発生の誤検出も検出漏れも少なくなり、検出回数が安定すると考えられる。従って、検出回数が安定する「閾値」、即ち、仮の瞬きの発生回数の変化が極小となるときの仮閾値が適正な「閾値」として採用できることとなる。実際、後の実施形態の欄に於いて説明される如く、上記の如く選択された「閾値」を用いると、瞬きを精度良く検出できることが示されている。
上記の本発明の装置の実施の態様に於いて、計数手段は、所定幅ずつ仮閾値を変化させながら或いは仮閾値を掃引させながら、各仮閾値に対する瞼状態指標値のベースラインからの変化幅がベースラインからの仮閾値の大きさを越える回数を計数するようになっていてよい。その場合、閾値選択手段に於いて、一つの態様に於いては、仮閾値のうち、仮閾値の所定幅の変化に対する回数の差分が極小となるときの仮閾値が閾値として選択されるようになっていてよい。また、閾値選択手段に於いて、別の態様に於いては、仮閾値のうち、隣接する所定の数、例えば、5つ、の仮閾値に対する回数の標準偏差が極小となるときの仮閾値が閾値として選択されてよい。要すれば、仮閾値に対して、瞼状態指標値のベースラインからの変化幅がベースラインからの仮閾値の大きさを越える回数のヒストグラムを生成した場合に、ヒストグラムが最も平坦になるところの仮閾値が閾値として選択されればよいこととなる。
また、上記の本発明の装置の構成に於いて、閾値の設定に使用される瞼状態指標値の「所定の期間」は、装置の設計者又は使用者により任意に設定されてよい。例えば、「所定の期間」は、所定の時間の長さであってよい。この場合、「所定の時間の長さ」は、精度良く閾値の設定が達成できる量の瞼状態指標値が含まれる時間の長さに設定されてよい。或いは、瞬き判定手段により判定された瞬きの発生回数が所定の回数に到達するまでの期間であってもよい。ここで、「所定の回数」は、閾値の設定が十分な精度にて達成できる瞬きの回数であってよい。更に、上記の本発明の装置の構成に於いて、閾値設定手段は、前記の所定の期間の経過毎に閾値を設定し直すようになっていてよく、好適には、閾値が適時更新できるようになっていてよい。
かくして、上記の本発明の構成に於いては、瞼状態指標値を時系列に計測し、瞼状態指標値のベースラインからの変化幅がベースラインからの閾値の大きさを越えたときに瞬きが発生したと判定する瞬き検出装置に於いて、適正な閾値が設定されていると、瞬きの発生の誤検出と検出漏れとが低減され、適正な閾値の近傍では、計数される瞬きの発生回数が安定するとの統計的な知見に基づき、閾値が適正な値に更新できることとなる。かかる構成によれば、車両の運転中の運転者の瞬きの検出、或いは、デスクワークを行っている被検者の瞬きの検出などを行う場合に、瞬き検出処理開始後に於いて、ベースラインの変動や瞬き発生時の指標値の変化幅の変動が生じても、閾値が、適時、適正な値に更新できることとなるので、より精度の良い瞬きの検出が達成できることとなる。また、本発明の装置の構成によれば、閾値の更新処理は瞬き検出処理の実行中に於いて並行して実行できるので、閾値の更新のために瞬き検出処理を中断しなくてもよく、長時間の連続的な瞬きの検出が可能となる。
本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。
図1(A)は、EOG法により得られる瞬き発生中の眼電位の変化を模式的に示した図である。図1(B)は、本発明の瞬き検出装置の構成を模式的に表した図である。 図2(A)は、本発明の教示に従って、所定の期間に亙って記録された瞼状態指標値(眼電位)に対して仮閾値の大きさ毎に仮りの瞬き回数(瞼状態指標値が仮閾値を超える回数)を計数する様子を模式的に表した図である。図2(B)は、仮閾値に対する仮の瞬き回数をプロットして得られた仮りの瞬き回数のヒストグラム(棒グラフ)と、仮りの瞬き回数を表す曲線ftと、仮閾値に対する仮りの瞬き回数の変化を表す曲線Δftとの例を示している。図2(C)は、典型的な眼電位の時間変化の例を示しており、図2(B)の仮閾値に対する仮りの瞬き回数の変化の極小値のときの仮閾値を閾値に設定すると、精度良く瞬きが検出できることを例示したものである。 図3(A)は、目視により確認された瞬き発生とセンサにより計測された眼電位から判定された瞬き発生とを照合する様子を示している。図中、「OK」は、目視確認された瞬き発生が眼電位からでも検出できたこと(正答)を示しており、「NG」は、目視確認された瞬き発生がセンサの眼電位から検出できない場合(検出漏れ)及びセンサの眼電位に於いて瞬きが誤って検出された場合(誤検出)を示している。図3(B)は、センサにより計測された眼電位に対する仮閾値を変更しながら検出率(目視確認された瞬き発生回数に対する眼電位に於いて検出された瞬き回数の比)と、誤検出率(眼電位に於いて瞬きとして検出された回数に対する誤った検出の回数の比)とを算出し、誤検出率に対して検出率をプロットした図である。検出率1.0、誤検出率0の点から最も近いプロットの仮閾値が最適な閾値となる。 図4は、本実施形態に於ける瞬き検出の処理の例をフローチャートの形式にて示した図である。 図5(A)は、本実施形態に於ける閾値設定監視処理の例をフローチャートの形式にて示した図である。図5(B)は、図5(A)の処理に於ける閾値設定処理の例をフローチャートの形式にて示した図である。 図6(A)、(B)は、それぞれ、従来例に於けるEOG法により得られる瞬目発生中の眼電位の変化と、その微分値を模式的に示した図である。眼電位の変化方向が図1(A)と逆である理由は、陽極と陰極の配置が図1の場合とは逆となっているためである。 図7(A)、(B)は、それぞれ、典型的な眼電位の時間変化を瞬き検出の判定基準となる閾値と共に示した図である。図7(A)に於いては、左の段階では、設定された閾値により、瞬きが発生した際の眼電位変化Bを検出できるが、右の段階では、ベースラインが上昇してしまい、設定された閾値では、誤検出Xが多くなる例が示されている。図7(B)に於いては、左の段階では、設定された閾値により、瞬きが発生した際の眼電位変化Bを検出できるが、右の段階では、ベースラインが下降してしまい、設定された閾値では、検出漏れYが多くなる例が示されている。
1…被検者
2…被検者の目
3…信号処理装置
以下に添付の図を参照しつつ、本発明を幾つかの好ましい実施形態について詳細に説明する。図中、同一の符号は、同一の部位を示す。
装置の構成
本発明の瞬き検出装置の好ましい実施形態の一つでは、基本的な構成に於いて、特許文献1の場合と同様に、EOG法によって被検者の眼電位が計測される。眼電位は、図1(A)に模式的に示されている如く、瞼の開閉運動に於いて瞼の状態に応じて変化し、瞼が全開状態である場合と全閉状態である場合との間で略一定の幅の電位差が生ずることが知られており(以下、瞼が全開状態であるときを「開状態」と言い、瞼が全閉状態であるときを「閉状態」と言うものとする。)、瞼の状態を表す指標値、即ち、瞼状態指標値として参照できるので、その眼電位の時系列データに於いて、被検者の瞼が開状態である場合の電位を基準値、即ち、ベースラインとして、そこからの眼電位の変位幅が、開状態と閉状態との間の電位差に概ね相当するか或いはそれよりもやや小さめに設定された閾値の大きさを越えたときに、被検者の瞼が閉状態となり、瞬きが発生したとして判定することにより瞬きが検出できることとなる。
本実施形態の瞬き検出装置の構成に於いては、図1(B)を参照して、まず、被検者の顔面1の目及び瞼2の周囲に少なくとも一対の電極EL1、EL2が貼着され、かかる電極間の電位差が眼電位信号として逐次的に信号処理装置3へ送られる。信号処理装置3に於いては、「前処理部」にて電極からの眼電位信号が、後段の処理に適応可能な形式に変換されるべく、逐次的にディジタル化等の処理が為され、かかる処理が施された眼電位信号は、「瞬き検出部」と「データ保存部」とへ送られる。瞬き検出部に於いては、後に説明される態様にて眼電位信号と閾値とを比較して、瞬きの発生が検出される。一方、データ保存部へ送られた眼電位信号は、一旦そこに保存され蓄積され、その後、瞬き検出部にて利用される閾値を設定するための「閾値設定部」にて利用される。閾値設定部は、後に詳細に説明される如く、所定の期間に亙って得られた眼電位信号を用いて、瞬き発生の検出に最適な閾値を決定して設定し、設定された閾値が瞬き検出部にて参照される。また、本実施形態の瞬き検出装置では、瞬き検出処理の実行中に於いても、所定の期間毎に閾値設定部により閾値が更新されるよう構成されていてよく、かかる所定の期間の経過を監視するための「監視部」が設けられていてよい。監視部は、タイマからの時刻及び/又は瞬き検出部に於いて検出された瞬きの回数を参照して、後に説明する態様にて閾値設定部に対して閾値設定処理実行の指示(閾値設定フラグ)を与えるよう構成されていてよい。更に、瞬き検出の結果は、例えば、眠気判定のための任意の装置(図示せず)へ送信され、或いは、例えば、ディスプレイ(図示せず)へ送信されて表示されるようになっていてよい。信号処理装置3は、典型的には、コンピュータ装置であってよく、通常の態様にて、図示していない双方向コモン・バスにより相互に連結されたCPU、記憶装置、入出力装置(I/O)が装備され、瞬き検出装置の各部の作動は、CPUに於いてプログラムを実行することにより達成されることとなる。
なお、図1(A)に於いては、瞼状態指標値として使用される眼電位に於いて、瞼の閉状態の眼電位が瞼の開状態に対して変化する方向は正側であるが、かかる変化の方向は被検者の顔面1に貼着される電極EL1、EL2の配置によって決定されるので、その配置によっては、瞼の閉状態の眼電位の変化の方向が負側になってもよい(図6(A)参照。その場合、閾値は、ベースラインの下側に設定される。)。また、瞬き検出に使用される瞼状態指標値は、図示の如き眼電位自体の時系列データであってもよく、その時間微分値の時系列データであってもよい。その場合、瞬き発生時の瞼状態指標値の変化は、正側と負側の双方に発生するので(図6(B)参照)、ベースラインは略0に設定され、閾値は、正側と負側のいずれか一方又は両方に設定されてよい。更に、瞼状態指標値は、カメラ(図示せず)にて撮像された被検者の目の画像から任意の画像処理の手法にて上瞼と下瞼との位置を検出して得られた上瞼−下瞼間の距離であってもよい。その場合、前処理部にて、カメラ画像から上瞼−下瞼間の距離の計測までの処理が実行され、上瞼−下瞼間の距離の時系列データが「瞬き検出部」と「データ保存部」とへ送られる。瞼状態指標値として上瞼−下瞼間の距離を用いる場合、瞼の開状態での距離がベースラインとして設定され、閾値は、瞼の閉状態に相当する距離(=0)かそれよりもやや大きい値に設定されることとなる。いずれの場合も本発明の範囲に属することは理解されるべきである
瞬きの検出及び閾値の設定の原理
本実施形態の装置による瞬き検出に於いては、上記の如く、逐次的に計測された瞼状態指標値のベースラインからの変化幅がベースラインからの閾値の大きさを越えたとき、瞬きの発生が判定される。この点に関し、瞼状態指標値として実際に使用される被検者の眼電位などに於いては、瞬き発生時の瞼状態指標値の変化幅に或る程度のばらつきがあり、また、瞬きに因る値の変化の他に、眼球運動等の他の要因による変化も発生するので、閾値は、好ましくは、瞬き以外の変化を誤って瞬きとして検出することができるだけ少なくなるように、即ち、誤検出ができるだけ少なくなるように、且つ、実際に発生した瞬きをできるだけ漏れなく検出できるように、即ち、できるだけ検出漏れが少なく、できるだけ全ての瞬きが検出できるように調節される。
また、「発明の概要」に於いても述べた如く、或る閾値は、瞬きの検出処理の開始直後では、適切に瞬き発生の検出に利用できたとしても、その後の被検者の体調変化やその他の様々な状況の変化に起因して精度良く瞬き発生を検出することに利用できなくなってしまう場合がある。例えば、図7(A)に例示されている眼電位の波形(瞼の閉状態の値が瞼の開状態の値の正側に変位する波形)の如く、同図左に於いては、瞬きの発生した波形部分Bの全てが設定された閾値を越え、その他の眼電位の変動が閾値を下回っているので、瞬きの発生した波形部分Bのみを選択的に検出できているのに対し、同図右の如く、何らかの要因によって、瞬きの検出処理の実行中にベースラインが上昇してしまうと、瞬き以外の眼電位の変動Xも閾値を越え、かくして、瞬きの誤検出が発生することとなる。また、図7(B)に例示されている眼電位の波形の如く、同図左に於いて瞬きの発生した波形部分Bのみを選択的に検出できているのに対し、同図右の如く、何らかの要因によって、瞬きの検出処理の実行中にベースラインが下降してしまうと、瞬きの発生した波形部分Bのうち、やや振幅の小さい波形Yは、閾値を下回り、検出漏れとなってしまう。このような瞬きの検出処理の実行中の状況の変化があっても、できるだけ精度良く瞬きの発生した波形部分Bのみを選択できるようにするには、閾値を或る値に固定してしまうのではなく、適時、最適な値に更新できるようにすればよいであろう。
ところで、図7(A)、(B)に例示されている瞼状態指標値として使用される眼電位の波形に於いて、ベースライン近傍から閾値の大きさが大きくなる方向に掃引したとすると、ベースラインからの閾値の大きさが小さいうちは、瞬きの発生した波形部分Bと共に瞬き以外の眼電位の変動も閾値の大きさを越えるので誤検出が多くなるが、その後、ベースラインからの閾値の大きさが或る程度大きくなると、ベースラインからの閾値の大きさを越える変動は、瞬きの発生した波形部分Bのみとなり、その近傍では閾値が多少増減しても、ベースラインからの閾値の大きさを越える変動の回数の変化が少なくなる。そして、更にベースラインからの閾値の大きさが大きくなると、瞬きの発生した波形部分Bさえもベースラインからの閾値の大きさを越えなくなり、検出漏れが多くなる。こうなる理由は、瞼状態指標値として使用される眼電位等の波形に於いては、それらの特徴として、瞬きの発生した波形部分Bの振幅は、ベースラインが変動しても、(或る程度のばらつきがあるものの)概ね揃っており、且つ、ベースラインに対して重畳している瞬き以外の眼電位の変動振幅よりも或る程度の幅以上に大きいことによる。従って、かかる瞼状態指標値の波形の特徴に着目すると、或る期間に亙る瞼状態指標値の波形に於いて、ベースラインからの仮の閾値(仮閾値)の大きさを徐々に増大しながら、ベースラインからの仮閾値の大きさを越える回数を計数していき、ベースラインからの仮閾値の大きさを越える回数の変化が最も安定するときの仮閾値を検出すれば、その仮閾値が適正な閾値として用いることができると考えられる。
かくして、本実施形態に於いて閾値の設定は、上記の知見に基づいて実行される。具体的には、即ち、図2(A)に模式的に描かれている如く、まず、眼電位等の瞼状態指標値の時系列データの波形(図示の例では、瞼の閉状態の値が瞼の開状態の値の正側に変位する波形)に於いて、仮閾値を0mVから所定の間隔ずつ増大しつつ(仮閾値が小さいときと大きいときとでは、間隔は広く設定されてよく、仮閾値が適正な閾値に近いと想定される範囲では、間隔は細かく設定されてよい。)、それぞれの仮閾値に於いて、ベースラインからの瞼状態指標値の大きさがベースラインからの仮閾値の大きさを越えたときを仮の瞬き発生として判定し、その回数が計数される。そして、仮閾値毎に得られた仮の瞬き発生の回数について、図2(B)に示されている如く、仮閾値に対する仮の瞬き発生の回数のヒストグラムを生成し、仮の瞬き発生の回数を表す曲線ftの一番平らな部位、即ち、仮の瞬き発生の回数の変化曲線Δftの極小minΔftを与える仮閾値が適正な閾値として選択されてよい。
仮の瞬き発生の回数を表す曲線ftの一番平らな部位若しくは仮の瞬き発生の回数の変化曲線Δftの極小minΔftは、任意の手法で検出されてよい。一つの態様に於いては、仮閾値をa,a,…,a,…,aとしたときに、仮の瞬き発生の回数ft(a)の差分Δftを
Δft=ft(a)−ft(at−1
と定義し、Δftの極小値minΔftを与える仮閾値aが適正な閾値として選択されてよい。また、別の態様に於いては、ft(a)を中心とした数個ずつの標準偏差、例えば、ft(at−2),ft(at−1),ft(a),ft(at+1),ft(at+2)の標準偏差を全ての仮閾値について算出し、標準偏差が最小となる仮閾値aが適正な閾値として選択されてよい(変化が小さいほど、標準偏差が小さくなるため。)。
なお、図2(B)のヒストグラムは、瞼状態指標値として瞼の閉状態の値が開状態の値の正側に変位する眼電位波形の実際の例を用いて得られたヒストグラムであり、minΔftを与える閾値は、76mVとなった。図2(C)は、図2(B)のヒストグラムの生成に利用した眼電位波形の一部であり、同図から理解される如く、上記の閾値の設定手法によって決定された仮閾値を閾値に設定すると、瞬き発生の波形のみが選択的に閾値を越えることが確認された。
更に、上記の本実施形態による閾値の設定手法によって決定された閾値の妥当性を確認するために、下記の如く、被検者の眼電位の時系列データ(瞬き発生時に値がベースラインから正側に変位するデータ)に於いて検出された瞬き発生と、ビデオカメラにより撮影された被検者の目の周辺の映像に於いて目視によって確認された瞬き発生とを照合して、眼電位の時系列データに於ける瞬き発生の検出に適正に利用される閾値が上記の閾値の設定手法によって決定された閾値と略一致することを検証した。
具体的には、検証の手順は次の通りとした。
(i)被検者の眼電位の時系列データの計測と同時に被検者の目の周辺をビデオカメラにより撮影し映像を記録した。
(ii)記録されたビデオカメラの映像に於いて、瞬きの発生した期間(閉眼期間)を目視により確認して検出した。(図3(A)上段)
(iii)被検者の眼電位の時系列データに於いて閾値を0mVから300mVまで変化させながら、閾値毎に、閾値を超えている期間を瞬きの発生した期間(閉眼期間)として検出した。(図3(A)下段)
(iv)閾値毎に、眼電位の時系列データにて検出された閉眼期間と、ビデオカメラの映像にて目視確認より検出された閉眼期間とを照合し、両者の閉眼期間が少なくとも一部にて重なっていた場合は、正答(OK)とし、ビデオカメラの映像にて目視確認より検出された閉眼期間が眼電位の時系列データにて検出されていない場合は、検出漏れ(NG)とし、ビデオカメラの映像にて目視確認より閉眼期間が検出されていないときに眼電位の時系列データにて閉眼期間が検出されていた場合は、誤検出(NG)として、それぞれを計数した(図3(A)上下段)。
(v)閾値毎に、検出率として、ビデオカメラの映像にて目視確認より検出された閉眼期間の数に対する正答(OK)の数の比を算出し、誤検出率として、眼電位の時系列データにて検出された閉眼期間の数に対する誤検出の数の比を算出した。即ち、検出率は高いほど好ましく、誤検出率は低いほど好ましいこととなる。
(vi)図3(B)に示されている如く、誤検出率を横軸に、検出率を縦軸にして、閾値毎の点をプロットし、更に検出率1.0、誤検出率0.0の点から最短距離のプロット点を特定した。かかる検出率1.0、誤検出率0.0の点から最短距離のプロット点の閾値は、誤検出率をできるだけ低く抑えつつ検出率をできるだけ高くすることのできる適正な値であると考えることができる。
上記の図2(B)のヒストグラムを得た眼電位の時系列データについて、上記の検証方法により得られた検出率1.0、誤検出率0.0の点から最短距離のプロット点の閾値は、75mVであった。この値は、本実施形態の閾値設定の手法により与えられた閾値は、76mVと略等しく、これにより、本実施形態の閾値設定の手法により与えられる閾値が誤検出率をできるだけ低く抑えつつ検出率をできるだけ高くすることのできる適正な閾値となっていることが示された。
理解されるべきことは、本実施形態の閾値設定の手法は、前記の如き瞼状態指標値の波形の特徴、即ち、瞬きの発生した波形部分Bの振幅は、ベースラインが変動しても概ね揃っており、且つ、ベースラインに対して重畳している瞬き以外の眼電位の変動振幅よりも或る程度の幅以上に大きい、という特徴に着目した手法であり、また、仮の瞬き発生の回数の変化が極小となるときの仮閾値を閾値として設定するという処理は、瞬きの検出処理を中断しなくても可能であるということである。従って、本実施形態の装置に於いては、瞬きの検出処理の開始後、その実行中に於いても、適時、閾値の更新が可能となっている。
装置の作動
本実施形態の装置に於いては、上記の如く、「瞬き検出部」に於ける瞼状態指標値と閾値を比較して瞬きの発生を検出する瞬き検出処理(図4)と、「監視部」に於ける閾値の更新をする時期を計るための「監視部」に於ける閾値設定監視処理(図5(A))とが並行して実行され、適時、上記にて説明された閾値設定の原理に従って「閾値設定部」によって閾値を設定する閾値設定処理(図5(B))が実行されるようになっていてよい。
図4にフローチャートの形式にて示された「瞬き検出部」に於いて実行される瞬き検出処理は、装置の使用者により処理の開始が指示されると、逐次的に瞼状態指標値が読み込まれる度に実行されてよい。なお、図示の例では、図1(A)の如く、瞼の閉状態に於ける瞼状態指標値がベースライン(瞼の開状態に於ける瞼状態指標値の平均)よりも上昇する場合であって、ベースラインが略0mVである場合にて説明される。この場合、瞬き発生時に瞼状態指標値がベースラインから正側に変位するので、瞼状態指標値Viが閾値Vthを上回ると、瞼状態指標値Viのベースラインからの変化幅がベースラインからの閾値Vthの大きさを越えることとなる(瞼の閉状態に於ける瞼状態指標値がベースラインよりも低下する場合についても当業者に於いて同様に達成できることは理解されるべきである。なお、この場合、瞼状態指標値Viが閾値Vthを下回ると、瞼状態指標値Viのベースラインからの変化幅がベースラインからの閾値Vthの大きさを越えることとなる。)。
図4の処理に於いては、具体的には、まず、前処理部からの瞼状態指標値Viの読込が為され(ステップ1)、閾値Vthが設定済みか否かが判定される(ステップ2)。閾値Vthが未設定の場合には、読み込まれた瞼状態指標値Viがそのままデータ保存部へ記録される(ステップ7)。一方、閾値Vthが後に詳細に説明される如く設定されている場合には、前回のサイクルで読み込まれた瞼状態指標値Vi−1と今回のサイクルで読み込まれた瞼状態指標値Viとについて、
瞼状態指標値Vi−1<閾値Vth 且つ 瞼状態指標値Vi>閾値Vth …(1)
が成立しているか否かが判定される(ステップ3)。条件(1)が成立していなければ、瞼の状態に変化がないとして、処理はそのまま進められる。条件(1)が成立している場合には、瞼状態指標値が閾値を上回り、瞼が開状態から閉状態へ変化したことになるので(瞼状態指標値のベースラインからの変化幅がベースラインからの閾値の大きさを越えたことになる。)、瞬きが開始されたと判定される(ステップ4)。次いで、前回のサイクルで読み込まれた瞼状態指標値Vi−1と今回のサイクルで読み込まれた瞼状態指標値Viとについて、
瞼状態指標値Vi−1>閾値Vth 且つ 瞼状態指標値Vi<閾値Vth …(2)
が成立しているか否かが判定される(ステップ5)。条件(2)が成立していなければ、瞼の状態に変化がないとして、処理はそのまま進められる。条件(2)が成立している場合には、瞼状態指標値が閾値を上回った状態から閾値を下回った状態に変化し、瞼が閉状態から開状態へ変化したことになるので、瞬きが終了したと判定される(ステップ6)。なお、この際、瞬きの回数Ctが1だけ増加される。そして、瞼状態指標値Viがデータ保存部へ記録される(ステップ7)。
上記の一連の処理によれば、閾値が設定されるまでは、瞼状態指標値の記録のみが実行されることとなる。一方、閾値が設定された後は、瞼が開状態のままであれば、ステップ3、ステップ5をノーで通過する。そして、瞼が開状態から閉状態へ変化し、瞬きが開始されたときには、ステップ3をイエスにて、ステップ5をノーにて通過し、瞼の閉状態が継続している間は、ステップ3、ステップ5をノーで通過し、瞼が閉状態から再び開状態へ変化して瞬きが終了したときには、ステップ3をノーにて、ステップ5をイエスにて通過し、かくして、1回の瞬きの発生が検出されることとなる。その後、処理が反復して実行されることにより、瞼状態指標値の逐次記録と共に、瞬きが発生する度に、そのことが検出され、瞬きの回数や頻度、発生間隔のばらつき等の結果が眠気判定のなどに利用されてよい。
図5(A)にフローチャートの形式にて示された閾値設定監視処理は、図4の瞬き検出処理の開始と共に実行が開始されてよい。かかる閾値設定監視処理に於いては、端的に述べれば、所定の期間の経過毎に、前記の瞬きの検出に使用される閾値を、後述の態様にて設定する処理の実行を指示する処理が行われる。閾値設定監視処理の一つの態様では、具体的には、まず、閾値Vthが設定済みか否かが判定され(ステップ11)、閾値Vthが未設定の段階では、閾値の設定に用いる瞼状態指標値の記録時間に相当する閾値設定時間TCHECKが設定され(ステップ12)、計測開始時間がTsetに記録される(ステップ13)。しかる後、タイマの時刻Ttimerが参照され、
timer−Tset>TCHECK …(3)
が成立するまで処理が待機され(ステップ14)、その間に、図4の瞬き検出処理にて、瞼状態指標値Viの記録が為される。なお、瞼状態指標値が上記の如き眼電位である場合、閾値設定時間TCHECKは、例えば、2200秒などであってよい。かくして、条件(3)が成立すると、後に説明される如く、閾値Vthの設定処理の実行を指示し(ステップ15)、閾値Vthの設定が為されると、閾値の設定時刻がTsetに記録され(ステップ16)、設定された閾値Vthは、図4の瞬き検出処理に用いられる。また、閾値Vthの設定が為されると、その後、閾値設定監視処理では、タイマの時刻Ttimerが参照され、条件(3)が成立する度に閾値Vthの設定処理の実行を指示し、これにより、新たな閾値Vthが逐次的に決定され、図4の瞬き検出処理に用いられる閾値が逐次的に更新されるようになっていてよい。
図5(B)にフローチャートの形式にて示された閾値設定処理は、閾値設定監視処理による閾値Vthの設定処理の実行の指示(ステップ15)に応答して実行される。閾値設定処理に於いては、まず、仮閾値Vsに初期値Vsoが設定され(ステップ21)、図5(A)の閾値設定時間TCHECKの経過する期間にデータ保存部にて逐次的に蓄積された瞼状態指標値Viに於いて、仮の瞬き回数として、瞼状態指標値Viが仮閾値Vsを超える回数、即ち、
i−1<Vs 且つ V>Vs …(4)
が成立する回数Nsが計数され記録される(ステップ22)。なお、図示の例では、瞬き発生時に瞼状態指標値がベースラインから正側に変位するので、瞼状態指標値Viが仮閾値Vsを上回ると、瞼状態指標値Viのベースラインからの変化幅がベースラインからの仮閾値Vsの大きさを越えることとなる。しかる後、仮閾値Vsが終値Vse(>Vso)を超えるまで(ステップ23)、仮閾値Vsを所定値ΔVsずつ増大させながら(ステップ24)、仮閾値Vs毎に、条件(4)が成立する回数Nsが計数され記録される(ステップ22)。なお、瞼状態指標値Viが眼電位であれば、例えば、Vso=0mV;ΔVs=1mV〜10mV;Vse=300mVなどと設定されてよい。かくして、Vs≧Vseが成立すると、図2(B)に関連した説明に於いて記載した如く、仮閾値Vsに対する仮の瞬き発生の回数Nsのヒストグラムを生成し、仮の瞬き発生の回数Nsの変化が極小となる仮閾値Vssが、上記のいずれかの手法により選択され(ステップ25)、検出された仮閾値Vssが新たな閾値Vthとして設定され(ステップ26)、図4の瞬き検出処理に用いられるようになっていてよい。
ところで、上記の図5(A)の閾値設定監視処理に於いて、閾値設定時間TCHECKが経過する毎に閾値Vthの設定処理を実行させることに関して、瞬きの頻度には、個人差や個人内差が存在し、閾値設定時間TCHECKに於ける瞬きの発生回数も個人差や個人内差が生ずることとなる。一方、瞼状態指標値の時系列データに於ける仮閾値Vsに対する仮の瞬き発生の回数Nsのヒストグラムを生成し、仮の瞬き発生の回数Nsの変化が極小となる仮閾値Vssを選択する処理に於いては、ヒストグラム及び選択される仮閾値Vssの精度は、参照される瞼状態指標値の時系列データの瞬き発生の回数が多いほど良くなり、かかる精度を十分なものとするには、参照される瞼状態指標値の時系列データに於いて所定の回数を超える瞬きが発生していることが好ましい。従って、図5(A)の閾値設定監視処理に於いては、閾値設定時間TCHECKが経過する毎に閾値Vthを更新するのに代えて、瞬き発生の回数が所定の数を超える毎に閾値Vthを更新するようになっていてもよい。ただし、この態様の場合、閾値Vthの更新前に瞬き発生の回数が或る程度精度良く検出できている必要がある(例えば、閾値が過大で瞬きが殆ど検出できない場合、瞬き発生の回数が所定の数を超えるために非常に長い時間を要する可能性がある。)。そこで、閾値を最初に設定する際には、閾値設定時間TCHECKが経過した段階で、閾値設定処理を実行し、一旦、閾値が設定された後に、瞬き発生の回数が所定の数を超える毎に閾値Vthを更新するようになっていてもよい。
従って、図5(A)を再度参照して、設定監視処理のもう一つの態様に於いては、閾値Vthが未設定の場合は、前記と同様であってよく、閾値Vthが設定済みの場合には、図中点線にて示されている如く、検出された瞬き回数Ctが所定回数Ctsを超えるまで処理が待機され(ステップ17)、その間に、図4の瞬き検出処理にて、瞼状態指標値Viの記録が為される。なお、瞼状態指標値が上記の如き眼電位である場合、所定回数Ctsは、例えば、500などであってよい。かくして、Ct>Ctsが成立すると、前記の如き閾値Vthの設定処理の実行を指示し(ステップ15)、Ct>Ctsが成立するまでに蓄積された瞼状態指標値の時系列データを用いて、図5(B)の処理にて閾値の設定が行われ、閾値Vthの設定が為されると、瞬き回数Ctが0にリセットされる(ステップ16)。その後は、Ct>Ctsが成立する度に閾値Vthの設定処理の実行を指示し、これにより、新たな閾値Vthが決定され、図4の瞬き検出処理に用いられる閾値が更新されるようになっていてよい。
かくして、上記の本実施形態に於いては、端的に述べれば、上記の如く、瞼状態指標値のベースラインからの変化幅がベースラインからの閾値の大きさを超えたときを瞬きの発生として検出する構成に於いて、瞼状態指標値の時系列データに於いて仮閾値を変更しながら仮の瞬き発生の回数を計数して、仮閾値に対する仮の瞬き発生の回数のヒストグラムを生成し、そのヒストグラムに於いて、仮の瞬き発生の回数の変化が極小となるときの仮閾値が、瞬きの検出のための閾値に設定される。かかる閾値の設定手法が可能なのは、瞼状態指標値の波形が、瞬きの発生した波形部分の振幅は、ベースラインが変動しても概ね揃っており、且つ、ベースラインに対して重畳している瞬き以外の眼電位の変動振幅よりも或る程度の幅以上に大きい、という特徴を有しているためである。そして、特記されるべきことは、本実施形態に於ける閾値設定の手法は、瞬き検出処理の開始前に、予め閾値を設定しておく必要はなく、瞬き検出処理の開始後に、適時、閾値が設定及び更新可能であるという点である。かかる構成によれば、車両の運転中の運転者の瞬きの検出、或いは、デスクワークを行っている被検者の瞬きの検出などを行う場合に、瞬き検出処理開始後に於いて、ベースラインの変動や瞬き発生時の指標値の変化幅の変動が生じても、閾値が、適時、適正な値に更新できることとなるので、閾値の更新のために瞬き検出処理を中断することなく、長時間の連続的な、より精度の良い瞬きの検出が可能となる。
以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。

Claims (7)

  1. 瞬き検出装置であって、
    被検者の目に於ける瞼の開状態と閉状態との間に於ける状態を表す瞼状態指標値を時系列に計測する瞼状態指標値計測手段と、
    前記被検者の前記瞼が開状態にある場合の前記瞼状態指標値の基準値であるベースラインからの前記計測された瞼状態指標値の変化幅が前記ベースラインからの閾値の大きさを越えたときに瞬きが発生したと判定する瞬き判定手段と、
    前記閾値を設定する閾値設定手段にして、前記時系列に計測された瞼状態指標値を記憶する記憶手段と、複数の互いに大きさの異なる仮閾値の各々に対して所定の期間に亙る前記記憶された時系列に計測された瞼状態指標値に於ける該瞼状態指標値の前記ベースラインからの変化幅が前記ベースラインからの前記仮閾値の大きさを越える回数を計数する計数手段と、前記仮閾値に対する前記回数の変化が極小となるときの仮閾値を前記閾値として選択する閾値選択手段とを含む閾値設定手段と
    を含む装置。
  2. 請求項1の装置であって、前記所定の期間が所定の時間の長さであり、前記閾値設定手段が前記所定の期間の経過毎に前記閾値を設定し直す装置。
  3. 請求項1の装置であって、前記所定の期間が前記瞬き判定手段により判定された瞬きの発生回数が所定の回数に到達するまでの期間であり、前記閾値設定手段が前記所定の期間の経過毎に前記閾値を設定し直す装置。
  4. 請求項1乃至3のいずれかの装置であって、前記計数手段に於いて、所定幅ずつ仮閾値を変化させながら、各仮閾値に対する前記瞼状態指標値の前記ベースラインからの変化幅が前記ベースラインからの前記仮閾値の大きさを越える回数が計数され、前記閾値選択手段に於いて、前記仮閾値のうち、前記仮閾値の前記所定幅の変化に対する前記回数の差分が極小となるときの仮閾値が前記閾値として選択される装置。
  5. 請求項1乃至3のいずれかの装置であって、前記計数手段に於いて、所定幅ずつ仮閾値を変化させながら、各仮閾値に対する前記瞼状態指標値の前記ベースラインからの変化幅が前記ベースラインからの前記仮閾値の大きさを越える回数が計数され、前記閾値選択手段に於いて、前記仮閾値のうち、隣接する所定の数の前記仮閾値に対する前記回数の標準偏差が極小となるときの仮閾値が前記閾値として選択される装置。
  6. 請求項1乃至5のいずれかの装置であって、前記瞼状態指標値計測手段が前記被検者の眼電位を計測する眼電位計測手段であり、前記瞼状態指標値が眼電位である装置。
  7. 請求項1乃至5のいずれかの装置であって、前記瞼状態指標値計測手段が前記被検者の目を撮像し前記目の画像に於いて前記瞼の開度を検出する手段であり、前記瞼状態指標値が前記目の画像に於ける前記瞼の開度を表す指標値である装置。
JP2017167643A 2017-08-31 2017-08-31 瞬き検出装置 Active JP6780616B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017167643A JP6780616B2 (ja) 2017-08-31 2017-08-31 瞬き検出装置
US16/049,095 US11045115B2 (en) 2017-08-31 2018-07-30 Blink detection apparatus
DE102018119223.1A DE102018119223A1 (de) 2017-08-31 2018-08-07 Blinzeldetektionsvorrichtung
CN201810888246.5A CN109419507B (zh) 2017-08-31 2018-08-07 眨眼检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017167643A JP6780616B2 (ja) 2017-08-31 2017-08-31 瞬き検出装置

Publications (2)

Publication Number Publication Date
JP2019042048A JP2019042048A (ja) 2019-03-22
JP6780616B2 true JP6780616B2 (ja) 2020-11-04

Family

ID=65321737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017167643A Active JP6780616B2 (ja) 2017-08-31 2017-08-31 瞬き検出装置

Country Status (4)

Country Link
US (1) US11045115B2 (ja)
JP (1) JP6780616B2 (ja)
CN (1) CN109419507B (ja)
DE (1) DE102018119223A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109388242B (zh) * 2018-09-29 2022-03-15 苏州佳世达光电有限公司 自发性眨眼校正方法及眨眼控制方法
CN111281403B (zh) * 2020-03-09 2021-08-13 西安交通大学 一种基于嵌入式设备的细粒度人体疲劳检测方法及设备
CN113662566B (zh) * 2021-09-26 2023-08-08 温州医科大学 一种基于电信号的眨眼检测方法、装置、介质及电子设备
WO2023154899A1 (en) * 2022-02-11 2023-08-17 Blinktbi, Inc. Systems and methods for determining eye closure status

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3286887B2 (ja) * 1995-11-28 2002-05-27 三菱電機株式会社 顔画像処理装置及び顔画像処理方法
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
JP2000199703A (ja) * 1999-01-06 2000-07-18 Niles Parts Co Ltd 眼の状態検出装置、居眠り運転警報装置
JP4331197B2 (ja) * 2006-11-06 2009-09-16 トヨタ自動車株式会社 眼開度検出装置及び方法
JP5304944B2 (ja) * 2010-02-22 2013-10-02 トヨタ自動車株式会社 画像処理装置及び眠気判定装置
JP2015213734A (ja) * 2014-04-21 2015-12-03 株式会社ジェイアイエヌ プログラム、情報処理装置、及びアイウエア
JP6387892B2 (ja) * 2015-04-18 2018-09-12 トヨタ自動車株式会社 眠気検知装置
TWI536279B (zh) * 2015-04-22 2016-06-01 緯創資通股份有限公司 人眼偵測方法及系統
JP6406171B2 (ja) 2015-08-25 2018-10-17 トヨタ自動車株式会社 瞬目検知装置
CN106199970A (zh) * 2016-08-30 2016-12-07 北京乐动卓越科技有限公司 一种头戴设备的防疲劳方法和***

Also Published As

Publication number Publication date
CN109419507B (zh) 2021-09-14
DE102018119223A1 (de) 2019-02-28
CN109419507A (zh) 2019-03-05
US20190059790A1 (en) 2019-02-28
US11045115B2 (en) 2021-06-29
JP2019042048A (ja) 2019-03-22

Similar Documents

Publication Publication Date Title
JP6780616B2 (ja) 瞬き検出装置
JP5679066B2 (ja) 居眠り検出方法と装置
JP6406171B2 (ja) 瞬目検知装置
JP5210773B2 (ja) 眠気判定装置及びプログラム
KR101293411B1 (ko) 졸음 판정 장치 및 프로그램
US10034605B2 (en) Systems, methods, and devices for detection and diagnosis of brain trauma, mental impairment, or physical disability
JP6547160B2 (ja) 脈波検出装置、及び脈波検出プログラム
US8570176B2 (en) Method and device for the detection of microsleep events
JP7070605B2 (ja) 注目範囲推定装置、その方法およびプログラム
US11141095B2 (en) Method and system for detecting concussion
JP2008301841A (ja) 精神的疲労の検出方法、装置及びプログラム
JP6399311B2 (ja) 居眠り検知装置
JP5333284B2 (ja) 生体状態判定装置
US9681835B2 (en) Detection of vestibular disorders based on vestibular noise
CN105513280A (zh) 疲劳驾驶检测方法
JP3681657B2 (ja) 覚醒度推定装置および覚醒度推定方法
JP6344254B2 (ja) 眠気検知装置
JP6198530B2 (ja) 画像処理装置
JP2017068576A (ja) 状態判定装置、閉眼判定装置、状態判定方法、状態判定プログラムおよび記録媒体
JP6377545B2 (ja) 個人識別方法、個人識別装置、プログラム
JP6604266B2 (ja) 眠気検知装置
US20220370009A1 (en) Stress estimation device, stress estimation method, and recording media
JP2006136556A (ja) 居眠り検出装置及び検出方法
JP6918714B2 (ja) 被験者状態推定装置及び被験者状態推定方法
JP7416112B2 (ja) 覚醒度判定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200928

R151 Written notification of patent or utility model registration

Ref document number: 6780616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151