JP3388101B2 - 覚醒低下警報装置 - Google Patents

覚醒低下警報装置

Info

Publication number
JP3388101B2
JP3388101B2 JP19375196A JP19375196A JP3388101B2 JP 3388101 B2 JP3388101 B2 JP 3388101B2 JP 19375196 A JP19375196 A JP 19375196A JP 19375196 A JP19375196 A JP 19375196A JP 3388101 B2 JP3388101 B2 JP 3388101B2
Authority
JP
Japan
Prior art keywords
alarm
lowering
awakening
alertness
wakefulness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP19375196A
Other languages
English (en)
Other versions
JPH1040481A (ja
Inventor
光生 下谷
稔 西田
敏英 佐竹
真規人 関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP19375196A priority Critical patent/JP3388101B2/ja
Publication of JPH1040481A publication Critical patent/JPH1040481A/ja
Application granted granted Critical
Publication of JP3388101B2 publication Critical patent/JP3388101B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、例えば各種車両
の運転者や、プラントの監視者などの覚醒度の低下を検
出し、覚醒度が低下した場合には警報を発生する覚醒低
下警報装置に関するものである。
【0002】
【従来の技術】図17は特開平6−219181号公報
や特開平6−270711号公報等に示された従来の自
動車用の覚醒低下警報装置の構成を示すブロック図であ
り、図において、1は覚醒低下検出の対象者である検出
対象者、10は検出対象者1を撮影するCCDカメラ、
11はCCDカメラ10から検出対象者1の顔画像を入
力し画像処理により瞼の開閉判断をする瞼開閉判断回
路、20は瞼開閉判断回路11による瞼の開閉判断を基
に検出対象者1の覚醒低下度を計算する覚醒低下度計算
回路、30は警報を行うか否かを判断する警報出力判断
回路、50は警報出力判断回路30の指令により検出対
象者1に音声警報を出力する音声警報回路である。
【0003】次に動作について説明する。CCDカメラ
10は例えば自動車のメータパネル内に設置され、ドラ
イバーなど検出対象者1の顔画像を入力する。瞼開閉判
断回路11はCCDカメラ10から画像信号を受け取り
瞼の開閉を判断し、ビデオレートである33mS毎に瞼
開閉の判定結果を覚醒低下度計算回路20に出力する。
瞼開閉の判定方法としては、例えば前記特開平6−27
0711号公報に、網膜反射像として明るく撮像される
瞳孔領域の円形度の低下を利用する方法が記載されてい
る。
【0004】次に覚醒低下度計算回路20による覚醒低
下度αの計算方法について説明する。図18は、i番目
の覚醒低下判断区間における瞬目の発生状況を示す説明
図であり、tbi (1)〜tbi (Ni )はi番目の覚
醒低下判断区間における各瞬目の閉眼持続時間を示して
いる。例えば前記特開平6−219181号公報におい
ては、覚醒低下度αとして、一定閾値TB_th以上の閉
眼持続時間を持つ瞬目の閉眼持続時間の1分間内の積算
値という指標を用いている。すなわち、閉眼持続時間が
長い瞬目が増加すると覚醒低下度が大きいと判断するも
のである。
【0005】
【数1】
【0006】図19は図17における覚醒低下度計算回
路20,警報出力判断回路30,および音声警報回路5
0の動作を示すフローチャートである。まず、ステップ
ST10、ステップST11において瞬目フラグFLG
_B、閉眼持続時間βをクリアし、ステップST12に
おいて総閉眼時間Tをクリアする。次にステップST1
3において瞼開閉判断回路11から瞼開閉信号を入力す
る。検出対象者1が瞬きをしない間は、瞼開閉判断回路
11から出力される瞼開閉信号は「瞼開」であるため、
ステップST20においてステップST30に処理を移
行する。ステップST30において瞬目フラグFLG_
Bが0すなわち前回も「瞼開」であったならばステップ
ST31に処理を移行し瞬目フラグFLG_Bおよび閉
眼持続時間βをクリアしてステップST40に処理を移
行する。ステップST40において1分間が経過したか
を判定し、1分間経っていなければ、再びステップST
13で瞼開閉信号の更新を待って瞼開閉信号を入力す
る。
【0007】検出対象者1が瞬きし、閉眼したときには
ステップST20からステップST21に処理を移行し
閉眼持続時間βを更新し、ステップST22において瞬
目フラグFLG_Bに1をセットする。閉眼持続中はス
テップST13、ステップST20、ステップST2
1、ステップST22の処理を繰り返し閉眼持続時間に
応じて閉眼持続時間βがカウントアップされる。
【0008】瞬きが終わり再び開眼したときにはステッ
プST20、ステップST30、ステップST33と処
理が移行し、ステップST33において閉眼持続時間β
がTB_thより大きかったかどうか判断する。β≧TB
_thのときはステップST34において総閉眼時間Tの
積算処理を行い、β<TB_thの場合は積算処理は行わ
ず、瞬目フラグFLG_Bおよび閉眼持続時間βをクリ
アしてステップST40に処理を移す。
【0009】1分間の分析区間が終了するとステップS
T40からステップST41に処理を移しα=Tとす
る。このときαは式(1)を計算したことになる。ステ
ップST42においてα≧αthであれば覚醒低下と判断
しステップST50において音声警報例えば、「覚醒低
下に注意」などを発生する。なお、ここではTB_th
0.5秒、αthを10秒と設定している。
【0010】以上のように、従来の覚醒低下警報装置に
おいては、検出対象者1が覚醒低下状態となり閉眼持続
時間の長い瞬目が発生すると覚醒低下度αが増大するよ
うに構成されているため、αとαthとの大小の比較を基
に覚醒低下を把握して検出対象者1に対して警報を発生
し、覚醒を促すことが可能である。
【0011】
【発明が解決しようとする課題】従来の覚醒低下警報装
置は以上のように構成されているので、警報を出力する
かを判定する際の覚醒低下度αの閾値として単一の閾値
αthを用いており、このため、検出対象者の個人差に対
応した適正な覚醒低下警報の出力を行うことができない
課題があった。
【0012】図20は2名の検出対象者AとBにおける
覚醒低下度αの時間変化を示すグラフ図であり、検出対
象者A,Bともに60分から覚醒低下をした例を示して
いる。覚醒低下度αの閾値αthは10秒に設定されてい
るため、検出対象者Aではt=60分でα≧αthとな
り、タイミングよく覚醒度警報を発生することが可能で
ある。一方、検出対象者Bでは、α≧αthとなるのはt
=90分であり、覚醒低下警報出力の時刻はt=90分
となり、警報のタイミングが検出対象者Bの覚醒低下よ
り遅れることになる。このような現象は、瞬目の閉眼持
続時間やパターンに個人差があるために生じる。ここで
仮に、検出対象者Bに対応するために、覚醒低下警報発
生のための閾値αthを低く、例えばαth=5秒に設定す
ると、検出対象者Bにとっては適切なタイミングで警報
を発生することが可能となるが、検出対象者Aにおいて
は覚醒低下がまだ進行しない時刻t=13分にα≧αth
となって警報が発生してしまうこととなり、検出対象者
Aにとっては警報が煩わしいものとなるなどの事態が発
生する。このように、従来の覚醒低下警報装置において
は、覚醒低下警報発生のための閾値として固定の閾値を
用いていたため、検出対象者の瞬目の個人差に対応して
適正なタイミングで覚醒低下警報を出力することができ
ないなどの課題があった。
【0013】
【課題を解決するための手段】請求項1記載の発明に係
る覚醒低下警報装置は、検出対象者の状態をセンサーに
より入力して前記検出対象者の覚醒状態に関する情報を
収集する覚醒情報収集手段と、前記覚醒情報収集手段が
収集した情報を基に覚醒低下指標値を計算する覚醒低下
度計算手段と、前記覚醒低下度計算手段が計算した前記
覚醒低下指標値を表示する表示手段と、前記覚醒低下指
標値を基にした覚醒低下警報の発生の基準となる覚醒低
下警報閾値の任意値への設定を受け付ける警報閾値設定
手段と、前記覚醒低下指標値と前記覚醒低下警報閾値と
が所定の大小関係を満たす場合に覚醒低下警報を発する
警報発生手段とを備えたものである。
【0014】請求項2記載の発明に係る覚醒低下警報装
置は、検出対象者の状態をセンサーにより入力して前記
検出対象者の覚醒状態に関する情報を収集する覚醒情報
収集手段と、前記覚醒情報収集手段が収集した情報が示
す量と設定されたパラメータとを用いて覚醒低下指標値
を計算する覚醒低下度計算手段と、前記覚醒低下指標値
の計算に用いる前記パラメータの任意値への設定を受け
付けるパラメータ設定手段と、前記覚醒低下度計算手段
が計算した覚醒低下指標値を表示する表示手段と、前記
覚醒低下指標値を基にした覚醒低下警報の発生の基準と
なる覚醒低下警報閾値と前記覚醒低下指標値とが所定の
大小関係を満たす場合に覚醒低下警報を発する警報発生
手段とを備えたものである。
【0015】請求項3記載の発明に係る覚醒低下警報装
置は、警報発生手段が複数の警報方法を有するように
し、警報方法の選択入力を受け付ける警報方法選択手段
をさらに備えたものである。
【0016】請求項4記載の発明に係る覚醒低下警報装
置は、警報閾値設定手段は複数の覚醒低下警報閾値の設
定を受け付けることが可能であり、警報発生手段は複数
の警報方法を有し覚醒低下指標値の前記複数の覚醒低下
警報閾値との大小関係に従って異なる警報方法を用いる
ようにしたものである。
【0017】請求項5記載の発明に係る覚醒低下警報装
置は、覚醒低下度計算手段は異なる複数の評価指標に基
づく複数の覚醒低下指標値を計算し、警報閾値設定手段
は前記複数の覚醒低下指標値に対応した複数の覚醒低下
警報閾値の設定を受け付けることが可能であり、警報発
生手段は前記複数の覚醒低下指標値のいずれかが覚醒低
下警報閾値との間に警報発生要件となる所定の大小関係
を満たす場合に覚醒低下警報を発するようにしたもので
ある。
【0018】請求項6記載の発明に係る覚醒低下警報装
置は、警報発生手段は覚醒低下指標値毎に割り当てられ
た複数の警報方法を有し、警報発生要件となる所定の大
小関係を満たした覚醒低下指標値毎に異なる警報方法で
覚醒低下警報を発するようにしたものである。
【0019】請求項7記載の発明に係る覚醒低下警報装
置は、表示手段が、過去所定時間にわたる覚醒低下指標
値の履歴と、現在設定されている覚醒低下警報閾値とを
表示するようにしたものである。
【0020】請求項8記載の発明に係る覚醒低下警報装
置は、表示手段が、過去所定時間にわたる覚醒低下指標
値の統計計算結果と、現在設定されている覚醒低下警報
閾値とを表示するようにしたものである。
【0021】請求項9記載の発明に係る覚醒低下警報装
置は、表示手段が統計計算結果として過去所定時間にわ
たる覚醒低下指標値の頻度分布を表示するようにしたも
のである。
【0022】請求項10記載の発明に係る覚醒低下警報
装置は、検出対象者の状態をセンサーにより入力して前
記検出対象者の覚醒状態に関する情報を収集する覚醒情
報収集手段と、前記覚醒情報収集手段が収集した情報を
基に覚醒低下指標値を計算する覚醒低下度計算手段と、
前記覚醒低下指標値と予め定められた覚醒低下警報閾値
とが所定の大小関係を満たす場合に覚醒低下警報を発す
る警報発生手段とを備え、前記警報発生手段は前記覚醒
低下警報を発した後所定時間の間、前記覚醒低下警報の
出力を行わないようにしたものである。
【0023】請求項11記載の発明に係る覚醒低下警報
装置は、検出対象者の状態をセンサーにより入力して前
記検出対象者の覚醒状態に関する情報を収集する覚醒情
報収集手段と、前記覚醒情報収集手段が収集した情報を
基に覚醒低下指標値を計算する覚醒低下度計算手段と、
前記覚醒低下指標値と予め定められた覚醒低下警報閾値
とが所定の大小関係を満たす場合に覚醒低下警報を発す
る警報発生手段とを備え、前記警報発生手段が、前記覚
醒低下警報を発した後所定時間の間、前記覚醒低下警報
閾値を警報抑制側に変更するようにしたものである。
【0024】請求項12記載の発明に係る覚醒低下警報
装置は、検出対象者の状態をセンサーにより入力して前
記検出対象者の覚醒状態に関する情報を収集する覚醒情
報収集手段と、前記覚醒情報収集手段が収集した情報を
基に覚醒低下指標値を計算する覚醒低下度計算手段と、
前記覚醒低下指標値と予め定められた覚醒低下警報閾値
とが所定の大小関係を満たす場合に覚醒低下警報を発す
る警報発生手段と、発生した前記覚醒低下警報の停止を
要求する入力を受け付け、前記警報発生手段に警報停止
信号を出力する警報停止手段を備え、前記警報発生手段
は前記警報停止手段から前記警報停止信号を受けると前
記覚醒低下警報を停止し、その後所定時間の間、前記覚
醒低下警報閾値を警報抑制側に変更するようにしたもの
である。
【0025】
【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態1.図1はこの発明の実施の形態1による覚
醒低下警報装置の構成を示すブロック図であり、図にお
いて、1は覚醒低下検出の対象者である各種車両の運転
者等の検出対象者、10は検出対象者1を撮影するCC
Dカメラ(覚醒情報収集手段)、11はCCDカメラ1
0から検出対象者1の顔画像を入力し画像処理により瞼
の開閉判断をする瞼開閉判断回路(覚醒情報収集手
段)、50は警報出力判断回路31の指令により検出対
象者1に音声警報(覚醒低下警報)を出力する音声警報
回路(警報発生手段)であり、以上は従来例において示
した覚醒低下警報装置における各部分と同様の動作を行
うものである。
【0026】21は瞼開閉判断回路11による瞼の開閉
判断を基に検出対象者1の覚醒低下度(覚醒低下指標
値)αを計算し、表示スイッチボックス40および警報
出力判断回路31に出力する覚醒低下度計算回路(覚醒
低下度計算手段)、31は覚醒低下度計算回路21から
入力する覚醒低下度αと表示スイッチボックス40から
入力する覚醒低下度αの警報閾値(覚醒低下警報閾値)
αthを基に警報を行うか否かを判断する警報出力判断回
路(警報発生手段)、40は運転者等の検出対象者1の
近傍に設置された表示スイッチボックス(表示手段,警
報閾値設定手段)、401は表示スイッチボックス40
に設置された覚醒低下度α表示用の液晶表示器(表示手
段)、411は表示スイッチボックス40に設置された
覚醒低下度αの警報閾値αth設定用のスライドスイッチ
(警報閾値設定手段)である。
【0027】次に動作について説明する。CCDカメラ
10は従来例と同様に検出対象者1の顔画像を入力し、
瞼開閉判断回路11は従来例と同様に検出対象者1の瞼
開閉判断を行う。覚醒低下度計算回路21は従来例にお
ける覚醒低下度計算回路20と同様の方法により覚醒低
下度αを計算し、結果を表示スイッチボックス40およ
び警報出力判断回路31に出力する。表示スイッチボッ
クス40の液晶表示器401は覚醒低下度αのレベルを
表示し検出対象者1に提示する。
【0028】図2は表示スイッチボックス40の構成の
詳細を示す正面図である。ここで警報閾値αth設定用の
スライドスイッチ411は液晶表示器401の覚醒低下
度αの表示に並行するように配置されており、双方の同
一位置は同一値を示すようになっている。また、スライ
ドスイッチ411には標準的な警報閾値の参考推奨値が
表示されている。
【0029】図3は図1における覚醒低下度計算回路2
1,警報出力判断回路31,および音声警報回路50の
動作を示すフローチャートである。ステップST10か
らステップST41において覚醒低下度αを求める動作
は前記従来例において図17を用いて説明した動作と同
一であり、以下記載すると、まず、ステップST10,
ステップST11において瞬目フラグFLG_B,閉眼
持続時間βをクリアし、ステップST12において総閉
眼時間Tをクリアする。次にステップST13において
瞼開閉判断回路11から瞼開閉信号を入力する。検出対
象者1が瞬きをしない間は、瞼開閉判断回路11から出
力される瞼開閉信号は「瞼開」であるため、ステップS
T20においてステップST30に処理を移行する。ス
テップST30において瞬目フラグFLG_Bが0すな
わち前回も「瞼開」であったならばステップST31に
処理を移行し瞬目フラグFLG_Bおよび閉眼持続時間
βをクリアしてステップST40に処理を移行する。ス
テップST40において1分間が経過したかを判定し、
1分間経っていなければ、再びステップST13で瞼開
閉信号の更新を待って瞼開閉信号を入力する。
【0030】検出対象者1が瞬きし、閉眼したときには
ステップST20からステップST21に処理を移行し
閉眼持続時間βを更新し、ステップST22において瞬
目フラグFLG_Bに1をセットする。閉眼持続中はス
テップST13、ステップST20、ステップST2
1、ステップST22の処理を繰り返し閉眼持続時間に
応じて閉眼持続時間βがカウントアップされる。
【0031】瞬きが終わり再び開眼したときにはステッ
プST20、ステップST30、ステップST33と処
理が移行し、ステップST33において閉眼持続時間β
がTB_thより大きかったかどうか判断する。β≧TB
_thのときはステップST34において総閉眼時間Tの
積算処理を行い、β<TB_thの場合は積算処理は行わ
ず、瞬目フラグFLG_Bおよび閉眼持続時間βをクリ
アしてステップST40に処理を移す。
【0032】1分間の分析区間が終了するとステップS
T40からステップST41に処理を移しα=Tとす
る。これにより、覚醒低下度αを従来例に示した式
(1)により計算したことになる。なお、ここではTB
_thを0.5秒と設定している。この覚醒低下度αは表
示スイッチボックス40に出力され、液晶表示器401
に表示される。以上が従来例と同様のステップST41
までの動作である。
【0033】次にステップST43において表示スイッ
チボックス40から設定されている警報閾値αthを入力
し、従来例と同様にステップST42においてαとαth
を比較し、α≧αthの場合は覚醒低下と判断しステップ
ST50において例えば音声による「覚醒低下に注意」
などの警報を出力する。
【0034】以上のように、この実施の形態1によれ
ば、検出対象者1は表示スイッチボックス40の液晶表
示器401により覚醒低下度αの値を知ることができ、
かつ、警報の閾値αthを任意の適切な値に設定すること
ができるので、検出対象者1が自身の覚醒低下状態を容
易に把握することが可能となるとともに、検出対象者1
の瞬目の個人差に対応した適正なタイミングで覚醒低下
警報を発することが可能となる。
【0035】なお、上記においては覚醒低下度αの値を
液晶表示器401を用いて表示したが、表示方法は液晶
にこだわるものではなく、例えばLEDレベルメータ等
の他の表示手段により表示してもよいことはいうまでも
ない。
【0036】また、上記においては閉眼持続時間βの閾
値TB_thを0.5秒と設定したが、この閾値TB_th
は適切な範囲で変更可能であることはいうまでもない。
【0037】実施の形態2.実施の形態1においては、
覚醒低下度(覚醒低下指標値)をTB_th=0.5秒以
上の閉眼持続時間βを持つ瞬目の閉眼持続時間βの積算
値αにより求めたが、覚醒低下度は特に式(1)にこだ
わるものではなく、例えば式(2)で表されるα2によ
り覚醒低下度を求めてもよい。
【0038】
【数2】
【0039】この計算式は覚醒低下度をTB_th=0.
5秒以上の閉眼持続時間βを持つ瞬目数の全体に対する
割合により評価するものである。
【0040】この実施の形態2においても上記実施の形
態1と同様に、検出対象者1は表示スイッチボックス4
0の液晶表示器401により覚醒低下度α2の値を知る
ことができ、かつ、警報の閾値α2thを任意の適切な値
に設定することができるため、検出対象者1が自身の覚
醒低下状態を容易に把握することが可能となるととも
に、検出対象者1の瞬目の個人差に対応した適正なタイ
ミングで覚醒低下警報を発することが可能となる。
【0041】実施の形態3.図4はこの発明の実施の形
態3による覚醒低下警報装置の構成を示すブロック図で
あり、図において、32は警報出力判断回路(警報発生
手段)、41は運転者等の検出対象者1の近傍に設置さ
れた表示スイッチボックス(表示手段,警報閾値設定手
段,警報方法選択手段)、421は表示スイッチボック
ス40に設置された警報音選択スイッチ(警報方法選択
手段)、51は大音量を発生するブザー(警報発生手
段)である。なお、図1に示した部分と同一または相当
の部分については同一符号を付して重複説明を省略す
る。
【0042】次に動作について説明する。この実施の形
態3の覚醒低下警報装置の構成および全体的な動作は実
施の形態1とほぼ同様であるが、表示スイッチボックス
41に警報音選択スイッチ421が追加され、ブザー5
1が設置されている点が異なる。
【0043】この実施の形態3では、覚醒低下度計算回
路21が覚醒低下度αの計算を行い、警報出力判断回路
32が表示スイッチボックス41から入力するαthを閾
値として覚醒低下警報の出力を判断するまでは前記実施
の形態1と同様の動作を行う。警報出力判断回路32
は、表示スイッチボックス41から入力した警報音選択
信号により、音声警報回路50による音声警報とブザー
51によるブザー音のうちのどちらを出力するかを決定
し、警報を行うと判断したときには、警報音選択スイッ
チ421の選択位置に従った上記のいずれかの出力を行
う。
【0044】以上のように、この実施の形態3によれ
ば、実施の形態1の効果が得られることに加え、検出対
象者1自らが好みに応じて警報の種類を選択することが
可能となり、より検出対照者1に適合した警報を行うこ
とが可能となる。
【0045】なお上記においては、表示スイッチボック
ス41において音声警報かブザーかを設定したが、警報
音の音量を表示スイッチボックス41において設定する
ようにしてもよく、また、音声による警報に限らず、例
えば、音声警報,ブザー,強い光の点滅,振動等の中か
ら警報の種類を選択するようにしてもよい。
【0046】実施の形態4.図5はこの発明の実施の形
態4による覚醒低下警報装置の構成を示すブロック図で
あり、図において、33は警報出力判断回路(警報発生
手段)、43は運転者等の検出対象者1の近傍に設置さ
れた表示スイッチボックス(表示手段,警報閾値設定手
段)、412は表示スイッチボックス43に更に設置さ
れたスライドスイッチ(警報閾値設定手段)である。な
お、図4に示した部分と同一または相当の部分について
は同一符号を付して重複説明を省略する。
【0047】次に動作について説明する。この実施の形
態4の覚醒低下警報装置の構成および全体的な動作は実
施の形態1とほぼ同様であるが、表示スイッチボックス
43にスライドスイッチ412が追加され、警報出力判
断回路33にブザー51が接続されている点が異なる。
【0048】この実施の形態4では、覚醒低下度計算回
路21が覚醒低下度αの計算を行うまでは前記実施の形
態1と同様の動作を行う。表示スイッチボックス43で
はスライドスイッチ411およびスライドスイッチ41
2により2個の警報閾値αth1,αth2を設定できるよ
うになっており、警報出力判断回路33では、覚醒低下
度計算回路21から入力したαと上記αth1およびαth
2とを比較して警報を発生する。スライドスイッチ41
1とスライドスイッチ412は連動しておりαth1とα
th2はαth1<αth2となるように設定されるようにな
っている。
【0049】音声警報回路50における警報の発生のし
かたは、例えば、α<αth1のときは警報を発生せず、
αth1≦α<αth2のときは音声警報回路50により警
報を発生し、αth2≦αのときはブザー51により警報
を発生する等のように、2個の警報閾値αth1,αth
との大小関係で2段階の異なる警報音を発生するように
する。
【0050】以上のように、この実施の形態4によれ
ば、実施の形態1の効果が得られることに加え、覚醒低
下度αの上昇に応じて段階的に別の種類の警報を発生で
きるようにしたため、覚醒低下レベルを段階的に検出対
象者1に認識させることが可能となる。また、覚醒低下
が進むほど覚醒効果の高い警報を出力して検出対象者1
の覚醒を促すなどのことも可能となる。
【0051】なお、段階的警報に用いる警報方法は上記
の音声警報,ブザーに限るものではなく、例えば、強い
光の点滅,振動等の他の警報方法を用いるようにしても
よい。
【0052】実施の形態5.図6はこの発明の実施の形
態5による覚醒低下警報装置の構成を示すブロック図で
あり、図において、24は2つの異なる覚醒低下指標値
α,βを計算する覚醒低下度計算回路(覚醒低下度計算
手段)、34は2つの異なる覚醒低下指標値α,βを基
に警報出力の判断を行う警報出力判断回路(警報発生手
段)、44は運転者等の検出対象者1の近傍に設置され
た表示スイッチボックス(表示手段,警報閾値設定手
段)、413は表示スイッチボックス44に設置された
警報閾値βth設定用のスライドスイッチ(警報閾値設定
手段)である。なお、図5に示した部分と同一または相
当の部分については同一符号を付して重複説明を省略す
る。
【0053】次に動作について説明する。この実施の形
態5の覚醒低下警報装置は実施の形態1の覚醒低下警報
装置の動作に加え、もう一つ別の覚醒低下指標値βも計
算し、2個の覚醒低下指標値αおよびβのそれぞれに関
する警報を行う様に動作する。覚醒低下度計算回路24
は実施の形態1と同様の計算式により覚醒低下度αを計
算すると同時に、緊急的な覚醒低下警報のために閉眼持
続時間βを計算する。警報出力判断回路34は表示スイ
ッチボックス44から入力した警報閾値αth,βth
α,βとを比較し、α≧αthであれば音声警報回路50
により音声警報を発生し、β>βthであればブザー51
により警報を発生する。αthの値は実施の形態1と同様
にスライドスイッチ411において検出対象者1により
設定され、βthはスライドスイッチ413において1秒
から3秒程度の値に検出対象者1により設定される。
【0054】図7は図6における覚醒低下度計算回路2
4,警報出力判断回路34,音声警報回路50,および
ブザー51の動作を示すフローチャートである。図7に
おけるステップST60〜ステップST62以外の処理
は実施の形態1と同様であり、ステップST22の後、
ステップST60において、警報出力判断回路34は設
定された警報閾値βthを表示スイッチボックス44から
入力し、β≧βthの場合には緊急に警報すべき状態と判
断し、ステップST62においてブザー51により警報
を出力する。
【0055】以上のように、この実施の形態5によれ
ば、TB_th(例えば0.5秒)以上の瞬目の1分間に
おける合計閉眼時間を表すαを覚醒低下指標値とした警
報の他に、閉眼持続時間βを覚醒低下指標値とした緊急
警報を加え、2つの覚醒低下指標値それぞれの警報閾値
を変更可能としたので、検出対象者1の覚醒低下時に覚
醒低下指標値αにより覚醒低下が検出されず警報が出力
されない場合でも、別の覚醒低下指標値βにより覚醒低
下を検出して警報を出力することができるなど、2重の
覚醒低下検出により覚醒低下検出の精度を向上してより
細やかな警報を検出対象者1に提供することが可能とな
る。
【0056】なお、上記においては2個の覚醒低下指標
値を用いたが、3個以上の覚醒低下指標値を用いて覚醒
低下検出の精度を更に向上することも可能であることは
いうまでもない。
【0057】実施の形態6.図8はこの発明の実施の形
態6による覚醒低下警報装置の構成を示すブロック図で
あり、図において、12は検出対象者1に取り付けられ
た脳波電極(覚醒情報収集手段)、25は2つの異なる
覚醒低下指標値α,α3を計算する覚醒低下度計算回路
(覚醒低下度計算手段)、35は2つの異なる覚醒低下
指標値α,α3を基に警報出力の判断を行う警報出力判
断回路(警報発生手段)、45は運転者等の検出対象者
1の近傍に設置された表示スイッチボックス(表示手
段,警報閾値設定手段)、402は表示スイッチボック
ス45に更に設置された液晶表示器(表示手段)、41
4は表示スイッチボックス45に設置されたスライドス
イッチ(警報閾値設定手段)である。なお、図6に示し
た部分と同一または相当の部分については同一符号を付
して重複説明を省略する。
【0058】次に動作について説明する。この実施の形
態6では、瞬きパターンから計算した覚醒低下度αと脳
波状態から計算した覚醒低下度α3をそれぞれ計算し、
それぞれに対する警報を行う。覚醒低下度計算回路25
は瞼開閉判断回路11からの瞼開閉信号を受け取り、式
(1)によりαを計算するとともに、脳波電極12より
アナログ信号である脳波信号を受け取り、α波成分(周
波数8〜13Hz)と全体の脳波成分とを計算し式3に
より覚醒低下度α3を計算する。
【0059】 α3=α波成分/全体の脳波成分 ・・・式(3)
【0060】上記α3の比率計算は、脳波のパワースペ
クトルの面積比等を用いて行うことができる。表示スイ
ッチボックス45は覚醒低下度計算回路25からα,α
3を受け取りそれぞれ液晶表示器401,402に表示
する。検出対象者1はスライドスイッチ411,414
において警報閾値αth,α3thをそれぞれ設定し、警報
出力判断回路35はαとαth,α3とα3thを比較し、
α≧αthまたはα3≧α3thのときに警報発生の命令を
音声警報回路50に送り音声警報回路50は音声警報を
発生する。この場合の音声警報の種類は、α≧αthの場
合とα3≧α3thの場合とで異なるようにしてもよい。
【0061】以上のように、この実施の形態6によれ
ば、CCDカメラ10と脳波電極12の2個のセンサを
設けてそれぞれの検出による2個の覚醒低下指標値を基
に警報を発生するようにしたので、2重の覚醒低下検出
により覚醒低下検出の精度を向上してより細やかな警報
を検出対象者1に提供することが可能となる。
【0062】なお、上記においては2個のセンサおよび
覚醒低下指標値を用いたが、3個以上のセンサおよび覚
醒低下指標値を用いて覚醒低下検出の精度を更に向上す
ることも可能であることはいうまでもない。
【0063】実施の形態7.図9はこの発明の実施の形
態7による覚醒低下警報装置の表示スイッチボックスの
構成を示す正面図であり、図において、46は表示スイ
ッチボックス(表示手段,警報閾値設定手段)、403
は覚醒低下度αの過去の履歴を表示する液晶表示器(表
示手段)、415は警報閾値αthを設定するためのダイ
ヤルスイッチ(警報閾値設定手段)である。この実施の
形態7の覚醒低下警報装置の構成は実施の形態1とほぼ
同様であるが、表示スイッチボックスの表示方法が実施
の形態1と異なる。
【0064】次に動作について説明する。この実施の形
態7の覚醒低下警報装置の表示を除く動作は実施の形態
1と同様であり重複説明を省略する。表示スイッチボッ
クス46は図示しない記憶回路を備えており、覚醒低下
度計算回路21から入力した覚醒低下度αを、検出を行
った過去20時間分記憶し、図9に示したように液晶表
示器403に過去20時間の覚醒低下度αの推移を表示
し、現在の覚醒低下度αを大きく表示する。設定されて
いる警報閾値αthは液晶表示器403上に例えば破線状
に表示される。
【0065】検出対象者1は、この覚醒低下度αの過去
の履歴表示と破線状に表示された警報閾値αthとを見な
がらダイヤルスイッチ415を操作することにより、警
報閾値αthを自身に合った適正な値に設定することがで
きる。
【0066】以上のように、この実施の形態7によれ
ば、実施の形態1の効果が得られることに加え、検出対
象者1が過去の覚醒低下度の推移を容易に把握してこれ
を基により適切な値に警報閾値を設定することが可能と
なる。
【0067】実施の形態8.図10はこの発明の実施の
形態8による覚醒低下警報装置の表示スイッチボックス
の構成を示す正面図であり、図において、47は表示ス
イッチボックス(表示手段,警報閾値設定手段)、40
4は覚醒低下度αの過去の頻度分布を表示する液晶表示
器(表示手段)、416は警報閾値αthを設定するため
のダイヤルスイッチ(警報閾値設定手段)である。この
実施の形態8の覚醒低下警報装置の構成は実施の形態1
とほぼ同様であるが、表示スイッチボックスの表示方法
が実施の形態1と異なる。
【0068】次に動作について説明する。この実施の形
態8の覚醒低下警報装置の表示を除く動作は実施の形態
1と同様であり重複説明を省略する。表示スイッチボッ
クス47は図示しない記憶回路および演算回路を備えて
おり、覚醒低下度計算回路21から入力して記憶した過
去20時間分の覚醒低下度αの値から過去20時間の覚
醒低下度αの頻度分布を演算し、これを図10に示すよ
うに液晶表示器404に表示する。また、現在の覚醒低
下度αは例えば線状に、設定された警報閾値αthは例え
ば破線状に表示する。
【0069】ここで頻度分布p2(n)は以下の計算に
より求められる。 p2(n)(%)=p1(n)/20×100 (n=
0,1,...,15) ただし、 p1(n) :覚醒低下度α[秒]がn≦α<n+1で
あった[時間]合計(n=0,1,...,14) p1(15):覚醒低下度α[秒]がα≧15であった
[時間]合計
【0070】液晶表示器404には、横軸をnとして頻
度分布p2(n)が表示され、検出対象者1はこの過去
の頻度分布表示と破線状に表示された警報閾値αthとを
見ながらダイヤルスイッチ416を操作することによ
り、警報閾値αthを自身に合った適正な値に設定するこ
とができる。
【0071】以上のように、この実施の形態8によれ
ば、実施の形態1の効果が得られることに加え、検出対
象者1が過去の覚醒低下度の頻度分布を容易に把握して
これを基により適切な値に警報閾値を設定することが可
能となる。
【0072】なお、上記においては、覚醒低下度の頻度
分布をそのまま表示したが、頻度の大小差が大きい場合
には頻度の平方根により表示を行うなど、他の適切な表
示方法をとることが可能であることはいうまでもない。
【0073】また、上記においては、覚醒低下度の統計
計算結果として頻度分布を表示したが、この他に、例え
ば、覚醒低下度の小さい値からの97パーセンタイル値
などをαthの推奨値として表示したり、平均値,最頻
値,中心値,標準偏差等の他の統計計算結果を表示した
りしてもよく、警報閾値のより適切な設定を可能とする
ことができる。
【0074】また、上記実施の形態7,8においては、
検出を行った過去20時間に関して表示を行ったが、特
に20時間にこだわるものではないことはいうまでもな
い。
【0075】実施の形態9.実施の形態9の覚醒低下警
報装置は、表示スイッチボックス47に時計回路を加え
た構成とした以外は実施の形態8と同様の構成であり、
特に図示は行わない。
【0076】次に動作について説明する。実施の形態8
では、過去20時間の頻度分布を表示したが、この実施
の形態9では夜間(pm6:00からam6:00)に
おける検出対象者1の過去20時間の頻度分布と、昼間
(am6:00からpm6:00)における検出対象者
1の過去20時間の頻度分布とを表示スイッチボックス
47において個別に計算して、夜間には夜間の頻度分布
を表示し、昼間には昼間の頻度分布を表示するようにし
ており、警報閾値αthも各々個別に設定できるようにし
ている。
【0077】この実施の形態9によれば、実施の形態8
の効果が得られることに加え、昼夜別の警報の閾値を過
去の頻度分布に基づいて設定することができるため、例
えば各種車両の運転者等に対して、昼夜で異なる検出対
象者1の状態に対応したより適切なタイミングで警報を
行うことが可能となる。
【0078】実施の形態10.実施の形態10の覚醒低
下警報装置の構成は、図6に示した実施の形態5の覚醒
低下警報装置の構成とほぼ同様であり、特に図示は行わ
ない。
【0079】次に動作について説明する。この実施の形
態10の覚醒低下警報装置の動作は実施の形態5とほぼ
同様であるが、警報出力判断回路34の処理が異なる。
【0080】図11は実施の形態10における覚醒低下
度計算回路24,警報出力判断回路34,音声警報回路
50,およびブザー51の動作を示すフローチャートで
ある。ステップST10からステップST42におい
て、α,βを計算し、α<αthの場合に音声警報を出力
しない動作は実施の形態5と同様である。但し、ステッ
プST42でα≧αthの場合は処理をステップST70
に移行し過去5分以内に音声警報を出力したか否かを判
断し、警報を出力していれば、警報動作を行わずに処理
をステップST12に移行する。ステップST70にお
いて過去5分以内に音声警報を出力していなかったと判
断した場合は、ステップST50で音声警報を出力す
る。
【0081】以上のように、この実施の形態10によれ
ば、覚醒低下警報を出力してから一定時間内は警報を出
力しないようにしたので、検出対象者1の警報慣れを防
止して警報の印象を強く保ち、検出対象者1が警報を常
に新鮮に受けとめるようにすることが可能となる。
【0082】なお、上記においては、警報判断の閾値を
手動で設定できる構成であったが、従来例のように閾値
が固定の場合に上記内容を適用しても同様の効果が得ら
れることはいうまでもない。
【0083】実施の形態11.実施の形態11の覚醒低
下警報装置の構成は図6に示した実施の形態5の覚醒低
下警報装置の構成とほぼ同様であり、特に図示は行わな
い。
【0084】次に動作について説明する。この実施の形
態11の覚醒低下警報装置の動作は実施の形態5とほぼ
同様であるが、警報出力判断回路34の処理が異なる。
【0085】図12は実施の形態11における覚醒低下
度計算回路24,警報出力判断回路34,音声警報回路
50,およびブザー51の動作を示すフローチャートで
ある。ステップST80において閾値オフセットγを0
にセットする。以下、ステップST10からステップS
T43において、α,βを計算し設定されたαthを表示
スイッチボックス44から入力するまでの動作は、実施
の形態5と同様である。
【0086】次にステップST81においてγ変更後1
0分経ったか否かを判断し、10分以上経っていればス
テップST82において閾値オフセットγから2を引
く。ただしγ<0になればγ=0とする。次にステップ
ST83においてα≧αth+γであれば、ステップST
84で音声警報を出力し、ステップST85で警報オフ
セットγに2を加える。
【0087】すなわち音声警報出力後少なくとも10分
間は、警報出力の閾値が2上昇することになり、音声警
報が出力されにくくなる。10分以内にαがαth+2を
超えてさらに音声警報を出力した場合は、ステップST
85でさらにγに2が加えられγ=4となり、それから
少なくとも10分間は、警報出力の閾値が4上昇したこ
とになり、音声警報はさらに出力されにくくなる。
【0088】以上のように、この実施の形態11によれ
ば、覚醒低下警報を出力してから一定時間内は警報閾値
を上昇させるようにしているため、覚醒低下度が上昇し
続けた場合にのみ次々に警報が出力されるようにし、危
険な状態が進行していることを検出対象者1に知らしめ
ることが可能となる。
【0089】なお、上記においては、警報判断の閾値を
手動で設定できる構成であったが、従来例のように元の
閾値が固定の場合に上記内容を適用しても同様の効果が
得られることはいうまでもない。
【0090】また、上記においては、覚醒低下が進行し
た場合次々と同一の音声警報を発生したが、警報オフセ
ットγの値に応じて音声警報の内容を変化させ、音声警
報内容の変化により検出対象者1に覚醒低下の進行を詳
細に知らしめるような構成としてもよく、一層良好な効
果を得ることができる。
【0091】実施の形態12.図13はこの発明の実施
の形態12による覚醒低下警報装置の構成を示すブロッ
ク図であり、図において、CCDカメラ10,瞼開閉判
断回路11,警報出力判断回路30,音声警報回路50
は図17に示した従来の覚醒低下警報装置の各部と同様
の動作を行うものである。27は覚醒低下度計算回路
(覚醒低下度計算手段)、48は運転者等の検出対象者
1の近傍に設置された表示スイッチボックス(表示手
段,パラメータ設定手段)、405は表示スイッチボッ
クス48内に設置された液晶表示器(表示手段)、41
7は表示スイッチボックス48に設置されたTB_th
定用のダイヤルスイッチ(パラメータ設定手段)であ
る。
【0092】次に動作について説明する。CCDカメラ
10が検出対象者1の顔画像を入力し、瞼開閉判断回路
11が検出対象者1の瞼開閉判断を行う処理は従来例と
同様である。図14はこの実施の形態12における覚醒
低下度計算回路27,警報出力判断回路30,および音
声警報回路50の動作を示すフローチャートである。ま
ず最初にステップST9において瞬目ヒストグラムh
(n)がクリアされる。ここで瞬目ヒストグラムとは、
1分間における閉眼持続時間別の瞬目発生頻度のヒスト
グラムであり、その内容は例えば以下に示すようなもの
である。
【0093】h(0)=閉眼持続時間0mS超33mS
以下の瞬目回数 h(1)=閉眼持続時間33mS超66mS以下の瞬目
回数 h(n)=閉眼持続時間n×33mS超(n+1)×3
3mS以下の瞬目回数
【0094】次にステップST10,ステップST11
で瞬目フラグFLG_B,閉眼持続時間βをクリアし、
次いでステップST90,ステップST91で瞬目数
N,瞬目ヒストグラム計算バッファph(n)をクリア
する。次にステップST13において瞼開閉判断回路1
1から瞼開閉信号を入力する。
【0095】検出対象者1が瞬きをしない間は、瞼開閉
判断回路11から出力される瞼開閉信号は「瞼開」であ
るため、ステップST20においてステップST30に
処理を移行する。ステップST30において瞬目フラグ
FLG_Bが0すなわち前回も「瞼開」であったならば
ステップST31,ステップST32に処理を移行し瞬
目フラグFLG_B,閉眼持続時間βをクリアする。次
にステップST95でその時点でダイヤルスイッチ41
7により設定されているTB_thを表示スイッチボック
ス48から入力すると、ステップST96において、瞬
目ヒストグラムh(n)より、前記実施の形態2におい
て示した式(2)に従ってTB_th以上の閉眼持続時間
βを持つ瞬目数の全体に対する割合を示す覚醒低下度α
2を計算し、結果を表示スイッチボックス48に出力す
る。液晶表示器405はα2のレベルを表示し検出対象
者1に提示する。なお、この際に用いられる瞬目ヒスト
グラムh(n)は前回の1分間のものであり、スタート
後1分間はα2の表示はなされない。次にステップST
40に処理を移行し1分間経っていなければ、再びステ
ップST13で瞼開閉信号の更新を待って瞼開閉信号を
入力する。
【0096】検出対象者1が瞬きし、閉眼したときには
ステップST20からステップST21に処理を移行し
て閉眼持続時間βを更新し、ステップST22において
瞬目フラグFLG_Bに1をセットする。閉眼持続中は
ステップST13、ステップST20、ステップST2
1、ステップST22の処理を繰り返し閉眼持続時間に
応じて閉眼持続時間βがカウントアップされる。
【0097】瞬きが終わり再び開眼したときにはステッ
プST20,ステップST30,ステップST93と処
理が移行し、ステップST93において瞬目数nを更新
し、ステップST94において閉眼持続時間βに対応し
て瞬目ヒストグラム計算バッファph(n)の対応する
データをインクリメントする。例えば、閉眼持続時間β
が66mSであればph(1)をインクリメントする。
このように瞬目が発生するたびに瞬目ヒストグラム計算
バッファph(n)が更新される。その後ステップST
31,ステップST32で瞬目フラグFLG_B,閉眼
持続時間βをクリアした後ステップST95以下の処理
に合流する。
【0098】1分間の分析区間が終了するとステップS
T40からステップST97に処理を移行し、1分間の
間にインクリメントされた瞬目ヒストグラム計算バッフ
ァph(n)の内容を瞬目ヒストグラムh(n)に転写
する。次にステップST98において、今回の1分間の
瞬目ヒストグラムh(n)からα2を計算し、ステップ
ST99でα2≧α2thであれば覚醒低下と判断し、ス
テップST50で警報を発生する。
【0099】図13に示したように、表示スイッチボッ
クス48においては、前回の1分間の瞬目ヒストグラム
h(n)とその時点でダイヤルスイッチ417により設
定されているTB_thを基にした覚醒低下度α2のレベ
ルが液晶表示器405において逐次表示され、また、液
晶表示器405付近にα2の警報閾値α2thが黒三角で
表示されている。
【0100】検出対象者1は自身が設定するTB_th
より逐次変化するα2のレベルと警報閾値α2thを対照
しながらダイヤルスイッチ417を操作することによ
り、TB_thを自身に合った適正な値に設定することが
できる。すなわちTB_thを小さく設定すると、ステッ
プST96でα2が大きく再計算されて大きなα2が表
示され、かつステップST99で警報が発生しやすくな
り、TB_thを大きく設定すると、ステップST96で
α2が小さく再計算されて小さなα2が表示され、かつ
ステップST99で警報が発生しにくくなる。
【0101】以上のようにこの実施の形態12によれ
ば、計算された覚醒低下指標値と警報閾値とを対照させ
ながら覚醒低下指標値計算のためのパラメータを任意の
適切な値に設定することができるので、覚醒低下指標値
の計算値を検出対象者1の瞬目の個人差に対応した適正
な値とし、検出対象者1に合った適正なタイミングで覚
醒低下警報を発することが可能となる。
【0102】なお、上記においては、警報閾値α2th
の対照のために現在のα2値を表示したが、実施の形態
7のように過去の履歴を表示したり、実施の形態8のよ
うに頻度分布を表示してもよく、同様な効果が得られる
ことはいうまでもない。
【0103】また、上記においては、覚醒低下指標値と
してα2を用いる覚醒低下警報装置の場合を示したが、
α等の他の覚醒低下指標値を用いる覚醒低下警報装置に
おいても、上記のように覚醒低下指標値計算のためのパ
ラメータを設定検出対象者1自らが設定できるようにす
ることが可能であり、同様の効果が得られることはいう
までもない。
【0104】実施の形態13.図15はこの発明の実施
の形態13による覚醒低下警報装置の構成を示すブロッ
ク図であり、図において、418は警報停止ボタンであ
る。なお、図6に示した部分と同一または相当の部分に
ついては同一符号を付して重複説明を省略する。この実
施の形態13の覚醒低下警報装置の構成は図6に示した
構成と同様の構成を持つ実施の形態11の覚醒低下警報
装置とほぼ同様であるが、表示スイッチボックス44に
警報停止ボタン418が設けられている。
【0105】次に動作について説明する。図16は実施
の形態13における覚醒低下度計算回路24,警報出力
判断回路34,音声警報回路50,およびブザー51の
動作を示すフローチャートである。図16におけるステ
ップST100〜ステップST104以外の処理は図1
2に示した実施の形態11と同様である。この実施の形
態13においては、ステップST81においてγ変更後
10分経ったか否かを判断し、10分以上経っていれば
ステップST82において閾値オフセットγから2が引
かれる。ただしγ<0になればγ=0とされる。次にス
テップST83においてα≧αth+γであれば、ステッ
プST100からの警報出力処理に移行する。
【0106】警報出力処理においては、まず、ステップ
ST100で音声警報回路50による警報が開始され、
次に表示スイッチボックス44の警報停止ボタン418
が押されることにより出力される警報停止信号が警報出
力判断回路34に入力されているかがステップST10
1において判定される。警報停止信号が入力されている
場合にはステップST102,ステップST104にお
いて警報オフセットγの値に2が加えられ、警報が停止
される。
【0107】ステップST101において警報停止信号
が入力されていない場合は、ステップST103におい
て音声警報回路50による警報に要する警報時間が経過
したかが判定され、警報時間が経過したならばステップ
ST104において警報が停止され、警報時間が経過し
ていないならばステップST101に処理を戻して警報
停止信号の入力の監視を継続しながら警報の出力を継続
する。
【0108】すなわち上記の処理によれば、音声警報を
検出対象者1が警報停止ボタン418により停止させた
後少なくとも10分間は、警報出力の閾値が2上昇する
ことになり、音声警報が出力されにくくなる。また、1
0分以内にαがαth+2を超えてさらに音声警報が出力
され、さらに検出対象者1が音声警報を警報停止ボタン
418により停止させた場合は、ステップST102に
おいてさらにγに2が加えられγ=4となり、それから
少なくとも10分間は、警報出力の閾値が4上昇したこ
とになり、音声警報はさらに出力されにくくなる。ま
た、10分間検出対象者1による警報停止がない場合に
はステップST82においてγが2ずつ減らされる。
【0109】以上のように、この実施の形態13によれ
ば、検出対象者1が音声警報を警報停止ボタン418に
より停止させる毎に警報閾値を上昇させ、一定時間検出
対象者1による警報停止がないと警報閾値を下降させる
ようにしているため、検出対象者1が警報が適当でない
と感じて警報の途中で警報停止を行った場合に警報閾値
を警報抑制側に自動的に変更することができ、適切な警
報を実施することが可能となる。
【0110】なお、上記においては、警報判断の閾値を
手動で設定できる構成であったが、従来例のように元の
閾値が固定の場合に上記内容を適用しても同様の効果が
得られることはいうまでもない。
【0111】
【発明の効果】以上のように、請求項1記載の発明によ
れば、検出対象者の状態をセンサーにより入力して前記
検出対象者の覚醒状態に関する情報を収集する覚醒情報
収集手段と、前記覚醒情報収集手段が収集した情報を基
に覚醒低下指標値を計算する覚醒低下度計算手段と、前
記覚醒低下度計算手段が計算した前記覚醒低下指標値を
表示する表示手段と、前記覚醒低下指標値を基にした覚
醒低下警報の発生の基準となる覚醒低下警報閾値の任意
値への設定を受け付ける警報閾値設定手段と、前記覚醒
低下指標値と前記覚醒低下警報閾値とが所定の大小関係
を満たす場合に覚醒低下警報を発する警報発生手段とを
備えるように構成したので、検出対象者は表示手段に表
示された覚醒低下指標値を見ることができ、かつ覚醒低
下警報閾値を任意の適切な値に設定することができるた
め、検出対象者が自身の覚醒低下状態を容易に把握する
ことが可能となるとともに、検出対象者の個人差に対応
した適正なタイミングで覚醒低下警報を発することが可
能となる効果がある。
【0112】請求項2記載の発明によれば、検出対象者
の状態をセンサーにより入力して前記検出対象者の覚醒
状態に関する情報を収集する覚醒情報収集手段と、前記
覚醒情報収集手段が収集した情報が示す量と設定された
パラメータとを用いて覚醒低下指標値を計算する覚醒低
下度計算手段と、前記覚醒低下指標値の計算に用いる前
記パラメータの任意値への設定を受け付けるパラメータ
設定手段と、前記覚醒低下度計算手段が計算した覚醒低
下指標値を表示する表示手段と、前記覚醒低下指標値を
基にした覚醒低下警報の発生の基準となる覚醒低下警報
閾値と前記覚醒低下指標値とが所定の大小関係を満たす
場合に覚醒低下警報を発する警報発生手段とを備えるよ
うに構成したので、検出対象者はパラメータの設定に応
じて計算される覚醒低下指標値を表示手段の表示により
確認することができ、かつパラメータ設定手段によりパ
ラメータを任意の適切な値に設定することができるた
め、覚醒低下指標値の計算値を検出対象者の個人差に対
応した適正な値とし、検出対象者に合った適正なタイミ
ングで覚醒低下警報を発することが可能となる効果があ
る。
【0113】請求項3記載の発明によれば、警報発生手
段が複数の警報方法を有するようにし、警報方法の選択
入力を受け付ける警報方法選択手段をさらに備えるよう
に構成したので、検出対象者が警報の種類を選択するこ
とが可能となり、より検出対象者に適合した警報を行う
ことができる効果がある。
【0114】請求項4記載の発明によれば、警報閾値設
定手段は複数の覚醒低下警報閾値の設定を受け付けるこ
とが可能であり、警報発生手段は複数の警報方法を有し
覚醒低下指標値の前記複数の覚醒低下警報閾値との大小
関係に従って異なる警報方法を用いるように構成したの
で、覚醒低下指標値が各覚醒低下警報閾値を通過する毎
に異なる警報方法により警報を行うことができ、警報の
種類の違いにより検出対象者に覚醒低下の進行具合を認
識させることが可能となるとともに、例えば覚醒低下が
進んだ場合により覚醒効果の高い警報を出力して検出対
象者の覚醒を促すなどのことが可能となる効果がある。
【0115】請求項5記載の発明によれば、覚醒低下度
計算手段は異なる複数の評価指標に基づく複数の覚醒低
下指標値を計算し、警報閾値設定手段は前記複数の覚醒
低下指標値に対応した複数の覚醒低下警報閾値の設定を
受け付けることが可能であり、警報発生手段は前記複数
の覚醒低下指標値のいずれかが覚醒低下警報閾値との間
に警報発生要件となる所定の大小関係を満たす場合に覚
醒低下警報を発するように構成したので、複数の覚醒低
下指標値による覚醒低下検出により覚醒低下検出の精度
を向上することができる効果がある。
【0116】請求項6記載の発明によれば、警報発生手
段は覚醒低下指標値毎に割り当てられた複数の警報方法
を有し、警報発生要件となる所定の大小関係を満たした
覚醒低下指標値毎に異なる警報方法で覚醒低下警報を発
するように構成したので、複数の覚醒低下指標値による
覚醒低下検出により覚醒低下検出の精度を向上し、かつ
覚醒低下指標値毎の警報により覚醒低下状態をより詳細
に検出対象者に知らしめることができる効果がある。
【0117】請求項7記載の発明によれば、表示手段
が、過去所定時間にわたる覚醒低下指標値の履歴と、現
在設定されている覚醒低下警報閾値とを表示するように
構成したので、表示手段に表示された覚醒低下指標値の
履歴と覚醒低下警報閾値とを対照させながら覚醒低下警
報閾値の設定をより適切に行うことが可能となる効果が
ある。
【0118】請求項8記載の発明によれば、表示手段
が、過去所定時間にわたる覚醒低下指標値の統計計算結
果と、現在設定されている覚醒低下警報閾値とを表示す
るように構成したので、表示手段に表示された覚醒低下
指標値の統計計算結果と覚醒低下警報閾値とを対照させ
ながら覚醒低下警報閾値の設定をより適切に行うことが
可能となる効果がある。
【0119】請求項9記載の発明によれば、表示手段が
統計計算結果として過去所定時間にわたる覚醒低下指標
値の頻度分布を表示するように構成したので、表示手段
に表示された覚醒低下指標値の頻度分布と覚醒低下警報
閾値とを対照させながら覚醒低下警報閾値の設定をより
適切に行うことができる効果がある。
【0120】請求項10記載の発明によれば、検出対象
者の状態をセンサーにより入力して前記検出対象者の覚
醒状態に関する情報を収集する覚醒情報収集手段と、前
記覚醒情報収集手段が収集した情報を基に覚醒低下指標
値を計算する覚醒低下度計算手段と、前記覚醒低下指標
値と予め定められた覚醒低下警報閾値とが所定の大小関
係を満たす場合に覚醒低下警報を発する警報発生手段と
を備え、前記警報発生手段は前記覚醒低下警報を発した
後所定時間の間、前記覚醒低下警報の出力を行わないよ
うに構成したので、検出対象者の警報慣れを防止して警
報の印象を強く保ち、検出対象者が警報を常に新鮮に受
けとめるようにすることが可能となる効果がある。
【0121】請求項11記載の発明によれば、検出対象
者の状態をセンサーにより入力して前記検出対象者の覚
醒状態に関する情報を収集する覚醒情報収集手段と、前
記覚醒情報収集手段が収集した情報を基に覚醒低下指標
値を計算する覚醒低下度計算手段と、前記覚醒低下指標
値と予め定められた覚醒低下警報閾値とが所定の大小関
係を満たす場合に覚醒低下警報を発する警報発生手段と
を備え、前記警報発生手段が、前記覚醒低下警報を発し
た後所定時間の間、前記覚醒低下警報閾値を警報抑制側
に変更するように構成したので、覚醒低下警報を発した
後さらに覚醒低下が進行する場合にのみ警報が継続され
るようにして、煩わしい警報を抑制するとともに危険な
覚醒低下の進行を検出対象者に知らしめることができる
効果がある。
【0122】請求項12記載の発明によれば、検出対象
者の状態をセンサーにより入力して前記検出対象者の覚
醒状態に関する情報を収集する覚醒情報収集手段と、前
記覚醒情報収集手段が収集した情報を基に覚醒低下指標
値を計算する覚醒低下度計算手段と、前記覚醒低下指標
値と予め定められた覚醒低下警報閾値とが所定の大小関
係を満たす場合に覚醒低下警報を発する警報発生手段
と、発生した前記覚醒低下警報の停止を要求する入力を
受け付け、前記警報発生手段に警報停止信号を出力する
警報停止手段を備え、前記警報発生手段は前記警報停止
手段から前記警報停止信号を受けると前記覚醒低下警報
を停止し、その後所定時間の間、前記覚醒低下警報閾値
を警報抑制側に変更するように構成したので、検出対象
者が覚醒低下警報が適当でないと感じて覚醒低下警報の
途中で警報停止を行った場合に覚醒低下警報閾値を警報
抑制側に自動的に変更することができ、適切な警報を実
施することが可能となる効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1による覚醒低下警報
装置の構成を示すブロック図である。
【図2】 この発明の実施の形態1による覚醒低下警報
装置の表示スイッチボックスの構成の詳細を示す正面図
である。
【図3】 この発明の実施の形態1による覚醒低下警報
装置の覚醒低下度計算回路,警報出力判断回路,および
音声警報回路の動作を示すフローチャートである。
【図4】 この発明の実施の形態3による覚醒低下警報
装置の構成を示すブロック図である。
【図5】 この発明の実施の形態4による覚醒低下警報
装置の構成を示すブロック図である。
【図6】 この発明の実施の形態5による覚醒低下警報
装置の構成を示すブロック図である。
【図7】 この発明の実施の形態5による覚醒低下警報
装置の覚醒低下度計算回路,警報出力判断回路,音声警
報回路,およびブザーの動作を示すフローチャートであ
る。
【図8】 この発明の実施の形態6による覚醒低下警報
装置の構成を示すブロック図である。
【図9】 この発明の実施の形態7による覚醒低下警報
装置の表示スイッチボックスの構成を示す正面図であ
る。
【図10】 この発明の実施の形態8による覚醒低下警
報装置の表示スイッチボックスの構成を示す正面図であ
る。
【図11】 この発明の実施の形態10による覚醒低下
警報装置の覚醒低下度計算回路,警報出力判断回路,音
声警報回路,およびブザーの動作を示すフローチャート
である。
【図12】 この発明の実施の形態11による覚醒低下
警報装置の覚醒低下度計算回路,警報出力判断回路,音
声警報回路,およびブザーの動作を示すフローチャート
である。
【図13】 この発明の実施の形態12による覚醒低下
警報装置の構成を示すブロック図である。
【図14】 この発明の実施の形態12による覚醒低下
警報装置の覚醒低下度計算回路,警報出力判断回路,お
よび音声警報回路の動作を示すフローチャートである。
【図15】 この発明の実施の形態13による覚醒低下
警報装置の構成を示すブロック図である。
【図16】 この発明の実施の形態13による覚醒低下
警報装置の覚醒低下度計算回路,警報出力判断回路,音
声警報回路,およびブザーの動作を示すフローチャート
である。
【図17】 従来の自動車用の覚醒低下警報装置の構成
を示すブロック図である。
【図18】 i番目の覚醒低下判断区間における瞬目の
発生状況を示す説明図である。
【図19】 図17における覚醒低下度計算回路,警報
出力判断回路,および音声警報回路の動作を示すフロー
チャートである。
【図20】 2名の検出対象者AとBにおける覚醒低下
度αの時間変化を示すグラフ図である。
【符号の説明】
1 検出対象者、10 CCDカメラ(覚醒情報収集手
段)、11 瞼開閉判断回路(覚醒情報収集手段)、1
2 脳波電極(覚醒情報収集手段)、21,24,2
5,27 覚醒低下度計算回路(覚醒低下度計算手
段)、30,31,32,33,34,35 警報出力
判断回路(警報発生手段)、40,43,44,45,
46,47 表示スイッチボックス(表示手段,警報閾
値設定手段)、41 表示スイッチボックス(表示手
段,警報閾値設定手段,警報方法選択手段)、48 表
示スイッチボックス(表示手段,パラメータ設定手
段)、50 音声警報回路(警報発生手段)、51 ブ
ザー(警報発生手段)、401,402,403,40
4,405 液晶表示器(表示手段)、411,41
2,413,414 スライドスイッチ(警報閾値設定
手段)、415,416 ダイヤルスイッチ(警報閾値
設定手段)、417 ダイヤルスイッチ(パラメータ設
定手段)、418 警報停止ボタン(警報停止手段)、
421 警報音選択スイッチ(警報方法選択手段)。
フロントページの続き (72)発明者 関 真規人 東京都千代田区丸の内二丁目2番3号 三菱電機株式会社内 (56)参考文献 特開 平9−267660(JP,A) 特開 昭63−217500(JP,A) 特開 昭63−89998(JP,A) 特開 平1−230343(JP,A) 特開 平8−147582(JP,A) 特開 平6−328968(JP,A) 特開 昭56−21920(JP,A) 特開 昭57−158126(JP,A) 実開 昭52−12017(JP,U) 実開 平1−154025(JP,U) 実開 昭58−122193(JP,U) (58)調査した分野(Int.Cl.7,DB名) G08B 21/06 B60K 28/06 G08B 25/00 510

Claims (12)

    (57)【特許請求の範囲】
  1. 【請求項1】 検出対象者の状態をセンサーにより入力
    して前記検出対象者の覚醒状態に関する情報を収集する
    覚醒情報収集手段と、前記覚醒情報収集手段が収集した
    情報を基に覚醒低下指標値を計算する覚醒低下度計算手
    段と、前記覚醒低下度計算手段が計算した前記覚醒低下
    指標値を表示する表示手段と、前記覚醒低下指標値を基
    にした覚醒低下警報の発生の基準となる覚醒低下警報閾
    値の任意値への設定を受け付ける警報閾値設定手段と、
    前記覚醒低下指標値と前記覚醒低下警報閾値とが所定の
    大小関係を満たす場合に覚醒低下警報を発する警報発生
    手段とを備えた覚醒低下警報装置。
  2. 【請求項2】 検出対象者の状態をセンサーにより入力
    して前記検出対象者の覚醒状態に関する情報を収集する
    覚醒情報収集手段と、前記覚醒情報収集手段が収集した
    情報が示す量と設定されたパラメータとを用いて覚醒低
    下指標値を計算する覚醒低下度計算手段と、前記覚醒低
    下指標値の計算に用いる前記パラメータの任意値への設
    定を受け付けるパラメータ設定手段と、前記覚醒低下度
    計算手段が計算した覚醒低下指標値を表示する表示手段
    と、前記覚醒低下指標値を基にした覚醒低下警報の発生
    の基準となる覚醒低下警報閾値と前記覚醒低下指標値と
    が所定の大小関係を満たす場合に覚醒低下警報を発する
    警報発生手段とを備えた覚醒低下警報装置。
  3. 【請求項3】 警報発生手段は複数の警報方法を有して
    おり、警報方法の選択入力を受け付ける警報方法選択手
    段をさらに備えたことを特徴とする請求項1または請求
    項2記載の覚醒低下警報装置。
  4. 【請求項4】 警報閾値設定手段は複数の覚醒低下警報
    閾値の設定を受け付けることが可能であり、警報発生手
    段は複数の警報方法を有し覚醒低下指標値の前記複数の
    覚醒低下警報閾値との大小関係に従って異なる警報方法
    を用いることを特徴とする請求項1記載の覚醒低下警報
    装置。
  5. 【請求項5】 覚醒低下度計算手段は異なる複数の評価
    指標に基づく複数の覚醒低下指標値を計算し、警報閾値
    設定手段は前記複数の覚醒低下指標値に対応した複数の
    覚醒低下警報閾値の設定を受け付けることが可能であ
    り、警報発生手段は前記複数の覚醒低下指標値のいずれ
    かが覚醒低下警報閾値との間に警報発生要件となる所定
    の大小関係を満たす場合に覚醒低下警報を発することを
    特徴とする請求項1記載の覚醒低下警報装置。
  6. 【請求項6】 警報発生手段は覚醒低下指標値毎に割り
    当てられた複数の警報方法を有し、警報発生要件となる
    所定の大小関係を満たした覚醒低下指標値毎に異なる警
    報方法で覚醒低下警報を発することを特徴とする請求項
    5記載の覚醒低下警報装置。
  7. 【請求項7】 表示手段は、過去所定時間にわたる覚醒
    低下指標値の履歴と、現在設定されている覚醒低下警報
    閾値とを表示することを特徴とする請求項1または請求
    項3から請求項6のうちのいずれか1項記載の覚醒低下
    警報装置。
  8. 【請求項8】 表示手段は、過去所定時間にわたる覚醒
    低下指標値の統計計算結果と、現在設定されている覚醒
    低下警報閾値とを表示することを特徴とする請求項1ま
    たは請求項3から請求項6のうちのいずれか1項記載の
    覚醒低下警報装置。
  9. 【請求項9】 表示手段は統計計算結果として、過去所
    定時間にわたる覚醒低下指標値の頻度分布を表示するこ
    とを特徴とする請求項8記載の覚醒低下警報装置。
  10. 【請求項10】 検出対象者の状態をセンサーにより入
    力して前記検出対象者の覚醒状態に関する情報を収集す
    る覚醒情報収集手段と、前記覚醒情報収集手段が収集し
    た情報を基に覚醒低下指標値を計算する覚醒低下度計算
    手段と、前記覚醒低下指標値と予め定められた覚醒低下
    警報閾値とが所定の大小関係を満たす場合に覚醒低下警
    報を発する警報発生手段とを備え、前記警報発生手段
    は、前記覚醒低下警報を発した後所定時間の間、前記覚
    醒低下警報の出力を行わないことを特徴とする覚醒低下
    警報装置。
  11. 【請求項11】 検出対象者の状態をセンサーにより入
    力して前記検出対象者の覚醒状態に関する情報を収集す
    る覚醒情報収集手段と、前記覚醒情報収集手段が収集し
    た情報を基に覚醒低下指標値を計算する覚醒低下度計算
    手段と、前記覚醒低下指標値と予め定められた覚醒低下
    警報閾値とが所定の大小関係を満たす場合に覚醒低下警
    報を発する警報発生手段とを備え、前記警報発生手段
    は、前記覚醒低下警報を発した後所定時間の間、前記覚
    醒低下警報閾値を警報抑制側に変更することを特徴とす
    る覚醒低下警報装置。
  12. 【請求項12】 検出対象者の状態をセンサーにより入
    力して前記検出対象者の覚醒状態に関する情報を収集す
    る覚醒情報収集手段と、前記覚醒情報収集手段が収集し
    た情報を基に覚醒低下指標値を計算する覚醒低下度計算
    手段と、前記覚醒低下指標値と予め定められた覚醒低下
    警報閾値とが所定の大小関係を満たす場合に覚醒低下警
    報を発する警報発生手段と、発生した前記覚醒低下警報
    の停止を要求する入力を受け付け、前記警報発生手段に
    警報停止信号を出力する警報停止手段を備え、前記警報
    発生手段は前記警報停止手段から前記警報停止信号を受
    けると前記覚醒低下警報を停止し、その後所定時間の
    間、前記覚醒低下警報閾値を警報抑制側に変更すること
    を特徴とする覚醒低下警報装置。
JP19375196A 1996-07-23 1996-07-23 覚醒低下警報装置 Expired - Lifetime JP3388101B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19375196A JP3388101B2 (ja) 1996-07-23 1996-07-23 覚醒低下警報装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19375196A JP3388101B2 (ja) 1996-07-23 1996-07-23 覚醒低下警報装置

Publications (2)

Publication Number Publication Date
JPH1040481A JPH1040481A (ja) 1998-02-13
JP3388101B2 true JP3388101B2 (ja) 2003-03-17

Family

ID=16313214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19375196A Expired - Lifetime JP3388101B2 (ja) 1996-07-23 1996-07-23 覚醒低下警報装置

Country Status (1)

Country Link
JP (1) JP3388101B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3968812B2 (ja) * 1997-03-14 2007-08-29 株式会社日本自動車部品総合研究所 車両用居眠り運転防止装置
KR20000013102A (ko) * 1998-08-04 2000-03-06 정몽규 각성도를 이용한 졸음 운전 판별 방법
JP4603264B2 (ja) * 2002-02-19 2010-12-22 ボルボ テクノロジー コーポレイション 運転者注意負荷の監視と管理とを行なうシステムおよび方法
DE102004005163B3 (de) * 2004-02-02 2005-06-02 Braun, Uwe Peter, Dipl.-Ing. Vorrichtung zur Erfassung der Fahrtüchtigkeit eines Fahrers in einem Fahrzeug
JP4853375B2 (ja) * 2007-04-27 2012-01-11 富士ゼロックス株式会社 状態検知装置、状態検知方法、及び状態検知プログラム
JPWO2010122650A1 (ja) 2009-04-23 2012-10-22 トヨタ自動車株式会社 運転不適対応装置
JP5609293B2 (ja) * 2010-06-15 2014-10-22 三菱ふそうトラック・バス株式会社 車線逸脱警報装置及び警報方法
JP5640542B2 (ja) * 2010-08-10 2014-12-17 日産自動車株式会社 安定状態表示装置
US9591447B2 (en) * 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for providing contextual environmental information
JP2020021144A (ja) * 2018-07-30 2020-02-06 パイオニア株式会社 刺激制御装置、刺激制御方法及びプログラム
JP7115929B2 (ja) * 2018-07-30 2022-08-09 パイオニア株式会社 刺激制御装置、刺激制御方法及びプログラム
CN110473392B (zh) * 2019-08-30 2021-02-19 南安昌晟消防科技有限公司 消防安全疏散指示***
JP2022077282A (ja) * 2020-11-11 2022-05-23 株式会社コムテック 警報システム
JP2024083849A (ja) 2022-12-12 2024-06-24 矢崎総業株式会社 眠気検出装置及び眠気検出用のプログラム
JP2024083848A (ja) 2022-12-12 2024-06-24 矢崎総業株式会社 眠気検出装置及び眠気検出用のプログラム

Also Published As

Publication number Publication date
JPH1040481A (ja) 1998-02-13

Similar Documents

Publication Publication Date Title
JP3388101B2 (ja) 覚醒低下警報装置
JP3183161B2 (ja) 覚醒度推定装置
JP2003317197A (ja) 警報システム
EP1478268B1 (en) Method for monitoring and managing driver attention loads
US7639148B2 (en) Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
US8487775B2 (en) Method and apparatus for determining and analyzing a location of visual interest
JP5287875B2 (ja) 生体状態推定装置及び車両制御装置
CN113345204B (zh) 一种车载远程疲劳唤醒方法及其唤醒***
JP4967559B2 (ja) 居眠り運転防止装置及びプログラム
JP4400624B2 (ja) 居眠り防止装置及び方法
JP3374613B2 (ja) 覚醒低下警報装置
JPH0779803B2 (ja) 居眠り検出装置
JP2002183900A (ja) 居眠り運転警報装置
JP3480483B2 (ja) 覚醒度推定装置
JP3509839B2 (ja) 覚醒度推定装置
JPH07156682A (ja) 覚醒状態検出装置
JP3393463B2 (ja) 車両運転状態検出装置
JPH09267660A (ja) 車両用覚醒度情報出力装置
JP3508624B2 (ja) 予防安全装置
JP3393322B2 (ja) 車両用運転状況監視装置
KR100299075B1 (ko) 운전자졸음경보장치
JPH08196636A (ja) 居眠り警告装置
JP2023135807A (ja) 警報提示方法、警報提示装置及び警報提示プログラム
CN115966056A (zh) 一种车辆内人身安全预警的方法、装置、设备及存储介质
JPH08150128A (ja) 居眠り警告装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080110

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090110

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100110

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100110

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110110

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120110

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130110

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130110

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term