JP3334583B2 - Awake state detection method - Google Patents
Awake state detection methodInfo
- Publication number
- JP3334583B2 JP3334583B2 JP33345997A JP33345997A JP3334583B2 JP 3334583 B2 JP3334583 B2 JP 3334583B2 JP 33345997 A JP33345997 A JP 33345997A JP 33345997 A JP33345997 A JP 33345997A JP 3334583 B2 JP3334583 B2 JP 3334583B2
- Authority
- JP
- Japan
- Prior art keywords
- waveform
- baseline
- eyelid
- sampling
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
Description
【0001】[0001]
【発明の属する技術分野】本発明は、車両運転者等の瞼
の開閉動作である瞬きの閉眼時間を測定して覚醒状態を
検出する検出方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a detection method for detecting an awake state by measuring a blinking eye closing time as an eyelid opening / closing operation of a vehicle driver or the like.
【0002】[0002]
【従来の技術】従来より、瞼の瞬きの閉眼時間を測定し
て、覚醒状態を検出する装置は種々知られている。例え
ば、基準閉眼時間と比較して、測定された閉眼時間が基
準閉眼時間より長い閉眼時間のものを複数積算して、そ
の合計値が所定時間内に規定値以上となった場合、居眠
り状態と判断する。よって、初回に測定した閉眼時間が
規定値以上の場合は、即座に居眠り状態を検出すること
が可能である。このような装置は、特開平7ー1566
82号公報に開示されている。2. Description of the Related Art Conventionally, various devices have been known for detecting an awake state by measuring the time of closing the eyelid blink. For example, in comparison with the reference eye closing time, the measured eye closing time is integrated for a plurality of eye closing times longer than the reference eye closing time, and when the total value is equal to or greater than a specified value within a predetermined time, it is considered a dozing state. to decide. Therefore, when the eye closing time measured for the first time is equal to or longer than the specified value, it is possible to immediately detect the dozing state. Such an apparatus is disclosed in JP-A-7-1566.
No. 82 is disclosed.
【0003】そして、その閉眼時間を測定する手段は、
前記公報においても、電極を用いる手段、画像処理を用
いる手段等として開示されている。電極を被検者の顔面
に配置して眼球電位を測定するEOGにおいては、瞼の
通常の瞬きの閉眼時間は200ms(1/50秒)前後
である関係上、前記閉眼時間の1/40程度早い5ms
のサンプリング間隔で測定される。よって、EOGの場
合は、瞼の全開から全閉を経由して全開までの電圧変化
のグラフ形状が正確に測定され、該グラフ形状の全開か
らの立ち上がりカーブの傾斜、及び、全閉から全開への
傾斜をそれぞれ2回微分することにより、両者の時間軸
に対する電圧値のピーク値を急峻状態で得ることがで
き、その両者間が閉眼時間として検出される。The means for measuring the eye closing time is as follows:
The above publication also discloses a means using electrodes, a means using image processing, and the like. In the EOG in which the electrodes are arranged on the face of the subject to measure the eyeball potential, the eyelid closing time for the normal blinking of the eyelid is about 200 ms (1/50 second), so that the eyelid closing time is about 1/40 of the eye closing time. 5ms early
At the sampling interval of Therefore, in the case of EOG, the graph shape of the voltage change from the full opening of the eyelid to the full opening via the full closing is accurately measured, and the slope of the rising curve from the full opening of the graph shape and from the full closing to the full opening. Is differentiated twice, a peak value of the voltage value with respect to both time axes can be obtained in a steep state, and the interval between the two is detected as the eye closing time.
【0004】ところが、前記したEOG方式は車両の運
転者の顔面に電極を配置することは、運転中煩わしいこ
とである。よって、前記瞬き検出装置として、被検者に
非接触となるカメラを運転席前方に配置することが望ま
しい。前記公報においてもCCD撮像体を用いて被検者
の顔画像を撮影して瞼の開閉を検出する例が示されてい
る。このCCD撮像体の場合、通常のCCDデバイスを
用い低コストで画像処理を行うには、通常のビデオ信号
と同様の30フレーム/sビデオレートを用いるため
に、サンプリング間隔が33.3msであり、約1/3
0秒間隔で画像を視ることとなり、これより短い瞼の動
きには追従されない。However, in the above-described EOG system, arranging electrodes on the face of the driver of the vehicle is troublesome during driving. Therefore, as the blink detection device, it is desirable to dispose a camera that does not contact the subject in front of the driver's seat. The publication also discloses an example in which a face image of a subject is photographed using a CCD imaging body to detect opening and closing of eyelids. In the case of this CCD imaging body, in order to perform image processing at low cost using a normal CCD device, the sampling interval is 33.3 ms because a 30 frame / s video rate similar to a normal video signal is used. About 1/3
Images are viewed at 0 second intervals, and are not followed by shorter eyelid movements.
【0005】しかしながら、前述したように、通常の瞬
きの閉眼時間は200ms(1/50秒)前後であり、
33.3msの間隔でサンプリングを行うと、前記通常
時閉眼時間は、6個のサンプリングデータで得ることが
できる。そして、居眠りを誘う閉眼時間は当然通常の閉
眼時間より長くなり6個以上のデータで構成されるはず
であり、通常のCCD撮像体での使用が可能である。However, as described above, the eye closing time for a normal blink is about 200 ms (1/50 second).
When sampling is performed at intervals of 33.3 ms, the normal eye closing time can be obtained by six pieces of sampling data. The eye-closing time for inviting dozing is naturally longer than the normal eye-closing time, and should consist of six or more data, and can be used with a normal CCD image pickup body.
【0006】[0006]
【発明が解決しようとする課題】上述のCCD撮像体
は、33.3msの間隔でサンプリングを行うので、こ
の1/30秒の間に瞼もしくは/及び顔面は生理的振動
または車両の振動等が微妙に加算されて振動し、ビデオ
信号に高周波成分及び低周波成分が重畳することとな
り、複雑な波形となる。よって、単調に増加または減少
する波形ではないので、ビデオ信号による閉眼カーブの
間に2回微分を行っても、2個のピークのみでなく、多
数の波形が生まれ正確な閉眼時間を測定する事ができな
い。Since the above-mentioned CCD imaging body performs sampling at an interval of 33.3 ms, the eyelids and / or the face are subjected to physiological vibration or vehicle vibration during this 1/30 second. The signal is delicately added and vibrates, and a high frequency component and a low frequency component are superimposed on the video signal, resulting in a complicated waveform. Therefore, since the waveform does not monotonically increase or decrease, even if the differentiation is performed twice during the closing curve by the video signal, not only two peaks but also a large number of waveforms are generated, and the accurate closing time of the eye is measured. Can not.
【0007】上述の事情に鑑み、本発明は、ビデオ信号
による閉眼カーブを用いて、瞼の瞬きの閉眼時間を正確
に検出する方法を提供することを目的としたものであ
る。SUMMARY OF THE INVENTION In view of the above circumstances, an object of the present invention is to provide a method for accurately detecting an eyelid blink closing time using an eye closing curve based on a video signal.
【0008】[0008]
【課題を解決するための手段】かかる課題を解決する手
段は請求項1〜3に記載されている通りである。本請求
項1に記載される発明において、「CCD撮像体により
運転者の瞼開閉状態を撮像し」とは、車両運転者の顔全
体、もしくは顔半分を観察してもよく、また、例えば、
眉毛と瞼を含む瞼近傍部でもよく、瞼の開閉動作によっ
て電圧変化が検出できる観察パターンであればよいこと
を意味する。Means for solving the problems are as described in claims 1 to 3 . In the invention described in claim 1, “the image of the driver's eyelid open / closed state is captured by the CCD imager” may be that the entire face or half of the face of the vehicle driver may be observed.
It may be in the vicinity of the eyelids including the eyebrows and eyelids, which means that any observation pattern that can detect a voltage change by opening and closing the eyelids may be used.
【0009】そのためには、CCD撮像体(CCDカメ
ラ)の視野がハンドルに蹴られない位置にCCDカメラ
を配置し、直接もしくはミラーを用いて反射して顔全体
もしくは、少なくとも瞼を含む部分が観察可能に構成す
る。そして、例えば、図3に示すように、CCDカメラ
1をハンドル22の左右どちらか側に配置し、カメラの
画角21が片方の瞼及び眉毛を含む部分20aを観察す
るようになし、閉眼した際には眉毛を除いて白部分が多
く電圧が高く、開眼した際には黒眼により電圧が低くな
り、閉眼と開眼との出力差が大きくなるように構成する
ことが望ましい。For this purpose, a CCD camera is arranged at a position where the field of view of the CCD image pickup body (CCD camera) is not kicked by the steering wheel, and the entire face or at least a portion including the eyelids is observed directly or by reflection using a mirror. Configure as possible. Then, for example, as shown in FIG. 3, the CCD camera 1 is disposed on either side of the handle 22, and the angle of view 21 of the camera is such that the part 20 a including one eyelid and eyebrows is observed, and the eyes are closed. In such a case, it is desirable that the voltage is high in many white portions except for the eyebrows, and the voltage is high due to the black eye when the eye is opened, so that the output difference between the closed eye and the open eye is large.
【0010】そして、かかるCCDカメラにより請求項
1に記載のサンプリング波形を得ることができるが、車
両の運転中においては、道路の凹凸とショックアブゾー
バ作用等により長い周期で前記観察パターンが揺動する
ために、前記サンプリング波形からこれらのノイズとし
ての低周波成分を差し引く必要がある。よって、本発明
においては、例えば、図6のグラフ3′に示すように、
前記サンプリング波形40′から低周波成分42′を差
引いて、波形43′を得ている。The sampling waveform described in claim 1 can be obtained by such a CCD camera. However, during the operation of the vehicle, the observation pattern fluctuates in a long cycle due to irregularities on the road and a shock absorber function. Therefore, it is necessary to subtract these low frequency components as noise from the sampling waveform. Therefore, in the present invention, for example, as shown in a graph 3 'in FIG.
The waveform 43 'is obtained by subtracting the low frequency component 42' from the sampling waveform 40 '.
【0011】そして、前記観察パターンの表面輝度が一
定であれば、前記サンプリング波形の低周波成分除去処
理を行えば、基線安定化が行えるはずであるが、瞼の開
眼状態から全閉状態を経て再度開眼状態に復帰する時間
は、通常の瞬きの場合でも200msの間隔があり、そ
の間には前記観察パターンの表面輝度に差が生じること
があり、差が生じた場合は、一方の開眼状態に前記低周
波成分除去処理を行うと他方の開眼状態では出力波形の
電圧値は前記一方より少なく基線45′より下側に位置
するように検出される。If the surface luminance of the observation pattern is constant, the low frequency component removal processing of the sampling waveform should stabilize the baseline. The time to return to the open state again has an interval of 200 ms even in the case of a normal blink, during which a difference may occur in the surface luminance of the observation pattern. When the low frequency component removal processing is performed, the voltage value of the output waveform is detected so as to be less than the one and located below the base line 45 'in the other eye open state.
【0012】よって、この基線45′より下側に形成さ
れる波形の下側包絡線成分を例えば、ピークホールド回
路等を用いて除去することにより、図6のグラフ6′に
示すような波形44′が形成され、より基線安定化を行
うことができる。Accordingly, by removing the lower envelope component of the waveform formed below the base line 45 'by using, for example, a peak hold circuit or the like, the waveform 44 as shown in the graph 6' of FIG. 'Is formed, and the base line can be further stabilized.
【0013】尚、低周波成分除去及び下側包絡線除去処
理を基線安定化処理と定義し、「電圧軸上の基準位置」
とは、形成される波形及びしきい値電圧の基準位置であ
り、ゼロを含んで適宜の値を有する。The low-frequency component removal processing and the lower envelope removal processing are defined as baseline stabilization processing.
Is a reference position of a formed waveform and a threshold voltage, and has an appropriate value including zero.
【0014】そして、この基線安定波形を予め決められ
たしきい値電圧で選別し、さらに閉眼時間を越えた前記
基線安定波形の時間軸を測定して瞼の閉眼時間を検出し
ている。よって、本発明のCCDカメラにより撮像した
サンプリング波形にノイズが含まれている場合でも、正
確に閉眼時間を検出することができる。Then, the baseline stable waveform is selected by a predetermined threshold voltage, and the time axis of the baseline stable waveform that exceeds the eye closing time is measured to detect the eyelid closing time. Therefore, even when noise is included in the sampling waveform captured by the CCD camera of the present invention, the eye closing time can be accurately detected.
【0015】また、請求項2に記載したように、「単調
に増加若しくは、減少する形状に波形形状安定化処理を
行う」とは、正弦波にのこぎり波を重畳させたようにギ
ザギザのノイズ形状が乗った波形から正弦波のように単
調に増加若しくは、減少する形状に形状を安定化するこ
とをいう。Further, as described in the second aspect, "performing the waveform shape stabilizing process on a monotonically increasing or decreasing shape" means that a jagged noise shape is obtained by superimposing a sawtooth wave on a sine wave. Means to stabilize the shape to a shape that monotonously increases or decreases like a sine wave from the waveform on which the waveform is superimposed.
【0016】車両運転者の前記観察パターンは、運転者
の生理的振動、車両の高周波振動等による振動が合成さ
れ、1/30秒のサンプリング時間の間に、前記合成振
動がない場合に位置するであろう観察パターンの位置よ
り微妙にずれた位置を記憶することにより、例えば、図
4のグラフ1に示したようにギザギザのノイズ波形が乗
った波形が形成される。[0016] The observation pattern of the vehicle driver is located when vibration due to physiological vibration of the driver, high-frequency vibration of the vehicle or the like is synthesized, and there is no synthesized vibration during a sampling time of 1/30 second. By storing a position slightly deviated from the position of the observation pattern, a waveform having a jagged noise waveform is formed, for example, as shown in graph 1 of FIG.
【0017】このノイズ波形では、ギザギザ波形のどの
位置を実際の瞼の閉成の開始時期及び閉成の終了時期と
判断することは困難である。よって、この出力波形から
高周波振動成分による出力を差し引くことにより、瞼が
閉成するにつれて単調に増加する波形を、また、瞼が開
成するにつれて単調に減少する形状を得ることができ、
前記形状が安定した波形が形成される。With this noise waveform, it is difficult to determine which position of the jagged waveform is the actual start time and the end time of closing the eyelids. Therefore, by subtracting the output of the high-frequency vibration component from this output waveform, it is possible to obtain a waveform that monotonically increases as the eyelid closes, and a shape that monotonically decreases as the eyelid opens,
A waveform having a stable shape is formed.
【0018】この場合、請求項3記載のように、前記波
形形状安定化するために、前記サンプリング波形の高周
波成分除去処理を行い、それにより形成された波形を所
定時間間隔で再サンプリング処理を行うことにより効果
的に前記波形が形成される。前記サンプリング波形の高
周波成分除去処理を行うと、前記した波形のギザギザノ
イズを排除することができる。又、その後の演算処理を
考慮して、時間軸方向の精度向上をはかるため33ms
よりも短い間隔で再サンプリング処理を行い、補間処理
を施している。In this case, in order to stabilize the waveform shape, high-frequency component removal processing of the sampling waveform is performed, and a waveform formed thereby is re-sampled at predetermined time intervals. This effectively forms the waveform. When the high frequency component removal processing of the sampling waveform is performed, the jagged noise of the waveform can be eliminated. 33 ms to improve the accuracy in the time axis direction in consideration of the subsequent arithmetic processing
The resampling process is performed at shorter intervals, and the interpolation process is performed.
【0019】また、これらの発明は、前記基線安定化処
理の後に、該基線安定化処理により形成された波形の閉
眼時出力の頂点をゲイン補正したゲイン補正波形を形成
し、しかる後に該ゲイン補正波形と予め決められたしき
い値電圧及び閉眼時間とを比較して瞼の閉眼時間を検出
するのが好ましい。Further, according to these inventions, after the baseline stabilization processing, a gain correction waveform is formed by performing gain correction on the vertex of the closed-eye output of the waveform formed by the baseline stabilization processing, and thereafter, the gain correction waveform is obtained. It is preferable to detect the eyelid closing time by comparing the waveform with a predetermined threshold voltage and eye closing time.
【0020】前述したように、前記観察パターンの輝度
変化により、ノイズ成分が重畳し、前記基線安定化処理
を実施すると、電圧しきい値内に埋没され、瞬き候補と
して検出されない場合がある。よって、例えば、図6の
グラフ6′に示すごとく、しきい値電圧Vspよりさほ
ど大きくない前記基線安定化処理後の波形Vt1,Vt
2を、グラフ7′に示すようにVt1′,Vt2′とし
て波形の閉眼時出力の頂点をゲイン補正して、しきい値
電圧を越えて起立形成することにより、しきい値に埋没
されることがなく閉眼時間を正確に検出することができ
る。As described above, if the noise component is superimposed due to the change in luminance of the observation pattern and the baseline stabilization process is performed, the noise component may be buried in the voltage threshold and not detected as a blinking candidate. Therefore, for example, as shown in a graph 6 'of FIG. 6, the waveforms Vt1 and Vt after the baseline stabilization processing are not so much larger than the threshold voltage Vsp.
2 is Vt1 'and Vt2' as shown in the graph 7 ', and the vertices of the output at the time of closing the waveform are corrected for gain, and rise up beyond the threshold voltage to be buried in the threshold. The eye-closing time can be accurately detected without any error.
【0021】[0021]
【発明の実施の形態】以下、本発明を図に示した実施の
形態を用いて詳細に説明する。但し、この実施の形態に
記載される構成部品の寸法、材質、形状、その相対位置
などは特に特定的な記載が無い限り、この発明の範囲を
それのみに限定する趣旨ではなく単なる説明例に過ぎな
い。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below in detail with reference to an embodiment shown in the drawings. However, unless otherwise specified, dimensions, materials, shapes, relative positions, and the like of the components described in this embodiment are not intended to limit the scope of the present invention, but are merely illustrative examples. Not just.
【0022】図1は、本発明に係る制御装置の第1の電
気的ブロック構成図、図3はCCDカメラにより車両運
転者の顔面の観察パターンを観察する様子を示す説明図
である。同図において、瞼動作検出手段1は、CCDカ
メラで構成され、図3に示すように、ハンドル22の左
手側のダッシュボード内に、運転者の顔面20の観察パ
ターン20aをターゲットとして望んで配置され、波形
形状安定化処理手段2に接続されている。FIG. 1 is a first electrical block diagram of a control device according to the present invention, and FIG. 3 is an explanatory diagram showing a state in which a CCD camera observes an observation pattern of a face of a vehicle driver. 3, the eyelid movement detecting means 1 is constituted by a CCD camera, and is arranged in the dashboard on the left hand side of the steering wheel 22 with the observation pattern 20a of the driver's face 20 as a target as shown in FIG. And connected to the waveform shape stabilization processing means 2.
【0023】前記波形形状安定化処理手段2は、ローパ
スフィルタ6と再サンプリング手段7で構成され、ロー
パスフィルタ6は前記瞼動作検出手段1により1/30
秒間隔で第1サンプリングされた第1波形の高周波成分
をカットするものであり、再サンプリング手段7は、前
記第1波形を5msの間隔で再度サンプリングを行うも
のであり、基線安定化処理手段3に接続している。The waveform shape stabilizing means 2 comprises a low-pass filter 6 and a resampling means 7, and the low-pass filter 6 is 1/30
The high frequency component of the first waveform sampled at the second interval is cut off, and the resampling unit 7 resamples the first waveform at the interval of 5 ms. Connected to
【0024】前記基線安定化処理手段3は、ローパスフ
ィルタ8と下側包絡線抽出手段9とで構成され、ローパ
スフィルタ8は前記第1波形の低周波成分を抽出して前
記第1波形から前記低周波成分を差引き、前記下側包絡
線抽出手段9は下側ピークホールド回路等で構成され、
前記低周波成分によって差引かれた第1波形から下側包
絡線部分を差し引くことによって、時間軸方向に向かっ
て電圧軸上の基準となる基線が安定化された第2波形が
形成される。The baseline stabilization processing means 3 comprises a low-pass filter 8 and a lower envelope extraction means 9, and the low-pass filter 8 extracts a low-frequency component of the first waveform and extracts the low-frequency component from the first waveform. The lower envelope extracting means 9 is configured by a lower peak hold circuit or the like,
By subtracting the lower envelope portion from the first waveform subtracted by the low frequency component, a second waveform is formed in which the reference baseline on the voltage axis is stabilized in the time axis direction.
【0025】前記基線安定化処理手段3は、第1比較手
段を構成する比較器10に接続されている。該比較器1
0は、しきい値11と前記第2波形と比較し、しきい値
を越えた波形を第3波形として出力する。The baseline stabilizing means 3 is connected to a comparator 10 constituting a first comparing means. The comparator 1
A value of 0 compares the threshold value 11 with the second waveform, and outputs a waveform exceeding the threshold value as a third waveform.
【0026】第1比較手段4は、瞬き波形候補検出手段
12と瞬き波形検出手段13とで構成される第2比較手
段5に接続され、瞬き波形候補検出手段12は、前記第
3波形を所定時間幅tsと比較してts以下の波形を排
除するもので、瞬き波形検出手段13が、前記所定時間
幅tsを越える波形からtmin≦T≦tmaxの波形
Tを選別するものである。The first comparing means 4 is connected to a second comparing means 5 comprising a blinking waveform candidate detecting means 12 and a blinking waveform detecting means 13, and the blinking waveform candidate detecting means 12 determines the third waveform by a predetermined method. A waveform which is shorter than ts as compared with the time width ts is eliminated, and the blinking waveform detecting means 13 selects a waveform T satisfying tmin ≦ T ≦ tmax from a waveform exceeding the predetermined time width ts.
【0027】次に、図4及び図5の波形図、図7の流れ
図を用いて本発明に係る実施形態を説明する。図7にお
いて、CCDカメラにより約1/30秒の時間間隔でサ
ンプリングが行われる(30)。車両運転者のCCDカ
メラによる観察パターンは、運転者の生理的振動、車両
の高周波振動等による振動が合成され、前記サンプリン
グ時間の間に、前記合成振動がない場合に位置するであ
ろう観察パターンの位置より微妙にずれた位置を記憶す
るために、図4のグラフ1に示したようにギザギザの多
い第1波形40が形成される。Next, an embodiment according to the present invention will be described with reference to the waveform diagrams of FIGS. 4 and 5 and the flowchart of FIG. In FIG. 7, sampling is performed by a CCD camera at a time interval of about 1/30 second (30). The observation pattern of the vehicle driver by the CCD camera is an observation pattern that would be positioned in the absence of the synthetic vibration during the sampling time, in which the physiological vibration of the driver, the vibration due to the high-frequency vibration of the vehicle, etc. were synthesized. In order to memorize the position slightly shifted from the position, a first waveform 40 with many jaggies is formed as shown in the graph 1 of FIG.
【0028】この波形では、ギザギザ波形のどの位置を
実際の瞼の閉成の開始時期及び閉成の終了時期と判断す
ることは困難である。よって、高周波成分除去及び再サ
ンプリングを目的としたオーバーサンプリングフィルタ
(31)が行われる。すなわち、まず、前記第1波形か
ら高周波振動成分による出力を差し引く。また、その後
の演算処理を考慮して時間軸方向の精度向上をはかるた
めに、33msより短い間隔、例えば、5ms間隔で再
度の第2サンプリングを行い、補間処理を施すことによ
り、さらに波形形状を安定させた第2波形41(図4グ
ラフ2)が形成される。With this waveform, it is difficult to judge which position of the jagged waveform is the actual start time and the end time of closing the eyelid. Therefore, an oversampling filter (31) for removing high frequency components and resampling is performed. That is, first, the output due to the high frequency vibration component is subtracted from the first waveform. In addition, in order to improve the accuracy in the time axis direction in consideration of the subsequent arithmetic processing, the second sampling is performed again at intervals shorter than 33 ms, for example, at intervals of 5 ms, and interpolation processing is performed. A stabilized second waveform 41 (graph 2 in FIG. 4) is formed.
【0029】次に、極低周波成分除去(32)及び包絡
線成分除去(33)により基線安定化処理が行われる。
基線とは、瞼の完全な開成状態を示す時間軸方向に延在
する基本線であり、瞼が開成状態から閉成状態になり再
度開成状態に復帰した場合でも両者が同一の電圧値を有
することが必要である。車両の運転中においては、道路
の凹凸とショックアブゾーバ作用等の影響により図4グ
ラフ3に示すような長い周期の低周波42で前記観察パ
ターンが揺動する。よって、前記第2波形41から低周
波成分を差し引いて図4グラフ4に示す波形43を得
る。Next, a baseline stabilization process is performed by removing the extremely low frequency component (32) and removing the envelope component (33).
The base line is a basic line extending in the time axis direction indicating a completely opened state of the eyelid, and both have the same voltage value even when the eyelid changes from the open state to the closed state and returns to the open state again. It is necessary. During the operation of the vehicle, the observation pattern fluctuates at a low frequency 42 having a long cycle as shown in graph 3 of FIG. 4 due to the influence of road irregularities and shock absorber function. Accordingly, a low-frequency component is subtracted from the second waveform 41 to obtain a waveform 43 shown in the graph 4 of FIG.
【0030】また、前記観察パターンの表面輝度が一定
であれば、前記第2波形の低周波成分除去処理を行え
ば、基線安定化が行えるはずであるが、瞼の開眼状態か
ら全閉状態を経て再度開眼状態に復帰する時間は、通常
の瞬きの場合でも200msの間隔があり、その間には
前記観察パターンの表面輝度に差が生じることがあり、
差が生じた場合は、一方の開眼状態に前記基線安定化処
理を行うと他方の開眼状態では出力波形の電圧値は前記
一方の基線より上下方向にズレて位置するように検出さ
れる。If the surface luminance of the observation pattern is constant, baseline stabilization should be performed by performing the low-frequency component removal processing of the second waveform. The time to return to the eye-open state again after passing through, even in the case of a normal blink, there is an interval of 200 ms, during which a difference may occur in the surface luminance of the observation pattern,
If a difference occurs, when the baseline stabilization process is performed in one open state, the voltage value of the output waveform is detected so as to be vertically displaced from the one base line in the other open state.
【0031】よって、図4のグラフ4に示すように、こ
の基線より下側に形成される波形の下側包絡線成分を、
ピークホールド回路等を用いて抽出して、波形の下側ピ
ークを除去し、そのピーク値より電圧値で高いもの出力
して、図5のグラフ6に示すようなとびとびの大きな波
形(第3波形)と該波形間に小さな波形が形成され、よ
り基線安定化を行うことができる。Therefore, as shown in graph 4 of FIG. 4, the lower envelope component of the waveform formed below this base line is
The peak is extracted using a peak hold circuit or the like, the lower peak of the waveform is removed, and the lower peak is output at a voltage value higher than the peak value, and a waveform having a large jump as shown in a graph 6 of FIG. ) And a small waveform is formed between the waveforms, and the baseline can be further stabilized.
【0032】そして、この第3波形44を予め決められ
たしきい値電圧Vsで選別し(34)、さらに、グラフ
7に示すようにtmin≦T≦tmaxに適合するT
1,T2,T3を瞬き候補として選別する。そして、さ
らに、T1〜T3の波形の時間軸を測定して所定の閉眼
時間を越えた前記T2波形を、注意すべき瞼の閉眼時間
として検出する。Then, the third waveform 44 is selected by a predetermined threshold voltage Vs (34), and further, as shown in a graph 7, T is satisfied by tmin ≦ T ≦ tmax.
1, T2 and T3 are selected as blink candidates. Further, the time axis of the waveforms of T1 to T3 is measured, and the T2 waveform exceeding a predetermined eye closing time is detected as the eyelid closing time of the eyelid to be careful.
【0033】以上詳述したように、本第1実施形態の場
合は、第1サンプリング波形が単純ではないが、波形形
状安定化処理手段2、基線安定化処理手段3及び第1、
第2比較手段4、5により正確に閉眼時間を検出するこ
とができる。そして、CCDカメラにより瞼の変化を観
察してそのデータを処理しているので、運転者の顔面に
電極等が非接触で、煩わしさがない。As described in detail above, in the case of the first embodiment, although the first sampling waveform is not simple, the waveform shape stabilization processing means 2, the baseline stabilization processing means 3, and the first,
The eye closing time can be accurately detected by the second comparing means 4 and 5. Then, since changes in the eyelids are observed and processed by the CCD camera, the electrodes and the like do not come into contact with the driver's face, and there is no bother.
【0034】次に、本発明に係る第2の実施形態を説明
する。図2は、本発明に係る制御装置の第2の電気的ブ
ロック構成図であり、図1と同一部分は同一符号を用い
ている。また、図6はその波形図、図8は流れ図、図9
は、ゲイン補正時のサブルーチンを示す流れ図である。
第1の実施の形態との相違点は、第2の実施形態におい
ては、第1の実施の形態における波形形状安定化手段2
を排除するとともに、基線安定化処理手段3と第1比較
手段4との間に、前記基線安定化処理手段3の閉眼時出
力の頂点をゲイン補正して、各波形の頂点をゲインアッ
プして前記第3波形を形成するゲイン補正手段を設けた
点である。Next, a second embodiment according to the present invention will be described. FIG. 2 is a second electrical block diagram of the control device according to the present invention, and the same parts as those in FIG. 1 are denoted by the same reference numerals. FIG. 6 is a waveform diagram, FIG. 8 is a flowchart, and FIG.
9 is a flowchart showing a subroutine at the time of gain correction.
The difference from the first embodiment is that in the second embodiment, the waveform shape stabilizing means 2 in the first embodiment is different from the first embodiment.
And between the baseline stabilization processing means 3 and the first comparison means 4, the vertex of the output of the baseline stabilization processing means 3 when the eyes are closed is gain-corrected, and the vertex of each waveform is gained up. The point is that gain correction means for forming the third waveform is provided.
【0035】ゲイン補正手段14は、所定時間Ts(例
えば、n秒分)内にサンプリングされ、基線安定化処理
された複数の山部及び谷部を有する波形44′(図6グ
ラフ6′参照)を一時記憶し、予め実験データで得た仮
のしきい値電圧Vspより大きい山部の電圧値Vkの平
均振幅値Aaveを求めるとともに、1/Aave=G
(ゲイン)とし、所定時間Ts内の波形にゲインGを乗
じて、Vt′、Vk′を含む波形46(図6グラフ7′
参照)を得るように構成されている。そして、前記仮の
しきい値Vspは、CCD撮像体の観察パターンの輝度
変化によって更新できるように、Vsp=Aave×K
とし、例えば、(1/Vave)=K=1/2=0.5
と設定している。The gain correction means 14 samples a waveform within a predetermined time Ts (for example, n seconds) and performs a baseline stabilization process on a waveform 44 'having a plurality of peaks and valleys (see graph 6' in FIG. 6). Is temporarily stored, an average amplitude value Aave of the peak voltage value Vk larger than the temporary threshold voltage Vsp previously obtained from the experimental data is obtained, and 1 / Aave = G
(Gain), the waveform 46 within the predetermined time Ts is multiplied by the gain G, and the waveform 46 including Vt ′ and Vk ′ (graph 7 ′ in FIG. 6)
Cf.). Then, the temporary threshold Vsp is updated by the following equation: Vsp = Aave × K
For example, (1 / Vave) = K = 1/2 = 0.5
Is set.
【0036】次に、図6の波形図、及び図8の流れ図を
用いて本発明に係る第2実施形態を説明する。図8にお
いて、CCDカメラにより約1/30秒の時間間隔でサ
ンプリングが行われ(50)、図6のグラフ3′に示す
第1波形40′が形成される。Next, a second embodiment according to the present invention will be described with reference to the waveform diagram of FIG. 6 and the flowchart of FIG. In FIG. 8, sampling is performed at a time interval of about 1/30 second by the CCD camera (50), and a first waveform 40 'shown in a graph 3' of FIG. 6 is formed.
【0037】次に、極低周波成分除去(51)及び包絡
線成分除去(52)により基線安定化処理が行われ、図
6グラフ3′に示すような、前記第1波形40′から長
い周期の低周波42′の成分を差し引いてグラフ4′に
示す波形43′を得る。Next, a baseline stabilization process is performed by removing the extremely low frequency component (51) and the envelope component (52), and a long period from the first waveform 40 'as shown in the graph 3' of FIG. Is subtracted from the low frequency component 42 'to obtain a waveform 43' shown in a graph 4 '.
【0038】そして、波形43′の基線45′の下側に
形成される下側包絡線成分を、ピークホールド回路等を
用いて抽出して、波形の下側ピークを除去し、そのピー
ク値より電圧値で高いもの出力して、図6のグラフ6′
に示すような波形44′が形成され、基線安定化を行う
ことができる。この基線安定化処理された波形44′を
得るとゲイン補正ステップ53に進む。Then, a lower envelope component formed below the base line 45 'of the waveform 43' is extracted by using a peak hold circuit or the like, and the lower peak of the waveform is removed. A high voltage is output and a graph 6 'in FIG. 6 is output.
The waveform 44 'shown in FIG. 7 is formed, and the baseline can be stabilized. When the waveform 44 'subjected to the baseline stabilization processing is obtained, the process proceeds to the gain correction step 53.
【0039】ゲイン補正ステップ53の流れ図9におい
て、波形44′のうち、仮のしきい値Vspより大きな
瞬き波形Vk1,Vk2,Vk3,Vk4(図6グラフ
6′)を所定時間Ts(2秒間)で抽出して(60)、
その抽出した瞬き波形Vk1,Vk2,Vk3,Vk4
の振幅A1,A2,A3,A4の平均振幅Aaveを、 Aave=(A1+A2+A3+A4)/N、 N=
4 として求め(61)、このAaveの逆数を(1/Aa
ve)=G(ゲイン)とする(62)。In the flow chart 9 of the gain correction step 53, of the waveform 44 ', a blink waveform Vk1, Vk2, Vk3, Vk4 (graph 6' in FIG. 6) larger than the temporary threshold Vsp is applied for a predetermined time Ts (two seconds). (60),
The extracted blink waveforms Vk1, Vk2, Vk3, Vk4
The average amplitude Aave of the amplitudes A1, A2, A3, and A4 of Aave = (A1 + A2 + A3 + A4) / N, N =
4 (61), and the reciprocal of this Aave is (1 / Aa
ve) = G (gain) (62).
【0040】過去の所定時間Ts(2秒)の波形Vt
1,Vk1,Vk2,Vk3,Vk4,Vt2,の各波
形に前記G(ゲイン)を乗じて(63)、図6グラフ
7′に示すゲインアップされた波形Vt1′,Vk
1′,Vk2′,Vk3′,Vk4′,Vt2′を有す
るグラフ7′に示す波形46を得て、Vsp=Aave
×Kから仮のしきい値Vspを更新(64)し、図8の
ステップ54に進む。The waveform Vt of the past predetermined time Ts (2 seconds)
The waveforms Vt1, Vk1, Vk2, Vk3, Vk4, and Vt2 are multiplied by the G (gain) (63), and gain-up waveforms Vt1 'and Vk shown in graph 7' of FIG.
A waveform 46 shown in a graph 7 'having 1', Vk2 ', Vk3', Vk4 ', and Vt2' is obtained, and Vsp = Aave
The temporary threshold value Vsp is updated (64) from × K, and the process proceeds to step 54 in FIG.
【0041】そして、この波形46を予め決められたし
きい値電圧Vsで選別し(54)、さらに、グラフ7′
に示すようにtmin≦T≦tmaxに適合するT′を
瞬き候補として選別する。そして、さらに、T′の波形
の時間軸を測定して所定の閉眼時間を越えた波形を、注
意すべき瞼の閉眼時間として検出する。Then, the waveform 46 is selected based on a predetermined threshold voltage Vs (54), and further the graph 7 'is selected.
As shown in (2), T ′ that satisfies tmin ≦ T ≦ tmax is selected as a blink candidate. Further, the time axis of the waveform of T 'is measured, and a waveform exceeding a predetermined eye closing time is detected as the eye closing time of the eyelid to be careful.
【0042】以上詳述したように、本第2実施の形態
は、前記基線安定化処理手段の閉眼時出力の頂点をゲイ
ン補正して前記波形を形成するゲイン補正手段とを備え
ているので、前記観察パターンの輝度変化により、ノイ
ズ成分が重畳し、前記基線安定化処理を実施すると、電
圧しきい値内に埋没され、瞬き候補として検出されない
場合の波形成分をゲイン補正して、図6のグラフ7′に
示すように前記波形をしきい値電圧を越えて起立形成す
ることができる。よって、瞼の閉眼時間を正確に検出す
ることができる。As described in detail above, the second embodiment includes the gain correcting means for forming the waveform by correcting the vertex of the closed-eye output of the baseline stabilizing processing means. When the noise component is superimposed due to the luminance change of the observation pattern and the baseline stabilization process is performed, the waveform component which is buried in the voltage threshold and is not detected as a blink candidate is gain-corrected, and FIG. As shown in the graph 7 ', the waveform can be formed upright beyond the threshold voltage. Thus, the eyelid closing time can be accurately detected.
【0043】尚、本第2実施の形態に用いられるゲイン
補正手段14は、第1実施形態における基線安定化処理
手段3と第1比較手段4との間に設けることも可能であ
る。その結果、CCDカメラによる観察パターン面の輝
度変化によりしきい値電圧内に埋没する波形も、早期に
検出することができる。The gain correction means 14 used in the second embodiment can be provided between the baseline stabilization processing means 3 and the first comparison means 4 in the first embodiment. As a result, a waveform buried in the threshold voltage due to a change in luminance of the observation pattern surface by the CCD camera can be detected early.
【0044】[0044]
【実施例】図6グラフ3′に示すように、低周波波形4
2′をしきい値としてtbの幅を測定して閉眼時間とし
た場合は、実際はその下のtbが閉眼時間であり、ta
はtbより大きく、ta>tbの関係にある。そして、
閉眼比率Rを、R=tb/taと定義すると、覚醒度が
低下するに従って全開から全閉への時間が遅くなる関係
上、波形の傾斜はなだらかとなり、この閉眼比率Rは、
小さくなる。FIG. 6 shows a low-frequency waveform 4 as shown in a graph 3 '.
When the width of tb is measured using 2 'as a threshold value and the eye closing time is set, the tb below it is actually the eye closing time, and ta
Is larger than tb and ta> tb. And
If the eye closing ratio R is defined as R = tb / ta, the slope of the waveform becomes gentle because the time from full opening to full closing becomes slower as the arousal level decreases, and the eye closing ratio R becomes
Become smaller.
【0045】よって、推定覚醒度Lと閉眼比率Rとは比
例定数をαとすると、L=αRの比例関係にあり、閉眼
比率Rから推定覚醒度Lを求めることができる。比例常
数α=1として、EOGにより測定した推定覚醒度Le
ogと、本願第2実施形態におけるゲイン補正有りの推
定覚醒度Lg、及びゲイン補正なしの推定覚醒度Lnと
を求め、 運転初期の場合、Leog:67.3、Ln:91.
8、Lg:63.6 覚醒度低下時、 Leog:30.9、Ln:87.
6、Lg:52.7 の結果を得た。Therefore, assuming that the proportionality constant is α, the estimated arousal level L and the closed eye ratio R are in a proportional relationship of L = αR, and the estimated arousal level L can be obtained from the closed eye ratio R. Estimated arousal Le measured by EOG with proportional constant α = 1
og, the estimated awakening degree Lg with gain correction and the estimated awakening degree Ln without gain correction in the second embodiment of the present application. In the early stage of driving, Leog: 67.3, Ln: 91.
8, Lg: 63.6, when arousal level is low, Leog: 30.9, Ln: 87.
6, Lg: 52.7.
【0046】この結果から、ゲイン補正なしの推定覚醒
度Lnの場合は、精度が高いEOGにより測定した推定
覚醒度Leogより、はるかに高くでるのに対して、ゲ
イン補正有りの推定覚醒度Lgは、EOGにより測定し
た推定覚醒度Leogの値に近い値を得ることができ、
覚醒度推定精度が向上していることが判る。From this result, in the case of the estimated arousal level Ln without gain correction, the estimated arousal level Leg with gain correction is much higher than the estimated arousal level Leog measured by the highly accurate EOG. , A value close to the value of the estimated alertness Leog measured by EOG,
It can be seen that the arousal level estimation accuracy is improved.
【0047】以上詳述したように、本第1実施形態及び
第2実施形態ともに、CCDカメラによって、瞼を含む
観察パターンの瞬きによるサンプリング波形を得て、こ
のサンプリング波形を、低周波成分除去及び、それによ
り形成された波形の下側包絡線成分除去を行い、電圧軸
上の基準位置を時間軸方向に延在する基線から上側にの
み波形を形成する基線安定波形を得た後に、しきい値電
圧及び閉眼時間を越えた前記基線安定波形の時間軸を測
定して瞼の閉眼時間を検出しているので、CCDカメラ
による前記サンプリング波形が単純でない場合において
も、正確に閉眼時間を検出することができる。As described in detail above, in both the first embodiment and the second embodiment, a sampling waveform due to the blinking of the observation pattern including the eyelids is obtained by the CCD camera, and this sampling waveform is subjected to low-frequency component removal and , After removing the lower envelope component of the waveform formed thereby to obtain a baseline stable waveform that forms a waveform only above the baseline extending in the time axis direction at the reference position on the voltage axis, Since the eyelid closing time is detected by measuring the time axis of the baseline stable waveform that exceeds the value voltage and the eye closing time, even if the sampling waveform by the CCD camera is not simple, the eye closing time is accurately detected. be able to.
【0048】[0048]
【発明の効果】以上記載したごとく、請求項1に記載し
た発明は、CCDカメラによって得たサンプリング波形
が単純でない場合においても、正確に閉眼時間を検出す
ることができる。また、請求項2に記載した発明は、C
CDカメラによるサンプリング波形を、前記基線安定化
処理の前に波形形状安定化処理を行っているので、形状
が安定した波形を得ることでき、より正確に閉眼時間を
検出することができる。As described above, according to the first aspect of the present invention, even when the sampling waveform obtained by the CCD camera is not simple, the eye closing time can be accurately detected. The invention described in claim 2 is a C
Since the waveform shape stabilization processing is performed on the sampling waveform by the CD camera before the baseline stabilization processing, a waveform having a stable shape can be obtained, and the eye closing time can be detected more accurately.
【0049】また、請求項3に記載の発明は、CCDカ
メラによるサンプリング波形の高周波成分除去処理を行
い、それにより形成された波形を所定時間間隔で行う再
サンプリング処理により時間軸の分解能を上げているの
で、さらに精度よい閉眼時間を得ることができる。According to a third aspect of the present invention, the high-frequency component removal processing of the sampling waveform by the CCD camera is performed, and the resolution of the time axis is increased by the re-sampling processing of performing the waveform formed at a predetermined time interval. Therefore, a more accurate eye closing time can be obtained.
【0050】また、請求項4に記載の発明は、前記基線
安定化処理の後に、該基線安定化処理により形成された
波形の閉眼時出力の頂点をゲイン補正したゲイン補正波
形を形成し、しかる後に該ゲイン補正波形と予め決めら
れたしきい値電圧及び閉眼時間とを比較して瞼の閉眼時
間を検出しているので、閉眼時間が長いにもかかわらず
CCDカメラによる前記観察パターンの輝度変化によ
り、ノイズ成分が重畳して、しきい値電圧内に埋没する
波形も検出することができる。According to a fourth aspect of the present invention, after the baseline stabilization processing, a gain-corrected waveform in which the vertex of the closed-eye output of the waveform formed by the baseline stabilization processing is gain-corrected is formed. Since the eye-closing time of the eyelid is detected by comparing the gain correction waveform with a predetermined threshold voltage and eye-closing time later, the luminance change of the observation pattern by the CCD camera despite the long eye-closing time. Accordingly, a waveform in which the noise component is superimposed and buried in the threshold voltage can be detected.
【図1】本発明に係る第1実施の形態を示す電気的ブロ
ック構成図である。FIG. 1 is an electrical block diagram showing a first embodiment according to the present invention.
【図2】本発明に係る第2実施の形態を示す電気的ブロ
ック構成図である。FIG. 2 is an electrical block diagram showing a second embodiment according to the present invention.
【図3】CCDカメラにより車両運転者の顔面の観察パ
ターンを観察する様子を示す説明図である。FIG. 3 is an explanatory diagram showing how a CCD camera observes an observation pattern of a face of a vehicle driver.
【図4】第1実施の形態に係る波形形成状態を示す前半
の説明図である。FIG. 4 is an explanatory diagram of a first half showing a waveform forming state according to the first embodiment.
【図5】第1実施の形態に係る波形形成状態を示す後半
の説明図である。FIG. 5 is an explanatory diagram of the latter half showing a waveform forming state according to the first embodiment.
【図6】第2実施の形態に係る波形形成状態を示す説明
図である。FIG. 6 is an explanatory diagram showing a waveform forming state according to a second embodiment.
【図7】第1実施の形態の動作を説明する流れ図であ
る。FIG. 7 is a flowchart illustrating the operation of the first embodiment.
【図8】第2実施の形態の動作を説明する流れ図であ
る。FIG. 8 is a flowchart illustrating the operation of the second embodiment.
【図9】ゲイン補正時のサブルーチンを示す流れ図であ
る。FIG. 9 is a flowchart showing a subroutine at the time of gain correction.
1 瞼動作検出手段 2 波形形状安定化処理手段 3 基線安定化処理手段 4 第1比較手段 5 第2比較手段 DESCRIPTION OF SYMBOLS 1 Eyelid movement detection means 2 Waveform shape stabilization processing means 3 Baseline stabilization processing means 4 First comparison means 5 Second comparison means
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平9−277849(JP,A) 特開 平6−270711(JP,A) 特開 平8−153288(JP,A) 特開 平9−147120(JP,A) 特開 昭63−258226(JP,A) 特開 平2−57433(JP,A) 特開 平6−333183(JP,A) 特開 昭63−46928(JP,A) 実開 昭63−125624(JP,U) (58)調査した分野(Int.Cl.7,DB名) B60K 28/06 G06T 1/00 G08B 21/00 G08G 1/16 H04N 7/18 ──────────────────────────────────────────────────続 き Continuation of the front page (56) References JP-A-9-277849 (JP, A) JP-A-6-270711 (JP, A) JP-A 8-153288 (JP, A) JP-A-9-278 147120 (JP, A) JP-A-63-258226 (JP, A) JP-A-2-57433 (JP, A) JP-A-6-333183 (JP, A) JP-A-63-46928 (JP, A) 63-125624 (JP, U) (58) Fields investigated (Int. Cl. 7 , DB name) B60K 28/06 G06T 1/00 G08B 21/00 G08G 1/16 H04N 7/18
Claims (3)
察者の瞼開閉状態を撮像し、瞼閉がピーク値となるよう
に瞼瞬きによる経時変化を電圧変化で捕らえたサンプリ
ング波形を得た後、 該サンプリング波形を、低周波成分除去及び、それによ
り形成された波形の下側包絡線成分除去により基線安定
化処理を行い、電圧軸上の基準位置を、瞼の完全な閉成
状態を示す電圧値に採って、該電圧値を時間軸方向に延
在して形成される基線から上側にのみの波形を採って基
線安定波形を得、該基線 安定波形より予め決められたしきい値電圧及び閉
眼時間を越えた前記基線安定波形の時間軸を測定して瞼
の閉眼時間を検出することを特徴とする覚醒状態検出方
法。1. An image of an eyelid opening / closing state of a driver or another observed person is taken by a CCD imaging body, and after obtaining a sampling waveform in which a temporal change due to eyelid blinking is captured by a voltage change so that the eyelid closing becomes a peak value. The sample waveform is subjected to baseline stabilization processing by removing low-frequency components and removing the lower envelope component of the waveform formed thereby, and the reference position on the voltage axis is completely closed by the eyelids.
Taking the voltage value indicating the state, give the group <br/> line stable waveform from baseline formed by extending the voltage value in the time axis direction takes the waveform of only the upper side, from the base line stability waveform An awake state detection method, comprising: measuring a time axis of the baseline stable waveform that exceeds a predetermined threshold voltage and an eye closing time to detect an eyelid closing time.
化処理の前にギザギザのノイズ形状が乗った波形からノ
イズ形状を除去して正弦波のように単調に増加若しく
は、減少する形状に減少する形状に波形形状安定化処理
を行うことを特徴とする請求項1記載の覚醒状態検出方
法。2. The method according to claim 1, wherein the sampling waveform is converted from a waveform having a jagged noise shape before the baseline stabilization processing.
2. The awake state detecting method according to claim 1, wherein a waveform shape stabilization process is performed on a shape that is monotonically increased or decreased like a sine wave by removing a noise shape .
プリング波形の高周波成分除去処理を行い、それにより
形成された波形を所定時間間隔で行う再サンプリング処
理であることを特徴とする請求項2記載の覚醒状態検出
方法。3. The waveform shape stabilizing process is a re-sampling process in which a high-frequency component removal process of the sampling waveform is performed, and a waveform formed thereby is performed at predetermined time intervals. The arousal state detection method described in the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33345997A JP3334583B2 (en) | 1997-11-18 | 1997-11-18 | Awake state detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33345997A JP3334583B2 (en) | 1997-11-18 | 1997-11-18 | Awake state detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11147428A JPH11147428A (en) | 1999-06-02 |
JP3334583B2 true JP3334583B2 (en) | 2002-10-15 |
Family
ID=18266325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33345997A Expired - Fee Related JP3334583B2 (en) | 1997-11-18 | 1997-11-18 | Awake state detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3334583B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9220454B2 (en) * | 2012-08-20 | 2015-12-29 | Autoliv Development Ab | Device and method for detecting drowsiness using eyelid movement |
US8874182B2 (en) | 2013-01-15 | 2014-10-28 | Google Inc. | Encapsulated electronics |
CN105094269A (en) * | 2014-04-18 | 2015-11-25 | 鸿富锦精密工业(武汉)有限公司 | System and method for controlling automatic power-off of electronic device |
DE102015204247A1 (en) * | 2015-03-10 | 2016-09-15 | Robert Bosch Gmbh | Method and device for detecting a state of tiredness and / or sleep of a driver of a vehicle |
CN109543629B (en) * | 2018-11-26 | 2024-07-19 | 平安科技(深圳)有限公司 | Blink identification method, device, equipment and readable storage medium |
-
1997
- 1997-11-18 JP JP33345997A patent/JP3334583B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11147428A (en) | 1999-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9000931B2 (en) | Noise processing apparatus | |
US8041142B2 (en) | Method and device for reconstructing images | |
JP4004634B2 (en) | Face image eye position detection apparatus and method | |
JP4677963B2 (en) | Dozing detection device, dozing detection method | |
JP4267171B2 (en) | Pedestrian detection device | |
JP2004145852A (en) | Method for detecting position of lane marker, apparatus for detecting position of lane marker and alarm apparatus for lane deviation | |
JP3334583B2 (en) | Awake state detection method | |
EP2501124A2 (en) | Image processing device and method | |
JP2012000280A (en) | Brain wave estimating device, brain wave estimation method and program | |
JP2008171108A (en) | Face condition determining device and imaging device | |
WO2020050357A1 (en) | Pulse wave detection device, vehicular device, and pulse wave detection program | |
JPH0596971A (en) | Prevention device for driving asleep | |
JP3012226B2 (en) | Drowsy driving prevention device | |
JP2009125518A (en) | Driver's blink detection method, driver's awakening degree determination method, and device | |
JP2006170961A (en) | Image processor and image processing method | |
WO2020003910A1 (en) | Heartbeat detection device, heartbeat detection method, and program | |
JP2001005952A (en) | Blinking state detecting method | |
JP5519413B2 (en) | Pupil concealed state detection device and in-vehicle camera equipped with the same | |
JP2985558B2 (en) | Operating condition detection device | |
JP4739833B2 (en) | Vehicle stop detection device, car navigation device | |
JP6691012B2 (en) | Vehicle periphery monitoring device and vehicle periphery monitoring method | |
JP3812355B2 (en) | Driving attention detection device and drowsy driving detection device | |
JP2003230552A (en) | Biological body state-estimating method, and biological body-stimulating method | |
JP7174358B2 (en) | Pulse rate detector and pulse rate detection program | |
JPH08153288A (en) | Doze judging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020702 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080802 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080802 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090802 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090802 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100802 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110802 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120802 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130802 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130802 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140802 Year of fee payment: 12 |
|
LAPS | Cancellation because of no payment of annual fees |