JP3127760B2 - Driver arousal level detection device - Google Patents
Driver arousal level detection deviceInfo
- Publication number
- JP3127760B2 JP3127760B2 JP07031208A JP3120895A JP3127760B2 JP 3127760 B2 JP3127760 B2 JP 3127760B2 JP 07031208 A JP07031208 A JP 07031208A JP 3120895 A JP3120895 A JP 3120895A JP 3127760 B2 JP3127760 B2 JP 3127760B2
- Authority
- JP
- Japan
- Prior art keywords
- eyelid
- time
- driver
- lateral deviation
- average
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
Description
【０００１】[0001]
【産業上の利用分野】本発明は、運転者の覚醒度検出装
置に係り、特に、まばたきパラメータと車両の横偏位量
とから、居眠り運転状態を検出することができる運転者
の覚醒度を検出する運転者の覚醒度検出装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a device for detecting a driver's arousal level, and more particularly, to a driver's arousal level capable of detecting a drowsy driving state from a blink parameter and a lateral deviation amount of a vehicle. The present invention relates to a device for detecting a degree of awakening of a driver.
【０００２】[0002]
【従来の技術】従来より、まばたきパラメータ（閉眼時
間、閉眼頻度、閉眼間隔等）が平常時の値からどの程度
変化したかを判断して、覚醒度を推定し、居眠り状態を
検出する技術が提案されている。しかしながら、平常時
の値に対するまばたきパラメータの変化の大きさは、被
験者の個人差が大きいため、正確に居眠り状態を検出す
ることができない、という問題がある。この個人差を補
正する方法として、まばたきパラメータの変化の大きさ
を判定するしきい値を可変にする方法が提案されている
が、初期値をどの程度の値に設定すべきかの基準がな
く、個人差を補正する方法としては不十分である。2. Description of the Related Art Conventionally, there has been a technique for determining how much a blink parameter (eye closing time, eye closing frequency, eye closing interval, etc.) has changed from a normal value, estimating a degree of arousal, and detecting a dozing state. Proposed. However, there is a problem that the size of the change of the blink parameter with respect to the normal value greatly differs between the subjects, so that the dozing state cannot be detected accurately. As a method of correcting this individual difference, a method of changing a threshold value for determining the magnitude of the change of the blink parameter has been proposed, but there is no standard of how much the initial value should be set. It is insufficient as a method for correcting individual differences.
【０００３】また、平常時のまばたきパラメータの平均
値と分散値とから統計的な仮定に基づいて、（平均値）
＋（分散値）〜（平均値）＋２×（分散値）の値をしき
い値として決定する方法（特開昭６０−５９２号公報）
が提案されているが、統計的な仮定に基づいて決定した
しきい値を個人の覚醒度の低下と見なせる根拠はなにも
ない。On the basis of a statistical assumption, the average value and the variance of the blink parameters in normal times are calculated based on a statistical assumption (average value).
A method of determining a value of + (dispersion value) to (average value) + 2 × (dispersion value) as a threshold value (Japanese Patent Laid-Open No. 60-592).
Has been proposed, but there is no evidence that a threshold determined based on statistical assumptions can be regarded as a decrease in the arousal level of an individual.
【０００４】また、作業成績に基づいて個人の特徴を推
測して、個人差に対応した覚醒レベルを演算する方法
（特開平５−９２０３９号公報）が提案されている。こ
の方法においては、映像、音、振動等の刺激に対してボ
タンを押す等の作業を行わせ、この作業に対する反応時
間と生理量（脳波、心拍、まばたき頻度）との相関関係
（回帰直線）を事前に求める。そして、生理量と反応時
間との相関関係に基づいて、検出された生理量に対する
反応時間を求め、求めた反応時間の大小から覚醒度を推
定し、覚醒度推定値から覚醒低下を判断している。この
ため、個人の特徴に応じた覚醒度の推定ができるが、事
前に刺激に対する反応時間と生理量との相関関係という
個人の特徴を学習しておく必要があり、また刺激に対す
る反応時間という実際の運転状態とは異なる作業によっ
て得られた個人の特徴を用いているので、実際の運転状
態には則さない、という問題があり、自動車運転者の居
眠り検出には適していない。Further, a method has been proposed in which the characteristics of an individual are estimated on the basis of work performance and an arousal level corresponding to individual differences is calculated (Japanese Patent Laid-Open No. 5-92039). In this method, a task such as pressing a button is performed for a stimulus such as an image, a sound, or a vibration, and a correlation (regression line) between a reaction time to this task and a physiological amount (brain wave, heartbeat, blink frequency). Ask in advance. Then, based on the correlation between the physiological amount and the reaction time, the reaction time for the detected physiological amount is determined, the degree of arousal is estimated from the magnitude of the determined reaction time, and the decrease in the arousal is determined from the estimated value of the degree of arousal. I have. For this reason, it is possible to estimate the degree of arousal according to the characteristics of the individual, but it is necessary to learn in advance the characteristics of the individual such as the correlation between the response time to the stimulus and the physiological quantity. However, there is a problem that it does not conform to the actual driving state because it uses the characteristics of the individual obtained by a task different from the driving state of the vehicle, and is not suitable for detecting the drowsiness of the car driver.
【０００５】[0005]
【発明が解決しようとする課題】本発明は上記問題点を
解消するために成されたもので、事前に個人の特徴を学
習させることなく、また、自動車の運転作業を行うだけ
で居眠り運転等を適切に検出できる運転者の覚醒度検出
装置を提供することを目的とする。SUMMARY OF THE INVENTION The present invention has been made in order to solve the above-mentioned problems. The present invention has been made so as to make a driver fall asleep while driving a car without learning personal characteristics in advance. It is an object of the present invention to provide a device for detecting a degree of awakening of a driver, which can appropriately detect the arousal level.
【０００６】[0006]
【課題を解決するための手段】上記目的を達成するため
に請求項１の発明は、運転者のまぶたの動きから閉眼時
間、まぶたの開度、まぶたの動きの振幅、まばたきの頻
度、まばたきの発生間隔時間、及びこれらの平均値のい
ずれか１つで表されるまばたきパラメータを抽出する抽
出手段と、目標走行軌跡からの車両の横偏位量を検出す
る横偏位量検出手段と、まばたきパラメータと車両の横
偏位量とに基づいて、まばたきパラメータと車両の横偏
位量との相関関係を表す回帰式を演算する回帰式演算手
段と、前記回帰式が有意か否かを検定する有意性検定手
段と、有意と検定された回帰式に基づいて運転者の覚醒
度を検出する覚醒度検出手段と、を含んで構成したもの
である。In order to achieve the above-mentioned object, the invention according to claim 1 is based on an eyelid closing time, an eyelid opening degree, an eyelid movement amplitude, a blinking frequency, and a blinking eyelid movement. Extracting means for extracting a blinking parameter represented by any one of an occurrence interval time and an average value thereof; a lateral deviation amount detecting means for detecting a lateral deviation amount of the vehicle from a target traveling trajectory; A regression equation calculating means for calculating a regression equation representing a correlation between the blink parameter and the lateral deviation of the vehicle based on the parameter and the lateral deviation of the vehicle; and testing whether the regression equation is significant. It is configured to include significance test means and wakefulness detection means for detecting a wakefulness degree of the driver based on a regression equation that has been tested as significant.
【０００７】[0007]
【０００８】[0008]
【作用】本発明者等の実験によると、運転者のまぶたの
動きから抽出されるまばたきパラメータと目標走行軌跡
からの車両の横偏位量との間には、高い相関関係がある
ことが確認されている。まばたきパラメータとしては、
閉眼時間、まぶたの開度、まぶたの動きの振幅、まばた
きの頻度、まばたきの発生間隔時間、またはこれらの平
均値を採用することができる。According to the experiments conducted by the present inventors, it has been confirmed that there is a high correlation between the blink parameter extracted from the driver's eyelid movement and the lateral deviation of the vehicle from the target travel locus. Have been. As the blink parameter,
Eye closing time, eyelid opening, eyelid movement amplitude, blinking frequency, blinking interval time, or an average thereof can be used.
【０００９】[0009]
【００１０】従って、本発明では、まばたきパラメータ
と車両の横偏位量とに基づいて、まばたきパラメータと
車両の横偏位量との相関関係を表す回帰式を演算し、演
算した回帰式が有意か否かを検定し、有意と検定された
回帰式に基づいて運転者の覚醒度を検出している。この
場合、回帰式から得られ、かつ予め定められた横偏位量
の基準値に対するまばたきパラメータの値と、現在のま
ばたきパラメータの値とを比較することによって覚醒度
を検出することができる。Therefore, in the present invention, a regression equation representing a correlation between the blink parameter and the lateral deviation of the vehicle is calculated based on the blink parameter and the lateral deviation of the vehicle, and the calculated regression equation is significant. Whether or not the driver is awake is detected based on a regression equation that has been tested as significant. In this case, the awakening degree can be detected by comparing the value of the blink parameter with respect to the reference value of the predetermined lateral deviation obtained from the regression equation and the current value of the blink parameter.
【００１１】なお、相関関係として回帰直線（一次回帰
式）を求めた場合には、回帰直線から得られ、かつ予め
定められた横偏位量の基準値に対するまばたきパラメー
タの値と、現在のまばたきパラメータの値とを比較する
ことによって覚醒度を検出することができる。また、回
帰直線の傾きの大きさから覚醒度を検出することもでき
る。When a regression line (first-order regression equation) is obtained as a correlation, the value of the blink parameter obtained from the regression line and relative to a predetermined reference value of the lateral deviation amount and the current blink The arousal level can be detected by comparing the value with the parameter value. Also, the arousal level can be detected from the magnitude of the slope of the regression line.
【００１２】また、上記まばたきパラメータ検出手段
は、目を含む領域の濃淡画像を入力し、該領域において
まばたき方向の基準線上の画素の濃淡変化を表す１次元
画像を抽出すると共に、前記１次元画像に基づいて前記
基準線上の画素毎の濃淡変化の大きさを表す１次元エッ
ジ画像を算出するエッジ画像算出手段と、前記１次元エ
ッジ画像における濃淡変化の極値に基づいて上まぶたと
眼球との境界を示す第１の境界点及び下まぶたと眼球と
の境界を示す第２の境界点を検出するまぶた検出手段
と、検出した第１の境界点と第２の境界点とに基づいて
まばたきパラメータを演算するパラメータ演算手段と、
を含んで構成することができる。The blink parameter detecting means inputs a shade image of an area including an eye, extracts a one-dimensional image representing a shade change of a pixel on a reference line in a blink direction in the area, and extracts the one-dimensional image. Edge image calculation means for calculating a one-dimensional edge image representing the magnitude of shading change for each pixel on the reference line based on the above, and an upper eyelid and an eyeball based on an extreme value of shading change in the one-dimensional edge image. Eyelid detection means for detecting a first boundary point indicating a boundary and a second boundary point indicating a boundary between the lower eyelid and the eyeball; and a blink parameter based on the detected first boundary point and the second boundary point. Parameter calculation means for calculating
Can be included.
【００１３】上記の構成において、エッジ画像算出手段
は、目を含む領域の濃淡画像を入力し、この領域におい
てまばたき方向の基準線上の画素の濃淡変化を表す１次
元画像を抽出する。カラー画像ではなく、濃淡画像を用
いているため、十分な光量の白色光源を必要とすること
なく、広い環境下において利用することができる。In the above arrangement, the edge image calculating means inputs a grayscale image of a region including the eyes, and extracts a one-dimensional image representing a grayscale change of a pixel on a reference line in a blinking direction in this region. Since a grayscale image is used instead of a color image, it can be used in a wide environment without requiring a white light source with a sufficient amount of light.
【００１４】また、エッジ画像算出手段は、１次元画像
に基づいて基準線上の濃淡変化の大きさを画素毎に算出
して画素毎の濃淡変化の大きさを表す１次元エッジ画像
を算出し、まぶた検出手段は１次元エッジ画像における
濃淡変化の極値に基づいて上まぶたと眼球との境界を示
す第１の境界点及び下まぶたと眼球との境界を示す第２
の境界点を検出する。１次元エッジ画像を２値化するこ
となく濃淡変化の極値を用いて処理しているため、照明
条件や対象となる人の顔の造り等の個人差の影響を受け
難くなる。Further, the edge image calculating means calculates the magnitude of the gray scale change on the reference line for each pixel based on the one-dimensional image to calculate a one-dimensional edge image representing the magnitude of the gray scale change for each pixel. The eyelid detecting means is configured to determine a first boundary point indicating a boundary between the upper eyelid and the eyeball and a second boundary point indicating a boundary between the lower eyelid and the eyeball based on the extreme value of the change in shading in the one-dimensional edge image.
The boundary point of is detected. Since the one-dimensional edge image is processed using the extreme value of the change in shading without binarization, the one-dimensional edge image is less likely to be affected by individual differences such as lighting conditions and a target person's face structure.
【００１５】そして、パラメータ演算手段は、抽出した
第１の境界点と第２の境界点とに基づいてまばたきパラ
メータを演算する。このとき、抽出した第１の境界点と
第２の境界点との間の距離をまぶたの開度として検出し
たり、まぶたの開度が最小になっている時間を閉眼時間
として検出したり、まぶたの開度が最小になっている期
間の間隔をまばたきの発生間隔として検出することがで
きる。The parameter calculating means calculates a blink parameter based on the extracted first and second boundary points. At this time, the distance between the extracted first boundary point and the second boundary point is detected as the eyelid opening, or the time when the eyelid opening is minimum is detected as the eye closing time, The interval of the period when the eyelid opening is minimum can be detected as the blink occurrence interval.
【００１６】[0016]
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。本実施例は、まばたきパラメータとしての
平均閉眼時間と車両の横偏位量の平均値（平均横偏位
量）との相関関係を用いて覚醒度を判定するようにした
ものである。Embodiments of the present invention will be described below in detail with reference to the drawings. In the present embodiment, the degree of awakening is determined using the correlation between the average eye closing time as a blink parameter and the average value of the lateral deviation amount (average lateral deviation amount) of the vehicle.
【００１７】図７は、実験で得られた被験者の単位計測
時間Ｔ毎のまばたきの平均閉眼時間ｃｎと車両の平均横
偏位量ｄｎとの時間推移をグラフに示したものの一例で
ある。眼が閉じられている時間を示す平均閉眼時間ｃｎ
の増加は覚醒度の低下を意味し、車両が蛇行した走行状
態を示す平均横偏位量ｄｎの増大は安全に走行できてい
ないことを意味する。FIG. 7 is an example of a graph showing the time transition of the average blink closing time cn and the average lateral deviation dn of the vehicle for each unit measurement time T of the subject obtained in the experiment. Average eye closing time cn indicating the time when the eyes are closed
Means that the awakening degree decreases, and an increase in the average lateral deviation amount dn, which indicates a meandering running state of the vehicle, means that the vehicle is not traveling safely.
【００１８】また、図８はこの実験結果の平均閉眼時間
ｃｎと平均横偏位量ｄｎとの相関図を示し、図８中の直
線は、平均閉眼時間ｃｎと平均横偏位量ｄｎとの２変量
の一次回帰直線を示す。図８から理解されるように、こ
の２変量には、高い相関関係がある。本発明者等の実験
によると、５人の被験者における２変量の相関係数は
０．７２〜０．９５であった。このことから一方の値か
ら他方の値を予測できることが分かる。つまり平均横偏
位量ｄｎという安全に走行できるかどうかを示す車両の
状態量を用いて、まばたきという運転者の生理量が示す
覚醒度合いを評価することが可能である。FIG. 8 shows a correlation diagram between the average eye closing time cn and the average lateral deviation dn of the experimental results. The straight line in FIG. 8 shows the relationship between the average eye closing time cn and the average lateral deviation dn. The bivariate linear regression line is shown. As can be seen from FIG. 8, there is a high correlation between the two variables. According to our experiments, the bivariate correlation coefficient for the five subjects was 0.72 to 0.95. This indicates that one value can predict the other value. In other words, it is possible to evaluate the degree of awakening indicated by the driver's physiological quantity of blinking, using the average lateral deviation dn, which is the state quantity of the vehicle indicating whether the vehicle can travel safely.
【００１９】図１に本実施例の基本的な構成を示す。本
実施例は、まぶたの閉眼状態を検出して閉眼情報を出力
するまばたき検出部１０、まばたき検出部１０から出力
されたまぶたの閉眼情報からまばたきパラメータである
閉眼時間を抽出するまばたきパラメータ抽出部２０、自
動車の現在位置が目標走行軌跡に対して、どの程度ずれ
ているかを示す横偏位量Ｙを検出する車両状態検出部３
０、自動車の運転作業中に得られたデータから個人の特
徴を時々刻々と把握するＣＰＵ等で構成された覚醒度検
出部４０から構成されている。FIG. 1 shows a basic configuration of the present embodiment. In the present embodiment, a blink detection unit 10 that detects a closed state of the eyelid and outputs closed-eye information, a blink parameter extraction unit 20 that extracts a closed-eye time that is a blink parameter from the closed-eye information of the eyelid output from the blink detection unit 10 A vehicle state detection unit 3 for detecting a lateral deviation Y indicating how much the current position of the vehicle is shifted from a target traveling locus.
0. It comprises an arousal level detection unit 40 composed of a CPU or the like that grasps the characteristics of an individual from time to time from data obtained during the driving operation of a car.
【００２０】次に各部の構成を詳細に説明する。まばた
き検出部１０は、画像処理により運転者のまぶたの閉眼
状態を検出するもので、図２に示すように、運転者１１
の顔画像を撮影するように車室内に設置されたＴＶカメ
ラ１２、ＴＶカメラ１２からの映像信号をディジタル信
号に変換するＡ／Ｄ変換器１３、Ａ／Ｄ変換器１３で変
換された画像データを格納するフレームメモリ１４、及
び画像データの演算処理によりまぶたが開いているか閉
じているかを判断し、まぶたが閉じていることを示すま
ぶたの閉眼情報を出力するＣＰＵ１５から構成されてい
る。Next, the configuration of each part will be described in detail. The blink detection unit 10 detects a driver's eyelid closed state by image processing, and as shown in FIG.
TV camera 12 installed in the vehicle cabin so as to capture a face image of the subject, an A / D converter 13 for converting a video signal from the TV camera 12 into a digital signal, and image data converted by the A / D converter 13 And a CPU 15 that determines whether the eyelid is open or closed by arithmetic processing of image data and outputs eyelid closing information indicating that the eyelid is closed.
【００２１】まばたきパラメータ抽出部２０は、まばた
き検出部１０から出力されたまぶたの閉眼情報からまば
たきの閉眼時間の平均値である平均閉眼時間ｃｎを単位
計測時間Ｔ毎に算出するもので、図３に示すように、ま
ばたき検出部１０で得られたまぶたの閉眼情報から、ま
ぶたが閉じ始める時刻から連続してまぶたが閉じて再度
開くまでの時間（まぶたの閉眼時間）を計算する閉眼時
間計算手段２１、単位計測時間Ｔを計時する計時手段２
２、単位計測時間Ｔ毎のまぶたの閉眼時間の平均値（平
均閉眼時間）を計算するＣＰＵ等で構成された平均閉眼
時間計算手段２３から構成されている。The blink parameter extracting unit 20 calculates an average closed eye time cn, which is an average value of the closed eye time of the blink, for each unit measurement time T from the closed eye information of the eyelid output from the blink detecting unit 10. As shown in (2), from the eyelid closing information obtained by the blink detecting unit 10, eye closing time calculating means for calculating the time from when the eyelid starts to close until the eyelid closes and reopens continuously (eyelid closing time) 21, time measuring means 2 for measuring the unit measuring time T
2. It comprises an average eye-close time calculating means 23 composed of a CPU or the like which calculates an average value of the eye-close time of the eyelid for each unit measurement time T (average eye-close time).
【００２２】ところで、一般的に、運転開始（データ取
得開始）時には、運転者の覚醒度は高く、運転者は覚醒
度が低い状態では運転を開始しない。そして、運転の継
続に伴い、覚醒度が高い状態（ａ）から、覚醒度が低下
傾向にある状態（ｂ）を経て、覚醒度が低下し運転に危
険な状態（ｃ）へと移行する。この（ａ）〜（ｂ）〜
（ｃ）の状態推移の状況（経過時間や覚醒度の低下度合
い等）は、運転者毎に、あるいは同一運転者であっても
運転者の体調その他の条件により異なる。By the way, generally, at the start of driving (data acquisition start), the degree of awakening of the driver is high, and the driver does not start driving when the degree of awakening is low. Then, with the continuation of the driving, the state of arousal decreases from the state (a) with a high degree of arousal to the state (b) where the degree of arousal tends to decrease, and then a state (c) that is dangerous for driving is reduced. These (a)-(b)-
The state of the state transition (c) (elapsed time, degree of awakening, etc.) differs for each driver, or even for the same driver, depending on the physical condition of the driver and other conditions.
【００２３】さらに、本発明者等の実験によれば、覚醒
度の高い状態から運転不能への移行は、所定時間の間、
例えば、数分〜１０分以上の間に起っており、覚醒度の
高い状態から急激に運転不能の状態に陥ってはいない。
従って、本実施例では、上記のように、この所定時間よ
り短い時間を単位計測時間Ｔ（例えば、１分間）とし計
測している。Further, according to experiments by the present inventors, the transition from the state of high arousal level to the inability to drive is performed for a predetermined time.
For example, it occurs during several minutes to 10 minutes or more, and does not suddenly fall into the state of being unable to drive from a state of high alertness.
Therefore, in this embodiment, as described above, the time shorter than the predetermined time is measured as the unit measurement time T (for example, one minute).
【００２４】車両状態検出部３０は、運転者のハンドル
操舵情報と車速情報とに基づいて走行すべき車両位置で
ある目標走行軌跡と実際の現在位置との差である横偏位
量Ｙを検出し、さらに単位計測時間Ｔ毎の横偏位量Ｙの
平均値である平均横偏位量ｄｎを検出するものでる。こ
の横偏位量Ｙは、例えば、特開平５−８５２２１号公報
に記載されているように、ドライバのハンドル操舵量と
車速に関連した物理量である車速情報（車速、車の加速
度等）とに基づいて検出することができる。この車両状
態検出部３０は、図４に示すように、ハンドルの操舵量
を検出する操舵量検出手段３１、自動車の速度（車速）
を検出する車速検出手段３２、操舵量検出手段３１で検
出された操舵量と車速検出手段３２で検出された車速と
に基づいて、後述するように車両が走行すべき目標走行
軌跡からの車両現在位置の横偏位を演算する横偏位量演
算手段３３、単位計測時間Ｔ毎の横偏位量Ｙの平均値を
計算する平均横偏位量計算手段３４、単位計測時間Ｔを
計時する計時手段３５から構成されている。The vehicle state detecting section 30 detects a lateral deviation Y which is a difference between a target traveling locus which is a vehicle position to be traveled and an actual current position based on the steering wheel information of the driver and the vehicle speed information. Further, the average lateral deviation dn which is the average value of the lateral deviation Y for each unit measurement time T is detected. For example, as described in Japanese Patent Application Laid-Open No. 5-85221, the lateral deviation Y is used as a steering wheel amount of a driver and vehicle speed information (vehicle speed, vehicle acceleration, etc.) which is a physical quantity related to the vehicle speed. Can be detected based on the As shown in FIG. 4, the vehicle state detection unit 30 includes a steering amount detection unit 31 that detects a steering amount of a steering wheel, and the speed (vehicle speed) of the vehicle.
Based on the steering amount detected by the steering amount detecting means 31 and the vehicle speed detected by the vehicle speed detecting means 32, the vehicle current from a target traveling locus to be traveled by the vehicle as described later. A lateral deviation calculating means 33 for calculating the lateral deviation of the position, an average lateral deviation calculating means 34 for calculating an average value of the lateral deviation Y for each unit measuring time T, a timing for measuring the unit measuring time T It comprises means 35.
【００２５】なお、まばたきパラメータ抽出部２０にお
ける計時手段２２が計時する単位計測時間Ｔと、車両状
態検出部３０における計時手段３５が計時する単位計測
時間Ｔとは、互いに同一時間間隔（例えば、１分間）
で、かつ、同時刻に開始、終了するよう設定されている
ことが、後述する統計的処理を行う上で望ましい。した
がって、計時手段２２と計時手段３５とは１つで兼用す
ることができる。The unit measurement time T measured by the timer 22 in the blinking parameter extraction unit 20 and the unit measurement time T measured by the timer 35 in the vehicle state detection unit 30 are the same time interval (for example, 1). Minutes)
In addition, it is desirable that the setting is made to start and end at the same time in order to perform the statistical processing described later. Therefore, one clock means 22 and one clock means 35 can be used.
【００２６】以下本実施例の作用を説明する。まばたき
検出部１０においては、まず、運転者１１の顔画像をＴ
Ｖカメラ１２で撮影する。この際に、ＴＶカメラ１２の
みで撮影してもよいが、周囲の外乱光の影響を低減させ
るために、運転者に影響しないように可視光線以外の光
を照射する、例えば、図示しない赤外ストロボからなる
照明部を、ＴＶカメラ１２の撮影と同期して発光させる
ことにより、運転者の顔部を照明すると効果的である。
この照明部としては、赤外ストロボの他に、赤外線を発
光する赤外ＬＥＤでもよい。また、照明部から連続光を
発光させれば、ＴＶカメラ１２との同期は不要となり、
構成が簡単になる。The operation of this embodiment will be described below. In the blink detection unit 10, first, the face image of the driver 11 is
An image is taken with the V camera 12. At this time, an image may be taken only by the TV camera 12, but in order to reduce the influence of ambient disturbance light, light other than visible light is irradiated so as not to affect the driver. It is effective to illuminate the driver's face by illuminating a lighting unit formed of a strobe in synchronization with shooting by the TV camera 12.
The illumination unit may be an infrared LED that emits infrared light, in addition to the infrared strobe. In addition, if continuous light is emitted from the illumination unit, synchronization with the TV camera 12 becomes unnecessary, and
The configuration is simplified.
【００２７】また、ＴＶカメラ１２を、例えば、１／１
０００秒程度で高速シャッター動作させるのに同期し
て、赤外ＬＥＤをパルス発光させれば、屋外等の外乱光
の多い環境下でも安定した画像を得ることができる。Further, the TV camera 12 is set to, for example, 1/1
If the infrared LED emits pulses in synchronization with the high-speed shutter operation in about 000 seconds, a stable image can be obtained even in an environment such as outdoors where there is much disturbance light.
【００２８】このようにして撮影された顔画像は、ビデ
オ信号としてＡ／Ｄ変換器１３に取り込まれ、Ａ／Ｄ変
換して、２次元ディジタル画像がフレームメモリ１４に
格納される。図１２の（１）にフレームメモリ１４に格
納された顔の２次元ディジタル画像を示す。The face image photographed in this way is taken into the A / D converter 13 as a video signal, A / D converted, and a two-dimensional digital image is stored in the frame memory 14. FIG. 12A shows a two-dimensional digital image of the face stored in the frame memory 14.
【００２９】次に、ＣＰＵ１５による画像処理を図５を
参照して説明する。ステップ１０２では、フレームメモ
リ１４に格納されているディジタル画像を取り込み、ス
テップ１０４において例えば、テンプレートマッチング
法による画像処理により顔画像の中から目が存在する小
領域を検索し、ステップ１０６で目を含む小領域を目画
像として抽出する。図６（ａ）に目画像の例を示す。Next, image processing by the CPU 15 will be described with reference to FIG. In step 102, the digital image stored in the frame memory 14 is fetched, and in step 104, a small area where eyes are present is searched from the face image by, for example, image processing by a template matching method. A small area is extracted as an eye image. FIG. 6A shows an example of an eye image.
【００３０】図６（ａ）に示すような原画像としての目
画像が得られると、中心線Ｌ上の原画像の輝度変化は図
６（ｂ）のようになる。ステップ１０８では、この図６
（ｂ）のような１次元原画像を抽出して入力し、エッジ
処理を行い、ステップ１１０で図６（ｃ）に示すよう
に、基準線上の画素毎の濃淡変化の大きさを表す１次元
エッジ画像を算出する。When an eye image as an original image as shown in FIG. 6A is obtained, the luminance change of the original image on the center line L is as shown in FIG. 6B. In step 108, FIG.
A one-dimensional original image as shown in (b) is extracted and input, edge processing is performed, and at step 110, as shown in FIG. Calculate the edge image.
【００３１】エッジ処理を行うオペレータとしては、例
えば、次表の（１）に示すような単純な差分を求めるオ
ペレータでよい。また、（２）に示すような平滑化の機
能を持つオペレータであれば、ノイズの影響を低減でき
る。The operator for performing the edge processing may be, for example, an operator for obtaining a simple difference as shown in (1) in the following table. Further, if the operator has a smoothing function as shown in (2), the influence of noise can be reduced.
【００３２】 なお、エッジ処理を行うオペレータとして、ソーベルオ
ペレータ、ペレウィットオペレータ、またはロバーツオ
ペレータを用いてもよい。[0032] Note that a Sobel operator, a Pelewit operator, or a Roberts operator may be used as an operator for performing edge processing.
【００３３】ここで、まぶたの開度を図６（ａ）の中心
線Ｌ上で、上まぶたと眼球との境界点Ａと、下まぶたと
眼球との境界点Ｂとの距離ｈとして定義すれば、開度を
測定するためには、境界点Ａ、Ｂを各々検出すればよい
ことになる。一般に、眼球部分は皮膚部分であるまぶた
に比べて、反射率が小さくかつ暗く撮影されるので、先
の境界点Ａでは、上から下に向かって明から暗へ、後の
境界点Ｂでは、上から下に向かって逆に暗から明に輝度
が急変する。このような輝度急変点では、エッジ画像の
値は極値点を持つことになるので、図６（ｃ）のような
１次元のエッジ画像上で極値を持つ点を検出すれば、ま
ぶたの開度の測定が可能となる。Here, the degree of eyelid opening is defined as the distance h between the boundary point A between the upper eyelid and the eyeball and the boundary point B between the lower eyelid and the eyeball on the center line L in FIG. For example, in order to measure the opening, the boundary points A and B may be detected. In general, the eyeball portion is photographed with a lower reflectance and darker than the eyelid which is the skin portion. Therefore, at the preceding boundary point A, from the top to the bottom, from light to dark, and at the subsequent boundary point B, Conversely, the luminance suddenly changes from dark to bright from top to bottom. At such a point of sudden change in brightness, the value of the edge image has an extreme value point. Therefore, if a point having an extreme value is detected on a one-dimensional edge image as shown in FIG. The measurement of the opening degree becomes possible.
【００３４】しかしながら、このような輝度急変点はま
ぶたと眼球との境界のみでなく、瞳孔と虹彩との境界
や、目のまわりのしわや影によっても生ずる。従って、
本実施例では目のまわりのしわや影によって誤検出しな
いように、次に述べる方法により、エッジ画像上で極値
を持つ点を選択しまぶたの開度の測定を行っている。However, such a sudden change in luminance occurs not only at the boundary between the eyelids and the eyeball, but also at the boundary between the pupil and the iris, and wrinkles and shadows around the eyes. Therefore,
In this embodiment, in order to prevent erroneous detection due to wrinkles and shadows around the eyes, a point having an extreme value is selected on the edge image and the opening of the eyelid is measured by the following method.
【００３５】まず、ステップ１１２では、図６（ｃ）の
１次元エッジ画像上で、エッジ値が正方向の極大値を持
つ点Ｐi(i=0,1)と、エッジ値が負方向の極小値（絶対値
は大）を持つ点Ｍi(i=0,1)とを算出する。以後、極大値
と極小値の両者をあわせて、エッジ極値点と呼ぶ。First, in step 112, on the one-dimensional edge image shown in FIG. 6C, a point Pi (i = 0,1) having an edge value having a maximum value in the positive direction, and a point Pi having a minimum value in the negative direction in the edge value. A point Mi (i = 0, 1) having a value (the absolute value is large) is calculated. Hereinafter, both the maximum value and the minimum value will be referred to as an edge extreme point.
【００３６】また、ステップ１１４では、検索の初期位
置として、これらのエッジ極値点Ｐi 、Ｍi のうち図６
（ｂ）の中点線Ｌ上の１次元画像のうち、最も暗い点Ｃ
に隣接し、最も内側のエッジ極値点の組合せを点Ｐｉと
点Ｍｉとから一つずつ選択する。図５の場合には、点Ｐ
０と点Ｍ０との組合せが検索の初期位置となるエッジ極
値点に相当する。In step 114, as the initial position of the search, of the edge extreme points Pi and Mi shown in FIG.
(B) The darkest point C in the one-dimensional image on the middle dotted line L
, A combination of the innermost edge extreme points is selected one by one from the points Pi and Mi. In the case of FIG.
A combination of 0 and the point M0 corresponds to an edge extremum point which is an initial position of the search.
【００３７】次に、ステップ１１６では、ステップ１１
２で検索されたエッジ極値点と検索の初期位置となるエ
ッジ極値点に基づいて、最初の検索区間を決定する。す
なわち、各々の検索の初期位置からより外側のエッジ極
値点を検索するように、正の極値点は上方へ、負の極値
点は下方へ検索するように検索区間を決定する。図６で
は、点Ｐ１と点Ｍ１とが次のエッジ極値点であるので、
点Ｐ０と点Ｐ１との間が次の上方への検索区間になり、
点Ｍ０と点Ｍ１との間が次の下方への検索区間となる。
このように定められた検索区間内で、エッジ値の符号が
反転しているか否かをステップ１１８で判定し、反転し
ていない場合はステップ１２０で新たなエッジ極値点が
存在するか否か、すなわち新たな検索区間が見つかった
か否かを判定する。そして、新たな検索区間が見つから
なくなるか、あるいは、検索区間内でエッジ値の符号が
反転するまで、上方と下方へそれぞれ検索を繰り返す
（ステップ１１６、１１８、１２０）。図６では、点Ｐ
０と点Ｐ１との間でエッジ値は常に正であり、また、点
Ｍ０と点Ｍ１との間でエッジ値は常に負であるので、点
Ｐ１と点Ｍ１とを新たな出発点とし、検索を繰り返すこ
とになる。上記の検索結果を基に、同様に上方と下方へ
それぞれ検索区間を決定することになるが、図６（ｃ）
では、Ｐ１より上方に、また、Ｍ１より下方には、新た
なエッジ極値点が存在しない。そこで、検索終了と判断
し、ステップ１２２で点Ｐ１と点Ｍ１をまぶたと眼球と
の境界点Ａ、Ｂとする。Next, in step 116, step 11
The first search section is determined based on the edge extremum point searched in step 2 and the edge extremum point which is the initial position of the search. That is, the search section is determined so that the positive extreme point is searched upward and the negative extreme point is searched downward so as to search the outer extreme point from the initial position of each search. In FIG. 6, since the points P1 and M1 are the next edge extreme points,
Between the points P0 and P1 is the next upward search section,
The area between the points M0 and M1 is the next downward search section.
It is determined in step 118 whether or not the sign of the edge value is inverted in the search section determined in this way. If not, it is determined in step 120 whether or not a new edge extreme point exists. That is, it is determined whether a new search section has been found. Then, the search is repeated upward and downward until no new search section is found or the sign of the edge value is inverted in the search section (steps 116, 118, 120). In FIG. 6, the point P
Since the edge value is always positive between 0 and the point P1 and the edge value is always negative between the points M0 and M1, the points P1 and M1 are set as new starting points, and the search is performed. Will be repeated. Based on the above search results, search sections are similarly determined upward and downward, respectively, as shown in FIG.
In, there is no new edge extreme point above P1 and below M1. Therefore, it is determined that the search is completed, and in step 122, the points P1 and M1 are defined as boundary points A and B between the eyelid and the eyeball.
【００３８】そして、ステップ１２４では、境界点Ａ、
Ｂ間の距離を計数してまぶたの開度を演算し、まぶたの
開度が最小になったか否かを判断することによって、ま
ぶたが閉じているか開いているかを判定する。そして、
まぶたが閉じていることを示す閉眼情報を出力する。In step 124, the boundary points A,
The eyelid opening is calculated by counting the distance between B, and it is determined whether the eyelid is closed or open by determining whether the eyelid opening is minimized. And
The closed eye information indicating that the eyelid is closed is output.
【００３９】このような処理により、本実施例では、個
人の顔の造り等の個人差にかかわらず、まぶたと眼球と
の境界点の抽出が可能になり、正確なまぶたの閉眼状態
の判定が可能になる。By this processing, in this embodiment, it is possible to extract the boundary point between the eyelid and the eyeball regardless of the individual differences such as the structure of the face of the individual, and it is possible to accurately determine the closed state of the eyelid. Will be possible.
【００４０】なお、次の方法によってまぶたが閉じてい
るか否かを判断するようにしてもよい。The following method may be used to determine whether the eyelid is closed.
【００４１】まず、フレームメモリに記憶されている顔
画像を取り込み、図１２（１）に示すように顔画像を２
値化し、顔の２値画像から、顔の左右対称性、頭髪、眉
毛、まぶたの位置関係等に基づいてまぶたの存在領域を
抽出する。次に、顔画像からこのまぶたの領域に対応す
る領域からまぶた画像のエッジ（輪郭）を示す濃淡画像
（図１２（３））を求める。次に、まぶたの輪郭線が最
適に検出できる濃度のしきい値を決定し、このしきい値
と濃淡画像の濃度とを比較してまぶたの輪郭線の２値画
像（図１２（４））を得る。そして、得られたまぶたの
輪郭２値画像から上まぶたと下まぶたの距離を計測し、
この距離が最小になったか否かを判断してまぶたが開い
ているか閉じているか判定する。First, the face image stored in the frame memory is fetched, and the face image is
From the binary image of the face, an eyelid presence area is extracted based on the left-right symmetry of the face, the head hair, eyebrows, the positional relationship of the eyelids, and the like. Next, from the face image, a shaded image (FIG. 12 (3)) showing the edge (contour) of the eyelid image is obtained from a region corresponding to the eyelid region. Next, a threshold value of the density at which the outline of the eyelid can be detected optimally is determined, and this threshold value is compared with the density of the gray image to produce a binary image of the outline of the eyelid (FIG. 12 (4)). Get. Then, the distance between the upper and lower eyelids is measured from the obtained binary image of the outline of the eyelid,
It is determined whether or not the distance has become minimum, and it is determined whether the eyelid is open or closed.
【００４２】まばたきパラメータ抽出部２０において
は、まぶたの開閉情報に基づいて、連続してまぶたが閉
じている時間を閉眼時間計算手段２１で算出し、まばた
きの閉眼時間とする。また、計時手段２２によって計測
される計測開始時刻からの単位計測時間Ｔ毎に発生した
各まばたきの閉眼時間の平均値を平均閉眼時間計算手段
２３で計算し、これを平均閉眼時間ｃｎとする。ここで
ｎは変数の添え字であり、計測開始からの単位計測時間
Ｔ毎の通し番号を表す。すなわち、計測開始時刻からの
経過時間をｔとすると ｎ＝ｔ／Ｔ ・・・（１） である。In the blink parameter extracting unit 20, the time during which the eyelids are continuously closed is calculated by the eye closing time calculating means 21 based on the eyelid opening / closing information, and is set as the blinking eye closing time. In addition, the average value of the eye closing time of each blink generated for each unit measurement time T from the measurement start time measured by the timing unit 22 is calculated by the average eye closing time calculating unit 23, and this is set as the average eye closing time cn. Here, n is a subscript of a variable and represents a serial number for each unit measurement time T from the start of measurement. That is, when the elapsed time from the measurement start time is t, n = t / T (1).
【００４３】車両状態検出部３０の操舵量検出手段３１
においては、運転者のハンドル操舵量を検出し、検出し
た操舵量からカーブ等における車線内の走行を維持する
ために必要な操舵量を除いた修正操舵量δｃを抽出し、
修正操舵量δｃ情報を出力する。The steering amount detecting means 31 of the vehicle state detecting section 30
In, the steering amount of the steering wheel of the driver is detected, and the corrected steering amount δc excluding the steering amount necessary to maintain the traveling in the lane at the curve or the like is extracted from the detected steering amount,
The corrected steering amount δc information is output.
【００４４】修正操舵量の抽出は、図１３に示すよう
に、道路形状にかかわらず、短時間（例えば、１０秒）
の間に走行する道路区間を直線路と仮定し、この直線路
を道路区間の始点と終点とを結ぶ直線で近似し、この直
線における操舵量を基準（０レベル、図１３中点線で示
す）とする。これによって決められた操舵量の基準と検
出された操舵量との差を修正操舵量δｃとする。As shown in FIG. 13, the correction steering amount is extracted in a short time (for example, 10 seconds) regardless of the road shape.
Is assumed to be a straight road, and this straight road is approximated by a straight line connecting the start point and the end point of the road section, and the steering amount on this straight line is referred to (0 level, indicated by a dotted line in FIG. 13). And The difference between the determined steering amount reference and the detected steering amount is defined as a corrected steering amount δc.
【００４５】車両状態検出部３０の車速検出手段３２で
は車速Ｕを検出する。横偏位量演算手段３３では、次の
（２）式で示すように、修正操舵量δｃと車速Ｕの関数
で表される横加速度ゲインＧｙとの積の２階積分を演算
することによって横偏位量Ｙを求める。The vehicle speed detecting means 32 of the vehicle state detecting section 30 detects the vehicle speed U. As shown by the following equation (2), the lateral deviation calculating means 33 calculates the second-order integral of the product of the corrected steering amount δc and the lateral acceleration gain Gy represented by a function of the vehicle speed U, thereby calculating the lateral integral. The deviation amount Y is obtained.
【００４６】 Ｙ ＝（δｃ・Ｇｙ）／Ｓ2 ・・・（２） ただし、Ｓはラプラス演算子である。Y = (δc · Gy) / S 2 (2) where S is a Laplace operator.
【００４７】計算された横偏位量Ｙは、平均横偏位量演
算手段３４に入力され、まばたきパラメータ抽出部２０
における単位計測時間Ｔと同期して単位計測時間Ｔ毎
に、横偏位量Ｙの平均値である平均横偏位量ｄｎが演算
される。The calculated lateral deviation amount Y is input to the average lateral deviation amount calculating means 34, and is applied to the blink parameter extracting unit 20.
The average lateral deviation dn, which is the average value of the lateral deviation Y, is calculated for each unit measurement time T in synchronization with the unit measurement time T.
【００４８】以上述べたように単位計測時間Ｔ毎に、運
転者のまばたきの平均閉眼時間ｃｎと車両の目標走行軌
跡からの平均横偏位量ｄｎとが計測される。As described above, for each unit measurement time T, the average blink closing time cn of the driver's blink and the average lateral deviation dn from the target traveling locus of the vehicle are measured.
【００４９】次に覚醒度検出部４０のＣＰＵによる検出
処理ルーチンを図９を参照して説明する。まず、ステッ
プＳ４０１において計測開始からの経過時間ｔを０に、
カウンタｎを１に、平均閉眼時間ｃｎの平均値を求める
ために用いる変数ｓｕｍを０に設定する、すなわち、各
種変数等を初期値に設定する。Next, a detection processing routine by the CPU of the arousal level detection unit 40 will be described with reference to FIG. First, in step S401, the elapsed time t from the start of measurement is set to 0,
The counter n is set to 1, and the variable sum used for calculating the average value of the average eye closing time cn is set to 0, that is, various variables and the like are set to initial values.
【００５０】ステップＳ４０２では、まばたきパラメー
タ抽出部２０の出力である平均閉眼時間ｃｎと車両状態
検出部３０の出力である平均横偏位量ｄｎとを読み込
む。In step S 402, the average eye closing time cn output from the blink parameter extraction unit 20 and the average lateral deviation dn output from the vehicle state detection unit 30 are read.
【００５１】運転開始時には乗り込む動作、エンジンを
かける動作、車両を発進させる動作等を伴うため、運転
者の覚醒度は高い。このため、ステップＳ４０３では、
計測開始時間からの経過時間ｔが運転者の覚醒度が高い
と判断される所定時間ｔｄ（例えば、３分）以内かどう
かを判定する。At the start of driving, the driver is highly awake because the operation involves getting on, starting the engine, starting the vehicle, and the like. Therefore, in step S403,
It is determined whether or not the elapsed time t from the measurement start time is within a predetermined time td (for example, 3 minutes) at which the degree of awakening of the driver is determined to be high.
【００５２】ステップＳ４０３において、経過時間ｔが
所定時間ｔｄ以内の場合は、ステップＳ４０４で、平均
閉眼時間ｃｎを変数ｓｕｍに加える。If the elapsed time t is within the predetermined time td in step S403, the average eye closing time cn is added to the variable sum in step S404.
【００５３】次のステップＳ４０５で経過時間ｔが所定
時間ｔｄに等しいかどうかを判断し、ｔ＝ｔｄの場合、
すなわち計測開始時間から運転者の覚醒度が高いと判断
される所定時間ｔｄ経過した場合には、ステップＳ４０
６において所定時間ｔｄ内の平均閉眼時間ｃｎの平均値
を求め、この平均値を現在計測されている運転者の覚醒
時の平均閉眼時間の平常値ｃｏとする。In the next step S405, it is determined whether or not the elapsed time t is equal to the predetermined time td.
That is, if a predetermined time td, at which the driver's arousal level is determined to be high, has elapsed from the measurement start time, the process proceeds to step S40.
In step 6, the average value of the average eye closing time cn within the predetermined time td is obtained, and this average value is set as the average value of the currently measured average eye closing time when the driver is awake.
【００５４】ステップＳ４０３において、経過時間ｔが
所定時間ｔｄを越えている場合は、覚醒度が低下する可
能性があるので、ステップＳ４０７において計測開始時
間から時間ｔ経過した時点までにおける、単位計測時間
Ｔ毎の平均閉眼時間ｃｎを平常値ｃｏで除算し、この比
ｃｎ／ｃｏを平均閉眼時間比ｃｒｎとする。これによっ
て、平均閉眼時間ｃｎの平常値ｃｏに対する変化の大き
さを評価することができる。In step S403, if the elapsed time t exceeds the predetermined time td, there is a possibility that the arousal level may decrease. Therefore, the unit measurement time from the measurement start time to the time when the time t has elapsed in step S407. The average eye closing time cn for each T is divided by the normal value co, and the ratio cn / co is defined as the average eye closing time ratio crn. Thus, the magnitude of the change of the average eye closing time cn with respect to the normal value co can be evaluated.
【００５５】ステップＳ４０８では、経過時間ｔまでに
得られた単位計測時間Ｔ毎の平均閉眼時間比ｃｒｎと平
均横偏位量ｄｎとを用いて、回帰直線を計算する。以
下、図１０（ａ）〜（ｃ）を用い、上述した運転の継続
と覚醒度との関係に基づき説明する。なお、上述の状態
（ａ）〜（ｃ）は、それぞれ図１０（ａ）〜（ｃ）に対
応している。In step S408, a regression line is calculated using the average eye closing time ratio crn and the average lateral deviation dn for each unit measurement time T obtained up to the elapsed time t. Hereinafter, a description will be given based on the relationship between the continuation of the driving and the arousal level described above with reference to FIGS. The states (a) to (c) correspond to FIGS. 10A to 10C, respectively.
【００５６】図１０（ａ）に示すように、この時点で覚
醒度に変化がなく、平均閉眼時間比ｃｒｎ及び平均横偏
位量ｄｎがそれぞれの平常値に対して変化していない状
態では、散布図上で左下にデータが集中することにな
る。そのため、平均閉眼時間比ｃｒｎと平均横偏位量ｄ
ｎとの間に明確な関係は得られない。また、後に述べる
回帰直線の統計的検定結果も有意にはならない（統計的
に無意味になる）。As shown in FIG. 10 (a), at this time, there is no change in the arousal level, and in the state where the average closed-eye time ratio crn and the average lateral deviation amount dn have not changed with respect to the respective normal values, Data will be concentrated on the lower left on the scatter plot. Therefore, the average eye closing time ratio crn and the average lateral deviation d
No clear relationship can be obtained with n. Also, the statistical test result of the regression line described later is not significant (it becomes statistically meaningless).
【００５７】一方、覚醒度が低下傾向にあれば、平均閉
眼時間比ｃｒｎ及び平均横偏位量ｄｎが増加するように
変化し、図１０（ｂ）に示すように、平均閉眼時間比ｃ
ｒｎと平均横偏位量ｄｎとは散布図上で右上がりの直線
関係を示す。すなわち、図１０（ａ）の状態から図１０
（ｂ）の状態に移る過程では、回帰直線の傾きが時間の
経過に伴って増加するが、覚醒度が低下傾向にある状態
でのデータが増えるにつれ傾きはほぼ一定となる。そし
て、さらに運転を続け、覚醒度が低下し運転に危険な状
態になるにつれ、図１０（ｃ）に示すように、この散布
図上での点はさらに左下から右上に推移することにな
る。このとき、回帰直線の傾きは、図１０（ｂ）の状態
からほとんど変化がない。すなわち、図１０（ｂ）に示
す覚醒度が低下傾向にある状態において、運転開始時か
らその時点までのデータを用いて得られる有意な回帰直
線は、さらにそのまま運転を続けて覚醒度が低下し、運
転に危険な状態になるまでのデータを用いて得られる図
１０（ｃ）の（有意な）回帰直線とほぼ同じである。し
たがって、そのような危険な状態に陥るまでのデータを
用いることなく、すなわち、運転に危険な状態に至る以
前に、覚醒度が高い状態から低下傾向にある状態までの
データのみを用いて、個人毎の特徴を正しく反映した回
帰直線を得ることができる。また、上記状態（ａ）から
（ｂ）、（ｃ）へ推移する状況が、運転者毎にあるいは
同一運転者であっても運転者の体調その他の条件が異な
る場合でも、正しく回帰直線を得ることができる。On the other hand, if the awakening degree tends to decrease, the average eye closing time ratio crn and the average lateral deviation amount dn change so as to increase, and as shown in FIG.
rn and the average lateral deviation amount dn show a linear relationship that rises to the right on the scatter diagram. That is, the state shown in FIG.
In the process of shifting to the state (b), the slope of the regression line increases with time, but the slope becomes substantially constant as the data in the state where the arousal level tends to decrease is increased. Then, as the driving is continued and the awakening degree is reduced and the driving becomes dangerous, as shown in FIG. 10C, the points on the scatter diagram further shift from the lower left to the upper right. At this time, the slope of the regression line hardly changes from the state shown in FIG. That is, in the state where the arousal level shown in FIG. 10 (b) is on the decrease, the significant regression line obtained using the data from the start of driving to the time point indicates that the arousal level is further reduced by continuing driving. 10 (c), which is obtained by using the data until the driving becomes dangerous. Therefore, without using data up to such a dangerous state, that is, using only data from a state of high alertness to a state of a tendency to decrease before reaching a dangerous state for driving, A regression line that accurately reflects each feature can be obtained. In addition, even if the situation transitioning from the state (a) to (b) or (c) is different for each driver or even if the physical condition and other conditions of the driver are different for the same driver, a regression line is correctly obtained. be able to.
【００５８】ステップＳ４０９では、以下で説明するよ
うに、得られた回帰直線が統計的に有意か否かの検定を
行う。回帰直線が有意であれば、覚醒度が低下傾向にあ
る状態（ｂ）になったとして、覚醒度の推定を行うこと
ができる。In step S409, a test is performed to determine whether the obtained regression line is statistically significant, as described below. If the regression line is significant, it is possible to estimate the arousal level, assuming that the state of arousal has a tendency to decrease (b).
【００５９】すなわち、２変量（ｘｋ，ｙｋ）（ただ
し、ｋ＝１，２，・・・ｎ）の組で表せる次の（３）式
で示される回帰直線において、次のような零仮説の検定
を行う。That is, in the regression line represented by the following equation (3) which can be expressed by a set of bivariate (xk, yk) (k = 1, 2,... N), the following zero hypothesis Perform the test.
【００６０】帰無仮説Ｈ０： β１＝０ 対立仮説Ｈ１： β１≠０ ｙ＝α１＋β１ｘ ・・・（３） ここで、直線の傾きβ１が０のときは、全てのｘについ
てｙ＝α１であるので、ｙとｘには直線関係がないこと
を意味する。Null hypothesis H0: β1 = 0 Alternative hypothesis H1: β1 ≠ 0 y = α1 + β1x (3) Here, when the slope β1 of the straight line is 0, y = α1 for all x. , Y and x have no linear relationship.
【００６１】帰無仮説Ｈ０のもとでは、β１＝０である
からβ１の予測値をβｈ１で表すと、次の（４）式で示
されるｔｏが、自由度ｎ−２のｔ分布に従うことにな
る。Under the null hypothesis H0, since β1 = 0, when the predicted value of β1 is represented by βh1, it follows that to represented by the following equation (4) follows the t distribution with n-2 degrees of freedom. become.
【００６２】 ｔｏ＝βｈ１／（√（Ｖｅ／Ｓｘｘ）） ・・・（４） ただし、Ｖｅ、Ｓｘｘ等は次のように表される。To = βh1 / (√ (Ve / Sxx)) (4) where Ve, Sxx, etc. are represented as follows.
【００６３】 Ｖｅ＝Ｓｅ／（ｎ−２） ・・・（５） Ｓｅ＝Ｓｙｙ−Ｓｘｙ2/Ｓｘｘ ・・・（６）Ve = Se / (n−2) (5) Se = Syy−Sxy 2 / Sxx (6)
【００６４】[0064]
【数１】 (Equation 1)
【００６５】従って、次の（１２）式の条件を満たすと
き、有意水準αで仮説Ｈ０を棄却する。Therefore, when the condition of the following equation (12) is satisfied, the hypothesis H0 is rejected at the significance level α.
【００６６】 ｜ｔｏ｜≧ｔ（ｎ−２，α） ・・・（１２） すなわち、有意水準αを、例えば５％としたとき、ｔ分
布表の値がｔ（ｎ−２，０．０５）であるとすると、 ｔｏ≧（ｎ−２，０．０５） ・・・（１３） が成立するということは、回帰直線の傾きβ１が０であ
るという仮説が成立しない。従って、回帰直線は有意で
ある、すなわち統計的に意味のあることが確認できる。| To | ≧ t (n−2, α) (12) That is, when the significance level α is, for example, 5%, the value of the t distribution table is t (n−2, 0.05). ), It holds that to ≧ (n−2,0.05) (13) does not hold the hypothesis that the slope β1 of the regression line is 0. Therefore, it can be confirmed that the regression line is significant, that is, statistically significant.
【００６７】なお、統計的検定は上記に述べた方法と数
学的に同値な次の方法によってもよい。The statistical test may be performed by the following method which is mathematically equivalent to the method described above.
【００６８】仮説Ｈ０のもとでは、次の式で示される分
散比Ｆｏが、自由度（１，ｎ−２）のＦ分布に従う。Under the hypothesis H0, the variance ratio Fo represented by the following equation follows the F distribution with (1, n-2) degrees of freedom.
【００６９】 Ｆｏ＝ＶＲ／Ｖｅ ・・・（１４） ただし、ＶＲ，Ｖｅは次の式で表される。Fo = VR / Ve (14) where VR and Ve are represented by the following equations.
【００７０】 ＶＲ＝ＳＲ ・・・（１５） Ｖｅ＝Ｓｅ／（ｎ−２） ・・・（１６） ＳＲ＝Ｓｘｙ2 ／Ｓｘｘ ・・・（１７） Ｓｅ＝Ｓｙｙ−ＳＲ ・・・（１８） なお、Ｓｘｘ，Ｓｙｙ，Ｓｘｙは上記の式（７）〜
（９）と同様である。VR = SR (15) Ve = Se / (n−2) (16) SR = Sxy 2 / Sxx (17) Se = Syy-SR (18) Note that Sxx, Syy, and Sxy are calculated by the above equations (7) to (7).
Same as (9).
【００７１】従って、次の（１９）式を満たすとき、有
意水準αで仮説Ｈ０を棄却する。 Ｆｏ≧Ｆ（１，ｎ−２，α） ・・・（１９） 検定の結果、計算した回帰直線が有意であればステップ
Ｓ４１０に進み、有意でなければステップＳ４１１に進
む。ステップＳ４１１では、得られた回帰直線は用い
ず、事前に得ている平均的な値の傾き及び切片を持つ回
帰直線を用いる。Therefore, when the following equation (19) is satisfied, the hypothesis H0 is rejected at the significance level α. Fo ≧ F (1, n−2, α) (19) As a result of the test, if the calculated regression line is significant, the process proceeds to step S410, and if not, the process proceeds to step S411. In step S411, the obtained regression line is not used, but a regression line having a previously obtained average value slope and intercept is used.
【００７２】ステップＳ４１０において、図１１に示す
ように、得られた回帰直線から危険な走行状態を意味す
る予め定められた平均横偏位量の基準値Ｄ（例えば１
ｍ）に対する平均閉眼時間比Ｒを求め、平均閉眼時間比
Ｒを運転に危険な平均閉眼時間比として、計測開始から
の経過時間ｔ、すなわち現在時刻における平均閉眼時間
比ｃｒｎの危険な平均閉眼時間比Ｒに対する比率ｃｒｎ
／Ｒを求め、この比率ｃｒｎ／Ｒを覚醒レベルとする。
この比率ｃｒｎ／Ｒが１以上のときは覚醒レベルは危険
なレベルである。In step S410, as shown in FIG. 11, a predetermined reference value D (for example, 1) of a predetermined average lateral deviation amount indicating a dangerous traveling state is obtained from the obtained regression line.
m), the average eye-closing time ratio R is determined as the average eye-closing time ratio R that is dangerous for driving, and the elapsed time t from the start of measurement, that is, the dangerous average eye-closing time of the average eye-closing time ratio crn at the current time. Ratio crn to ratio R
/ R is determined, and this ratio crn / R is set as the arousal level.
When the ratio crn / R is 1 or more, the arousal level is a dangerous level.
【００７３】なお、上記では危険な走行状態を意味する
平均横偏位量の基準値Ｄとして隣接車線にはみ出すこと
に相当する量である１ｍに設定したが、走行環境に応じ
て、この値を変更することも可能である。In the above description, the reference value D of the average lateral deviation amount, which means a dangerous driving state, is set to 1 m, which is an amount corresponding to protruding into the adjacent lane. However, this value is set according to the driving environment. It can be changed.
【００７４】ステップＳ４１１では、事前に蓄えられて
いる複数の運転者の特徴から得た平均的な値の傾き、及
び平均的な切片を持つ回帰直線を用いて、ステップＳ４
１０と同様の処理を行う。In step S 411, a regression line having an average value slope and an average intercept obtained from a plurality of driver characteristics stored in advance and an average intercept is used.
The same processing as in step 10 is performed.
【００７５】ステップＳ４１２では、覚醒レベルを出力
する。ただし、ｔ≦ｔｄのときは、平常値を計測中であ
るので、覚醒レベルは出力しない。ｔ＞ｔｄのときステ
ップＳ４１０またはステップＳ４１１で推定された覚醒
レベルの値を運転者の覚醒状態として、数値表示や、ラ
ンプの点滅速度等によって運転者に報知する。また、出
力された覚醒レベルを、音、振動、香り等によって運転
者を刺激する運転者の覚醒維持装置の入力として用いる
ことも可能である。In step S412, the awakening level is output. However, when t ≦ td, since the normal value is being measured, the awakening level is not output. When t> td, the value of the awakening level estimated in step S410 or step S411 is notified to the driver as a driver's awakening state by numerical display, a blinking speed of a lamp, or the like. Further, the output arousal level can be used as an input of a driver's arousal maintenance device that stimulates the driver with sound, vibration, scent, and the like.
【００７６】ステップＳ４１３では、カウンタｎを１増
加し、次の単位測定時間における覚醒度推定処理に移行
する。In step S413, the counter n is incremented by one, and the process shifts to the awakening degree estimation process in the next unit measurement time.
【００７７】なお、ステップＳ４０８において、回帰直
線を求める際、計測時間から一定時間以上経ても、計測
された平均閉眼時間ｃｎが平常値ｃｏに対して変化する
ことがなく、覚醒度の低下が見られない場合は、単位計
測時間Ｔ毎に得られる平均閉眼時間ｃｎと平均横偏位量
ｄｎとを間引きして、回帰直線を求める演算に使用しな
いようにすることも可能である。この方法によって、さ
らに時間を経て、覚醒度に変化が現れた際に、回帰直線
を的確に求めることができる。In step S408, when the regression line is obtained, the measured average eye-closing time cn does not change from the normal value co even after a certain period of time has elapsed since the measurement time, and a decrease in arousal level is observed. If not, the average eye closing time cn and the average lateral deviation dn obtained for each unit measurement time T may be thinned out so as not to be used in the calculation for obtaining the regression line. According to this method, a regression line can be accurately obtained when the arousal level changes over time.
【００７８】上記実施例で説明した画像処理によるまば
たき検出は運転者に装着しなくても良いため、運転者に
負担をかけないという点で望ましいが、運転者のまぶた
に電極を貼着して眼電位を測定し、眼電位波形から、ま
ぶたの開閉を検出する方法を用いることもできる。The blink detection by the image processing described in the above embodiment is not required to be worn by the driver, and is therefore desirable in that the burden is not placed on the driver. However, it is preferable to attach an electrode to the driver's eyelid. A method of measuring electro-oculography and detecting eyelid opening / closing from electro-oculography waveform can also be used.
【００７９】上記実施例では、まばたきパラメータ抽出
部において、まばたきパラメータとして閉眼時間を用い
た例を説明したが、本発明はこれに限定されることはな
く、まぶたが動いたときの振幅、まばたきの発生間隔時
間等を用いて覚醒度を推定することも可能である。In the above embodiment, an example in which the blink parameter extraction unit uses the eye closing time as the blink parameter has been described. However, the present invention is not limited to this, and the amplitude when the eyelid moves, the blink It is also possible to estimate the arousal level using the interval time between occurrences.
【００８０】また，上記実施例の車両状態検出部におい
て、車両の状態量である横偏位量Ｙは、車速とハンドル
操舵量とに基づいて求めたが、車両に横加速度センサを
取付け、その出力値を２階積分しても求めてもよい。In the vehicle state detector of the above embodiment, the lateral deviation amount Y, which is the state amount of the vehicle, is obtained based on the vehicle speed and the steering amount, but a lateral acceleration sensor is attached to the vehicle. The output value may be obtained by second-order integration.
【００８１】[0081]
【発明の効果】以上説明したように、請求項１、２の発
明によれば、計測開始時から個人の特徴を把握している
ので、事前に個人の特徴を学習させることなく、また、
その状況における個人差に応じた状態を自動車の運転作
業からそのまま得られたデータに基づいて得ているの
で、適切な覚醒度を検出することができる、という効果
がえられる。As described above, according to the first and second aspects of the present invention, since the characteristics of the individual are grasped from the start of the measurement, the characteristics of the individual are not learned in advance, and
Since the state according to the individual difference in the situation is obtained based on the data obtained as it is from the driving operation of the automobile, an effect that an appropriate arousal level can be detected can be obtained.
【図１】本実施例の基本的な構成を示すブロック図であ
る。FIG. 1 is a block diagram showing a basic configuration of the present embodiment.
【図２】図１のまばたき検出部の詳細を示すブロック図
である。FIG. 2 is a block diagram illustrating details of a blink detection unit in FIG. 1;
【図３】図１のまばたきパラメータ抽出部の詳細を示す
ブロック図である。FIG. 3 is a block diagram showing details of a blink parameter extraction unit in FIG. 1;
【図４】図１の車両状態抽出部の詳細を示すブロック図
である。FIG. 4 is a block diagram illustrating details of a vehicle state extraction unit in FIG. 1;
【図５】まばたき検出部の処理ルーチンを示す流図であ
る。FIG. 5 is a flowchart illustrating a processing routine of a blink detection unit.
【図６】（ａ）は目画像の原画像、（ｂ）は原画像から
得られる１次元原画像、（ｃ）は１次元原画像から得ら
れる１次元エッジ画像を各々示す線図である。6A is a diagram illustrating an original eye image, FIG. 6B is a diagram illustrating a one-dimensional original image obtained from the original image, and FIG. 6C is a diagram illustrating a one-dimensional edge image obtained from the one-dimensional original image. .
【図７】平均閉眼時間と平均横偏位量との時間推移を示
す線図である。FIG. 7 is a diagram showing a time transition between an average eye closing time and an average lateral deviation amount.
【図８】平均閉眼時間と平均横偏位量との相関および一
次回帰直線を示す線図である。FIG. 8 is a diagram showing a correlation between an average eye closing time and an average lateral deviation amount and a linear regression line.
【図９】覚醒度検出部の処理ルーチンを示す流図であ
る。FIG. 9 is a flowchart showing a processing routine of a waking degree detection unit.
【図１０】（ａ）は運転開始から数分経過後（覚醒度が
高い状態）の平均閉眼時間の平常値に対する比と平均横
偏位量との相関を示す線図、（ｂ）は覚醒度が低下傾向
にある状態の平均閉眼時間の平常値に対する比と平均横
偏位量との相関を示す線図、（ｃ）は覚醒度が低下した
状態の平均閉眼時間の平常値に対する比と平均横偏位量
との相関を示す線図である。10A is a diagram showing the correlation between the ratio of the average closed-eye time to the normal value and the average lateral deviation after several minutes from the start of driving (state of high arousal level), and FIG. A graph showing the correlation between the ratio of the average eye closing time to the normal value in the state where the degree of tendency is decreasing and the average lateral deviation amount, and FIG. FIG. 3 is a diagram showing a correlation with an average lateral deviation amount.
【図１１】平均閉眼時間と平均横偏位との相関から得ら
れた一次回帰直線を示す線図である。FIG. 11 is a diagram showing a linear regression line obtained from a correlation between an average eye closing time and an average lateral deviation.
【図１２】（１）はフレームメモリに格納された顔画
像、（２）は顔の２値画像、（３）は目の輪郭の濃淡画
像、（４）は目の輪郭の２値画像を各々示す図である。12A shows a face image stored in a frame memory, FIG. 12B shows a binary image of a face, FIG. 12B shows a gray-scale image of an eye contour, and FIG. 12B shows a binary image of an eye contour. It is a figure each shown.
【図１３】修正操舵量の抽出方法を説明するための線図
である。FIG. 13 is a diagram for explaining a method of extracting a corrected steering amount.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中野 倫明 愛知県愛知郡長久手町大字長湫字横道41 番地の１ 株式会社豊田中央研究所内 (72)発明者 山本 新 愛知県愛知郡長久手町大字長湫字横道41 番地の１ 株式会社豊田中央研究所内 (56)参考文献 特開 平６−144071（ＪＰ，Ａ) 特開 平５−85221（ＪＰ，Ａ) 特開 昭56−21920（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) B60K 28/06 G08G 1/16 A61B 5/18 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Noriaki Nakano 41-Yokomichi, Nagakute-cho, Aichi-gun, Aichi Prefecture Inside Toyota Central Research Laboratories Co., Ltd. No. 41, Yokomichi Inside Toyota Central Research Laboratory Co., Ltd. (56) References JP-A-6-144071 (JP, A) JP-A-5-85221 (JP, A) JP-A-56-21920 (JP, A) ( 58) Field surveyed (Int.Cl. 7 , DB name) B60K 28/06 G08G 1/16 A61B 5/18
Claims (2)
ぶたの開度、まぶたの動きの振幅、まばたきの頻度、ま
ばたきの発生間隔時間、及びこれらの平均値のいずれか
１つで表されるまばたきパラメータを抽出する抽出手段
と、 目標走行軌跡からの車両の横偏位量を検出する横偏位量
検出手段と、 まばたきパラメータと車両の横偏位量とに基づいて、ま
ばたきパラメータと車両の横偏位量との相関関係を表す
回帰式を演算する回帰式演算手段と、 前記回帰式が統計的に有意か否かを検定する有意性検定
手段と、 有意と検定された回帰式に基づいて運転者の覚醒度を検
出する覚醒度検出手段と、 を含む運転者の覚醒度検出装置。1. An eyelid closing time, an eyelid opening degree, an eyelid movement amplitude, a blinking frequency, a blinking interval time, and an average value thereof are represented from a driver's eyelid movement. Extracting means for extracting a blinking parameter; lateral deviation detecting means for detecting a lateral deviation of the vehicle from the target travel locus; and a blinking parameter and a vehicle deviation based on the blinking parameter and the lateral deviation of the vehicle. A regression equation calculating means for calculating a regression equation representing a correlation with the lateral deviation amount; a significance testing means for testing whether the regression equation is statistically significant; and a regression equation based on the significant regression equation. A vigilance detection means for detecting a vigilance level of the driver by means of a driver.
を含む領域の濃淡画像を入力し、該領域においてまばた
き方向の基準線上の画素の濃淡変化を表す１次元画像を
抽出すると共に、前記１次元画像に基づいて前記基準線
上の画素毎の濃淡変化の大きさを表す１次元エッジ画像
を算出するエッジ画像算出手段と、前記１次元エッジ画
像における濃淡変化の極値に基づいて上まぶたと眼球と
の境界を示す第１の境界点及び下まぶたと眼球との境界
を示す第２の境界点を検出するまぶた検出手段と、検出
した第１の境界点と第２の境界点とに基づいてまばたき
パラメータを演算するパラメータ演算手段と、を含む請
求項１記載の運転者の覚醒度検出装置。2. The blink parameter detecting means inputs a shade image of an area including an eye, extracts a one-dimensional image representing a shade change of a pixel on a reference line in a blink direction in the area, and extracts the one-dimensional image. Edge image calculation means for calculating a one-dimensional edge image representing the magnitude of shading change for each pixel on the reference line based on the above, and an upper eyelid and an eyeball based on an extreme value of shading change in the one-dimensional edge image. Eyelid detection means for detecting a first boundary point indicating a boundary and a second boundary point indicating a boundary between the lower eyelid and the eyeball; and a blink parameter based on the detected first boundary point and the second boundary point. The driver arousal level detection device according to claim 1, further comprising: a parameter calculation unit configured to calculate the arousal level.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07031208A JP3127760B2 (en) | 1995-02-20 | 1995-02-20 | Driver arousal level detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07031208A JP3127760B2 (en) | 1995-02-20 | 1995-02-20 | Driver arousal level detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08225028A JPH08225028A (en) | 1996-09-03 |
| JP3127760B2 true JP3127760B2 (en) | 2001-01-29 |
Family
ID=12325019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07031208A Expired - Fee Related JP3127760B2 (en) | 1995-02-20 | 1995-02-20 | Driver arousal level detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3127760B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11006873B2 (en) | 2017-02-22 | 2021-05-18 | Jins Holdings Inc. | Calculating a score of a degree of arousal of a user |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3340920B2 (en) * | 1996-10-09 | 2002-11-05 | 日産ディーゼル工業株式会社 | Drowsy driving prevention system |
| JP2002316580A (en) * | 2001-04-24 | 2002-10-29 | Murakami Corp | Mirror device with built-in camera |
| AUPR872301A0 (en) * | 2001-11-08 | 2001-11-29 | Sleep Diagnostics Pty Ltd | Alertness monitor |
| JP3960168B2 (en) * | 2002-08-29 | 2007-08-15 | 株式会社デンソー | Biological state estimation method, apparatus, and program |
| JP2005013626A (en) * | 2003-06-27 | 2005-01-20 | Nissan Motor Co Ltd | Awakefullness detector |
| JP4506250B2 (en) * | 2004-04-12 | 2010-07-21 | 日産自動車株式会社 | Upper eyelid detection device |
| JP4655035B2 (en) * | 2006-12-27 | 2011-03-23 | トヨタ自動車株式会社 | Dozing detection device, dozing detection method |
| JP4840146B2 (en) * | 2007-01-09 | 2011-12-21 | 株式会社デンソー | Sleepiness detection device |
| US8400313B2 (en) * | 2007-01-19 | 2013-03-19 | Asahi Kasei Kabushiki Kaisha | Vehicle driver sleep state classification generating device based on Hidden Markov Model, sleep state classification device and warning device |
| JP5262243B2 (en) * | 2008-03-31 | 2013-08-14 | アイシン精機株式会社 | Eye opening / closing discrimination device and program |
| JP5642945B2 (en) * | 2009-05-29 | 2014-12-17 | 浜松ホトニクス株式会社 | Blink measurement device |
| JP7045639B2 (en) | 2017-02-28 | 2022-04-01 | パナソニックＩｐマネジメント株式会社 | Work suitability judgment system |
| JP7102685B2 (en) * | 2017-04-26 | 2022-07-20 | 富士通株式会社 | Waveform estimation device, waveform estimation method and waveform estimation program |
-
1995
- 1995-02-20 JP JP07031208A patent/JP3127760B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11006873B2 (en) | 2017-02-22 | 2021-05-18 | Jins Holdings Inc. | Calculating a score of a degree of arousal of a user |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08225028A (en) | 1996-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3127760B2 (en) | Driver arousal level detection device | |
| Bergasa et al. | Real-time system for monitoring driver vigilance | |
| CN107427233B (en) | Pulse wave detection device and pulse wave detection program | |
| CN107427242B (en) | Pulse wave detection device and pulse wave detection program | |
| Amodio et al. | Automatic detection of driver impairment based on pupillary light reflex | |
| JP3293308B2 (en) | Person state detection device | |
| Sigari et al. | A driver face monitoring system for fatigue and distraction detection | |
| US8400313B2 (en) | Vehicle driver sleep state classification generating device based on Hidden Markov Model, sleep state classification device and warning device | |
| JP4882766B2 (en) | Awakening level calculation device | |
| JP4677963B2 (en) | Dozing detection device, dozing detection method | |
| JP5177011B2 (en) | Eye opening degree identification device | |
| Ghosh et al. | Real time eye detection and tracking method for driver assistance system | |
| Liu et al. | Driver fatigue detection through pupil detection and yawing analysis | |
| JP2007229218A (en) | Apparatus, system, and method for vigilance estimation | |
| CN111163687B (en) | Pulse wave detection device, vehicle device, and storage medium | |
| JP3116638B2 (en) | Awake state detection device | |
| FR2784887A1 (en) | System for detecting drowsiness in the driver of a motor vehicle, uses a charged couple device, CCD, camera to monitor the movement of the eyelids | |
| Khan et al. | Efficient Car Alarming System for Fatigue Detectionduring Driving | |
| Bergasa et al. | Visual monitoring of driver inattention | |
| Salzillo et al. | Evaluation of driver drowsiness based on real-time face analysis | |
| RU2413632C2 (en) | Method to prevent driver falling asleep | |
| JP2021037216A (en) | Eye closing determination device | |
| Bergasa et al. | Real-time system for monitoring driver vigilance | |
| Sharma et al. | Development of a drowsiness warning system based on the fuzzy logic | |
| CN109620221B (en) | Fatigue reminding method and device based on intelligent glasses, intelligent glasses and medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |