JP2015226696A - Drowsiness detection method and drowsiness detector - Google Patents
Drowsiness detection method and drowsiness detector Download PDFInfo
- Publication number
- JP2015226696A JP2015226696A JP2014114093A JP2014114093A JP2015226696A JP 2015226696 A JP2015226696 A JP 2015226696A JP 2014114093 A JP2014114093 A JP 2014114093A JP 2014114093 A JP2014114093 A JP 2014114093A JP 2015226696 A JP2015226696 A JP 2015226696A
- Authority
- JP
- Japan
- Prior art keywords
- data
- drowsiness
- hrv
- driver
- rri
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
Description
本発明は、車両の運転者の眠気を検出するための眠気検出方法及び眠気検出装置に関するものである。 The present invention relates to a drowsiness detection method and a drowsiness detection device for detecting drowsiness of a driver of a vehicle.
居眠り運転の経験がある運転者は、運転免許証保有者の約３割にも達すると言われており、近時において、安全性の観点から居眠り運転防止技術は社会的にも最も重要な課題の一つであると認識されている。そのため、運転者の眠気検出をリアルタイムに行い、眠気を検出した際に警告を行うことで居眠り運転を防止する技術が開発されており、例えば運転席に取り付けた静脈センサ或いは圧力センサ等を用いて運転中の眠気検出を行う技術や、眠気の予兆とされる前庭動眼反射の劣化を画像処理等で検知することにより眠気を検出する運転中の技術等が提案されている。 It is said that about 30% of drivers who have a nap driving experience will reach about 30% of the driver's license holders, and in recent times, a nap driving prevention technology is the most important issue for society from the viewpoint of safety. It is recognized as one of these. Therefore, technology has been developed to detect sleepiness of the driver in real time and to prevent drowsy driving by warning when sleepiness is detected. For example, using a vein sensor or pressure sensor attached to the driver's seat Techniques for detecting drowsiness during driving, techniques for detecting drowsiness by detecting deterioration of the vestibulo-oculomotor reflex, which is a sign of drowsiness, have been proposed.
しかし、静脈センサ或いは圧力センサ等を用いる技術においては、運転者の姿勢によって計測が中断されてしまう等の不具合や導入コストが嵩んでしまうという問題があった。また、前庭動眼反射の劣化を画像処理等で検知する技術においては、夜間等の検出が困難であるという問題がある。このような不具合を解消すべく、例えば特許文献１等により、心電図における隣接するＲ波の間隔であるＲＲ間隔（ＲＲＩ）を計測し、その計測されたＲＲＩに基づいて眠気の発生を検出して警告を発する技術が提案されている。 However, the technique using a vein sensor, a pressure sensor, or the like has a problem that the measurement is interrupted depending on the posture of the driver and the introduction cost increases. In addition, the technique for detecting the deterioration of the vestibulo-oculomotor reflection by image processing or the like has a problem that it is difficult to detect at night or the like. In order to solve such a problem, for example, according to Patent Document 1, an RR interval (RRI) that is an interval between adjacent R waves in an electrocardiogram is measured, and the occurrence of sleepiness is detected based on the measured RRI. Techniques for issuing warnings have been proposed.
上記従来の眠気検出方法においては、ＲＲＩを計測するためのデバイスが安価となり且つ小型化されていることから、導入コストが嵩んでしまうのを抑制しつつ車両に対して容易に実装可能とされるとともに、眠気を検出するためのリアルタイム性が高いという技術的優位性を有しているものの、その検出精度については未だ十分でないという問題があった。 In the above conventional drowsiness detection method, since the device for measuring RRI is inexpensive and downsized, it can be easily mounted on a vehicle while suppressing the increase in introduction cost. At the same time, although it has a technical advantage of high real-time property for detecting sleepiness, there is a problem that its detection accuracy is not yet sufficient.
本発明は、このような事情に鑑みてなされたもので、居眠り検出のリアルタイム性が高く車両に対して容易に実装可能とされるとともに、より高精度に運転者の居眠りを検出することができる眠気検出方法及び眠気検出装置を提供することにある。 The present invention has been made in view of such circumstances, and has high real-time detection of dozing, and can be easily mounted on a vehicle, and can detect a driver's dozing with higher accuracy. To provide a drowsiness detection method and a drowsiness detection device.
請求項１記載の発明は、車両の運転者の眠気を検出するための眠気検出方法において、運転者の覚醒時の心電図波形における隣接するＲ波の間隔であるＲＲＩデータを取得し、その取得されたＲＲＩデータに基づいて心拍変動を解析するＨＲＶ解析のためのデータセットを構築した後、それぞれのデータセットでＨＲＶ指標を求めて覚醒時ＨＲＶ指標データを求め、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築することを特徴とする。 The invention according to claim 1 is a sleepiness detection method for detecting drowsiness of a driver of a vehicle, wherein RRI data that is an interval between adjacent R waves in an electrocardiogram waveform when the driver is awake is acquired and acquired. After constructing a data set for HRV analysis for analyzing heart rate variability based on the RRI data, HRV index is obtained from each data set to obtain wake-up HRV index data, and standardized wake-up HRV index data is obtained. Based on this, a sleepiness detection model for each driver is constructed using multivariate statistical process management (MSPC).
請求項２記載の発明は、請求項１記載の眠気検出方法において、前記覚醒時ＨＲＶ指標データの平均と分散を求めて覚醒時ＨＲＶ指標データを標準化することを特徴とする。 According to a second aspect of the present invention, in the sleepiness detection method according to the first aspect, the average and variance of the wakefulness HRV index data are obtained to standardize the wakefulness HRV index data.
請求項３記載の発明は、請求項１又は請求項２記載の眠気検出方法において、車両走行時の運転者のＲＲＩデータを測定し、その取得されたＲＲＩデータに基づいてＨＲＶ解析のためのデータセットを構築した後、そのデータセットでＨＲＶ指標を求めてＨＲＶ指標ベクトルとし、標準化したＨＲＶ指標ベクトルと予め構築された運転者毎の前記眠気検出モデルとに基づいて眠気を検出することを特徴とする。 The invention according to claim 3 is the drowsiness detection method according to claim 1 or 2, wherein the RRI data of the driver when the vehicle is running is measured, and data for HRV analysis is based on the acquired RRI data. After the set is constructed, an HRV index is obtained from the data set to obtain an HRV index vector, and drowsiness is detected based on the standardized HRV index vector and the previously constructed sleepiness detection model for each driver, To do.
請求項４記載の発明は、車両の運転者の眠気を検出するための眠気検出装置において、運転者の覚醒時の心電図波形における隣接するＲ波の間隔であるＲＲＩデータを取得し、その取得されたＲＲＩデータに基づいて心拍変動を解析するＨＲＶ解析のためのデータセットを構築した後、それぞれのデータセットでＨＲＶ指標を求めて覚醒時ＨＲＶ指標データを求め、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築することを特徴とする。 According to a fourth aspect of the present invention, in the drowsiness detection device for detecting drowsiness of a driver of a vehicle, RRI data that is an interval between adjacent R waves in an electrocardiogram waveform when the driver is awake is acquired and acquired. After constructing a data set for HRV analysis for analyzing heart rate variability based on the RRI data, HRV index is obtained from each data set to obtain wake-up HRV index data, and standardized wake-up HRV index data is obtained. Based on this, a sleepiness detection model for each driver is constructed using multivariate statistical process management (MSPC).
請求項５記載の発明は、請求項４記載の眠気検出装置において、前記覚醒時ＨＲＶ指標データの平均と分散を求めて覚醒時ＨＲＶ指標データを標準化することを特徴とする。 According to a fifth aspect of the present invention, in the drowsiness detection device according to the fourth aspect, the average and variance of the wakefulness HRV index data are obtained to standardize the wakefulness HRV index data.
請求項６記載の発明は、請求項４又は請求項５記載の眠気検出装置において、車両走行時の運転者のＲＲＩデータを測定し、その取得されたＲＲＩデータに基づいてＨＲＶ解析のためのデータセットを構築した後、そのデータセットでＨＲＶ指標を求めてＨＲＶ指標ベクトルとし、標準化したＨＲＶ指標ベクトルと予め構築された運転者毎の前記眠気検出モデルとに基づいて眠気を検出することを特徴とする。 The invention according to claim 6 is the drowsiness detection device according to claim 4 or 5, wherein the RRI data of the driver when the vehicle is running is measured, and data for HRV analysis is based on the acquired RRI data. After the set is constructed, an HRV index is obtained from the data set to obtain an HRV index vector, and drowsiness is detected based on the standardized HRV index vector and the previously constructed sleepiness detection model for each driver, To do.
本発明によれば、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築するので、居眠り検出のリアルタイム性が高く車両に対して容易に実装可能とされるとともに、より高精度に運転者の居眠りを検出することができる。 According to the present invention, since a sleepiness detection model for each driver is constructed using multivariate statistical process management (MSPC) based on the standardized wake-up HRV index data, the real-time property of dozing detection is high in the vehicle. On the other hand, the driver can be easily mounted, and the driver's drowsiness can be detected with higher accuracy.
特に、車両走行時において、運転者のＲＲＩデータから求められる標準化したＨＲＶ指標ベクトルと予め構築された運転者毎の眠気検出モデルとに基づいて眠気を検出するので、より一層の高精度化及びリアルタイム性の向上を図ることができる。 In particular, when the vehicle is running, sleepiness is detected based on a standardized HRV index vector obtained from the RRI data of the driver and a sleepiness detection model for each driver that is built in advance. It is possible to improve the performance.
以下、本発明の実施形態について図面を参照しながら具体的に説明する。
本実施形態に係る眠気検出方法及び眠気検出装置は、車両の運転者の眠気を検出するためのもので、眠気検出モデルを構築し、その予め構築された眠気検出モデルと標準化したＨＲＶ指標ベクトルとに基づいて眠気を検出するよう構成されている。具体的には、本実施形態に係る眠気モデルの構築方法として、運転者の覚醒時の心電図波形における隣接するＲ波の間隔であるＲＲＩデータを取得し、その取得されたＲＲＩデータに基づいて（例えば、移動窓を用いて）心拍変動を解析するＨＲＶ解析のためのデータセットを構築した後、それぞれのデータセットでＨＲＶ指標を求めて覚醒時ＨＲＶ指標データを求め、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築するよう構成されている。特に、本実施形態に係る標準化された覚醒時ＨＲＶは、例えば移動窓を用いて求められた醒時ＨＲＶ指標データの平均と分散を求めて覚醒時ＨＲＶ指標データを標準化して得られたものとされている。
Hereinafter, embodiments of the present invention will be specifically described with reference to the drawings.
The drowsiness detection method and the drowsiness detection apparatus according to the present embodiment are for detecting the drowsiness of the driver of the vehicle, construct a drowsiness detection model, the pre-built drowsiness detection model, and the standardized HRV index vector, Is configured to detect sleepiness based on Specifically, as a method for constructing a drowsiness model according to the present embodiment, RRI data that is an interval between adjacent R waves in an electrocardiogram waveform when the driver is awake is acquired, and based on the acquired RRI data ( For example, after constructing a data set for HRV analysis for analyzing heart rate variability (using a moving window), an HRV index is obtained from each data set to obtain wake-up HRV index data, and a standardized wake-up HRV index is obtained. It is configured to build a sleepiness detection model for each driver using multivariate statistical process management (MSPC) based on the data. In particular, the standardized wakefulness HRV according to the present embodiment is obtained by standardizing the wakefulness HRV index data, for example, by obtaining the average and variance of the wakefulness HRV index data obtained using the moving window. Has been.
一方、本実施形態に係る車両走行時における眠気検出方法及び眠気検出装置は、両走行時の運転者のＲＲＩデータを測定し、その取得されたＲＲＩデータに基づいて（例えば、移動窓を用いて）ＨＲＶ解析のためのデータセットを構築した後、そのデータセットでＨＲＶ指標を求めてＨＲＶ指標ベクトルとし、標準化したＨＲＶ指標ベクトルと予め構築された運転者毎の眠気検出モデルとに基づいて眠気を検出するよう構成されている。 On the other hand, the drowsiness detection method and the drowsiness detection device according to the present embodiment measure the driver's RRI data during both runs, and based on the acquired RRI data (for example, using a moving window). ) After constructing a data set for HRV analysis, an HRV index is obtained from the data set to obtain an HRV index vector, and sleepiness is determined based on the standardized HRV index vector and a pre-built sleepiness detection model for each driver. Configured to detect.
心拍変動（heart rate variability;ＨＲＶ）は、ＲＲＩの変動であり、従来より、自律神経活動と関係があるためＨＲＶ解析は循環器系疾患の診察やストレスの推定等に用いられてきている。なお、一般的に、ＨＲＶ指標として時間領域指標と周波数領域指標とに大別される。典型的な心電図（electrocardiogram;ＥＣＧ）波形を図１（ａ）に示す。心電図波形は、いくつかのピークから構成されているが、もっとも高いピークをＲ波と呼び、隣接するＲ波の間隔（ｍｓ）をＲＲ間隔（RR interval;ＲＲＩ）という。 Heart rate variability (HRV) is a variation in RRI and has been conventionally used for diagnosis of cardiovascular diseases, stress estimation, and the like because it is related to autonomic nerve activity. In general, the HRV index is roughly classified into a time domain index and a frequency domain index. A typical electrocardiogram (ECG) waveform is shown in FIG. An electrocardiogram waveform is composed of several peaks. The highest peak is called an R wave, and the interval (ms) between adjacent R waves is called an RR interval (RR interval).
健常者から取得したＲＲＩデータを図１（ｂ）に示す。ＲＲＩデータは等間隔に取得されていないため、そのまま解析することは困難である。そこで、スプラインなどを用いてＲＲＩデータを補間することにより等間隔（例えば１ｓ間隔）でデータをリサンプリングすると、図１（ｃ）の如き結果となる。以下に医学的なガイドライン等で提案されているＨＲＶ指標の一部について説明する。 The RRI data acquired from a healthy person is shown in FIG. Since RRI data is not acquired at regular intervals, it is difficult to analyze it as it is. Therefore, when data is resampled at equal intervals (for example, 1 s interval) by interpolating RRI data using a spline or the like, a result as shown in FIG. 1C is obtained. The following describes some of the HRV indicators proposed in medical guidelines.
時間領域指標は、サンプリングされたＲＲＩデータより計算にて求めることができ、以下の定義とされている。「mean of RRI」は、ＲＲＩの平均値、「ＳＤＮＮ」は、ＲＲＩの標準偏差（ＲＲＩがどれだけ変動しているかを示す指標となり、ＲＲＩの変動が大きいと値は大きくなる）、「Total Power RRI」は、全周波数帯のパワースペクトル（ＲＲＩの分散に等しいため、ＲＲＩの分散を計算することで算出することができる）、「ＲＭＳＳＤ」は、ｎ番目のＲＲＩとｎ＋１番目のＲＲＩの差の２乗の平均値の平方根（５分計測における指標の一つとして推奨されており、ＲＲＩの変動が大きいと値は大きくなる）、「ＮＮ５０」は、ｎ番目とｎ＋１番目のＲＲＩの差が５０（ｍｓ）を超えた数（通常のＲＲＩの変動は５０（ｍｓ）以下であり、激しい変動の指標となる）、「ｐＮＮ５０」は、ＮＮ５０の値を全Ｒ波の数で割って割合としたもの（大きな変動が起こる割合を把握できる）、「ＨＲＶ index」は、ＲＲＩの合計数をＲＲＩのヒストグラムの最大値で割った値（ヒストグラムのビンの長さに依存する）を示すものである。 The time domain index can be obtained by calculation from sampled RRI data and is defined as follows. “Mean of RRI” is the average value of RRI, “SDNN” is the standard deviation of RRI (an index indicating how much the RRI has changed, and the value increases when the RRI changes greatly), “Total Power “RRI” is the power spectrum of the entire frequency band (because it is equal to the RRI variance, so it can be calculated by calculating the RRI variance). “RMSSD” is the difference between the nth RRI and the (n + 1) th RRI. The square root of the mean value of the squares (recommended as one of the indicators in the 5-minute measurement, the value increases when the fluctuation of RRI is large), and “NN50” has a difference between the nth and n + 1th RRI of 50 Number exceeding (ms) (normal RRI fluctuation is 50 (ms) or less, which is an indicator of severe fluctuation), “pNN50” is the ratio of NN50 divided by the total number of R waves Things (large fluctuations The proportion that occurs can be grasped), "HRV index" indicates the maximum value divided by the value of the histogram of RRI the total number of RRI (depending on the length of the histogram bins).
周波数領域指標は、リサンプリングされたＲＲＩデータのパワースペクトル密度（powerspectrum density;ＰＳＤ）より求めることができる。ここで、ＲＲＩデータのＰＳＤの計算には、Fourier変換又は自己回帰（autto regression;ＡＲ）モデルを用いることができる。以下に、周波数領域指標に関する定義を示す。
「Power of LF」は、ＬＦ帯（０．０４Ｈｚ〜０．１５Ｈｚ）のパワースペクトル（ＬＦは主に交感神経系の活動の指標とされる）、「power of HF」は、ＨＦ帯（０．１５Ｈｚ〜０．４Ｈｚ）のパワースペクトル（ＨＦは主に副交感神経系の活動の指標とされる）、「ＬＦ／ＨＦ」は、ＬＦをＨＦで割った値であり交感神経系と副交感神経系の活動状況の比を示すものである。
The frequency domain index can be obtained from the power spectrum density (PSD) of the resampled RRI data. Here, a Fourier transform or an autoregressive (AR) model can be used for the PSD calculation of the RRI data. Below, the definition about a frequency domain parameter | index is shown.
“Power of LF” is the power spectrum of the LF band (0.04 Hz to 0.15 Hz) (LF is mainly used as an index of sympathetic nervous system activity), and “power of HF” is the HF band (0. 15 Hz to 0.4 Hz) power spectrum (HF is mainly used as an index of parasympathetic nervous system activity), “LF / HF” is a value obtained by dividing LF by HF, and is a value of sympathetic nervous system and parasympathetic nervous system. It shows the ratio of activity status.
このうち、「ＬＦ／ＨＦ」について、交感神経優位では、ＬＦが現れてＨＦは減少するのに対し、副交感神経優位では、ＬＦとＨＦのどちらも現れるので、交感神経優位で値が大きくなり、副交感神経優位で値が小さくなる。このため、「ＬＦ／ＨＦ」は、ストレス指標とも呼ばれるものである。なお、図１（ｃ）のＲＲＩデータのＰＳＤとＬＦ／ＨＦを同図（ｄ）に示す。 Of these, for LF / HF, sympathetic dominant causes LF to appear and HF decreases, whereas parasympathetic dominant gives both LF and HF. The value decreases with parasympathetic nerve predominance. For this reason, “LF / HF” is also called a stress index. Note that PSD and LF / HF of the RRI data in FIG. 1C are shown in FIG.
次に、本実施形態に係る眠気検出方法について、図５のフローチャートに基づいて説明する。
先ず、ＲＲＩデータＩデータを１拍分受け付け（Ｓ１）、外れ値補正部にて外れ値補正（Ｓ２）を行った後、その補正済みＲＲＩデータをバッファに送信し、特徴抽出部による特徴抽出（Ｓ４）、識別部による眠気の検出（Ｓ５）を順次行い、眠気があるか否かの判定（Ｓ６）を行う。Ｓ６にて眠気があると判定されると、眠気（眠気の警告）アラームを発生（Ｓ７）させて運転者に注意喚起をさせる。また、覚醒時のデータ収集時においては、特徴抽出部による特徴抽出（Ｓ４）の後、得られたデータをバッファにて保持させ（Ｓ８）、眠気検出モデル構築部にて眠気検出モデルを構築（Ｓ９）している。
Next, the drowsiness detection method according to this embodiment will be described based on the flowchart of FIG.
First, RRI data I data is received for one beat (S1), and after the outlier correction (S2) is performed by the outlier correction unit, the corrected RRI data is transmitted to the buffer, and feature extraction by the feature extraction unit ( S4), detection of drowsiness by the identification unit (S5) is sequentially performed, and it is determined whether there is drowsiness (S6). If it is determined in S6 that there is drowsiness, a drowsiness (drowsiness warning) alarm is generated (S7) to alert the driver. At the time of data collection at awakening, after the feature extraction by the feature extraction unit (S4), the obtained data is held in the buffer (S8), and the sleepiness detection model construction unit constructs the sleepiness detection model ( S9).
外れ値補正部（Ｓ２）は、体動などによってＲ波計測デバイスにてＲ波が正しく検出されず、ＲＲＩが外れ値となった場合に、その外れ値を補正するためのプロセスである。具体的には、取得したＲＲＩデータの外れ値検出において、通常の３σ法を参考として平均値の代わりに中央値を、標準偏差の代わりに中央絶対偏差を用いるものとされている。中央絶対偏差（mad_std）は、サンプルデータを列ベクトルｘ、中央値をmedian(x)とすると、以下の式で定義される。 The outlier correction unit (S2) is a process for correcting the outlier when the R wave is not correctly detected by the R wave measuring device due to body movement or the like and the RRI becomes an outlier. Specifically, in the detection of outliers in the acquired RRI data, the median value is used instead of the average value and the median absolute deviation is used instead of the standard deviation with reference to the normal 3σ method. The median absolute deviation (mad_std) is defined by the following equation where the sample data is a column vector x and the median is median (x).
また、サンプルデータが正規分布に従うときの標準偏差推定値madは、次式で計算される。 In addition, the standard deviation estimated value mad when the sample data follows a normal distribution is calculated by the following equation.
この中央値と中央絶対偏差を用いた外れ値検出法により、正常値と見なされるＲＲＩデータの下限値及び上限値は、以下のように定義される。 By the outlier detection method using the median and the median absolute deviation, the lower limit value and the upper limit value of RRI data regarded as normal values are defined as follows.
そして、下限値を下回った場合は、中央値で置き換えを行う。ＲＲＩデータが下限値を下回るのは、心拍測定デバイスに筋電などのアーチファクトが混入して誤ってＲ波と見なされ、不正確なＲ波のタイミングがデバイスから送信されている場合である。プログラムは、デバイスからの不正確なＲ波のタイミングのみを受信するため、実際のＲＲＩを求めるのが困難であるので、本実施形態のように、下限値を下回ったＲＲＩを中央値で置き換えることにより、外れ値の影響を小さくすることができる。 If the value falls below the lower limit, the median is replaced. The RRI data falls below the lower limit value when an artifact such as myoelectricity is mixed in the heart rate measurement device and is erroneously regarded as an R wave, and an incorrect R wave timing is transmitted from the device. Since the program receives only inaccurate R-wave timing from the device, it is difficult to obtain the actual RRI, so that the RRI that is below the lower limit is replaced with the median as in this embodiment. Thus, the influence of outliers can be reduced.
一方、ＲＲＩデータが上限値を上回った場合は、数拍分のＲＲＩの合計をＲＲＩデータとして誤ってカウントしていると考えられる。そこで、本実施形態においては、上限値を上回ったＲＲＩデータをサンプルの中央値で除して最も近い整数へ丸め、外れ値が何拍分に相当するのかを計算した後、外れ値をその拍数で除した値で外れ値を置き換えるものとされている。 On the other hand, when the RRI data exceeds the upper limit value, it is considered that the total of RRI for several beats is erroneously counted as RRI data. Therefore, in the present embodiment, RRI data that exceeds the upper limit value is divided by the median value of the sample and rounded to the nearest integer, and after calculating how many beats the outlier corresponds to, the outlier is converted to that beat. It is assumed that the outlier is replaced by the value divided by the number.
特徴抽出部（Ｓ４）は、取得されたＲＲＩデータを解析することが容易なデータ形式（即ち、特徴量）に変換するためのプロセスである。本プロセスで用いられる特徴量は、上記した医学的なガイドライン等で提案されている解析法を参考にして、１０種類を用いている。すなわち、mean of RRI、ＳＤＮＮ、ＲＭＳＳＤ、Total power、ＮＮ５０、ｐＮＮ５０、ＨＲＶ index、ＬＦ、ＨＦ、ＬＦ／ＨＦの１０種類（各詳細な説明は上記参照）を用いて特徴量を得ているのである。なお、これらの特徴量を１回計算するには、３分程度の長さのＲＲＩデータが必要であるため、本実施形態においては、先ず２５０拍分のＲＲＩデータをバッファとして保持する必要がある。つまり、本プロセス開始後、２５０拍分のＲＲＩデータがバッファとして保持されるまで特徴量は計算されず、２５０拍目以降は、１拍毎に特徴量が計算されるのである。 The feature extraction unit (S4) is a process for converting the acquired RRI data into a data format (ie, feature amount) that can be easily analyzed. Ten types of feature quantities used in this process are used with reference to the analysis method proposed in the above-mentioned medical guidelines and the like. That is, the feature quantity is obtained using 10 types of mean of RRI, SDNN, RMSSD, Total power, NN50, pNN50, HRV index, LF, HF, and LF / HF (see above for detailed descriptions). . In order to calculate these feature values once, RRI data having a length of about 3 minutes is required. Therefore, in this embodiment, it is necessary to first hold RRI data for 250 beats as a buffer. . That is, after the start of this process, the feature amount is not calculated until RRI data for 250 beats is held as a buffer, and the feature amount is calculated for each beat after the 250th beat.
眠気検出モデル構築部（Ｓ９）は、プログラム実行直後にＲＲＩデータにより個人適合する（運転者毎の）眠気検出モデルを構築するプロセスである。ＲＲＩデータは、個人差が大きいため、単一の眠気検出モデルでは、多様なユーザに適合させるのが困難である。そこで、個人に適合した運転者毎のプロセスとするため、２５０拍分の特徴量データより、そのユーザに特化した眠気検出モデルを構築しているのである。 The drowsiness detection model construction unit (S9) is a process of constructing a drowsiness detection model (for each driver) that is personally compatible with RRI data immediately after the program is executed. Since RRI data has large individual differences, it is difficult to adapt to various users with a single drowsiness detection model. Therefore, in order to make the process suitable for each driver, a sleepiness detection model specialized for the user is constructed from the feature value data for 250 beats.
したがって、本実施形態に係る眠気検出モデル構築部においては、特徴量計算のための２５０拍分のＲＲＩデータのバッファと、特徴量計算開始後２５０拍分の特徴量データ取得のため、合計５００拍分のデータが必要とされる。５００拍とは、約６分程度のデータ量に相当するが、本実施形態においては、構築した眠気検出モデルをストレージに記憶させて保持しておき、それを本プログラムの起動時にロードするよう構成しているので、一度眠気検出モデルを構築すれば、ＨＲＶ指標計算のための２５０拍のＲＲＩデータを取得すればよく、ＲＲＩデータ取得開始約３分後に眠気検出を開始させることができる。 Therefore, in the drowsiness detection model construction unit according to the present embodiment, the RRI data buffer for 250 beats for the feature amount calculation, and the feature amount data for 250 beats after the feature amount calculation is started, a total of 500 beats are obtained. Minutes of data is needed. 500 beats corresponds to a data amount of about 6 minutes, but in the present embodiment, the constructed sleepiness detection model is stored and held in the storage, and is loaded when the program is started. Therefore, once the drowsiness detection model is constructed, 250 beats of RRI data for HRV index calculation may be acquired, and drowsiness detection can be started approximately 3 minutes after the start of RRI data acquisition.
識別部（Ｓ５）は、眠気検出モデル構築部（Ｓ９）にて構築された眠気検出モデルと、特徴抽出部（Ｓ４）にて求められた特徴量とに基づいて、運転者の眠気を判定するためのプロセスである。そして、Ｓ６にて眠気があるか否か判断され、眠気があると判断されると、Ｓ７にて眠気アラーム（警報）を発生させるとともに、眠気がないと判断されると、Ｓ１に戻って一連のプロセスが繰り返される。なお、図５中の点線は、眠気検出モデルの構築時のみ行われるプロセスを示している。 The identification unit (S5) determines the sleepiness of the driver based on the sleepiness detection model constructed by the sleepiness detection model construction unit (S9) and the feature amount obtained by the feature extraction unit (S4). Process. In S6, it is determined whether or not there is drowsiness. If it is determined that there is drowsiness, a sleepiness alarm (alarm) is generated in S7. If it is determined that there is no drowsiness, the process returns to S1 and continues. The process is repeated. In addition, the dotted line in FIG. 5 has shown the process performed only at the time of construction of a drowsiness detection model.
ここで、本実施形態に係る眠気検出モデル構築において、主成分分析に基づいた異常検出方法である多変量統計的プロセス管理（Multivariate Statistical Process Control;ＭＳＰＣ）を用いている。主成分分析は、データの特徴抽出及び次元圧縮を目的とする多変量解析であり、変数間の相関関係を捉えるために、変数の線形結合によって、主成分と呼ばれる新たな合成変数を作り出すものである。 Here, in the construction of the sleepiness detection model according to the present embodiment, multivariate statistical process control (MSPC), which is an abnormality detection method based on principal component analysis, is used. Principal component analysis is a multivariate analysis aimed at extracting data features and compressing dimensions, and creates a new synthetic variable called the principal component by linear combination of variables in order to capture correlations between variables. is there.
すなわち、図２で示すように、データを最もよく表現でできる方向に第１主成分（the 1st main component）を設定し、その第１主成分と直交する空間の中で、第１主成分では表現できないデータの変動を最もよく表現できる方向に第２主成分（the 2nd main component）を設定するという手順で、主成分を次々と設定する。ここで、データを最もよく表現する方向とは、主成分得点の分散が最大となる方向という意味であり、主成分得点とは、主成分軸上の座標、すなわち主成分が張る空間にデータを射影した値をいう。 That is, as shown in FIG. 2, the first principal component is set in the direction in which the data can be best expressed, and the first principal component is set in the space orthogonal to the first principal component. The principal component is set one after another by the procedure of setting the second principal component in the direction that can best represent the fluctuation of data that cannot be represented. Here, the direction that best represents the data means the direction in which the variance of the principal component score is maximized, and the principal component score is the coordinate on the principal component axis, that is, the data in the space spanned by the principal component. The projected value.
先ず、データ行列を以下のように定義する。なお、Ｐは変数の数、Ｎはサンプル数であり、各変数は標準化されているとする。 First, the data matrix is defined as follows. Note that P is the number of variables, N is the number of samples, and each variable is standardized.
また、データ行列Ｘの特異値分解を以下のように定義する。 Further, the singular value decomposition of the data matrix X is defined as follows.
ＵとＶは、直交行列であり、対角行列Ｓの対角要素には、特異値ｓｒが降順に並んでいる。採用する主成分の数をＲとすると、第ｒ主成分は負荷量行列（Loading Matrix）ＶＲの第ｒ列ｖｒで与えられ、第ｒ主成分ｔｒは、
しかるに、主成分分析を利用することによって、図２のように楕円管理限界を設定することができる。しかし、このままでは管理限界を超えたかどうかの判断を簡単に行うことができないので、以下に示す統計量「Hotelling’s T2」を用いる。
U and V are orthogonal matrices, and the singular values s r are arranged in descending order in the diagonal elements of the diagonal matrix S. When the number of employed principal component is R, the r principal component is given by the r row v r of the load matrix (Loading Matrix) V R, the first r principal component t r,
However, by using the principal component analysis, the ellipse management limit can be set as shown in FIG. However, since it is not possible to easily determine whether or not the control limit has been exceeded, the statistic “Hotelling's T 2 ” shown below is used.
ここで、σｔｒは第ｒ主成分得点ｔｒの標準偏差であり、Ｔ２統計量はマハラノビス距離に対応している。つまり、Ｔ２統計量が小さいほどサンプルはモデル構築データの平均に近いのである。このＴ２統計量を利用することによって、図３に示すように、管理限界を楕円から真円に変形することができるため、正常と異常を区別するのに適した上限値をＴ２統計量に対して設定すればよく、主成分で張られる部分空間については、Ｔ２統計量による管理が有効である。 Here, sigma tr is the standard deviation of the r component score t r, T 2 statistic corresponds to the Mahalanobis distance. In other words, the smaller the T 2 statistic, the closer the sample is to the average of the model building data. By using this T 2 statistic, as shown in FIG. 3, the control limit can be changed from an ellipse to a perfect circle, so that an upper limit value suitable for distinguishing between normal and abnormal is set as the T 2 statistic. For the subspace spanned by the main component, management by the T 2 statistic is effective.
一方、主成分分析による次元圧縮で失った情報、すなわち主成分で張られる部分空間の直交補空間における残差を監視することにより、サンプルと構築したモデルとの非類似度を求めることができる。そこで、残差から計算される以下のＱ統計量を用いる。 On the other hand, the dissimilarity between the sample and the constructed model can be obtained by monitoring the information lost in the dimension compression by the principal component analysis, that is, the residual in the orthogonal complementary space of the subspace spanned by the principal component. Therefore, the following Q statistic calculated from the residual is used.
このＱ統計量は、二乗予測誤差とも呼ばれ、データのうち、モデルによっては表現できない部分を表すものとされる。このようなＴ２統計量とＱ統計量を用いて、主成分で張られる部分空間とその直交補空間を独立に管理する方法の概念図を図４に示す。そして、Ｔ２統計量とＱ統計量とを同時に監視し、いずれか一方でも管理限界を超えた場合に異常と判定するのが、主成分分析に基づく「多変量統計的プロセス管理」なのである。 This Q statistic is also called a square prediction error, and represents a portion of the data that cannot be expressed depending on the model. FIG. 4 shows a conceptual diagram of a method for independently managing a subspace spanned by principal components and its orthogonal complement space using such T 2 statistics and Q statistics. Then, it is “multivariate statistical process management” based on principal component analysis that monitors the T 2 statistic and the Q statistic at the same time, and determines that any one of them exceeds the control limit.
上記した実施形態に係る眠気検出方法及び眠気検出装置によれば、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築するので、居眠り検出のリアルタイム性が高く車両に対して容易に実装可能とされるとともに、より高精度に運転者の居眠りを検出することができる。特に、車両走行時において、運転者のＲＲＩデータから求められる標準化したＨＲＶ指標ベクトルと予め構築された運転者毎の眠気検出モデルとに基づいて眠気を検出するので、より一層の高精度化及びリアルタイム性の向上を図ることができる。 According to the drowsiness detection method and the drowsiness detection apparatus according to the above-described embodiments, a sleepiness detection model for each driver is constructed using multivariate statistical process management (MSPC) based on the standardized wakefulness HRV index data. Therefore, the real-time property of the detection of nap is high and can be easily mounted on the vehicle, and the driver's nap can be detected with higher accuracy. In particular, when the vehicle is running, sleepiness is detected based on a standardized HRV index vector obtained from the RRI data of the driver and a sleepiness detection model for each driver that is built in advance. It is possible to improve the performance.
次に、本発明の技術的優位性を示すための実験、及び実施例について説明する。
（実験条件）
本実施例においては、眠気検出モデルの構築するためのデータを取得するため、図６に示すように、ドライビングシミュレータＤを用いた被験者実験を行い、運転時のＲＲＩデータ、顔表情データ及び運転データを取得した。被験者実験では、ドライビングシミュレータＤからデータ収集手段１に対してＨ１（ＬＡＮによる運転データの収集）、Ｈ２（無線によるＲＲＩデータの収集）及びＨ３（動画による顔表示データの収集）により種々データを収集するものとし、実験参加者（被験者）３０名分のドライビングシミュレータＤを運転した時のＲＲＩデータ、顔表情データ（動画）、運転データ（位置、速度、加速度、ハンドル角、ペダル入力など）を取得した。
Next, experiments and examples for showing the technical superiority of the present invention will be described.
(Experimental conditions)
In this embodiment, in order to acquire data for constructing a drowsiness detection model, a subject experiment using a driving simulator D is performed as shown in FIG. 6, and RRI data, facial expression data, and driving data during driving are performed. Acquired. In the subject experiment, various data are collected from the driving simulator D by the data collection means 1 by H1 (collection of driving data by LAN), H2 (collection of RRI data by radio) and H3 (collection of face display data by moving images). RRI data, facial expression data (movie), and driving data (position, speed, acceleration, steering angle, pedal input, etc.) when driving the driving simulator D for 30 test participants (subjects) did.
なお、実験においては、夜間の高速道路を模擬した周回路を最長２時間運転するものされ、単調な走行によって眠気を誘発するために、他の車両が一切出現しないシナリオとした。夜間走行を模擬した実験を行うためには、部屋を暗くする必要があり、普通のカメラでは被験者の顔表情データを種等できないことから、図７に示す如き、赤外線を照射しつつレンズ２ａ部にて被験者の表情を撮像できる赤外線カメラ２を用いるものとした。また、ドライビングシミュレータのホストＰＣでは十分な量の運転データを保存できないため、ＬＡＮ経由でデータ収集手段１にデータを送信して保存するものとした。 In the experiment, a peripheral circuit simulating a night highway was driven for a maximum of 2 hours, and the scenario was such that no other vehicles appeared in order to induce sleepiness by monotonous driving. In order to perform an experiment simulating night driving, it is necessary to darken the room, and a normal camera cannot seed the facial expression data of the subject. Therefore, as shown in FIG. The infrared camera 2 that can image the facial expression of the subject is used. Further, since a sufficient amount of operation data cannot be stored in the host PC of the driving simulator, the data is transmitted to the data collecting means 1 via the LAN and stored.
被験者のＲＲＩデータは、図８に示すようなＲＲＩを長時間遠隔計測できる心電ＲＲ間隔遠隔計測システムを用い、無線通信によりデータ収集手段１にて保存するものとした。このように、時間を同期して全ての実験データを収集できる環境を構築して実験が行われた。本実験では、実験参加者３０名における運転中のＲＲＩデータ、顔表情データ及び運転データを取得したが、ハードウェアの不調や被験者の体調不良による実験中止等により、実際に解析可能なデータが取得できた被験者は２７名となった。この被験者２７名の属性について、以下の表１に示す。 The RRI data of the subject was stored in the data collection means 1 by wireless communication using an electrocardiogram RR interval telemetry system that can remotely measure RRI for a long time as shown in FIG. In this way, the experiment was conducted by building an environment in which all the experimental data can be collected in time synchronization. In this experiment, RRI data, facial expression data, and driving data during driving were acquired by 30 experimental participants, but data that can actually be analyzed is acquired due to a malfunction of the hardware or a physical condition of the subject. There were 27 test subjects. The attributes of the 27 test subjects are shown in Table 1 below.
（顔表情判定）
眠気の度合いを客観的に評価するため、図９に示す覚醒度評価判定基準に基づき、取得した被験者の顔表情データ（動画）から顔表情判定値を求め、当該顔表情報判定値を用いてＲＲＩデータを異常サンプルと正常サンプルとに分類した。かかる覚醒度評価判定基準は、覚醒水準、覚醒努力、覚醒の回復の三つの視点から評定者による評定を行わせるものである。本実験では、被験者の正常画像を２０秒ごとのセグメントに分割して、ランダムな順序で３名の評定者に提示し、覚醒水準、覚醒努力、覚醒の回復の有無を評定させた。この覚醒度評価判定基準に基づいて被験者（被験者８）に対して顔表情判定を行った結果を図１０に示す。
(Facial expression judgment)
In order to objectively evaluate the degree of drowsiness, a facial expression determination value is obtained from the acquired facial expression data (moving image) of the subject based on the wakefulness evaluation determination criterion shown in FIG. 9, and the facial table information determination value is used. RRI data was classified into abnormal samples and normal samples. Such arousal level evaluation criteria allows the rater to perform a rating from the three viewpoints of arousal level, arousal effort, and recovery of arousal. In this experiment, a normal image of a subject was divided into 20-second segments and presented to three evaluators in a random order, and the arousal level, arousal effort, and the presence or absence of arousal recovery were assessed. FIG. 10 shows the result of facial expression determination performed on the subject (subject 8) based on this arousal level evaluation criterion.
それぞれの評定者による評定には、ばらつきが見られることから、本実験の如く３名の評定者による評定は信頼性が高いと判断できる。なお、実験データ解析には、評定者３名の２０秒ごとの覚醒水準の評定値を平均し、さらに１分毎の３つの平均値をとることとし、最終的に得た１分毎の顔表情判定値を用いることとした。 Since there are variations in the ratings by each grader, it can be judged that the ratings by three graders are highly reliable as in this experiment. For the analysis of the experimental data, the rating values of the awakening level every 20 seconds of the three raters are averaged, and three average values are taken every minute, and the face obtained every minute is finally obtained. The facial expression judgment value was used.
（眠気検出モデルの構築）
被験者実験で取得した２７名の運転時のＨＲＶ指標を用いて眠気検出モデルを構築した。この眠気検出モデルは、ＨＲＶ解析によって得られた時間領域指標７個と、周波数領域指数３個との合計１０個のＨＲＶ指標にて構築されるものとされ、ＲＲＩを受信する毎にこれらのＨＲＶ指標が計算され、眠気検出モデルに入力されて構築されるようになっている。なお、出力は、眠気ありと眠気なしの二値である。
(Building a sleepiness detection model)
A drowsiness detection model was constructed using the HRV indices during driving of 27 persons acquired in the subject experiment. This drowsiness detection model is constructed with a total of 10 HRV indexes including 7 time domain indexes obtained by HRV analysis and 3 frequency domain indexes. Each time RRI is received, these HRV indexes are constructed. An index is calculated and input to the sleepiness detection model to be constructed. The output is a binary value with and without sleepiness.
（眠気検出モデル構築用データ）
被験者実験で得られた２７名の運転時のＨＲＶ指数と顔表情判定値とから被験者毎に眠気検出モデルを構築した。図９に示す覚醒度評価判定基準に基づく顔表情判定によって覚醒水準が２．０未満と判定されたＨＲＶ指標データのうち、２５０拍（約３分）のデータを眠気検出モデル構築用の覚醒時サンプルとした。
(Data for constructing sleepiness detection model)
A drowsiness detection model was constructed for each subject from the HRV index and the facial expression determination value during driving of 27 persons obtained in the subject experiment. Of the HRV index data determined to have a wakefulness level of less than 2.0 based on the facial expression determination based on the wakefulness evaluation criteria shown in FIG. 9, 250 beats (about 3 minutes) of data is used when building a sleepiness detection model. A sample was used.
（眠気検出モデルの構築条件）
眠気検出モデルの構築には、多変量統計的プロセス管理（ＭＳＰＣ）を用い、主成分と管理限界の信頼区間は以下のように設定した。
・主成分
主成分数１を作用した。主成分数は試行錯誤で決定した。
・管理限界の信頼区間
眠気検出モデル構築用の覚醒時サンプルの８０％が正常、すなわち覚醒状態であると判定されるように管理限界を設定した。
(Construction conditions for sleepiness detection model)
Multivariate statistical process management (MSPC) was used to construct the sleepiness detection model, and the confidence intervals of the principal component and the control limit were set as follows.
・ Main component The main component number 1 was applied. The number of principal components was determined by trial and error.
-Confidence interval of control limit The control limit was set so that 80% of the samples at the time of awakening for constructing the sleepiness detection model were determined to be normal, that is, the state of awakening.
（眠気検出モデルの検証）
被験者実験で得られた２７名の運転時のＨＲＶ指標と、顔表情判定値とから被験者毎に構築した眠気検出モデルの検証を行った。この検証は、覚醒時と衝突時の識別性能評価と、覚醒時と低覚醒時の識別性能評価の２通りの方法で行った。
(Verification of sleepiness detection model)
The sleepiness detection model constructed for each subject was verified from the HRV index during driving and the facial expression determination value obtained by the subject experiment. This verification was performed by two methods, namely, discrimination performance evaluation during awakening and collision, and discrimination performance evaluation during awakening and low awakening.
（覚醒時と衝突時の識別）
図１０に示すように、評定者による眠気の評定値にはばらつきが大きく、被験者本人も強い眠気を感じた時間を示すのが困難である。そこで、じっさいに運転中に居眠りをして道路外壁と衝突したり、或いは居眠り運転による事故を起こしたケースについて、衝突前に眠気検出を行うことができたか検証した。検証サンプルを以下に示す。
・検証用覚醒時サンプル
顔表情判定によって覚醒水準２．０未満と判定されたＨＲＶ指標データであり、眠気検出モデル構築に用いていないデータのうち、２０分間のデータを検証用覚醒時サンプルとした。
・検証用衝突時サンプル
ドライビングシミュレータを運転中に居眠りをして道路外壁と衝突した時刻の周辺２０分のＨＲＶ指標データを検証用衝突時サンプルとした。なお、衝突時サンプルの選定には顔表情動画の確認を行い、居眠り以外の要因で衝突したサンプルを含まないようにした。よって、検証用衝突時サンプルには、被験者が居眠りに至るほどの強い眠気を感じており、顔表情判定値よりも客観性の高い低覚醒状態のものしか含まれていない。
(Distinction between awakening and collision)
As shown in FIG. 10, the rating value of sleepiness by the evaluator varies widely, and it is difficult to indicate the time when the subject himself felt strong sleepiness. Therefore, it was verified whether drowsiness could be detected before the collision in a case where the person actually snoozed while driving and collided with the outer wall of the road or caused an accident due to snoozing driving. The verification sample is shown below.
・ Verification awakening sample HRV index data determined by facial expression determination to be awakening level of less than 2.0, and among the data not used for constructing a drowsiness detection model, 20 minutes of data was used as a verification awakening sample .
-Sample at the time of collision for verification The HRV index data around 20 minutes around the time when the driver fell asleep while driving the driving simulator and collided with the outer wall of the road was used as the sample at the time of collision for verification. In addition, the selection of samples at the time of collision was performed by confirming the facial expression video, so that samples that collided due to factors other than falling asleep were not included. Therefore, the sample at the time of the collision for verification includes a subject who feels sleepiness strong enough to fall asleep and only has a low arousal state that is more objective than the facial expression determination value.
眠気検出モデルでは、Ｔ２統計量とＱ統計量とが管理限界内にある場合は正常（覚醒状態）と判定され、管理限界を超える場合は異常（低覚醒状態）と判定される。眠気検出装置の性能評価に用いられる指標として、感度と特異度とが挙げられる。これら感度及び特異度は、表２で示す真陽性ａ、偽陽性ｂ、偽陰性ｃ、真陰性ｄを用いて以下の式であらわされる。 The drowsiness detection model, if the T 2 statistic and Q statistic is within control limits are determined to be normal (wakefulness), if it exceeds the control limits are determined to be abnormal (low arousal state). Sensitivity and specificity are listed as indices used for performance evaluation of the drowsiness detection device. These sensitivities and specificities are expressed by the following equations using true positive a, false positive b, false negative c, and true negative d shown in Table 2.
すなわち、眠気検出モデルが異常サンプルを正しく異常と判定できた割合が感度であり、正常サンプルを正しく正常と判定できた割合が特異度である。衝突した８名の覚醒時サンプルと衝突時サンプルとによりＴ２統計量とＱ統計量との感度と特異度を計算したところ、表３のようになった。 That is, the ratio that the drowsiness detection model can correctly determine that the abnormal sample is abnormal is sensitivity, and the ratio that the normal sample can be correctly determined to be normal is specificity. The sensitivity and specificity of the T 2 statistic and Q statistic were calculated from the awakening sample and the collision sample of the 8 people who collided, and the results are shown in Table 3.
Ｑ統計量は、Ｔ２統計量より感度が高いが、特異度が極めて低く、覚醒状態を低覚醒状態と誤判定する確率が高くなっているため、感度と特異度がともに高いＴ２統計量の方が識別指数として性能が高く優れている。これは、１つの主成分が張る空間、すなわち直線上の原点からの距離を表すＴ２統計量が管理限界内にあるかどうかで、覚醒状態か低覚醒状態かを識別できていることを表す。主成分数が少ない場合は、このようにＴ２統計量での識別性能が高くなる傾向にある。Ｔ２統計量の感度が７３％であることから、Ｔ２統計量を監視した場合の誤検出は３６％と小さく抑えることができた。 Q statistic is more sensitive than T 2 statistic, specificity is very low, the probability of erroneously determining a wakefulness low arousal state is high, the sensitivity and specificity are both high T 2 statistic Is superior in performance as a discrimination index. This means that it is possible to discriminate whether the state is awake or low awake by whether the T 2 statistic representing the distance from the origin on the straight line, that is, the straight line, is within the control limits. . When the number of principal components is small, the discrimination performance with the T 2 statistic tends to be high in this way. Since the sensitivity of the T 2 statistic is 73%, the erroneous detection when the T 2 statistic is monitored can be suppressed to 36%.
また、本実験においては、被験者全員の管理限界をモデル構築用の覚醒時サンプルの８０％が正常であると判定されるように設定したが、被験者個人に合わせて調整することによって、さらに感度及び特異度を大きくすることができると考えられるとともに、眠気検出技術の使用用途に合わせて管理限界を調整することで、感度と特異度とのバランスを決定することも考えられる。例えば、乗客の人命を預かるバスやタクシー等の運転者に対しては、多少誤検出があっても感度の高い眠気検出装置が必要であり、少しでも低覚醒状態に近いときは警告を発するように管理限界を下げることができる。 In this experiment, the control limits of all subjects were set so that 80% of the awake samples for model construction were determined to be normal. However, by adjusting to the individual subjects, sensitivity and It is considered that the specificity can be increased, and it is also possible to determine the balance between sensitivity and specificity by adjusting the control limit according to the intended use of the sleepiness detection technology. For example, for drivers such as buses and taxis who take the lives of passengers, a highly sensitive drowsiness detection device is necessary even if there are some false detections, and a warning is issued if even a little awakened The management limit can be lowered.
次に、Ｔ２統計量及びＱ統計量に対して最適な管理限界の設定を行った場合に、覚醒時と衝突時とが適切に識別できるかを検証した。つまり、Ｔ２統計量及びＱ統計量が覚醒時と衝突時とで明らかに異なっているかを評価したのである。はじめに、ＨＲＶ指標のみで覚醒時と衝突時とを識別可能かを評価した後、Ｔ２統計量及びＱ統計量を用いた眠気検出装置の性能評価を行った。しかるに、衝突した８名の被験者のうち、４名の覚醒状態１２００（ｓ）と、居眠り運転による衝突を含む１２００（ｓ）における１０種類のＨＲＶ指標、Ｔ２統計量、Ｑ統計量を図１１〜２６に示す。なお、衝突時の図においては、９００（ｓ）が衝突タイミングを示している。 Next, when optimal control limits were set for the T 2 statistic and the Q statistic, it was verified whether the awakening time and the collision time could be properly identified. That is, it was evaluated whether the T 2 statistic and the Q statistic are clearly different between awakening and a collision. First, after evaluating whether identifiable and collision with awakening only HRV index, evaluated the performance of the drowsiness detection device using a T 2 statistic and Q statistic. However, 10 types of HRV index, T 2 statistic, and Q statistic in the awake state 1200 (s) among the 8 subjects who collided and 1200 (s) including the collision caused by doze driving are shown in FIG. -26. In the figure at the time of collision, 900 (s) indicates the collision timing.
まず、それぞれの被験者の１０種類のＨＲＶ指標を覚醒時と衝突周辺時とで比較する。８名全ての被験者において、Total power、ＮＮ５０、ｐＮＮ５０、ＨＲＶ index、ＬＦ、ＬＦ／ＨＦの平均値について、衝突周辺時の方が覚醒時よりも大きくなるという傾向が見られた。また、ＳＤＮＮ、ＲＭＳＳＤ、ＨＦの平均値は、覚醒時と比べて衝突周辺時の方が大きくなる若しくは変化なしという傾向が見られたが、小さくなる傾向は見られなかった。 First, 10 types of HRV indexes of each subject are compared between when awakened and when around a collision. In all eight subjects, the average values of Total power, NN50, pNN50, HRV index, LF, and LF / HF tended to be larger in the vicinity of the collision than in the awakening. In addition, the average values of SDNN, RMSSD, and HF tended to be larger or unchanged in the vicinity of the collision than at awakening, but there was no tendency to decrease.
以上により、覚醒時と低覚醒時とで異なる心拍パターンを示すことが分かった。Total power、ＮＮ５０、ｐＮＮ５０、ＨＲＶ index、ＬＦ、ＬＦ／ＨＦの平均値について、衝突周辺時の方が覚醒時よりも大きくなる傾向が見られたので、試しに、ＬＦに管理限界を設定することにより識別性能の検証についても行った。被験者２、被験者７のＬＦに対して誤検出率が０％となるように管理限界を設定したものについて、図１１、１２、及び図１９、２０にそれぞれ示す。被験者２のデータは、衝突１００（ｓ）前から継続して管理限界を上回っており、眠気を検出できている一方、被験者７のデータは、衝突前に管理限界を上回っている時間帯も存在するが、衝突４０（ｓ）前には一度管理限界を下回っており、正確に眠気を検出できていない。 From the above, it was found that different heartbeat patterns were exhibited during arousal and low arousal. Regarding the average values of Total power, NN50, pNN50, HRV index, LF, and LF / HF, there was a tendency for the vicinity of the collision to be larger than when awakened. The verification performance of the identification was also performed. FIG. 11 and FIG. 12 and FIG. 19 and FIG. 20 show the control limits set so that the false detection rate is 0% with respect to the LFs of subjects 2 and 7. The data of subject 2 continues to exceed the control limit from 100 (s) before the collision, and drowsiness can be detected. On the other hand, the data of subject 7 also has a time zone that exceeds the control limit before the collision. However, before the collision 40 (s), the control limit is once exceeded, and drowsiness cannot be accurately detected.
このように、被験者によっては、それぞれのＨＲＶ指標毎に管理限界を設定する手法では眠気を検出するのが困難であるので、より正確に眠気を検出するには、本実施形態の如く運転者毎の眠気検出モデルを用いる必要がある。眠気検出モデルを用いて、被験者２に対して、眠気検出を行った結果を図１３、１４に示す。Ｔ２の統計量は、覚醒時よりも衝突周辺時の方が有意に大きくなっていることが分かる。 Thus, depending on the subject, it is difficult to detect drowsiness by the method of setting the management limit for each HRV index. Therefore, in order to detect drowsiness more accurately, for each driver as in this embodiment, It is necessary to use the sleepiness detection model. The results of sleepiness detection performed on the subject 2 using the sleepiness detection model are shown in FIGS. It can be seen that the T2 statistic is significantly larger in the vicinity of the collision than in the awakening.
これは、各ＨＲＶ指標の線形結合である第１主成分上において、衝突周辺時のＨＲＶ指標が覚醒時のＨＲＶ指標の平均値から離れていることを意味している。Ｑ統計量に関しては、Ｔ２統計量ほど顕著ではないものの衝突前に大きくなっていることが確認できる。よって、Ｔ２統計量及びＱ統計量に適切な管理限界を設けることにより、覚醒時のＨＲＶデータと衝突周辺時のＨＲＶデータとを正しく識別することができる。但し、誤検出は必ずあるため、どこに管理限界を設けるかは感度と特異度とのトレードオフで決める必要がある。 This means that on the first principal component, which is a linear combination of each HRV index, the HRV index at the time of collision is far from the average value of the HRV index at awakening. Regarding the Q statistic, although not as remarkable as the T2 statistic, it can be confirmed that it has increased before the collision. Therefore, by providing appropriate management limits for the T2 statistic and the Q statistic, it is possible to correctly identify the HRV data at the time of awakening and the HRV data at the time of collision. However, since there is always a false detection, it is necessary to decide where to set the control limit by a trade-off between sensitivity and specificity.
そこで、被験者２の場合では、点線で示したようにＴ２統計量及びＱ統計量の管理限界を決めたとすると、覚醒時データを示す図１３においては誤検出がほぼ見られないが、衝突を含むデータを示す図１４においては衝突の３０（ｓ）前には、Ｔ２統計量及びＱ統計量の両方で確実に眠気を検出できている。これらの検出時刻は、管理限界の設定によって変化するが、覚醒時と衝突時とではＴ２統計量の大きさに明確な差があることから、このケースでは容易に眠気検出ができることが分かる。 Therefore, in the case of the subject 2, if the management limits of the T2 statistic and the Q statistic are determined as shown by dotted lines, there is almost no false detection in FIG. In FIG. 14 showing the data, drowsiness can be reliably detected by both the T2 statistic and the Q statistic 30 (s) before the collision. Although these detection times vary depending on the setting of the control limit, it can be understood that drowsiness can be easily detected in this case because there is a clear difference in the magnitude of the T2 statistic between the awakening time and the collision time.
さらに、他の３名の被験者においても、図１５〜２６に示すように、被験者２と同様、覚醒時と衝突時とでＨＲＶ指標に差があること、また衝突直前にＴ２統計量及びＱ統計量が増加することが分かる。特に、被験者７については、ＬＦに対して管理限界を設定する方法では眠気検出が困難であったが、Ｔ２統計量に管理限界を設定する方法では、図２１、２２に示すように、衝突前から継続して眠気を検出できており、ＬＦを用いた眠気検出方法よりもＴ２統計量を用いた眠気検出方法の方が識別性能が高いことが分かる。なお、図示していない他の４名の被験者についても同様の傾向が見られた。すなわち、管理限界の設定によって検出時間は前後するものの、衝突３０（ｓ）前には眠気を検出できるため、居眠り運転による事故を回避できると考えられる。 Further, in the other three subjects, as shown in FIGS. 15 to 26, as in the case of subject 2, there is a difference in the HRV index between awakening and at the time of collision, and T2 statistics and Q statistics just before the collision. It can be seen that the amount increases. In particular, for subject 7, it was difficult to detect drowsiness by the method of setting the control limit for LF, but in the method of setting the control limit for the T2 statistic, as shown in FIGS. Thus, it can be seen that drowsiness can be detected continuously, and that the drowsiness detection method using the T2 statistic has higher discrimination performance than the drowsiness detection method using LF. The same tendency was observed for the other four subjects not shown. In other words, although the detection time varies depending on the setting of the control limit, drowsiness can be detected before the collision 30 (s), so that it is considered that an accident due to drowsy driving can be avoided.
（覚醒時と低覚醒時の識別）
覚醒時サンプルと低覚醒時サンプルについて、顔表情判定値に基づいて分類した。以下に検出用サンプルについて説明する。
・検証用覚醒時サンプル
顔表情判定によって覚醒水準２．９未満と判定されたＨＲＶ指標データのうち、眠気検出モデルの構築に用いていない残りのデータを検証用覚醒時サンプルとした。
・検証用低覚醒時サンプル
顔表情判定によって覚醒水準２．２以上と判定されたＨＲＶ指標データを全て検証用低覚醒時サンプルとした。
(Distinction between arousal and low arousal)
The awake sample and the low awake sample were classified based on the facial expression judgment values. The detection sample will be described below.
・ Verification Awake Sample Out of the HRV index data determined to be less than 2.9 as a result of facial expression determination, the remaining data not used for constructing the drowsiness detection model was used as the verification awake sample.
・ Verification Low Awakening Sample All HRV index data determined to have a wakefulness level of 2.2 or higher by facial expression determination were used as verification low awakening samples.
（眠気検出モデル性能検証）
被験者２７名の覚醒時サンプルと低覚醒時サンプルとによりＴ２統計量及びＱ統計量を計算した結果、表４のようになった。覚醒時と衝突時との識別の場合と同様、Ｑ統計量はＴ２統計量よりも感度が高いが特異度が極めて低く、覚醒状態を低覚醒状態と誤判定する確率が高くなっている。このため、感度及び特異度が共に高いＴ２統計量の方が識別指標として性能が高く優れていることが分かる。Ｔ２統計量の感度が７４％であることから、Ｔ２統計量を監視した場合の眠気検出率は７４％となった。
(Verification of sleepiness detection model performance)
As a result of calculating the T2 statistic and the Q statistic using the awake sample and the low awake sample of 27 subjects, the results are shown in Table 4. As in the case of discrimination between wakefulness and collision, the Q statistic is more sensitive than the T2 statistic, but the specificity is extremely low, and the probability of misjudging the wakefulness state as the low wakefulness state is high. Therefore, it can be seen that the T2 statistic having both high sensitivity and specificity has high performance as an identification index. Since the sensitivity of the T2 statistic is 74%, the drowsiness detection rate when the T2 statistic is monitored is 74%.
以上、本実施形態について説明したが、本発明はこれに限定されず、例えば標準化された覚醒時ＨＲＶ指標データについて、覚醒時ＨＲＶ指標データの平均と分散を求めて覚醒時ＨＲＶ指標データを標準化するものに代え、上記実施形態と異なる標準化方法を採用してもよい。また、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築するものであれば足りる。 Although the present embodiment has been described above, the present invention is not limited to this. For example, for standardized wake-up HRV index data, the average and variance of the wake-up HRV index data are obtained to standardize the wake-up HRV index data. Instead of the above, a standardization method different from the above embodiment may be adopted. Further, it is sufficient to construct a sleepiness detection model for each driver using multivariate statistical process management (MSPC) based on the standardized HRV index data at awakening.
運転者の覚醒時の心電図波形における隣接するＲ波の間隔であるＲＲＩデータを取得し、その取得されたＲＲＩデータに基づいて心拍変動を解析するためのＨＲＶ解析のためのデータセットを構築した後、それぞれのデータセットでＨＲＶ指標を求めて覚醒時ＨＲＶ指標データを求め、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築する眠気検出方法及び眠気検出装置であれば、他の形態のものであってもよい。 After acquiring RRI data, which is the interval between adjacent R waves in the ECG waveform when the driver is awake, and constructing a data set for HRV analysis for analyzing heart rate variability based on the acquired RRI data , HRV index is obtained for each data set, wakeful HRV index data is obtained, and a multi-variable statistical process management (MSPC) based on standardized wakefulness HRV index data is used for each driver. Any other form of drowsiness detection method and drowsiness detection apparatus to be constructed may be used.
１ データ収集手段
２ 赤外線カメラ
Ｄ ドライビングシミュレータ
1 Data collection means 2 Infrared camera D Driving simulator
Claims (6)
運転者の覚醒時の心電図波形における隣接するＲ波の間隔であるＲＲＩデータを取得し、その取得されたＲＲＩデータに基づいて心拍変動を解析するＨＲＶ解析のためのデータセットを構築した後、それぞれのデータセットでＨＲＶ指標を求めて覚醒時ＨＲＶ指標データを求め、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築することを特徴とする眠気検出方法。 In a drowsiness detection method for detecting drowsiness of a driver of a vehicle,
After acquiring RRI data, which is an interval between adjacent R waves in the ECG waveform when the driver is awake, and constructing a data set for HRV analysis that analyzes heart rate variability based on the acquired RRI data, The HRV index is obtained from the data set of the wakefulness, the wakefulness HRV index data is obtained, and the sleepiness detection model for each driver is constructed by using multivariate statistical process management (MSPC) based on the standardized wakefulness HRV index data. The drowsiness detection method characterized by the above-mentioned.
運転者の覚醒時の心電図波形における隣接するＲ波の間隔であるＲＲＩデータを取得し、その取得されたＲＲＩデータに基づいて心拍変動を解析するＨＲＶ解析のためのデータセットを構築した後、それぞれのデータセットでＨＲＶ指標を求めて覚醒時ＨＲＶ指標データを求め、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築することを特徴とする眠気検出装置。 In a drowsiness detection device for detecting drowsiness of a driver of a vehicle,
After acquiring RRI data, which is an interval between adjacent R waves in the ECG waveform when the driver is awake, and constructing a data set for HRV analysis that analyzes heart rate variability based on the acquired RRI data, The HRV index is obtained from the data set of the wakefulness, the wakefulness HRV index data is obtained, and the sleepiness detection model for each driver is constructed by using multivariate statistical process management (MSPC) based on the standardized wakefulness HRV index data. A drowsiness detection device characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014114093A JP6375496B2 (en) | 2014-06-02 | 2014-06-02 | Sleepiness detection method and sleepiness detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014114093A JP6375496B2 (en) | 2014-06-02 | 2014-06-02 | Sleepiness detection method and sleepiness detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015226696A true JP2015226696A (en) | 2015-12-17 |
| JP6375496B2 JP6375496B2 (en) | 2018-08-22 |
Family
ID=54884622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014114093A Active JP6375496B2 (en) | 2014-06-02 | 2014-06-02 | Sleepiness detection method and sleepiness detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6375496B2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107149480A (en) * | 2017-04-13 | 2017-09-12 | 吉林大学 | A kind of driving fatigue method of discrimination based on driver's cardiac RR intervals |
| JP2018042712A (en) * | 2016-09-14 | 2018-03-22 | いすゞ自動車株式会社 | Biological state determination device and biological state determination program |
| KR20180054137A (en) * | 2016-11-15 | 2018-05-24 | 가톨릭대학교 산학협력단 | Method for assessing driving ability based on electrocardiogram |
| JP2018094174A (en) * | 2016-12-14 | 2018-06-21 | 日本電信電話株式会社 | Instantaneous heart rate evaluation device, method and program |
| JP2018094172A (en) * | 2016-12-14 | 2018-06-21 | 日本電信電話株式会社 | State estimation device, method, and program |
| JP2018094156A (en) * | 2016-12-14 | 2018-06-21 | 日本電信電話株式会社 | Instantaneous heart rate reliability evaluation device, method and program |
| JP2019509076A (en) * | 2015-12-18 | 2019-04-04 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Start of drowsiness detection |
| JP2019084271A (en) * | 2017-11-09 | 2019-06-06 | 国立大学法人豊橋技術科学大学 | Signal detection device |
| US10556595B2 (en) | 2017-10-31 | 2020-02-11 | Toyota Jidosha Kabushiki Kaisha | State estimation system |
| EP3785608A1 (en) * | 2019-08-27 | 2021-03-03 | Clarion Co., Ltd. | State extrapolation device, state extrapolation program, and state extrapolation method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107252313A (en) * | 2017-05-25 | 2017-10-17 | 深圳市卡迪赛克科技有限公司 | The monitoring method and system of a kind of safe driving, automobile, readable storage medium storing program for executing |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030199943A1 (en) * | 2002-04-17 | 2003-10-23 | Orly Katz | Method and device for maintaining wakefulness and preventing undesired sleep |
| JP2007000280A (en) * | 2005-06-22 | 2007-01-11 | Toyota Motor Corp | Arousal lowering determination device |
| WO2008065724A1 (en) * | 2006-11-29 | 2008-06-05 | Fujitsu Limited | Arousal level judging method and arousal level judging program |
| JP2009201676A (en) * | 2008-02-27 | 2009-09-10 | Toyota Motor Corp | Awakening degree estimating apparatus |
| JP2010012100A (en) * | 2008-07-04 | 2010-01-21 | Toyota Motor Corp | Sleepiness detector |
| JP2013005988A (en) * | 2011-06-27 | 2013-01-10 | Tokai Rika Co Ltd | Mental load estimation device |
| JP2013081707A (en) * | 2011-10-12 | 2013-05-09 | Aisin Seiki Co Ltd | Sleeping state discriminating apparatus and method |
-
2014
- 2014-06-02 JP JP2014114093A patent/JP6375496B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030199943A1 (en) * | 2002-04-17 | 2003-10-23 | Orly Katz | Method and device for maintaining wakefulness and preventing undesired sleep |
| JP2007000280A (en) * | 2005-06-22 | 2007-01-11 | Toyota Motor Corp | Arousal lowering determination device |
| WO2008065724A1 (en) * | 2006-11-29 | 2008-06-05 | Fujitsu Limited | Arousal level judging method and arousal level judging program |
| JP2009201676A (en) * | 2008-02-27 | 2009-09-10 | Toyota Motor Corp | Awakening degree estimating apparatus |
| JP2010012100A (en) * | 2008-07-04 | 2010-01-21 | Toyota Motor Corp | Sleepiness detector |
| JP2013005988A (en) * | 2011-06-27 | 2013-01-10 | Tokai Rika Co Ltd | Mental load estimation device |
| JP2013081707A (en) * | 2011-10-12 | 2013-05-09 | Aisin Seiki Co Ltd | Sleeping state discriminating apparatus and method |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7152950B2 (en) | 2015-12-18 | 2022-10-13 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Drowsiness onset detection |
| JP2019509076A (en) * | 2015-12-18 | 2019-04-04 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Start of drowsiness detection |
| JP2018042712A (en) * | 2016-09-14 | 2018-03-22 | いすゞ自動車株式会社 | Biological state determination device and biological state determination program |
| KR101878567B1 (en) * | 2016-11-15 | 2018-07-13 | 가톨릭대학교 산학협력단 | Method for assessing driving ability based on electrocardiogram |
| KR20180054137A (en) * | 2016-11-15 | 2018-05-24 | 가톨릭대학교 산학협력단 | Method for assessing driving ability based on electrocardiogram |
| JP2018094174A (en) * | 2016-12-14 | 2018-06-21 | 日本電信電話株式会社 | Instantaneous heart rate evaluation device, method and program |
| JP2018094156A (en) * | 2016-12-14 | 2018-06-21 | 日本電信電話株式会社 | Instantaneous heart rate reliability evaluation device, method and program |
| JP2018094172A (en) * | 2016-12-14 | 2018-06-21 | 日本電信電話株式会社 | State estimation device, method, and program |
| CN107149480A (en) * | 2017-04-13 | 2017-09-12 | 吉林大学 | A kind of driving fatigue method of discrimination based on driver's cardiac RR intervals |
| US10556595B2 (en) | 2017-10-31 | 2020-02-11 | Toyota Jidosha Kabushiki Kaisha | State estimation system |
| JP2019084271A (en) * | 2017-11-09 | 2019-06-06 | 国立大学法人豊橋技術科学大学 | Signal detection device |
| JP7095200B2 (en) | 2017-11-09 | 2022-07-05 | 国立大学法人豊橋技術科学大学 | Signal detector |
| EP3785608A1 (en) * | 2019-08-27 | 2021-03-03 | Clarion Co., Ltd. | State extrapolation device, state extrapolation program, and state extrapolation method |
| US11627918B2 (en) | 2019-08-27 | 2023-04-18 | Clarion Co., Ltd. | State extrapolation device, state extrapolation program, and state extrapolation method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6375496B2 (en) | 2018-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6375496B2 (en) | Sleepiness detection method and sleepiness detection device | |
| Guede-Fernandez et al. | Driver drowsiness detection based on respiratory signal analysis | |
| Warwick et al. | Detecting driver drowsiness using wireless wearables | |
| RU2540901C2 (en) | Method and device for microsleep detection | |
| EP2285270B1 (en) | Method and system for determining a physiological condition | |
| EP2087841B1 (en) | Arousal level judging method and arousal level judging program | |
| US20160089038A1 (en) | System, method, and computer program product for the real-time mobile evaluation of physiological stress | |
| JP6691334B2 (en) | System, processing unit and computer program for detecting suspected sleep apnea syndrome | |
| Tateno et al. | Development of drowsiness detection system based on respiration changes using heart rate monitoring | |
| Rodríguez-Ibáñez et al. | Drowsiness detection by thoracic effort signal analysis in real driving environments | |
| US9693726B2 (en) | Alertness device, seat, and method for determining alertness | |
| Abe et al. | Development of drowsy driving accident prediction by heart rate variability analysis | |
| US20140031635A1 (en) | Methods, systems and apparatuses for detecting seizure and non-seizure states | |
| JP2007229218A (en) | Apparatus, system, and method for vigilance estimation | |
| US8805484B2 (en) | System, apparatus and method for diagnosing seizures | |
| EP2962638B1 (en) | Dozing prevention method | |
| Hegarty-Craver et al. | Cardiac-based detection of seizures in children with epilepsy | |
| KR101034886B1 (en) | System and method for determining drowsy state using alteration in period of heart rate variability | |
| JP2010012100A (en) | Sleepiness detector | |
| JP6865438B2 (en) | Method and device for creating indicators to determine neuropsychiatric status | |
| JP7158641B1 (en) | Apnea hypopnea index estimation device, method and program | |
| Pugliese et al. | Real-time Sleep Prediction Algorithm using Commercial Off the Shelf Wearable Devices | |
| Lee et al. | Development of a Real-Time Driver Health Detection System Using a Smart Steering Wheel | |
| Ziyadidegan et al. | Analyzing physiological responses to quantify anxiety disorders: A scoping review | |
| Hao et al. | Development of Real-Time Driver's Health Detection System by Using Smart Handle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170515 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180322 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180511 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180607 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6375496 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |