JP6468636B2 - Sleepiness estimation rule update device and sleepiness estimation rule update program - Google Patents
Sleepiness estimation rule update device and sleepiness estimation rule update program Download PDFInfo
- Publication number
- JP6468636B2 JP6468636B2 JP2014261864A JP2014261864A JP6468636B2 JP 6468636 B2 JP6468636 B2 JP 6468636B2 JP 2014261864 A JP2014261864 A JP 2014261864A JP 2014261864 A JP2014261864 A JP 2014261864A JP 6468636 B2 JP6468636 B2 JP 6468636B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- sleepiness
- drowsiness
- data
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010041349 Somnolence Diseases 0.000 title claims description 401
- 208000032140 Sleepiness Diseases 0.000 title claims description 245
- 230000037321 sleepiness Effects 0.000 title claims description 245
- 239000013598 vector Substances 0.000 claims description 163
- 238000012545 processing Methods 0.000 claims description 116
- 230000000694 effects Effects 0.000 claims description 110
- 238000003860 storage Methods 0.000 claims description 63
- 230000006870 function Effects 0.000 claims description 57
- 230000014509 gene expression Effects 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 34
- 210000000467 autonomic pathway Anatomy 0.000 claims description 9
- 230000008035 nerve activity Effects 0.000 claims description 7
- 238000010183 spectrum analysis Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 79
- 230000008569 process Effects 0.000 description 55
- 238000007493 shaping process Methods 0.000 description 31
- 230000007958 sleep Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 19
- 230000007704 transition Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 7
- 230000001734 parasympathetic effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000007619 statistical method Methods 0.000 description 4
- 101150079982 RRI2 gene Proteins 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000002889 sympathetic effect Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000002618 waking effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 210000001013 sinoatrial node Anatomy 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Physics & Mathematics (AREA)
- Developmental Disabilities (AREA)
- Biophysics (AREA)
- Child & Adolescent Psychology (AREA)
- Biomedical Technology (AREA)
- Educational Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Description
本発明は、眠気推定ルール更新装置及び眠気推定ルール更新プログラムに関するものである。 The present invention relates to a drowsiness estimation rule update device and a drowsiness estimation rule update program.
近年、健康管理の観点から、或いは、自動車事故防止等の観点から眠気に注目が集まっている。特に、車の運転、機器の操縦・操作、デスクワークなどの場合に、眠気が起こっていることの推定は重要である。 In recent years, drowsiness has attracted attention from the viewpoint of health management or from the viewpoint of preventing automobile accidents. In particular, it is important to estimate that sleepiness is occurring in the case of driving a car, manipulating / operating equipment, desk work, and the like.
従来の眠気を捕えようとする技術としては、特許文献１に記載のものがある。特許文献１には、心拍信号から心拍間隔を検出し、心拍間隔の変動に対するスペクトル密度を求め、極大周波数と極大周波数に対応する極大スペクトル密度を算出し、算出された極大周波数と極大周波数に対応する極大スペクトル密度の変動傾向を基にして覚醒状態であるか否かを判定することが記載されている。 As a conventional technique for capturing sleepiness, there is one described in Patent Document 1. In Patent Document 1, a heartbeat interval is detected from a heartbeat signal, a spectral density corresponding to fluctuations in the heartbeat interval is obtained, a maximum spectral density corresponding to the maximum frequency and the maximum frequency is calculated, and the calculated maximum frequency and the maximum frequency are supported. It is described that it is determined whether or not the user is in a wakeful state based on the fluctuation tendency of the maximum spectral density.
特許文献２には、眠気推定パラメータという個人によってバラツキのあるパラメータの代わりに、「回帰所要時間」を導入することが記載されている。「回帰所要時間」とは、行動が検出されたタイミングから、行動検出情報の取得タイミングより後に取得した眠気推定パラメータの値が行動検出情報の取得タイミングより前に取得した眠気推定パラメータの値に戻るまでに掛かる時間である。 Patent Document 2 describes that “return time” is introduced instead of a parameter that varies depending on an individual, which is a sleepiness estimation parameter. “Return time required” means that the value of the sleepiness estimation parameter acquired after the acquisition timing of the behavior detection information returns from the timing of detection of the behavior to the value of the sleepiness estimation parameter acquired before the acquisition timing of the behavior detection information. It takes time to complete.
同じ眠気推定パラメータの値に戻るまでに掛かる時間である、「回帰所要時間」は、個人によらない普遍的な値であると考える。複数の時間範囲のそれぞれと、眠気レベル候補とが対応づけられた眠気レベル推定テーブルを保持し、複数の時間範囲の内で回帰所要時間が属する時間範囲に対応する眠気レベル候補を特定する。 The “return time required”, which is the time taken to return to the same sleepiness estimation parameter value, is considered to be a universal value that does not depend on the individual. A sleepiness level estimation table in which each of a plurality of time ranges is associated with a sleepiness level candidate is stored, and a sleepiness level candidate corresponding to a time range to which the required regression time belongs is specified from the plurality of time ranges.
特許文献３では、計測器の計測データを取得し、その計測データの前処理を行って心拍数値を得ると共に、その心拍数値から心拍ゆらぎを抽出し、続いて心拍特徴量（心拍数値及び心拍ゆらぎ）を参照するための心拍特徴量の参照時間幅を設定する。具体的には、心拍特徴量をＦＦＴ処理して周波数スペクトル分布を生成し、この周波数スペクトル分布において最初の極小値となる下限周波数を探索し、下限周波数を起点とした周波数範囲内で振幅スペクトルパワーの最大値に対応するピーク周波数を抽出し、このピーク周波数の逆数を参照時間幅とする。 In Patent Document 3, measurement data of a measuring instrument is acquired, the preprocessing of the measurement data is performed to obtain a heart rate value, heart rate fluctuation is extracted from the heart rate value, and then a heart rate feature value (heart rate value and heart rate fluctuation) is obtained. ) To set the reference time width of the heartbeat feature value. Specifically, the frequency characteristic distribution is generated by performing FFT processing on the heart rate feature amount, the lower limit frequency that becomes the first minimum value in this frequency spectrum distribution is searched, and the amplitude spectrum power within the frequency range starting from the lower limit frequency. The peak frequency corresponding to the maximum value is extracted, and the reciprocal of this peak frequency is set as the reference time width.
その後、そのような参照時間幅における心拍特徴量の標準偏差値を計算し、眠気検出装置は、心拍特徴量の標準偏差値を用いて運転者に浅い眠気があるかどうかを判定する。かくして、特許文献３の発明によれば、個人毎に適した特徴量参照時間幅を設定するので、個人差によらない眠気検出を行うことができる、というものである。 Thereafter, the standard deviation value of the heartbeat feature amount in such a reference time width is calculated, and the sleepiness detection device determines whether the driver has shallow sleepiness using the standard deviation value of the heartbeat feature amount. Thus, according to the invention of Patent Document 3, since a feature amount reference time width suitable for each individual is set, drowsiness detection can be performed regardless of individual differences.
特許文献４に記載の発明は、皮膚温、体温、脈拍、心拍、血圧、呼吸、発汗及び体動を含む生体情報をセンサにより検出する生体情報を統合してクラスタリングを行い、睡眠状態の時間的変化を状態遷移確率によりモデル化し、一時的な生体情報のばらつきを吸収する睡眠状態モデルを作成する睡眠状態モデル部１２を備える。 The invention described in Patent Document 4 performs clustering by integrating biological information in which biological information including skin temperature, body temperature, pulse, heart rate, blood pressure, breathing, sweating, and body movement is detected by a sensor, and the temporal state of the sleep state A sleep state model unit 12 that models a change by a state transition probability and creates a sleep state model that absorbs variations in temporary biological information is provided.
モデル部１２は、年齢差、男女差、季節差及び個人差を含む個人の睡眠の差異に対応するために、生体情報を統合することで現測定時間の睡眠状態を推定し、更に、現測定時間に推定された睡眠状態と睡眠状態が遷移する確率である状態遷移確率とを用いて、現測定時間の睡眠状態を決定するものとされている。学習部１３は、利用者が起床時に入力する自覚症状と、睡眠状態モデル部１２に蓄積されている過去の睡眠状態の遷移と、入眠起床時刻判定部に蓄積されている過去の入眠及び起床時刻とを用いて、状態遷移確率を更新する。 The model unit 12 estimates the sleep state at the current measurement time by integrating biometric information in order to deal with differences in individual sleep, including age differences, gender differences, seasonal differences, and individual differences, and further measures the current measurement. The sleep state at the current measurement time is determined using the sleep state estimated in time and the state transition probability that is the probability that the sleep state transitions. The learning unit 13 includes subjective symptoms input by the user when waking up, transitions of past sleep states accumulated in the sleep state model unit 12, and past sleep onset and wakeup times accumulated in the sleep onset time determination unit. And the state transition probability is updated.
また、ユーザ入力部１５では、利用者が自覚症状としての目覚めの良さを、例えば、「良い」、「普通」、「悪い」の３段階により評価したユーザ情報を入力し、学習部１３及び入眠起床時刻判定部１６に出力する。 Further, the user input unit 15 inputs user information evaluated by the user according to three stages of “good”, “normal”, and “bad”, for example, the goodness of waking as a subjective symptom. Output to the wake-up time determination unit 16.
更に、学習部１３では、入眠起床時刻判定部１６から入眠及び起床時刻を入力し、睡眠状態モデル部１２から、１回の睡眠における睡眠状態の遷移の時系列データを入力し、睡眠状態遷移部１２２に保持されている状態遷移確率の更新を行う。 Further, the learning unit 13 inputs the sleep and wake-up time from the sleep / wake-up time determination unit 16, and inputs the time-series data of the sleep state transition in one sleep from the sleep state model unit 12, and the sleep state transition unit The state transition probability held in 122 is updated.
かくして特許文献４に記載の発明では、睡眠状態遷移部１２２に保持されている状態遷移確率３２が、学習部１３により更新されることによって、個人の睡眠の差異に適応することが可能であり、精度良く睡眠状態を判定可能とする。 Thus, in the invention described in Patent Document 4, the state transition probability 32 held in the sleep state transition unit 122 can be adapted to the individual sleep difference by being updated by the learning unit 13. The sleep state can be determined with high accuracy.
上記のように、従来の眠気推定においては個人差によらない精度の良い眠気推定を可能とすべく、様々な手法が提供されている。しかしながら、ＲＲＩデータを自律神経の活動指標（以下、単に「指標」という場合もある）の算出に用い、活動指標の閾値を少なくとも備える眠気推定ルールに基づき上記算出された活動指標を評価して眠気推定を行う装置においては、個人差によらない精度の良い推定を可能とするものは見当たらない。 As described above, in the conventional sleepiness estimation, various methods are provided in order to enable accurate sleepiness estimation independent of individual differences. However, RRI data is used to calculate an activity index of autonomic nerves (hereinafter sometimes simply referred to as “index”), and the calculated activity index is evaluated based on a sleepiness estimation rule having at least a threshold value of the activity index, and sleepiness is evaluated. There is no device that can estimate with high accuracy without depending on individual differences.
本発明はこのようなＲＲＩデータから自律神経の活動指標を算出し、これを用いて眠気推定する技術の現状に鑑みてなされたもので、その目的は、個人差によらない精度の良い眠気推定を可能とすべく、眠気推定ルールを更新する眠気推定ルール更新装置と眠気推定ルール更新プログラムを提供することである。 The present invention has been made in view of the current state of the art of calculating sleepiness estimation using such an activity index of autonomic nerves from such RRI data, and its purpose is to estimate sleepiness with high accuracy regardless of individual differences. To provide a drowsiness estimation rule update device and a drowsiness estimation rule update program for updating drowsiness estimation rules.
本発明に係る眠気推定ルール更新装置は、心電図信号のＲ波に相当する信号を検出するＲＲＩセンサにより得られる信号からＲ−Ｒ間隔のデータであるＲＲＩデータを取得するＲＲＩ取得手段と、前記ＲＲＩデータを統計処理した結果と前記ＲＲＩデータのスペクトル解析の結果とに基づいて、自律神経の活動に関する複数種の活動指標について指標値を計算すると共に前記複数種の活動指標の指標値について指標値ベクトル時系列を生成する指標値計算手段と、前記指標値計算手段により計算される１以上の活動指標の指標値とこの活動指標に関する閾値との比較条件及び／または前記活動指標の指標値に関する所定変動状態の有無の条件を論理結合して作成した推定関数によって構成される眠気推定ルールが記憶された記憶手段と、被検者から得られる情報または被検者の生体状態を解析して得られる情報である、眠気の有無を示す眠気データを出力する眠気情報出力装置と、前記眠気情報出力装置から出力された眠気データを、前記ＲＲＩ取得手段がＲＲＩデータを取得する時刻の時間間隔において取得する眠気データ取得手段と、前記眠気データを用いて眠気推定ルールの適否を評価するための参照データを生成すると共に前記眠気データについて眠気データベクトル時系列を生成する参照データ生成手段と、前記眠気データベクトル時系列と前記指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行うべき活動指標を特定し、この特定された活動指標が関係している推定関数について論理結合の更新を行うことにより、前記記憶手段に記憶されている眠気推定ルールを更新する更新手段とを具備することを特徴とする。 The drowsiness estimation rule updating apparatus according to the present invention includes an RRI acquisition unit that acquires RRI data that is R-R interval data from a signal obtained by an RRI sensor that detects a signal corresponding to an R wave of an electrocardiogram signal; Based on a result of statistical processing of data and a result of spectrum analysis of the RRI data, an index value is calculated for a plurality of types of activity indexes related to autonomic nerve activity, and an index value vector for the index values of the plurality of types of activity indexes Index value calculation means for generating a time series, a comparison condition between an index value of one or more activity indices calculated by the index value calculation means and a threshold value related to the activity index, and / or a predetermined variation regarding the index value of the activity index a storage means for the condition of the existence of the state by the estimating function created by logical combination is constructed drowsiness estimation rule stored, the test Drowsiness information output device that outputs drowsiness data indicating the presence or absence of drowsiness, which is information obtained by analyzing the biological state of the subject or information obtained from the subject, and drowsiness data output from the drowsiness information output device, Drowsiness data acquisition means for acquiring RRI data at a time interval when the RRI acquisition means acquires reference data for evaluating suitability of sleepiness estimation rules using the drowsiness data and sleepiness data for the drowsiness data A reference data generating means for generating a data vector time series, obtaining a correlation value of a cross-correlation between the sleepiness data vector time series and the index value vector time series, and specifying an activity index to be updated based on the correlation value; by updating the logical combination estimation function is identified activity index are related, have been stored in the storage means Characterized by comprising an updating means for updating the drowsiness estimation rule.
本発明に係る眠気推定ルール更新装置では、前記眠気情報出力装置は、脳波波形に基づき眠気の有無の情報を得るか、被検者の顔を撮像した画像の解析に眠気の有無の情報を得るか、被検者が眠気を感じたときに信号出力を行う機器によるか、の少なくとも１つにより眠気の有無を示す眠気データを出力することを特徴とする。
In the drowsiness estimation rule update device according to the present invention, the drowsiness information output device obtains information on the presence or absence of drowsiness based on an electroencephalogram waveform, or obtains information on the presence or absence of drowsiness in an analysis of an image obtained by imaging a subject's face. Or drowsiness data indicating the presence or absence of drowsiness is output by at least one of a device that outputs a signal when the subject feels drowsiness.
本発明に係る眠気推定ルール更新装置では、更新手段は、前記眠気データベクトル時系列において眠気有りとなっている時刻に対応する活動指標の値を前記指標値ベクトル時系列から求め、正の相関のときには求めた活動指標の値の最低値を候補閾値とし、負の相関のときには求めた活動指標の値の最高値を候補閾値として、当該候補閾値により前記指標値ベクトル時系列の活動指標の値を評価することにより、閾値の更新を行うことを特徴とする。 In the drowsiness estimation rule updating apparatus according to the present invention, the updating means obtains a value of an activity index corresponding to a time when sleepiness is present in the drowsiness data vector time series from the index value vector time series, and has a positive correlation. In some cases, the lowest value of the obtained activity index is a candidate threshold, and in the case of a negative correlation, the highest value of the obtained activity index is a candidate threshold, and the value of the activity index in the index value vector time series is determined by the candidate threshold. The threshold value is updated by the evaluation.
本発明に係る眠気推定ルール更新装置では、更新手段は、前記指標値ベクトル時系列において、候補閾値以上の活動指標の値が占める割合に基づき、候補閾値を新たな閾値に更新することを特徴とする。 In the drowsiness estimation rule updating apparatus according to the present invention, the updating means updates the candidate threshold to a new threshold based on a ratio of activity index values equal to or higher than the candidate threshold in the index value vector time series. To do.
本発明に係る眠気推定ルール更新装置では、更新手段は、候補閾値を新たな閾値に更新しない場合には、候補閾値の値を増減させて新たな候補閾値を作成し、この候補閾値により前記指標値ベクトル時系列の活動指標の値を評価することにより、閾値の更新を行うことを特徴とする。 In the drowsiness estimation rule update device according to the present invention, when the update unit does not update the candidate threshold value to a new threshold value, the update unit creates a new candidate threshold value by increasing or decreasing the value of the candidate threshold value. The threshold value is updated by evaluating the value of the value vector time series activity index.
本発明に係る眠気推定ルール更新装置では、更新手段は、前記眠気データベクトル時系列と前記指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行う活動指標を特定する特定ステップと、前記眠気データベクトル時系列において眠気有りとなっている時刻に対応する活動指標の値を前記指標値ベクトル時系列から求め、正の相関のときには求めた活動指標の値の最低値を候補閾値とし、負の相関のときには求めた活動指標の値の最高値を候補閾値とする候補閾値生成ステップと、前記指標値ベクトル時系列において、候補閾値以上の活動指標の値が占める割合に基づき、候補閾値を新たな閾値に更新する閾値更新ステップと前記特定された活動指標のみについて、前記更新した閾値を用いて活動指標毎に、各活動指標の指標値と閾値の大小関係を示す式である条件式を作成するステップと、条件式が１つの活動指標では当該条件式を推定関数とし、条件式が複数の活動指標では複数の条件式の論理的結合の全てのパターンにより生成された複数の関数を推定関数とするステップと、この推定関数のそれぞれについてヒット率を算出し、算出したヒット率の最も高いものを最終的な推定関数とするステップとを実行することを特徴とする。 In the drowsiness estimation rule updating apparatus according to the present invention, the updating means obtains a correlation value of the cross-correlation between the drowsiness data vector time series and the index value vector time series, and specifies an activity index to be updated based on the correlation value A value of an activity index corresponding to a time when sleepiness is present in the drowsiness data vector time series is obtained from the index value vector time series, and if the correlation is positive, the lowest value of the obtained activity index value is a candidate Based on the candidate threshold value generation step in which the threshold value is a negative correlation and the highest value of the obtained activity index value is the candidate threshold value, and the ratio of the activity index value above the candidate threshold value in the index value vector time series, Each of the activity indicators is updated for each activity indicator using the updated threshold for the threshold update step for updating the candidate threshold to a new threshold and only the identified activity indicator. A step of creating a conditional expression that is an expression indicating the magnitude relationship between the index value and the threshold value, and the conditional expression is an estimation function for an activity index with one conditional expression, and the logic of multiple conditional expressions for an activity index with multiple conditional expressions A step of using a plurality of functions generated by all patterns of the automatic combination as an estimation function, a step of calculating a hit rate for each of the estimation functions, and a step having the highest calculated hit rate as a final estimation function And executing.
本発明に係る眠気推定ルール更新プログラムは、眠気推定ルール更新装置に適用される眠気推定ルール更新プログラムにおいて、コンピュータを、心電図信号のＲ波に相当する信号を検出するＲＲＩセンサにより得られる信号からＲ−Ｒ間隔のデータであるＲＲＩデータを取得するＲＲＩ取得手段、前記ＲＲＩデータを統計処理した結果と前記ＲＲＩデータのスペクトル解析の結果とに基づいて、自律神経の活動に関する複数種の活動指標について指標値を計算すると共に前記複数種の活動指標の指標値について指標値ベクトル時系列を生成する指標値計算手段、検者から得られる情報または被検者の生体状態を解析して得られる情報である、眠気の有無を示す眠気データを出力する眠気情報出力装置から出力された眠気データを、前記ＲＲＩ取得手段がＲＲＩデータを取得する時刻の時間間隔において取得する眠気データ取得手段、前記眠気データを用いて眠気推定ルールの適否を評価するための参照データを生成すると共に前記眠気データについて眠気データベクトル時系列を生成する参照データ生成手段、前記眠気データベクトル時系列と前記指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行うべき活動指標を特定し、この特定された活動指標が関係している推定関数について論理結合の更新を行うことにより、前記指標値計算手段により計算される１以上の活動指標の指標値とこの活動指標に関する閾値との比較条件及び／または前記活動指標の指標値に関する所定変動状態の有無の条件を論理結合して作成した推定関数によって構成される眠気推定ルールを更新する更新手段として機能させることを特徴とすることを特徴とする。 The sleepiness estimation rule update program according to the present invention is a sleepiness estimation rule update program applied to a sleepiness estimation rule update device. In the sleepiness estimation rule update program, R is detected from a signal obtained by an RRI sensor that detects a signal corresponding to an R wave of an electrocardiogram signal. -RRI acquisition means for acquiring RRI data which is R interval data; an index for a plurality of types of activity indices related to autonomic nerve activity based on a result of statistical processing of the RRI data and a result of spectrum analysis of the RRI data Index value calculation means for calculating a value and generating an index value vector time series for the index values of the plurality of types of activity indicators, information obtained from the examiner or information obtained by analyzing the biological state of the subject The sleepiness data output from the sleepiness information output device that outputs sleepiness data indicating the presence or absence of sleepiness is the RR. Drowsiness data acquisition means acquiring unit acquires in a time interval of time to get the RRI data, time sleepiness data vector for the sleepiness data to generate a reference data for evaluating the appropriateness of drowsiness estimation rule by using the sleepiness data A reference data generating means for generating a sequence, obtaining a correlation value of cross-correlation between the drowsiness data vector time series and the index value vector time series, identifying an activity index to be updated based on the correlation value, and identifying the identified activity By updating the logical combination of the estimation function related to the index, the comparison condition between the index value of one or more activity indices calculated by the index value calculation means and the threshold value for the activity index and / or the activity drowsiness configured conditions of the presence or absence of a predetermined variation state regarding index value of the index by the estimating function created logically bound Characterized in that, characterized in that to function as update means for updating a constant rule.
本発明に係る眠気推定ルール更新プログラムでは、前記眠気情報出力装置は、脳波波形に基づき眠気の有無の情報を得るか、被検者の顔を撮像した画像の解析に眠気の有無の情報を得るか、被検者が眠気を感じたときに信号出力を行う機器によるか、の少なくとも１つにより眠気の有無を示す眠気データを出力することを特徴とする。
In the drowsiness estimation rule update program according to the present invention, the drowsiness information output device obtains information on the presence or absence of drowsiness based on an electroencephalogram waveform, or obtains information on the presence or absence of drowsiness in an analysis of an image obtained by imaging a subject's face. Or drowsiness data indicating the presence or absence of drowsiness is output by at least one of a device that outputs a signal when the subject feels drowsiness.
本発明に係る眠気推定ルール更新プログラムでは、更新手段は、前記眠気データベクトル時系列において眠気有りとなっている時刻に対応する活動指標の値を前記指標値ベクトル時系列から求め、正の相関のときには求めた活動指標の値の最低値を候補閾値とし、負の相関のときには求めた活動指標の値の最高値を候補閾値として、当該候補閾値により前記指標値ベクトル時系列の活動指標の値を評価することにより、閾値の更新を行うことを特徴とする。 In the drowsiness estimation rule update program according to the present invention, the updating means obtains a value of an activity index corresponding to a time when sleepiness is present in the drowsiness data vector time series from the index value vector time series, and has a positive correlation. In some cases, the lowest value of the obtained activity index is a candidate threshold, and in the case of a negative correlation, the highest value of the obtained activity index is a candidate threshold, and the value of the activity index in the index value vector time series is determined by the candidate threshold. The threshold value is updated by the evaluation.
本発明に係る眠気推定ルール更新プログラムでは、更新手段は、前記指標値ベクトル時系列において、候補閾値以上の活動指標の値が占める割合に基づき、候補閾値を新たな閾値に更新することを特徴とする。 In the drowsiness estimation rule update program according to the present invention, the updating means updates the candidate threshold to a new threshold based on the ratio of the value of the activity index equal to or higher than the candidate threshold in the index value vector time series. To do.
本発明に係る眠気推定ルール更新プログラムでは、更新手段は、候補閾値を新たな閾値に更新しない場合には、候補閾値の値を増減させて新たな候補閾値を作成し、この候補閾値により前記指標値ベクトル時系列の活動指標の値を評価することにより、閾値の更新を行うことを特徴とする。 In the drowsiness estimation rule update program according to the present invention, when the candidate threshold value is not updated to a new threshold value, the updating unit creates a new candidate threshold value by increasing or decreasing the value of the candidate threshold value, and the index is calculated based on the candidate threshold value. The threshold value is updated by evaluating the value of the value vector time series activity index.
本発明に係る眠気推定ルール更新プログラムでは、更新手段は、前記眠気データベクトル時系列と前記指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行う活動指標を特定し、前記眠気データベクトル時系列において眠気有りとなっている時刻に対応する活動指標の値を前記指標値ベクトル時系列から求め、正の相関のときには求めた活動指標の値の最低値を候補閾値とし、負の相関のときには求めた活動指標の値の最高値を候補閾値とする候補閾値を生成し、前記指標値ベクトル時系列において、候補閾値以上の活動指標の値が占める割合に基づき、候補閾値を新たな閾値に更新し、前記特定された活動指標のみについて、前記更新した閾値を用いて活動指標毎に、各活動指標の指標値と閾値の大小関係を示す式である条件式を作成し、条件式が１つの活動指標では当該条件式を推定関数とし、条件式が複数の活動指標では複数の条件式の論理的結合の全てのパターンにより生成された複数の関数を推定関数とし、この推定関数のそれぞれについてヒット率を算出し、算出したヒット率の最も高いものを最終的な推定関数とする。
ことを特徴とする。
In the drowsiness estimation rule update program according to the present invention, the update means obtains a correlation value of a cross-correlation between the drowsiness data vector time series and the index value vector time series, specifies an activity index to be updated based on the correlation value, A value of an activity index corresponding to a time when sleepiness is present in the drowsiness data vector time series is obtained from the index value vector time series, and when the correlation is positive, the lowest value of the obtained activity index value is set as a candidate threshold value, In the case of negative correlation, a candidate threshold value is generated with the highest value of the obtained activity index value as a candidate threshold value, and the candidate threshold value is determined based on the ratio of the activity index value equal to or higher than the candidate threshold value in the index value vector time series. Update to a new threshold, and for only the identified activity indicator, for each activity indicator using the updated threshold, an expression showing the magnitude relationship between the indicator value of each activity indicator and the threshold If the condition expression is one activity indicator, the conditional expression is an estimated function, and if the condition expression is multiple activity indicators, multiple functions generated by all patterns of logical combinations of multiple conditional expressions Is used as an estimation function, the hit rate is calculated for each of the estimation functions, and the one with the highest hit rate is set as the final estimation function.
It is characterized by that.
本発明によれば、被検者から得られる情報または被検者の生体状態を解析して得られる情報である、眠気の有無の情報を出力する眠気情報出力装置を用いて、実際の眠気の有無から眠気推定ルールの適否を評価するための参照データを生成し、参照データと指標値の関係に基づき閾値を更新するので、個人差によらない精度の良い眠気推定が可能な眠気推定ルールへ更新がなされる。 According to the present invention, by using a sleepiness information output device that outputs information about the presence or absence of sleepiness, which is information obtained from the subject or information obtained by analyzing the biological state of the subject, Reference data for evaluating the suitability of sleepiness estimation rules based on presence / absence is generated, and the threshold value is updated based on the relationship between the reference data and the index value, so the sleepiness estimation rules enable accurate sleepiness estimation regardless of individual differences. Updates are made.
以下、添付図面を参照して本発明に係る眠気推定ルール更新装置及び眠気推定ルール更新プログラムの実施形態を説明する。各図において、同一の構成要素には同一の符号を付して重複する説明を省略する。また、以下に示されるいくつかの実施形態では、フローチャートに手段と部の配置を示し、手段と部の配置を示したブロック図を省略する。図１に、本発明の眠気推定ルール更新装置における第１の実施形態のブロック図を示す。眠気推定ルール更新装置は、コンピュータなどのプロセッサ機能を有する端末２０に、心電図のＲ波に相当する信号を検出するセンサであるＲＲＩセンサ１０と、眠気情報出力装置４０を接続した構成を有する。端末２０には、記憶手段としてのクラウドストレージ３０が接続されており、このクラウドストレージ３０には、センサ特性情報１１０１、眠気推定ルール１１０２、更新ルール１１０３、端末２０により取得された取得済ＲＲＩデータ１０１２Ｘ、端末２０により取得された取得済眠気データ１００３Ｘ、所定期間の指標値ベクトル時系列１０５１Ｘ、所定期間の眠気データベクトル時系列１０５２Ｘ、その他必要な情報が記憶されている。眠気推定ルールは、指標値計算手段２３により計算された指標値を用いて眠気推定を行う場合に用いる閾値を備えるもので、後に詳述する。 Hereinafter, embodiments of a drowsiness estimation rule update device and a drowsiness estimation rule update program according to the present invention will be described with reference to the accompanying drawings. In each figure, the same components are denoted by the same reference numerals, and redundant description is omitted. In some embodiments shown below, the arrangement of means and parts is shown in the flowchart, and the block diagram showing the arrangement of means and parts is omitted. FIG. 1 shows a block diagram of a first embodiment of the drowsiness estimation rule update apparatus of the present invention. The sleepiness estimation rule updating device has a configuration in which an RRI sensor 10 that is a sensor that detects a signal corresponding to an R wave of an electrocardiogram and a sleepiness information output device 40 are connected to a terminal 20 having a processor function such as a computer. A cloud storage 30 serving as a storage unit is connected to the terminal 20. The cloud storage 30 includes sensor characteristic information 1101, sleepiness estimation rules 1102, update rules 1103, and acquired RRI data 1012X acquired by the terminal 20. The acquired sleepiness data 1003X acquired by the terminal 20, the index value vector time series 1051X for a predetermined period, the sleepiness data vector time series 1052X for a predetermined period, and other necessary information are stored. The sleepiness estimation rule includes a threshold value used when sleepiness estimation is performed using the index value calculated by the index value calculation means 23, and will be described in detail later.
上記において、ＲＲＩセンサ１０として、心拍センサを用いることができる。このＲＲＩセンサ１０は、心拍センサ以外に、心電計の心電図信号を取り出す部分の構成や脈波センサを用いても良い。眠気情報出力装置４０は、被検者から得られる情報または被検者の生体状態を解析して得られる情報である、眠気の有無を示す眠気データを出力するものである。眠気情報出力装置４０は、脳波波形に基づき眠気の有無の情報を得るか、被検者の顔を撮像した画像の解析により眠気の有無の情報を得るか、被検者が眠気を感じたときに信号出力を行う機器によるか、の少なくとも１つにより眠気データを出力するものである。 In the above, a heart rate sensor can be used as the RRI sensor 10. In addition to the heart rate sensor, the RRI sensor 10 may use a configuration of a part for taking out an electrocardiogram signal of an electrocardiograph or a pulse wave sensor. The sleepiness information output device 40 outputs sleepiness data indicating the presence or absence of sleepiness, which is information obtained from the subject or information obtained by analyzing the biological state of the subject. The drowsiness information output device 40 obtains information on the presence or absence of drowsiness based on the electroencephalogram waveform, obtains information on the presence or absence of drowsiness by analyzing an image obtained by imaging the subject's face, or when the subject feels drowsiness The drowsiness data is output by at least one of the devices that perform signal output.
端末２０のプロセッサ部であるＣＰＵが眠気推定ルール更新プログラムを実行することにより、ＲＲＩ取得手段２１、データ整形手段２２、指標値計算手段２３、眠気データ取得手段５１、参照データ生成手段５２、更新手段５３として機能する。 When the CPU which is the processor unit of the terminal 20 executes the sleepiness estimation rule update program, the RRI acquisition means 21, the data shaping means 22, the index value calculation means 23, the sleepiness data acquisition means 51, the reference data generation means 52, the update means 53 functions.
眠気データ取得手段５１は、上記眠気情報出力装置４０から出力された眠気の有無を示す眠気データを取得するものである。参照データ生成手段５２は、上記眠気データを用いて眠気推定ルールの適否を評価するための参照データを生成するものである。上記指標値計算手段２３は、活動指標の値について指標値ベクトル時系列を生成するものであり、上記参照データ生成手段５２は、上記眠気データについて眠気データベクトル時系列を生成するものである。
The sleepiness data acquisition means 51 acquires sleepiness data indicating the presence or absence of sleepiness output from the sleepiness information output device 40. The reference data generating means 52 generates reference data for evaluating the suitability of the sleepiness estimation rule using the sleepiness data. The index value calculating means 23, which generates an index value vector time series for the values of activity index, the reference data generating means 52 is to generate a drowsiness data vector time series for the drowsiness data.
更新手段５３は、上記指標値計算手段により計算された指標値と上記参照データに基づき上記記憶手段であるクラウドストレージ３０に記憶されている眠気推定ルールを更新するものである。更新手段５３は、上記眠気データベクトル時系列と上記指標値ベクトル時系列を照合し、上記眠気推定ルールを更新するか否かを判定するものである。更新手段５３は、上記眠気データベクトル時系列と上記指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行う活動指標を特定するように構成することができる。 The update unit 53 updates the sleepiness estimation rule stored in the cloud storage 30 as the storage unit based on the index value calculated by the index value calculation unit and the reference data. The updating means 53 collates the drowsiness data vector time series with the index value vector time series, and determines whether or not to update the drowsiness estimation rule. The updating means 53 can be configured to obtain a correlation value of the cross-correlation between the sleepiness data vector time series and the index value vector time series, and to specify an activity index to be updated based on the correlation value.
更新手段５３は、上記判定により更新すると判定した場合に、上記眠気データベクトル時系列と上記指標値ベクトル時系列の関係に基づき閾値を更新するものである。更新手段５３は、上記眠気データベクトル時系列において眠気有りとなっている時刻に対応する活動指標の値を上記指標値ベクトル時系列から求め、正の相関のときには求めた活動指標の値の最低値を候補閾値とし、負の相関のときには求めた活動指標の値の最高値を候補閾値として、当該候補閾値により前記指標値ベクトル時系列の活動指標の値を評価することにより、閾値の更新を行うように構成することができる。 The update means 53 updates the threshold based on the relationship between the drowsiness data vector time series and the index value vector time series when it is determined to update by the above determination. The updating means 53 obtains the value of the activity index corresponding to the time when sleepiness is present in the sleepiness data vector time series from the index value vector time series, and the minimum value of the obtained activity index values when there is a positive correlation. Is set as a candidate threshold value, and when the correlation is negative, the highest value of the obtained activity index value is set as the candidate threshold value, and the threshold value is updated by evaluating the value of the activity index in the index value vector time series based on the candidate threshold value. It can be constituted as follows.
更新手段５３は、上記指標値ベクトル時系列において、候補閾値以上の活動指標の値が占める割合に基づき、候補閾値を新たな閾値に更新するように構成することができる。更新手段５３は、候補閾値を新たな閾値に更新しない場合には、候補閾値の値を増減させて新たな候補閾値を作成し、この候補閾値により前記指標値ベクトル時系列の活動指標の値を評価することにより、閾値の更新を行うように構成することができる。 The updating unit 53 can be configured to update the candidate threshold value to a new threshold value based on the ratio of the activity index value equal to or higher than the candidate threshold value in the index value vector time series. If the candidate threshold value is not updated to a new threshold value, the updating unit 53 creates a new candidate threshold value by increasing / decreasing the value of the candidate threshold value, and the index value vector time-series activity index value is determined based on the candidate threshold value. By evaluating, the threshold value can be updated.
ここで、心電図信号について説明を行う。図２（ａ）に示されるように、心電図信号には、Ｒのピークを有するＱＲＳ波を観測することができる。ＱＲＳ波は、心室全体を急速に興奮させるときに発生するものとされる。また、その前方のＰ波は、洞房結節に興奮が発生し、心房が収縮したときの波とされる。更に、ＱＲＳ波の後方に現れるＴ波は、心室の興奮か回復するときに発生する波とされる。心臓の解析には、上記のＰ波、ＱＲＳ波、Ｔ波により得られるＰＱ時間、ＱＲＳ時間、ＱＴ時間などが重要なパラメータとして用いられる。心電図信号には図２（ｂ）に示すように、拍動に応じてＲ波が所定間隔で現れるので、ＲＲＩも重要なパラメータとされ、自律神経活動に関連していることが知られている。本実施形態では、このＲＲＩを眠気推定に用いるものである。 Here, an electrocardiogram signal will be described. As shown in FIG. 2A, a QRS wave having an R peak can be observed in the electrocardiogram signal. QRS waves are assumed to be generated when the entire ventricle is rapidly excited. Further, the P wave in front thereof is a wave when excitement occurs in the sinoatrial node and the atrium contracts. Further, the T wave appearing behind the QRS wave is a wave generated when the excitement of the ventricle is recovered. For the analysis of the heart, the PQ time, QRS time, QT time and the like obtained from the P wave, QRS wave, and T wave are used as important parameters. In the electrocardiogram signal, as shown in FIG. 2B, R waves appear at predetermined intervals according to the pulsation, so that RRI is also an important parameter and is known to be related to autonomic nerve activity. . In this embodiment, this RRI is used for sleepiness estimation.
ＲＲＩセンサ１０は、生体に設けられ、無線或いは有線により図２（ｂ）に示すような心電図信号を検出して、ＲＲＩデータを出力する。図１に示すように、本実施形態の眠気推定ルール更新装置では、端末２０が、ＲＲＩ取得手段２１、データ整形手段２２、指標値計算手段２３を備える。 The RRI sensor 10 is provided in a living body, detects an electrocardiogram signal as shown in FIG. 2B by radio or wire, and outputs RRI data. As shown in FIG. 1, in the drowsiness estimation rule update device of the present embodiment, the terminal 20 includes an RRI acquisition unit 21, a data shaping unit 22, and an index value calculation unit 23.
ＲＲＩ取得手段２１は、上記ＲＲＩセンサ１０により送出されるＲＲＩデータを取得するものである。ＲＲＩセンサ１０としては、心電図信号を出力するものでもよく、この場合には、ＲＲＩ取得手段２１が心電図信号に基づきＲＲＩデータを作成する。データ整形手段２２は、所定周波数成分の除去であるトレンド除去、異常値除去、データ補間、フィルタ処理の少なくとも１つを行う構成を備えている。 The RRI acquisition unit 21 acquires RRI data transmitted by the RRI sensor 10. The RRI sensor 10 may output an electrocardiogram signal. In this case, the RRI acquisition unit 21 creates RRI data based on the electrocardiogram signal. The data shaping means 22 has a configuration for performing at least one of trend removal, abnormal value removal, data interpolation, and filter processing, which is removal of a predetermined frequency component.
以上の構成の眠気推定ルール更新装置は、具体的には、図３に示す構成を有する。既に説明したＲＲＩセンサ１０と、眠気情報出力装置４０と、端末２０と、クラウドストレージ３０により構成される。端末２０は、スマートフォン、タブレット端末、モバイル端末などにより構成することができる。 Specifically, the sleepiness estimation rule updating apparatus having the above configuration has the configuration shown in FIG. The RRI sensor 10, the drowsiness information output device 40, the terminal 20, and the cloud storage 30 described above are configured. The terminal 20 can be configured by a smartphone, a tablet terminal, a mobile terminal, or the like.
端末２０は、ＣＰＵの制御によって処理を行うものであり、処理中のデータなどを一時保持するためのメモリ、タッチ画面による情報やコマンドの入力と、各種データや画像の表示を行うことのできる入出力部、電話回線を介した通信やネットワークを介した通信などを行う通信部、時刻データを取り出すためのタイマを有する。更に、各種のアプリケーションプログラム、応用ソフト、各種ブラウザ、本実施形態において行うデータ取得やデータ整形等のデータ処理を行うためのデータ処理プログラム、眠気推定ルール更新処理を行うための眠気推定ルール更新プログラム、各種の処理データを記憶するための記憶装置を備えている。 The terminal 20 performs processing under the control of the CPU. The terminal 20 is a memory for temporarily storing data being processed, input of information and commands via a touch screen, and input of various data and images. An output unit, a communication unit that performs communication via a telephone line or communication via a network, and a timer for extracting time data are included. Furthermore, various application programs, application software, various browsers, a data processing program for performing data processing such as data acquisition and data shaping performed in the present embodiment, a sleepiness estimation rule update program for performing sleepiness estimation rule update processing, A storage device for storing various processing data is provided.
クラウドストレージ３０は、ＣＰＵの制御によって処理を行うものであり、処理中のデータなどを一時保持するための一時記憶などを行うメモリ、ネットワークを介した通信（ここでは、主に端末２０との間の通信）などを行う通信部、本実施形態において行うデータ取得やデータ整形等のデータ処理を行うためのデータ処理プログラム、眠気推定ルール更新処理を行うための眠気推定ルール更新プログラム、各種の処理データを記憶するための記憶装置を備えている。 The cloud storage 30 performs processing under the control of the CPU. The cloud storage 30 performs temporary storage for temporarily storing data being processed and the like, and communication via a network (here, mainly between the terminal 20 and the cloud storage 30). Communication unit for performing communication processing, data processing program for performing data processing such as data acquisition and data shaping performed in the present embodiment, sleepiness estimation rule update program for performing sleepiness estimation rule update processing, various processing data Is provided with a storage device.
以上の構成を有する眠気推定ルール更新装置では、眠気推定処理プログラムによってＣＰＵが図４に示すフローチャートに対応する処理を行う。クラウドストレージ３０には、図４に示すセンサ特性情報１１０１、眠気推定ルール１１０２、更新ルール１１０３が備えられている。センサ特性情報１１０１は、センサ機種の違いによる特性差を吸収するために、図４に示すデータ整形手段２２においてＲＲＩデータを補正する目的で利用されるもので、例えば、ＱＲＳ波のピークが尖鋭でない特性や尖鋭であるが誤差が大きい特性となっている場合を補正値により補正する。クラウドストレージ３０にセンサ特性情報１１０１が存在しない場合は、特にセンサ機種の違いを吸収する目的での補正を行わなくとも良い。 In the sleepiness estimation rule updating apparatus having the above configuration, the CPU performs processing corresponding to the flowchart shown in FIG. 4 by the sleepiness estimation processing program. The cloud storage 30 includes the sensor characteristic information 1101, the sleepiness estimation rule 1102, and the update rule 1103 shown in FIG. The sensor characteristic information 1101 is used for the purpose of correcting the RRI data in the data shaping unit 22 shown in FIG. 4 in order to absorb the characteristic difference due to the difference in the sensor model. For example, the peak of the QRS wave is not sharp. A characteristic or sharpness but a characteristic with a large error is corrected by a correction value. When the sensor characteristic information 1101 does not exist in the cloud storage 30, it is not necessary to perform correction particularly for the purpose of absorbing differences in sensor models.
眠気推定ルール１１０２は、活動指標の値に関する閾値及び／または変動状態により評価する推定関数によって構成されるものである。上記眠気推定ルール１１０２の推定関数は、後に詳述するが、上記活動指標と対応するそれぞれの閾値との比較条件と、所定変動状態の有無の条件とを含み、これら条件をアンドとオアとノットのいずれかを用いるか又はこの２以上を用いて結合させて形成することができる。更新ルール１１０３は、後に図１５に示すような眠気推定ルール１１０２の更新を実行するための処理手順とすることができる。 The sleepiness estimation rule 1102 is configured by an estimation function that is evaluated based on a threshold value related to the value of an activity index and / or a fluctuation state. Although the estimation function of the sleepiness estimation rule 1102 will be described in detail later, it includes a comparison condition between the activity index and each threshold value corresponding thereto, and a condition of presence / absence of a predetermined fluctuation state, and these conditions are defined as AND, OR, and NOT. Any of these may be used, or these two or more may be combined to form. The update rule 1103 can be a processing procedure for executing the update of the sleepiness estimation rule 1102 as shown in FIG. 15 later.
図４に示される処理では、初めに開始処理部２０１が実行され、続いてループ開始部２０２が起動され、以下順次に、ＲＲＩ取得手段２１以降が実行される。ループ開始部２０２とループ終了判定部２０３に挟まれた処理はループ処理であり、ループ終了判定部２０３で終了と判定されるまでループが継続される。この場合の終了は、例えば端末２０からユーザが所定のキー操作を行うことにより実行させることができる。上記ループ処理では、処理がＲＲＩ取得手段２１に戻る度に、ループカウンタｃｎｔをカウントアップする。ここに、ｃｎｔ＝０，１，２，・・・（ｃｎｔの開始値はゼロ）とする。 In the process shown in FIG. 4, the start processing unit 201 is first executed, then the loop start unit 202 is activated, and the RRI acquisition unit 21 and the subsequent steps are sequentially executed thereafter. The process sandwiched between the loop start unit 202 and the loop end determination unit 203 is a loop process, and the loop is continued until the loop end determination unit 203 determines the end. The termination in this case can be executed by the user performing a predetermined key operation from the terminal 20, for example. In the loop processing, the loop counter cnt is incremented every time the processing returns to the RRI acquisition means 21. Here, cnt = 0, 1, 2,... (Starting value of cnt is zero).
ループ処理（ループ開始部２０２からループ終了判定部２０３の間）は、開始処理部２０１で決定される指標値計算時間間隔ＤＴ［秒］毎に実施される。この理由により、ＲＲＩセンサ１０による測定開始時刻をＴ０、１回のループ処理で扱うＲＲＩのデータ長をＬＴ［秒］間分とすると、ｃｎｔ回目のループ処理では、時刻Ｔ０＋ｃｎｔ×ＤＴ〜時刻Ｔ０＋ｃｎｔ×ＤＴ＋ＬＴまでの、ＬＴ［秒］間に取得されたＲＲＩデータが処理される。 The loop processing (between the loop start unit 202 and the loop end determination unit 203) is performed every index value calculation time interval DT [seconds] determined by the start processing unit 201. For this reason, assuming that the measurement start time by the RRI sensor 10 is T0, and the data length of RRI handled in one loop process is LT [seconds], in the cnt loop process, time T0 + cnt × DT to time T0 + cnt × RRI data acquired in LT [seconds] up to DT + LT is processed.
開始処理部２０１では、本処理で実施される各処理のパラメータを設定する。パラメータとは、以降のループ処理（ループ開始部２０２からループ終了判定部２０３の間）による再処理の時間間隔ＤＴ［秒］（指標値計算時間間隔）、１回のループ処理で扱うＲＲＩデータ長ＬＴ［秒］間分をはじめとし、以降のデータ整形手段２２におけるデータ整形処理のパラメータ、定数類、以降の指標値計算手段２３における心拍解析のパラメータ類、定数類である。パラメータは、通常は予め用意しているデフォルト値を利用することができるが、幾つかの候補パラメータを用意しておき、所定のタイミングなどで変更手続きを実行して変更してもよい。 The start processing unit 201 sets parameters for each process performed in this process. The parameter is a time interval DT [seconds] (index value calculation time interval) of reprocessing by the subsequent loop processing (between the loop start unit 202 and the loop end determination unit 203), and the RRI data length handled in one loop processing The interval includes LT [seconds], data shaping processing parameters and constants in subsequent data shaping means 22, and heart rate analysis parameters and constants in subsequent index value calculation means 23. Normally, a default value prepared in advance can be used as the parameter, but some candidate parameters may be prepared and changed by executing a change procedure at a predetermined timing or the like.
更に開始処理部２０１では、クラウドストレージ３０に接続し、現状の眠気推定ルール１１０２、更新ルール１１０３を読み込む。更新された眠気推定ルール１１０２は、更新手段３３からクラウドストレージ３０へ送出され、次の更新の際に現状の眠気推定ルール１１０２として本実施形態に係る眠気推定ルール更新装置へ送出される。 Further, the start processing unit 201 connects to the cloud storage 30 and reads the current sleepiness estimation rule 1102 and the update rule 1103. The updated drowsiness estimation rule 1102 is sent from the updating unit 33 to the cloud storage 30, and is sent to the drowsiness estimation rule updating apparatus according to the present embodiment as the current drowsiness estimation rule 1102 at the next update.
開始処理部２０１の処理及びループ開始部２０２の起動に続いてＲＲＩ取得手段２１の処理が実行される。ＲＲＩ取得手段２１では、測定開始時刻Ｔ０、ＲＲＩ時間長ＬＴ、指標値計算時間間隔ＤＴを用いて以下を順次実行する。即ち、ＲＲＩセンサ１０からＲＲＩ（整形前）１００１をリアルタイムに取得する。例えば、図５に示されるようなデータを取得する。図５の例では、ＲＲＩセンサ１０からはじめに「６８０」（単位は［ミリ秒］）を取り込み、以降、「７１０」，「５９３」，「８２７」，・・・とデータを取得したことを示している。 Following the processing of the start processing unit 201 and the activation of the loop start unit 202, the processing of the RRI acquisition unit 21 is executed. The RRI acquisition unit 21 sequentially executes the following using the measurement start time T0, the RRI time length LT, and the index value calculation time interval DT. That is, the RRI (before shaping) 1001 is acquired from the RRI sensor 10 in real time. For example, data as shown in FIG. 5 is acquired. In the example of FIG. 5, “680” (unit: [milliseconds]) is first fetched from the RRI sensor 10, and data “710”, “593”, “827”,. ing.
次に、ＲＲＩ取得手段２１では、ＲＲＩセンサ１０に内蔵されるタイマ、或いは端末２０に内蔵されるタイマから１つのＲＲＩデータが発生した時刻１００２を取得する。時刻１００２とＲＲＩ（整形前）１００１を対応付けたデータを、ＲＲＩ２（整形前）１０１２に追加・蓄積する。例えば、図６に示されるデータであり、図６では、ＲＲＩセンサ１０から取得した初めのデータが１５時０９分１９秒６００ミリ秒の時刻のものであり、以降、図６中に示される時刻のデータであることを示している。 Next, the RRI acquisition unit 21 acquires a time 1002 when one piece of RRI data is generated from a timer built in the RRI sensor 10 or a timer built in the terminal 20. Data that associates the time 1002 with the RRI (before shaping) 1001 is added and stored in the RRI2 (before shaping) 1012. For example, in the data shown in FIG. 6, in FIG. 6, the first data acquired from the RRI sensor 10 has a time of 15: 09: 19: 600 milliseconds, and the time shown in FIG. It shows that it is data of.
ＲＲＩ２（整形前）１０１２のうち、所定の時刻から所定の時刻までを抽出してＲＲＩ３（整形前）１０１３を生成する。指標値計算開始時刻Ｔ０、図４のフローチャートによる処理の第ｃｎｔ回目のループでは（ｃｎｔ＝０，１，２，・・・）、時刻Ｔ０＋ｃｎｔ×ＤＴ〜時刻Ｔ０＋ｃｎｔ×ＤＴ＋ＬＴまでのＬＴ秒間に取得されたＲＲＩを扱う。 The RRI2 (before shaping) 1012 is extracted from a predetermined time to a predetermined time to generate an RRI3 (before shaping) 1013. The index value calculation start time T0 is acquired in LT seconds from time T0 + cnt × DT to time T0 + cnt × DT + LT in the cnt-th loop of the processing according to the flowchart of FIG. 4 (cnt = 0, 1, 2,...). Handles RRI.
尚、以降のデータ整形手段２２の補間処理において、時刻Ｔ０＋ｃｎｔ×ＤＴ〜時刻Ｔ０＋ｃｎｔ×ＤＴ＋ＬＴの前後１つずつのデータも必要になるため、時刻Ｔ０＋ｃｎｔ×ＤＴ〜時刻Ｔ０＋ｃｎｔ×ＤＴ＋ＬＴまでのＬＴ秒間に取得されたＲＲＩと、その前後１つずつのＲＲＩを含めたものが、図９のＲＲＩ３（整形前）１０１３である。 In the subsequent interpolation processing of the data shaping means 22, one piece of data before and after the time T0 + cnt × DT to the time T0 + cnt × DT + LT is also required. The RRI 3 (before shaping) 1013 in FIG. 9 includes the RRI thus performed and one RRI before and after the RRI.
例えば、指標値計算開始時刻Ｔ０が１５時１０分２０秒、ＬＴ＝３００［秒］（＝５［分］）、ＤＴ＝１０秒、ｃｎｔ＝０、の場合は、時刻１５時１０分２０秒〜１５時１５分２０秒までのデータに、１５時１０分２０秒の１つ前のデータと、１５時１５分２０秒の１つ後のデータを含めた図７に示すようなデータである。 For example, when the index value calculation start time T0 is 15:10:20, LT = 300 [seconds] (= 5 [minutes]), DT = 10 seconds, and cnt = 0, the time is 15:10:20. Data up to 15:15:20 include data immediately before 15:10:20 and data after 15:15:20, as shown in FIG. .
ｃｎｔ＝３の場合は、時刻１５時１０分５０秒〜１５時１５分５０秒までのデータに、１５時１０分５０秒の１つ前のデータと、１５時１５分５０秒の１つ後のデータを含めた図８に示すようなデータである。 In the case of cnt = 3, the data from 15:10:50 to 15:15:50, the data immediately before 15:10:50 and the one after 15:15:50 The data as shown in FIG.
ＲＲＩ取得手段２１による処理に続いてデータ整形手段２２による処理が行われる。データ整形手段２２は、処理手法の相違により、複数の構成から所要のものが選択されるが、ここでは、その詳細を省略する。 Subsequent to the processing by the RRI acquisition unit 21, processing by the data shaping unit 22 is performed. As the data shaping means 22, a required one is selected from a plurality of configurations depending on the processing method, but the details are omitted here.
次に、図９に示されている指標値計算手段２３の説明を行う。指標値計算手段２３は、指標１計算部２３２−１〜指標ｍ計算部２３２−ｍと、ベクトル化部２３３によって構成される。指標１計算部２３２−１〜指標ｍ計算部２３２−ｍでは、ＲＲＩ３（整形前）１０１３およびＲＲＩ（整形後）１０１４を用いて、心拍変動に基づく自律神経の活動指標（複数）をｍ個算出する。 Next, the index value calculation means 23 shown in FIG. 9 will be described. The index value calculation unit 23 includes an index 1 calculation unit 232-1 to an index m calculation unit 232-m and a vectorization unit 233. The index 1 calculator 232-1 to the index m calculator 232-m calculate m autonomic nerve activity indices (plurality) based on heart rate variability using RRI3 (before shaping) 1013 and RRI (after shaping) 1014. To do.
本実施形態において用いる、心拍変動に基づく自律神経の活動指標（複数）とは、例えば以下ものを挙げることができる。
・積率統計量に関する活動指標
ＳＤＲＲ：ＲＲＩの標準偏差（交感神経と副交感神経の活動指標）
ＲＭＳＳＤ：隣接するＲＲＩの差の二乗平均値の平方根（副交感神経の活動指標）
ＳＤＳＤ：隣接するＲＲＩの差の標準偏差（副交感神経の活動指標）
ｐＲＲ５０：隣接するＲＲＩの差が５０［ミリ秒］を超える割合（副交感神経の活動指標）
Examples of the autonomic nerve activity index (plurality) based on heart rate variability used in the present embodiment include the following.
-Activity index related to product moment statistics SDRR: RRI standard deviation (sympathetic and parasympathetic activity index)
RMSSD: root mean square of adjacent RRI differences (parasympathetic activity index)
SDSD: Standard deviation of the difference between adjacent RRIs (parasympathetic activity index)
pRR50: Rate at which the difference between adjacent RRIs exceeds 50 [milliseconds] (parasympathetic activity index)
・スペクトル解析に基づく活動指標
ＬＦ：ＰＳＤの０．０４〜０．１５［Ｈｚ］のパワー（主として交感神経の活動指標）
ＨＦ：ＰＳＤの０．１５〜０．４０［Ｈｚ］のパワー（副交感神経の活動指標）
ＨＦ／（ＬＦ＋ＨＦ）（副交感神経の活動比率）
特定周波数帯のパワーｐｉ（ｉ＝０，１，２，・・・，９）：ＰＳＤの０．１５＋ｉ×０．０２５〜０．１５＋（ｉ＋１）×０．０２５［Ｈｚ］のパワー（副交感神経の個別周波数帯の活動指標）
-Activity index based on spectrum analysis LF: PSD 0.04-0.15 [Hz] power (mainly sympathetic activity index)
HF: PSD 0.15-0.40 [Hz] power (parasympathetic activity index)
HF / (LF + HF) (parasympathetic activity ratio)
Specific frequency band power p i (i = 0, 1, 2,..., 9): PSD 0.15 + i × 0.025-0.15 + (i + 1) × 0.025 [Hz] power (sub-sympathy Activity index for individual frequency bands
積率統計量に関する活動指標は、ＲＲＩ３（整形前）１０１３のデータを
ｘｉ（１≦ｉ≦ｍ）としたとき、以下の式により与えられる。
The activity index related to the product moment statistic is given by the following equation when the data of RRI3 (before shaping) 1013 is x i (1 ≦ i ≦ m).
スペクトル解析に基づく指標の算出は、はじめに図９に示すＲＲＩ（整形後）１０１４（即ち、｛ｘｉ｝系列（１≦ｉ≦ｍ））について、ＦＦＴ、最大エントロピー法等を適用してＰＳＤ（パワースペクトル密度関数）を求める。ＦＦＴ算出については良く知られており、ここではその詳細説明を省略する。 The calculation of the index based on the spectrum analysis is first performed by applying the FFT, the maximum entropy method, etc. to the RRI (after shaping) 1014 (that is, the {x i } sequence (1 ≦ i ≦ m)) shown in FIG. Power spectral density function). The FFT calculation is well known, and detailed description thereof is omitted here.
図１０は、ＦＦＴ直接法により得たＰＳＤを示す図である。また、図１１は、最大エントロピー法（burg法）により求めたＰＳＤを示す図である。ＰＳＤを求める手法としては、上記の他に、ＦＦＴとＡＲモデル予測（Yule-Walker 法）により求める手法がある。 FIG. 10 is a diagram showing PSD obtained by the FFT direct method. FIG. 11 is a diagram showing PSD obtained by the maximum entropy method (burg method). As a method for obtaining the PSD, there is a method for obtaining by PSD and AR model prediction (Yule-Walker method) in addition to the above.
周波数ｆにおけるパワースペクトル密度関数をＰＳＤ（ｆ）と表すと、ＬＦ、ＨＦは以下の式により与えられる。尚、ＬＦ、ＨＦの積分区間の定義は諸説あり、定まったものは存在しない。従って、以下の式における積分区間は一例である。 When the power spectral density function at the frequency f is expressed as PSD (f), LF and HF are given by the following equations. There are various theories about the definition of the integration interval of LF and HF, and there is no fixed one. Therefore, the integration interval in the following formula is an example.
上記の「スペクトル解析に基づく指標」においては、ＨＦ／(ＬＦ＋ＨＦ）を指標として示したが、Ratio は、ＬＦ／（ＬＦ＋ＨＦ）であっても、ＨＦ／ＬＦであっても良い。特定周波数帯のパワーｐｉ（ｉ＝０，１，２，・・・，９）は、本願発明者が初めて提供する独自の指標であり、上記ＨＦの積分区間が０．１５〜０．４０［Ｈｚ］であるところを、該区間を１０分割し、分割区間単位でパワーを算出するものである。即ち、次の式により示す処理によりパワーを求める。 In the above “index based on spectrum analysis”, HF / (LF + HF) is shown as an index, but Ratio may be LF / (LF + HF) or HF / LF. The power p i (i = 0, 1, 2,..., 9) in the specific frequency band is a unique index that the present inventor provides for the first time, and the integration interval of the HF is 0.15 to 0.40. The section at [Hz] is divided into 10 sections, and the power is calculated in units of divided sections. That is, the power is obtained by the processing shown by the following equation.
図１２は、ＦＦＴ直接法により得たＰＳＤの上記０．１５〜０．４０［Ｈｚ］の区間を、区間Ｉから区間Ｘまでの１０区間に分割し、各区間でパワーを求めることを示す図である。また、図１３は、最大エントロピー法（burg法）により求めたＰＳＤの上記０．１５〜０．４０［Ｈｚ］の区間を、区間Ｉから区間Ｘまでの１０区間に分割し、各区間でパワーを求めることを示す図である。勿論、分割数１０は一例であり、２以上の任意の数の区間に分割しても良い。 FIG. 12 is a diagram showing that the above 0.15 to 0.40 [Hz] section of PSD obtained by the FFT direct method is divided into 10 sections from section I to section X, and power is obtained in each section. It is. Further, FIG. 13 shows that the above 0.15 to 0.40 [Hz] section of PSD obtained by the maximum entropy method (burg method) is divided into 10 sections from section I to section X. FIG. Of course, the division number 10 is an example, and it may be divided into an arbitrary number of sections of 2 or more.
上記の実施形態において、眠気推定処理の第ｃｎｔ回目のループでは、時刻Ｔ０＋ｃｎｔ×ＤＴ〜時刻Ｔ０＋ｃｎｔ×ＤＴ＋ＬＴまでのＬＴ秒間に取得されたＲＲＩを用いて、ＳＤＲＲ、ＲＭＳＳＤ、ＳＤＳＤ、ｐＲＲ５０、ＬＦ、ＨＦ、ＨＦ／（ＬＦ＋ＨＦ）、ｐ０、ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、ｐ６、ｐ７、ｐ８、ｐ９のｍ（＝１７）個の指標の指標値が算出される。本実施形態では、上記１７の指標名と、指標変数及びその閾値は、図１４に示す如き対応があるものとする。 In the above embodiment, in the cnt-th loop of sleepiness estimation processing, using the RRI acquired in LT seconds from time T0 + cnt × DT to time T0 + cnt × DT + LT, SDRR, RMSSD, SDSD, pRR50, LF, HF , HF / (LF + HF), p 0 , p 1 , p 2 , p 3 , p 4 , p 5 , p 6 , p 7 , p 8 , p 9 index values are calculated. Is done. In the present embodiment, it is assumed that the above 17 index names, index variables, and threshold values have correspondence as shown in FIG.
以降では，それぞれの指標値をｙｊ（ｊ＝１，２，３，…，ｍ）と表記する。特に、時刻Ｔ０＋ｃｎｔ×ＤＴ＋ＬＴ（ｃｎｔ値に依存）における指標値であることを表す場合には、ｙｊ，ｃｎｔ（ｊ＝１，２，３，…，ｍ）、（ｃｎｔ＝０，１，２，３，…）と表記する。すなわち、ｙα，βは、時刻Ｔ０＋β×ＤＴ〜時刻Ｔ０＋β×ＤＴ＋ＬＴまでのＬＴ秒間に取得されたＲＲＩから算出されたα番目の指標値を意味する。 Hereinafter, each index value is expressed as y j (j = 1, 2, 3,..., M). In particular, y j , cnt (j = 1, 2, 3,..., M), (cnt = 0, 1, 2, when representing an index value at time T0 + cnt × DT + LT (depending on the cnt value) , 3, ...). That is, y α, β means an α-th index value calculated from RRI acquired during LT seconds from time T0 + β × DT to time T0 + β × DT + LT.
図９に示すベクトル化部２３３では、眠気推定処理の第ｃｎｔ回目のループで算出される指標値をベクトル化する。すなわち、時刻Ｔ０＋ｃｎｔ×ＤＴ〜時刻Ｔ０＋ｃｎｔ×ＤＴ＋ＬＴまでのＬＴ秒間に取得されたＲＲＩに基づき生成された指標値ｙ１，ｃｎｔ〜ｙｍ，ｃｎｔをまとめてベクトル化する。これにより、指標値ベクトル１０２１
ＹＹｃｎｔ＝｛ｙ１，ｃｎｔ，ｙ２，ｃｎｔ，ｙ３，ｃｎｔ，・・・・，ｙｍ，ｃｎｔ｝を生成する。ベクトルの標記は、文中ではＹＹのように、大文字を連続記載したものとする。以降、ＹＹｃｎｔは、時刻Ｔ０＋ｃｎｔ×ＤＴ＋ＬＴにおける指標値ベクトルとして扱う。
The vectorization unit 233 shown in FIG. 9 vectorizes the index value calculated in the cnt-th loop of the sleepiness estimation process. That is, the time T0 + cnt × DT~ time T0 + cnt × DT + index value generated based on the obtained RRI to LT seconds to LT y 1, cnt ~y m, vectorized together cnt. Thereby, the index value vector 1021
YY cnt = {y 1, cnt , y 2, cnt , y 3, cnt ,..., Ym , cnt } is generated. In the text, the capital letters are continuously written as YY in the text. Hereinafter, YY cnt is treated as an index value vector at time T0 + cnt × DT + LT.
図４に示す指標値計算手段２３に備えられる、指標値ベクトルの時系列化部の説明を行う。指標値ベクトルの時系列化部では、眠気推定処理の第ｋ回目（０≦ｃｎｔ≦ｋ）までに算出された指標値ベクトルＹＹｋをまとめて、指標値ベクトル時系列１０５１：ＤＤ＝｛ＹＹ０，ＹＹ１，ＹＹ２，・・・，ＹＹｋ｝を生成する。 An index value vector time series unit provided in the index value calculation unit 23 shown in FIG. 4 will be described. In the index value vector time series unit, the index value vectors YY k calculated up to the k-th time (0 ≦ cnt ≦ k) of the sleepiness estimation process are collected and index value vector time series 1051: DD = {YY 0 , YY 1 , YY 2 ,..., YY k }.
次に、指標値計算手段２３における指標値ベクトルの時系列化部の処理に次いで処理を行う上記眠気データ取得手段５１の説明を行う。既述の通り、端末２０にはＲＲＩセンサ１０以外に眠気情報出力装置４０が接続されている。眠気データ取得手段５１は、眠気情報出力装置４０により被検者（ユーザ）の客観的な眠気データを収集する。
Next, the drowsiness data acquisition unit 51 that performs processing following the processing of the index value vector time series unit in the index value calculation unit 23 will be described. As described above, the sleepiness information output device 40 is connected to the terminal 20 in addition to the RRI sensor 10. The sleepiness data acquisition means 51 collects objective sleepiness data of the subject (user) by the sleepiness information output device 40.
眠気情報出力装置４０の例１は、被検者が眠気を催した際に、端末２０の所定位置をタッチすることにより、おおよその眠気発生時刻を収集する構成とすることができる。タッチの回数により、被検者の主観的な眠気の度合いも測定するとしてもよい。 Example 1 of the drowsiness information output device 40 may be configured to collect approximate drowsiness occurrence times by touching a predetermined position of the terminal 20 when the subject is drowsy. The degree of subjective sleepiness of the subject may be measured by the number of touches.
処理の第ｃｎｔ回目のループでは、時刻Ｔ０＋ｃｎｔ×ＤＴ〜時刻Ｔ０＋ｃｎｔ×ＤＴ＋ＬＴまでの時間間隔ＬＴの間に収集したタッチの回数を収集する。この場合のデータ構造は、Ｑ１，ｃｎｔ＝｛０，１｝（０：眠気なし，１：眠気あり）、或いは、Ｑ１，ｃｎｔ＝｛０，１，２，・・・｝（０：眠気なし，１以降：被検者の主観的な眠気の度合い）とすることができる。 In the cnt-th loop of processing, the number of touches collected during the time interval LT from time T0 + cnt × DT to time T0 + cnt × DT + LT is collected. In this case, the data structure is Q 1, cnt = {0,1} (0: no sleepiness, 1: sleepiness), or Q 1, cnt = {0,1,2, ...} (0: No sleepiness, 1 or later: Subjective degree of subjective sleepiness).
眠気情報出力装置４０の例２は、被検者をビデオ撮影し、画像認識処理の結果、眠気と判定される時刻を収集するものである。 Example 2 of the drowsiness information output device 40 is to capture a video of a subject and collect a time determined to be drowsiness as a result of image recognition processing.
処理の第ｃｎｔ回目のループでは、時刻Ｔ０＋ｃｎｔ×ＤＴ〜時刻Ｔ０＋ｃｎｔ×ＤＴ＋ＬＴまでの時間間隔ＬＴの間に少なくとも１回の動画像認識評価を行う。この場合のデータ構造は、Ｑ２，ｃｎｔ＝｛０，１｝（０：眠気なし，１：眠気あり）或いは、Ｑ２，ｃｎｔ＝｛０，１，２，・・・｝（０：眠気なし，１以降：画像認識結果による眠気の度合い）とすることができる。 In the cnt-th loop of processing, at least one moving image recognition evaluation is performed during a time interval LT from time T0 + cnt × DT to time T0 + cnt × DT + LT. The data structure in this case is Q 2, cnt = {0,1} (0: no sleepiness, 1: sleepiness) or Q 2, cnt = {0,1,2, ...} (0: sleepiness) None, 1 or later: degree of sleepiness based on the image recognition result).
眠気情報出力装置４０は、上記例１、例２に示した如く、処理の第ｃｎｔ回目のループ、すなわち時刻Ｔ０＋ｃｎｔ×ＤＴ〜時刻Ｔ０＋ｃｎｔ×ＤＴ＋ＬＴまでの時間間隔ＬＴの間に、少なくとも１回の眠気評価を行い、少なくとも２値化された眠気データを収集可能な手段であれば、その構成に限定はない。 As shown in Examples 1 and 2, the drowsiness information output device 40 performs at least one drowsiness during the cnt loop of processing, that is, during the time interval LT from time T0 + cnt × DT to time T0 + cnt × DT + LT. The configuration is not limited as long as it is a means that can evaluate and collect at least binarized drowsiness data.
眠気情報出力装置４０の数をｗとする。第ｓ番目（１≦ｓ≦ｗ）の眠気情報出力装置４０により、処理の第ｃｎｔ回目のループ、すなわち時刻Ｔ０＋ｃｎｔ×ＤＴ〜時刻Ｔ０＋ｃｎｔ×ＤＴ＋ＬＴまでの時間間隔ＬＴの間に得た眠気データをＱｓ，ｃｎｔとする（ｓ＝１，２，・・・，ｗ）。 Let w be the number of sleepiness information output devices 40. The sleepiness data obtained by the s-th (1 ≦ s ≦ w) drowsiness information output device 40 during the cnt-th loop of processing, that is, during the time interval LT from time T0 + cnt × DT to time T0 + cnt × DT + LT is Q Let s and cnt be (s = 1, 2,..., w).
上記のようにして眠気データ取得手段５１が眠気データ収集処理を行うと、次には、ループ終了判定部２０３が処理を行う。ここで、ループ終了判定部２０３においてＮＯへ分岐した場合には、ループ開始部２０２からＲＲＩ取得手段２１の処理へ戻り、次ステップ以降のループ処理が行われる。一方、所定時間分の眠気データの取得終了などのイベント発生により、ループ終了判定部２０３はＹＥＳへ分岐し、ループ終了部２０４が処理を行う。 When the drowsiness data acquisition unit 51 performs the drowsiness data collection process as described above, the loop end determination unit 203 performs the process next. Here, when the loop end determination unit 203 branches to NO, the process returns from the loop start unit 202 to the processing of the RRI acquisition unit 21, and the loop processing after the next step is performed. On the other hand, when an event such as the end of acquisition of sleepiness data for a predetermined time occurs, the loop end determination unit 203 branches to YES, and the loop end unit 204 performs processing.
ループ終了部２０４は、前述のループ処理終了毎に得られたＲＲＩ２（整形前）１０１２をクラウドストレージ３０へ取得済ＲＲＩ１０１２Ｘとして蓄積し、眠気データ１００３をクラウドストレージ３０へ取得済眠気データ１００３Ｘとして蓄積し、既に得られている指標値ベクトル時系列１０５１をクラウドストレージ３０へ所定期間の指標値ベクトル時系列１０５１Ｘとして蓄積する。ループ終了部２０４による処理の次には、参照データ生成手段５２による処理が行われることになる。 The loop end unit 204 stores the RRI2 (before shaping) 1012 obtained every time the loop processing is completed as the acquired RRI 1012X in the cloud storage 30, and stores the sleepiness data 1003 as the acquired sleepiness data 1003X in the cloud storage 30. The index value vector time series 1051 already obtained is stored in the cloud storage 30 as the index value vector time series 1051X for a predetermined period. Following the processing by the loop end unit 204, processing by the reference data generation unit 52 is performed.
参照データ生成手段５２は、クラウドストレージ３０に蓄積されている第ｃｎｔ回目のループで収集した眠気データである取得済眠気データ１００３Ｘを取り出し、これをまとめてベクトル化し、眠気データベクトルＱＱｃｎｔ＝｛Ｑ１，ｃｎｔ，Ｑ２，ｃｎｔ，・・・｝を生成する。 Reference data generating means 52 takes out the first cnt th loop collected sleepiness data a is acquired already sleepiness data 1003X of stored in the cloud storage 30, vectorized together this, sleepiness data vector QQ cnt = {Q 1, cnt , Q 2, cnt,.
眠気データのベクトル化の次には、参照データ生成手段５２の図示しない眠気データベクトルの時系列化部が処理を行う。この眠気データベクトルの時系列化部による処理は、指標値ベクトルの時系列化部と同様に、ループ処理の第ｋ回目（０≦ｃｎｔ≦ｋ）までに収集した眠気データベクトルＱＱｋをまとめて眠気データベクトル時系列ＥＥ＝｛ＱＱ０，ＱＱ１，ＱＱ２，・・・，ＱＱｋ｝を生成する。 After the sleepiness data vectorization, a sleepiness data vector time series not shown of the reference data generation means 52 performs the processing. The processing by the time series unit of the drowsiness data vector is performed by collecting the drowsiness data vectors QQ k collected up to the k-th loop processing (0 ≦ cnt ≦ k) in the same manner as the index value vector time series unit. The sleepiness data vector time series EE = {QQ 0 , QQ 1 , QQ 2 ,..., QQ k } is generated.
ここで、眠気データベクトル時系列ＥＥ＝｛ＱＱ０，ＱＱ１，ＱＱ２，・・・，ＱＱｋ｝の例を示して説明する。また、眠気情報出力装置４０として、（１）眠気時に被検者が端末２０のパネルの該当部をタッチすることによる自己申告の眠気情報（主観的眠気情報）と、（２）ビデオ画像撮影と画像処理（顔認識処理等）による眠気情報（客観的眠気情報）を例とする。 Here, an example of sleepiness data vector time series EE = {QQ 0 , QQ 1 , QQ 2 ,..., QQ k } will be described and described. Further, as the sleepiness information output device 40, (1) self-reported sleepiness information (subjective sleepiness information) when the subject touches the corresponding part of the panel of the terminal 20 during sleepiness, (2) video image shooting, Take sleepiness information (objective sleepiness information) by image processing (face recognition processing, etc.) as an example.
処理時刻を意味するｃｎｔ値をｋとする。被検者によるパネルをタッチの場合には、例えば、パネルの該当部にタッチした場合は１、タッチしない場合は０として、本ループ処理の時間間隔ＤＴにて処理を行って時系列データを生成する（参照データ生成手段５２）。 The cnt value that represents the processing time is k. In the case of touching the panel by the subject, for example, 1 is set when the corresponding part of the panel is touched, and 0 is set when the touch is not performed, and processing is performed at the time interval DT of this loop processing to generate time series data. (Reference data generating means 52).
また、ビデオ画像撮影と画像処理（顔認識処理等）の場合には、目が細くなり、瞼の動作がなく、顔全体に動きが無い状態を１（眠気）、瞼のまばたき時間以上に瞼を閉じている状態を２（寝ている）、その他の覚醒状態を０として、本ループ処理の時間間隔ＤＴにて処理を行って時系列データを生成する（参照データ生成手段５２）。 In the case of video image capturing and image processing (face recognition processing, etc.), a state in which the eyes become narrow, there is no movement of the eyelids, and there is no movement on the entire face is 1 (sleepiness), more than the blinking time of the eyelids. 2 is set to 2 (sleeping) and the other awakening state is set to 0, and processing is performed at the time interval DT of this loop processing to generate time-series data (reference data generation means 52).
データ生成により、眠気データベクトルＱＱは、例えば、次の通りになる。
ＱＱｋ−４＝｛０，０｝，ＱＱｋ−３＝｛０，１｝，ＱＱｋ−２＝｛０，１｝，ＱＱｋ−１＝｛０，２｝，ＱＱｋ＝｛１，０｝
By the data generation, the sleepiness data vector QQ is, for example, as follows.
QQ k−4 = {0, 0}, QQ k−3 = {0, 1}, QQ k−2 = {0, 1}, QQ k−1 = {0, 2}, QQ k = {1, 0}
尚、上記自己申告の手法は、画像処理よりも遅れて生じることが想定される。全眠気データベクトルＱＱｃｎｔを集めて眠気データベクトル時系列ＥＥ＝｛ＱＱ０，ＱＱ１，ＱＱ２，・・・，ＱＱｋ｝が生成される。 Note that the self-reporting method is assumed to occur later than the image processing. All sleepiness data vectors QQ cnt are collected to generate a sleepiness data vector time series EE = {QQ 0 , QQ 1 , QQ 2 ,..., QQ k }.
上記のようにして参照データ生成手段５２による処理が終了すると、次の更新手段５３によって以下の処理が行われる。更新手段５３は、指標値ベクトル時系列１０５１（ＤＤ＝｛ＹＹ０，ＹＹ１，ＹＹ２，・・・，ＹＹｋ｝）または過去の所定期間内に取得した指標値ベクトル時系列１０５１を集合してクラウドストレージ３０に蓄積した所定期間の指標値ベクトル時系列１０５１Ｘと、眠気データベクトル時系列１０５２（ＥＥ＝｛ＱＱ０，ＱＱ１，ＱＱ２，・・・，ＱＱｋ｝）または過去の所定期間内に取得した眠気データベクトル時系列１０５２を集合してクラウドストレージ３０に蓄積した所定期間の眠気データベクトル時系列１０５２Ｘとを照合する。この照合に基づいて、更新手段５３は、眠気推定ルール１１０２（推定関数ｆ，閾値ベクトルＲＲ）を最適なものに更新する。 When the processing by the reference data generating unit 52 is completed as described above, the following processing is performed by the next updating unit 53. The updating unit 53 collects the index value vector time series 1051 (DD = {YY 0 , YY 1 , YY 2 ,..., YY k }) or the index value vector time series 1051 acquired within a predetermined period in the past. Index value vector time series 1051X and drowsiness data vector time series 1052 (EE = {QQ 0 , QQ 1 , QQ 2 ,..., QQ k }) stored in the cloud storage 30 for a predetermined period or a past predetermined period The drowsiness data vector time series 1052 acquired inside is collated with the drowsiness data vector time series 1052X of a predetermined period accumulated in the cloud storage 30. Based on this collation, the updating unit 53 updates the sleepiness estimation rule 1102 (estimation function f, threshold vector RR) to an optimum one.
更新ルールは、眠気推定ルール１１０２の更新に関するパラメータ及び更新関数ｇにより構成される。更新手段５３は、過去に取得したデータに対して統計的な分析手法を適用することにより、更新処理時点において最新かつ最適の推定関数を求めるものである。更新手段５３は、統計的な分析手法の種類に応じて様々なものとすることができ、複数種類を用意することができる。 The update rule includes a parameter related to updating the sleepiness estimation rule 1102 and an update function g. The update unit 53 obtains the latest and optimum estimation function at the time of the update process by applying a statistical analysis method to data acquired in the past. The update means 53 can be various according to the type of statistical analysis technique, and a plurality of types can be prepared.
眠気推定ルール１１０２は、更新されるパラメータ（閾値）及び推定関数により構成される。更新手段５３は、過去に取得したデータに対して統計的な分析手法を適用することにより、更新処理時点において最新かつ最適の閾値と推定関数を求めるものである。更新手段５３は、統計的な分析手法の種類に応じて様々なものとすることができ、複数種類を用意することができる。 The drowsiness estimation rule 1102 is configured by updated parameters (threshold values) and an estimation function. The update unit 53 obtains the latest and optimum threshold value and estimation function at the time of the update process by applying a statistical analysis method to data acquired in the past. The update means 53 can be various according to the type of statistical analysis technique, and a plurality of types can be prepared.
更新手段５３による眠気推定ルール更新処理の一例は、図１５のフローチャートに示すように行われる。まず、指標値ベクトルの時系列ＤＤと眠気データベクトルの時系列ＥＥとの照合が行われる（Ｓ１１）。このステップＳ１１では、眠気データベクトル時系列と指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行う活動指標を特定する。 An example of the sleepiness estimation rule update process by the update unit 53 is performed as shown in the flowchart of FIG. First, the time series DD of the index value vector and the time series EE of the drowsiness data vector are collated (S11). In this step S11, the correlation value of the cross-correlation between the sleepiness data vector time series and the index value vector time series is obtained, and the activity index to be updated is specified based on the correlation value.
より具体的には、指標値ベクトルの時系列ＤＤ＝｛ＹＹ０，ＹＹ１，ＹＹ２，・・・，ＹＹｋ｝と、眠気データベクトルの時系列ＥＥ＝｛ＱＱ０，ＱＱ１，ＱＱ２，・・・，ＱＱｋ｝の相関値（相互相関）を算出し、相関値の絶対値が所定値以上である指標を検出する。即ち、指標毎正の相関（または負の相関）が所定以上である指標を検出する。ここで、所定値は、例えば０．３などと決定しておけば良く、この値は当該システムに固定なものとしても良く、また適宜な場合に変更するようにしても良い。 More specifically, the time series DD = {YY 0 , YY 1 , YY 2 ,..., YY k } of the index value vector and the time series EE = {QQ 0 , QQ 1 , QQ 2 of the sleepiness data vector ,..., QQ k } are calculated, and an index whose absolute value is equal to or greater than a predetermined value is detected. That is, an index having a positive correlation (or negative correlation) for each index that is greater than or equal to a predetermined value is detected. Here, the predetermined value may be determined to be 0.3, for example, and this value may be fixed to the system or may be changed as appropriate.
相関値が所定値以上である指標については更新を行い、所定値未満の指標については更新を行わず、既存の眠気推定ルールをそのまま適用する。更新を行うと決定した指標のみを対象に、指標毎に以下の処理を実行する。眠気データベクトル時系列ＥＥ＝｛ＱＱ０，ＱＱ１，ＱＱ２，・・・，ＱＱｋ｝において「眠気有り」がセットされている全ての処理時刻における指標値を収集する（Ｓ１２）。 The index whose correlation value is greater than or equal to the predetermined value is updated, the index less than the predetermined value is not updated, and the existing sleepiness estimation rule is applied as it is. The following processing is executed for each index only for the index determined to be updated. Index values are collected at all processing times when “with sleepiness” is set in the sleepiness data vector time series EE = {QQ 0 , QQ 1 , QQ 2 ,..., QQ k } (S 12).
次に、相関関数の結果が正の相関がある場合には、収集した指標値について最低値を候補閾値とし、また、相関関数の結果が負の相関がある場合には、収集した指標値について最高値を候補閾値とする（Ｓ１３）。例えば、ＤＤとＥＥについて、第３番目の指標と第７番目の指標が高い正の相関があったとする。このとき、ＥＥにおいて１（眠気）を示すｃｎｔ値が、ｃｎｔ＝４３、１０１、２５２だったとする。このｃｎｔ値における指標値をＤＤから得る。即ち、第３番目の指標に関しては｛ｙ３，４３，ｙ３，１０１，ｙ３，２５２｝を得て、第７番目の指標に関しては｛ｙ７，４３，ｙ７，１０１，ｙ７，２５２｝を得る。このとき、｛ｙ３，４３，ｙ３，１０１，ｙ３，２５２｝の中で最低値が第３番目の候補閾値ｒ'３となり，｛ｙ７，４３，ｙ７，１０１，ｙ７，２５２｝の中で最低値が第７番目の候補閾値ｒ'７となる。 Next, when the correlation function result has a positive correlation, the lowest value of the collected index values is set as a candidate threshold, and when the correlation function result has a negative correlation, the collected index value The highest value is set as a candidate threshold value (S13). For example, assume that there is a high positive correlation between the third index and the seventh index for DD and EE. At this time, it is assumed that the cnt value indicating 1 (sleepiness) in EE is cnt = 43, 101, 252. The index value in this cnt value is obtained from DD. That is, {y 3,43 , y 3,101 , y 3,252 } is obtained for the third index, and {y 7,43 , y 7,101 , y 7, 252 }. In this case, {y 3,43, y 3,101, y 3,252} nadir third candidate threshold r '3 next in, {y 7,43, y 7,101, y 7, minimum value among the 252} is the seventh candidate thresholds r '7.
次に、候補閾値に対応する指標値ベクトル時系列１０５１または所定期間の指標値ベクトル時系列１０５１Ｘの全ての時刻において、候補閾値以上（以下）の値を有する時刻が占める割合γを求める（Ｓ１４）。次に、求めた割合γが、予め設定した割合以下（例えば、１０％以下）であるか否かを判定する（Ｓ１５）。ステップＳ１５においてＹＥＳとなると、この候補閾値を該当の指標における新たな閾値に更新する（Ｓ１６）。ここで、ステップＳ１５においてＹＥＳの場合を、前述の第３番目の指標（正の相関）について例示すると、r3 ＝r'3として閾値 r3を更新することになる。 Next, in all the times of the index value vector time series 1051 corresponding to the candidate threshold or the index value vector time series 1051X for a predetermined period, the ratio γ occupied by the time having a value equal to or greater than (or below) the candidate threshold is obtained (S14). . Next, it is determined whether or not the obtained ratio γ is equal to or less than a preset ratio (for example, 10% or less) (S15). If YES in step S15, the candidate threshold value is updated to a new threshold value for the corresponding index (S16). Here, a case of YES in step S15, when exemplified for the third index of the aforementioned (positive correlation) will update the threshold r 3 as r 3 = r '3.
一方、ステップＳ１５においてＮＯとなると、候補閾値の値を所定だけ増減させて（Ｓ１７）、ステップＳ１４に戻って処理を続ける。増減は、例えば増加によるループ処理を限界まで続け、限界となると元の値から減少によるループを行うようにすることができる。尚、ステップＳ１４へ戻った場合には、ステップＳ１５でＹＥＳとならなくとも、割合があらかじめ定めた割合に最も近い値を示したところでループを止め、その時点での候補閾値を該指標の新たな閾値としても良い。ステップＳ１５においてＮＯへ分岐した場合を前述の第３番目の指標（正の相関）について例示すると、前述の割合γが予め設定した割合に最も近い値となるようなr''3（＞ r'3 ）を再計算により求め、r3 ＝r''3，として閾値 r3を更新することになる。 On the other hand, if “NO” in the step S15, the value of the candidate threshold value is increased or decreased by a predetermined amount (S17), and the process returns to the step S14 to continue the processing. For the increase / decrease, for example, the loop processing by the increase is continued to the limit, and when the limit is reached, the loop by the decrease from the original value can be performed. When returning to step S14, even if the answer in step S15 is not YES, the loop is stopped when the ratio shows a value closest to the predetermined ratio, and the candidate threshold value at that time is set as a new value of the index. It may be a threshold value. When the case of branching to NO in step S15 is illustrated with respect to the third index (positive correlation), r ″ 3 (> such that the ratio γ is closest to the preset ratio. r ′ 3 ) is obtained by recalculation, and the threshold r 3 is updated as r 3 = r ″ 3 .
上記の如くして、指標値ベクトル時系列ＤＤ＝｛ＹＹ０，ＹＹ１，ＹＹ２，・・・，ＹＹｋ｝と眠気データベクトル時系列ＥＥ＝｛ＱＱ０，ＱＱ１，ＱＱ２，・・・，ＱＱｋ｝の間で高い相関性を持つ指標とその閾値を得ているものとして、眠気推定ルール１１０２を構成する推定関数に対する更新処理を説明する。なお、以下において、条件式とは、各活動指標の指標値と閾値の大小関係を示す式である。そして、推定関数とは、上記条件式を用いて作成され、通常複数の条件式の論理的結合により生成された関数である。条件式が１つの活動指標では当該条件式が推定関数である。 As described above, the index value vector time series DD = {YY 0 , YY 1 , YY 2 ,..., YY k } and the drowsiness data vector time series EE = {QQ 0 , QQ 1 , QQ 2 ,. Assuming that an index having high correlation between QQ k } and its threshold value is obtained, an update process for the estimation function constituting the sleepiness estimation rule 1102 will be described. In the following, the conditional expression is an expression indicating the magnitude relationship between the index value of each activity index and the threshold value. The estimation function is a function that is created using the conditional expression and is usually generated by logical combination of a plurality of conditional expressions. In an activity index with one conditional expression, the conditional expression is an estimation function.
図１４において上から下までの指標に１から１７までの連番で指標番号を与えた場合に、ＤＤとＥＥの間で高い相関性を持つ指標番号が、例えば｛３，１３，１４｝の３つ存在しているものとする。このうち、｛３，１３｝が正の相関を有し、｛１４｝が負の相関を有していたとする。また、各指標に対応する、上記で求めた閾値は｛ｒ３，ｒ１３，ｒ１４｝であり、時刻はｋとする。 In FIG. 14, when index numbers are given to the indexes from the top to the bottom with serial numbers from 1 to 17, the index numbers having high correlation between DD and EE are, for example, {3, 13, 14} Assume that there are three. Of these, assume that {3, 13} has a positive correlation and {14} has a negative correlation. Further, the threshold value obtained above corresponding to each index is {r 3 , r 13 , r 14 }, and the time is k.
推定値として２値化を構成する場合の最も基本となる推定関数及び閾値ベクトルは、 The most basic estimation function and threshold vector in the case of configuring binarization as an estimated value are:
ｆ：＝（ｙ３，ｋ≧ｒ３）∨（ｙ１３，ｋ≧ｒ１３）∨（ｙ１４，ｋ≦ｒ１４）−−−（Ｓ１）
ＲＲ＝｛｛３，ｒ３｝，｛１３，ｒ１３｝，｛１４，ｒ１４｝｝−−−（Ｓ２）
として与えられる。なお、∨はＯＲを示す。
f: = (y 3, k ≧ r 3 ) ∨ (y 13, k ≧ r 13 ) ∨ (y 14, k ≦ r 14 ) --- (S1)
RR = {{3, r 3 }, {13, r 13 }, {14, r 14 }} --- (S2)
As given. Note that ∨ indicates OR.
上記の最も基本となる推定関数式（Ｓ１）は、３つの条件式（不等式）をＯＲで結合した構造となっている。上記のＯＲで結合された３つの条件式を、それぞれη１，η２，η３と表すと、式（Ｓ１）は、図１６で示されるベン図上で、３つの円の外周で囲まれた部分に相当する。この部分は、また、ベン図上の線分で囲まれた領域０〜VIIに関して、I〜VIIまでの領域をＯＲ（∨）で結合した領域に等しく、以下の式（Ｓ３）により表すことができる。 The most basic estimation function expression (S1) has a structure in which three conditional expressions (inequality expressions) are connected by OR. When the three conditional expressions connected by OR are expressed as η 1 , η 2 , and η 3 , respectively, the expression (S1) is surrounded by the outer circumferences of three circles on the Venn diagram shown in FIG. It corresponds to the part. This portion is also equivalent to a region obtained by connecting regions I to VII with OR (ＯＲ) with respect to regions 0 to VII surrounded by a line segment on the Venn diagram, and can be expressed by the following formula (S3). .
ｆ＝I ∨ II ∨ III ∨ ・・・ ∨ VII −−−（Ｓ３） f = I ∨ II ∨ III ・ ・ ・ ... VII VII --- (S3)
尚、領域０〜VIIを表す理論式は、それぞれ以下の表１で示されるブール式ｚ０〜ｚ７として与えられる。
即ち、ｚ１＝（¬η３）∧（¬η２）∧η１，ｚ２＝（¬η３）∧η２∧（¬η１）である。
The theoretical formulas representing the regions 0 to VII are given as Boolean expressions z 0 to z 7 shown in Table 1 below, respectively.
That is, z 1 = (¬η 3 ) ∧ (¬η 2 ) ∧η 1 , z 2 = (¬η 3 ) ∧η 2 ∧ (¬η 1 ).
以降の最適化では、上記の最も基本となる推定関数式（Ｓ１）に相当する式（Ｓ３）について、推定として有効でない部分を省いた構成、例えばI∨III∨VIIなど、を用いることができる。ここで、I〜VIIの領域を、理論式ｚ１〜ｚ７を要素に持つ集合Ｚを考える。
Ｚ＝｛ｚ１，ｚ２，ｚ３，ｚ４，ｚ５，ｚ６，ｚ７｝−−−（Ｓ４）
In the subsequent optimization, for the equation (S3) corresponding to the most basic estimation function equation (S1), a configuration in which a portion that is not effective as an estimation is omitted, such as I∨III∨VII, can be used. . Here, a set Z having elements of theoretical formulas z 1 to z 7 in the region I to VII is considered.
Z = {z 1, z 2 , z 3, z 4, z 5, z 6, z 7} --- (S4)
評価する推定関数の数は、Ｚの冪集合２Ｚの要素数分だけある。式（Ｓ４）に関しては、Ｚの要素数は７なので、Ｚの冪集合２Ｚの要素数は２７＝１２８である。Ｚの冪集合２Ｚの全ての要素の記載は省略するが、一部を省略して表記すると、
２Ｚ＝｛｛φ｝，｛ｚ１｝，｛ｚ２｝，・・・
｛ｚ１，ｚ２｝，・・・，｛ｚ３，ｚ５｝，・・・
｛ｚ１，ｚ２，ｚ３｝，・・・，｛ｚ３，ｚ５，ｚ６｝，・・・
・・・
・・・，｛ｚ２，ｚ３，ｚ５，ｚ６｝，・・・
・・・
，｛ｚ１，ｚ２，ｚ３，ｚ４，ｚ５，ｚ６，ｚ７｝ ｝−−−（Ｓ５）
である。
The number of estimation functions to be evaluated is the number of elements of Z power set 2Z. Regarding the formula (S4), since the number of elements of Z is 7, the number of elements of the power set 2 Z of Z is 2 7 = 128. Z 冪 set 2 All elements of Z are omitted, but a part is omitted.
2 Z = {{φ}, {z 1 }, {z 2 }, ...
{Z 1 , z 2 }, ..., {z 3 , z 5 }, ...
{Z 1 , z 2 , z 3 },..., {Z 3 , z 5 , z 6 },.
...
..., {z 2 , z 3 , z 5 , z 6 }, ...
...
, {Z 1, z 2, z 3, z 4, z 5, z 6, z 7}} --- (S5)
It is.
推定関数は、冪集合２Ｚの要素毎に該要素の要素をＯＲ（∨）で結合した関数となる。即ち、式（Ｓ５）で表した冪集合２Ｚに関しては、φ（空集合）を除き、
ｆ：＝ｚ１
ｆ：＝ｚ２
・・・
ｆ：＝ｚ１∨ｚ２
ｆ：＝ｚ３∨ｚ５
・・・
ｆ：＝ｚ１∨ｚ２∨ｚ３
ｆ：＝ｚ３∨ｚ５∨ｚ６
・・・
ｆ：＝ｚ２∨ｚ３∨ｚ５∨ｚ６
ｆ：＝ｚ１∨ｚ２∨ｚ３∨ｚ４∨ｚ５∨ｚ６∨ｚ７ −−−（Ｓ７）
である。
The estimation function is a function in which the elements of the elements are combined with OR (∨) for each element of the set 2 Z. That is, for the 冪 set 2 Z expressed by the formula (S5), except φ (empty set),
f: = z 1
f: = z 2
...
f: = z 1 ∨z 2
f: = z 3 ∨z 5
...
f: = z 1 ∨z 2 ∨z 3
f: = z 3 ∨z 5 ∨z 6
...
f: = z 2 ∨z 3 ∨z 5 ∨z 6
f: = z 1 ∨z 2 ∨z 3 ∨z 4 ∨z 5 ∨z 6 ∨z 7 --- (S7)
It is.
次いで、上記で求めた推定関数毎に、所定期間の指標値ベクトル時系列１０５１Ｘを与えて推定値（推定値の時系列）を算出する。該推定値（推定値時系列）が、所定期間の眠気データベクトル時系列１０５２Ｘと最も一致する（ヒット率が高い）関数を選び最終的な推定関数とする。 Next, for each estimation function obtained above, an index value vector time series 1051X for a predetermined period is given to calculate an estimated value (estimated time series). A function whose estimated value (estimated value time series) most closely matches the drowsiness data vector time series 1052X for a predetermined period (high hit rate) is selected as a final estimated function.
ヒット率の算出に関しては、推定値の時系列をＸ＝｛０，０，１，１，０，…｝、眠気データベクトル時系列（２値化の場合）Ｙ＝｛０，０，０，１，０，…｝，｜Ｘ｜＝｜Ｙ｜＝ｍ'とした場合では、 Regarding the calculation of the hit rate, the time series of estimated values is X = {0,0,1,1,0,...}, The sleepiness data vector time series (in the case of binarization) Y = {0,0,0, 1, 0,..., | X | = | Y | = m ′
などとして与える。上記例は、ＤＤとＥＥの間で高い相関性を持つ指標の数が３の場合を示したものであるが、その他の自然数の場合でも同様にして求めることができる。 Give as such. The above example shows a case where the number of indices having high correlation between DD and EE is 3, but it can be obtained in the same manner even in the case of other natural numbers.
以上の処理は、更新手段５３が図１５のステップＳ１１からステップＳ１６においてクラウドストレージ３０の眠気推定ルール１１０２のパラメータ（閾値）に対する更新を行った後に、推定関数に対する更新として行うものである。これをまとめると、図１５のステップＳ２１とステップＳ２２に示すようになる。即ち、ステップＳ１１で特定された指標のみについてステップＳ１６において求めた閾値を用いて指標毎の条件式（論理式）を作成する（Ｓ２１）。次いで、上記ステップＳ２１において作成した条件式の論理的な結合の全てのパターンにより複数の推定関数を作成し、この推定関数のそれぞれについてヒット率を算出し、算出したヒット率の最も高いものを最終的な推定関数とする（Ｓ２２）。このようにして更新手段５３による眠気推定ルール１１０２の更新が終了した後に、終了処理部２０５が眠気推定ルール更新処理を終了する。 The above processing is performed as an update to the estimation function after the update unit 53 has updated the parameter (threshold value) of the sleepiness estimation rule 1102 of the cloud storage 30 in steps S11 to S16 in FIG. This can be summarized as shown in steps S21 and S22 of FIG. That is, a conditional expression (logical expression) for each index is created using only the threshold specified in step S16 for only the index specified in step S11 (S21). Next, a plurality of estimation functions are created from all the patterns of logical combinations of the conditional expressions created in step S21, a hit rate is calculated for each of these estimation functions, and the one with the highest hit rate calculated is finalized. (S22). In this way, after the updating of the sleepiness estimation rule 1102 by the update unit 53 is completed, the end processing unit 205 ends the sleepiness estimation rule update process.
図１７に、本発明に係る眠気推定ルール更新装置における第２の実施形態のブロック図を示す。また、第２の実施形態の眠気推定ルール更新プログラムによる処理を実現するフローチャートは、図４に示したものである。これらの図に明らかな通り、端末２０が、眠気推定ルール１１０２と更新ルール１１０３を備えている。このため、端末２０が開始処理部２０１においてクラウドストレージ３０から取り込む必要がない。その他の実質処理は第１の実施形態と変わらない。 In FIG. 17, the block diagram of 2nd Embodiment in the drowsiness estimation rule update apparatus which concerns on this invention is shown. Moreover, the flowchart which implement | achieves the process by the sleepiness estimation rule update program of 2nd Embodiment is shown in FIG. As is clear from these drawings, the terminal 20 includes a drowsiness estimation rule 1102 and an update rule 1103. For this reason, it is not necessary for the terminal 20 to capture from the cloud storage 30 in the start processing unit 201. Other substantial processes are the same as those in the first embodiment.
図１８に、第３の実施形態の眠気推定ルール更新プログラムによる処理を実現するフローチャートを示す。装置の構成は第１の実施形態に示したものと変わらない。この実施形態では、参照データ生成手段５２が眠気データベクトル時系列１０５２を生成する毎にクラウドストレージ３０に蓄積し、所定期間の眠気データベクトル時系列１０５２Ｘとする。その他の実質処理は第１の実施形態と変わらない。 FIG. 18 is a flowchart for realizing processing by the sleepiness estimation rule update program of the third embodiment. The configuration of the apparatus is the same as that shown in the first embodiment. In this embodiment, every time the reference data generation unit 52 generates the drowsiness data vector time series 1052, the reference data generation unit 52 stores the drowsiness data vector time series 1052 in the cloud storage 30 as a drowsiness data vector time series 1052X for a predetermined period. Other substantial processes are the same as those in the first embodiment.
図１９に、第４の実施形態の眠気推定ルール更新プログラムによる処理を実現するフローチャートを示す。装置の構成は第１の実施形態に示したものと変わらない。この実施形態では、第１の実施形態におけるループ処理（ループ開始部２０２からループ終了判定部２０３の間）に設けられていたデータ整形手段２２と指標値計算手段２３の処理を、ループ終了部２０４の処理以降のループ処理（ループ２開始部２１２からループ２終了判定部２１３の間）において行うようにしたものである。二つのループ処理が終了した後に、生成された指標値ベクトル時系列をループ２終了部２１４が一括してクラウドストレージ３０に蓄積し、所定期間の指標値ベクトル時系列１０５１Ｘとする。その他の実質処理は第１の実施形態と変わらない。 FIG. 19 shows a flowchart for realizing processing by the sleepiness estimation rule update program of the fourth embodiment. The configuration of the apparatus is the same as that shown in the first embodiment. In this embodiment, the processing of the data shaping unit 22 and the index value calculation unit 23 provided in the loop processing (between the loop start unit 202 and the loop end determination unit 203) in the first embodiment is replaced with the loop end unit 204. This is performed in the loop processing (between the loop 2 start unit 212 and the loop 2 end determination unit 213) after the above process. After the two loop processes are completed, the generated index value vector time series is accumulated in the cloud storage 30 by the loop 2 end unit 214 in a lump to obtain an index value vector time series 1051X for a predetermined period. Other substantial processes are the same as those in the first embodiment.
図２０に、第５の実施形態の眠気推定ルール更新プログラムによる処理を実現するフローチャートを示す。装置の構成は第１の実施形態に示したものと変わらない。この実施形態では、第３の実施形態におけるループ処理（ループ開始部２０２からループ終了判定部２０３の間）に設けられていたデータ整形手段２２と指標値計算手段２３の処理を、ループ終了部２０４の処理以降のループ処理（ループ２開始部２１２からループ２終了判定部２１３の間）において行うようにしたものである。その他の実質処理は第１の実施形態と変わらない。 FIG. 20 shows a flowchart for realizing processing by the drowsiness estimation rule update program of the fifth embodiment. The configuration of the apparatus is the same as that shown in the first embodiment. In this embodiment, the processing of the data shaping unit 22 and the index value calculation unit 23 provided in the loop processing (between the loop start unit 202 and the loop end determination unit 203) in the third embodiment is replaced with the loop end unit 204. This is performed in the loop processing (between the loop 2 start unit 212 and the loop 2 end determination unit 213) after the above process. Other substantial processes are the same as those in the first embodiment.
図２１に、本発明に係る眠気推定ルール更新装置における第６の実施形態のブロック図を示す。また、図２２に、第６の実施形態に係る眠気推定ルール更新装置の具体的構成図を示し、図２３に、第６の実施形態の眠気推定ルール更新プログラムによる処理を実現するフローチャートを示す。これらの図に明らかな通り、本実施形態では、クラウドストレージ３０にサーバ６０が接続された構成となっている。 FIG. 21 shows a block diagram of a sixth embodiment of the drowsiness estimation rule update apparatus according to the present invention. FIG. 22 shows a specific configuration diagram of the sleepiness estimation rule update apparatus according to the sixth embodiment, and FIG. 23 shows a flowchart for realizing processing by the sleepiness estimation rule update program of the sixth embodiment. As is apparent from these drawings, the server 60 is connected to the cloud storage 30 in this embodiment.
サーバ６０は、ＣＰＵの制御によって処理を行うものであり、処理中のデータなどを一時保持するためのメモリ、電話回線を介した通信やネットワークを介した通信などを行う通信部、時刻データを取り出すためのタイマを有する。更に、各種のアプリケーションプログラム、応用ソフト、各種ブラウザ、本実施形態において行うデータ取得やデータ整形等のデータ処理を行うためのデータ処理プログラム、眠気推定ルール更新処理を行うための眠気推定ルール更新プログラム、各種の処理データを記憶するための記憶装置を備えている。 The server 60 performs processing under the control of the CPU, and extracts a memory for temporarily storing data being processed, a communication unit that performs communication via a telephone line or communication via a network, and time data. Have a timer for. Furthermore, various application programs, application software, various browsers, a data processing program for performing data processing such as data acquisition and data shaping performed in the present embodiment, a sleepiness estimation rule update program for performing sleepiness estimation rule update processing, A storage device for storing various processing data is provided.
図２３に示すように、端末２０は、ＲＲＩ取得手段２１によるＲＲＩデータの取得と眠気データ取得手段５１による眠気データの収集を行い、これらをループ終了部２０４により、ループ終了の都度、ＲＲＩ２（整形前）１０１２としてクラウドストレージ３０へ送り取得済ＲＲＩ１０１２Ｘとして蓄積し、眠気データ１００３としてクラウドストレージ３０へ送り取得済眠気データ１００３Ｘとして蓄積するだけで、眠気推定ルール更新の実質処理は行わない。 As shown in FIG. 23, the terminal 20 acquires RRI data by the RRI acquisition unit 21 and collects drowsiness data by the drowsiness data acquisition unit 51, and these are collected by the loop end unit 204 every time the loop ends. Previously, it is sent to the cloud storage 30 as 1012 and accumulated as acquired RRI 1012X, and is sent to the cloud storage 30 as drowsiness data 1003 and accumulated as acquired drowsiness data 1003X.
サーバ６０は、ループ２開始部６１２とループ２終了判定部６１３とに挟まれるループ処理においてクラウドストレージ３０の取得済ＲＲＩ１０１２Ｘを取り出してデータ整形手段２２と指標値計算手段２３によって処理を行い、指標値ベクトル時系列を得る。ループ２終了部６１４の終了処理がなされると、クラウドストレージ３０の取得済眠気データ１００３Ｘを取り出して参照データ生成手段５２による参照データ生成がなされる。次に、更新手段５３がクラウドストレージ３０の所定期間の指標値ベクトル時系列１０５１Ｘから指標値ベクトル時系列を読み出し、クラウドストレージ３０の所定期間の眠気データベクトル時系列１０５２Ｘから眠気データベクトル時系列を読み出し、眠気推定ルール１１０２の更新を行う。この構成によって、処理能力で優れたサーバ６０において、適切に眠気推定ルールを更新することが可能である。 The server 60 takes out the acquired RRI 1012X of the cloud storage 30 in the loop processing sandwiched between the loop 2 start unit 612 and the loop 2 end determination unit 613, performs the processing by the data shaping unit 22 and the index value calculation unit 23, and sets the index value Get vector time series. When the end process of the loop 2 end unit 614 is performed, the acquired drowsiness data 1003X in the cloud storage 30 is extracted, and reference data generation is performed by the reference data generation unit 52. Next, the updating unit 53 reads the index value vector time series from the index value vector time series 1051X of the cloud storage 30 for a predetermined period, and reads the sleepiness data vector time series from the sleepiness data vector time series 1052X of the cloud storage 30 for a predetermined period. Then, the sleepiness estimation rule 1102 is updated. With this configuration, it is possible to appropriately update the sleepiness estimation rule in the server 60 having excellent processing capability.
図２４に、第７の実施形態の眠気推定ルール更新プログラムによる処理を実現するフローチャートを示す。装置の構成は第６の実施形態に示したものと変わらない。この実施形態では、サーバ６０においてループ処理が終了する毎に、作成された指標値ベクトル時系列１０５１をループ２終了部６１４が、クラウドストレージ３０の所定期間の指標値ベクトル時系列１０５１Ｘとして蓄積し、作成された眠気データベクトル時系列１０５２を参照データ生成手段５２が、クラウドストレージ３０の所定期間の眠気データベクトル時系列１０５２Ｘとして蓄積する処理を行う。これ以外の処理は第６の実施形態と変わらない。 FIG. 24 is a flowchart for realizing processing by the sleepiness estimation rule update program of the seventh embodiment. The configuration of the apparatus is the same as that shown in the sixth embodiment. In this embodiment, every time loop processing ends in the server 60, the generated index value vector time series 1051 is accumulated by the loop 2 end unit 614 as an index value vector time series 1051X for a predetermined period in the cloud storage 30, The reference data generation unit 52 performs processing for storing the created sleepiness data vector time series 1052 as the sleepiness data vector time series 1052X of the cloud storage 30 for a predetermined period. Other processes are the same as those in the sixth embodiment.
図２５に、第８の実施形態の眠気推定ルール更新プログラムによる処理を実現するフローチャートを示す。装置の構成は第６の実施形態に示したものと変わらない。この実施形態では、サーバ６０が更新手段５３を備え、端末２０がデータ整形手段２２、指標値計算手段２３、参照データ生成手段５２を備える点において第６の実施形態と異なっている。 FIG. 25 is a flowchart for realizing processing by the sleepiness estimation rule update program of the eighth embodiment. The configuration of the apparatus is the same as that shown in the sixth embodiment. This embodiment is different from the sixth embodiment in that the server 60 includes an update unit 53 and the terminal 20 includes a data shaping unit 22, an index value calculation unit 23, and a reference data generation unit 52.
端末２０では、ループ終了部２０４が、ループ処理終了毎に得られた指標値ベクトル時系列をクラウドストレージ３０へ所定期間の指標値ベクトル時系列１０５１Ｘとして蓄積し、参照データ生成手段５２が一括してクラウドストレージ３０の所定期間の眠気データベクトル時系列１０５２Ｘの更新を行う。サーバ６０では、更新手段５３がクラウドストレージ３０の所定期間の指標値ベクトル時系列１０５１Ｘから指標値ベクトル時系列を読み出し、クラウドストレージ３０の所定期間の眠気データベクトル時系列１０５２Ｘから眠気データベクトル時系列を読み出し、眠気推定ルール１１０２の更新を行う。これ以外の処理は第６の実施形態と変わらない。 In the terminal 20, the loop end unit 204 accumulates the index value vector time series obtained every time the loop process ends in the cloud storage 30 as the index value vector time series 1051X for a predetermined period, and the reference data generation unit 52 collectively The sleepiness data vector time series 1052X for the predetermined period of the cloud storage 30 is updated. In the server 60, the update unit 53 reads the index value vector time series from the index value vector time series 1051X of the cloud storage 30 for a predetermined period, and obtains the sleepiness data vector time series from the sleepiness data vector time series 1052X of the cloud storage 30 for a predetermined period. Reading and updating the sleepiness estimation rule 1102 are performed. Other processes are the same as those in the sixth embodiment.
図２６に、第９の実施形態の眠気推定ルール更新プログラムによる処理を実現するフローチャートを示す。装置の構成は第６の実施形態に示したものと変わらない。この実施形態では、第８の実施形態とほぼ同様に処理を行う。参照データ生成手段５２が眠気データベクトル時系列１０５２を生成する毎にクラウドストレージ３０に蓄積し、所定期間の眠気データベクトル時系列１０５２Ｘとする点において第８の実施形態と相違する。 FIG. 26 shows a flowchart for realizing processing by the sleepiness estimation rule update program of the ninth embodiment. The configuration of the apparatus is the same as that shown in the sixth embodiment. In this embodiment, processing is performed in substantially the same manner as in the eighth embodiment. Every time the reference data generating means 52 generates the drowsiness data vector time series 1052, the data is accumulated in the cloud storage 30 to be a drowsiness data vector time series 1052X for a predetermined period, which is different from the eighth embodiment.
図２７に、第１０の実施形態の眠気推定ルール更新プログラムによる処理を実現するフローチャートを示す。装置の構成は第６の実施形態に示したものと変わらない。この実施形態では、第８の実施形態において、端末２０に備えられていた参照データ生成手段５２を、サーバ６０に移した構成を有する。 FIG. 27 shows a flowchart for realizing processing by the sleepiness estimation rule update program of the tenth embodiment. The configuration of the apparatus is the same as that shown in the sixth embodiment. In this embodiment, the reference data generation means 52 provided in the terminal 20 in the eighth embodiment is moved to the server 60.
即ち、サーバ６０の参照データ生成手段５２が、クラウドストレージ３０に蓄積されている取得済眠気データ１００３Ｘを取り出し、これをまとめてベクトル化し、更に眠気データベクトル時系列を生成する。そして、参照データ生成手段５２は生成された眠気データベクトル時系列をクラウドストレージ３０に一括して送り、所定期間の眠気データベクトル時系列１０５２Ｘとして蓄積する。これ以外の処理は、第８の実施形態の処理と変わらない。 That is, the reference data generating means 52 of the server 60 takes out the acquired sleepiness data 1003X accumulated in the cloud storage 30, and collectively vectorizes the sleepiness data vector time series. Then, the reference data generation means 52 sends the generated sleepiness data vector time series in a batch to the cloud storage 30 and accumulates it as a sleepiness data vector time series 1052X for a predetermined period. The other processes are the same as those in the eighth embodiment.
図２８に、第１１の実施形態の眠気推定ルール更新プログラムによる処理を実現するフローチャートを示す。装置の構成は第６の実施形態に示したものと変わらない。この実施形態は、第１０の実施形態の変形例である。即ち、端末２０のループ終了部２０４がクラウドストレージ３０へ眠気データ１００３を蓄積する毎に、この眠気データ１００３を参照データ生成手段５２が取り出し、これをベクトル化し、更に眠気データベクトル時系列を生成する。そして、参照データ生成手段５２は上記処理において眠気データベクトル時系列１０５２が生成される毎に、これをクラウドストレージ３０に送り、所定期間の眠気データベクトル時系列１０５２Ｘとして蓄積する。他の処理は第１０の実施形態と変わらない。 FIG. 28 is a flowchart for realizing processing by the sleepiness estimation rule update program of the eleventh embodiment. The configuration of the apparatus is the same as that shown in the sixth embodiment. This embodiment is a modification of the tenth embodiment. That is, each time the loop end unit 204 of the terminal 20 accumulates the drowsiness data 1003 in the cloud storage 30, the reference data generation unit 52 extracts the drowsiness data 1003, vectorizes it, and further generates a drowsiness data vector time series. . Then, each time the sleepiness data vector time series 1052 is generated in the above process, the reference data generation means 52 sends it to the cloud storage 30 and accumulates it as a sleepiness data vector time series 1052X for a predetermined period. Other processes are the same as those in the tenth embodiment.
図２９に、本発明に係る眠気推定ルール更新装置における第１２の実施形態の具体的構成図を示す。第１１の実施形態では、端末２０とサーバ６０とが直接接続され、相互にデータの送受信が可能である点において、図２２に示した第６の実施形態と相違する。 FIG. 29 shows a specific configuration diagram of the twelfth embodiment of the sleepiness estimation rule updating apparatus according to the present invention. The eleventh embodiment is different from the sixth embodiment shown in FIG. 22 in that the terminal 20 and the server 60 are directly connected and can transmit and receive data to and from each other.
図３０に、第１２の実施形態の眠気推定ルール更新プログラムによる処理を実現するフローチャートを示す。図３０と図２３を比較すると明らかなように、この第１２の実施形態の構成と処理は、第６の実施形態の構成と処理とほぼ同じである。この第１２の実施形態では、端末２０にサーバ同期開始部２０６とサーバ同期終了部２０７とが備えられ、サーバ６０に端末同期開始部６０６と端末同期終了部６０７とが備えられ、サーバ６０がループ開始部６０２、ＲＲＩ取得手段２１Ａ、ループ終了判定部６０３を備えている点において、第６の実施形態と異なる。 FIG. 30 shows a flowchart for realizing processing by the sleepiness estimation rule update program of the twelfth embodiment. As is clear from a comparison between FIG. 30 and FIG. 23, the configuration and processing of the twelfth embodiment are substantially the same as the configuration and processing of the sixth embodiment. In the twelfth embodiment, the server 20 includes a server synchronization start unit 206 and a server synchronization end unit 207, the server 60 includes a terminal synchronization start unit 606 and a terminal synchronization end unit 607, and the server 60 loops. The second embodiment is different from the sixth embodiment in that a start unit 602, an RRI acquisition unit 21A, and a loop end determination unit 603 are provided.
第１２の実施形態では、サーバ同期開始部２０６と端末同期開始部６０６とによる同期確立後に、端末２０のＲＲＩ取得手段２１が取得したＲＲＩ（整形前）１００１と時刻１００２が直接にサーバ６０へ送られる。サーバ６０では、ＲＲＩ取得手段２１Ａが上記ＲＲＩ（整形前）１００１と時刻１００２を受け取って保持しておくことができる。 In the twelfth embodiment, after synchronization is established by the server synchronization start unit 206 and the terminal synchronization start unit 606, the RRI (before shaping) 1001 and the time 1002 acquired by the RRI acquisition unit 21 of the terminal 20 are sent directly to the server 60. It is done. In the server 60, the RRI acquisition unit 21A can receive and hold the RRI (before shaping) 1001 and the time 1002.
定められた回数のループ処理が終了したとき、サーバ同期終了部２０７と端末同期終了部６０７とは同期動作を終了する。このときクラウドストレージ３０には、同期終了までの取得済ＲＲＩ１０１２Ｘと取得済眠気データ１００３Ｘとが蓄積されている。そこで、取得済ＲＲＩ１０１２Ｘを用いてサーバ６０のデータ整形手段２２及び指標値計算手段２３が指標値ベクトル時系列を求め、取得済眠気データ１００３Ｘを用いて参照データ生成手段５２が眠気データベクトル時系列を生成する。最終的に、更新手段５３が、クラウドストレージ３０に蓄積された所定期間の指標値ベクトル時系列１０５１Ｘと所定期間の眠気データベクトル時系列１０５２Ｘとに基づき眠気推定ルール１１０２の更新を行う。 When the predetermined number of loop processes have been completed, the server synchronization end unit 207 and the terminal synchronization end unit 607 end the synchronization operation. At this time, the acquired RRI 1012X and the acquired drowsiness data 1003X until the end of synchronization are stored in the cloud storage 30. Therefore, the data shaping unit 22 and the index value calculation unit 23 of the server 60 obtain the index value vector time series using the acquired RRI 1012X, and the reference data generation unit 52 uses the acquired drowsiness data 1003X to calculate the drowsiness data vector time series. Generate. Finally, the updating unit 53 updates the sleepiness estimation rule 1102 based on the index value vector time series 1051X for a predetermined period and the sleepiness data vector time series 1052X for a predetermined period accumulated in the cloud storage 30.
図３１に、第１３の実施形態の眠気推定ルール更新プログラムによる処理を実現するフローチャートを示す。装置の構成は第１２の実施形態に示したものと変わらない。第１２の実施形態では、終了時にクラウドストレージ３０の所定期間の指標値ベクトル時系列１０５１Ｘと所定期間の眠気データベクトル時系列１０５２Ｘとの一括更新を行うようにしているが、この実施形態では、サーバ６０においてループ処理が終了する毎に、作成された指標値ベクトル時系列１０５１をループ２終了部６１４が、クラウドストレージ３０の所定期間の指標値ベクトル時系列１０５１Ｘとして蓄積し、作成された眠気データベクトル時系列１０５２を参照データ生成手段５２が、クラウドストレージ３０の所定期間の眠気データベクトル時系列１０５２Ｘとして蓄積する処理を行う。この点以外は、第１２の実施形態と変わらない。 FIG. 31 is a flowchart for realizing processing by the sleepiness estimation rule update program of the thirteenth embodiment. The configuration of the apparatus is the same as that shown in the twelfth embodiment. In the twelfth embodiment, the index value vector time series 1051X for a predetermined period of the cloud storage 30 and the sleepiness data vector time series 1052X for a predetermined period are collectively updated at the end, but in this embodiment, the server Each time the loop processing ends at 60, the created index value vector time series 1051 is accumulated by the loop 2 end unit 614 as the index value vector time series 1051X for a predetermined period of the cloud storage 30, and the created sleepiness data vector The reference data generation unit 52 performs processing for accumulating the time series 1052 as the drowsiness data vector time series 1052X of the cloud storage 30 for a predetermined period. Except this point, it is the same as the twelfth embodiment.
図３２に、第１４の実施形態の眠気推定ルール更新プログラムによる処理を実現するフローチャートを示す。この第１４の実施形態の構成と処理は、第１２の実施形態の構成と処理とほぼ同じである。以下の処理が第１２の実施形態と異なる。この第１４の実施形態では、サーバ６０が更新手段５３を備え、端末２０が参照データ生成手段５２を備える点において第１２の実施形態と異なっている。サーバ６０では、ループ終了部６０４が、ループ処理終了毎に得られた指標値ベクトル時系列１０５１をクラウドストレージ３０へ所定期間の指標値ベクトル時系列１０５１Ｘとして蓄積し、更新手段５３がクラウドストレージ３０の所定期間の指標値ベクトル時系列１０５１Ｘから指標値ベクトル時系列を読み出し、クラウドストレージ３０の所定期間の眠気データベクトル時系列１０５２Ｘから眠気データベクトル時系列を読み出し、眠気推定ルール１１０２の更新を行う。 FIG. 32 shows a flowchart for realizing processing by the sleepiness estimation rule update program of the fourteenth embodiment. The configuration and processing of the fourteenth embodiment are substantially the same as the configuration and processing of the twelfth embodiment. The following processing is different from the twelfth embodiment. The fourteenth embodiment is different from the twelfth embodiment in that the server 60 includes the update unit 53 and the terminal 20 includes the reference data generation unit 52. In the server 60, the loop end unit 604 accumulates the index value vector time series 1051 obtained at each end of the loop processing in the cloud storage 30 as the index value vector time series 1051X for a predetermined period. The index value vector time series is read from the index value vector time series 1051X for a predetermined period, the drowsiness data vector time series is read from the drowsiness data vector time series 1052X for a predetermined period in the cloud storage 30, and the sleepiness estimation rule 1102 is updated.
また、端末２０が参照データ生成手段５２を備え、サーバ同期終了部２０７による同期終了後に、参照データ生成手段５２は、クラウドストレージ３０の取得済眠気データ１００３Ｘを用いて眠気データベクトル時系列を生成し、クラウドストレージ３０の所定期間の眠気データベクトル時系列１０５２Ｘの一括更新を行う。この点以外は、第１２の実施形態と変わらない。 Further, the terminal 20 includes a reference data generation unit 52, and after the synchronization is completed by the server synchronization end unit 207, the reference data generation unit 52 generates a sleepiness data vector time series using the acquired sleepiness data 1003X of the cloud storage 30. Then, the drowsiness data vector time series 1052X of the cloud storage 30 for a predetermined period is collectively updated. Except this point, it is the same as the twelfth embodiment.
図３３に、第１５の実施形態の眠気推定ルール更新プログラムによる処理を実現するフローチャートを示す。この第１５の実施形態の構成と処理は、第１４の実施形態の構成と処理とほぼ同じである。この第１５の実施形態では、端末２０のループ処理毎に、ループ処理で取得しただけの眠気データ１００３を用いて、参照データ生成手段５２が、眠気データベクトル時系列１０５２を生成し、その都度、クラウドストレージ３０へ送出する。この点以外は、第１４の実施形態と変わらない。 FIG. 33 shows a flowchart for realizing processing by the sleepiness estimation rule update program of the fifteenth embodiment. The configuration and processing of the fifteenth embodiment are substantially the same as the configuration and processing of the fourteenth embodiment. In the fifteenth embodiment, for each loop process of the terminal 20, the drowsiness data vector time series 1052 is generated by the reference data generation unit 52 using the sleepiness data 1003 obtained only by the loop process. Send to the cloud storage 30. Except this point, it is the same as the fourteenth embodiment.
図３４に、第１６の実施形態の眠気推定ルール更新プログラムによる処理を実現するフローチャートを示す。この第１６の実施形態の構成と処理は、第１５の実施形態の構成と処理とほぼ同じである。この第１６の実施形態では、参照データ生成手段５２がサーバ６０に設けられており、取得済眠気データ１００３Ｘを用いて参照データ生成手段５２が眠気データベクトル時系列を生成し、クラウドストレージ３０に蓄積された所定期間の眠気データベクトル時系列１０５２Ｘを一括して更新する。この点以外は、第１５の実施形態と変わらない。 FIG. 34 shows a flowchart for realizing processing by the sleepiness estimation rule update program of the sixteenth embodiment. The configuration and processing of the sixteenth embodiment are substantially the same as the configuration and processing of the fifteenth embodiment. In the sixteenth embodiment, the reference data generating means 52 is provided in the server 60, and the reference data generating means 52 generates a drowsiness data vector time series using the acquired sleepiness data 1003X and stores it in the cloud storage 30. The sleepiness data vector time series 1052X for the predetermined period is updated in a batch. Except this point, it is the same as the fifteenth embodiment.
図３５に、第１７の実施形態の眠気推定ルール更新プログラムによる処理を実現するフローチャートを示す。この第１７の実施形態の構成と処理は、第１６の実施形態の構成と処理とほぼ同じである。この第１７の実施形態では、端末２０からループ処理毎にクラウドストレージ３０に送出される眠気データ１００３を参照データ生成手段５２が取り込み、眠気データベクトル時系列１０５２を生成し、その都度、クラウドストレージ３０へ送出する。この点以外は、第１６の実施形態と変わらない。 FIG. 35 is a flowchart for realizing processing by the sleepiness estimation rule update program of the seventeenth embodiment. The configuration and processing of the seventeenth embodiment are substantially the same as the configuration and processing of the sixteenth embodiment. In the seventeenth embodiment, the drowsiness data 1003 sent from the terminal 20 to the cloud storage 30 for each loop process is fetched by the reference data generation unit 52 to generate the drowsiness data vector time series 1052, and each time the cloud storage 30 To send. Except this point, it is not different from the sixteenth embodiment.
１０ ＲＲＩセンサ
２０ 端末
２１、２１Ａ ＲＲＩ取得手段
２２ データ整形手段
２３ 指数値計算手段
５１ 眠気データ取得手段
５２ 参照データ生成手段
５３ 更新手段
３０ クラウドストレージ
４０ 眠気情報出力装置
６０ サーバ
２３３ ベクトル化部
DESCRIPTION OF SYMBOLS 10 RRI sensor 20 Terminal 21, 21A RRI acquisition means 22 Data shaping means 23 Exponential value calculation means 51 Drowsiness data acquisition means 52 Reference data generation means 53 Update means 30 Cloud storage 40 Drowsiness information output device 60 Server 233 Vectorization part
Claims (12)
前記ＲＲＩデータを統計処理した結果と前記ＲＲＩデータのスペクトル解析の結果とに基づいて、自律神経の活動に関する複数種の活動指標について指標値を計算すると共に前記複数種の活動指標の指標値について指標値ベクトル時系列を生成する指標値計算手段と、
前記指標値計算手段により計算される１以上の活動指標の指標値とこの活動指標に関する閾値との比較条件及び／または前記活動指標の指標値に関する所定変動状態の有無の条件をアンドとオアの一方またはこれらを２以上結合して作成した推定関数によって構成される眠気推定ルールが記憶された記憶手段と、
被検者から得られる情報または被検者の生体状態を解析して得られる情報である、眠気の有無を示す眠気データを出力する眠気情報出力装置と、
前記眠気情報出力装置から出力された眠気データを、前記ＲＲＩ取得手段がＲＲＩデータを取得する時刻の時間間隔において取得する眠気データ取得手段と、
前記眠気データを用いて眠気推定ルールの適否を評価するための参照データを生成すると共に前記眠気データについて眠気データベクトル時系列を生成する参照データ生成手段と、
前記眠気データベクトル時系列と前記指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行うべき活動指標を特定し、この特定された活動指標が関係している推定関数についてアンドとオアによる論理結合の更新を行うことにより、前記記憶手段に記憶されている眠気推定ルールを更新する更新手段と
を具備することを特徴とする眠気推定ルール更新装置。 RRI acquisition means for acquiring RRI data, which is R-R interval data, from a signal obtained by an RRI sensor that detects a signal corresponding to an R wave of an electrocardiogram signal;
Based on a result of statistical processing of the RRI data and a result of spectrum analysis of the RRI data, an index value is calculated for a plurality of types of activity indexes related to autonomic nerve activity, and an index is set for the index values of the plurality of types of activity indexes. Index value calculation means for generating a value vector time series ;
The comparison condition between the index value of one or more activity indices calculated by the index value calculation means and the threshold value related to the activity index and / or the condition of the presence or absence of the predetermined fluctuation state regarding the index value of the activity index is one of AND and OR. Or storage means for storing sleepiness estimation rules constituted by an estimation function created by combining two or more of these ,
Drowsiness information output device for outputting drowsiness data indicating the presence or absence of drowsiness, which is information obtained by analyzing the biological state of the subject or information obtained from the subject,
Sleepiness data acquisition means for acquiring sleepiness data output from the sleepiness information output device at a time interval at which the RRI acquisition means acquires RRI data;
Generating reference data for evaluating suitability of a sleepiness estimation rule using the sleepiness data and generating a sleepiness data vector time series for the sleepiness data ; and
About an estimation function related to the identified activity index, obtaining a correlation value of cross-correlation between the sleepiness data vector time series and the index value vector time series, identifying an activity index to be updated based on the correlation value And a drowsiness estimation rule updating apparatus, comprising: updating means for updating a drowsiness estimation rule stored in the storage means by updating logical combination by AND and OR .
前記眠気データベクトル時系列において眠気有りとなっている時刻に対応する活動指標の値を前記指標値ベクトル時系列から求め、正の相関のときには求めた活動指標の値の最低値を候補閾値とし、負の相関のときには求めた活動指標の値の最高値を候補閾値とする候補閾値生成ステップと、
前記指標値ベクトル時系列において、候補閾値以上の活動指標の値が占める割合に基づき、候補閾値を新たな閾値に更新する閾値更新ステップと
前記特定された活動指標のみについて、前記更新した閾値を用いて活動指標毎に、各活動指標の指標値と閾値の大小関係を示す式である条件式を作成するステップと、
条件式が１つの活動指標では当該条件式を推定関数とし、条件式が複数の活動指標では複数の条件式の論理的結合の全てのパターンにより生成された複数の関数を推定関数とするステップと、
この推定関数のそれぞれについてヒット率を算出し、算出したヒット率の最も高いものを最終的な推定関数とするステップと
を実行することを特徴とする請求項１に記載の眠気推定ルール更新装置。 The update means obtains a correlation value of the cross-correlation between the sleepiness data vector time series and the index value vector time series, and specifies an activity index to be updated based on the correlation value;
A value of an activity index corresponding to a time when sleepiness is present in the drowsiness data vector time series is obtained from the index value vector time series, and when the correlation is positive, the lowest value of the obtained activity index value is set as a candidate threshold value, A candidate threshold value generation step in which the highest value of the activity index value obtained in the case of a negative correlation is the candidate threshold value;
In the index value vector time series, a threshold update step for updating a candidate threshold to a new threshold based on a ratio of activity index values equal to or greater than a candidate threshold, and using the updated threshold for only the identified activity index For each activity index, creating a conditional expression that is an expression showing the magnitude relationship between the index value of each activity index and the threshold;
A conditional expression having one conditional expression as an estimation function, and a conditional expression having multiple activity indices as a plurality of functions generated by all patterns of logical combinations of multiple conditional expressions; ,
The drowsiness estimation rule update device according to claim 1, wherein a hit rate is calculated for each of the estimation functions, and the step of setting the highest hit rate calculated as a final estimation function is executed.
コンピュータを、
心電図信号のＲ波に相当する信号を検出するＲＲＩセンサにより得られる信号からＲ−Ｒ間隔のデータであるＲＲＩデータを取得するＲＲＩ取得手段、
前記ＲＲＩデータを統計処理した結果と前記ＲＲＩデータのスペクトル解析の結果とに基づいて、自律神経の活動に関する複数種の活動指標について指標値を計算すると共に前記複数種の活動指標の指標値について指標値ベクトル時系列を生成する指標値計算手段、
被検者から得られる情報または被検者の生体状態を解析して得られる情報である、眠気の有無を示す眠気データを出力する眠気情報出力装置から出力された眠気データを、前記ＲＲＩ取得手段がＲＲＩデータを取得する時刻の時間間隔において取得する眠気データ取得手段、
前記眠気データを用いて眠気推定ルールの適否を評価するための参照データを生成すると共に前記眠気データについて眠気データベクトル時系列を生成する参照データ生成手段、
前記眠気データベクトル時系列と前記指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行うべき活動指標を特定し、この特定された活動指標が関係している推定関数についてアンドとオアによる論理結合の更新を行うことにより、前記指標値計算手段により計算される１以上の活動指標の指標値とこの活動指標に関する閾値との比較条件及び／または前記活動指標の指標値に関する所定変動状態の有無の条件をアンドとオアの一方またはこれらを２以上結合して作成した推定関数によって構成される眠気推定ルールを更新する更新手段
として機能させることを特徴とする眠気推定ルール更新プログラム。 In the sleepiness estimation rule update program applied to the sleepiness estimation rule update device,
Computer
RRI acquisition means for acquiring RRI data, which is R-R interval data, from a signal obtained by an RRI sensor that detects a signal corresponding to an R wave of an electrocardiogram signal;
Based on a result of statistical processing of the RRI data and a result of spectrum analysis of the RRI data, an index value is calculated for a plurality of types of activity indexes related to autonomic nerve activity, and an index is set for the index values of the plurality of types of activity indexes. Index value calculation means for generating a value vector time series ,
Drowsiness data output from a drowsiness information output device that outputs drowsiness data indicating the presence or absence of drowsiness, which is information obtained from the subject or information obtained by analyzing the biological state of the subject, the RRI acquisition means Drowsiness data acquisition means for acquiring at a time interval of the time when RRI data is acquired,
Generating reference data for evaluating suitability of sleepiness estimation rules using the sleepiness data and generating a sleepiness data vector time series for the sleepiness data ;
About an estimation function related to the identified activity index, obtaining a correlation value of cross-correlation between the sleepiness data vector time series and the index value vector time series, identifying an activity index to be updated based on the correlation value By updating the logical combination by AND and OR, the index value of one or more activity indicators calculated by the indicator value calculation means and the threshold value related to the activity indicator and / or the indicator value of the activity indicator A drowsiness estimation rule update program which functions as an update means for updating a drowsiness estimation rule composed of an estimation function created by combining one or more of AND and OR or two or more conditions for the presence or absence of a predetermined fluctuation state .
前記眠気データベクトル時系列において眠気有りとなっている時刻に対応する活動指標の値を前記指標値ベクトル時系列から求め、正の相関のときには求めた活動指標の値の最低値を候補閾値とし、負の相関のときには求めた活動指標の値の最高値を候補閾値とする候補閾値を生成し、
前記指標値ベクトル時系列において、候補閾値以上の活動指標の値が占める割合に基づき、候補閾値を新たな閾値に更新し、
前記特定された活動指標のみについて、前記更新した閾値を用いて活動指標毎に、各活動指標の指標値と閾値の大小関係を示す式である条件式を作成し、
条件式が１つの活動指標では当該条件式を推定関数とし、条件式が複数の活動指標では複数の条件式の論理的結合の全てのパターンにより生成された複数の関数を推定関数とし、
この推定関数のそれぞれについてヒット率を算出し、算出したヒット率の最も高いものを最終的な推定関数とする
ことを特徴とする請求項７に記載の眠気推定ルール更新プログラム。 The update means obtains a correlation value of the cross-correlation between the sleepiness data vector time series and the index value vector time series, specifies an activity index to be updated based on the correlation value,
A value of an activity index corresponding to a time when sleepiness is present in the drowsiness data vector time series is obtained from the index value vector time series, and when the correlation is positive, the lowest value of the obtained activity index value is set as a candidate threshold value, When a negative correlation is generated, a candidate threshold value is generated with the highest value of the obtained activity index as a candidate threshold value,
In the index value vector time series, the candidate threshold is updated to a new threshold based on the ratio of activity index values equal to or higher than the candidate threshold.
For only the identified activity index, for each activity index using the updated threshold, create a conditional expression that is an expression showing the magnitude relationship between the index value of each activity index and the threshold,
For an activity indicator with one conditional expression, the conditional expression is an estimation function, and for multiple activity indicators, a plurality of functions generated by all patterns of logical combinations of multiple conditional expressions are assumed to be estimation functions.
The sleepiness estimation rule update program according to claim 7, wherein a hit rate is calculated for each of the estimation functions, and the highest hit rate calculated is used as a final estimation function.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014261864A JP6468636B2 (en) | 2014-12-25 | 2014-12-25 | Sleepiness estimation rule update device and sleepiness estimation rule update program |
| PCT/JP2015/085814 WO2016104497A1 (en) | 2014-12-25 | 2015-12-22 | Drowsiness-estimation-rule update device and drowsiness-estimation-rule update program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014261864A JP6468636B2 (en) | 2014-12-25 | 2014-12-25 | Sleepiness estimation rule update device and sleepiness estimation rule update program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016120062A JP2016120062A (en) | 2016-07-07 |
| JP6468636B2 true JP6468636B2 (en) | 2019-02-13 |
Family
ID=56150515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014261864A Active JP6468636B2 (en) | 2014-12-25 | 2014-12-25 | Sleepiness estimation rule update device and sleepiness estimation rule update program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6468636B2 (en) |
| WO (1) | WO2016104497A1 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5045492B2 (en) * | 2008-02-27 | 2012-10-10 | トヨタ自動車株式会社 | Awakening level estimation device |
| US8805485B2 (en) * | 2008-11-21 | 2014-08-12 | Massachusetts Institute Of Technology | Extraction of fetal cardiac signals |
| JP6191242B2 (en) * | 2013-05-30 | 2017-09-06 | トヨタ自動車株式会社 | Concentration estimation device |
-
2014
- 2014-12-25 JP JP2014261864A patent/JP6468636B2/en active Active
-
2015
- 2015-12-22 WO PCT/JP2015/085814 patent/WO2016104497A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016104497A1 (en) | 2016-06-30 |
| JP2016120062A (en) | 2016-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Şen et al. | A comparative study on classification of sleep stage based on EEG signals using feature selection and classification algorithms | |
| JP2022523741A (en) | ECG processing system for depiction and classification | |
| JP6468637B2 (en) | Sleepiness estimation apparatus and sleepiness estimation program | |
| CN108143409B (en) | Sleep stage staging method and device | |
| US11617528B2 (en) | Systems and methods for reduced lead electrocardiogram diagnosis using deep neural networks and rule-based systems | |
| KR102043376B1 (en) | Method for real time analyzing stress using deep neural network algorithm | |
| JP2019025311A (en) | Data generation apparatus, biological data measurement system, discriminator generation apparatus, data generation method, discriminator generation method, and program | |
| CN105212949A (en) | A kind of method using skin pricktest signal to carry out culture experience emotion recognition | |
| US20160242664A1 (en) | An apparatus and method for evaluating multichannel ecg signals | |
| CN115363586A (en) | Psychological stress grade assessment system and method based on pulse wave signals | |
| CN109674474B (en) | Sleep apnea recognition method, device and computer readable medium | |
| Bonotis et al. | Automated assessment of pain intensity based on EEG signal analysis | |
| JP6468635B2 (en) | Sleepiness estimation apparatus and sleepiness estimation program | |
| JP6468636B2 (en) | Sleepiness estimation rule update device and sleepiness estimation rule update program | |
| JP2018171124A (en) | Sleep state estimation device, sleep state estimation method, and sleep state estimation program | |
| DE102016204398A1 (en) | CLASSIFICATION OF A TIME SERIES SIGNAL AS VENTRICULAR EXTRASYSTOLE AND VENTRICULAR TACHYCARDIA | |
| Luo et al. | Exploring adaptive graph topologies and temporal graph networks for EEG-based depression detection | |
| JP2001218747A (en) | Electrocardiogram analysis system and computer readable recording medium having program therefor recorded thereon | |
| US20230309884A1 (en) | Physiological measurement data processing device and physiological measurement data processing method using same | |
| US20240090829A1 (en) | Evaluation of sleep data | |
| JP7501660B2 (en) | Fatigue level estimation device, fatigue level estimation method, and program | |
| KR102475793B1 (en) | Medical data providing method and recording medium storing the Medical data providing method | |
| KR102403404B1 (en) | Method and System for Recognizing Mental Stress Using Respiration and Electrocardiogram Signals | |
| WO2024140617A1 (en) | Human-computer interaction user experience evaluation and optimization method and system, and storage medium | |
| WO2020166239A1 (en) | Sleep apnea syndrome determination apparatus, sleep apnea syndrome determination method, and sleep apnea syndrome determination program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171010 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180515 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180717 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190111 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190111 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6468636 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |