JP7067389B2 - Biological state estimation device - Google Patents

Biological state estimation device Download PDF

Info

Publication number
JP7067389B2
JP7067389B2 JP2018178193A JP2018178193A JP7067389B2 JP 7067389 B2 JP7067389 B2 JP 7067389B2 JP 2018178193 A JP2018178193 A JP 2018178193A JP 2018178193 A JP2018178193 A JP 2018178193A JP 7067389 B2 JP7067389 B2 JP 7067389B2
Authority
JP
Japan
Prior art keywords
state
biological
biological state
stage
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018178193A
Other languages
Japanese (ja)
Other versions
JP2020048622A (en
Inventor
和彦 篠田
勇人 山口
洋隆 梶
理比古 吉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018178193A priority Critical patent/JP7067389B2/en
Publication of JP2020048622A publication Critical patent/JP2020048622A/en
Application granted granted Critical
Publication of JP7067389B2 publication Critical patent/JP7067389B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、人の生理的な又は心理的な状態（以下、本明細書に於いて、「生体状態」と称する。）を推定する装置に係り、より詳細には、前記の如き生体状態を生体計測によって推定する装置に係る。 The present invention relates to a device for estimating a person's physiological or psychological state (hereinafter, referred to as "biological state" in the present specification), and more specifically, the above-mentioned biological state. It relates to a device for estimating by biometric measurement.

人の脳や神経の活動により生じる種々の感情や意識に関わる生理的な又は心理的な状態（生体状態）、例えば、眠気、覚醒、集中、ストレス、緊張或いは安静の程度、睡眠の深さなどの状態、は、生体に於ける物理的な状態、例えば、呼吸、心拍、体温、皮膚電位、瞬き、体動、血圧、血流量、血中酸素濃度（光の透過率）、脳波等にも反映される。そこで、近年、上記の如き人の生体状態の検出又は推定の技術の分野に於いて、圧力、電位、電流、加速度又は光計測などの物理的な計測によって得られる、上記の如き物理的な状態の計測値又はその特徴（計測値の周波数特性、波形特性など）を用いて、上記の如き生体状態を推定する試みが為されている。かかる生体の物理的な計測値又はその特徴の指標値（以下、総じて、「生体計測特徴量」と称する。）による生体状態の推定の場合、典型的には、まず、生体状態が分かった状態で得られた生体計測特徴量の多数のデータ（教師付き学習データ、正解値付き学習データ）が収集され、統計的な分析方法を用いた機械学習を通じて、生体状態と相関の高い生体計測特徴量の探索と、その相関の高い生体計測特徴量と生体状態との相関関係又は対応関係の決定が為される。そして、実際の生体状態の推定に於いては、被検者に於ける計測値から得られた（生体状態との相関の高い）生体計測特徴量を変数パラメータとして参照して、前記の機械学習により予め得られた生体計測特徴量と生体状態の相関関係に於いて、生体計測特徴量に対応する生体状態がその生体計測特徴量が得られたときの生体状態であると推定されることとなる（以下、特に断らない限り、「生体計測特徴量」というときには、生体状態と相関の高い生体計測特徴量を指すものとする。）。 Physiological or psychological states (biological states) related to various emotions and consciousness caused by the activity of human brain and nerves, such as drowsiness, arousal, concentration, stress, degree of tension or rest, depth of sleep, etc. The state of is also the physical state in the living body, for example, breathing, heartbeat, body temperature, skin potential, blinking, body movement, blood pressure, blood flow, blood oxygen concentration (light transmission rate), brain wave, etc. It will be reflected. Therefore, in recent years, in the field of technology for detecting or estimating the biological state of a person as described above, the physical state as described above obtained by physical measurement such as pressure, potential, current, acceleration or optical measurement. Attempts have been made to estimate the biological state as described above by using the measured value of the above or its characteristics (frequency characteristics, waveform characteristics, etc. of the measured values). In the case of estimating the biological state based on the physically measured value of the living body or the index value of the characteristic thereof (hereinafter, collectively referred to as "biologically measured feature amount"), typically, the state in which the biological state is known first. A large number of data (supervised learning data, learning data with correct answer values) of the biometric features obtained in the above are collected, and through machine learning using statistical analysis methods, the biometric features that are highly correlated with the biological state are collected. And the correlation or correspondence between the biometric features and the biological state with high correlation is determined. Then, in estimating the actual biological state, the above-mentioned machine learning is performed by referring to the biological measurement feature amount (highly correlated with the biological state) obtained from the measured value in the subject as a variable parameter. In the correlation between the biometric feature amount and the biological state obtained in advance, it is estimated that the biological state corresponding to the biometric feature amount is the biological state when the biometric feature amount is obtained. (Hereinafter, unless otherwise specified, the term "biometric feature amount" refers to a biometric feature amount that has a high correlation with the biological condition).

例えば、特許文献１に於いては、ウェアラブルセンサを用いて計測される人の呼吸運動や体動の計測データから抽出される呼吸運動特徴量及び体動特徴量に基づいて、校正用の睡眠段階の判定結果と呼吸運動特徴量及び体動特徴量とから成る学習用データを用いた機械学習によって設定された係数パラメータを含む睡眠状態関数を用いて、睡眠状態又は睡眠段階の推定を行う装置が提案されている。また、特許文献２に於いては、複数の種類の生理データと生体の覚醒度と用いて回帰分析処理を行う学習過程により、生理データと覚醒度との関係を表すモデルの情報を求め、そのモデル情報を用いて、生理データから覚醒度を推定する方法が提案されている。 For example, in Patent Document 1, the sleep stage for calibration is based on the respiratory movement feature amount and the body movement feature amount extracted from the human breathing movement and body movement measurement data measured by using a wearable sensor. A device that estimates the sleep state or sleep stage using a sleep state function that includes coefficient parameters set by machine learning using learning data consisting of the determination result and the respiratory movement feature amount and the body movement feature amount. Proposed. Further, in Patent Document 2, information on a model showing the relationship between the physiological data and the arousal degree is obtained by a learning process in which a regression analysis process is performed using a plurality of types of physiological data and the arousal degree of the living body, and the information thereof is obtained. A method of estimating the degree of arousal from physiological data using model information has been proposed.

特開２０１７－１６９８８４JP-A-2017-169884 特開２０１８－８２９３１JP-A-2018-82931

Wallace,B.C.，Small,K.，Brodley,C.E.＆Trikalinos,T.A.(2011)Class Imbalance, Redux.2011 IEEE 11th International Conference on Data Mining,754-763.Wallace, B.C., Small, K., Brodley, C.E. & Tricalinos, T.A. (2011) Class Imbalance, Redux. 2011 IEEE 11th International Conference on Data Mining, 754-763.

生体計測特徴量を参照して生体状態を推定する場合に、生体計測特徴量に於いてノイズや瞬時的な或いは過渡的な値の擾乱が生ずると、生体状態の推定結果が影響を受け、推定結果の解釈が困難となり得る。特に、生体状態の推定のための生体計測特徴量の計測を日常生活中に連続的に実行しようとする場合、使用者（被検者）の行動を妨げない程度に簡易なセンサを用いることが好ましいところ、そのようなセンサでは体動などによるノイズが発生しやすく、それらのノイズは、フィルタ処理を行っても除去し切れず、計測値のロバスト性には限界がある。ところで、上記に列記されている如き、眠気の程度、睡眠の深さなどの生体状態は、通常、連続的に変化し、その経時的な変化の傾向には固有の特徴が存在する。従って、生体状態の経時的な変化傾向の特徴を予め調べておき、生体計測特徴量を用いた生体状態の推定に於いて、かかる生体状態の経時的な変化傾向の特徴も考慮すれば、ノイズや瞬時的な或いは過渡的な値の擾乱に起因する生体状態の推定結果の変動が抑制され、生体状態の推定精度が向上することが期待される。 When estimating the biological state by referring to the biometric features, if noise or momentary or transient disturbance of the biological state occurs in the biometric features, the estimation result of the biological state is affected and estimated. Interpretation of the results can be difficult. In particular, when attempting to continuously measure biometric features for estimating biological conditions during daily life, it is necessary to use a simple sensor that does not interfere with the behavior of the user (subject). Preferably, such a sensor tends to generate noise due to body movement or the like, and the noise cannot be completely removed even by filtering, and there is a limit to the robustness of the measured value. By the way, as listed above, biological conditions such as the degree of drowsiness and the depth of sleep usually change continuously, and the tendency of the change over time has unique characteristics. Therefore, if the characteristics of the change tendency of the biological state with time are investigated in advance and the characteristic of the change tendency of the biological state with time is taken into consideration in the estimation of the biological state using the biometric feature amount, noise is generated. It is expected that the fluctuation of the estimation result of the biological state due to the instantaneous or transient disturbance of the value is suppressed, and the estimation accuracy of the biological state is improved.

この点に関し、隠れマルコフモデル（ＨＭＭ）や条件付き確率場（ＣＲＦ）などの確率過程モデルに従って、或る系列的に観測されたデータ（系列観測データ）を参照してそれらに対応する状態を推定する手法によれば、生体状態の経時的な変化傾向の特徴を考慮して、生体計測特徴量の時系列データから生体状態を経時的に推定することが可能となるところ、かかる系列観測データに対応する状態の推定を行う手法に於いては、通常、生体計測特徴量と生体状態の関係性が比較的単純な関数で表せることが仮定されている。しかしながら、実際の生体計測特徴量と生体状態との関係は比較的複雑であり、単純なモデルで十分に捉えることは難しく、上記の如き系列観測データを参照して状態を推定する手法だけで満足できる生体状態の推定精度を得ることは困難となっている。一方、サポートベクターマシン法やランダムフォレスト法などの、観測値（生体計測特徴量）と正解ラベル（生体状態）とが組になった教師付き学習データを用いた教師付き機械学習を通じて観測値を参照してそれに対応するラベルを識別する識別器を構成する手法は、生体計測特徴量と生体状態との間が比較的複雑な関係にあっても任意の生体計測特徴量に対応する生体状態を的確に識別することのできる高い表現力を有している。しかしながら、かかる識別器を構成する手法の場合、各時点の生体状態が互いに独立であることが仮定されており、時系列データの前後関係、即ち、状態の経時的な変化傾向の特徴が考慮されていないため、ランダムに生ずるノイズや瞬時的な或いは過渡的な値の擾乱の影響で、生体状態の推定結果が、時系列で見ると、不自然となってしまうことがある（図８参照）。 In this regard, according to stochastic process models such as Hidden Markov Model (HMM) and Conditional Stochastic Field (CRF), the corresponding states are referred to by referring to the data observed in a certain series (series observation data). According to the estimation method, it is possible to estimate the biological state over time from the time-series data of the biometric feature quantity in consideration of the characteristics of the tendency of the biological state to change over time. In the method of estimating the state corresponding to the above, it is usually assumed that the relationship between the biometric feature quantity and the biological state can be expressed by a relatively simple function. However, the relationship between the actual biometric features and the biological state is relatively complicated, and it is difficult to fully grasp it with a simple model. It is difficult to obtain the estimation accuracy of the biological state that can be achieved. On the other hand, refer to the observed values through supervised machine learning using supervised learning data such as the support vector machine method and the random forest method, in which the observed values (biometric features) and the correct label (biological state) are paired. The method of constructing a classifier that identifies the corresponding label accurately determines the biological state corresponding to any biometric feature even if the biometric feature and the biological state have a relatively complicated relationship. It has a high expressive power that can be identified. However, in the case of the method for constructing such a discriminator, it is assumed that the biological states at each time point are independent of each other, and the context of the time series data, that is, the characteristic of the change tendency of the state over time is taken into consideration. Therefore, the estimation result of the biological state may become unnatural when viewed in chronological order due to the influence of randomly generated noise and disturbance of instantaneous or transient values (see FIG. 8). ..

また、上記の如く、生体計測特徴量を参照して生体状態を識別する識別器の構成のための機械学習に於いては、教師付き学習データが必要となるところ、十分な量の学習データを収集することは非常に手間がかかる。特に、眠気の程度などの生体状態は、実験による統制が難しく、学習データに含まれる生体状態の段階、例えば、眠気の段階、に於いて、或る特定の段階のデータ数が相対的に多くなり、別の段階のデータが相対的に少なくなるといった不均衡が生じやすい。そのような比較的少量かつ不均衡な学習データをそのまま用いて機械学習を行って得られた識別器により、生体状態の推定を行うと、推定結果に於ける状態に偏りが生じてしまうこととなる（図８参照）。 Further, as described above, in machine learning for constructing a discriminator that identifies a biological state by referring to a biometric feature amount, supervised learning data is required, and a sufficient amount of learning data is provided. Collecting is very time-consuming. In particular, biological conditions such as the degree of drowsiness are difficult to control by experiments, and the number of data at a specific stage is relatively large at the stage of the biological state included in the learning data, for example, the stage of drowsiness. Therefore, imbalances such as relatively small amount of data at another stage are likely to occur. When the biological state is estimated by the discriminator obtained by performing machine learning using such a relatively small amount and unbalanced learning data as it is, the state in the estimation result is biased. (See Fig. 8).

かくして、本発明の一つの課題は、上記の如き生体計測特徴量を用いた生体状態の推定に於いて、上記の問題に鑑み、生体計測特徴量を参照してそれに対応する生体状態を識別する識別器を構成する教師付き機械学習に際して、比較的少量かつ不均衡な学習データしかなくても、推定結果が特定の状態に偏らずに、生体計測特徴量と生体状態との比較的複雑な関係性が的確にモデル化されて（即ち、生体計測特徴量から生体状態が的確に識別されて）生体状態の推定精度が向上され、また、生体状態の経時的な変化傾向を考慮することで、生体計測特徴量に於ける計測時のノイズや瞬時的な或いは過渡的な値の擾乱の発生に対してロバスト性があり、系列全体の生体状態の推定精度が向上される新規な構成を提供することである。 Thus, one of the problems of the present invention is to identify the corresponding biological state by referring to the biometric feature amount in view of the above problem in the estimation of the biological state using the biometric feature amount as described above. In supervised machine learning that constitutes a discriminator, even if there is only a relatively small amount of unbalanced learning data, the estimation results are not biased to a specific state, and the relatively complicated relationship between the biometric features and the biological state. By accurately modeling the sex (that is, the biological state is accurately identified from the biometric features), the estimation accuracy of the biological state is improved, and by considering the tendency of the biological state to change over time. Providing a new configuration that is robust against the occurrence of measurement noise and instantaneous or transient value disturbances in biometric features, and improves the estimation accuracy of the biological state of the entire sequence. That is.

本発明によれば、上記の課題は、被検者の生体状態を推定する装置であって、
被検者の生体計測特徴量を取得する生体計測特徴量取得部と、
前記生体計測特徴量に基づいて、前記生体状態が取り得る複数の状態段階のうちの、前記生体計測特徴量が得られた時点の前記被検者の生体状態が属する状態段階を推定する生体状態推定部とを含み、
前記生体状態推定部が、
前記生体計測特徴量と学習パラメータとを用いて前記生体計測特徴量が得られた時点に於ける前記被検者の生体状態が取り得る状態段階の各々に前記被検者の生体状態が属する確率である事後確率又はその指標値を算出する状態段階事後確率算出部と、
前記事後確率と遷移確率とに基づいて算出される前記被検者の生体状態が取り得る状態段階の各々に前記被検者の生体状態が属している確率である出現確率のうち、前記出現確率の最も高い状態段階を前記生体計測特徴量が得られた時点に於ける前記被検者の生体状態の属する状態段階であると推定する状態段階推定部と
を含み、
前記学習パラメータが、
校正用の前記生体状態の計測による状態段階の判定結果及びこれと伴に得られた生体計測特徴量を含む学習データの群を準備する過程と、
前記学習データの群の少なくとも一部を教師用データの群として用いた学習処理によって、前記事後確率を算出するための前記学習パラメータを決定する過程にして、前記教師用データの群に於いて、前記生体状態が取り得る前記状態段階の各々に判定されている学習データの群の前記学習パラメータに対する寄与が互いに等しくなるように、前記学習データの群からの前記教師用データの群の選択又は前記学習処理を実行する過程と
によって決定され、
前記遷移確率が、前記生体計測特徴量が得られた時点よりも所定の時間の経過前の時点に於ける前記被検者の生体状態の属する状態段階から前記生体計測特徴量が得られた時点に於いて前記被検者の生体状態が取り得る状態段階の各々へ前記被検者の生体状態が遷移又は停留する確率であり、
校正用の前記生体状態の計測による時系列の状態段階の判定結果を含む系列学習データを準備する過程と、
前記系列学習データに於ける各時点の前記生体状態の属する状態段階がそこから前記所定の時間の経過後の次の時点に同じ状態段階に停留する頻度及び別の状態段階に遷移する頻度に基づいて、各状態段階にある前記生体状態が前記所定の時間の経過後に各状態段階に推移する確率を前記遷移確率として決定する過程と
によって決定される装置によって達成される。 According to the present invention, the above-mentioned problem is a device for estimating a biological state of a subject.
The biometric feature amount acquisition unit that acquires the biometric feature amount of the subject,
Based on the biometric feature amount, the biological state in which the biological state to which the subject's biological state belongs at the time when the biometric feature amount is obtained is estimated from among a plurality of state stages that the biological state can take. Including the estimation part
The biological state estimation unit
Probability that the biological state of the subject belongs to each of the state stages that the biological state of the subject can take at the time when the biological measurement feature amount is obtained by using the biometric feature amount and the learning parameter. A state-stage posterior probability calculation unit that calculates posterior probabilities or their index values,
Of the appearance probabilities that are the probabilities that the biological state of the subject belongs to each of the possible state stages that the biological state of the subject can take, which is calculated based on the posterior probability and the transition probability, the appearance. It includes a state stage estimation unit that estimates that the state stage with the highest probability is the state stage to which the biological state of the subject belongs at the time when the biometric feature amount is obtained.
The learning parameter is
The process of preparing a group of learning data including the judgment result of the state stage by the measurement of the biological state for calibration and the biometric feature amount obtained together with the judgment result, and
In the process of determining the learning parameter for calculating the posterior probability by the learning process using at least a part of the training data group as the teacher data group, in the teacher data group. , Selection of the group of teacher data from the group of learning data so that the contributions of the group of learning data determined in each of the possible state stages of the biological state to the learning parameters are equal to each other. Determined by the process of executing the learning process
The time when the biometric feature amount is obtained from the state stage to which the biological state of the subject belongs at the time point before the lapse of a predetermined time from the time point when the biometric feature amount is obtained. It is the probability that the biological state of the subject transitions or stays at each of the possible state stages of the biological state of the subject.
The process of preparing series learning data including the judgment result of the time series state stage by the measurement of the biological state for calibration, and
Based on the frequency with which the state stage to which the biological state belongs at each time point in the series learning data stays at the same state stage at the next time point after the lapse of the predetermined time and the frequency with which the biological state transitions to another state stage. It is achieved by an apparatus determined by a process of determining the probability that the biological state in each state stage transitions to each state stage after the lapse of the predetermined time as the transition probability.

上記の構成に於いて、「被検者の生体状態」とは、既に触れた如く、眠気の程度、覚醒の程度、睡眠の深さ、集中の程度、ストレスの強さ、緊張の程度、安静の程度などの人の脳や神経の活動により生じる種々の感情や意識に関わる生理的な又は心理的な状態であってよい（これらのうちのいずれかであってよい。）。「生体計測特徴量」とは、被検者に於ける呼吸、体動、心拍、体温、皮膚電位、瞬き、血圧、血流量、血中酸素濃度（光の透過率）、脳波等の計測データから抽出される計測データに於ける特徴を表す指標値であって、生体状態との相関の高い任意の量であってよい。「生体計測特徴量」の種類の数は、単数であっても、複数であってもよい。上記の本発明の装置に於いて、「生体計測特徴量取得部」は、典型的には、被検者に於いて、圧力、電位、電流、加速度又は光計測などの物理的なセンサを用いて計測データを時系列に取得し、計測データを用いて「生体計測特徴量」を算出する。「生体計測特徴量」の具体例は、後の実施形態の欄に於いて説明される。 In the above configuration, the "biological state of the subject" is, as already mentioned, the degree of drowsiness, the degree of arousal, the depth of sleep, the degree of concentration, the intensity of stress, the degree of tension, and rest. It may be a physiological or psychological state related to various emotions and consciousness caused by the activity of a person's brain or nerves such as the degree of sleep (may be any of these). "Biological measurement feature amount" is measurement data of respiration, body movement, heartbeat, body temperature, skin potential, blink, blood pressure, blood flow, blood oxygen concentration (light transmission rate), brain wave, etc. in the subject. It is an index value representing a feature in the measurement data extracted from, and may be an arbitrary amount having a high correlation with the biological state. The number of types of "biometric feature quantity" may be singular or plural. In the above-mentioned apparatus of the present invention, the "biological measurement feature amount acquisition unit" typically uses a physical sensor such as pressure, potential, current, acceleration or optical measurement in the subject. The measurement data is acquired in chronological order, and the "biomeasurement feature amount" is calculated using the measurement data. Specific examples of "biometric features" will be described later in the section of embodiments.

また、上記の本発明の装置に於いて、「生体状態推定部」は、上記の如く、「生体計測特徴量」を参照して、上記の如き被検者の生体状態、例えば、眠気の程度、睡眠の深さなどが、複数の段階（少なくとも二つの段階）のうちのいずれに段階にあるかを推定する。なお、本明細書に於いて、生体状態の段階を「状態段階」と称する。そして、「生体状態推定部」は、上記の如く、より詳細には、「状態段階事後確率算出部」と「状態段階推定部」とを含む。 Further, in the above-mentioned apparatus of the present invention, the "biological state estimation unit" refers to the "biological measurement feature amount" as described above, and the biological state of the subject as described above, for example, the degree of drowsiness. , Estimate which of the multiple stages (at least two stages) the depth of sleep, etc. is in. In addition, in this specification, a stage of a biological state is referred to as a "state stage". As described above, the "biological state estimation unit" includes, more specifically, a "state stage posterior probability calculation unit" and a "state stage estimation unit".

「状態段階事後確率算出部」は、任意の機械学習の手法に従って構成される、或る観測対象から或る入力ｘが得られたときのその観測対象の状態が取り得る状態ｙの各々に在る確率、即ち、事後確率Ｐ（ｙ｜ｘ）、（又はその指標値）を算出することが可能な識別器であってよく、生体計測特徴量と学習パラメータとを用い、生体計測特徴量が得られた各時点に於いて、被検者の生体状態が取り得る状態段階の各々に被検者の生体状態が属している確率である事後確率（又はその指標値）を算出する。かかる事後確率（又はその指標値）を算出する識別器を構成する手法としては、ランダムフォレスト法、サポートベクターマシン法、勾配ブースティング法、ｋ－ＮＮ法などの任意の機械学習の手法が採用されてよい。実際に識別器で算出される値は、事後確率を表す指標値であってもよい。「学習パラメータ」は、生体計測特徴量に基づいて各状態段階の事後確率（又はその指標値）を算出するための識別器に於いて設定されるパラメータであり、かかる「学習パラメータ」の決定に於いては、上記の如く、校正用の生体状態の計測による状態段階の判定結果と、これと伴に得られた生体計測特徴量とを含む学習データの群が予め準備され、そのうちの学習データの群のうちの少なくとも一部が教師用データの群として用いられ、上記の機械学習の手法に従って学習パラメータが決定される。 The "state stage posterior probability calculation unit" is configured according to an arbitrary machine learning method, and is present in each of the states y that the state of the observation target can take when a certain input x is obtained from a certain observation target. It may be a discriminator capable of calculating posterior probability P (y | x), (or its index value), and the biometric feature quantity can be determined by using the biometric feature quantity and the learning parameter. At each of the obtained time points, the posterior probability (or its index value), which is the probability that the biological condition of the subject belongs to each of the possible state stages of the biological condition of the subject, is calculated. Any machine learning method such as a random forest method, a support vector machine method, a gradient boosting method, or a k-NN method is adopted as a method for constructing a classifier for calculating such posterior probabilities (or index values thereof). It's okay. The value actually calculated by the classifier may be an index value representing posterior probabilities. The "learning parameter" is a parameter set in the classifier for calculating the posterior probability (or its index value) of each state stage based on the biometric feature amount, and is used to determine the "learning parameter". In the above, as described above, a group of learning data including the determination result of the state stage by the measurement of the biological state for calibration and the biometric feature quantity obtained together with this is prepared in advance, and the learning data thereof. At least a part of the group is used as a group of teacher data, and learning parameters are determined according to the above machine learning method.

なお、上記の学習パラメータの決定に関して、既に触れたように、学習処理に使用する学習データの群に於ける状態段階の判定結果が或る状態段階に偏っている場合、即ち、準備された学習データの群に於いて或る状態段階に判定されているデータの数がその他の状態段階に判定されているデータの数に比して相当に多く、学習データに於いて各状態段階に判定されているデータ数の割合が実質的に不均衡である場合に、その状態の学習データの群（不均衡データ群）をそのまま用いて学習処理を実行し、これにより得られた学習パラメータを用いて生体状態の推定処理を実行すると、推定結果に於ける生体状態が、学習データ群に於いてデータ数の多かった状態段階に偏ってしまう現象が生ずる。かかる現象を回避するために、本発明の装置に於ける学習パラメータの決定に於いては、上記の如く、教師用データの群に於いて、生体状態が取り得る状態段階の各々に判定されている学習データの群の学習パラメータに対する寄与が互いに等しくなるように、つまり、或る状態段階の学習データの群とその他の状態段階の学習データの群との学習パラメータに対する寄与が互いに等しくなるように、学習データの群からの教師用データの群の選択又は学習処理が実行される（不均衡データ対策）。即ち、例えば、生体状態が第一、第二及び第三の状態段階を取り得る場合に、学習データに於いて、第一、第二及び第三の状態段階のうちのいずれかに判定されたデータ数（生体計測特徴量の組の数）が多かったとしても、第一、第二及び第三の状態段階に判定されているデータ群の各々による学習パラメータに対する寄与が互いに等しくなるように、教師用データの群が選択され、或いは、学習処理が実行される。かかる不均衡データ対策としては、具体的には、学習データの群に於いて最もデータ数の少ない状態段階の付与されたデータの数にその他の状態段階の付与されたデータの数が揃うように学習データの群から教師用データの群を抽出するアルゴリズム（非特許文献１）、ＳＭＯＴＥ（Synthetic Minority Over-sampling Technique)アルゴリズム、ＡＤＡＳＹＮ（Adaptive Synthetic Sampling Approach）アルゴリズム、学習処理に於いて誤答したときのコスト又はペナルティを課すアルゴリズム（誤分類コストの設定）、状態段階毎に学習処理に於ける重みを設定するアルゴリズム（状態段階毎の重みの設定）などが利用可能である。 Regarding the determination of the above learning parameters, as already mentioned, when the judgment result of the state stage in the group of training data used for the training process is biased to a certain state stage, that is, the prepared learning. The number of data determined in one state stage in the data group is considerably larger than the number of data determined in other state stages, and it is determined in each state stage in the training data. When the ratio of the number of data is substantially unbalanced, the training process is executed using the training data group (unbalanced data group) in that state as it is, and the learning parameters obtained by this are used. When the biological state estimation process is executed, a phenomenon occurs in which the biological state in the estimation result is biased to the state stage where the number of data is large in the learning data group. In order to avoid such a phenomenon, in the determination of the learning parameters in the apparatus of the present invention, as described above, in the group of teacher data, it is determined in each of the possible state stages of the biological state. So that the contributions of a group of training data to the learning parameters are equal to each other, that is, the contributions to the learning parameters of a group of training data at one state stage and a group of training data at another state stage are equal to each other. , Selection of a group of teacher data from a group of training data or learning processing is executed (countermeasure against imbalanced data). That is, for example, when the biological state can take the first, second, and third state stages, it is determined to be one of the first, second, and third state stages in the training data. Even if the number of data (the number of sets of biometric features) is large, the contributions to the learning parameters by each of the data groups determined in the first, second, and third state stages are equal to each other. A group of teacher data is selected or a learning process is executed. As a countermeasure against such imbalanced data, specifically, the number of data given in the state stage with the smallest number of data in the group of training data is aligned with the number of data given in the other state stages. When an error is made in an algorithm for extracting a group of teacher data from a group of training data (Non-Patent Document 1), an SMOTE (Synthetic Minority Over-sampling Technique) algorithm, an ADASYN (Adaptive Synthetic Sampling Approach) algorithm, and a training process. An algorithm that imposes a cost or a penalty (setting a misclassification cost), an algorithm that sets a weight in the learning process for each state stage (setting a weight for each state stage), and the like can be used.

「状態段階推定部」に於いては、上記の如く、まず、状態段階事後確率算出部で算出された各状態段階の事後確率と遷移確率（被検者の生体状態が、生体計測特徴量が得られた時点よりも所定の時間の経過前の時点に於ける被検者の生体状態の属する状態段階から、生体計測特徴量が得られた時点に於いて、被検者の生体状態が取り得る状態段階の各々に停留又は遷移する確率）とに基づいて算出される出現確率（被検者の生体状態が取り得る状態段階の各々に被検者の生体状態が属している確率）のうち、出現確率の最も高い状態段階が、生体計測特徴量が得られた各時点に於ける被検者の生体状態の属する状態段階であると推定される（前記の事後確率は、生体計測特徴量と学習パラメータとを用いて得られる確率であるのに対し、出現確率は、かかる事後確率と遷移確率とを用いて得られる確率、謂わば、事後確率を遷移確率で補正して得られる確率である。）。即ち、或る時点に於いて生体計測特徴量が得られ、その生体計測特徴量から状態段階の各々の事後確率が決定されると、状態段階推定部は、それらの事後確率（又はその指標値）と、被検者の生体状態の属する状態段階の推移を記述する遷移確率（又はその指標値）とを用いて、その時点に於ける生体状態が取り得る状態段階の各々の出現確率又はその指標値を算出し、そのうち、出現確率が最大となる状態段階を探索し、その時点の生体状態の属する状態段階であると推定することとなる（かかる一連の処理手順は、所謂ビダビアルゴリズムに従っている。）。 In the "state stage estimation unit", as described above, first, the post-probability and transition probability of each state stage calculated by the state stage post-probability calculation unit (the biological state of the subject is the biological measurement feature amount). The biological condition of the subject is taken at the time when the biometric feature quantity is obtained from the state stage to which the biological condition of the subject belongs at the time before the lapse of a predetermined time from the time of acquisition. Of the appearance probabilities calculated based on the probability of staying or transitioning to each of the obtained state stages (probability that the subject's biological state belongs to each of the possible state stages of the subject's biological state). , It is estimated that the state stage with the highest appearance probability is the state stage to which the biological state of the subject belongs at each time point when the biometric feature quantity is obtained (the above-mentioned posterior probability is the biometric feature quantity). And the learning parameter, the appearance probability is the probability obtained by using the posterior probability and the transition probability, so to speak, the probability obtained by correcting the posterior probability with the transition probability. be.). That is, when the biometric feature quantities are obtained at a certain point in time and the posterior probabilities of each state stage are determined from the biometric feature quantities, the state stage estimation unit determines the posterior probabilities (or their index values thereof). ) And the transition probability (or its index value) that describes the transition of the state stage to which the biological state of the subject belongs, the appearance probability of each of the state stages that the biological state can take at that time, or its index value. The index value is calculated, the state stage with the maximum appearance probability is searched for, and it is estimated to be the state stage to which the biological state at that time belongs (the series of processing procedures is according to the so-called Vidavi algorithm. There is.).

なお、前記の遷移確率は、上記の如く、或る時点から次の時点へ時間が経過する際に、生体状態の属する状態段階が推移する確率であるので、校正用の生体状態の計測による時系列の状態段階の判定結果を含む系列学習データを準備し、その系列学習データに於ける各時点の生体状態の属する状態段階がそこから所定の時間の経過後の次の時点に同じ状態段階に停留する頻度及び別の状態段階に遷移する頻度に基づいて、ＨＭＭ、ＣＲＦなどの任意の確率過程モデルに従い、各時点に各状態段階にある生体状態が次の時点に各状態段階にある確率を遷移確率として算出することによって決定可能である。ここで、「所定の時間」は、任意に設定されてよく、例えば、状態段階の判定結果の得られている時点間の長さ、生体計測特徴量の算出時点間の長さなどであってよい。校正用の生体状態の計測による時系列の状態段階の判定結果を含む系列学習データには、前記の学習パラメータの決定のための機械学習に用いられた学習データ又は教師用データの群の校正用の生体状態の計測による状態段階の判定結果が用いられてよく、それとは別に準備されたものでもよい。 As described above, the transition probability is the probability that the state stage to which the biological state belongs changes when time elapses from one point to the next. Therefore, when the biological state for calibration is measured. Series learning data including the judgment result of the state stage of the series is prepared, and the state stage to which the biological state at each time point belongs in the series learning data becomes the same state stage at the next time point after the lapse of a predetermined time. Based on the frequency of staying and the frequency of transitioning to another state stage, the probability that the biological state at each state stage at each time point is at each state stage at the next time point is determined according to any stochastic process model such as HMM, CRF. It can be determined by calculating it as a transition probability. Here, the "predetermined time" may be arbitrarily set, for example, the length between the time points at which the determination result of the state stage is obtained, the length between the time points for calculating the biometric feature amount, and the like. good. The series learning data including the judgment result of the state stage of the time series by the measurement of the biological state for calibration includes the training data used for the machine learning for determining the learning parameters or the calibration of the group of teacher data. The determination result of the state stage by the measurement of the biological state of the above may be used, or may be prepared separately.

また、上記の生体状態が取り得る状態段階の各々の出現確率について、より詳細には、生体計測特徴量の得られた時点の各状態段階の事後確率からベイズの定理により算出される「被検者の生体状態が各状態段階であったときに生体計測特徴量が得られる確率」を「生体計測特徴量尤度」とすると、各状態段階の出現確率は、生体計測特徴量尤度と生体状態が生体計測特徴量の得られた時点より前の状態段階から各状態段階への推移する遷移確率との積により算出される。この点に関し、「生体計測特徴量尤度」は、後に説明される如く、本発明の装置に於いては、対応する事後確率に比例すると考えることができるので、最大の出現確率を与える状態段階の決定に於いては、生体計測特徴量尤度と遷移確率との積から各状態段階の出現確率を算出してもよいし、事後確率と遷移確率との積から各状態段階の出現確率の大きさを表す指標値を算出し、出現確率又はその指標値を参照して、最大の出現確率を与える状態段階が決定されてよい（即ち、出現確率自体が実際に算出されなくてもよく、その場合も本発明の範囲に属する。）。 Further, regarding the appearance probability of each of the state stages in which the above-mentioned biological state can be taken, more specifically, the "test" calculated by Bayes' theorem from the posterior probability of each state stage at the time when the biometric feature amount is obtained. If the "probability that a biometric feature quantity is obtained when a person's biological state is at each state stage" is "biometric feature quantity likelihood", the appearance probability of each state stage is the biometric feature quantity likelihood and the living body. The state is calculated by multiplying the transition probability from the state stage before the time when the biometric feature amount is obtained to each state stage. In this regard, the "biometric feature quantity likelihood" can be considered to be proportional to the corresponding posterior probabilities in the apparatus of the present invention, as will be explained later, and thus the state stage that gives the maximum appearance probability. In the determination of, the appearance probability of each state stage may be calculated from the product of the biometric feature quantity likelihood and the transition probability, or the appearance probability of each state stage may be calculated from the product of the posterior probability and the transition probability. An index value representing the size may be calculated, and the appearance probability or the index value thereof may be referred to to determine the state stage that gives the maximum appearance probability (that is, the appearance probability itself may not be actually calculated. Even in that case, it belongs to the scope of the present invention.)

上記の如く、本発明の装置では、端的に述べれば、被検者の生体計測特徴量を参照して被検者の生体状態が属する状態段階を推定する構成に於いて、まず、任意の教師付き機械学習の手法により構成された識別器を用いて、生体計測特徴量が得られたときの被検者の生体状態が取り得る各状態段階の事後確率が算出され、しかる後、それらの事後確率と、系列学習データを用いた任意の確率過程モデルに従った学習によって決定された生体状態の属する状態段階が経時的に推移するときの遷移確率とを用いて、生体計測特徴量が得られたときに被検者の生体状態の取り得る各状態段階の出現確率又はその指標値が算出され、それらが参照されて、出現確率の最も高い状態段階が被検者の生体状態の属する状態段階として判定される。即ち、上記の本発明の装置に於いては、生体計測特徴量（入力）と生体状態（出力）との間の相関関係或いは対応関係がやや複雑な場合であっても的確に生体状態の状態段階を識別することが可能な識別器によって、謂わば、仮の識別結果（各状態段階の事後確率）が、先ず、決定され、しかる後、生体状態の状態段階の推移を的確に推定できるアルゴリズムにより仮の識別結果が修正されて最終的な識別結果（最大の出現確率を与える状態段階）が出力されることとなる。その際、好適には、事後確率を算出する識別器を構成する学習パラメータには、学習データに於ける状態段階の判定結果が不均衡な場合でも、各々の状態段階に判定されたデータの学習パラメータへの寄与が互いに等しくなるように機械学習を実行して決定されたものが用いられ、識別器として、不均衡データ対策が施されたものが使用されることとなる。 As described above, in the apparatus of the present invention, in short, in the configuration of estimating the state stage to which the biological state of the subject belongs by referring to the biometric feature amount of the subject, first, any teacher. Using a discriminator configured by a machine learning method, the posterior probabilities of each state stage that the subject's biological state can take when the biometric feature quantity is obtained are calculated, and then after that. A biometric feature quantity is obtained using the probability and the transition probability when the state stage to which the biological state belongs, which is determined by learning according to an arbitrary stochastic process model using sequence learning data, changes over time. At that time, the appearance probability of each possible state stage of the biological state of the subject or its index value is calculated, and they are referred to, and the state stage with the highest appearance probability is the state stage to which the biological state of the subject belongs. Is determined as. That is, in the above-mentioned apparatus of the present invention, even if the correlation or correspondence between the biometric feature amount (input) and the biological state (output) is rather complicated, the state of the biological state is accurately obtained. An algorithm that can accurately estimate the transition of the state stage of the biological state after the provisional discrimination result (posterior probability of each state stage) is first determined by the classifier capable of discriminating the stage. The provisional identification result is corrected and the final identification result (state stage that gives the maximum appearance probability) is output. At that time, preferably, the learning parameters constituting the classifier for calculating the posterior probability are the learning of the data determined in each state stage even when the determination result of the state stage in the training data is unbalanced. The one determined by executing machine learning so that the contributions to the parameters are equal to each other is used, and the discriminator with imbalanced data countermeasures is used.

本発明の装置の好ましい実施の形態に於いては、まず、生体状態の推定の準備として、学習データの群、即ち、校正用の生体状態の計測による状態段階の判定結果及びこれと伴に得られた生体計測特徴量を含むデータの群が準備され、学習データの群の少なくとも一部を用いて、生体状態が取り得る状態段階の各々に判定されている学習データの群の学習パラメータに対する寄与が互いに等しくなる態様にて、事後確率（又はその指標値）を算出するための識別器の学習パラメータが、上に列記されている如き任意の機械学習の手法に従って決定される。また、これと並行して、校正用の生体状態の計測による時系列の状態段階の判定結果を含む系列学習データを準備され、系列学習データを用いて上記の如く各状態段階にある生体状態が所定の時間の経過後に各状態段階に推移する際の遷移確率がＨＭＭ、ＣＲＦなどの任意の確率過程モデルの仮定の下に決定される。 In a preferred embodiment of the apparatus of the present invention, first, as a preparation for estimating the biological state, a group of learning data, that is, a determination result of the state stage by measuring the biological state for calibration and a determination result thereof are obtained. A group of data containing the obtained biometric features is prepared, and at least a part of the group of training data is used to contribute to the learning parameters of the group of learning data determined at each of the possible state stages of the biological state. The learning parameters of the discriminator for calculating the posterior probability (or its index value) are determined according to any machine learning technique as listed above, in such a manner that they are equal to each other. In parallel with this, series learning data including the judgment result of the time-series state stage by measuring the biological state for calibration is prepared, and the biological state in each state stage is determined by using the series learning data as described above. The transition probability at the transition to each state stage after the lapse of a predetermined time is determined under the assumption of an arbitrary stochastic process model such as HMM or CRF.

そして、本装置による生体状態の推定の段階に於いては、被検者の生体計測特徴量が時々刻々と取得されると、まず、前記の学習パラメータが設定された識別器（状態段階事後確率算出部）に於いて、生体計測特徴量を参照して、被検者の生体状態が取り得る各状態段階の事後確率（又はその指標値）が算出される。しかる後、それらの事後確率又はそれらの指標値の各々と、被検者の生体計測特徴量が得られた時点より所定の時間経過前の時点の生体状態の属する状態段階から生体計測特徴量が得られた時点に於いて被検者の生体状態が取り得る各状態段階に推移する（停留又は遷移する）遷移確率の各々とを用いて、各状態段階の出現確率又はその指標値が算出され、それらを参照して、最大の出現確率を与える状態段階が被検者の生体状態として時々刻々に推定される。 Then, in the stage of estimating the biological state by this device, when the biometric feature amount of the subject is acquired moment by moment, first, the discriminator (posterior probability of the state stage) in which the above learning parameters are set is set. In the calculation unit), the posterior probability (or its index value) of each state stage that the biological state of the subject can take is calculated with reference to the biometric feature amount. After that, each of those posterior probabilities or their index values, and the biometric features from the state stage to which the biometric state belongs before the lapse of a predetermined time from the time when the biometric features of the subject were obtained The appearance probability of each state stage or its index value is calculated by using each of the transition probabilities that transition (residence or transition) to each state stage that the subject's biological state can take at the obtained time point. With reference to them, the state stage that gives the maximum probability of appearance is estimated from moment to moment as the biological state of the subject.

かくして、上記の本発明の装置によれば、生体計測特徴量を用いた生体状態の推定に於いて、生体計測特徴量により生体状態の識別を行うための機械学習に際して、生体計測特徴量と生体状態との間が比較的複雑な関係にあっても生体計測特徴量に対応する生体状態が的確に識別されると同時に、生体状態の経時的な変化傾向を考慮して、生体計測特徴量と生体状態とのより精密に把握された相関関係と生体状態の時系列の推移傾向との双方とに基づいて、生体計測特徴量から生体状態を推定するようになっており、これにより、各時点に於ける生体状態の推定精度が向上される一方、生体計測特徴量に於いて、ノイズ等のランダムな擾乱に応答して仮の識別結果である事後確率に於いて擾乱が生じても、生体状態の最終的な推定結果を与える出現確率（又はその指標値）が生体状態の推移傾向に適合するように修正されることとなり、ノイズや瞬時的な或いは過渡的な値の擾乱に対してロバスト性のある推定の実現が期待される。また、好適には、学習データとして比較的少量かつ不均衡なデータしかなくても、推定結果が特定の状態に偏らないように識別器が構成される。実際、後の実施形態に於いて示される如く、本発明の教示に従った生体状態の推定によれば、従前の場合に比して、正解率及びＦ値（精度と再現率の調和平均）に於いて改善が見られた。 Thus, according to the above-mentioned apparatus of the present invention, in the estimation of the biological state using the biological measurement feature amount, the biological measurement feature amount and the living body are used in the machine learning for identifying the biological state by the biological measurement feature amount. Even if there is a relatively complicated relationship with the state, the biological state corresponding to the biometric feature amount is accurately identified, and at the same time, the biometric feature amount and the biometric feature amount are considered in consideration of the tendency of the biological state to change over time. The biological state is estimated from the biometric feature quantity based on both the more precisely grasped correlation with the biological state and the transition tendency of the biological state over time. While the estimation accuracy of the biological state in the biological state is improved, even if the biological measurement feature quantity is disturbed in the post-probability, which is a tentative identification result in response to a random disturbance such as noise, the living body is living. The probability of appearance (or its index value) that gives the final estimation result of the state will be modified to match the transition tendency of the biological state, and will be robust against noise and disturbance of instantaneous or transient values. It is expected that a sexual estimation will be realized. Further, preferably, the discriminator is configured so that the estimation result is not biased to a specific state even if the learning data is relatively small and unbalanced. In fact, as shown in later embodiments, according to the estimation of the biological state according to the teaching of the present invention, the correct answer rate and the F value (harmonic mean of accuracy and recall) are compared with the previous case. Improvements were seen in.

本発明の装置は、生体状態として、生体計測特徴量との相関関係がやや複雑であり、状態段階の推移に或る傾向を有するものを推定する場合、例えば、上記に例示されている如き人の脳や神経の活動により生じる種々の感情や意識に関わる生理的な又は心理的な状態を推定する場合のいずれにも適用可能であり、推定される生体状態の種類によらず、本発明の範囲に属することは理解されるべきである。生体状態の推定に適した生体計測特徴量の選択は、当業者に於いて実験的に又は理論的に実行可能であり、生体計測特徴量の種類によらず、上記の構成を含む装置は、本発明の範囲に属することは理解されるべきである。 In the device of the present invention, when estimating a biological state having a slightly complicated correlation with a biometric feature amount and having a certain tendency in the transition of a state stage, for example, a person as exemplified above. It can be applied to any of the cases of estimating the physiological or psychological states related to various emotions and consciousness caused by the activity of the brain and nerves of the present invention, regardless of the type of estimated biological state. It should be understood that it belongs to the range. Selection of biometric features suitable for estimating biological conditions can be performed experimentally or theoretically by those skilled in the art, and devices including the above configurations, regardless of the type of biometric features, are available. It should be understood that it belongs to the scope of the present invention.

本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。 Other objects and advantages of the invention will be apparent by the following description of preferred embodiments of the invention.

図１（Ａ）は、本発明による生体状態推定装置（例えば、眠気レベル推定装置）の実施形態に於ける生体計測特徴量が抽出される生理データ（呼吸波形、体動加速度など）を計測するためのセンサを含む被検者の胸部又は腹部に装着される筐体を模式的に表した図である。図１（Ｂ）は、本発明による生体状態推定装置の実施形態の内部の構成をブロック図の形式で表した図である。図１（Ｃ）は、本発明による生体状態推定装置の実施形態に於ける生体状態推定に使用する識別器パラメータと遷移確率との機械学習のための装置の構成をブロック図の形式で表した図である。FIG. 1A measures physiological data (respiratory waveform, body movement acceleration, etc.) from which biological measurement features in the embodiment of the biological state estimation device (for example, drowsiness level estimation device) according to the present invention are extracted. It is a figure schematically showing the housing attached to the chest or abdomen of a subject including a sensor for this purpose. FIG. 1B is a diagram showing the internal configuration of the embodiment of the biological state estimation device according to the present invention in the form of a block diagram. FIG. 1C shows the configuration of the device for machine learning of the classifier parameters and the transition probabilities used for the biological state estimation in the embodiment of the biological state estimation device according to the present invention in the form of a block diagram. It is a figure. 図２（Ａ）は、本発明による生体状態推定装置の実施形態に於ける生体状態を推定する処理をフローチャートの形式にて示した図である。図２（Ｂ）は、本実施形態に於ける生体状態推定に使用される識別器パラメータの決定処理をフローチャートの形式にて示した図である。図２（Ｃ）は、本実施形態に於ける生体状態推定に使用される遷移確率の決定処理をフローチャートの形式にて示した図である。図２（Ｄ）は、本実施形態に於ける生体計測特徴量の算出のタイミングを説明する図である。図２（Ｅ）は、本実施形態に於いて、生体状態として眠気レベルを推定する場合に利用可能な生体計測特徴量を説明する図である。FIG. 2A is a diagram showing a process of estimating a biological state in the embodiment of the biological state estimation device according to the present invention in the form of a flowchart. FIG. 2B is a diagram showing the process of determining the classifier parameters used for estimating the biological state in the present embodiment in the form of a flowchart. FIG. 2C is a diagram showing the process of determining the transition probability used for estimating the biological state in the present embodiment in the form of a flowchart. FIG. 2D is a diagram illustrating the timing of calculation of the biometric feature amount in the present embodiment. FIG. 2E is a diagram illustrating a biometric feature quantity that can be used when estimating a drowsiness level as a biological state in the present embodiment. 図３は、本実施形態に於いて学習データから教師用データを抽出する処理を説明する図である。FIG. 3 is a diagram illustrating a process of extracting teacher data from learning data in the present embodiment. 図４は、本実施形態による生体状態として眠気レベルを推定する装置の作用効果の検証実験を行った際に被検者に課した実験中の行動プロトコルを示している。FIG. 4 shows the behavioral protocol during the experiment imposed on the subject when the verification experiment of the action and effect of the device for estimating the drowsiness level as the biological state according to the present embodiment was performed. 図５は、本実施形態に於いて生体状態として眠気レベルを推定する場合に、学習データに於ける状態段階の判定結果である眠気レベルの正解値を計測するために使用されるカロリンスカ眠気尺度に於ける眠気尺度を説明する図である。FIG. 5 is a Karolinska drowsiness scale used for measuring the correct answer value of the drowsiness level, which is the determination result of the state stage in the learning data, when the drowsiness level is estimated as the biological state in the present embodiment. It is a figure explaining the drowsiness scale in. 図６（Ａ）～（Ｄ）は、本実施形態に於いて生体状態として眠気レベルを推定する装置の作用効果の検証実験に於ける推定結果の例を示している。（Ａ）は、不均衡データ対策をせずに機械学習（ランダムフォレスト）により構成された識別器を用いて生体計測特徴量から算出された事後確率から決定された生体状態（眠気レベル）の推定結果であり、（Ｂ）は、不均衡データ対策をして機械学習（ランダムフォレスト）により構成された識別器を用いて生体計測特徴量算出された事後確率から決定された生体状態（眠気レベル）の推定結果であり、（Ｃ）は、不均衡データ対策をせずに機械学習（ランダムフォレスト）により構成された識別器を用いて生体計測特徴量から算出された事後確率と遷移確率とに基づいて決定された生体状態（眠気レベル）の推定結果であり、（Ｄ）は、本発明の教示に従って、不均衡データ対策をして機械学習（ランダムフォレスト）により構成された識別器を用いて生体計測特徴量から算出された事後確率と遷移確率とに基づいて決定された生体状態（眠気レベル）の推定結果である。6 (A) to 6 (D) show an example of the estimation result in the verification experiment of the action and effect of the device for estimating the drowsiness level as the biological state in the present embodiment. (A) is an estimation of the biological state (drowsiness level) determined from posterior probabilities calculated from biometric feature quantities using a classifier configured by machine learning (random forest) without taking measures against imbalanced data. As a result, (B) is a biological state (drowsiness level) determined from posterior probabilities calculated by biometric feature quantities using a classifier configured by machine learning (random forest) with imbalance data countermeasures. (C) is based on the posterior probability and transition probability calculated from the biometric features using a classifier configured by machine learning (random forest) without taking measures against imbalanced data. It is the estimation result of the biological state (drowsiness level) determined by the above, and (D) is a living body using a classifier configured by machine learning (random forest) with imbalance data countermeasures according to the teaching of the present invention. It is an estimation result of the biological state (drowsiness level) determined based on the posterior probability and the transition probability calculated from the measured feature quantity. 図７は、本実施形態に於いて生体状態として眠気レベルを推定する装置の作用効果の検証実験に於ける推定結果に於ける正解率とＦ値とを示している。FIG. 7 shows the correct answer rate and the F value in the estimation result in the verification experiment of the action and effect of the device for estimating the drowsiness level as the biological state in the present embodiment. 図８（Ａ）は、眠気レベルを直接に測った場合の眠気レベルの時間変化（正解値）の例であり、図８（Ｂ）は、図８（Ａ）のデータの場合に従前の機械学習により構成された識別器を用いて生体計測特徴量から算出された事後確率から推定された眠気レベルの時間変化の例である。FIG. 8 (A) is an example of the time change (correct value) of the drowsiness level when the drowsiness level is directly measured, and FIG. 8 (B) is the conventional machine in the case of the data of FIG. 8 (A). This is an example of the time change of the drowsiness level estimated from the posterior probability calculated from the biometric features using the discriminator configured by learning.

１…筐体
１０…生体状態推定装置
１２…機械学習装置
Ｐ…被検者 1 ... Housing 10 ... Biological state estimation device 12 ... Machine learning device P ... Subject

装置の構成
図１（Ａ）を参照して、本発明による被検者の生体状態推定装置の一つの実施形態は、被検者Ｐの胸部又は腹部に装着可能な（ウェアラブルな）筐体１を有し、かかる筐体１内に生体状態の推定に使用される構成要素が収容された形態となっていてよい。筐体１内には、特に、生体状態推定のために参照される生体計測特徴量が抽出される生理データを計測するためのセンサが収容される。例えば、推定される生体状態が眠気の程度である場合には、生理データとしては、例えば、呼吸波形データ、体動加速度データが選択されるので、筐体１内に収容されるセンサは、例えば、被検者の呼吸運動に伴う体表面の変位によって変化する圧力を計測する圧力センサ（呼吸センサ）、被検者の体動に伴って変化する加速度値を計測する加速度センサなどであってよい。圧力センサは、この分野に於いて、呼吸波形データを計測するために使用される任意の、例えば、ピエゾ素子を用いたセンサであってよく、被検者の呼吸運動に伴う胸部又は腹部の収縮・膨張による体表面の変位を圧力値として計測するものであってよい。加速度センサは、上記の如く被検者の体動により変化する加速度値を計測するセンサであるところ、体動の向きは、任意の方向であるので、３軸加速度センサが用いられてよい。なお、センサの種類、センサを収容する筐体の形態は、計測される生理データに応じて種々のものであってよいことは理解されるべきである。例えば、センサが心拍センサであれば、腕時計型や胸バンド型の形態の筐体が採用されてもよい。また、センサとしては、心臓の拍動により生じる電位を計測する心電位センサ、皮下の血流の変化を光学的に検出する光電脈波センサ、心臓の拍動により生じる皮膚の微小な変動を捉える加速度センサなど，種々のセンサが用いられてよい。センサがいずれの場合であっても本発明の範囲に属することは理解されるべきである。 Configuration of the Device With reference to FIG. 1 (A), one embodiment of the biological state estimation device for a subject according to the present invention is a wearable housing 1 that can be attached to the chest or abdomen of the subject P. The housing 1 may be in a form in which a component used for estimating a biological state is housed. In particular, a sensor for measuring physiological data from which biometric feature quantities referred for for biological state estimation are extracted is housed in the housing 1. For example, when the estimated biological state is the degree of drowsiness, for example, respiratory waveform data and body motion acceleration data are selected as the physiological data, so that the sensor housed in the housing 1 is, for example, , A pressure sensor (breathing sensor) that measures the pressure that changes due to the displacement of the body surface due to the breathing movement of the subject, an acceleration sensor that measures the acceleration value that changes with the body movement of the subject, and the like. .. The pressure sensor may be any sensor used in the art for measuring respiratory waveform data, eg, a piezo element, which is a chest or abdominal contraction associated with the subject's respiratory movements. -The displacement of the body surface due to expansion may be measured as a pressure value. The acceleration sensor is a sensor that measures an acceleration value that changes due to the body movement of the subject as described above. However, since the direction of the body movement is an arbitrary direction, a three-axis acceleration sensor may be used. It should be understood that the type of sensor and the form of the housing accommodating the sensor may be various depending on the measured physiological data. For example, if the sensor is a heart rate sensor, a wristwatch-type or chest band-type housing may be adopted. As sensors, a heart potential sensor that measures the potential generated by the heartbeat, a photoelectric pulse wave sensor that optically detects changes in subcutaneous blood flow, and minute changes in the skin caused by the heartbeat are captured. Various sensors such as an acceleration sensor may be used. It should be understood that the sensor belongs to the scope of the present invention in any case.

また、本実施形態の一つの態様に於いては、筐体１内に、更に、上記のセンサの出力を受容して、後に述べる態様にて被検者の生体状態の判定を行う演算部、演算部の出力値及び／又は装置の作動状況を表示するディスプレイと、演算部の出力値を外部の装置又は設備へ送信する通信部、被検者又は使用者による装置に対する指示・操作を受容する操作パネルなどが設けられてよい。この場合、演算部は、マイクロコンピュータ、メモリ又はフラッシュメモリ等を含む通常の小型のコンピュータ装置であってよい。或いは、別の態様に於いて、上記の演算部等は、筐体１とは別体のコンピュータ装置（図示せず）に於いて構成されていてもよく、その場合には、センサの出力が有線又は無線通信にてコンピュータ装置へ送信されるようになっていてよい。更にまた、被検者の生体状態の判定を行う処理の一部が筐体内で実行され、一部が外部コンピュータ装置にて実行されるようになっていてもよい。 Further, in one embodiment of the present embodiment, a calculation unit that further receives the output of the above sensor in the housing 1 and determines the biological state of the subject in the embodiment described later. A display that displays the output value of the calculation unit and / or the operating status of the device, and a communication unit that transmits the output value of the calculation unit to an external device or equipment, and accepts instructions / operations to the device by the subject or user. An operation panel or the like may be provided. In this case, the arithmetic unit may be an ordinary small computer device including a microcomputer, a memory, a flash memory, or the like. Alternatively, in another embodiment, the above-mentioned arithmetic unit or the like may be configured in a computer device (not shown) separate from the housing 1, and in that case, the output of the sensor may be output. It may be transmitted to a computer device by wire or wireless communication. Furthermore, a part of the process of determining the biological state of the subject may be executed in the housing, and a part may be executed by an external computer device.

本実施形態に於ける被検者の生体状態を推定する装置（生体状態推定装置）１０に於いては、図１（Ｂ）に描かれている如く、各センサが計測した生理データを時々刻々に受容して、生理データから生体計測特徴量を抽出又は算出する特徴量抽出部と、特徴量抽出部から生体計測特徴量を受容し、それらを参照して、メモリに記憶されているパラメータ（識別器パラメータ）を用いて構成される識別器によって被検者の生体状態が取り得る各状態段階の事後確率（生体状態が取り得る各状態段階に被検者の生体状態が属している確率）を算出する状態段階事後確率算出部と、各状態段階の事後確率と、メモリに記憶されている、被検者の生体状態が所定の時間の経過前の時点で属してした状態段階から各状態段階へ推移する遷移確率とを用いて、出現確率（生体状態が取り得る各状態段階に被検者の生体状態が属している確率）又はその指標値を算出する状態段階出現確率算出部と、出現確率又はその指標値とを参照して被検者の生体状態が属している状態段階を推定する状態段階推定部とが設けられる。そして、状態段階の推定結果がディスプレイに表示され或いは任意の記憶装置に記憶される。上記の被検者の生体状態推定の構成が筐体１内に収容されている場合も別体のコンピュータ装置に構成されている場合も、装置内の各部の作動は、メモリに記憶されたプログラムに従った作動により、実現されることは理解されるべきである。 In the device (biological state estimation device) 10 for estimating the biological state of the subject in the present embodiment, as shown in FIG. 1 (B), the physiological data measured by each sensor is measured moment by moment. The feature amount extraction unit that extracts or calculates the biometric feature amount from the physiological data, and the parameter that receives the biometric feature amount from the feature amount extraction unit and refers to them and is stored in the memory ( Posterior probability of each state stage that the subject's biological state can be taken by a discriminator configured using the classifier parameter (probability that the subject's biological state belongs to each state stage that the biological state can take) The state stage posterior probability calculation unit, the posterior probability of each state stage, and each state stored in the memory from the state stage to which the biological state of the subject belonged before the lapse of a predetermined time. A state stage appearance probability calculation unit that calculates the appearance probability (probability that the biological state of the subject belongs to each state stage that the biological state can take) or its index value using the transition probability that transitions to the stage. A state stage estimation unit for estimating the state stage to which the biological state of the subject belongs is provided with reference to the appearance probability or its index value. Then, the estimation result of the state stage is displayed on the display or stored in an arbitrary storage device. Regardless of whether the above-mentioned configuration for estimating the biological condition of the subject is housed in the housing 1 or configured in a separate computer device, the operation of each part in the device is a program stored in the memory. It should be understood that it is achieved by operating according to.

上記の被検者の生体状態推定の処理に使用される識別器パラメータと遷移確率とは、それぞれ、機械学習によって決定され、メモリに記憶される。かかる機械学習の処理は、筐体１内の演算部に於いて実行され、実行結果が筐体１内のメモリに記憶されるようになっていてもよいし、筐体１とは別体のコンピュータ装置に於いて実行され、実行結果がメモリに記憶されるようになっていてもよい。図１（Ｃ）を参照して、機械学習を実行する装置（機械学習装置）１２に於いては、生体状態推定装置１０の場合と同様に、呼吸センサ等が計測した生理データを受容して、生理データから生体計測特徴量を抽出又は算出する特徴量抽出部と、かかる生体計測特徴量及びその生体計測特徴量が得られたとき、即ち、生理データの計測時に於ける生体状態の状態段階の判定結果（例えば、眠気レベル）を用いて、状態段階の判定結果（正解値）と生体計測特徴量とが組になった学習データを調製する学習データ調製部と、学習データから後に説明される不均衡データ対策が果たされるように教師用データを選択する教師用データ選択部と、教師用データを用いて機械学習処理を実行して識別器パラメータを決定する識別器パラメータ決定部と、時系列の生体状態の状態段階の判定結果（正解値）を用いて遷移確率を決定する遷移確率決定部と、識別器パラメータと遷移確率とをそれぞれ記憶するメモリとが設けられてよい。なお、ここに於いて、センサ並びに特徴量抽出部は、生体状態推定装置１０内のものと同一のものであってよい（共用であってよい。）。上記の被検者の機械学習装置１２が筐体１内に収容されている場合も別体のコンピュータ装置に構成されている場合も、装置内の各部の作動は、メモリに記憶されたプログラムに従った作動により、実現されることは理解されるべきである。 The discriminator parameters and the transition probabilities used in the above-mentioned processing of the biological state estimation of the subject are determined by machine learning and stored in the memory, respectively. Such machine learning processing may be executed in the arithmetic unit in the housing 1, and the execution result may be stored in the memory in the housing 1, or may be separate from the housing 1. It may be executed in a computer device and the execution result may be stored in a memory. With reference to FIG. 1 (C), the device (machine learning device) 12 that executes machine learning receives physiological data measured by a breathing sensor or the like as in the case of the biological state estimation device 10. , The feature amount extraction unit that extracts or calculates the biometric feature amount from the physiological data, and when the biometric feature amount and the biometric feature amount thereof are obtained, that is, the state stage of the biological state at the time of measuring the physiological data. The learning data preparation unit that prepares the learning data in which the judgment result (correct answer value) of the state stage and the biometric feature amount are combined by using the judgment result (for example, drowsiness level) of the above, and the learning data will be explained later. A teacher data selection unit that selects teacher data so that countermeasures against imbalanced data can be taken, and a classifier parameter determination unit that executes machine learning processing using the teacher data to determine classifier parameters. A transition probability determination unit that determines the transition probability using the determination result (correct answer value) of the state stage of the biological state of the series, and a memory that stores the classifier parameter and the transition probability may be provided. Here, the sensor and the feature amount extraction unit may be the same as those in the biological state estimation device 10 (may be shared). Whether the machine learning device 12 of the subject is housed in the housing 1 or configured in a separate computer device, the operation of each part in the device is stored in a program stored in the memory. It should be understood that by following operation, it will be achieved.

装置の作動
（１）生体状態推定に於ける改良の概要
「発明の概要」の欄に於いても説明されている如く、サポートベクターマシン法やランダムフォレスト法などの教師付き機械学習の手法に従って構成された識別器は、生体計測特徴量と生体状態との対応関係がやや複雑であっても、生体計測特徴量に対応する生体状態を的確に識別することが可能であるところ、生体状態が時系列に変化するものであっても、その経時的な変化傾向の特徴を考慮していないため、ノイズ等の影響により、時系列で見ると、生体状態の推定結果が不自然に変化する場合がある。また、機械学習に使用した学習データの群に於いて、或る状態段階に判定されているデータの数がその他の状態段階に判定されているデータの数よりも相当に多くなっている場合、即ち、学習データの群が不均衡データ群となっていると、識別器の推定結果が学習データの群でデータの数の多かった状態段階に偏ってしまう場合がある。例えば、生体状態として眠気レベルを推定する構成に於いて、図８（Ａ）に示されている如く眠気レベルが推移した例に対して、学習データ群が不均衡データ群となっており、生体状態の経時的な変化傾向の特徴を考慮しない態様にて生体計測特徴量から眠気レベルの推定を行った場合、図８（Ｂ）に示されている如く、図８（Ａ）の眠気レベルの推移に比して、推定結果の眠気レベルに偏りが生じ（眠気レベル３が多く含まれた学習データを学習に用いたため、推定結果が眠気レベル３に偏っている。）、また、短時間の内に眠気レベルが激しく遷移しており、眠気の傾向を把握することが困難となっている。そこで、本実施形態に於いては、以下に説明される如く、不均衡な学習データしかなくても、推定結果が特定の状態に偏らないようにすると共に、推定結果に生体状態の経時的な変化傾向の特徴が反映されるようにして、推定精度の向上が図られる。 Operation of the device (1) Outline of improvement in biological state estimation As explained in the "Outline of the invention" column, it is configured according to supervised machine learning methods such as the support vector machine method and the random forest method. Even if the correspondence between the biometric feature amount and the biological state is a little complicated, the discriminator can accurately identify the biological state corresponding to the biometric feature amount. Even if it changes to a series, the characteristics of its tendency to change over time are not taken into consideration, so the estimation result of the biological state may change unnaturally when viewed in time series due to the influence of noise and the like. be. Also, in the group of training data used for machine learning, when the number of data determined in one state stage is considerably larger than the number of data determined in other state stages. That is, if the training data group is an unbalanced data group, the estimation result of the discriminator may be biased to the state stage where the number of data is large in the training data group. For example, in the configuration for estimating the drowsiness level as the biological state, the learning data group is an imbalanced data group with respect to the example in which the drowsiness level has changed as shown in FIG. 8 (A). When the drowsiness level is estimated from the biometric feature amount without considering the characteristics of the change tendency of the state over time, the drowsiness level of FIG. 8 (A) is as shown in FIG. 8 (B). Compared to the transition, the drowsiness level of the estimation result is biased (because the learning data containing a large amount of drowsiness level 3 is used for learning, the estimation result is biased to the drowsiness level 3), and also for a short time. The drowsiness level has changed violently within, making it difficult to grasp the tendency of drowsiness. Therefore, in the present embodiment, as described below, even if there is only unbalanced learning data, the estimation result is not biased to a specific state, and the estimation result is based on the time course of the biological state. The estimation accuracy is improved by reflecting the characteristics of the changing tendency.

（２）生体状態の推定
本実施形態の装置の生体状態の推定に於いては、図２（Ａ）に示されている如く、生理データの取得（ステップ１～３）、生体計測特徴量の算出（ステップ４）、事後確率の算出（ステップ５）、出現確率指標値の算出（ステップ６）及び状態段階の推定（ステップ７）が反復して実行され、生体状態の推定結果が時系列に出力される。以下、各処理について説明する。 (2) Estimating the biological state In the estimation of the biological state of the apparatus of the present embodiment, as shown in FIG. 2 (A), acquisition of physiological data (steps 1 to 3) and measurement of the biological measurement feature amount are performed. Calculation (step 4), posterior probability calculation (step 5), appearance probability index value calculation (step 6), and state stage estimation (step 7) are repeatedly executed, and the estimation result of the biological state is chronologically executed. It is output. Hereinafter, each process will be described.

（ｉ）生理データの取得と生体計測特徴量の算出（ステップ１～４）
生体状態の推定のために計測される生理データは、生体状態の種類に応じて適宜選択されてよい。例えば、生体状態として眠気の程度を推定する場合には、既に述べた如く、生理データとして呼吸波形、体動加速度が時系列に計測されてよい。そして、かかる時系列に計測された生理データから抽出される生体計測特徴量も生体状態の種類に応じて適宜選択されてよい。典型的は、生体計測特徴量として、時系列の生理データの所定の時間毎の統計量が採用されよい。その場合、例えば、図２（Ｄ）に模式的に示されている如く、時系列の生理データは、エポックという単位に分割し、エポック毎に生体計測特徴量が抽出されてよい（一つのエポックは、前後のエポックと重複していても、重複していなくてもよい。図示の如く、例えば、６０秒幅のエポックが、３０秒間ずつ前後のエポックと重複するようになっていてもよく、各エポックの終了時Ｃｔ１、Ｃｔ２…に於いて各エポックに於ける時系列の生理データを用いて生体計測特徴量が抽出又は算出される。なお、前後のエポックと重複する割合は任意に変更されてよい。）。従って、この場合、図２（Ａ）に示されている如く、各エポックが完了するまで、生理データの計測（ステップ１）と記憶（ステップ２）が反復して実行され、エポックの完了毎（ステップ３）に生体計測特徴量の抽出が実行されることとなる（ステップ４）。 (I) Acquisition of physiological data and calculation of biometric features (steps 1 to 4)
The physiological data measured for estimating the biological state may be appropriately selected according to the type of the biological state. For example, when estimating the degree of drowsiness as a biological state, as described above, the respiratory waveform and the body movement acceleration may be measured in time series as physiological data. Then, the biometric feature amount extracted from the physiological data measured in such a time series may be appropriately selected according to the type of the biological state. Typically, as the biometric feature quantity, a predetermined time-based statistic of time-series physiological data may be adopted. In that case, for example, as schematically shown in FIG. 2D, the time-series physiological data may be divided into units called epochs, and biometric features may be extracted for each epoch (one epoch). May or may not overlap with the front and back epochs. As shown in the figure, for example, a 60-second wide epoch may overlap with the front and back epochs for 30 seconds each. At the end of each epoch, at Ct1, Ct2 ..., the biometric feature amount is extracted or calculated using the time-series physiological data in each epoch. The ratio of overlapping with the previous and next epochs is arbitrarily changed. May be.). Therefore, in this case, as shown in FIG. 2A, the measurement (step 1) and the storage (step 2) of the physiological data are repeatedly executed until each epoch is completed, and each epoch is completed (step 1). Extraction of biometric features will be executed in step 3) (step 4).

生体状態として眠気の程度を推定する場合、生体計測特徴量としては、下記の如き生理データの統計量が採用可能である（図２（Ｅ）参照）。
・吸気時間の平均
・呼気時間の平均
・（吸気時間／呼吸時間）の平均
・ポーズ時間の平均
・（呼気波形面積／吸気波形面積）の平均
・吸気時間の標準偏差
・呼気時間の標準偏差
・（吸気時間／呼吸時間）の標準偏差
・ポーズ時間の標準偏差
・（呼気波形面積／吸気波形面積）の標準偏差
・平均呼吸数［＝６０／（呼吸波形ピーク間隔の平均値（秒））］：呼吸波形データに於いて、ピーク間隔Ｒｗ［秒］は、１回の呼吸に要する時間となるので、ピーク間隔Ｒｗであったときの１分間当たりの呼吸数は、６０／Ｒｗとなる（以下、単に「呼吸数」と称する。）。そこで、ここでは、エポック内の呼吸数の平均値を、６０／（１回の呼吸に要する時間の平均値）により算出する。
・呼吸変動係数［＝呼吸数の標準偏差／平均呼吸数］：呼吸数の標準偏差は、呼吸数６０／Ｒｗのエポック内の標準偏差である。
・振幅変動係数［＝振幅の標準偏差／平均振幅］：振幅は、上側のピークと下側のピークとの差分Ｒａであり、平均振幅は、エポック内のＲａの平均値であり、振幅の標準偏差は、エポック内のＲａの標準偏差である。
・自己相関ピーク比：１エポック分の呼吸波形データから１エポック分の呼吸波形データの平均を引いた値の自己相関関数値（τ）に於いて（τは、相関時間）、τ＝０から見て、最初にピークが現れたとき（τ＝τｐのとき、とする。）のピーク値を自己相関関数Ｇ（０）にて割って正規化した値。
・加速度差分ノルムの最大値：
加速度差分ノルム＝{(axt-axt-1)2+(ayt-ayt-1)2+(azt-azt-1)2}1/2 …（１）
（axt、ayt、aztは、それぞれ、ｘ軸、ｙ軸、ｚ軸方向の時刻ｔに於ける加速度値）
のエポック内の最大値
・加速度差分ノルムの標準偏差：加速度差分ノルムのエポック内の標準偏差 When estimating the degree of drowsiness as a biological state, the following statistics of physiological data can be adopted as the biological measurement feature (see FIG. 2E).
・ Average of inspiratory time ・ Average of expiratory time ・ Average of (inspiratory time / respiratory time) ・ Average of pause time ・ Average of (expiratory waveform area / inspiratory waveform area) ・ Standard deviation of inspiratory time ・ Standard deviation of expiratory time ・Standard deviation of (inspiratory time / respiratory time) ・ Standard deviation of pause time ・ Standard deviation of (expiratory waveform area / inspiratory waveform area) ・ Average respiratory rate [= 60 / (average value of respiratory waveform peak interval (seconds))] : In the respiratory waveform data, the peak interval Rw [sec] is the time required for one breath, so the respiratory rate per minute when the peak interval Rw is Rw is 60 / Rw (hereinafter). , Simply referred to as "respiratory rate"). Therefore, here, the average value of the respiratory rate in the epoch is calculated by 60 / (the average value of the time required for one breath).
Respiratory rate variability coefficient [= standard deviation of respiratory rate / average respiratory rate]: The standard deviation of respiratory rate is the standard deviation within the epoch of respiratory rate 60 / Rw.
-Amplitude fluctuation coefficient [= standard deviation of amplitude / average amplitude]: Amplitude is the difference Ra between the upper peak and the lower peak, and the average amplitude is the average value of Ra in the epoch, which is the standard of amplitude. The deviation is the standard deviation of Ra in the epoch.
-Autocorrelation peak ratio: In the autocorrelation function value (τ) of the value obtained by subtracting the average of the respiratory waveform data for one epoch from the respiratory waveform data for one epoch (τ is the correlation time), from τ = 0. Look, the value normalized by dividing the peak value when the peak first appears (when τ = τp) by the autocorrelation function G (0).
・ Maximum value of acceleration difference norm:
Acceleration difference norm = {(ax t -ax t-1 ) 2 + (ay t -ay t-1 ) 2 + (az t -az t-1 ) 2 } 1/2… (1)
(Ax t , ay t , and az t are acceleration values at time t in the x-axis, y-axis, and z-axis directions, respectively).
Maximum value in epoch / standard deviation of acceleration difference norm: standard deviation of acceleration difference norm in epoch

なお、好適には、上記の各特徴量は、それぞれ算出された後に正規化（Ｚスコア変換）されてよい。正規化特徴量Ｘは、下記の如く与えられる。
Ｘ＝（ｘ－ｘa）／σｘ …（２）
ここで、ｘ、ｘa、σｘは、正規化前の特徴量、その全エポックの平均値又は中央値、標準偏差である（ｘa、σｘは、それまでの計測された全エポックについての値であってよい。）。かかる正規化により、個人差、個人内差（体調、季節などによる違い）が取り除かれ、推定精度が向上することが可能となる。 It should be noted that preferably, each of the above-mentioned feature quantities may be normalized (Z-score conversion) after being calculated. The normalized feature quantity X is given as follows.
X = (x-x a ) / σ x ... (2)
Here, x, x a , and σ x are the features before normalization, the mean or median value of all the epochs, and the standard deviation (x a , σ x are all the measured epochs so far). It may be the value of.). By such normalization, individual differences and individual differences (differences due to physical condition, season, etc.) can be removed, and the estimation accuracy can be improved.

（ii）各状態段階の事後確率の算出（ステップ５）
上記の如く生体計測特徴量が得られると、それらを参照して、時点ｔに生体計測特徴量Ｘｔが観測されたときに、被検者の生体状態が取り得る各状態段階Ｙｊ（ｊ＝１，２，…）に、被検者の生体状態が属している事後確率Ｐ（Ｙｊ｜Ｘｔ）が算出される。例えば、生体状態として眠気レベルがレベルＹ１、Ｙ２、Ｙ３のいずれであるかを推定する場合には、Ｐ（Ｙ１｜Ｘｔ）、Ｐ（Ｙ２｜Ｘｔ）、Ｐ（Ｙ３｜Ｘｔ）のそれぞれが算出される。かかる事後確率の算出は、後に説明される如き学習データを用いて教師付き機械学習の手法にて決定されたパラメータ（識別器パラメータ）を用いて構成される識別器を用いて実行される。識別器は、ランダムフォレスト法、サポートベクターマシン法、勾配ブースティング法、ｋ－ＮＮ法などの任意の教師付き機械学習の手法に従って構成されてよい。識別器パラメータは、後に説明される如く予め準備されて、メモリ内に記憶され、使用する際に呼び出される。事後確率を算出する具体的な処理は、任意のアルゴリズムにより実行されてよく、典型的には、プログラム言語にて用意された関数やモジュールを使用して実行されてよい。なお、ここにおいて、実際に算出される値は、事後確率を表す任意の指標値であってもよい。 (Ii) Calculation of posterior probabilities for each state stage (step 5)
When the biometric features are obtained as described above, referring to them, each state step Yj (j = 1) that the biological state of the subject can take when the biometric features Xt is observed at the time point t. , 2, ...), The posterior probability P (Yj | Xt) to which the biological condition of the subject belongs is calculated. For example, when estimating whether the drowsiness level is level Y1, Y2, or Y3 as a biological state, each of P (Y1 | Xt), P (Y2 | Xt), and P (Y3 | Xt) is calculated. Will be done. The calculation of such posterior probabilities is performed using a discriminator configured using parameters (discriminator parameters) determined by a method of supervised machine learning using learning data as described later. The classifier may be configured according to any supervised machine learning method such as random forest method, support vector machine method, gradient boosting method, k-NN method and the like. The classifier parameters are prepared in advance as described later, stored in memory, and called when they are used. The specific process of calculating the posterior probability may be executed by an arbitrary algorithm, and typically may be executed by using a function or module prepared in a programming language. Here, the value actually calculated may be an arbitrary index value representing the posterior probability.

（iii）出現確率指標値の算出（ステップ６）及び状態段階の推定（ステップ７）
ステップ５にて算出された各状態段階の事後確率Ｐ（Ｙｊ｜Ｘｔ）によれば、生体状態の属する状態段階は、最大の事後確率を与える段階であると推定することは可能である。しかしながら、上記の事後確率の算出に於いては、生体状態の推移の傾向が考慮されておらず、従って、生体計測特徴量にノイズ等の瞬間的な又は過渡的な値の擾乱が重畳としていると、算出される事後確率は、それまでの生体状態の推移にかかわらず、ノイズ等の値の擾乱が重畳した生体計測特徴量に対応した値となり、生体状態が誤推定されてしまうこととなる。そこで、本実施形態に於いては、ステップ５にて算出された各状態段階の事後確率に対して更に生体状態の推移の傾向の特徴を加味して、被検者の生体状態が取り得る各状態段階Ｙｊに被検者の生体状態が属している確率を修正し、修正された確率、即ち、出現確率が最大となる状態段階が被検者の生体状態が属している状態段階であると推定される。 (Iii) Calculation of appearance probability index value (step 6) and estimation of state stage (step 7)
According to the posterior probability P (Yj | Xt) of each state stage calculated in step 5, it is possible to estimate that the state stage to which the biological state belongs is the stage that gives the maximum posterior probability. However, in the calculation of the above posterior probability, the tendency of the transition of the biological state is not taken into consideration, and therefore, the disturbance of the instantaneous or transient value such as noise is superimposed on the biometric feature amount. The calculated posterior probability is a value corresponding to the biometric feature amount on which the disturbance of the value such as noise is superimposed, regardless of the transition of the biological state up to that point, and the biological state is erroneously estimated. .. Therefore, in the present embodiment, the biological state of the subject can be taken by further adding the characteristics of the tendency of the transition of the biological state to the posterior probability of each state stage calculated in step 5. The probability that the biological state of the subject belongs to the state stage Yj is corrected, and the corrected probability, that is, the state stage where the appearance probability is the maximum is the state stage to which the biological state of the subject belongs. Presumed.

より具体的には、状態段階の推定は、各状態段階の事後確率Ｐ（Ｙｊ｜Ｘｔ）からベイズの定理より得られる生体計測特徴量の尤度Ｐ（Ｘｔ｜Ｙｊ）［生体状態が状態段階Ｙｊであるときに生体計測特徴量Ｘｔが得られる確率］を用いて、下記の如く、ビタビアルゴリズムに従って行われてよい。 More specifically, the estimation of the state stage is based on the posterior probability P (Yj | Xt) of each state stage and the likelihood P (Xt | Yj) of the biometric feature quantity obtained from Bayes' theorem [the biological state is the state stage. Probability that the biometric feature quantity Xt is obtained when it is Yj] may be performed according to the Viterbi algorithm as follows.

まず、時点ｔに於ける生体状態の推移の傾向の特徴を加味した各状態段階ｊの出現確率をδｔ（ｊ）にて表すと、生体状態の属する状態段階の初期値（ｔ＝０のとき）は不明であるところ、各状態段階の出現確率の初期値δ０（ｊ）＝πｊは均等であると仮定されてよい。例えば、生体状態の取り得る状態段階の数が３であれば、出現確率の初期値πｉは、１／３となる。次いで、次の時点ｔ＝１の各状態段階の出現確率δ１（ｊ）は、時点ｔ＝１に於ける生体計測特徴量尤度を用いて、πｊ・Ｐ（Ｘ１｜Ｙｊ）と演算される。そして、それ以降の時点ｔ（＝２～Ｔ）に於ける各状態段階の出現確率δｔ（ｊ）は、下記の式により、与えられる。
δｔ（ｊ）＝ｍａｘｉ［δｔ-1（ｉ）・Ａｉｊ］・Ｐ（Ｘｔ｜Ｙｊ） …（３）
ここにおいて、ｍａｘｉは、δｔ-1（ｉ）・Ａｉｊの最大値を選択する演算子である。Ａｉｊは、生体状態が状態段階Ｙｉから所定の時間の経過後に状態段階Ｙｊへ推移する確率である遷移確率であり、状態段階Ｙｉは、時点ｔよりも所定の時間前の時点ｔ－１に於いて生体状態が属していた状態段階となる。遷移確率Ａｉｊは、生体状態の属する状態段階の推移がＨＭＭ、ＣＲＦなどの任意の確率過程モデルに従って記述されるという仮定の下、後に説明される校正用の生体状態の計測による時系列の状態段階の判定結果を含む系列学習データを用いて算出することが可能であり、遷移確率Ａｉｊ（又はその指標値）は、後に説明される如く、予め準備されて、メモリ内に記憶され、使用する際に呼び出される。なお、各状態段階の出現確率δｔ（ｊ）は、時点ｔ＝０から時点ｔ＝Ｔまで事後確率が算出された後に、時点ｔ＝２から時点ｔ＝Ｔまで再帰的に算出される。また、各状態段階Ｙｊに於いて最大の出現確率δｔ（ｊ）を与える直前の状態段階Ｙｉが、変数ψｔ（ｊ）に於いて下記の如く記憶される。
ψｔ（ｊ）＝ａｒｇｍａｘｉ［δｔ－１（ｉ）・Ａｉｊ］ …（３ａ）
ここにおいて、ａｒｇｍａｘｉは、δｔ－１（ｉ）・Ａｉｊが最大となる状態Ｙｉを選択する演算子である。しかる後、時点ｔ＝Ｔまでの出現確率δｔ（ｊ）とψｔ（ｊ）とが決定されると、時点ｔ＝Ｔに於ける出現確率δＴ（ｊ）の最大値Ｐと状態段階ＹＴが下記の如く与えられる。
Ｐ＝ｍａｘｉ［δＴ（ｊ）］ …（３ｂ）
ＹＴ＝ａｒｇｍａｘｉ［δＴ（ｊ）］ …（３ｃ）
かくして、ψｔ（ｊ）［ｔ＝２～Ｔ］、ＹＴにて表される状態段階の列が得られると、時系列の生体状態の属する状態段階の推定結果が、ｔ＝Ｔからｔ＝１に向かって、順に、
Ｙｔ＝ψｔ＋１（Ｙｔ＋１＝ｊ） …（３ｄ）
によって与えられる。 First, when the appearance probability of each state stage j in consideration of the characteristic of the tendency of the transition of the biological state at the time point t is expressed by δ t (j), the initial value (t = 0) of the state stage to which the biological state belongs is expressed. When) is unknown, it may be assumed that the initial value δ 0 (j) = πj of the appearance probability of each state stage is equal. For example, if the number of possible state stages of the biological state is 3, the initial value πi of the appearance probability is 1/3. Next, the appearance probability δ 1 (j) of each state stage at the next time point t = 1 is calculated as πj · P (X 1 | Yj) using the biometric feature likelihood at the time point t = 1. Will be done. Then, the appearance probability δ t (j) of each state stage at the time point t (= 2 to T) after that is given by the following equation.
δ t (j) = max i [δ t-1 (i) ・ Aij] ・ P (X t | Yj)… (3)
Here, max i is an operator for selecting the maximum value of δ t-1 (i) · Aij. Aij is a transition probability that is the probability that the biological state changes from the state stage Yi to the state stage Yj after a predetermined time elapses, and the state stage Yi is at the time point t-1 that is a predetermined time before the time point t. It becomes the state stage to which the biological state belonged. The transition probability Aij is a time-series state stage by measuring the biological state for calibration, which will be described later, under the assumption that the transition of the state stage to which the biological state belongs is described according to an arbitrary stochastic process model such as HMM or CRF. It is possible to calculate using the series learning data including the determination result of, and the transition probability Aij (or its index value) is prepared in advance, stored in the memory, and used as described later. Called to. The appearance probability δ t (j) of each state stage is recursively calculated from the time point t = 2 to the time point t = T after the posterior probability is calculated from the time point t = 0 to the time point t = T. Further, the state stage Yi immediately before giving the maximum appearance probability δ t (j) in each state stage Yj is stored in the variable ψ t (j) as follows.
ψ t (j) = argmax i [δ t-1 (i) ・ Aij]… (3a)
Here, argmax i is an operator that selects the state Yi in which δ t-1 (i) · Aij is maximized. After that, when the appearance probabilities δ t (j) and ψ t (j) up to the time point t = T are determined, the maximum value P of the appearance probabilities δ T (j) at the time point t = T and the state stage. Y T is given as follows.
P = max i [δ T (j)]… (3b)
Y T = argmax i [δ T (j)]… (3c)
Thus, when a sequence of state stages represented by ψ t (j) [t = 2 to T] and Y T is obtained, the estimation result of the state stage to which the biological state of the time series belongs is obtained from t = T to t. Toward = 1, in order
Yt = ψ t + 1 (Y t + 1 = j)… (3d)
Given by.

上記の式（３）に表される出現確率δｔ（ｊ）は、時点ｔに於いて生体計測特徴量Ｘｔが得られたときの生体状態が各状態段階Ｙｊに属している確率（事後確率）と、時点ｔ－１に於いて状態段階Ｙｉに在った生体状態が時点ｔに於いて各状態段階Ｙｊに在る確率（遷移確率）との積の関数であり、生体計測特徴量と生体状態との相関関係と共に生体状態の推移の傾向との双方が反映されているので、より精度よく生体計測特徴量Ｘｔが得られた時点ｔに於いて各状態段階Ｙｊに生体状態が属している確率を表していると考えることができる。そして、かかる出現確率δｔ（ｊ）が最大となる状態段階Ｙｊが時点ｔに於ける生体状態の属する状態段階であると推定できることとなる。 The appearance probability δ t (j) represented by the above equation (3) is the probability that the biological state when the biometric feature amount Xt is obtained at the time point t belongs to each state stage Yj (posterior probability). ) And the probability (transition probability) that the biological state that was in the state stage Yi at the time point t-1 is in each state stage Yj at the time point t. Since both the correlation with the biological state and the tendency of the transition of the biological state are reflected, the biological state belongs to each state stage Yj at the time point t when the biological measurement feature amount Xt is obtained more accurately. It can be thought of as representing the probability of being present. Then, it can be estimated that the state stage Yj at which the appearance probability δ t (j) is maximized is the state stage to which the biological state belongs at the time point t.

実際の推定処理に於いては、生体計測特徴量尤度Ｐ（Ｘｔ｜Ｙｊ）は、ベイズの定理より、事後確率Ｐ（Ｙｊ｜Ｘｔ）、時点ｔに生体計測特徴量がＸｔとなる確率Ｐ（Ｘｔ）及び生体状態が状態段階Ｙｊである確率Ｐ（Ｙｊ）を用いて、
Ｐ（Ｘｔ｜Ｙｊ）＝Ｐ（Ｙｊ｜Ｘｔ）・Ｐ（Ｘｔ）／Ｐ（Ｙｊ） …（４）
により与えられるところ、生体計測特徴量Ｘｔは、均等に出現すると仮定でき、その場合、状態段階Ｙｊによらず、Ｐ（Ｘｔ）は定数となる。また、各状態段階の出現頻度も均等であると仮定でき、その場合、Ｐ（Ｙｊ）も定数となる（後に説明される如く、識別器パラメータの決定に於いて不均衡データ対策を行う場合には、各状態段階の出現頻度が均等であると看做すことができる。）。従って、式（３）の演算に於いては、生体計測特徴量Ｘｔの尤度を計算せずに、
δｔ（ｊ）＝ｍａｘｉ［δｔ－１（ｉ）・Ａｉｊ］・Ｐ（Ｙｊ｜Ｘｔ） …（３ｅ）
を出現確率の指標値として算出し、上記の処理が実行されてよい。また、ステップ５で実際に算出される値が事後確率の指標値Ｑ（Ｙｊ｜Ｘｔ）である場合には、出現確率の指標値は、ｍａｘｉ［δｔ－１（ｉ）・Ａｉｊ］・Ｑ（Ｙｊ｜Ｘｔ）となる。或いは、遷移確率を表す指標値Ｂｉｊを用いる場合には、出現確率の指標値は、ｍａｘｉ［δｔ－１（ｉ）・Ｂｉｊ］・Ｐ（Ｙｊ｜Ｘｔ）若しくはｍａｘｉ［δｔ－１（ｉ）・Ｂｉｊ］・Ｑ（Ｙｊ｜Ｘｔ）などとなる。いずれの場合も本発明の範囲に属することは理解されるべきである。更に別の態様として、各時点ｔに於ける事後確率と遷移確率との積が最大値となる状態段階が生体状態の属する状態段階であると推定されてもよい。 In the actual estimation process, the biometric feature likelihood P (X t | Yj) is the posterior probability P (Yj | X t ) according to Bayes' theorem, and the biometric feature is X t at the time point t. Using the probability P (Xt) of becoming and the probability P ( Yj ) that the biological state is the state stage Yj,
P (X t | Yj) = P (Yj | X t ) · P (X t ) / P (Yj) ... (4)
Given by, it can be assumed that the biometric features Xt appear evenly, in which case P (Xt) is constant regardless of the state stage Yj. In addition, it can be assumed that the appearance frequency of each state stage is also equal, and in that case, P (Yj) is also a constant (as explained later, when imbalanced data measures are taken in determining the classifier parameters. Can be regarded as having an equal frequency of appearance in each state stage.) Therefore, in the calculation of Eq. (3), the likelihood of the biometric feature quantity Xt is not calculated.
δ t (j) = max i [δ t-1 (i) ・ Aij] ・ P (Yj ｜ Xt)… (3e)
Is calculated as an index value of the appearance probability, and the above processing may be executed. Further, when the value actually calculated in step 5 is the index value Q (Yj | Xt) of the posterior probability, the index value of the appearance probability is max i [δ t-1 (i) · Aij]. Q (Yj | Xt). Alternatively, when the index value Bij representing the transition probability is used, the index value of the appearance probability is max i [δ t-1 (i) · Bij] · P (Yj | Xt) or max i [δ t-1 . (I) ・ Bij] ・ Q (Yj | Xt) and the like. It should be understood that all cases fall within the scope of the present invention. As yet another embodiment, it may be estimated that the state stage to which the product of the posterior probability and the transition probability at each time point t becomes the maximum value is the state stage to which the biological state belongs.

（３）生体状態の推定のための機械学習
上記の本実施形態の装置の生体状態の推定に於いては、識別器パラメータと遷移確率（又はその指標値）とは、予め機械学習の手法によって決定され、メモリに記憶される。以下、それぞれの決定処理について説明する。

(3) Machine learning for estimating the biological state In the estimation of the biological state of the device of the above embodiment, the discriminator parameter and the transition probability (or its index value) are determined in advance by a machine learning method. Determined and stored in memory. Hereinafter, each determination process will be described.

（ａ）識別器パラメータの決定
既に述べた如く、生体計測特徴量Ｘｔが得られたときの各状態段階の事後確率を算出する識別器は、ランダムフォレスト法、サポートベクターマシン法、勾配ブースティング法、ｋ－ＮＮ法などの任意の教師付き機械学習の手法に従って構成されてよいところ、識別器を構成するために設定される識別器パラメータは、図２（Ｂ）に示されている如く、下記の如く調製され選択された教師付き学習データ又は正解値付き学習データ（ステップ１１、１２）を用いて機械学習によって決定される（ステップ１３）。 (A) Determination of classifier parameters As already mentioned, the classifiers for calculating the posterior probability of each state stage when the biometric feature quantity Xt is obtained are the random forest method, the support vector machine method, and the gradient boosting method. , The discriminator parameters set to configure the discriminator, where they may be configured according to any supervised machine learning technique such as the k-NN method, are as shown in FIG. 2 (B) below. It is determined by machine learning using the supervised learning data or the learning data with correct answers (steps 11 and 12) prepared and selected as described above (step 13).

学習データの調製（ステップ１１）に於いては、図２（Ａ）のステップ１～４に関連して説明された生理データの計測及び生体計測特徴量の抽出の処理と同様にして生体計測特徴量のデータが調製され、これと共に生理データの計測と同時に、生体状態の計測及び判定が実行され、そこでの判定結果が学習データに於ける正解値として生体計測特徴量のデータに関連づけられる。生体状態の計測及び判定は、推定されるべき生体状態によって適宜実行されてよいことは理解されるべきである。例えば、推定される生体状態が眠気の程度である場合には、生理データの計測と同時に、眠気の程度が任意の尺度（例えば、カロリンスカ眠気尺度、図５参照）に従って被検者の主観的な判定によって記録され、或いは、脳波測定などにより客観的に測定され記録されてよい。なお、識別器パラメータの決定に於いて用いられる学習データは、生体計測特徴量と生体状態の状態段階とが対応して記録されていればよく、時系列に記録されていることは必須ではない。 In the preparation of the training data (step 11), the biometric features are similar to the processes of measuring the physiological data and extracting the biometric features described in connection with steps 1 to 4 of FIG. 2 (A). The amount data is prepared, and at the same time as the measurement of the physiological data, the measurement and the determination of the biological state are executed, and the determination result there is associated with the data of the biological measurement feature amount as the correct answer value in the learning data. It should be understood that the measurement and determination of the biological condition may be appropriately performed depending on the biological condition to be estimated. For example, if the estimated biological condition is the degree of drowsiness, the degree of drowsiness is subjective to the subject according to an arbitrary scale (eg, Karolinska Drowsiness Scale, see FIG. 5) at the same time as the measurement of physiological data. It may be recorded by judgment, or may be objectively measured and recorded by electroencephalogram measurement or the like. It should be noted that the learning data used in determining the classifier parameters need only be recorded in correspondence with the biometric feature amount and the state stage of the biological state, and it is not essential that the learning data is recorded in time series. ..

識別器パラメータを決定するための機械学習に従った処理（ステップ１３）は、事後確率の算出に採用する機械学習の手法に応じて、上記の学習データの少なくとも一部を用いて、適宜実行されてよい。既に述べた如く、事後確率の算出処理は、任意のアルゴリズム或いは任意のプログラム言語にて用意された関数やモジュールを使用して実行されてよく、識別器パラメータは、使用するアルゴリズム、プログラム言語の関数又はモジュールの仕様によって決まるので、かかる仕様に応じて、識別器パラメータの具体的な値が適宜設定されることは当業者に於いて理解されるであろう。 The process according to machine learning (step 13) for determining the classifier parameters is appropriately executed using at least a part of the above training data according to the machine learning method adopted for calculating the posterior probability. It's okay. As already mentioned, the post-probability calculation process may be performed using any algorithm or a function or module prepared in any programming language, and the discriminator parameter is a function of the algorithm used or the programming language. Alternatively, it will be appreciated by those skilled in the art that specific values of the classifier parameters will be set appropriately according to such specifications, as it will be determined by the specifications of the module.

ところで、「発明の概要」の欄に於いて述べた如く、上記の識別器パラメータの決定のための学習処理に使用する学習データの群が、状態段階の判定結果が或る状態段階に偏っている不均衡データ群であると、推定結果に於ける生体状態が、学習データ群に於いてデータ数の多かった状態段階に偏ってしまう現象が生ずる。この現象を回避するための不均衡データ対策として、本実施形態に於いては、学習データの群からの教師用データの群の選択又は学習処理が、或る状態段階の学習データの群とその他の状態段階の学習データの群との学習パラメータに対する寄与が互いに等しくなるように実行される。一つの態様に於いては、準備された学習データの群の中から実際に学習処理に使用する教師用データの群として、学習データの群に於いて最もデータ数の少ない状態段階の付与されたデータの数にその他の状態段階の付与されたデータの数が揃うように、学習データが抽出される（非特許文献１）。例えば、図３に模式的に描かれている如く、生体状態が状態段階としてレベル１、２、３を取り得る場合に、全学習データのうち、レベル１に判定されたデータの数が最小であるとき（Ｎｍｉｎ）には、教師用データとして、レベル１のデータの全てと、レベル２に判定されたデータのうちの任意のＮｍｉｎ個と、レベル３に判定されたデータのうちの任意のＮｍｉｎ個が選択される。なお、機械学習の手法として、ランダムフォレスト法、勾配ブースティング法などの全学習データの群から複数の学習データの群を復元抽出して多数のデータ群（サンプルデータ群）を準備して、教師用データとして使用する場合（Bootstrapサンプル）には、図３のサンプル１～３に示されている如く、全てのサンプルデータ群に於いて各状態段階に判定されているデータの数が互いに等しくなるようにデータが選択される。かかる構成によれば、識別器により算出される事後確率に於いて、特定のレベルの確率が偏って高くなるといった現象が回避され、また、全てのデータを有効活用することができ、推定精度の向上が期待される。なお、別の態様として、ＳＭＯＴＥアルゴリズム、ＡＤＡＳＹＮアルゴリズムなどに従って教師用データが選択されてもよい。また、ステップ１３の機械学習処理に於いて、誤答したときのコスト又はペナルティを課すアルゴリズム（誤分類コストの設定）、状態段階毎に学習処理に於ける重みを設定するアルゴリズム（状態段階毎の重みの設定）などによって、或る状態段階の学習データの群とその他の状態段階の学習データの群との学習パラメータに対する寄与が互いに等しくなるようにして、識別器パラメータが決定されてもよい。 By the way, as described in the column of "Summary of the invention", the group of learning data used for the learning process for determining the discriminator parameter described above has the determination result of the state stage biased to a certain state stage. In the case of an unbalanced data group, a phenomenon occurs in which the biological state in the estimation result is biased to the state stage in which the number of data is large in the learning data group. As a measure against imbalanced data to avoid this phenomenon, in this embodiment, the selection or learning process of the group of teacher data from the group of training data is performed with the group of training data at a certain state stage and others. It is executed so that the contributions to the training parameters with the group of training data of the state stage are equal to each other. In one embodiment, a state stage with the smallest number of data in the training data group is assigned as a group of teacher data actually used for the training process from the prepared training data group. The training data is extracted so that the number of data is equal to the number of data given in other state stages (Non-Patent Document 1). For example, as schematically shown in FIG. 3, when the biological state can take levels 1, 2, and 3 as state stages, the number of data determined to be level 1 is the minimum among all the training data. At a certain time (Nmin), as teacher data, all of the level 1 data, any Nmin of the level 2 determined data, and any Nmin of the level 3 determined data. Individuals are selected. As a machine learning method, a large number of data groups (sample data groups) are prepared by restoring and extracting a group of multiple training data from a group of all training data such as the random forest method and the gradient boosting method, and the teacher. When used as data for use (Bootstrap sample), as shown in Samples 1 to 3 in FIG. 3, the number of data determined in each state stage is equal to each other in all the sample data groups. The data is selected as follows. According to such a configuration, in the posterior probability calculated by the discriminator, the phenomenon that the probability of a specific level is biased and increased can be avoided, and all the data can be effectively used, and the estimation accuracy can be improved. Expected to improve. As another embodiment, the teacher data may be selected according to the SMOTE algorithm, the ADASYN algorithm, or the like. Further, in the machine learning process of step 13, an algorithm that imposes a cost or a penalty when an incorrect answer is given (setting of a misclassification cost), and an algorithm that sets a weight in the learning process for each state stage (for each state stage). The discriminator parameters may be determined so that the contributions of the training data group of a certain state stage and the training data group of another state stage to the learning parameters are equal to each other by setting the weight) or the like.

（ｂ）遷移確率の決定
既に述べた如く、或る時点から次の時点へ時間が経過する際に生体状態の属する状態段階が推移する確率である遷移確率は、図２（Ｃ）の示されている如く、系列学習データを調製し（ステップ２１）、生体状態の属する状態段階がＨＭＭ、ＣＲＦなどの任意の確率過程モデルに従って推移するとの仮定の下、系列学習データを用いて機械学習により算出される（ステップ２２）。ここで系列学習データとは、既に触れた如く、校正用の生体状態の計測による時系列の状態段階の判定結果を含むデータである。なお、識別器パラメータの決定に用いた学習データの正解値データを時系列に並べたものであってもよい。また、系列学習データには、遷移確率の算出のアルゴリズムによっては、状態段階に対応する生体計測特徴量の時系列データが含まれていてよい。推定される生体状態が眠気の程度である場合、眠気の程度が任意の尺度（例えば、カロリンスカ眠気尺度、図５参照）に従って被検者の主観的な判定によって時系列に記録され、或いは、脳波測定などにより客観的に測定され時系列に記録されたものであってよい。 (B) Determination of transition probability As described above, the transition probability, which is the probability that the state stage to which the biological state belongs changes when time elapses from one point to the next, is shown in FIG. 2 (C). As described above, the sequence learning data is prepared (step 21), and it is calculated by machine learning using the sequence learning data under the assumption that the state stage to which the biological state belongs changes according to an arbitrary stochastic process model such as HMM or CRF. Is done (step 22). Here, the series learning data is data including the determination result of the state stage of the time series by the measurement of the biological state for calibration, as already mentioned. The correct value data of the training data used for determining the classifier parameters may be arranged in chronological order. Further, the series learning data may include time series data of biometric feature quantities corresponding to the state stages, depending on the algorithm for calculating the transition probability. If the estimated biological condition is the degree of drowsiness, the degree of drowsiness is recorded in chronological order by the subject's subjective judgment according to any scale (eg, Karolinska Drowsiness Scale, see FIG. 5), or EEG. It may be one that is objectively measured by measurement or the like and recorded in time series.

系列学習データを用いて遷移確率を求める態様の一つに於いては、具体的には、例えば、或る状態段階Ｙｉに在る生体状態が所定の時間の経過後に状態段階Ｙｊに推移する遷移確率Ａｉｊは、
Ａｉｊ＝Ｆｉｊ／ΣＦｉｊ …（５）
（Σは、ｊについての総和）
により算出される。ここで、Ｆｉｊは、系列学習データに於ける生体状態が状態段階Ｙｉから所定の時間の経過後に状態段階Ｙｊに推移した頻度であり、ΣＦｉｊは、生体状態が状態段階Ｙｉから所定の時間の経過後に各状態段階に推移した頻度の総和である。状態段階が３段階であれば、遷移確率Ａｉｊは、９通り算出される。 In one of the embodiments of obtaining the transition probability using the sequence learning data, specifically, for example, the transition in which the biological state in a certain state stage Yi changes to the state stage Yj after a lapse of a predetermined time. Probability Aij is
Aij = Fiji / ΣFij… (5)
(Σ is the sum of j)
Is calculated by. Here, Fiji is the frequency at which the biological state in the sequence learning data changes from the state stage Yi to the state stage Yj after a predetermined time has elapsed, and ΣFiji is the frequency with which the biological state has elapsed from the state stage Yi to the predetermined time. It is the sum of the frequencies that later changed to each state stage. If there are three state stages, the transition probability Aij is calculated in nine ways.

かくして、上記の如く、機械学習により決定された識別器パラメータと遷移確率とは、それぞれ、メモリに記憶され、生体計測特徴量を参照して生体状態の推定を行う際に利用される。なお、ここで実際に算出され記憶される値は、遷移確率を表す指標値であってもよく、その場合も本発明の範囲に属する。 Thus, as described above, the discriminator parameters and the transition probabilities determined by machine learning are stored in the memory, respectively, and are used when estimating the biological state with reference to the biometric features. The value actually calculated and stored here may be an index value representing the transition probability, and even in that case, it belongs to the scope of the present invention.

検証実験
上記に説明した本発明の有効性を検証するために、以下の如き実験を行った。なお、以下の実施例は、本発明の有効性を例示するものであって、本発明の範囲を限定するものではないことは理解されるべきである。 Verification Experiment In order to verify the effectiveness of the present invention described above, the following experiments were conducted. It should be understood that the following examples illustrate the effectiveness of the present invention and do not limit the scope of the present invention.

上記の本実施形態の装置により、生体状態として日常的な行動中の眠気の程度を推定する実験を行った。実験に於いては、図４に示されたプロトコルに従って行動した被検者に於いて、呼吸波形と加速度のデータを生理データとして計測すると共にタイピングの前後とＤＶＤ視聴中の３分毎にアンケートによって被検者の主観的眠気をカロリンスカ眠気尺度に従って取得した。カロリンスカ眠気尺度に於いては、図５に示すように主観的眠気の程度が９段階で評価される。本実験に於いては、眠気尺度１～３をレベル１、眠気尺度４～５をレベル２、眠気尺度６～９をレベル３とし、学習データに於ける正解値とした。生理データと眠気の計測は、１０名の被検者について２回ずつ行った（学習データとして２０組のデータ群を取得した。）。生体計測特徴量には、生理データから抽出された次の特徴量を用いた。：吸気時間の平均、呼気時間の平均、（吸気時間／呼吸時間）の平均、ポーズ時間の平均、（呼気波形面積／吸気波形面積）の平均、吸気時間の標準偏差、呼気時間の標準偏差、（吸気時間／呼吸時間）の標準偏差、ポーズ時間の標準偏差、（呼気波形面積／吸気波形面積）の標準偏差、平均呼吸数、呼吸変動係数、振幅変動係数、自己相関ピーク比、加速度差分ノルムの最大値、加速度差分ノルムの標準偏差。眠気レベルの推定の評価は、下記のＬＯＳＯＣＶ（Leave One Subject Out Cross Validation）の手順にて各被検者について眠気レベルを推定し、推定結果の正解率とＦ値（精度と再現率の調和平均）との平均値を算出した。事後確率を算出するための識別器は、ランダムフォレスト法に従って構成し、学習データの復元抽出は、１００回を行い、教師用データとして、１００組のデータ群を用いた。ＬＯＳＯＣＶの手順に於いては、被検者１名分のデータをテストデータとし、残りの被検者のデータを用いた機械学習により識別器パラメータと遷移確率とを決定し、決定された識別器パラメータと遷移確率との設定の下、テストデータを用いて眠気レベルの推定と推定結果の正解率とＦ値を算出する処理を、被検者全員のデータがテストデータとなるように１０回繰り返した。 Using the above-mentioned device of the present embodiment, an experiment was conducted to estimate the degree of drowsiness during daily activities as a biological state. In the experiment, in the subject who acted according to the protocol shown in FIG. 4, the respiratory waveform and acceleration data were measured as physiological data, and a questionnaire was given before and after typing and every 3 minutes while watching the DVD. Subject's subjective drowsiness was obtained according to the Karolinska drowsiness scale. In the Karolinska Drowsiness Scale, the degree of subjective drowsiness is evaluated on a 9-point scale as shown in FIG. In this experiment, the drowsiness scales 1 to 3 were set to level 1, the drowsiness scales 4 to 5 were set to level 2, and the drowsiness scales 6 to 9 were set to level 3, and they were the correct answer values in the learning data. Physiological data and drowsiness were measured twice for 10 subjects (20 sets of data groups were acquired as learning data). The following features extracted from physiological data were used as the biometric features. : Average inspiratory time, average expiratory time, average (intake time / breathing time), average pause time, average (expiratory waveform area / inspiratory waveform area), standard deviation of inspiratory time, standard deviation of expiratory time, Standard deviation of (intake time / breath time), standard deviation of pause time, standard deviation of (expiratory waveform area / intake waveform area), average breath rate, respiratory fluctuation coefficient, amplitude fluctuation coefficient, autocorrelation peak ratio, acceleration difference norm Maximum value, standard deviation of acceleration difference norm. To evaluate the estimation of drowsiness level, the drowsiness level is estimated for each subject by the procedure of LOSOCV (Leave One Subject Out Cross Validation) below, and the correct answer rate and F value (harmonic mean of accuracy and recall rate) of the estimation result. ) And the average value was calculated. The classifier for calculating the posterior probability was configured according to the random forest method, the training data was restored and extracted 100 times, and 100 sets of data groups were used as teacher data. In the LOSOCV procedure, the data for one subject is used as test data, and the discriminator parameters and transition probabilities are determined by machine learning using the data of the remaining subjects, and the discriminator is determined. Under the setting of parameters and transition probability, the process of estimating the drowsiness level using the test data and calculating the correct answer rate and F value of the estimation result is repeated 10 times so that the data of all the subjects becomes the test data. rice field.

図６は、上記の手順に従って得られた眠気レベルの推定結果と正解値との例を示している。図に於いては、（Ａ）［ランダムフォレストのみ］不均衡データ対策をせずに機械学習により構成された識別器を用いて生体計測特徴量から算出された事後確率から決定された眠気レベルの推定結果、（Ｂ）［ランダムフォレスト＋不均衡対策］不均衡データ対策をして機械学習）により構成された識別器を用いて生体計測特徴量算出された事後確率から決定された眠気レベルの推定結果、（Ｃ）［ランダムフォレスト＋時系列処理］不均衡データ対策をせずに機械学習により構成された識別器を用いて生体計測特徴量から算出された事後確率と遷移確率とを用いて決定された眠気レベルの推定結果、及び、（Ｄ）［ランダムフォレスト＋不均衡対策＋時系列処理］上記の本実施形態の教示に従い、不均衡データ対策をして機械学習により構成された識別器を用いて生体計測特徴量から算出された事後確率と遷移確率とを用いて決定された眠気レベルの推定結果が、それぞれ、示されている。同図を参照して、（Ａ）の場合、推定結果は、眠気レベル３に偏ってしまっており、また、短時間に急激な変化をしており、正解値の眠気レベルの推移に全く追従できていなかった。これは、学習データに於いて、眠気レベル３に判定されているデータが多くなったこと、及び、生理データにノイズが重畳していたことに起因すると考えられる。（Ｂ）及び（Ｃ）の場合には、それぞれ、（Ａ）の場合に比して改善は見られたが、満足な程度にて、眠気レベルの推移を捉えられることができなかった。これらに対し、（Ｄ）の本実施形態の教示に従って為された推定結果に於いては、ところどころ誤推定があるところ、概ね眠気レベルの推移を捉えることに成功した。 FIG. 6 shows an example of the estimation result and the correct answer value of the drowsiness level obtained according to the above procedure. In the figure, (A) [Random forest only] The drowsiness level determined from posterior probabilities calculated from biometric features using a classifier configured by machine learning without measures against imbalanced data. Estimation of drowsiness level determined from posterior probabilities calculated by biometric features using a classifier composed of (B) [Random forest + imbalance countermeasures] machine learning with imbalance data countermeasures) As a result, (C) [Random forest + time series processing] Determined using posterior probabilities and transition probabilities calculated from biometric features using a classifier configured by machine learning without taking measures against imbalanced data. Estimated result of drowsiness level and (D) [Random forest + Imbalance countermeasure + Time series processing] According to the above teaching of this embodiment, the discriminator configured by machine learning with imbalance data countermeasure is used. The estimation results of the drowsiness level determined by using the posterior probability calculated from the biometric features and the transition probability are shown respectively. With reference to the figure, in the case of (A), the estimation result is biased to the drowsiness level 3 and changes rapidly in a short time, and completely follows the transition of the drowsiness level of the correct answer value. It wasn't done. It is considered that this is because the learning data has a large amount of data determined to be drowsiness level 3 and noise is superimposed on the physiological data. In the cases of (B) and (C), improvement was seen as compared with the case of (A), respectively, but the transition of the drowsiness level could not be grasped to a satisfactory degree. On the other hand, in the estimation results made according to the teaching of the present embodiment of (D), it was possible to capture the transition of the drowsiness level in general, where there were some misestimations.

図７は、上記４つの場合の推定結果の正解率とＦ値の平均値を示している。図から理解される如く、（Ｄ）の本実施形態の教示に従って為された推定結果に於いて、正解率とＦ値の平均値が共に最大となり、本実施形態による手法が定量的な評価においても優れた手法であることが示された。 FIG. 7 shows the correct answer rate and the average value of the F value of the estimation results in the above four cases. As can be understood from the figure, in the estimation result made according to the teaching of the present embodiment of (D), both the correct answer rate and the average value of the F value are maximized, and the method according to the present embodiment is used in the quantitative evaluation. Was also shown to be an excellent technique.

以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。 Although the above description is made in relation to the embodiments of the present invention, many modifications and modifications can be easily made by those skilled in the art, and the present invention is limited to the embodiments exemplified above. It will be apparent that, without limitation, it applies to various devices without departing from the concept of the present invention.

例えば、学習データの群が不均衡データ群ではない場合には、上記の不均衡データ対策は実行されなくてもよい。
For example, if the training data group is not an imbalanced data group, the above imbalanced data countermeasures may not be implemented.

Claims (1)

被検者の生体状態を推定する装置であって、
被検者の生体計測特徴量を取得する生体計測特徴量取得部と、
前記生体計測特徴量に基づいて、前記生体状態が取り得る複数の状態段階のうちの、前記生体計測特徴量が得られた時点の前記被検者の生体状態が属する状態段階を推定する生体状態推定部とを含み、
前記生体状態推定部が、
前記生体計測特徴量と学習パラメータとを用いて前記生体計測特徴量が得られた時点に於ける前記被検者の生体状態が取り得る状態段階の各々に前記被検者の生体状態が属する確率である事後確率又はその指標値を算出する状態段階事後確率算出部と、
前記事後確率と遷移確率とに基づいて算出される前記被検者の生体状態が取り得る状態段階の各々に前記被検者の生体状態が属している確率である出現確率のうち、前記出現確率の最も高い状態段階を前記生体計測特徴量が得られた時点に於ける前記被検者の生体状態の属する状態段階であると推定する状態段階推定部と
を含み、
前記学習パラメータが、
校正用の前記生体状態の計測による状態段階の判定結果及びこれと伴に得られた生体計測特徴量を含む学習データの群を準備する過程と、
前記学習データの群の少なくとも一部を、前記生体計測特徴量を入力とし、前記状態段階の判定結果を正解値とした教師用データの群として用いた教師付き機械学習の手法に従った学習処理によって、前記事後確率を算出するための前記学習パラメータを決定する過程にして、前記教師用データの群に於いて、前記生体状態が取り得る前記状態段階の各々に判定されている学習データの群の前記学習パラメータに対する寄与が互いに等しくなるように、前記学習データの群からの前記教師用データの群の選択又は前記学習処理を実行する過程と
によって決定され、
前記遷移確率が、前記生体計測特徴量が得られた時点よりも所定の時間の経過前の時点に於ける前記被検者の生体状態の属する状態段階から前記生体計測特徴量が得られた時点に於いて前記被検者の生体状態が取り得る状態段階の各々へ前記被検者の生体状態が遷移又は停留する確率であり、
校正用の前記生体状態の計測による時系列の状態段階の判定結果を含む系列学習データを準備する過程と、
前記系列学習データに於ける各時点の前記生体状態の属する状態段階がそこから前記所定の時間の経過後の次の時点に同じ状態段階に停留する頻度及び別の状態段階に遷移する頻度に基づいて、各状態段階にある前記生体状態が前記所定の時間の経過後に各状態段階に推移する確率を前記遷移確率として決定する過程と
によって決定される装置。 A device that estimates the biological condition of a subject,
The biometric feature amount acquisition unit that acquires the biometric feature amount of the subject,
Based on the biometric feature amount, the biological state in which the biological state to which the subject's biological state belongs at the time when the biometric feature amount is obtained is estimated from among a plurality of state stages that the biological state can take. Including the estimation part
The biological state estimation unit
Probability that the biological state of the subject belongs to each of the state stages that the biological state of the subject can take at the time when the biological measurement feature amount is obtained by using the biometric feature amount and the learning parameter. A state-stage posterior probability calculation unit that calculates posterior probabilities or their index values,
Of the appearance probabilities that are the probabilities that the biological state of the subject belongs to each of the possible state stages that the biological state of the subject can take, which is calculated based on the posterior probability and the transition probability, the appearance. It includes a state stage estimation unit that estimates that the state stage with the highest probability is the state stage to which the biological state of the subject belongs at the time when the biometric feature amount is obtained.
The learning parameter is
The process of preparing a group of learning data including the judgment result of the state stage by the measurement of the biological state for calibration and the biometric feature amount obtained together with the judgment result, and
Learning processing according to the method of supervised machine learning using at least a part of the learning data group as a group of teacher data using the biometric feature amount as an input and the determination result of the state stage as a correct answer value. In the process of determining the learning parameter for calculating the ex post facto probability, the learning data determined in each of the state stages that the biological state can take in the group of teacher data. Determined by the process of selecting the group of teacher data from the group of training data or performing the learning process so that the contributions of the groups to the learning parameters are equal to each other.
The time when the biometric feature amount is obtained from the state stage to which the biological state of the subject belongs at the time point before the lapse of a predetermined time from the time point when the biometric feature amount is obtained. It is the probability that the biological state of the subject transitions or stays at each of the possible state stages of the biological state of the subject.
The process of preparing series learning data including the judgment result of the time series state stage by the measurement of the biological state for calibration, and
Based on the frequency with which the state stage to which the biological state belongs at each time point in the series learning data stays at the same state stage at the next time point after the lapse of the predetermined time and the frequency with which the biological state transitions to another state stage. A device determined by a process of determining the probability that the biological state in each state stage transitions to each state stage after the lapse of the predetermined time as the transition probability.
JP2018178193A 2018-09-24 2018-09-24 Biological state estimation device Active JP7067389B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018178193A JP7067389B2 (en) 2018-09-24 2018-09-24 Biological state estimation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018178193A JP7067389B2 (en) 2018-09-24 2018-09-24 Biological state estimation device

Publications (2)

Publication Number Publication Date
JP2020048622A JP2020048622A (en) 2020-04-02
JP7067389B2 true JP7067389B2 (en) 2022-05-16

Family

ID=69994430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018178193A Active JP7067389B2 (en) 2018-09-24 2018-09-24 Biological state estimation device

Country Status (1)

Country Link
JP (1) JP7067389B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022160769A (en) * 2021-04-07 2022-10-20 ソニーグループ株式会社 Information processing system
WO2023286313A1 (en) * 2021-07-15 2023-01-19 ソニーグループ株式会社 Signal processing device and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254827A (en) 2003-02-25 2004-09-16 Matsushita Electric Ind Co Ltd Sleeping state judging device
US20150190086A1 (en) 2014-01-03 2015-07-09 Vital Connect, Inc. Automated sleep staging using wearable sensors
JP2017169884A (en) 2016-03-24 2017-09-28 トヨタ自動車株式会社 Sleep state estimation apparatus
JP2017537731A (en) 2014-12-18 2017-12-21 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． System and method for cardiopulmonary sleep stage classification
JP2017537725A (en) 2014-12-16 2017-12-21 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Infant sleep monitor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254827A (en) 2003-02-25 2004-09-16 Matsushita Electric Ind Co Ltd Sleeping state judging device
US20150190086A1 (en) 2014-01-03 2015-07-09 Vital Connect, Inc. Automated sleep staging using wearable sensors
JP2017537725A (en) 2014-12-16 2017-12-21 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Infant sleep monitor
JP2017537731A (en) 2014-12-18 2017-12-21 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． System and method for cardiopulmonary sleep stage classification
JP2017169884A (en) 2016-03-24 2017-09-28 トヨタ自動車株式会社 Sleep state estimation apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fonseca, Pedro, et al.，A comparison of probabilistic classifiers for sleep stage classification，Physiological measurement，2018年
Wallace, Byron C., et al.，Class imbalance, redux，IEEE 11th international conference on data mining，2011年

Also Published As

Publication number Publication date
JP2020048622A (en) 2020-04-02

Similar Documents

Publication Publication Date Title
Gravina et al. Automatic methods for the detection of accelerative cardiac defense response
Zhai et al. Stress detection in computer users through non-invasive monitoring of physiological signals
EP2698112B1 (en) Real-time stress determination of an individual
US7621871B2 (en) Systems and methods for monitoring and evaluating individual performance
EP3037036A1 (en) Biometric authentication method and apparatus
EP2285270B1 (en) Method and system for determining a physiological condition
US11517255B2 (en) System and method for monitoring behavior during sleep onset
US20070066914A1 (en) Method and System for Detecting and Classifying Mental States
JP2009542351A (en) Analysis of brain patterns using temporal scales
US20200205709A1 (en) Mental state indicator
EP3073400B1 (en) System and method for determining psychological stress of a person
Amin et al. Identification of sympathetic nervous system activation from skin conductance: A sparse decomposition approach with physiological priors
Altini et al. Combining wearable accelerometer and physiological data for activity and energy expenditure estimation
WO2019075522A1 (en) Risk indicator
Geman et al. Towards an inclusive Parkinson's screening system
Alivar et al. Motion artifact detection and reduction in bed-based ballistocardiogram
JP7067389B2 (en) Biological state estimation device
Alivar et al. Motion detection in bed-based ballistocardiogram to quantify sleep quality
Rescio et al. Ambient and wearable system for workers’ stress evaluation
JP2021048965A (en) Feature amount extraction device, state estimation device, feature amount extraction method, state estimation method and program
CN108451494B (en) Method and system for detecting time-domain cardiac parameters using pupil response
WO2019075520A1 (en) Breathing state indicator
Zheng et al. Multi-modal physiological signals based fear of heights analysis in virtual reality scenes
Boccanfuso et al. Collecting heart rate using a high precision, non-contact, single-point infrared temperature sensor
JPWO2018179292A1 (en) Information processing apparatus, method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220411

R151 Written notification of patent or utility model registration

Ref document number: 7067389

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151