JP2024044993A - 信号処理装置、信号処理方法、プログラム、および学習装置 - Google Patents
信号処理装置、信号処理方法、プログラム、および学習装置 Download PDFInfo
- Publication number
- JP2024044993A JP2024044993A JP2023094921A JP2023094921A JP2024044993A JP 2024044993 A JP2024044993 A JP 2024044993A JP 2023094921 A JP2023094921 A JP 2023094921A JP 2023094921 A JP2023094921 A JP 2023094921A JP 2024044993 A JP2024044993 A JP 2024044993A
- Authority
- JP
- Japan
- Prior art keywords
- signal quality
- heart rate
- signal
- unit
- quality estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 168
- 238000003672 processing method Methods 0.000 title description 3
- 238000004458 analytical method Methods 0.000 claims description 111
- 238000012937 correction Methods 0.000 claims description 31
- 238000011946 reduction process Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 13
- 230000002996 emotional effect Effects 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 36
- 238000000034 method Methods 0.000 description 44
- 230000036626 alertness Effects 0.000 description 36
- 230000037007 arousal Effects 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 230000001133 acceleration Effects 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 206010062519 Poor quality sleep Diseases 0.000 description 6
- 230000010349 pulsation Effects 0.000 description 5
- 230000000737 periodic effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000009532 heart rate measurement Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 206010033675 panniculitis Diseases 0.000 description 2
- 210000004304 subcutaneous tissue Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000002567 autonomic effect Effects 0.000 description 1
- 210000000467 autonomic pathway Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000013186 photoplethysmography Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】心拍数を高精度に推定することができるようにする。【解決手段】信号処理装置は、入力された生体信号について第1の信号品質推定を行い、ノイズ低減処理後の生体信号について第2の信号品質推定を行い、ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、第1の信号品質推定の結果および第2の信号品質推定の結果に基づいて心拍数の信頼度を推定する。本技術は、ウェアラブル心拍計に適用することができる。【選択図】図1
Description
本技術は、信号処理装置、信号処理方法、プログラム、および学習装置に関し、特に、心拍数を高精度に推定することができるようにした信号処理装置、信号処理方法、プログラム、および学習装置に関する。
現在普及している、心拍計測機能を搭載したウェアラブルデバイスは、ヘルスケアや心拍トレーニング等の様々なアプリケーションに応用されている。
ウェアラブルデバイスに搭載されている心拍計測機能は、一般的に光電容積脈波方式(photoplethysmography;以降、PPG方式と呼ぶ)を採用しているものが多い。PPG方式は、発光部(例えば、LED(light-emitting diode))から投入した光線が皮膚下数mmに存在する血液および皮膚下組織で吸収、散乱、反射し、反射した光量が受光部(例えばPhoto-detector)で計測されることで、皮膚下に分布する毛細血管の血流変化を示す信号(以後、脈波信号と呼ぶ)を計測する方式である。
自律神経活動を反映する生理指標の1つとして心拍変動が知られている。PPG方式において、心拍変動は脈波信号のピーク位置の時間間隔の時系列データにより解析される。
PPG方式を用いる場合、測定部位が殆ど動かない安静状態では比較的精度よく脈波信号を計測できるが、測定部位が動くと脈波信号にノイズ(以降、体動ノイズと呼ぶ)が発生する。リストバンド型PPG方式心拍センサ(以下、PPGセンサと称する)における体動ノイズの要因は、PPGセンサと測定部位との接触状態の変化であり、次の4つの主要因があげられる。
(1)不要な皮膚表面反射光の混入
(2)皮膚下を伝わっての外光の混入
(3)PPGセンサと測定部位の接触状態が良好でも発生する、測定部位の動きによる血流変化での疑似信号
(4)指や手首の動きに伴う皮膚下組織の変形による光吸収量の変動
(2)皮膚下を伝わっての外光の混入
(3)PPGセンサと測定部位の接触状態が良好でも発生する、測定部位の動きによる血流変化での疑似信号
(4)指や手首の動きに伴う皮膚下組織の変形による光吸収量の変動
上記の主要因の複合により脈波信号に疑似ピーク信号が混入し、どのピークが拍動に由来するピーク信号なのか、疑似ピーク信号なのか、判定が困難となり、心拍数の推定精度が低下してしまう。
これまでに、体動ノイズを低減する様々な手法(適応フィルタ、周波数解析、ブラインド信号分離手法等)が提案されている(例えば、特許文献1および2参照)。一般的にはノイズ低減手法の前処理として、脈波信号に対して脈波信号の帯域を制限するバンドパスフィルタ処理が適用され、バンドパスフィルタ処理後の脈波信号に対してさらにノイズ低減手法が適用される。
しかしながら、ノイズ低減処理後の脈波信号においてピーク間隔を正しく検出しても、リファレンスとされる心電計から算出される心拍間隔との誤差が大きくなってしまう。これはノイズ低減が期待通りに動作したとしても、入力信号のS/N(Signal-to-Noise ratio)が悪く、フィルタ処理後のピーク位置がずれるためである。このため、脈波信号のピーク間隔(心拍数)の時系列データを用いて心拍変動を解析しても、リファレンスである心電計による心拍変動の解析から大きく乖離し、心拍変動を活用したヘルスケアアプリケーションの精度が低下してしまう。
本技術はこのような状況に鑑みてなされたものであり、心拍数を高精度に推定することができるようにするものである。
本技術の一側面の信号処理装置は、入力された生体信号について第1の信号品質推定を行う第1の信号品質推定部と、ノイズ低減処理後の前記生体信号について第2の信号品質推定を行う第2の信号品質推定部と、前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と、推定された前記心拍数の信頼度に基づいて前記心拍数を補正する補正処理部とを備える。
本技術の一側面においては、入力された生体信号について第1の信号品質推定が行われ、ノイズ低減処理後の前記生体信号について第2の信号品質推定が行われ、前記ノイズ低減処理後の前記生体信号に基づいて心拍数が推定され、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果に基づいて前記心拍数の信頼度が推定される。そして、推定された前記心拍数の信頼度に基づいて前記心拍数が補正される。
本技術の他の側面の学習装置は、入力された生体信号について第1の信号品質推定を行う第1の信号品質推定部と、ノイズ低減処理後の前記生体信号について第2の信号品質推定を行う第2の信号品質推定部と、前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と、推定された前記心拍数および前記心拍数の信頼度を用いて、人の情動状態を推定するための推定モデルを学習する推定モデル学習部とを備える。
本技術の他の側面においては、入力された生体信号について第1の信号品質推定が行われ、ノイズ低減処理後の前記生体信号について第2の信号品質推定が行われ、前記ノイズ低減処理後の前記生体信号に基づいて心拍数が推定され、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果に基づいて前記心拍数の信頼度が推定される。そして、推定された前記心拍数および前記心拍数の信頼度を用いて、人の情動状態を推定するための推定モデルが学習される。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.その他
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.その他
<1.第1の実施の形態>
<ウェアラブル心拍計の構成例>
図1は、本技術の第1の実施の形態に係るウェアラブル心拍計の構成例を示すブロック図である。
<ウェアラブル心拍計の構成例>
図1は、本技術の第1の実施の形態に係るウェアラブル心拍計の構成例を示すブロック図である。
図1のウェアラブル心拍計11は、PPG方式の心拍計測機能を搭載するスマートウォッチなどで構成される。図1の場合、ウェアラブル心拍計11の測定部位は手首となる。
なお、測定部位は手首に限定されず、例えば、ウェアラブル心拍計11がカナル型ヘッドフォンやヘッドバンドである場合、耳が測定部位となる。ウェアラブル心拍計11がVR(Virtual Reality)ゴーグルである場合、額が測定部位となる。ウェアラブル心拍計11がバンド型のデバイスである場合、バンドが装着される腕や足が測定部位となる。ウェアラブル心拍計11がパッチ形状のデバイスである場合、胸部が測定部位となる。
図1において、ウェアラブル心拍計11は、信号品質推定部21、ノイズ低減処理部22、信号品質推定部23、周期性解析部24、心拍推定部25、補正処理部26、および全体制御部27を含むように構成される。
ウェアラブル心拍計11においては、生体信号のうち、例えば、脈波信号が観測されることで心拍が計測される。
図1のウェアラブル心拍計11には、入力信号として、脈波信号、加速度信号、および角速度(ジャイロ)信号が入力される。脈波信号、加速度信号、および角速度信号は、信号品質推定部21およびノイズ低減処理部22に供給される。
信号品質推定部21は、図示せぬ前段から供給される脈波信号の信号品質を推定し、推定した信号品質を示す情報を全体制御部27に供給する。
なお、一般的には、脈波信号の信号品質の推定においては、心拍帯域(S成分)とそれ以外の帯域(N成分)としてS/N値が用いられる。観測される脈波信号の心拍帯域は未知なので、脈波信号から推定された心拍帯域が用いられる。ただし、体動ノイズが混入している場合、正しい心拍帯域の推定が困難になる。
信号品質推定部21においては、事前に生成される多様なS/N値の脈波信号のデータセットを用いて機械学習により構築された信号品質推定(DNN)モデルが用いられる。信号品質推定モデルは、信号品質ラベル(例えばgood or badの2クラス)を推定するモデルである。信号品質ラベルは、算出された心拍数と心電計により計測された心拍数との比較により、その差分が予め設定した誤差以下であるか否かで定義されている。信号品質推定部21の詳細は、図2を参照して後述する。
信号品質推定部21は、脈波信号の信号品質を示す情報(信号品質ラベルと推定値)を全体制御部27に供給する。
ノイズ低減処理部22は、前段から供給される脈波信号、加速度信号、および角速度信号から、脈波信号に重畳されたノイズを低減する。ノイズ低減処理部22においては、例えば、加速度信号および角速度信号をノイズ参照信号とした適応フィルタによるノイズ低減などが用いられる。ノイズ低減処理部22は、ノイズ低減処理後の脈波信号を、信号品質推定部23、周期性解析部24、および心拍推定部25に出力する。
なお、ノイズ低減手法として様々な手法が提案されているが、本技術はノイズ低減処理に依存しないフレームワークであるため、ノイズ低減処理部22では、いずれのノイズ低減手法が用いられていてもよい。
信号品質推定部23は、ノイズ低減処理部22から供給されるノイズ低減処理後の脈波信号の信号品質を推定する。
なお、上述したように様々なノイズ低減処理が提案されているが、ノイズを完全に分離することが難しいために、ノイズ低減処理後の脈波信号には、残留ノイズが含まれてしまう。
例えば、適応フィルタによるノイズ低減処理を行う際に、体動の周波数が一定である場合、高精度のノイズ低減が可能である。しかしながら、体動が非周期で単発な場合、最適なフィルタ係数が求まらず、ノイズ低減ができずに残留ノイズが発生する。
そこで、信号品質推定部23においては、残留ノイズの量を評価するために、ノイズ低減処理後の脈波信号の信号品質が推定される。その際、信号品質推定モデルは、信号品質推定部21と同じものが用いられてもよい。
信号品質推定部23は、ノイズ低減処理後の脈波信号の信号品質を示す情報(信号品質ラベルと推定値)を全体制御部27に供給する。
周期性解析部24は、全体制御部27から供給される(ノイズ低減処理前後の)信号品質を示す情報を参照して、ノイズ低減処理部22から供給されるノイズ低減処理後の脈波信号の周期性を解析する。心拍は、周期性が高いため、周期性解析部24においては、心拍由来の脈波信号の周期性が高くなる性質を利用し、脈波信号の周期性が高いか否かの判定も行われる。周期性解析部24は、周期性の解析結果を全体制御部27に出力する。
例えば、周期性解析部24は、自己相関を使用した周期性解析を行い、相関が最大となるラグ(lag、ズレ)を検出する。周期性解析部24は、最大相関係数が予め設定した閾値より大きい場合、周期性がある(高い)と判定し、最大相関係数が予め設定した閾値より小さい場合、周期性がない(低い)と判定する。
また、周期性解析の他の例としては、相関が最大となるラグを保存しておき、現在のラグと過去のラグの時系列変動との差分が予め設定した閾値より小さい場合、周期性があると判定され、差分が閾値より小さい場合、周期性がないと判定されるようにしてもよい。
心拍推定部25は、全体制御部27から供給される周期性の解析結果を参照して、ノイズ低減処理部22から供給されるノイズ低減処理後の脈波信号から心拍数を推定する。
心拍推定部25は、脈波信号のピーク検出を行う。心拍推定部25は、脈波信号のピークを検出し、検出したピークの間隔であるピーク間隔から心拍数を推定する。ピーク検出手法として様々な手法が提案されているが、本技術はピーク検出手法に依存しないフレームワークであるため、心拍推定部25では、いずれのピーク検出手法が用いられてもよい。
例えば、心拍推定部25は、極大値検出からピーク間隔を検出し、ピーク間隔が人の心拍帯域の範囲内であれば、検出した極大値をピーク位置として用いる。また、例えば、心拍推定部25は、周期性解析部24において検出されたラグの値とピーク間隔が近くなるピーク位置を、ピーク間隔の候補として用いるようにしてもよい。
さらに、心拍推定部25は、信号品質推定部21と信号品質推定部23の信号品質推定結果に基づいて、ピーク位置における心拍数の信頼度を推定する。心拍数の信頼度の推定には、ノイズ低減処理前後の両方の信号品質が参照される。例えば、ピーク位置における信号品質推定部21および信号品質推定部23の信号品質ラベルが両方goodである(品質が高い)場合、ピーク位置における心拍数の信頼度は高いと推定される。
本技術は、脈波信号からの心拍数の検出において、脈波信号の拍動毎のピークの信号品質を推定するようにしたものである。
すなわち、本技術においては、ピークの検出においてピーク位置における心拍数の信頼度を推定する際に、ピーク強度やピーク間隔が拍動由来の強度や帯域であるか否かが判定されるのではなく、1拍1拍(拍動毎)の信号波形が拍動由来か否か、すなわち、信頼度が高いか否かが判定される。これにより、ピーク位置における心拍数の信頼度を高精度に推定することができる。
なお、心拍推定部25は、周期性解析の結果も加味して、心拍数の信頼度を判定するようにしてもよい。これにより、波形の信号品質に加えて、拍動由来の周期性であるか否か、すなわち、周期性の信頼度が高いか否かの判定も行うことができるため、心拍数の信頼度をより高精度に推定することができる。
心拍推定部25は、推定した心拍数と心拍数の信頼度を補正処理部26に出力する。
補正処理部26は、心拍推定部25から供給される心拍数の信頼度に基づいて、心拍推定部25から供給される心拍数の補正処理を行う。例えば、補正処理部26は、信頼度が予め設定した閾値以下の(すなわち、信頼度が低い)心拍数データを欠損値扱いにして、近傍(過去または未来)の信頼度の高いデータを用いて埋める。
具体的には、例えば、信頼度が低い心拍数データは、時間的に最も近い信頼度の高い心拍数による前置ホールド、または、近傍の信頼度の高い心拍数からの線形補間を用いて埋められる。信頼度の低い心拍数は、体動ノイズが重畳された脈波信号から算出された心拍数なので、誤検出された心拍数が棄却され、最終的に出力される心拍数の精度が向上する。
なお、補正処理部26においては、信号品質の度合いに応じて補正処理の種類を変えるようにしてもよい。
補正処理部26は、補正処理が施された心拍数と心拍数の信頼度とを、図示せぬ後段に出力する。
全体制御部27は、各部間のデータのやり取りを制御する。
<信号品質推定部の構成>
図2は、図1の信号品質推定部21の構成例を示すブロック図である。
図2は、図1の信号品質推定部21の構成例を示すブロック図である。
図2において、信号品質推定部21は、解析窓設定部31、時間特徴量算出部32、周波数特徴量算出部33、信号品質推定処理部34、および信号品質推定モデル記憶部35を含むように構成される。
解析窓設定部31には、入力信号として、脈波信号、加速度信号、および角速度信号が入力される。一般的には、特徴量は、数秒程度の解析窓(スライディングウィンドウ)により抽出される。解析窓設定部31は、入力信号に対して、例えば4秒などの解析窓を設定して、設定した解析窓に関する情報を、時間特徴量算出部32および周波数特徴量算出部33に出力する。
時間特徴量算出部32は、解析窓設定部31から供給される解析窓に関する情報に基づいて、解析窓内の時間成分の特徴量を算出し、算出した時間成分の特徴量を、信号品質推定処理部34に出力する。
周波数特徴量算出部33は、解析窓設定部31から供給される解析窓に関する情報に基づいて、解析窓内の周波数成分の特徴量を算出し、算出した周波数成分の特徴量を、信号品質推定処理部34に出力する。
信号品質推定処理部34は、時間特徴量算出部32から供給される解析窓内の時間成分の特徴量と、周波数特徴量算出部33から供給される解析窓内の周波数成分の特徴量とを入力として、信号品質推定モデルを用いて信号品質推定を行い、信号品質ラベルと推定値を出力する。
信号品質推定モデル記憶部35には、信号品質推定処理部34が用いる信号品質推定モデルが記憶されている。信号品質推定モデルは、図3を用いて後述する信号品質推定モデル学習部51で学習されて、信号品質推定モデル記憶部35に記憶される。
<信号品質推定モデル学習部>
図3は、信号品質推定モデル学習部51の構成例を示すブロック図である。
図3は、信号品質推定モデル学習部51の構成例を示すブロック図である。
図3の信号品質推定モデル学習部51は、信号品質推定モデル記憶部35に記憶される信号品質推定モデルを学習する。信号品質推定モデル学習部51は、ウェアラブル心拍計11内に構成されてもよいし、他の信号処理装置内に構成されるようにしてもよい。なお、図3において、図2と対応する部分には同じ符号が付されており、その説明は繰り返しになるため、省略される。
信号品質推定モデル学習部51は、解析窓設定部31、時間特徴量算出部32、周波数特徴量算出部33、信号品質推定モデル学習部61、およびデータセット記憶部62を含むように構成される。
図3の解析窓設定部31には、データセット記憶部62に記憶される脈波信号、加速度信号、および角速度信号(x)と信号品質ラベル(y)とのデータセットが入力される。
信号品質推定モデル学習部61は、時間特徴量算出部32から供給される解析窓内の時間成分の特徴量と、周波数特徴量算出部33から供給される解析窓内の周波数成分の特徴量とを入力として、データセット記憶部62のデータセットについて予め定義された信号品質ラベルを用いて、信号品質推定モデルを学習する。学習された信号品質推定モデルは、図1の信号品質推定部21および23などにおいて用いられる。
データセット記憶部62には、脈波信号、加速度信号、および角速度信号(x)と信号品質ラベル(y)とのデータセット、並びに各データセットについて予め定義された信号品質ラベル(例えばgood or badの2クラス)が記憶されている。信号品質ラベルは、図4を参照して後述する信号品質ラベル生成部71により定義されて、データセット記憶部62に記憶される。
<信号品質ラベル生成部>
図4は、信号品質ラベル生成部71の構成例を示すブロック図である。
図4は、信号品質ラベル生成部71の構成例を示すブロック図である。
例えば、心電計とウェアラブル心拍計11を用いた同時計測時に、様々な動作を行うことで多様なS/N値の脈波信号のデータセットが事前に構築されている。
脈波信号のデータセットは、ウェアラブル心拍計11により計測される脈波信号、加速度信号、角速度信号と、心電計により計測される心拍数とからなる。
図4の信号品質ラベル生成部71は、各データセットについて信号品質ラベルを定義し、定義した信号品質ラベルを、データセットとともに図5のデータセット記憶部に記憶する。信号品質ラベル生成部71は、ウェアラブル心拍計11内に構成されてもよいし、他の信号処理装置内に構成されるようにしてもよい。
信号品質ラベル生成部71は、ノイズ低減処理部81、心拍推定部82、演算部83、および比較判定部84を含むように構成される。
データセットの脈波信号、加速度信号、および角速度信号がノイズ低減処理部81に入力される。ノイズ低減処理部81は、脈波信号に対してノイズ低減処理を行い、心拍推定部82に出力する。
心拍推定部82は、ノイズ低減処理後の脈波信号からピークおよびピーク間隔などを検出し、検出したピーク間隔から心拍数を推定する。心拍推定部82は、推定した心拍数を演算部83に出力する。
演算部83には、心拍推定部82により推定された心拍数と、データセットのリファレンス心拍数が供給される。演算部83は、心拍推定部82により推定された心拍数と、リファレンス心拍数の差分を、比較判定部84に出力する。
比較判定部84は、演算部83から供給される差分が、予め設定した誤差以下であるか否かに基づいて、信号品質ラベル(例えばgood or badの2クラス)を定義する。すなわち、差分が、予め設定した誤差以下である場合、信号品質ラベルはgoodのクラスに定義され、差分が、予め設定した誤差より大きい場合、信号品質ラベルはbadのクラスに定義される。
次に、周期性解析部24による自己相関を使用した周期性解析の例について説明する。
図5は、脈波信号の例を示す図である。
図5においては、縦軸が脈波を示し、横軸が時間を示す。また、図5においては、周期性解析部24により設定された基準窓(実線)と、ラグを基準窓に対して過去方向にずらした位置に設定された参照窓(破線)が示されている。
図6は、相関最大となるラグの相関係数を示す図である。
図6においては、縦軸が相関係数を示し、横軸がラグを示す。
周期性解析部24は、図5に示されるように、脈波信号に対して基準窓を設定し、ラグを過去方向にずらした位置に参照窓を設定する。そして、設定された基準窓の脳波信号と参照窓の脳波信号との相互の相関係数が算出されることにより、図6に示されるように、相関最大となるラグが検出される。
なお、相関最大となるラグの相関係数(すなわち、最大相関係数)が予め設定した閾値よりも小さい場合、周期性解析部24は、この脈波信号は周期性がない(低い)と判定する。
また、図5および図6の例は一例であり、周期性解析部24においては、図7を参照して後述するように周期性解析が行われてもよい。
図7は、相関最大となるラグを時間に沿って示す図である。
図7においては、相関最大となるラグが時間の経過に沿って示されている。例えば、過去の相関最大となるラグ(データ)の平均±標準偏差の範囲内に、現在時刻で算出されたラグが含まれている。
周期性解析部24は、図7に示されるように、現在時刻で算出されたラグが、過去の相関最大となるラグの平均±標準偏差の範囲内に含まれている場合、周期性があると判定し、過去の相関最大となるラグの平均±標準偏差の範囲内に含まれない場合、周期性がないと判定するようにしてもよい。
<ウェアラブル心拍計の処理>
図8は、図1のウェアラブル心拍計11の処理を説明するフローチャートである。
図8は、図1のウェアラブル心拍計11の処理を説明するフローチャートである。
脈波信号、加速度信号、および角速度信号が、信号品質推定部21およびノイズ低減処理部22に供給される。
ステップS11において、信号品質推定部21は、前段から供給される脈波信号の信号品質を推定し、信号品質を示す情報(信号品質ラベルと推定値)を全体制御部27に出力する。
ステップS12において、ノイズ低減処理部22は、前段から供給される脈波信号、加速度、角速度信号から、脈波信号に重畳されたノイズを低減する。ノイズ低減処理部22は、ノイズ低減処理後の脈波信号を、信号品質推定部23、周期性解析部24、および心拍推定部25に出力する。
ステップS13において、信号品質推定部23は、ノイズ低減処理部22から供給されるノイズ低減処理後の脈波信号の信号品質を推定する。信号品質推定部23は、ノイズ低減処理後の脈波信号の信号品質を示す情報(信号品質ラベルと推定値)を全体制御部27に供給する。
ステップS14において、周期性解析部24は、全体制御部27から供給される信号品質を示す情報を参照して、ノイズ低減処理部22から供給されるノイズ低減処理後の脈波信号の周期性を解析する。周期性解析部24は、周期性の解析結果を全体制御部27に出力する。
ステップS15において、心拍推定部25は、全体制御部27から供給される周期性の解析結果を参照して、ノイズ低減処理部22から供給されるノイズ低減処理後の脈波信号から心拍数を推定する。また、心拍推定部25は、信号品質推定部21と信号品質推定部23の信号品質推定結果に基づいて、ピーク位置における心拍数の信頼度を推定する。このとき、上述したように、全体制御部27から供給される周期性の解析結果が参照されてもよい。心拍推定部25は、推定した心拍数と心拍数の信頼度を補正処理部26に出力する。
ステップS16において、補正処理部26は、心拍推定部25から供給される心拍数の信頼度に基づいて、心拍推定部25から供給される心拍数の補正処理を行う。補正処理部26は、補正処理が施された心拍数と心拍数の信頼度とを、図示せぬ後段に出力する。
ここで、一般的には、心拍数の時系列データの統計情報や線形予測等から外れ値検出がなされる。しかしながら、ユーザの自律神経状態の影響などにより心拍数は大きく変動し、誤って外れ値として誤検出される場合がある。
一方、本技術においては、入力される脈波信号とノイズ低減処理後の脈波信号の波形形状が拍動由来か否かを判定する信頼度が用いられることで、外れ値として誤検出されることがなくなり、さらに、外れ値を検出可能であるため、心拍数の高精度な推定が可能となる。
なお、補正処理部26から最終的に出力される心拍数の信頼度は、信号品質推定部21および23の信号品質推定結果における信号品質ラベルgood or badだけに限らない。
<最終的に出力される心拍数の信頼度の例>
図9は、最終的に出力される心拍数の信頼度の例を示す図である。
図9は、最終的に出力される心拍数の信頼度の例を示す図である。
図9のAには、信号品質推定部21および23の信号品質推定結果における信号品質ラベルの論理積がgoodで、かつ、周期性解析部24の周期性解析の結果が高い場合、最終的に出力される心拍数の信頼度が1.0であることが示されている。
なお、信号品質推定部21および23の信号品質推定結果における信号品質ラベルの論理積は、信号品質推定部21の信号品質推定結果における信号品質ラベルがgoodで、かつ、信号品質推定部23の信号品質推定結果における信号品質ラベルがgoodの場合のみ、goodとなる。
信号品質推定部21および23の信号品質推定結果における信号品質ラベルの論理積がgoodで、かつ、周期性解析部24の周期性解析の結果が低い場合、最終的に出力される心拍数の信頼度が0.5であることが示されている。
信号品質推定部21および23の信号品質推定結果における信号品質ラベルの論理積がbadで、かつ、周期性解析部24の周期性解析の結果が高い場合、最終的に出力される心拍数の信頼度が0.5であることが示されている。
信号品質推定部21および23の信号品質推定結果における信号品質ラベルの論理積がbadで、かつ、周期性解析部24の周期性解析の結果が低い場合、最終的に出力される心拍数の信頼度が0.0であることが示されている。
図9のBには、信号品質推定部21および23の信号品質推定結果における信号品質ラベルの論理積がgoodで、かつ、周期性解析部24の周期性解析の結果が高い場合、最終的に出力される心拍数の信頼度が1.0であることが示されている。
信号品質推定部21および23の信号品質推定結果における信号品質ラベルの論理積がgoodで、かつ、周期性解析部24の周期性解析の結果が低い場合、最終的に出力される心拍数の信頼度が自己相関最大値(相関最大係数)であることが示されている。
信号品質推定部21および23の信号品質推定結果における信号品質ラベルの論理積がbadで、かつ、周期性解析部24の周期性解析の結果が高い場合、最終的に出力される心拍数の信頼度が自己相関最大値であることが示されている。
信号品質推定部21および23の信号品質推定結果における信号品質ラベルの論理積がbadで、かつ、周期性解析部24の周期性解析の結果が低い場合、最終的に出力される心拍数の信頼度が0.0であることが示されている。
以上のように、補正処理部26から最終的に出力される心拍数の信頼度は、信号品質推定部21および23の信号品質推定結果における信号品質ラベルgood or bad だけでなく、信号品質推定部21および23と周期性解析部24の結果に基づく値が出力されるようにしてもよい。
<2.第2の実施の形態>
<ウェアラブル心拍計の構成例>
図10は、本技術の第2の実施の形態に係るウェアラブル心拍計の構成例を示す図である。
<ウェアラブル心拍計の構成例>
図10は、本技術の第2の実施の形態に係るウェアラブル心拍計の構成例を示す図である。
図10のウェアラブル心拍計101は、体動コンテキスト解析部111が追加された点と、信号品質推定部21、信号品質推定部23、および全体制御部27が、信号品質推定部112、信号品質推定部113、および全体制御部114と入れ替わった点が、図2のウェアラブル心拍計11と異なっている。図10において、図1と対応する部には、同じ符号が付してあり、繰り返しになるので、その説明は省略される。
体動コンテキスト解析部111は、ユーザの体動情報に基づいて、ユーザがどのような体動状態(寝る、走る、歩く、座るなど)であるのかを推定(解析)する。
具体的には、体動コンテキスト解析部111は、ユーザの体動情報としての加速度、角速度、気圧、地磁気などのセンサ情報に基づいて、ユーザが何の活動をしていたのか、ユーザの体動状態を意味する体動コンテキストを推定する。推定された体動コンテキストは、全体制御部114に出力される。
なお、コンテキスト解析手法として様々な手法が提案されているが、本技術はコンテキスト解析処理に依存しないフレームワークであるため、体動コンテキスト解析部111では、いずれのコンテキスト解析手法が用いられていてもよい。
信号品質推定部112には、体動コンテキストも入力される。その際、信号品質推定部112においては、事前に生成される多様なS/N値の脈波信号のデータセットと、体動コンテキストとを入力として用いて、機械学習により構築された信号品質推定モデルが用いられる。信号品質推定部112は、その他については、信号品質推定部21と同様に構成される。信号品質推定部113においても同様としてもよい。
全体制御部114は、体動コンテキスト解析部111から供給された体動コンテキスト、信号品質推定部112による信号品質推定結果、信号品質推定部113によるノイズ低減処理後の信号品質推定結果に基づいて、点線矢印に示されるように、ノイズ低減処理部22、信号品質推定部113、周期性解析部24の処理を動作させたり、停止させたりする制御を行う。
例えば、体動コンテキスト解析部111は、加速度センサのノルム値から予め設定した閾値に基づいて、体動コンテキストとして、体動の有無(静動判定)および体動強度(大きさ)を推定する。なお、体動の有無は、体動の大きさが所定の閾値α(αは0に近い小さい値)と比較して判定され、体動の大きさが所定の閾値αより小さい場合、体動がないと判定される。
この場合、全体制御部114は、例えば、体動コンテキスト解析部111により推定された体動強度、信号品質推定部112による信号品質推定結果、信号品質推定部113によるノイズ低減処理後の信号品質推定結果に基づいて、入力信号品質と体動強度に対するノイズ低減処理の限界性能を予め算出しておく。
体動コンテキスト解析部111により推定された体動強度がノイズ低減処理の限界性能を超えると判定された場合、ノイズ低減処理以降の処理(ノイズ低減処理、ノイズ低減処理後の信号品質推定、および周期性解析の少なくともいずれか1つ)を実施したとしても、心拍推定部25で推定される信頼度は殆ど変わらない。
そこで、全体制御部114は、第1の処理例(後述する図11)として、体動コンテキスト解析部111で推定された体動強度が体動ノイズ低減処理の限界性能を超えると判定した場合、上述したノイズ低減処理以降の処理、少なくとも周期性解析の処理を停止させる制御を行う。これにより、フレームワーク(処理)全体としての演算コストおよび消費電力を低下させることが可能になる。
また、体動コンテキスト解析部111において体動が所定の閾値αより小さいと推定され、信号品質推定部112で信号品質が所定の閾値βよりよい(高い)場合、明らかに入力脈波にはノイズが殆ど重畳されていないのがわかる。
そこで、全体制御部114は、第2の処理例(後述する図12)として、ノイズ低減処理部12、信号品質推定部113、周期性解析部24の処理を停止させる。これにより、フレームワーク(処理)全体としての演算コストおよび消費電力を低下させることが可能になる。
<ウェアラブル心拍計の第1の処理>
図11は、図10のウェアラブル心拍計101の第1の処理を説明するフローチャートである。
図11は、図10のウェアラブル心拍計101の第1の処理を説明するフローチャートである。
脈波信号、加速度信号、および角速度信号が、信号品質推定部112およびノイズ低減処理部22に供給される。また、加速度、角速度、気圧、地磁気などのセンサ情報が体動コンテキスト解析部111に入力される。
ステップS111において、体動コンテキスト解析部111は、センサ情報をユーザの体動情報として入力し、体動コンテキスト解析を行い、体動強度を推定する。推定された体動強度は、全体制御部27に出力される。
ステップS112において、信号品質推定部112は、前段から供給される脈波信号の信号品質を推定し、信号品質を示す情報(信号品質ラベルと推定値)を全体制御部114に出力する。このとき、上述したように、全体制御部114から供給される体動コンテキストが入力として用いられるようにしてもよい。
ステップS113において、全体制御部114は、体動コンテキスト解析部111から供給された体動強度がノイズ低減処理の限界性能を超えるか否かを判定する。体動強度がノイズ低減処理の限界性能を超えないとステップS113において判定された場合、処理は、ステップS114に進む。
ステップS114乃至S118の処理は、図8のステップS12乃至S16の処理と基本的に同様の処理であるので、その説明は省略される。
ステップS113において体動強度がノイズ低減処理の限界性能を超えると判定された場合、ステップS114乃至S116の処理はスキップされ、処理は、ステップS117に進む。すなわち、処理を行っても意味がないため、ノイズ低減処理部22、信号品質推定部113、および周期性解析部24は各処理を停止する。
ステップS114乃至S116の処理がスキップされた場合、ステップS117において、心拍推定部25は、ノイズ低減処理部22から供給されるノイズ低減処理が行われていない脈波信号から心拍数を推定する。また、心拍推定部25は、信号品質推定部112の信号品質推定結果に基づいて、検出したピーク位置における心拍数の信頼度を推定する。心拍推定部25は、推定した心拍数と心拍数の信頼度を補正処理部26に出力する。
そして、ステップS118において、補正処理部26は、心拍推定部25から供給される心拍数の信頼度に基づいて、心拍数の補正処理を行う。補正処理部26は、補正処理が施された心拍数と心拍数の信頼度とを、図示せぬ後段に出力する。
すなわち、体動強度がノイズ低減処理の限界性能を超えると判定された場合も、ステップS117およびS118の処理は行われるが、その信号品質ラベルはbadまたはbadに相当するものが出力される。
以上のように、体動コンテキストに応じて、ノイズ低減処理部22、信号品質推定部113、および周期性解析部24の処理をスキップするようにしたので、フレームワーク(処理)全体としての演算コストおよび消費電力を低下させることが可能になる。
<ウェアラブル心拍計の第2の処理>
図12は、図10のウェアラブル心拍計101の第2の処理を説明するフローチャートである。
図12は、図10のウェアラブル心拍計101の第2の処理を説明するフローチャートである。
脈波信号、加速度信号、および角速度信号が、信号品質推定部112およびノイズ低減処理部22に供給される。また、加速度、角速度、気圧、地磁気などのセンサ情報が体動コンテキスト解析部111に入力される。
ステップS151において、体動コンテキスト解析部111は、センサ情報をユーザの体動情報として入力し、体動コンテキスト解析を行い、体動の有無を推定する。推定された体動の有無は、全体制御部114に出力される。
ステップS152において、信号品質推定部112は、前段から供給される脈波信号の信号品質を推定し、信号品質を示す情報(信号品質ラベルと推定値)を全体制御部114に出力する。
ステップS153において、全体制御部114は、体動が発生しておらず、かつ、信号品質が高いか否かを判定する。体動コンテキスト解析部111から供給された体動が所定の閾値α以上、または、信号品質が所定の閾値β以下である場合、体動が発生している、または、信号品質が悪いとステップS153において判定され、処理は、ステップS154に進む。
ステップS154乃至S158の処理は、図8のステップS12乃至S16の処理と基本的に同様の処理であるので、その説明は省略される。
ステップS153において体動が所定の閾値αより小さく、かつ、信号品質が所定の閾値βよりよい場合、体動が発生しておらず、かつ、信号品質が高いと判定され、ステップS154乃至S156の処理はスキップされ、処理は、ステップS157に進む。すなわち、信号品質が高いため、ノイズ低減処理部22、信号品質推定部113、および周期性解析部24は各処理を停止する。
ステップS154乃至S156の処理がスキップされた場合、ステップS157において、心拍推定部25は、ノイズ低減処理部22から供給されるノイズ低減処理が行われていない脈波信号から心拍数を推定する。また、心拍推定部25は、信号品質推定部112の信号品質推定結果に基づいて、検出したピーク位置における心拍数の信頼度を推定する。心拍推定部25は、推定した心拍数と心拍数の信頼度を補正処理部26に出力する。
そして、ステップS158において、補正処理部26は、心拍推定部25から供給される心拍数の信頼度に基づいて、心拍数の補正処理を行う。補正処理部26は、補正処理が施された心拍数と心拍数の信頼度とを、図示せぬ後段に出力する。この場合、信号品質がよいため、その信号品質ラベルはgoodまたはgoodに相当するものが出力される。
以上のように、体動コンテキストに応じて、ノイズ低減処理部22、信号品質推定部113、および周期性解析部24の処理をスキップするようにしたので、フレームワーク(処理)全体としての演算コストおよび消費電力を低下させることが可能になる。
なお、図11および図12においては、ノイズ低減処理部22、信号品質推定部113、および周期性解析部24の処理をスキップする例を説明したが、ノイズ低減処理部22、信号品質推定部113、および周期性解析部24の少なくとも1つの処理がスキップされるようにしてもよい。
また、図1のウェアラブル心拍計11および図10のウェアラブル心拍計101において、補正処理部26は必須ではなく、図1のウェアラブル心拍計11および図10のウェアラブル心拍計101は、補正処理部26を除いて構成されるようにしてもよい。
なお、上記説明においては、脈波信号の例を説明したが、本技術は、脈波に限らず、血流や連続血圧などの周期性の高い生体信号に適用することができる。
<3.第3の実施の形態>
第3の実施の形態においては、上述した第1の実施の形態や第2の実施の形態においてより高精度に推定された一拍一拍の心拍数(すなわち、心拍変動のことであり、以下、瞬時心拍数とも称する)および瞬時心拍数の信頼度が覚醒度推定に用いられる例について説明する。
第3の実施の形態においては、上述した第1の実施の形態や第2の実施の形態においてより高精度に推定された一拍一拍の心拍数(すなわち、心拍変動のことであり、以下、瞬時心拍数とも称する)および瞬時心拍数の信頼度が覚醒度推定に用いられる例について説明する。
<覚醒度推定モデル学習装置の構成例>
図13は、本技術の第3の実施の形態に係る覚醒度推定モデル学習装置の構成例を示すブロック図である。
図13は、本技術の第3の実施の形態に係る覚醒度推定モデル学習装置の構成例を示すブロック図である。
図13の覚醒度推定モデル学習装置201は、上述した第1の実施の形態や第2の実施の形態において脈波信号から推定した瞬時心拍数と信頼度を用いて、脈波信号からユーザの情動状態の1つである覚醒度を推定するための機械学習モデルである覚醒度推定モデルを学習する学習装置である。
覚醒度推定モデル学習装置201は、データセット記憶部211、瞬時心拍数推定部212、信頼度変換部213、および覚醒度推定モデル学習部214を含むように構成される。
データセット記憶部211は、ユーザの覚醒度の状態を示す覚醒度ラベル(Yi=高い(1) or 低い(0))におけるXi=[脈波信号,加速度,ジャイロ]のデータセットをnサンプル分記憶する。
瞬時心拍数推定部212は、図1のウェアラブル心拍計11または図10のウェアラブル心拍計101などの瞬時心拍数を推定する装置に相当する部である。
すなわち、瞬時心拍数推定部212は、データセット記憶部211から供給されるXiを入力として、図1のウェアラブル心拍計11または図10のウェアラブル心拍計101と同様に、瞬時心拍数IHRiとその信頼度Reliabilityとを推定する。瞬時心拍数推定部212は、瞬時心拍数IHRiを覚醒度推定モデル学習部214に出力し、瞬時心拍数の信頼度Reliabilityを信頼度変換部213に出力する。
信頼度変換部213は、瞬時心拍数推定部212から供給される信頼度Reliabilityを入力として、覚醒度推定モデル学習部214で用いる信号品質riを、予め設定したLUT(ルックアップテーブル)や変換関数(例えば線形関数やシグモイド関数などの非線形関数)を用いて算出する。信頼度変換部213は、算出した信号品質riを覚醒度推定モデル学習部214に出力する。
覚醒度推定モデル学習部214は、瞬時心拍数推定部212から供給される瞬時心拍数IHRiと、信頼度変換部213から供給される信号品質riを用いて、覚醒度ラベル(0または1)を推定する覚醒度推定モデルを学習する。
覚醒度推定モデル学習部214において行われる学習方法の一例として、DNNを用いた2値分類モデルの学習方法について説明する。
一般的に、2値分類モデルの学習に用いられる各データに対する対数損失関数LBCEでは、学習に用いるデータの信号品質までは加味されておらず、モデル精度低下の要因となっている。
そこで、覚醒度推定モデル学習部214においては、信号品質が高いデータほどモデル学習時の(誤差への)寄与度が高くなるように、次の式(1)に示される、信号品質riによる重み付け対数損失関数Llossが用いられる。
ここで、Yiは正解覚醒度ラベルである。Yiの^(ハット)は、モデルが推定する覚醒度ラベルの予測値(確率値)である。また、rsqiは信号品質(低0.0乃至高1.0)であり、信号品質が高いサンプルほどモデル学習時の寄与度が高くなる。
すなわち、覚醒度推定モデル学習部214は、品質が高いほど誤差を多く与えるようにして、誤差を最小化するようにモデル係数を変えてコストが小さくなるように、覚醒度推定モデルの学習を繰り返す。これにより、モデル精度低下を抑制することが可能になる。なお、ここでは対数損失関数を用いた例を説明したが、これに限定されない。
覚醒度推定モデル学習部214により学習された覚醒度推定モデルは、次に説明する覚醒度推定に用いられる。
<覚醒度推定装置の構成例>
図14は、本技術の第3の実施の形態に係る覚醒度推定装置の構成例を示すブロック図である。
図14は、本技術の第3の実施の形態に係る覚醒度推定装置の構成例を示すブロック図である。
図14の覚醒度推定装置251においては、図13の覚醒度推定モデル学習装置201により学習された覚醒度推定モデルを用いて覚醒度推定が行われる。
覚醒度推定装置251は、図13の瞬時心拍数推定部212および信頼度変換部213、覚醒度推定モデル記憶部261、並びに覚醒度推定部262を含むように構成される。
瞬時心拍数推定部212は、瞬時心拍数推定部212は、例えば、センサなどから供給されるXiを入力として、図13の場合と同様に、瞬時心拍数IHRiとその信頼度Reliabilityとを推定する。瞬時心拍数推定部212は、瞬時心拍数IHRiを覚醒度推定部262に出力し、瞬時心拍数の信頼度Reliabilityを信頼度変換部213に出力する。
信頼度変換部213は、図13の場合と同様に、瞬時心拍数推定部212から供給される信頼度Reliabilityを入力として、覚醒度推定部262で用いる信号品質riを、予め設定したLUT(ルックアップテーブル)や変換関数を用いて算出する。信頼度変換部213は、算出した信号品質riを覚醒度推定部262に出力する。
覚醒度推定モデル記憶部261は、図13の覚醒度推定モデル学習装置201により学習された覚醒度推定モデルを記憶する。
覚醒度推定部262は、瞬時心拍数推定部212から供給される瞬時心拍数IHRiと、信頼度変換部213から供給される信号品質riを入力として、覚醒度推定モデル記憶部261から読み出された覚醒度推定モデルを用いて覚醒度を推定する。
具体的には、覚醒度推定部262は、信号品質が高いデータほど推定時の寄与が高くなるように、信号品質riによる重み付け予測を行う。例えば、覚醒度推定部262は、次の式(2)に示されるように、入力Xiに対して時間的に近いm個の予測値との重み付け予測を行うことで、覚醒度を推定する。
覚醒度推定部262は、推定された覚醒度を後段に出力する。推定された覚醒度は、後段において、覚醒度の情報を必要とするアプリケーションなどに用いられる。
以上のように、第3の実施の形態においては、上述した第1の実施の形態や第2の実施の形態においてより高精度に推定された心拍数および心拍数の信頼度が覚醒度推定に用いられる。これにより、覚醒度推定をより高精度に行うことができる。
なお、図13の覚醒度推定モデル学習装置201および図14の覚醒度推定装置251において、信頼度変換部213は除外されてもよい。その場合、覚醒度推定モデル学習部214や覚醒度推定部262においては、信号品質riの代わりに信頼度Reliabilityが用いられる。
また、上記説明においては、本技術により推定される瞬時心拍数とその信頼度を用いて、人の情動状態の1つである覚醒度、すなわち、ラッセルの円環モデルで説明される縦軸方向である、集中、リラックス状態が推定される例を説明した。本技術は、入力情報の信頼度が定義できる場合に、ラッセルの円環モデルで説明される横軸方法の快、不快状態の推定にも適用することができる。
<4.その他>
<4.その他>
<従来の概要と本技術の効果>
上述したように、従来、ノイズ低減処理が期待通りに動作しても、入力信号のS/Nが悪いためにフィルタ処理後のピーク位置がずれることがあった。この場合、脈波信号のピーク間隔の時系列データを用いて心拍変動を解析しても、解析した心拍変動がリファレンスである心電計による心拍変動の解析から大きく乖離し、心拍変動を活用したヘルスケアアプリケーションの精度が低下してしまっていた。
上述したように、従来、ノイズ低減処理が期待通りに動作しても、入力信号のS/Nが悪いためにフィルタ処理後のピーク位置がずれることがあった。この場合、脈波信号のピーク間隔の時系列データを用いて心拍変動を解析しても、解析した心拍変動がリファレンスである心電計による心拍変動の解析から大きく乖離し、心拍変動を活用したヘルスケアアプリケーションの精度が低下してしまっていた。
特許文献1においては、脈波信号の周波数スペクトル解析に基づいてノイズ強度を算出し、脈波信号の品質が基準値以上であるか否かに基づいて指標を算出する提案がなされている。しかしながら、特許文献1に記載の技術では、脈波信号のピーク毎の品質が評価できないため、ピーク検出による心拍数の検出精度が低下してしまう。
また、特許文献2においては、脈波信号を分割して複数のサブ信号セグメントを取得し、サブ信号セグメントの脈波信号における自己相似性からノイズであるか判定する提案がなされている。しかしながら、例えばジョギングおよびランニングなどの強い周期運動における体動は、脈波信号上に周期的に体動ノイズとして強く重畳されるため、自己相似性が高くなり、拍動による脈波信号として誤検出されてしまう。また、ノイズ低減処理後の脈波信号に対して自己相似性の解析を適用しても、ノイズ低減処理でノイズを完全に低減する事が難しいため、残留した周期ノイズが自己相似性解析の誤判定の要因となっている。
本技術の一側面においては、入力された生体信号について第1の信号品質推定が行われ、ノイズ低減処理後の生体信号について第2の信号品質推定が行われる。そして、ノイズ低減処理後の前記生体信号に基づいて心拍数が推定され、第1の信号品質推定の結果および第2の信号品質推定の結果に基づいて心拍数の信頼度が推定され、推定された心拍数の信頼度に基づいて心拍数が補正される。
したがって、本技術の一側面によれば、第1の信号品質推定の結果および第2の信号品質推定の結果が用いられることにより、拍動毎の信号波形が拍動由来か否かが判定されるため、検出されたピーク位置の心拍数(ピーク検出)の信頼度が高精度に推定することが可能となる。すなわち、脈波信号からの心拍数の推定において、脈波信号の拍動毎のピークの信号品質を推定することができる。これにより、心拍数を高精度に推定することができる。
また、本技術の他の側面においては、上述した本技術の一側面により推定された心拍数および心拍数の信頼度を用いて、人の情動状態を推定するための推定モデルが学習される。
これにより、人の情動状態を高精度に推定することができる。
<コンピュータの構成例>
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図15は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303は、バス304により相互に接続されている。
バス304には、さらに、入出力インタフェース305が接続されている。入出力インタフェース305には、マイクロフォン、キーボード、マウスなどよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続される。また、入出力インタフェース305には、ハードディスクや不揮発性のメモリなどよりなる記憶部308、ネットワークインタフェースなどよりなる通信部309、リムーバブルメディア311を駆動するドライブ310が接続される。
以上のように構成されるコンピュータでは、CPU301が、例えば、記憶部308に記憶されているプログラムを入出力インタフェース305及びバス304を介してRAM303にロードして実行することにより、上述した一連の処理が行われる。
CPU301が実行するプログラムは、例えばリムーバブルメディア311に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部308にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)など)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
(1)
入力された生体信号について第1の信号品質推定を行う第1の信号品質推定部と、
ノイズ低減処理後の前記生体信号について第2の信号品質推定を行う第2の信号品質推定部と、
前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と
を備える信号処理装置。
(2)
前記心拍推定部は、前記生体信号のピーク位置を検出し、検出したピーク位置における前記心拍数の信頼度を推定する
前記(1)に記載の信号処理装置。
(3)
前記心拍推定部は、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果における信号品質が両方とも高い場合、前記心拍数の信頼度が高いと推定する
前記(1)または(2)に記載の信号処理装置。
(4)
前記ノイズ低減処理後の前記生体信号の周期性解析を行う周期性解析部をさらに備え、
前記心拍推定部は、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果と、前記ノイズ低減処理後の前記生体信号の周期性解析結果とに基づいて、前記心拍数の信頼度を推定する
前記(2)または(3)に記載の信号処理装置。
(5)
前記生体信号に対して前記ノイズ低減処理を行うノイズ低減処理部をさらに備える
前記(4)に記載の信号処理装置。
(6)
センサにより取得されるユーザの体動情報に基づいて、前記ユーザの体動状態を解析する体動状態解析部をさらに備える
前記(5)に記載の信号処理装置。
(7)
前記ユーザの体動が第1の閾値よりも大きいと解析された場合、前記ノイズ低減処理部、前記第2の信号品質推定部、および前記周期性解析部のうちの少なくとも1つが処理を停止する
前記(6)に記載の信号処理装置。
(8)
前記第1の信号品質推定の結果における信号品質が高く、かつ、前記ユーザの体動が第2の閾値よりも小さいと解析された場合、前記ノイズ低減処理部、前記第2の信号品質推定部、および前記周期性解析部のうちの少なくとも1つが処理を停止する
前記(6)に記載の信号処理装置。
(9)
推定された前記心拍数の信頼度に基づいて前記心拍数を補正する補正処理部をさらに備える
前記(1)乃至(8)のいずれかに記載の信号処理装置。
(10)
前記生体信号は、脈波信号である
前記(1)乃至(9)のいずれかに記載の信号処理装置。
(11)
ウェアラブルな筐体に設けられる
前記(1)乃至(10)のいずれかに記載の信号処理装置。
(12)
信号処理装置が、
入力された生体信号について第1の信号品質推定を行い、
ノイズ低減処理後の前記生体信号について第2の信号品質推定を行い、
前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する
信号処理方法。
(13)
入力された生体信号について第1の信号品質推定を行う第1の信号品質推定部と、
ノイズ低減処理後の前記生体信号について第2の信号品質推定を行う第2の信号品質推定部と、
前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と
して、コンピュータを機能させるプログラム。
(14)
入力された生体信号について第1の信号品質推定を行う第1の信号品質推定部と、
ノイズ低減処理後の前記生体信号について第2の信号品質推定を行う第2の信号品質推定部と、
前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と、
推定された前記心拍数および前記心拍数の信頼度を用いて、人の情動状態を推定するための推定モデルを学習する推定モデル学習部と
を備える学習装置。
本技術は、以下のような構成をとることもできる。
(1)
入力された生体信号について第1の信号品質推定を行う第1の信号品質推定部と、
ノイズ低減処理後の前記生体信号について第2の信号品質推定を行う第2の信号品質推定部と、
前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と
を備える信号処理装置。
(2)
前記心拍推定部は、前記生体信号のピーク位置を検出し、検出したピーク位置における前記心拍数の信頼度を推定する
前記(1)に記載の信号処理装置。
(3)
前記心拍推定部は、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果における信号品質が両方とも高い場合、前記心拍数の信頼度が高いと推定する
前記(1)または(2)に記載の信号処理装置。
(4)
前記ノイズ低減処理後の前記生体信号の周期性解析を行う周期性解析部をさらに備え、
前記心拍推定部は、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果と、前記ノイズ低減処理後の前記生体信号の周期性解析結果とに基づいて、前記心拍数の信頼度を推定する
前記(2)または(3)に記載の信号処理装置。
(5)
前記生体信号に対して前記ノイズ低減処理を行うノイズ低減処理部をさらに備える
前記(4)に記載の信号処理装置。
(6)
センサにより取得されるユーザの体動情報に基づいて、前記ユーザの体動状態を解析する体動状態解析部をさらに備える
前記(5)に記載の信号処理装置。
(7)
前記ユーザの体動が第1の閾値よりも大きいと解析された場合、前記ノイズ低減処理部、前記第2の信号品質推定部、および前記周期性解析部のうちの少なくとも1つが処理を停止する
前記(6)に記載の信号処理装置。
(8)
前記第1の信号品質推定の結果における信号品質が高く、かつ、前記ユーザの体動が第2の閾値よりも小さいと解析された場合、前記ノイズ低減処理部、前記第2の信号品質推定部、および前記周期性解析部のうちの少なくとも1つが処理を停止する
前記(6)に記載の信号処理装置。
(9)
推定された前記心拍数の信頼度に基づいて前記心拍数を補正する補正処理部をさらに備える
前記(1)乃至(8)のいずれかに記載の信号処理装置。
(10)
前記生体信号は、脈波信号である
前記(1)乃至(9)のいずれかに記載の信号処理装置。
(11)
ウェアラブルな筐体に設けられる
前記(1)乃至(10)のいずれかに記載の信号処理装置。
(12)
信号処理装置が、
入力された生体信号について第1の信号品質推定を行い、
ノイズ低減処理後の前記生体信号について第2の信号品質推定を行い、
前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する
信号処理方法。
(13)
入力された生体信号について第1の信号品質推定を行う第1の信号品質推定部と、
ノイズ低減処理後の前記生体信号について第2の信号品質推定を行う第2の信号品質推定部と、
前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と
して、コンピュータを機能させるプログラム。
(14)
入力された生体信号について第1の信号品質推定を行う第1の信号品質推定部と、
ノイズ低減処理後の前記生体信号について第2の信号品質推定を行う第2の信号品質推定部と、
前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と、
推定された前記心拍数および前記心拍数の信頼度を用いて、人の情動状態を推定するための推定モデルを学習する推定モデル学習部と
を備える学習装置。
11 ウェアラブル心拍計, 21 信号品質推定部, 22 ノイズ低減処理部, 23 信号品質推定部, 24 周期性解析部, 25 心拍推定部, 26 補正処理部, 27 全体制御部, 31 解析窓設定部, 32 時間特徴量算出部, 33 周波数特徴量算出部, 34 信号品質推定処理部, 35 信号品質推定モデル記憶部, 51 信号品質推定モデル学習部, 61 信号品質推定モデル学習部, 62 データセット記憶部, 71 信号品質ラベル生成部, 81 ノイズ低減処理部, 82 心拍推定部, 83 演算部, 84 比較判定部, 101 ウェアラブル心拍計, 111 体動コンテキスト解析部, 112 信号品質推定部, 113 信号品質推定部, 114 全体制御部, 201 覚醒度推定モデル学習装置, 211 データセット記憶部, 212 瞬時心拍数推定部, 213 信頼度変換部, 214 覚醒度推定モデル学習部, 251 覚醒度推定装置, 261 覚醒度推定モデル記憶部, 262 覚醒度推定部
Claims (14)
- 入力された生体信号について第1の信号品質推定を行う第1の信号品質推定部と、
ノイズ低減処理後の前記生体信号について第2の信号品質推定を行う第2の信号品質推定部と、
前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と
を備える信号処理装置。 - 前記心拍推定部は、前記生体信号のピーク位置を検出し、検出したピーク位置における前記心拍数の信頼度を推定する
請求項1に記載の信号処理装置。 - 前記心拍推定部は、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果における信号品質が両方とも高い場合、前記心拍数の信頼度が高いと推定する
請求項1に記載の信号処理装置。 - 前記ノイズ低減処理後の前記生体信号の周期性解析を行う周期性解析部をさらに備え、
前記心拍推定部は、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果と、前記ノイズ低減処理後の前記生体信号の周期性解析結果とに基づいて、前記心拍数の信頼度を推定する
請求項2に記載の信号処理装置。 - 前記生体信号に対して前記ノイズ低減処理を行うノイズ低減処理部をさらに備える
請求項4に記載の信号処理装置。 - センサにより取得されるユーザの体動情報に基づいて、前記ユーザの体動状態を解析する体動状態解析部をさらに備える
請求項5に記載の信号処理装置。 - 前記ユーザの体動が第1の閾値よりも大きいと解析された場合、前記ノイズ低減処理部、前記第2の信号品質推定部、および前記周期性解析部のうちの少なくとも1つが処理を停止する
請求項6に記載の信号処理装置。 - 前記第1の信号品質推定の結果における信号品質が高く、かつ、前記ユーザの体動が第2の閾値よりも小さいと解析された場合、前記ノイズ低減処理部、前記第2の信号品質推定部、および前記周期性解析部のうちの少なくとも1つが処理を停止する
請求項6に記載の信号処理装置。 - 推定された前記心拍数の信頼度に基づいて前記心拍数を補正する補正処理部をさらに備える
請求項1に記載の信号処理装置。 - 前記生体信号は、脈波信号である
請求項1に記載の信号処理装置。 - ウェアラブルな筐体に設けられる
請求項1に記載の信号処理装置。 - 信号処理装置が、
入力された生体信号について第1の信号品質推定を行い、
ノイズ低減処理後の前記生体信号について第2の信号品質推定を行い、
前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する
信号処理方法。 - 入力された生体信号について第1の信号品質推定を行う第1の信号品質推定部と、
ノイズ低減処理後の前記生体信号について第2の信号品質推定を行う第2の信号品質推定部と、
前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と
して、コンピュータを機能させるプログラム。 - 入力された生体信号について第1の信号品質推定を行う第1の信号品質推定部と、
ノイズ低減処理後の前記生体信号について第2の信号品質推定を行う第2の信号品質推定部と、
前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第1の信号品質推定の結果および前記第2の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と、
推定された前記心拍数および前記心拍数の信頼度を用いて、人の情動状態を推定するための推定モデルを学習する推定モデル学習部と
を備える学習装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2023/032461 WO2024062919A1 (en) | 2022-09-21 | 2023-09-06 | Signal processing device, signal processing method, program, and learning device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022149751 | 2022-09-21 | ||
JP2022149751 | 2022-09-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024044993A true JP2024044993A (ja) | 2024-04-02 |
Family
ID=90479661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023094921A Pending JP2024044993A (ja) | 2022-09-21 | 2023-06-08 | 信号処理装置、信号処理方法、プログラム、および学習装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024044993A (ja) |
-
2023
- 2023-06-08 JP JP2023094921A patent/JP2024044993A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200037905A1 (en) | Heart rate monitor | |
EP3383256B1 (en) | Systems and methods for detecting photoplethysmographic device usage | |
CN107106085B (zh) | 用于睡眠监测的设备和方法 | |
EP3403574A1 (en) | Device for reliable acquisition of photoplethysmographic data | |
JP6310401B2 (ja) | 生理的リズムを表す信号を処理する方法、システム及びコンピュータプログラム | |
EP3453321B1 (en) | Non-invasive method and system for estimating blood pressure from photoplethysmogram using statistical post-processing | |
EP3479763B1 (en) | System and method for photoplethysmogram (ppg) signal quality assessment | |
US20190192079A1 (en) | System and a method for motion artifact reduction in a ppg signal | |
JP2003310562A (ja) | Ppgを用いた心拍検出装置及びその方法 | |
US20190192018A1 (en) | Method and System for Time Domain Signal Reconstruction for Representing Heart Activity | |
Sharma et al. | An algorithm for heart rate extraction from acoustic recordings at the neck | |
JP2022188307A (ja) | 特徴量抽出装置、状態推定装置、特徴量抽出方法、状態推定方法及びプログラム | |
Kumar et al. | STSR: spectro-temporal super-resolution analysis of a reference signal less photoplethysmogram for heart rate estimation during physical activity | |
US20230263400A1 (en) | System and method for filtering time-varying data for physiological signal prediction | |
US11564613B2 (en) | Non-invasive continuous heart rhythm monitoring based on wearable sensors | |
JP2024044993A (ja) | 信号処理装置、信号処理方法、プログラム、および学習装置 | |
Gisler et al. | Towards glaucoma detection using intraocular pressure monitoring | |
WO2024062919A1 (en) | Signal processing device, signal processing method, program, and learning device | |
Yang et al. | ECG-aided PPG signal quality assessment (SQA) system for heart rate estimation | |
US20240020882A1 (en) | Camera-Based Contactless Monitoring of Physiological Parameters | |
US20230380774A1 (en) | Passive Breathing-Rate Determination | |
JP7327417B2 (ja) | 状態推定装置、状態推定方法、及びプログラム | |
Nie et al. | Model-driven Heart Rate Estimation and Heart Murmur Detection based on Phonocardiogram | |
WO2024122350A1 (ja) | 信号処理装置および方法 | |
RU2756157C1 (ru) | Способ анализа баллистокардиографического сигнала для детектирования единичных сердечных ударов в реальном времени |