JP2024044993A - 信号処理装置、信号処理方法、プログラム、および学習装置 - Google Patents

信号処理装置、信号処理方法、プログラム、および学習装置 Download PDF

Info

Publication number
JP2024044993A
JP2024044993A JP2023094921A JP2023094921A JP2024044993A JP 2024044993 A JP2024044993 A JP 2024044993A JP 2023094921 A JP2023094921 A JP 2023094921A JP 2023094921 A JP2023094921 A JP 2023094921A JP 2024044993 A JP2024044993 A JP 2024044993A
Authority
JP
Japan
Prior art keywords
signal quality
heart rate
signal
unit
quality estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023094921A
Other languages
English (en)
Inventor
貴規 石川
Takanori Ishikawa
遼太郎 松川
Ryotaro MATSUKAWA
靖英 兵動
Yasuhide Hyodo
清士 吉川
Kiyoshi Yoshikawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to PCT/JP2023/032461 priority Critical patent/WO2024062919A1/en
Publication of JP2024044993A publication Critical patent/JP2024044993A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】心拍数を高精度に推定することができるようにする。【解決手段】信号処理装置は、入力された生体信号について第１の信号品質推定を行い、ノイズ低減処理後の生体信号について第２の信号品質推定を行い、ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、第１の信号品質推定の結果および第２の信号品質推定の結果に基づいて心拍数の信頼度を推定する。本技術は、ウェアラブル心拍計に適用することができる。【選択図】図１

Description

本技術は、信号処理装置、信号処理方法、プログラム、および学習装置に関し、特に、心拍数を高精度に推定することができるようにした信号処理装置、信号処理方法、プログラム、および学習装置に関する。
現在普及している、心拍計測機能を搭載したウェアラブルデバイスは、ヘルスケアや心拍トレーニング等の様々なアプリケーションに応用されている。
ウェアラブルデバイスに搭載されている心拍計測機能は、一般的に光電容積脈波方式(photoplethysmography；以降、PPG方式と呼ぶ)を採用しているものが多い。PPG方式は、発光部（例えば、LED(light-emitting diode)）から投入した光線が皮膚下数mmに存在する血液および皮膚下組織で吸収、散乱、反射し、反射した光量が受光部(例えばPhoto-detector)で計測されることで、皮膚下に分布する毛細血管の血流変化を示す信号(以後、脈波信号と呼ぶ)を計測する方式である。
自律神経活動を反映する生理指標の１つとして心拍変動が知られている。PPG方式において、心拍変動は脈波信号のピーク位置の時間間隔の時系列データにより解析される。
PPG方式を用いる場合、測定部位が殆ど動かない安静状態では比較的精度よく脈波信号を計測できるが、測定部位が動くと脈波信号にノイズ(以降、体動ノイズと呼ぶ)が発生する。リストバンド型PPG方式心拍センサ（以下、PPGセンサと称する）における体動ノイズの要因は、PPGセンサと測定部位との接触状態の変化であり、次の４つの主要因があげられる。
(1)不要な皮膚表面反射光の混入
(2)皮膚下を伝わっての外光の混入
(3)PPGセンサと測定部位の接触状態が良好でも発生する、測定部位の動きによる血流変化での疑似信号
(4)指や手首の動きに伴う皮膚下組織の変形による光吸収量の変動
上記の主要因の複合により脈波信号に疑似ピーク信号が混入し、どのピークが拍動に由来するピーク信号なのか、疑似ピーク信号なのか、判定が困難となり、心拍数の推定精度が低下してしまう。
これまでに、体動ノイズを低減する様々な手法(適応フィルタ、周波数解析、ブラインド信号分離手法等)が提案されている（例えば、特許文献１および２参照）。一般的にはノイズ低減手法の前処理として、脈波信号に対して脈波信号の帯域を制限するバンドパスフィルタ処理が適用され、バンドパスフィルタ処理後の脈波信号に対してさらにノイズ低減手法が適用される。
特開２０２１－１４５９３０号公報 特表２０２１－５０３３０９号公報
しかしながら、ノイズ低減処理後の脈波信号においてピーク間隔を正しく検出しても、リファレンスとされる心電計から算出される心拍間隔との誤差が大きくなってしまう。これはノイズ低減が期待通りに動作したとしても、入力信号のＳ／Ｎ（Signal-to-Noise ratio）が悪く、フィルタ処理後のピーク位置がずれるためである。このため、脈波信号のピーク間隔（心拍数）の時系列データを用いて心拍変動を解析しても、リファレンスである心電計による心拍変動の解析から大きく乖離し、心拍変動を活用したヘルスケアアプリケーションの精度が低下してしまう。
本技術はこのような状況に鑑みてなされたものであり、心拍数を高精度に推定することができるようにするものである。
本技術の一側面の信号処理装置は、入力された生体信号について第１の信号品質推定を行う第１の信号品質推定部と、ノイズ低減処理後の前記生体信号について第２の信号品質推定を行う第２の信号品質推定部と、前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第１の信号品質推定の結果および前記第２の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と、推定された前記心拍数の信頼度に基づいて前記心拍数を補正する補正処理部とを備える。
本技術の一側面においては、入力された生体信号について第１の信号品質推定が行われ、ノイズ低減処理後の前記生体信号について第２の信号品質推定が行われ、前記ノイズ低減処理後の前記生体信号に基づいて心拍数が推定され、前記第１の信号品質推定の結果および前記第２の信号品質推定の結果に基づいて前記心拍数の信頼度が推定される。そして、推定された前記心拍数の信頼度に基づいて前記心拍数が補正される。
本技術の他の側面の学習装置は、入力された生体信号について第１の信号品質推定を行う第１の信号品質推定部と、ノイズ低減処理後の前記生体信号について第２の信号品質推定を行う第２の信号品質推定部と、前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第１の信号品質推定の結果および前記第２の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と、推定された前記心拍数および前記心拍数の信頼度を用いて、人の情動状態を推定するための推定モデルを学習する推定モデル学習部とを備える。
本技術の他の側面においては、入力された生体信号について第１の信号品質推定が行われ、ノイズ低減処理後の前記生体信号について第２の信号品質推定が行われ、前記ノイズ低減処理後の前記生体信号に基づいて心拍数が推定され、前記第１の信号品質推定の結果および前記第２の信号品質推定の結果に基づいて前記心拍数の信頼度が推定される。そして、推定された前記心拍数および前記心拍数の信頼度を用いて、人の情動状態を推定するための推定モデルが学習される。
本技術の第１の実施の形態に係るウェアラブル心拍計の構成例を示すブロック図である。 図１の信号品質推定部の構成例を示すブロック図である。 信号品質推定モデル学習部の構成例を示すブロック図である。 信号品質ラベル生成部の構成例を示すブロック図である。 脈波信号の例を示す図である。 相関が最大となるラグの最大相関係数を示す図である。 相関が最大となるラグを時間に沿って示す図である。 図１のウェアラブル心拍計の処理を説明するフローチャートである。 最終的に出力される心拍数の信頼度の例を示す図である。 本技術の第２の実施の形態に係るウェアラブル心拍計の構成例を示すブロック図である。 図１０のウェアラブル心拍計の第１の処理を説明するフローチャートである。 図１０のウェアラブル心拍計の第２の処理を説明するフローチャートである。 本技術の第３の実施の形態に係る覚醒度推定モデル学習装置の構成例を示すブロック図である。 本技術の第３の実施の形態に係る覚醒度推定装置の構成例を示すブロック図である。 コンピュータの構成例を示すブロック図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．その他
＜１．第１の実施の形態＞
＜ウェアラブル心拍計の構成例＞
図１は、本技術の第１の実施の形態に係るウェアラブル心拍計の構成例を示すブロック図である。
図１のウェアラブル心拍計１１は、PPG方式の心拍計測機能を搭載するスマートウォッチなどで構成される。図１の場合、ウェアラブル心拍計１１の測定部位は手首となる。
なお、測定部位は手首に限定されず、例えば、ウェアラブル心拍計１１がカナル型ヘッドフォンやヘッドバンドである場合、耳が測定部位となる。ウェアラブル心拍計１１がVR（Virtual Reality）ゴーグルである場合、額が測定部位となる。ウェアラブル心拍計１１がバンド型のデバイスである場合、バンドが装着される腕や足が測定部位となる。ウェアラブル心拍計１１がパッチ形状のデバイスである場合、胸部が測定部位となる。
図１において、ウェアラブル心拍計１１は、信号品質推定部２１、ノイズ低減処理部２２、信号品質推定部２３、周期性解析部２４、心拍推定部２５、補正処理部２６、および全体制御部２７を含むように構成される。
ウェアラブル心拍計１１においては、生体信号のうち、例えば、脈波信号が観測されることで心拍が計測される。
図１のウェアラブル心拍計１１には、入力信号として、脈波信号、加速度信号、および角速度（ジャイロ）信号が入力される。脈波信号、加速度信号、および角速度信号は、信号品質推定部２１およびノイズ低減処理部２２に供給される。
信号品質推定部２１は、図示せぬ前段から供給される脈波信号の信号品質を推定し、推定した信号品質を示す情報を全体制御部２７に供給する。
なお、一般的には、脈波信号の信号品質の推定においては、心拍帯域(Ｓ成分)とそれ以外の帯域(Ｎ成分)としてＳ／Ｎ値が用いられる。観測される脈波信号の心拍帯域は未知なので、脈波信号から推定された心拍帯域が用いられる。ただし、体動ノイズが混入している場合、正しい心拍帯域の推定が困難になる。
信号品質推定部２１においては、事前に生成される多様なＳ／Ｎ値の脈波信号のデータセットを用いて機械学習により構築された信号品質推定(DNN)モデルが用いられる。信号品質推定モデルは、信号品質ラベル(例えばgood or badの２クラス)を推定するモデルである。信号品質ラベルは、算出された心拍数と心電計により計測された心拍数との比較により、その差分が予め設定した誤差以下であるか否かで定義されている。信号品質推定部２１の詳細は、図２を参照して後述する。
信号品質推定部２１は、脈波信号の信号品質を示す情報（信号品質ラベルと推定値）を全体制御部２７に供給する。
ノイズ低減処理部２２は、前段から供給される脈波信号、加速度信号、および角速度信号から、脈波信号に重畳されたノイズを低減する。ノイズ低減処理部２２においては、例えば、加速度信号および角速度信号をノイズ参照信号とした適応フィルタによるノイズ低減などが用いられる。ノイズ低減処理部２２は、ノイズ低減処理後の脈波信号を、信号品質推定部２３、周期性解析部２４、および心拍推定部２５に出力する。
なお、ノイズ低減手法として様々な手法が提案されているが、本技術はノイズ低減処理に依存しないフレームワークであるため、ノイズ低減処理部２２では、いずれのノイズ低減手法が用いられていてもよい。
信号品質推定部２３は、ノイズ低減処理部２２から供給されるノイズ低減処理後の脈波信号の信号品質を推定する。
なお、上述したように様々なノイズ低減処理が提案されているが、ノイズを完全に分離することが難しいために、ノイズ低減処理後の脈波信号には、残留ノイズが含まれてしまう。
例えば、適応フィルタによるノイズ低減処理を行う際に、体動の周波数が一定である場合、高精度のノイズ低減が可能である。しかしながら、体動が非周期で単発な場合、最適なフィルタ係数が求まらず、ノイズ低減ができずに残留ノイズが発生する。
そこで、信号品質推定部２３においては、残留ノイズの量を評価するために、ノイズ低減処理後の脈波信号の信号品質が推定される。その際、信号品質推定モデルは、信号品質推定部２１と同じものが用いられてもよい。
信号品質推定部２３は、ノイズ低減処理後の脈波信号の信号品質を示す情報（信号品質ラベルと推定値）を全体制御部２７に供給する。
周期性解析部２４は、全体制御部２７から供給される（ノイズ低減処理前後の）信号品質を示す情報を参照して、ノイズ低減処理部２２から供給されるノイズ低減処理後の脈波信号の周期性を解析する。心拍は、周期性が高いため、周期性解析部２４においては、心拍由来の脈波信号の周期性が高くなる性質を利用し、脈波信号の周期性が高いか否かの判定も行われる。周期性解析部２４は、周期性の解析結果を全体制御部２７に出力する。
例えば、周期性解析部２４は、自己相関を使用した周期性解析を行い、相関が最大となるラグ(lag、ズレ)を検出する。周期性解析部２４は、最大相関係数が予め設定した閾値より大きい場合、周期性がある（高い）と判定し、最大相関係数が予め設定した閾値より小さい場合、周期性がない（低い）と判定する。
また、周期性解析の他の例としては、相関が最大となるラグを保存しておき、現在のラグと過去のラグの時系列変動との差分が予め設定した閾値より小さい場合、周期性があると判定され、差分が閾値より小さい場合、周期性がないと判定されるようにしてもよい。
心拍推定部２５は、全体制御部２７から供給される周期性の解析結果を参照して、ノイズ低減処理部２２から供給されるノイズ低減処理後の脈波信号から心拍数を推定する。
心拍推定部２５は、脈波信号のピーク検出を行う。心拍推定部２５は、脈波信号のピークを検出し、検出したピークの間隔であるピーク間隔から心拍数を推定する。ピーク検出手法として様々な手法が提案されているが、本技術はピーク検出手法に依存しないフレームワークであるため、心拍推定部２５では、いずれのピーク検出手法が用いられてもよい。
例えば、心拍推定部２５は、極大値検出からピーク間隔を検出し、ピーク間隔が人の心拍帯域の範囲内であれば、検出した極大値をピーク位置として用いる。また、例えば、心拍推定部２５は、周期性解析部２４において検出されたラグの値とピーク間隔が近くなるピーク位置を、ピーク間隔の候補として用いるようにしてもよい。
さらに、心拍推定部２５は、信号品質推定部２１と信号品質推定部２３の信号品質推定結果に基づいて、ピーク位置における心拍数の信頼度を推定する。心拍数の信頼度の推定には、ノイズ低減処理前後の両方の信号品質が参照される。例えば、ピーク位置における信号品質推定部２１および信号品質推定部２３の信号品質ラベルが両方goodである（品質が高い）場合、ピーク位置における心拍数の信頼度は高いと推定される。
本技術は、脈波信号からの心拍数の検出において、脈波信号の拍動毎のピークの信号品質を推定するようにしたものである。
すなわち、本技術においては、ピークの検出においてピーク位置における心拍数の信頼度を推定する際に、ピーク強度やピーク間隔が拍動由来の強度や帯域であるか否かが判定されるのではなく、１拍１拍（拍動毎）の信号波形が拍動由来か否か、すなわち、信頼度が高いか否かが判定される。これにより、ピーク位置における心拍数の信頼度を高精度に推定することができる。
なお、心拍推定部２５は、周期性解析の結果も加味して、心拍数の信頼度を判定するようにしてもよい。これにより、波形の信号品質に加えて、拍動由来の周期性であるか否か、すなわち、周期性の信頼度が高いか否かの判定も行うことができるため、心拍数の信頼度をより高精度に推定することができる。
心拍推定部２５は、推定した心拍数と心拍数の信頼度を補正処理部２６に出力する。
補正処理部２６は、心拍推定部２５から供給される心拍数の信頼度に基づいて、心拍推定部２５から供給される心拍数の補正処理を行う。例えば、補正処理部２６は、信頼度が予め設定した閾値以下の（すなわち、信頼度が低い）心拍数データを欠損値扱いにして、近傍（過去または未来）の信頼度の高いデータを用いて埋める。
具体的には、例えば、信頼度が低い心拍数データは、時間的に最も近い信頼度の高い心拍数による前置ホールド、または、近傍の信頼度の高い心拍数からの線形補間を用いて埋められる。信頼度の低い心拍数は、体動ノイズが重畳された脈波信号から算出された心拍数なので、誤検出された心拍数が棄却され、最終的に出力される心拍数の精度が向上する。
なお、補正処理部２６においては、信号品質の度合いに応じて補正処理の種類を変えるようにしてもよい。
補正処理部２６は、補正処理が施された心拍数と心拍数の信頼度とを、図示せぬ後段に出力する。
全体制御部２７は、各部間のデータのやり取りを制御する。
＜信号品質推定部の構成＞
図２は、図１の信号品質推定部２１の構成例を示すブロック図である。
図２において、信号品質推定部２１は、解析窓設定部３１、時間特徴量算出部３２、周波数特徴量算出部３３、信号品質推定処理部３４、および信号品質推定モデル記憶部３５を含むように構成される。
解析窓設定部３１には、入力信号として、脈波信号、加速度信号、および角速度信号が入力される。一般的には、特徴量は、数秒程度の解析窓（スライディングウィンドウ）により抽出される。解析窓設定部３１は、入力信号に対して、例えば４秒などの解析窓を設定して、設定した解析窓に関する情報を、時間特徴量算出部３２および周波数特徴量算出部３３に出力する。
時間特徴量算出部３２は、解析窓設定部３１から供給される解析窓に関する情報に基づいて、解析窓内の時間成分の特徴量を算出し、算出した時間成分の特徴量を、信号品質推定処理部３４に出力する。
周波数特徴量算出部３３は、解析窓設定部３１から供給される解析窓に関する情報に基づいて、解析窓内の周波数成分の特徴量を算出し、算出した周波数成分の特徴量を、信号品質推定処理部３４に出力する。
信号品質推定処理部３４は、時間特徴量算出部３２から供給される解析窓内の時間成分の特徴量と、周波数特徴量算出部３３から供給される解析窓内の周波数成分の特徴量とを入力として、信号品質推定モデルを用いて信号品質推定を行い、信号品質ラベルと推定値を出力する。
信号品質推定モデル記憶部３５には、信号品質推定処理部３４が用いる信号品質推定モデルが記憶されている。信号品質推定モデルは、図３を用いて後述する信号品質推定モデル学習部５１で学習されて、信号品質推定モデル記憶部３５に記憶される。
＜信号品質推定モデル学習部＞
図３は、信号品質推定モデル学習部５１の構成例を示すブロック図である。
図３の信号品質推定モデル学習部５１は、信号品質推定モデル記憶部３５に記憶される信号品質推定モデルを学習する。信号品質推定モデル学習部５１は、ウェアラブル心拍計１１内に構成されてもよいし、他の信号処理装置内に構成されるようにしてもよい。なお、図３において、図２と対応する部分には同じ符号が付されており、その説明は繰り返しになるため、省略される。
信号品質推定モデル学習部５１は、解析窓設定部３１、時間特徴量算出部３２、周波数特徴量算出部３３、信号品質推定モデル学習部６１、およびデータセット記憶部６２を含むように構成される。
図３の解析窓設定部３１には、データセット記憶部６２に記憶される脈波信号、加速度信号、および角速度信号(x)と信号品質ラベル(y)とのデータセットが入力される。
信号品質推定モデル学習部６１は、時間特徴量算出部３２から供給される解析窓内の時間成分の特徴量と、周波数特徴量算出部３３から供給される解析窓内の周波数成分の特徴量とを入力として、データセット記憶部６２のデータセットについて予め定義された信号品質ラベルを用いて、信号品質推定モデルを学習する。学習された信号品質推定モデルは、図１の信号品質推定部２１および２３などにおいて用いられる。
データセット記憶部６２には、脈波信号、加速度信号、および角速度信号(x)と信号品質ラベル(y)とのデータセット、並びに各データセットについて予め定義された信号品質ラベル(例えばgood or badの２クラス)が記憶されている。信号品質ラベルは、図４を参照して後述する信号品質ラベル生成部７１により定義されて、データセット記憶部６２に記憶される。
＜信号品質ラベル生成部＞
図４は、信号品質ラベル生成部７１の構成例を示すブロック図である。
例えば、心電計とウェアラブル心拍計１１を用いた同時計測時に、様々な動作を行うことで多様なＳ／Ｎ値の脈波信号のデータセットが事前に構築されている。
脈波信号のデータセットは、ウェアラブル心拍計１１により計測される脈波信号、加速度信号、角速度信号と、心電計により計測される心拍数とからなる。
図４の信号品質ラベル生成部７１は、各データセットについて信号品質ラベルを定義し、定義した信号品質ラベルを、データセットとともに図５のデータセット記憶部に記憶する。信号品質ラベル生成部７１は、ウェアラブル心拍計１１内に構成されてもよいし、他の信号処理装置内に構成されるようにしてもよい。
信号品質ラベル生成部７１は、ノイズ低減処理部８１、心拍推定部８２、演算部８３、および比較判定部８４を含むように構成される。
データセットの脈波信号、加速度信号、および角速度信号がノイズ低減処理部８１に入力される。ノイズ低減処理部８１は、脈波信号に対してノイズ低減処理を行い、心拍推定部８２に出力する。
心拍推定部８２は、ノイズ低減処理後の脈波信号からピークおよびピーク間隔などを検出し、検出したピーク間隔から心拍数を推定する。心拍推定部８２は、推定した心拍数を演算部８３に出力する。
演算部８３には、心拍推定部８２により推定された心拍数と、データセットのリファレンス心拍数が供給される。演算部８３は、心拍推定部８２により推定された心拍数と、リファレンス心拍数の差分を、比較判定部８４に出力する。
比較判定部８４は、演算部８３から供給される差分が、予め設定した誤差以下であるか否かに基づいて、信号品質ラベル(例えばgood or badの２クラス)を定義する。すなわち、差分が、予め設定した誤差以下である場合、信号品質ラベルはgoodのクラスに定義され、差分が、予め設定した誤差より大きい場合、信号品質ラベルはbadのクラスに定義される。
次に、周期性解析部２４による自己相関を使用した周期性解析の例について説明する。
図５は、脈波信号の例を示す図である。
図５においては、縦軸が脈波を示し、横軸が時間を示す。また、図５においては、周期性解析部２４により設定された基準窓（実線）と、ラグを基準窓に対して過去方向にずらした位置に設定された参照窓（破線）が示されている。
図６は、相関最大となるラグの相関係数を示す図である。
図６においては、縦軸が相関係数を示し、横軸がラグを示す。
周期性解析部２４は、図５に示されるように、脈波信号に対して基準窓を設定し、ラグを過去方向にずらした位置に参照窓を設定する。そして、設定された基準窓の脳波信号と参照窓の脳波信号との相互の相関係数が算出されることにより、図６に示されるように、相関最大となるラグが検出される。
なお、相関最大となるラグの相関係数（すなわち、最大相関係数）が予め設定した閾値よりも小さい場合、周期性解析部２４は、この脈波信号は周期性がない（低い）と判定する。
また、図５および図６の例は一例であり、周期性解析部２４においては、図７を参照して後述するように周期性解析が行われてもよい。
図７は、相関最大となるラグを時間に沿って示す図である。
図７においては、相関最大となるラグが時間の経過に沿って示されている。例えば、過去の相関最大となるラグ（データ）の平均±標準偏差の範囲内に、現在時刻で算出されたラグが含まれている。
周期性解析部２４は、図７に示されるように、現在時刻で算出されたラグが、過去の相関最大となるラグの平均±標準偏差の範囲内に含まれている場合、周期性があると判定し、過去の相関最大となるラグの平均±標準偏差の範囲内に含まれない場合、周期性がないと判定するようにしてもよい。
＜ウェアラブル心拍計の処理＞
図８は、図１のウェアラブル心拍計１１の処理を説明するフローチャートである。
脈波信号、加速度信号、および角速度信号が、信号品質推定部２１およびノイズ低減処理部２２に供給される。
ステップＳ１１において、信号品質推定部２１は、前段から供給される脈波信号の信号品質を推定し、信号品質を示す情報（信号品質ラベルと推定値）を全体制御部２７に出力する。
ステップＳ１２において、ノイズ低減処理部２２は、前段から供給される脈波信号、加速度、角速度信号から、脈波信号に重畳されたノイズを低減する。ノイズ低減処理部２２は、ノイズ低減処理後の脈波信号を、信号品質推定部２３、周期性解析部２４、および心拍推定部２５に出力する。
ステップＳ１３において、信号品質推定部２３は、ノイズ低減処理部２２から供給されるノイズ低減処理後の脈波信号の信号品質を推定する。信号品質推定部２３は、ノイズ低減処理後の脈波信号の信号品質を示す情報（信号品質ラベルと推定値）を全体制御部２７に供給する。
ステップＳ１４において、周期性解析部２４は、全体制御部２７から供給される信号品質を示す情報を参照して、ノイズ低減処理部２２から供給されるノイズ低減処理後の脈波信号の周期性を解析する。周期性解析部２４は、周期性の解析結果を全体制御部２７に出力する。
ステップＳ１５において、心拍推定部２５は、全体制御部２７から供給される周期性の解析結果を参照して、ノイズ低減処理部２２から供給されるノイズ低減処理後の脈波信号から心拍数を推定する。また、心拍推定部２５は、信号品質推定部２１と信号品質推定部２３の信号品質推定結果に基づいて、ピーク位置における心拍数の信頼度を推定する。このとき、上述したように、全体制御部２７から供給される周期性の解析結果が参照されてもよい。心拍推定部２５は、推定した心拍数と心拍数の信頼度を補正処理部２６に出力する。
ステップＳ１６において、補正処理部２６は、心拍推定部２５から供給される心拍数の信頼度に基づいて、心拍推定部２５から供給される心拍数の補正処理を行う。補正処理部２６は、補正処理が施された心拍数と心拍数の信頼度とを、図示せぬ後段に出力する。
ここで、一般的には、心拍数の時系列データの統計情報や線形予測等から外れ値検出がなされる。しかしながら、ユーザの自律神経状態の影響などにより心拍数は大きく変動し、誤って外れ値として誤検出される場合がある。
一方、本技術においては、入力される脈波信号とノイズ低減処理後の脈波信号の波形形状が拍動由来か否かを判定する信頼度が用いられることで、外れ値として誤検出されることがなくなり、さらに、外れ値を検出可能であるため、心拍数の高精度な推定が可能となる。
なお、補正処理部２６から最終的に出力される心拍数の信頼度は、信号品質推定部２１および２３の信号品質推定結果における信号品質ラベルgood or badだけに限らない。
＜最終的に出力される心拍数の信頼度の例＞
図９は、最終的に出力される心拍数の信頼度の例を示す図である。
図９のＡには、信号品質推定部２１および２３の信号品質推定結果における信号品質ラベルの論理積がgoodで、かつ、周期性解析部２４の周期性解析の結果が高い場合、最終的に出力される心拍数の信頼度が1.0であることが示されている。
なお、信号品質推定部２１および２３の信号品質推定結果における信号品質ラベルの論理積は、信号品質推定部２１の信号品質推定結果における信号品質ラベルがgoodで、かつ、信号品質推定部２３の信号品質推定結果における信号品質ラベルがgoodの場合のみ、goodとなる。
信号品質推定部２１および２３の信号品質推定結果における信号品質ラベルの論理積がgoodで、かつ、周期性解析部２４の周期性解析の結果が低い場合、最終的に出力される心拍数の信頼度が0.5であることが示されている。
信号品質推定部２１および２３の信号品質推定結果における信号品質ラベルの論理積がbadで、かつ、周期性解析部２４の周期性解析の結果が高い場合、最終的に出力される心拍数の信頼度が0.5であることが示されている。
信号品質推定部２１および２３の信号品質推定結果における信号品質ラベルの論理積がbadで、かつ、周期性解析部２４の周期性解析の結果が低い場合、最終的に出力される心拍数の信頼度が0.0であることが示されている。
図９のＢには、信号品質推定部２１および２３の信号品質推定結果における信号品質ラベルの論理積がgoodで、かつ、周期性解析部２４の周期性解析の結果が高い場合、最終的に出力される心拍数の信頼度が1.0であることが示されている。
信号品質推定部２１および２３の信号品質推定結果における信号品質ラベルの論理積がgoodで、かつ、周期性解析部２４の周期性解析の結果が低い場合、最終的に出力される心拍数の信頼度が自己相関最大値（相関最大係数）であることが示されている。
信号品質推定部２１および２３の信号品質推定結果における信号品質ラベルの論理積がbadで、かつ、周期性解析部２４の周期性解析の結果が高い場合、最終的に出力される心拍数の信頼度が自己相関最大値であることが示されている。
信号品質推定部２１および２３の信号品質推定結果における信号品質ラベルの論理積がbadで、かつ、周期性解析部２４の周期性解析の結果が低い場合、最終的に出力される心拍数の信頼度が0.0であることが示されている。
以上のように、補正処理部２６から最終的に出力される心拍数の信頼度は、信号品質推定部２１および２３の信号品質推定結果における信号品質ラベルgood or bad だけでなく、信号品質推定部２１および２３と周期性解析部２４の結果に基づく値が出力されるようにしてもよい。
＜２．第２の実施の形態＞
＜ウェアラブル心拍計の構成例＞
図１０は、本技術の第２の実施の形態に係るウェアラブル心拍計の構成例を示す図である。
図１０のウェアラブル心拍計１０１は、体動コンテキスト解析部１１１が追加された点と、信号品質推定部２１、信号品質推定部２３、および全体制御部２７が、信号品質推定部１１２、信号品質推定部１１３、および全体制御部１１４と入れ替わった点が、図２のウェアラブル心拍計１１と異なっている。図１０において、図１と対応する部には、同じ符号が付してあり、繰り返しになるので、その説明は省略される。
体動コンテキスト解析部１１１は、ユーザの体動情報に基づいて、ユーザがどのような体動状態（寝る、走る、歩く、座るなど）であるのかを推定（解析）する。
具体的には、体動コンテキスト解析部１１１は、ユーザの体動情報としての加速度、角速度、気圧、地磁気などのセンサ情報に基づいて、ユーザが何の活動をしていたのか、ユーザの体動状態を意味する体動コンテキストを推定する。推定された体動コンテキストは、全体制御部１１４に出力される。
なお、コンテキスト解析手法として様々な手法が提案されているが、本技術はコンテキスト解析処理に依存しないフレームワークであるため、体動コンテキスト解析部１１１では、いずれのコンテキスト解析手法が用いられていてもよい。
信号品質推定部１１２には、体動コンテキストも入力される。その際、信号品質推定部１１２においては、事前に生成される多様なＳ／Ｎ値の脈波信号のデータセットと、体動コンテキストとを入力として用いて、機械学習により構築された信号品質推定モデルが用いられる。信号品質推定部１１２は、その他については、信号品質推定部２１と同様に構成される。信号品質推定部１１３においても同様としてもよい。
全体制御部１１４は、体動コンテキスト解析部１１１から供給された体動コンテキスト、信号品質推定部１１２による信号品質推定結果、信号品質推定部１１３によるノイズ低減処理後の信号品質推定結果に基づいて、点線矢印に示されるように、ノイズ低減処理部２２、信号品質推定部１１３、周期性解析部２４の処理を動作させたり、停止させたりする制御を行う。
例えば、体動コンテキスト解析部１１１は、加速度センサのノルム値から予め設定した閾値に基づいて、体動コンテキストとして、体動の有無(静動判定)および体動強度（大きさ）を推定する。なお、体動の有無は、体動の大きさが所定の閾値α（αは０に近い小さい値）と比較して判定され、体動の大きさが所定の閾値αより小さい場合、体動がないと判定される。
この場合、全体制御部１１４は、例えば、体動コンテキスト解析部１１１により推定された体動強度、信号品質推定部１１２による信号品質推定結果、信号品質推定部１１３によるノイズ低減処理後の信号品質推定結果に基づいて、入力信号品質と体動強度に対するノイズ低減処理の限界性能を予め算出しておく。
体動コンテキスト解析部１１１により推定された体動強度がノイズ低減処理の限界性能を超えると判定された場合、ノイズ低減処理以降の処理（ノイズ低減処理、ノイズ低減処理後の信号品質推定、および周期性解析の少なくともいずれか１つ）を実施したとしても、心拍推定部２５で推定される信頼度は殆ど変わらない。
そこで、全体制御部１１４は、第１の処理例（後述する図１１）として、体動コンテキスト解析部１１１で推定された体動強度が体動ノイズ低減処理の限界性能を超えると判定した場合、上述したノイズ低減処理以降の処理、少なくとも周期性解析の処理を停止させる制御を行う。これにより、フレームワーク（処理）全体としての演算コストおよび消費電力を低下させることが可能になる。
また、体動コンテキスト解析部１１１において体動が所定の閾値αより小さいと推定され、信号品質推定部１１２で信号品質が所定の閾値βよりよい（高い）場合、明らかに入力脈波にはノイズが殆ど重畳されていないのがわかる。
そこで、全体制御部１１４は、第２の処理例（後述する図１２）として、ノイズ低減処理部１２、信号品質推定部１１３、周期性解析部２４の処理を停止させる。これにより、フレームワーク（処理）全体としての演算コストおよび消費電力を低下させることが可能になる。
＜ウェアラブル心拍計の第１の処理＞
図１１は、図１０のウェアラブル心拍計１０１の第１の処理を説明するフローチャートである。
脈波信号、加速度信号、および角速度信号が、信号品質推定部１１２およびノイズ低減処理部２２に供給される。また、加速度、角速度、気圧、地磁気などのセンサ情報が体動コンテキスト解析部１１１に入力される。
ステップＳ１１１において、体動コンテキスト解析部１１１は、センサ情報をユーザの体動情報として入力し、体動コンテキスト解析を行い、体動強度を推定する。推定された体動強度は、全体制御部２７に出力される。
ステップＳ１１２において、信号品質推定部１１２は、前段から供給される脈波信号の信号品質を推定し、信号品質を示す情報（信号品質ラベルと推定値）を全体制御部１１４に出力する。このとき、上述したように、全体制御部１１４から供給される体動コンテキストが入力として用いられるようにしてもよい。
ステップＳ１１３において、全体制御部１１４は、体動コンテキスト解析部１１１から供給された体動強度がノイズ低減処理の限界性能を超えるか否かを判定する。体動強度がノイズ低減処理の限界性能を超えないとステップＳ１１３において判定された場合、処理は、ステップＳ１１４に進む。
ステップＳ１１４乃至Ｓ１１８の処理は、図８のステップＳ１２乃至Ｓ１６の処理と基本的に同様の処理であるので、その説明は省略される。
ステップＳ１１３において体動強度がノイズ低減処理の限界性能を超えると判定された場合、ステップＳ１１４乃至Ｓ１１６の処理はスキップされ、処理は、ステップＳ１１７に進む。すなわち、処理を行っても意味がないため、ノイズ低減処理部２２、信号品質推定部１１３、および周期性解析部２４は各処理を停止する。
ステップＳ１１４乃至Ｓ１１６の処理がスキップされた場合、ステップＳ１１７において、心拍推定部２５は、ノイズ低減処理部２２から供給されるノイズ低減処理が行われていない脈波信号から心拍数を推定する。また、心拍推定部２５は、信号品質推定部１１２の信号品質推定結果に基づいて、検出したピーク位置における心拍数の信頼度を推定する。心拍推定部２５は、推定した心拍数と心拍数の信頼度を補正処理部２６に出力する。
そして、ステップＳ１１８において、補正処理部２６は、心拍推定部２５から供給される心拍数の信頼度に基づいて、心拍数の補正処理を行う。補正処理部２６は、補正処理が施された心拍数と心拍数の信頼度とを、図示せぬ後段に出力する。
すなわち、体動強度がノイズ低減処理の限界性能を超えると判定された場合も、ステップＳ１１７およびＳ１１８の処理は行われるが、その信号品質ラベルはbadまたはbadに相当するものが出力される。
以上のように、体動コンテキストに応じて、ノイズ低減処理部２２、信号品質推定部１１３、および周期性解析部２４の処理をスキップするようにしたので、フレームワーク(処理)全体としての演算コストおよび消費電力を低下させることが可能になる。
＜ウェアラブル心拍計の第２の処理＞
図１２は、図１０のウェアラブル心拍計１０１の第２の処理を説明するフローチャートである。
脈波信号、加速度信号、および角速度信号が、信号品質推定部１１２およびノイズ低減処理部２２に供給される。また、加速度、角速度、気圧、地磁気などのセンサ情報が体動コンテキスト解析部１１１に入力される。
ステップＳ１５１において、体動コンテキスト解析部１１１は、センサ情報をユーザの体動情報として入力し、体動コンテキスト解析を行い、体動の有無を推定する。推定された体動の有無は、全体制御部１１４に出力される。
ステップＳ１５２において、信号品質推定部１１２は、前段から供給される脈波信号の信号品質を推定し、信号品質を示す情報（信号品質ラベルと推定値）を全体制御部１１４に出力する。
ステップＳ１５３において、全体制御部１１４は、体動が発生しておらず、かつ、信号品質が高いか否かを判定する。体動コンテキスト解析部１１１から供給された体動が所定の閾値α以上、または、信号品質が所定の閾値β以下である場合、体動が発生している、または、信号品質が悪いとステップＳ１５３において判定され、処理は、ステップＳ１５４に進む。
ステップＳ１５４乃至Ｓ１５８の処理は、図８のステップＳ１２乃至Ｓ１６の処理と基本的に同様の処理であるので、その説明は省略される。
ステップＳ１５３において体動が所定の閾値αより小さく、かつ、信号品質が所定の閾値βよりよい場合、体動が発生しておらず、かつ、信号品質が高いと判定され、ステップＳ１５４乃至Ｓ１５６の処理はスキップされ、処理は、ステップＳ１５７に進む。すなわち、信号品質が高いため、ノイズ低減処理部２２、信号品質推定部１１３、および周期性解析部２４は各処理を停止する。
ステップＳ１５４乃至Ｓ１５６の処理がスキップされた場合、ステップＳ１５７において、心拍推定部２５は、ノイズ低減処理部２２から供給されるノイズ低減処理が行われていない脈波信号から心拍数を推定する。また、心拍推定部２５は、信号品質推定部１１２の信号品質推定結果に基づいて、検出したピーク位置における心拍数の信頼度を推定する。心拍推定部２５は、推定した心拍数と心拍数の信頼度を補正処理部２６に出力する。
そして、ステップＳ１５８において、補正処理部２６は、心拍推定部２５から供給される心拍数の信頼度に基づいて、心拍数の補正処理を行う。補正処理部２６は、補正処理が施された心拍数と心拍数の信頼度とを、図示せぬ後段に出力する。この場合、信号品質がよいため、その信号品質ラベルはgoodまたはgoodに相当するものが出力される。
以上のように、体動コンテキストに応じて、ノイズ低減処理部２２、信号品質推定部１１３、および周期性解析部２４の処理をスキップするようにしたので、フレームワーク（処理）全体としての演算コストおよび消費電力を低下させることが可能になる。
なお、図１１および図１２においては、ノイズ低減処理部２２、信号品質推定部１１３、および周期性解析部２４の処理をスキップする例を説明したが、ノイズ低減処理部２２、信号品質推定部１１３、および周期性解析部２４の少なくとも１つの処理がスキップされるようにしてもよい。
また、図１のウェアラブル心拍計１１および図１０のウェアラブル心拍計１０１において、補正処理部２６は必須ではなく、図１のウェアラブル心拍計１１および図１０のウェアラブル心拍計１０１は、補正処理部２６を除いて構成されるようにしてもよい。
なお、上記説明においては、脈波信号の例を説明したが、本技術は、脈波に限らず、血流や連続血圧などの周期性の高い生体信号に適用することができる。
＜３．第３の実施の形態＞
第３の実施の形態においては、上述した第１の実施の形態や第２の実施の形態においてより高精度に推定された一拍一拍の心拍数（すなわち、心拍変動のことであり、以下、瞬時心拍数とも称する）および瞬時心拍数の信頼度が覚醒度推定に用いられる例について説明する。
＜覚醒度推定モデル学習装置の構成例＞
図１３は、本技術の第３の実施の形態に係る覚醒度推定モデル学習装置の構成例を示すブロック図である。
図１３の覚醒度推定モデル学習装置２０１は、上述した第１の実施の形態や第２の実施の形態において脈波信号から推定した瞬時心拍数と信頼度を用いて、脈波信号からユーザの情動状態の１つである覚醒度を推定するための機械学習モデルである覚醒度推定モデルを学習する学習装置である。
覚醒度推定モデル学習装置２０１は、データセット記憶部２１１、瞬時心拍数推定部２１２、信頼度変換部２１３、および覚醒度推定モデル学習部２１４を含むように構成される。
データセット記憶部２１１は、ユーザの覚醒度の状態を示す覚醒度ラベル（Yi=高い(1) or 低い(0))におけるXi＝［脈波信号，加速度，ジャイロ］のデータセットをｎサンプル分記憶する。
瞬時心拍数推定部２１２は、図１のウェアラブル心拍計１１または図１０のウェアラブル心拍計１０１などの瞬時心拍数を推定する装置に相当する部である。
すなわち、瞬時心拍数推定部２１２は、データセット記憶部２１１から供給されるXiを入力として、図１のウェアラブル心拍計１１または図１０のウェアラブル心拍計１０１と同様に、瞬時心拍数IHRiとその信頼度Reliabilityとを推定する。瞬時心拍数推定部２１２は、瞬時心拍数IHRiを覚醒度推定モデル学習部２１４に出力し、瞬時心拍数の信頼度Reliabilityを信頼度変換部２１３に出力する。
信頼度変換部２１３は、瞬時心拍数推定部２１２から供給される信頼度Reliabilityを入力として、覚醒度推定モデル学習部２１４で用いる信号品質riを、予め設定したLUT(ルックアップテーブル)や変換関数(例えば線形関数やシグモイド関数などの非線形関数)を用いて算出する。信頼度変換部２１３は、算出した信号品質riを覚醒度推定モデル学習部２１４に出力する。
覚醒度推定モデル学習部２１４は、瞬時心拍数推定部２１２から供給される瞬時心拍数IHRiと、信頼度変換部２１３から供給される信号品質riを用いて、覚醒度ラベル(0または1)を推定する覚醒度推定モデルを学習する。
覚醒度推定モデル学習部２１４において行われる学習方法の一例として、DNNを用いた２値分類モデルの学習方法について説明する。
一般的に、２値分類モデルの学習に用いられる各データに対する対数損失関数LBCEでは、学習に用いるデータの信号品質までは加味されておらず、モデル精度低下の要因となっている。
そこで、覚醒度推定モデル学習部２１４においては、信号品質が高いデータほどモデル学習時の（誤差への）寄与度が高くなるように、次の式（１）に示される、信号品質riによる重み付け対数損失関数Llossが用いられる。
Figure 2024044993000002
ここで、Yiは正解覚醒度ラベルである。Yiの^（ハット）は、モデルが推定する覚醒度ラベルの予測値(確率値)である。また、rsqiは信号品質（低0.0乃至高1.0）であり、信号品質が高いサンプルほどモデル学習時の寄与度が高くなる。
すなわち、覚醒度推定モデル学習部２１４は、品質が高いほど誤差を多く与えるようにして、誤差を最小化するようにモデル係数を変えてコストが小さくなるように、覚醒度推定モデルの学習を繰り返す。これにより、モデル精度低下を抑制することが可能になる。なお、ここでは対数損失関数を用いた例を説明したが、これに限定されない。
覚醒度推定モデル学習部２１４により学習された覚醒度推定モデルは、次に説明する覚醒度推定に用いられる。
＜覚醒度推定装置の構成例＞
図１４は、本技術の第３の実施の形態に係る覚醒度推定装置の構成例を示すブロック図である。
図１４の覚醒度推定装置２５１においては、図１３の覚醒度推定モデル学習装置２０１により学習された覚醒度推定モデルを用いて覚醒度推定が行われる。
覚醒度推定装置２５１は、図１３の瞬時心拍数推定部２１２および信頼度変換部２１３、覚醒度推定モデル記憶部２６１、並びに覚醒度推定部２６２を含むように構成される。
瞬時心拍数推定部２１２は、瞬時心拍数推定部２１２は、例えば、センサなどから供給されるXiを入力として、図１３の場合と同様に、瞬時心拍数IHRiとその信頼度Reliabilityとを推定する。瞬時心拍数推定部２１２は、瞬時心拍数IHRiを覚醒度推定部２６２に出力し、瞬時心拍数の信頼度Reliabilityを信頼度変換部２１３に出力する。
信頼度変換部２１３は、図１３の場合と同様に、瞬時心拍数推定部２１２から供給される信頼度Reliabilityを入力として、覚醒度推定部２６２で用いる信号品質riを、予め設定したLUT(ルックアップテーブル)や変換関数を用いて算出する。信頼度変換部２１３は、算出した信号品質riを覚醒度推定部２６２に出力する。
覚醒度推定モデル記憶部２６１は、図１３の覚醒度推定モデル学習装置２０１により学習された覚醒度推定モデルを記憶する。
覚醒度推定部２６２は、瞬時心拍数推定部２１２から供給される瞬時心拍数IHRiと、信頼度変換部２１３から供給される信号品質riを入力として、覚醒度推定モデル記憶部２６１から読み出された覚醒度推定モデルを用いて覚醒度を推定する。
具体的には、覚醒度推定部２６２は、信号品質が高いデータほど推定時の寄与が高くなるように、信号品質riによる重み付け予測を行う。例えば、覚醒度推定部２６２は、次の式（２）に示されるように、入力Xiに対して時間的に近いｍ個の予測値との重み付け予測を行うことで、覚醒度を推定する。
Figure 2024044993000003
 ここで、iは、現在予測したい時刻を示す。ｊは、時刻iに近い時刻を示す。
覚醒度推定部２６２は、推定された覚醒度を後段に出力する。推定された覚醒度は、後段において、覚醒度の情報を必要とするアプリケーションなどに用いられる。
以上のように、第３の実施の形態においては、上述した第１の実施の形態や第２の実施の形態においてより高精度に推定された心拍数および心拍数の信頼度が覚醒度推定に用いられる。これにより、覚醒度推定をより高精度に行うことができる。
なお、図１３の覚醒度推定モデル学習装置２０１および図１４の覚醒度推定装置２５１において、信頼度変換部２１３は除外されてもよい。その場合、覚醒度推定モデル学習部２１４や覚醒度推定部２６２においては、信号品質riの代わりに信頼度Reliabilityが用いられる。
また、上記説明においては、本技術により推定される瞬時心拍数とその信頼度を用いて、人の情動状態の１つである覚醒度、すなわち、ラッセルの円環モデルで説明される縦軸方向である、集中、リラックス状態が推定される例を説明した。本技術は、入力情報の信頼度が定義できる場合に、ラッセルの円環モデルで説明される横軸方法の快、不快状態の推定にも適用することができる。
＜４．その他＞
＜従来の概要と本技術の効果＞
上述したように、従来、ノイズ低減処理が期待通りに動作しても、入力信号のＳ／Ｎが悪いためにフィルタ処理後のピーク位置がずれることがあった。この場合、脈波信号のピーク間隔の時系列データを用いて心拍変動を解析しても、解析した心拍変動がリファレンスである心電計による心拍変動の解析から大きく乖離し、心拍変動を活用したヘルスケアアプリケーションの精度が低下してしまっていた。
特許文献１においては、脈波信号の周波数スペクトル解析に基づいてノイズ強度を算出し、脈波信号の品質が基準値以上であるか否かに基づいて指標を算出する提案がなされている。しかしながら、特許文献１に記載の技術では、脈波信号のピーク毎の品質が評価できないため、ピーク検出による心拍数の検出精度が低下してしまう。
また、特許文献２においては、脈波信号を分割して複数のサブ信号セグメントを取得し、サブ信号セグメントの脈波信号における自己相似性からノイズであるか判定する提案がなされている。しかしながら、例えばジョギングおよびランニングなどの強い周期運動における体動は、脈波信号上に周期的に体動ノイズとして強く重畳されるため、自己相似性が高くなり、拍動による脈波信号として誤検出されてしまう。また、ノイズ低減処理後の脈波信号に対して自己相似性の解析を適用しても、ノイズ低減処理でノイズを完全に低減する事が難しいため、残留した周期ノイズが自己相似性解析の誤判定の要因となっている。
本技術の一側面においては、入力された生体信号について第１の信号品質推定が行われ、ノイズ低減処理後の生体信号について第２の信号品質推定が行われる。そして、ノイズ低減処理後の前記生体信号に基づいて心拍数が推定され、第１の信号品質推定の結果および第２の信号品質推定の結果に基づいて心拍数の信頼度が推定され、推定された心拍数の信頼度に基づいて心拍数が補正される。
したがって、本技術の一側面によれば、第１の信号品質推定の結果および第２の信号品質推定の結果が用いられることにより、拍動毎の信号波形が拍動由来か否かが判定されるため、検出されたピーク位置の心拍数（ピーク検出）の信頼度が高精度に推定することが可能となる。すなわち、脈波信号からの心拍数の推定において、脈波信号の拍動毎のピークの信号品質を推定することができる。これにより、心拍数を高精度に推定することができる。
また、本技術の他の側面においては、上述した本技術の一側面により推定された心拍数および心拍数の信頼度を用いて、人の情動状態を推定するための推定モデルが学習される。
これにより、人の情動状態を高精度に推定することができる。
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
CPU(Central Processing Unit)３０１、ROM(Read Only Memory)３０２、RAM(Random Access Memory)３０３は、バス３０４により相互に接続されている。
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、マイクロフォン、キーボード、マウスなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続される。また、入出力インタフェース３０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、リムーバブルメディア３１１を駆動するドライブ３１０が接続される。
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを入出力インタフェース３０５及びバス３０４を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。
CPU３０１が実行するプログラムは、例えばリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部３０８にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）など）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
入力された生体信号について第１の信号品質推定を行う第１の信号品質推定部と、
ノイズ低減処理後の前記生体信号について第２の信号品質推定を行う第２の信号品質推定部と、
前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第１の信号品質推定の結果および前記第２の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と
を備える信号処理装置。
（２）
前記心拍推定部は、前記生体信号のピーク位置を検出し、検出したピーク位置における前記心拍数の信頼度を推定する
前記（１）に記載の信号処理装置。
（３）
前記心拍推定部は、前記第１の信号品質推定の結果および前記第２の信号品質推定の結果における信号品質が両方とも高い場合、前記心拍数の信頼度が高いと推定する
前記（１）または（２）に記載の信号処理装置。
（４）
前記ノイズ低減処理後の前記生体信号の周期性解析を行う周期性解析部をさらに備え、
前記心拍推定部は、前記第１の信号品質推定の結果および前記第２の信号品質推定の結果と、前記ノイズ低減処理後の前記生体信号の周期性解析結果とに基づいて、前記心拍数の信頼度を推定する
前記（２）または（３）に記載の信号処理装置。
（５）
前記生体信号に対して前記ノイズ低減処理を行うノイズ低減処理部をさらに備える
前記（４）に記載の信号処理装置。
（６）
センサにより取得されるユーザの体動情報に基づいて、前記ユーザの体動状態を解析する体動状態解析部をさらに備える
前記（５）に記載の信号処理装置。
（７）
前記ユーザの体動が第１の閾値よりも大きいと解析された場合、前記ノイズ低減処理部、前記第２の信号品質推定部、および前記周期性解析部のうちの少なくとも１つが処理を停止する
前記（６）に記載の信号処理装置。
（８）
前記第１の信号品質推定の結果における信号品質が高く、かつ、前記ユーザの体動が第２の閾値よりも小さいと解析された場合、前記ノイズ低減処理部、前記第２の信号品質推定部、および前記周期性解析部のうちの少なくとも１つが処理を停止する
前記（６）に記載の信号処理装置。
（９）
推定された前記心拍数の信頼度に基づいて前記心拍数を補正する補正処理部をさらに備える
前記（１）乃至（８）のいずれかに記載の信号処理装置。
（１０）
前記生体信号は、脈波信号である
前記（１）乃至（９）のいずれかに記載の信号処理装置。
（１１）
ウェアラブルな筐体に設けられる
前記（１）乃至（１０）のいずれかに記載の信号処理装置。
（１２）
信号処理装置が、
入力された生体信号について第１の信号品質推定を行い、
ノイズ低減処理後の前記生体信号について第２の信号品質推定を行い、
前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第１の信号品質推定の結果および前記第２の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する
信号処理方法。
（１３）
入力された生体信号について第１の信号品質推定を行う第１の信号品質推定部と、
ノイズ低減処理後の前記生体信号について第２の信号品質推定を行う第２の信号品質推定部と、
前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第１の信号品質推定の結果および前記第２の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と
して、コンピュータを機能させるプログラム。
（１４）
入力された生体信号について第１の信号品質推定を行う第１の信号品質推定部と、
ノイズ低減処理後の前記生体信号について第２の信号品質推定を行う第２の信号品質推定部と、
前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第１の信号品質推定の結果および前記第２の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と、
推定された前記心拍数および前記心拍数の信頼度を用いて、人の情動状態を推定するための推定モデルを学習する推定モデル学習部と
を備える学習装置。
１１ ウェアラブル心拍計， ２１ 信号品質推定部， ２２ ノイズ低減処理部， ２３ 信号品質推定部， ２４ 周期性解析部， ２５ 心拍推定部， ２６ 補正処理部， ２７ 全体制御部， ３１ 解析窓設定部， ３２ 時間特徴量算出部， ３３ 周波数特徴量算出部， ３４ 信号品質推定処理部， ３５ 信号品質推定モデル記憶部， ５１ 信号品質推定モデル学習部， ６１ 信号品質推定モデル学習部， ６２ データセット記憶部， ７１ 信号品質ラベル生成部， ８１ ノイズ低減処理部， ８２ 心拍推定部， ８３ 演算部， ８４ 比較判定部， １０１ ウェアラブル心拍計， １１１ 体動コンテキスト解析部， １１２ 信号品質推定部， １１３ 信号品質推定部， １１４ 全体制御部， ２０１ 覚醒度推定モデル学習装置， ２１１ データセット記憶部， ２１２ 瞬時心拍数推定部， ２１３ 信頼度変換部， ２１４ 覚醒度推定モデル学習部， ２５１ 覚醒度推定装置， ２６１ 覚醒度推定モデル記憶部， ２６２ 覚醒度推定部

Claims (14)

  1. 入力された生体信号について第１の信号品質推定を行う第１の信号品質推定部と、
    ノイズ低減処理後の前記生体信号について第２の信号品質推定を行う第２の信号品質推定部と、
    前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第１の信号品質推定の結果および前記第２の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と
    を備える信号処理装置。
  2. 前記心拍推定部は、前記生体信号のピーク位置を検出し、検出したピーク位置における前記心拍数の信頼度を推定する
    請求項１に記載の信号処理装置。
  3. 前記心拍推定部は、前記第１の信号品質推定の結果および前記第２の信号品質推定の結果における信号品質が両方とも高い場合、前記心拍数の信頼度が高いと推定する
    請求項１に記載の信号処理装置。
  4. 前記ノイズ低減処理後の前記生体信号の周期性解析を行う周期性解析部をさらに備え、
    前記心拍推定部は、前記第１の信号品質推定の結果および前記第２の信号品質推定の結果と、前記ノイズ低減処理後の前記生体信号の周期性解析結果とに基づいて、前記心拍数の信頼度を推定する
    請求項２に記載の信号処理装置。
  5. 前記生体信号に対して前記ノイズ低減処理を行うノイズ低減処理部をさらに備える
    請求項４に記載の信号処理装置。
  6. センサにより取得されるユーザの体動情報に基づいて、前記ユーザの体動状態を解析する体動状態解析部をさらに備える
    請求項５に記載の信号処理装置。
  7. 前記ユーザの体動が第１の閾値よりも大きいと解析された場合、前記ノイズ低減処理部、前記第２の信号品質推定部、および前記周期性解析部のうちの少なくとも１つが処理を停止する
    請求項６に記載の信号処理装置。
  8. 前記第１の信号品質推定の結果における信号品質が高く、かつ、前記ユーザの体動が第２の閾値よりも小さいと解析された場合、前記ノイズ低減処理部、前記第２の信号品質推定部、および前記周期性解析部のうちの少なくとも１つが処理を停止する
    請求項６に記載の信号処理装置。
  9. 推定された前記心拍数の信頼度に基づいて前記心拍数を補正する補正処理部をさらに備える
    請求項１に記載の信号処理装置。
  10. 前記生体信号は、脈波信号である
    請求項１に記載の信号処理装置。
  11. ウェアラブルな筐体に設けられる
    請求項１に記載の信号処理装置。
  12. 信号処理装置が、
    入力された生体信号について第１の信号品質推定を行い、
    ノイズ低減処理後の前記生体信号について第２の信号品質推定を行い、
    前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第１の信号品質推定の結果および前記第２の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する
    信号処理方法。
  13. 入力された生体信号について第１の信号品質推定を行う第１の信号品質推定部と、
    ノイズ低減処理後の前記生体信号について第２の信号品質推定を行う第２の信号品質推定部と、
    前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第１の信号品質推定の結果および前記第２の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と
    して、コンピュータを機能させるプログラム。
  14. 入力された生体信号について第１の信号品質推定を行う第１の信号品質推定部と、
    ノイズ低減処理後の前記生体信号について第２の信号品質推定を行う第２の信号品質推定部と、
    前記ノイズ低減処理後の前記生体信号に基づいて心拍数を推定し、前記第１の信号品質推定の結果および前記第２の信号品質推定の結果に基づいて前記心拍数の信頼度を推定する心拍推定部と、
    推定された前記心拍数および前記心拍数の信頼度を用いて、人の情動状態を推定するための推定モデルを学習する推定モデル学習部と
    を備える学習装置。
JP2023094921A 2022-09-21 2023-06-08 信号処理装置、信号処理方法、プログラム、および学習装置 Pending JP2024044993A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/032461 WO2024062919A1 (en) 2022-09-21 2023-09-06 Signal processing device, signal processing method, program, and learning device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022149751 2022-09-21
JP2022149751 2022-09-21

Publications (1)

Publication Number Publication Date
JP2024044993A true JP2024044993A (ja) 2024-04-02

Family

ID=90479661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023094921A Pending JP2024044993A (ja) 2022-09-21 2023-06-08 信号処理装置、信号処理方法、プログラム、および学習装置

Country Status (1)

Country Link
JP (1) JP2024044993A (ja)

Similar Documents

Publication Publication Date Title
US20200037905A1 (en) Heart rate monitor
EP3383256B1 (en) Systems and methods for detecting photoplethysmographic device usage
CN107106085B (zh) 用于睡眠监测的设备和方法
EP3403574A1 (en) Device for reliable acquisition of photoplethysmographic data
JP6310401B2 (ja) 生理的リズムを表す信号を処理する方法、システム及びコンピュータプログラム
EP3453321B1 (en) Non-invasive method and system for estimating blood pressure from photoplethysmogram using statistical post-processing
EP3479763B1 (en) System and method for photoplethysmogram (ppg) signal quality assessment
US20190192079A1 (en) System and a method for motion artifact reduction in a ppg signal
JP2003310562A (ja) Ｐｐｇを用いた心拍検出装置及びその方法
US20190192018A1 (en) Method and System for Time Domain Signal Reconstruction for Representing Heart Activity
Sharma et al. An algorithm for heart rate extraction from acoustic recordings at the neck
JP2022188307A (ja) 特徴量抽出装置、状態推定装置、特徴量抽出方法、状態推定方法及びプログラム
Kumar et al. STSR: spectro-temporal super-resolution analysis of a reference signal less photoplethysmogram for heart rate estimation during physical activity
US20230263400A1 (en) System and method for filtering time-varying data for physiological signal prediction
US11564613B2 (en) Non-invasive continuous heart rhythm monitoring based on wearable sensors
JP2024044993A (ja) 信号処理装置、信号処理方法、プログラム、および学習装置
Gisler et al. Towards glaucoma detection using intraocular pressure monitoring
WO2024062919A1 (en) Signal processing device, signal processing method, program, and learning device
Yang et al. ECG-aided PPG signal quality assessment (SQA) system for heart rate estimation
US20240020882A1 (en) Camera-Based Contactless Monitoring of Physiological Parameters
US20230380774A1 (en) Passive Breathing-Rate Determination
JP7327417B2 (ja) 状態推定装置、状態推定方法、及びプログラム
Nie et al. Model-driven Heart Rate Estimation and Heart Murmur Detection based on Phonocardiogram
WO2024122350A1 (ja) 信号処理装置および方法
RU2756157C1 (ru) Способ анализа баллистокардиографического сигнала для детектирования единичных сердечных ударов в реальном времени