JP2023505111A - 光学データからの生理学的測定のためのシステムおよび方法 - Google Patents

Abstract

脈拍検出の精度を改善するための新しいシステムおよび方法が提供される。様々な態様は、限定はしないが、カメラ出力／入力の前処理、前処理されたカメラ信号からの脈動信号の抽出、それに続く脈動信号の事後フィルタリングを含み、より高い精度に寄与する。次いで、この改善された情報は、光学式脈拍検出のための不正確な方法では不可能である、ＨＲＶ決定のような分析のために使用され得る。【選択図】図２

Description

本発明は、光学データから決定される生理学的測定のためのシステムおよび方法であり、特に、被験者のビデオデータからそのような測定を決定するためのそのようなシステムおよび方法に関するものである。

心拍数測定デバイスは、１８７０年代、最初の心電図（ＥＣＧまたはＥＫＧ）で、心臓の心周期（または心拍）による電気電圧変化を測定したことに遡る。ＥＫＧ信号は、３つの主要成分で構成され、Ｐ波は心房脱分極を表し、ＱＲＳ群は心室脱分極を表し、Ｔ波は心室再分極を表す。

第２の脈拍検出技術は、フォトプレチスモグラフィ（ＰＰＧ）と呼ばれる組織の微小血管床における血液量変化を検出する光学測定である。ＰＰＧ測定において、末梢脈波は、特徴的に、収縮期および拡張期ピークを示す。収縮期ピークは、左心室から身体の周辺に伝わる直接的な圧力波の結果であり、拡張期ピーク（または屈曲）は、下半身の動脈による圧力波の反射の結果である。

ＰＰＧベースのデバイスには、２つのカテゴリ、すなわち、接触ベースおよび遠隔（ｒＰＰＧ）がある。接触ベースのデバイスは、典型的には、指上で使用され、典型的には、赤色およびＩＲ（赤外線）の波長での光反射を測定する。一方、遠隔ＰＰＧデバイスは、典型的には顔の皮膚表面から反射された光を測定する。ほとんどのｒＰＰＧアルゴリズムは、ＲＧＢカメラを使用し、ＩＲカメラを使用しない。

ＰＰＧ信号は、光－生物組織の相互作用に由来し、したがって、（多重）散乱、吸収、反射、透過および蛍光に依存する。接触ベースまたは遠隔ＰＰＧ測定では、デバイスのタイプに応じて異なる効果が重要である。ｒＰＰＧ分析では、信号の便利な一次分解は、強度変動、散乱（生物組織と相互作用しなかった）、および脈動信号に対するものである。瞬時脈拍時間は、ＥＫＧ測定におけるＲ時間またはＰＰＧ測定における収縮期ピークから設定される。ＥＫＧ表記は、ｒＰＰＧ測定の収縮期ピークをＲ時間として参照するために使用される。瞬時心拍数は、連続するＲ時間の間の差、ＲＲ（ｎ）＝Ｒ（ｎ）－Ｒ（ｎ－１）から、１分あたりの心拍数で６０／ＲＲ（ｎ）として評価される。

ＲＲ間隔の変動は、恒常性に対する突然の身体的および心理的課題に心臓血管系がどのように調整されるかを示す。これらの変動の尺度は、心拍変動（ＨＲＶ）と呼ばれる。

正確な光学式脈拍検出には、残念ながら様々な技術的問題がある。主な困難は、達成される信号対雑音比が低く、したがって脈拍数を検出できないことである。心拍変動（ＨＲＶ）を決定することができるには、正確な脈拍検出が必要である。

ＨＲＶは、長期間にわたる脈拍数からの統計的パラメータの抽出である。従来、測定時間は０．５～２４時間であるが、近年、研究者らは、かなり短い持続時間のＨＲＶも抽出している。ＨＲＶから導出された統計情報は、例えばストレス推定に関するものを含む、被験者の健康状態の一般的な指標を提供し得る。

今回請求する本発明は、脈拍検出の精度を改善するための新しいシステムおよび方法を提供することによって、これらの困難を克服する。様々な態様は、限定はしないが、カメラ出力／入力の前処理、前処理されたカメラ信号からの脈動信号の抽出、それに続く脈動信号の事後フィルタリングなど、より高い精度に寄与する。次いで、この改善された情報は、光学式脈拍検出のための不正確な方法では不可能である、ＨＲＶ決定のような分析のために使用され得る。

ＨＲＶパラメータは、交感神経系（ＳＮＳ）および副交感神経系（ＰＮＳ）の活動の状況に関連する。ＳＮＳおよびＰＮＳは、個々のストレスレベルの指標であり、ストレス指標を推定することを可能にする。

少なくともいくつかの実施形態によれば、被験者から生理学的信号を取得するための方法が提供され、方法は、カメラを用いて被験者の顔から光学データを取得することと、前記カメラと通信する計算デバイスを用いて被験者の顔に関連するデータを選択するために光学データを分析することと、顔の皮膚から光学データを検出することと、経過した時間期間に達するまで光学データを収集することによって、光学データから時系列を決定し、次いで、経過した時間期間にわたって収集された光学データから時系列を計算することと、時系列から生理学的信号を計算することとを含む。

任意選択で、光学データは、ビデオデータを含み、前記光学データを前記取得することは、被験者の顔のビデオデータを取得することを含む。任意選択で、前記光学データを取得することは、前記カメラが携帯電話カメラを含むように、携帯電話カメラからビデオデータを取得することをさらに含む。任意選択で、前記計算デバイスは、モバイル通信デバイスを含む。任意選択で、前記携帯電話カメラは、前面カメラを含む。任意選択で、前記計算デバイスは、前記携帯電話カメラから物理的に分離されているが、前記携帯電話カメラと通信している。任意選択で、本明細書に記載の任意の方法またはその一部と組み合わせて、顔の前記皮膚から前記光学データを前記検出することは、複数の顔境界を決定することと、最も高い確率で顔境界を選択することと、顔からのビデオデータにヒストグラム分析を適用することとを含む。

任意選択で、前記複数の顔境界を前記決定することは、前記顔境界を決定するために、マルチパラメータ畳み込みニューラルネット（ＣＮＮ）を前記ビデオデータに適用することを含む。任意選択で、本明細書に記載の任意の方法またはその一部と組み合わせて、前記光学データを前記取得することは、被験者の指の皮膚のビデオデータを取得することをさらに含む。任意選択で、前記ビデオデータを前記取得することは、指先を前記カメラに置くことによって、被験者の指先の皮膚のビデオデータを取得することを含む。任意選択で、前記指先のビデオデータを取得するための前記カメラは、携帯電話カメラを含む。任意選択で、前記携帯電話カメラは、背面カメラを含む。任意選択で、前記携帯電話カメラ上の前記指先は、光を提供するために前記携帯電話カメラに関連付けられたフラッシュを起動することをさらに含む。

任意選択で、本明細書に記載の任意の方法またはその一部と組み合わせて、顔の前記皮膚から前記光学データを前記検出することは、複数の顔または指先境界を決定することと、最も高い確率で顔または指先境界を選択することと、顔または指先からのビデオデータにヒストグラム分析を適用することとを含む。任意選択で、前記複数の顔または指先境界を前記決定することは、前記顔または指先境界を決定するために、マルチパラメータ畳み込みニューラルネット（ＣＮＮ）を前記ビデオデータに適用することを含む。任意選択で、方法は、生理学的測定値を決定するために、顔および指先の画像からの分析されたデータを組み合わせることをさらに含み得る。

任意選択で、本明細書に記載の任意の方法と組み合わせて、生理学的信号を前記決定することは、メタデータを前記少なくとも１つの生理学的信号からの測定値と組み合わせることをさらに含み、前記メタデータは、被験者の体重、年齢、身長、生物学的性別、体脂肪パーセンテージ、および体筋パーセンテージのうちの１つ以上を含む。任意選択で、本明細書に記載の任意の方法と組み合わせて、前記生理学的信号は、ストレス、血圧、呼吸量、およびｐＳＯ２（酸素飽和度）からなる群から選択される。

少なくともいくつかの実施形態によれば、被験者から生理学的信号を取得するためのシステムが提供され、システムは、被験者の顔から光学データを取得するためのカメラと、前記カメラから光学データを受信するためのユーザ計算デバイスとを備え、前記ユーザ計算デバイスは、プロセッサと、複数の命令を記憶するためのメモリとを含み、前記プロセッサは、被験者の顔に関連するデータを選択するために光学データを分析し、顔の皮膚から光学データを検出し、経過した時間期間に達するまで光学データを収集することによって、光学データから時系列を決定し、次いで、経過した時間期間にわたって収集された光学データから時系列を計算し、時系列から生理学的信号を計算するための前記命令を実行する。任意選択で、前記メモリは、コードの定義されたネイティブ命令セットを記憶するように構成され、前記プロセッサは、前記メモリに記憶されたコードの定義されたネイティブ命令セットから選択された対応する基本命令を受信することに応答して、定義された基本動作セットを実行するように構成され、前記メモリは、被験者の顔に関連するデータを選択するために光学データを分析するためのネイティブ命令セットから選択された第１の組のマシンコードと、顔の皮膚から光学データを検出するためにネイティブ命令セットから選択された第２の組のマシンコードと、経過した時間期間に達するまで光学データを収集することによって、光学データから時系列を決定し、次いで、経過した時間期間にわたって収集された光学データから時系列を計算するためのネイティブ命令セットから選択された第３の組のマシンコードと、時系列から生理学的信号を計算するためのネイティブ命令セットから選択された第４の組のマシンコードとを記憶する。

任意選択で、顔の前記皮膚から前記光学データを前記検出することは、複数の顔境界を決定することと、最も高い確率で顔境界を選択することと、顔からのビデオデータにヒストグラム分析を適用することとを含み、前記メモリは、複数の顔境界を決定することを含む顔の前記皮膚から前記光学データを検出するためのネイティブ命令セットから選択された第５の組のマシンコードと、最も高い確率で顔境界を選択するためのネイティブ命令セットから選択された第６の組のマシンコードと、顔からのビデオデータにヒストグラム分析を適用するためのネイティブ命令セットから選択された第７の組のマシンコードとをさらに含む。

任意選択で、前記複数の顔境界を前記決定することは、前記顔境界を決定するために前記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用することを含み、前記メモリは、前記顔境界を決定するために前記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用するためのネイティブ命令セットから選択された第８の組のマシンコードをさらに含む。

任意選択で、本明細書に記載の任意のシステムまたはその一部と組み合わせて、前記カメラは、携帯電話カメラを含み、前記光学データは、前記携帯電話カメラからビデオデータとして取得される。任意選択で、前記計算デバイスは、モバイル通信デバイスを含む。任意選択で、前記携帯電話カメラは、背面カメラを含み、前記ビデオデータを取得するために、被験者の指先が前記カメラ上に配置される。任意選択で、システムは、前記光学データを取得するための光を提供するために、前記携帯電話カメラに関連付けられたフラッシュをさらに備える。

任意選択で、前記メモリは、複数の顔または指先境界を決定するためのネイティブ命令セットから選択された第９の組のマシンコードと、最も高い確率で顔または指先境界を選択するためのネイティブ命令セットから選択された第１０の組のマシンコードと、顔または指先からのビデオデータにヒストグラム分析を適用するためのネイティブ命令セットから選択された第１１の組のマシンコードとをさらに含む。

任意選択で、前記メモリは、前記顔または指先境界を決定するために、前記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用するためのネイティブ命令セットから選択された第１２の組の機械コードをさらに含む。任意選択で、システムは、前記プロセッサによって実行された前記命令に従って生理学的測定値を決定するために、顔および指先の画像からの分析されたデータを組み合わせることをさらに含む。任意選択で、本明細書に記載の任意のシステムまたはその一部と組み合わせて、システムは、生理学的測定値および／または信号を表示するためのディスプレイをさらに備える。任意選択で、前記ユーザ計算デバイスは、前記ディスプレイをさらに含む。

任意選択で、本明細書に記載の任意のシステムまたはその一部と組み合わせて、前記ユーザコンピューティングデバイスは、前記生理学的測定値および／または信号を送信するための送信機をさらに含む。任意選択で、本明細書に記載の任意のシステムまたはその一部と組み合わせて、生理学的信号を前記決定することは、メタデータを前記少なくとも１つの生理学的信号からの測定値と組み合わせることをさらに含み、前記メタデータは、被験者の体重、年齢、身長、生物学的性別、体脂肪パーセンテージ、および体筋パーセンテージのうちの１つ以上を含む。任意選択で、本明細書に記載の任意のシステムまたはその一部と組み合わせて、前記生理学的信号は、ストレス、血圧、呼吸量、およびｐＳＯ２（酸素飽和度）からなる群から選択される。

少なくともいくつかの実施形態によれば、被験者から生理学的信号を取得するためのシステムが提供され、システムは、被験者の指から光学データを取得するための背面カメラと、前記カメラから光学データを受信するためのユーザ計算デバイスとを備え、前記ユーザ計算デバイスは、プロセッサと、複数の命令を記憶するためのメモリとを含み、前記プロセッサは、被験者の顔に関連するデータを選択するために光学データを分析し、指の皮膚から光学データを検出し、経過した時間期間に達するまで光学データを収集することによって、光学データから時系列を決定し、次いで、経過した時間期間にわたって収集された光学データから時系列を計算し、時系列から生理学的信号を計算するための前記命令を実行する。任意選択で、システムは、本明細書に記載の任意のシステムまたはその一部をさらに備える。

少なくともいくつかの実施形態によれば、被験者から生理学的信号を取得するための方法が提供され、方法は、前記被験者から前記生理的信号を取得するために、本明細書に記載の任意のシステムを操作することを含む。

本発明の方法およびシステムの実装は、特定の選択されたタスクまたはステップを手動で、自動的に、またはそれらの組合せで実行または完了することを伴う。さらに、本発明の方法およびシステムの好ましい実施形態の実際の器具および機器によれば、いくつかの選択されたステップは、ハードウェアによって、または任意のファームウェアの任意のオペレーティングシステム上のソフトウェアによって、またはそれらの組合せによって実装され得る。例えば、ハードウェアとして、本発明の選択されたステップは、チップまたは回路として実装され得る。ソフトウェアとして、本発明の選択されたステップは、任意の適切なオペレーティングシステムを使用するコンピュータによって実行される複数のソフトウェア命令として実装され得る。いずれの場合も、本発明の方法およびシステムの選択されたステップは、複数の命令を実行するためのコンピューティングプラットフォームなどのデータプロセッサによって実行されるものと説明することができる。

本発明は、「コンピューティングデバイス」、「コンピュータ」、または「モバイルデバイス」に関して説明されるが、任意選択で、データプロセッサを特徴とする任意のデバイス、および１つ以上の命令を実行する能力を、限定はしないが、任意のタイプのパーソナルコンピュータ（ＰＣ）、サーバ、分散サーバ、仮想サーバ、クラウドコンピューティングプラットフォーム、携帯電話、ＩＰ電話、スマートフォン、またはＰＤＡ（パーソナルデジタルアシスタント）を含むコンピュータとして説明され得ることに留意されたい。互いに通信するこのようなデバイスのうちの任意の２つ以上は、任意選択で、「ネットワーク」または「コンピュータネットワーク」を含み得る。

本発明は、添付の図面を参照しながら、単に例として、本明細書に記載される。次に、図面を詳細に特に参照すると、示された詳細は、例として、本発明の好ましい実施形態の例示的な説明のためだけのものであり、本発明の原理および概念的態様の最も有用で容易に理解される説明であると考えられるものを提供するために提示されることが強調される。この点に関して、本発明の基本的な理解のために必要である以上に詳細に本発明の構造的詳細を示す試みはなされておらず、図面を用いてなされた説明は、本発明のいくつかの形態が実際にどのように実施され得るかを当業者に明らかにする。

ユーザのビデオデータを取得し、ビデオデータを分析して１つ以上の生体信号を決定するための例示的な非限定的な例示的なシステムを示す図である。 ユーザのビデオデータを取得し、ビデオデータを分析して１つ以上の生体信号を決定するための例示的な非限定的な例示的なシステムを示す図である。 信号分析を実行するための非限定的な例示的な方法を示す図である。 ユーザがアプリを使用して生物学的統計を取得できるようにするための非限定的な例示的な方法を示す図である。 ユーザがアプリを使用して生物学的統計を取得できるようにするための非限定的な例示的な方法を示す図である。 詳細な生物学的統計を作成するための非限定的な例示的なプロセスを示す図である。 ビデオデータを取得し、次いで、初期処理を実行するための、非限定的な例示的な方法を示す図である。 ビデオデータを取得し、次いで、初期処理を実行するための、非限定的な例示的な方法を示す図である。 ビデオデータを取得し、次いで、初期処理を実行するための、非限定的な例示的な方法を示す図である。 ｒＰＰＧの脈拍数推定および決定のための非限定的な例示的な方法に関連する図である。 この方法のいくつかの結果に関連する図である。 ＨＲＶまたは心拍変動時間領域分析を実行するための非限定的な例示的な方法を示す図である。 心拍変動性またはＨＲＶ周波数領域を計算するための非限定的な例示的な方法を示す図である。

ｒＰＰＧ機構の重要な根底にある問題は、顔の画像が使用される場合、正確な顔検出および分析に適した正確な皮膚表面選択である。例えば、スマートフォンなどのモバイルデバイスの背面カメラで撮影された画像の場合など、指先の画像が使用される場合、同様の問題に遭遇する。今回請求する本発明は、ニューラルネットワーク方法に基づく顔、指、および皮膚の検出に関するこの問題を克服する。非限定的な例を以下に示す。好ましくは、皮膚選択のために、ヒストグラムベースのアルゴリズムが使用される。顔のみ（または代替的に指のみ）を含むビデオフレームの一部にこの手順を適用すると、各チャネル、赤、緑、および青（ＲＧＢ）の平均値がフレームデータを構築する。結果として生じるビデオフレームに対して上記の手順を連続的に使用すると、ＲＧＢデータの時系列が取得される。ＲＧＢ値によって表されるこれらの時系列の各要素は、フレームごとに取得され、タイムスタンプは、第１の要素の最初の発生からの経過時間を決定するために使用される。次いで、完全な時間窓（Ｌａｌｇｏ）について、総経過時間が、脈拍数推定定義外部パラメータに使用される平均化期間に達すると、ｒＰＰＧ分析が開始する。可変のフレーム取得レートを考慮して、時系列データは、固定された所与のフレームレートに対して補間されなければならない。

補間後、より適切な３次元信号（ＲＧＢ）を構築するために、前処理機構が適用される。このような前処理は、例えば、正規化およびフィルタリングを含み得る。前処理に続いて、平均脈拍数を推定することを含む、ｒＰＰＧトレース信号が計算される。

次に図面を参照すると、図１Ａおよび図１Ｂは、ユーザのビデオデータを取得し、ビデオデータを分析して１つ以上の生体信号を決定するための例示的な非限定的な例示的なシステムを示す。

図１Ａは、サーバ１１８と通信するユーザ計算デバイス１０２を特徴とするシステム１００を示す。ユーザ計算デバイス１０２は、好ましくは、コンピュータネットワーク１１６を介してサーバ１１８と通信する。ユーザ計算デバイス１０２は、好ましくは、ユーザ入力デバイス１０６を含み、ユーザ入力デバイス１０６は、例えば、マウス、キーボード、および／または他の入力デバイスなどのポインティングデバイスを含み得る。

さらに、ユーザ計算デバイス１０２は、好ましくは、ユーザの顔のビデオデータを取得するためのカメラ１１４を含む。カメラはまた、ユーザ計算デバイスとは別個であってもよい。任意選択で、カメラ１１４は、モバイルデバイスの背面カメラ、またはユーザの指、好ましくは、例えば指先など指の一部のビデオデータを取得するのに適した別のタイプのカメラを含む。ユーザ計算デバイス１０２は、そのようなカメラの一方または両方を含み得る。ユーザは、信号分析のタイプを決定し、信号分析を開始し、また信号分析の結果を受信するためのコマンドを提供するために、ユーザアプリインターフェース１０４と対話する。

例えば、ユーザは、ユーザ計算デバイス１０２を介して、カメラ１１４を別々に起動することによって、またはユーザアプリインターフェース１０４を介してコマンドを発行することによってそのようなデータを記録することによって、カメラ１１４を介してビデオデータの記録を開始し得る。

次に、ビデオデータは、好ましくは、サーバ１１８に送信され、サーバアプリインターフェース１２０によって受信される。次いで、信号分析エンジン１２２によって分析される。信号分析エンジン１２２は、好ましくは、ビデオ信号における顔の検出と、それに続く皮膚検出とを含む。代替または追加として、信号分析エンジン１２２は、好ましくは、ビデオ信号における指または指先のようなその一部の検出と、それに続く皮膚検出とを含む。以下で詳細に説明するように、この情報からパルス信号を取得することをサポートするために、好ましくは、様々な非限定的なアルゴリズムが適用される。次に、パルス信号は、好ましくは、ＨＲＶの決定をサポートするために、時間、周波数、および非線形フィルタに従って分析される。次いで、ＨＲＶ決定からさらなる分析が行われてもよい。

ユーザ計算デバイス１０２は、好ましくは、プロセッサ１１０Ａおよびメモリ１１２Ａを特徴とする。サーバ１１８は、好ましくは、プロセッサ１１０Ｂおよびメモリ１１２Ｂを特徴とする。

本明細書で使用されるように、プロセッサ１１０Ａまたは１１０Ｂなどのプロセッサは、一般に、特定のシステムの通信および／または論理機能を実装するために使用される回路を有するデバイスまたはデバイスの組合せを指す。例えば、プロセッサは、デジタル信号プロセッサデバイス、マイクロプロセッサデバイス、および様々なアナログ／デジタル変換器、デジタル／アナログ変換器、ならびに他のサポート回路および／または前述の組合せを含み得る。システムの制御および信号処理機能は、それぞれの能力に従って、これらの処理デバイスの間で割り振られる。プロセッサは、この非限定的な例では、メモリ１１２Ａまたは１１２Ｂなどのメモリに記憶され得る、そのコンピュータ実行可能プログラムコードに基づいて１つ以上のソフトウェアプログラムを動作させる機能をさらに含み得る。本明細書で使用されるように、プロセッサは、例えば、コンピュータ可読媒体で実施される特定のコンピュータ実行可能プログラムコードを実行することによって、１つ以上の汎用回路にその機能を実行させることによる、および／または１つ以上の特定用途向け回路にその機能を実行させることによるなど、様々な方法で、ある機能を実行するように「構成」され得る。

任意選択で、メモリ１１２Ａまたは１１２Ｂは、コードの定義されたネイティブ命令セットを記憶するように構成される。プロセッサ１１０Ａまたは１１０Ｂは、メモリ１１２Ａまたは１１２Ｂに記憶されたコードの定義されたネイティブ命令セットから選択された対応する基本命令を受信することに応答して、定義された基本動作セットを実行するように構成される。任意選択で、メモリ１１２Ａまたは１１２Ｂは、被験者の顔に関連するデータを選択するために光学データを分析するためのネイティブ命令セットから選択された第１の組のマシンコードと、顔の皮膚から光学データを検出するためにネイティブ命令セットから選択された第２の組のマシンコードと、経過した時間期間に達するまで光学データを収集することによって、光学データから時系列を決定し、次いで、経過した時間期間にわたって収集された光学データから時系列を計算するためのネイティブ命令セットから選択された第３の組のマシンコードと、時系列から生理学的信号を計算するためのネイティブ命令セットから選択された第４の組のマシンコードとを記憶する。

任意選択で、メモリ１１２Ａまたは１１２Ｂは、複数の顔境界を決定することを含む顔の前記皮膚から前記光学データを検出するためのネイティブ命令セットから選択された第５の組のマシンコードと、最も高い確率で顔境界を選択するためのネイティブ命令セットから選択された第６の組のマシンコードと、顔からのビデオデータにヒストグラム分析を適用するためのネイティブ命令セットから選択された第７の組のマシンコードとをさらに含む。

任意選択で、メモリ１１２Ａまたは１１２Ｂは、前記顔境界を決定するために、前記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用するためのネイティブ命令セットから選択された第８の組の機械コードをさらに含む。

さらに、ユーザ計算デバイス１０２は、信号分析の結果、発行されている１つ以上のコマンドの結果などを表示するためのユーザ表示デバイス１０８を特徴とし得る。

図１Ｂは、上述の機能がユーザ計算デバイス１０２によって実行されるシステム１５０を示す。図１Ａまたは図１Ｂのいずれについて、ユーザ計算デバイス１０２は、携帯電話を含み得る。図１Ｂでは、前述した信号分析エンジンは、ここで、信号分析エンジン１５２としてユーザ計算デバイス１０２によって動作される。信号分析エンジン１５２は、図１Ａの信号分析エンジンについて説明したものと同じまたは同様の機能を有し得る。図１Ｂでは、ユーザ計算デバイス１０２は、インターネット（図示せず）などのコンピュータネットワークに接続されてもよく、他の計算デバイスと通信してもよい。少なくともいくつかの実施形態では、機能のいくつかは、ユーザ計算デバイス１０２によって実行され、他の機能は、例えばサーバ（図１Ｂには図示せず、図１Ａを参照）など別個の計算デバイスによって実行される。

図２は、信号分析を実行するための非限定的な例示的な方法を示す。プロセス２００は、例えば、ビデオカメラ２０４を起動することによって、ブロック２０２でデータを取得するプロセスを開始することによって開始する。次いで、任意選択で、２０６で顔認識が実行され、まずユーザの顔の位置を特定する。これは、例えば、ディープラーニング顔検出モジュール２０８を介して、また追跡プロセス２１０を介して実行され得る。信号分析のための最も正確な結果を取得するために、好ましくは、ビデオデータはユーザの顔のものであるので、ユーザの顔の位置を特定することが重要である。追跡プロセス２１０は、連続特徴マッチング機構に基づく。特徴は、新しいフレームにおいて以前に検出された顔を表す。特徴は、フレーム内の位置に従って、ＣＮＮ（畳み込みニューラルネットワーク）などの画像認識プロセスの出力から決定される。フレーム内に１つの顔のみが現れるとき、追跡プロセス２１０は、フレーム内の顔認識に簡略化することができる。

非限定的な例として、任意選択で、リアルタイム条件下で最新の精度を達成する顔検出のためにマルチタスク畳み込みネットワークアルゴリズムが適用される。これは、Ｌｉらによる出版物に紹介されたネットワークカスケードに基づく（Ｈａｏｘｉａｎｇ Ｌｉ， Ｚｈｅ Ｌｉｎ， Ｘｉａｏｈｕｉ Ｓｈｅｎ， Ｊｏｎａｔｈａｎ Ｂｒａｎｄｔ， ａｎｄ Ｇａｎｇ Ｈｕａ． Ａ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｃａｓｃａｄｅ ｆｏｒ ｆａｃｅ ｄｅｔｅｃｔｉｏｎ． Ｉｎ Ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， Ｊｕｎｅ ２０１５）。

次に、２１２において、ユーザの顔の皮膚がビデオデータ内に位置する。好ましくは、皮膚選択のために、ヒストグラムベースのアルゴリズムが使用される。前述した顔検出アルゴリズムに従って決定された顔のみを含むビデオフレームの一部にこの手順を適用して、好ましくは、各チャネル、赤、緑、および青（ＲＧＢ）の平均値を使用して、フレームデータが構築される。

代替または追加として、同じまたは同様のプロセスが、指、または指先などその一部の画像の分析に使用されてもよい。例えば、ビデオデータは、上記で説明したように、データブロックで取得されるが、指、または指先などその一部の画像のデータブロックで取得される。次いで、２０６において、顔認識のプロセスは、好ましくは、まず、ユーザの指またはその一部の位置を特定するように適合される。このプロセスは、例えば、適合された指または指部分検出モジュール（図示せず）を介して、また、異なる画像を介して指またはその一部を追跡するように適合された、適合された追跡プロセス（図示せず）を介して実行され得る。任意選択で、指先がモバイルデバイスのリアカメラに直接押し付けられる場合、追跡はあまり必要ではない場合があるが、好ましくは、指先認識が依然として実行される。いずれの場合においても、例えば、顔認識のための上記のプロセスについて説明したように、好ましくは、指先の皮膚の位置が特定される。また、好ましくは、指またはその一部の画像が分析される場合、好ましくは、例えば、顔認識のための上記のプロセスについて説明したように、その皮膚の位置が特定される。

結果として生じるビデオフレームに対して上記の手順を連続的に使用すると、ＲＧＢデータの時系列が取得される。そのＲＧＢ値を有する各フレームは、これらの時系列の要素を表す。各要素は、最初の発生から経過した時間に従って決定されたタイムスタンプを有する。収集された要素は、Ｌ個のアルゴ要素を有するスケーリングされたバッファ内にあるものとして説明され得る。フレームは、好ましくは、十分な要素が収集されるまで収集される。要素の数が十分であることは、好ましくは、総経過時間に応じて決定される。２１４のｒＰＰＧ分析は、総経過時間が、脈拍数推定に使用される平均化期間に必要とされる時間の長さに達したときに開始する。収集されたデータ要素は、補間されてもよい。補間後、好ましくは、より適切な３次元信号（ＲＧＢ）を構築するために、前処理機構が適用される。

２１４において、３次元信号から、特にＲＧＢデータの要素から、ＰＰＧ信号が作成される。例えば、脈拍数は、以下でより詳細に説明するように、単一の計算から、または複数の相互相関計算から決定され得る。次いで、これは、２１６で正規化され、フィルタリングされ、２１８でＰＳＯ_２、ＥＣＧ、および呼吸を再構築するために使用され得る。２２０において、基本周波数が見つけられ、２２２において、心拍数、ＰＳＯ_２、および呼吸数などの統計値が作成される。

図３Ａおよび図３Ｂは、ユーザがアプリを使用して生物学的統計を取得できるようにするための非限定的な例示的な方法を示す。図３Ａは、顔の光学画像のみを使用する非限定的な例示的な方法を示す。図３Ｂは、ユーザの指先のビデオデータを、例えば、前述したように、モバイルデバイスのリアカメラから分析するための、同様の、非限定的な例示的な方法を示す。任意選択で、両方の方法を組み合わせてもよい。

次に図面を参照すると、図３Ａに示されるように、方法３００において、ユーザは、３０２において、アプリに登録する。次に、３０４において、例えば、ユーザ計算デバイスに取り付けられるか、またはユーザ計算デバイスで形成されるように、画像がビデオカメラで取得される。ビデオカメラは、好ましくは、本明細書に記載されるようなＲＧＢカメラである。

３０６で、画像内で、顔の位置が特定される。これは、ユーザ計算デバイス上で、サーバで、または任意選択で両方で実行され得る。さらに、このプロセスは、マルチタスク畳み込みニューラルネットに関して、前述したように実行され得る。次いで、ＲＧＢ信号データにヒストグラムを適用することによって、皮膚検出が実行される。好ましくは、皮膚から反射された光に関連するビデオデータのみが、光パルス検出およびＨＲＶ決定のために分析される。

信号の時系列は、３０８において、例えば前述のように決定される。可変のフレーム取得レートを考慮して、好ましくは、時系列データは、固定された所与のフレームレートに対して補間される。補間手順を実行する前に、補間を実行することができるように、以下の条件を分析することが好ましい。第１に、好ましくは、フレームの数が分析されて、補間および前処理の後、ｒＰＰＧ分析のために十分なフレームがあることを検証する。

次に、１秒当たりのフレームが考慮され、ウィンドウ内の１秒当たりの測定されたフレームが最小閾値を上回ることを検証する。その後、フレーム間の時間ギャップは、もしあれば、それが、例えば０．５秒であり得る何らかの外部的に設定された閾値未満であることを保証するために分析される。

上記の条件のいずれかが満たされない場合、手順は、好ましくは、完全なデータリセットで終了し、最後の有効なフレームから再開し、例えば、上述のように３０４に戻る。

次に、ビデオ信号は、好ましくは、３１０において、補間に続いて前処理される。より適切な３次元信号（ＲＧＢ）を構築するために、前処理機構が適用される。前処理は、好ましくは、各チャネルを総電力に正規化することと、（ローパスフィルタによって推定された）その平均値によってチャネル値をスケーリングし、１だけ減算することと、次いで、バターワースバンドパスＩＩＲフィルタにデータを通過させることとを含む。

３１２において、統計情報が抽出される。次いで、３１４において、心拍が再構築される。３１６で呼吸信号が決定され、次いで、３１８で脈拍数が測定される。この後、３２０で血液酸化を測定する。

図３Ｂは、ユーザの指先のビデオデータを、例えば、前述したように、モバイルデバイスのリアカメラから分析するための、同様の、非限定的な例示的な方法を示す。このプロセスは、例えば、ユーザの顔に対して、前面カメラから十分なビデオデータを取り込むことができない場合に使用され得る。任意選択で、両方の方法を組み合わせてもよい。

方法３４０では、方法は、３４２で、ユーザの指先をカメラの上または近くに置くことによって開始する。カメラの近くにある場合、指先がカメラに見える必要がある。この配置は、例えば、モバイルデバイスにおいて、ユーザに、モバイルデバイスのリアカメラ上に指先を置かせることによって達成されてもよい。カメラは、指先の配置に対してすでに既知の幾何学的位置にあり、これは、正確なビデオデータを収集することに関して指先の正確な配置を促進する。任意選択で、モバイルデバイスのフラッシュは、十分な光を提供するために、より長いモード（「トーチ」モードまたは「フラッシュライト」モード）で使用可能にすることができる。フラッシュを可能にすることは、指先の正確なビデオデータを取得するのに十分な光がカメラによって検出されない場合に、自動的に実行されてもよい。

３４４において、指の画像、好ましくは指先の画像がカメラで取得される。次に、３４６において、画像内で、指、好ましくは指先の位置が特定される。このプロセスは、画像内の顔の位置に関して前述したように実行され得る。しかしながら、ニューラルネットが使用される場合、特に、指、好ましくは指先の位置を特定するように訓練される必要がある。光学データからのハンドトラッキングは、当技術分野で知られており、修正されたハンドトラッキングアルゴリズムを使用して、一連の画像内の指先を追跡することができる。

３４８において、皮膚は、画像の指、好ましくは指先部分内に見つけられる。この場合も、このプロセスは、一般に、皮膚の位置について上述したように、任意選択で指または指先の皮膚を調整して、実行することができる。信号の時系列は、３５０において、例えば、前述のように決定されるが、好ましくは、リアカメラを使用すること、および／またはカメラ上の指先皮膚の直接接触の任意の特性について調整される。可変のフレーム取得レートを考慮して、好ましくは、時系列データは、固定された所与のフレームレートに対して補間される。補間手順を実行する前に、補間を実行することができるように、以下の条件を分析することが好ましい。第１に、好ましくは、フレームの数が分析されて、補間および前処理の後、ｒＰＰＧ分析のために十分なフレームがあることを検証する。

次に、１秒当たりのフレームが考慮され、ウィンドウ内の１秒当たりの測定されたフレームが最小閾値を上回ることを検証する。その後、フレーム間の時間ギャップは、もしあれば、それが、例えば０．５秒であり得る何らかの外部的に設定された閾値未満であることを保証するために分析される。

上記の条件のいずれかが満たされない場合、手順は、好ましくは、完全なデータリセットで終了し、最後の有効なフレームから再開し、例えば、上述のように３４４に戻る。

次に、ビデオ信号は、好ましくは、３５２において、補間に続いて前処理される。より適切な３次元信号（ＲＧＢ）を構築するために、前処理機構が適用される。前処理は、好ましくは、各チャネルを総電力に正規化することと、（ローパスフィルタによって推定された）その平均値によってチャネル値をスケーリングし、１だけ減算することと、次いで、バターワースバンドパスＩＩＲフィルタにデータを通過させることとを含む。この場合も、このプロセスは、好ましくは、指先データに対して調整される。３５４において、統計情報が抽出され、その後、プロセスは、例えば、図３Ａに関して上述したように、３１４から、心拍を再構築し、本明細書で説明した他の測定を実行するために進行し得る。

図４は、詳細な生物学的統計を作成するための非限定的な例示的なプロセスを示す。プロセス４００において、ユーザビデオデータは、カメラ４０４により、ユーザ計算デバイス４０２を介して取得される。次いで、顔検出モデル４０６を使用して顔を見つける。例えば、複数の異なる顔境界について顔ビデオデータが検出された後、最高スコアの顔境界を除くすべてが廃棄されることが好ましい。その境界ボックスは、好ましくは、ユーザの顔に関連するデータが他のビデオデータから分離されるように、入力画像から切り取られる。皮膚ピクセルは、好ましくは、前述のように、ソフト閾値処理機構を有するヒストグラムベースの分類器を使用して収集される。残りのピクセルから、チャネルごとに平均値が計算され、４１０でｒＰＰＧアルゴリズムに渡される。このプロセスによって、皮膚の色を決定することができ、その結果、光学データに対するパルスの影響を、下にある皮膚の色の影響から分離することができる。プロセスは、４０８において、最高得点の顔境界ボックスに従って顔を追跡する。

上述のように、このプロセスは、指、または指先などその一部を検出するように適合されてもよい。好ましくは、指、または指先などその一部の境界を検出するために、境界検出アルゴリズムも使用される。例えば、指、または指先などその一部など、ユーザの解剖学的構造の関連部分を分離するために、バウンディングボックスを切り取ることなど後続のプロセス。例えば指先など、検出される解剖学的構造の関連部分が皮膚を含むと仮定すると、適合されたヒストグラムベースの分類器も使用されてもよい。４０８におけるプロセスは、ユーザがリアカメラに対して指先を押す場合、例えば、リアカメラに対して指先を直接配置した場合、追跡の必要性の低減に対応するように適合され得る。

次に、４１０において、ＰＰＧ信号が作成される。前処理に続いて、ｒＰＰＧトレース信号は、スケーリングされたバッファのＬ個のアルゴ要素を使用して計算される。この手順は次の通りである。平均脈拍数は、生の補間データ（ＣＨＲＯＭ様および射影行列（ＰＭ））から構築された２つのｒＰＰＧの異なる分析信号間の整合フィルタを使用して推定される。次いで、相互相関が計算され、その上で平均瞬間脈拍数が検索される。周波数推定は、追加のロックイン機構を有する非線形最小二乗（ＮＬＳ）スペクトル分解に基づく。次いで、ｒＰＰＧ信号は、適応ウィーナーフィルタリングを適用するＰＭ方法から導出され、初期推測信号は、瞬時脈拍周波数（νｐｒ）：ｓｉｎ（２πνｐｒｎ）に依存する。さらに、信号再構築を強制するために使用される周波数領域における追加のフィルタ。最後に、以下でより詳細に説明する手順によって取得される瞬時ＲＲ値に適用される指数フィルタ。

次いで、４１２における信号プロセッサは、好ましくは、ＰＰＧ信号に基づいて、いくつかの異なる機能を実行する。これらは、好ましくは、４１４でＥＣＧ様信号を再構築し、４１６でＨＲＶ（心拍変動）パラメータを計算し、次いで４１８でストレス指標を計算することを含む。

ＨＲＶは、心拍間の時間間隔の変動の生理学的現象である。これは、拍動間間隔の変動によって測定される。使用される他の用語は、「周期長変動」、「ＲＲ（ＮＮ）変動」（ここで、Ｒは、ＥＣＧ波のＱＲＳ群のピークに対応する点であり、ＲＲは、連続するＲ間の間隔である）、および「心周期変動」を含む。

以下でより詳細に説明するように、時間領域、周波数領域、および非線形測定を使用して、２４時間、準（～１５分）、短期（ＳＴ、～５分）または短時間、および超短期（ＵＳＴ、＜５分）のＨＲＶを計算することが可能である。

加えて、４２０において、瞬間血圧が作成され、続いて、血圧統計４２２が作成され得る。任意選択で、４２４のメタデータがこの計算に含まれる。メタデータは、例えば、身長、体重、性別、または他の生理学的もしくは人口統計学的データに関連し得る。４２６において、ＰＳО_２信号が再構築され、続いて、４２８においてＰＳО_２統計値が計算される。次いで、４２８における統計は、４２０および４２２に関して前述したように、さらなる血圧分析につながり得る。

任意選択で、４３０において、前述の信号プロセッサ４１２によって呼吸信号が再構築され、続いて、４３２で呼吸変動性が計算される。次いで、４３４において、好ましくは、呼吸数および体積が計算される。

４２０での瞬間血圧計算から、任意選択で、４３６で血圧モデルが計算される。血圧モデルの計算は、以前に決定された血圧、呼吸数および体積、ＰＳО_２、または他の計算など、４３８における履歴データに従って影響を受けるか、または調整され得る。

図５Ａ～図５Ｅは、ビデオデータを取得し、次いで、好ましくは補間、前処理、およびｒＰＰＧ信号決定を含む初期処理を実行するための、非限定的な例示的な方法を、そのような初期処理からのいくつかの結果とともに示している。ここで図５Ａを参照すると、プロセス５００において、例えば前述のように、５０２においてビデオデータが取得される。

次に、５０４において、例えば前述のように、カメラチャネル入力バッファデータが取得される。次に、５０６において、一定のあらかじめ定義された獲得レートが決定されることが好ましい。例えば、一定のあらかじめ定義された獲得レートがΔｔ＝１／ｆｐｓ～＝３３ｍｓに設定され得る。５０８において、各チャネルは、好ましくは、一定のあらかじめ定義された獲得レートで時間バッファに別々に補間される。このステップは、入力時間ジッタを除去する。補間手順がエイリアシング（および／または周波数折り返し）を追加するとしても、画像がカメラによって撮影されると、エイリアシング（および／または周波数折り返し）はすでに発生している。一定のサンプルレートに補間することの重要性は、それが、取得時間に従って心拍数の準定常性の基本的な仮定を満たすことである。補間に使用される方法は、例えば、３次エルミート補間に基づいてもよい。

図５Ｂ～図５Ｄは、スケーリング手順の異なる段階に関するデータを示す。カラーコーディングは、各チャネルの色に対応し、すなわち、赤は赤チャネルに対応し、以下同様である。図５Ｂは、補間後のカメラチャネルデータを示す。

図５Ａに戻ると、５１０～５１４において、着色チャネル（ｖｅｃ（ｃ））の各々を補間した後、脈動変調を強調するために前処理が実行される。前処理は、好ましくは、３つのステップを組み込む。５１０において、総電力に対する各チャネルの正規化が実行され、これにより、全体的な外部光変調によるノイズが低減される。

パワー正規化は、次式で与えられる。

式中、－→ｃ ｐは、パワー正規化されたカメラチャネルベクトルであり、－→ｃは、上述したような補間された入力ベクトルである。簡潔にするために、フレーム指標は、両側から除去されている。

次に、５１２において、スケーリングが実行される。例えば、そのようなスケーリングは、平均値ｉによって実行され、１だけ減算されてもよく、これは、静止光源およびその輝度レベルの影響を低減する。平均値は、セグメント長（Ｌａｌｇｏ）によって設定されるが、このタイプの解決策は、低周波成分を高める可能性がある。あるいは、平均値によるスケーリングの代わりに、ローパスＦＩＲフィルタによってスケーリングすることが可能である。

ローパスフィルタを使用することは、固有の待ち時間を追加し、これは、Ｍ／２フレームでの補償を必要とする。スケーリングされた信号は、次式で与えられる。

式中、ｃｓ（ｎ）は、フレームｎの単一チャネルスケール値であり、ｂはローパスＦＩＲ係数である。簡潔にするために、チャネル色表記を上記の式から取り除いた。

５１４において、スケーリングデータは、バターワースバンドパスＩＩＲフィルタを通過する。

このフィルタは、次のように定義される。

スケーリング手順の出力は、－→ｓであり、各新しいフレームは、カメラチャネルごとに待ち時間を有する新しいフレームを追加する。簡潔にするために、フレーム指標ｎが使用されるが、実際には（ローパスフィルタのために）フレームｎ－Ｍ／２を指すことに留意されたい。

図５Ｃは、カメラ入力のパワー正規化、バンドパスフィルタの前のローパススケーリングデータのプロットを示す。図５Ｄは、バンドパスフィルタの前のパワースケーリングデータのプロットを示す。図５Ｅは、２つの正規化手順を使用した全被験者の平均絶対偏差の比較を示し、フィルタ応答は図５Ｅ－１として、および重み応答（平均による平均）は図５Ｅ－２として与えられている。図５Ｅ－１は、前処理フィルタの大きさおよび周波数応答を示す。青線はＭ＝３３タップローパスＦＩＲフィルタを表し、赤線は３次ＩＩＲバターワースフィルタを示す。図５Ｅ－２は、ｒＰＰＧトレースを平均化するために使用される６４ロングハンウィンドウ重み応答を示す。

５１６において、ＣＨＲＯＭアルゴリズムを適用して脈拍数を決定する。このアルゴリズムは、次式によって定義される２つの平面上に信号を投影することによって適用される。

次いで、ｒＰＰＧ信号は、２つの間の差として取られる。

式中、σ（…）は、シグナルの標準偏差である。２つの投影された信号は、それらの最大変動によって正規化されたことに留意されたい。ＣＨＲＯＭ法は、鏡面反射光を最小化するために導出される。

次に、５１８において、投影行列を適用して脈拍数を決定する。投影行列（ＰＭ）法では、信号は脈動方向に投影される。３つの要素が直交していなくても、驚くべきことに、この投影は、ＣＨＲＯＭよりも良好な信号対雑音比を有する非常に安定した解を与えることが見出された。ＰＭ法を導出するために、ＲＧＢ信号の強度、鏡面、および脈動の要素の行列要素が決定される。

上記の行列要素は、例えば、ｄｅ Ｈａａｎおよびｖａｎ Ｌｅｅｓｔによる論文から決定することができる（Ｇ ｄｅ Ｈａａｎ ａｎｄ Ａ ｖａｎ Ｌｅｅｓｔ． Ｉｍｐｒｏｖｅｄ ｍｏｔｉｏｎ ｒｏｂｕｓｔｎｅｓｓ ｏｆ ｒｅｍｏｔｅ－ｐｐｇ ｂｙ ｕｓｉｎｇ ｔｈｅ ｂｌｏｏｄ ｖｏｌｕｍｅ ｐｕｌｓｅ ｓｉｇｎａｔｕｒｅ． Ｐｈｙｓｉｏｌｏｇｉｃａｌ Ｍｅａｓｕｒｅｍｅｎｔ， ３５（９）：１９１３， ２０１４）。この論文では、動脈血からの（したがって脈からの）信号は、ＲＧＢ信号から決定され、血液量スペクトルを決定するために使用することができる。

この例では、強度は１に正規化される。脈動方向への投影は、上記の行列を反転し、脈動に対応するベクトルを選択することによって見出される。これは以下を与える。

５２０において、２つの脈拍数の結果は、ｒＰＰＧを決定するために相互相関される。ｒＰＰＧの決定は、図６に関してより詳細に説明される。

図６Ａは、ｒＰＰＧの脈拍数推定および決定のための非限定的な例示的な方法に関連し、図６Ｂ～図６Ｃは、この方法のいくつかの結果に関連する。この方法は、図５Ａに関して上述したＣＨＲＯＭおよびＰＭ ｒＰＰＧ方法の出力を使用して、脈拍数周波数νｐｒを求める。この方法は、過去のＬａｌｇｏフレームにわたる平均脈拍数を検索することを伴う。周波数は、ロックイン機構を適用した非線形最小二乗スペクトル分解を使用することによって、（ＣＨＲＯＭとＰＭとの間の）整合フィルタの出力から抽出される。

次に図６Ａを参照すると、方法６００において、プロセスは、６０２において、ＣＨＲＯＭとＰＭ出力との間の整合フィルタを計算することによって開始する。整合フィルタは、単に、出力されるＣＨＲＯＭ法とＰＭ法との間の相関を計算することによって行われる。次に、６０４において、非線形最小二乗（ＮＬＳ）周波数推定のコスト関数が、その高調波を有する周期関数に基づいて計算される。

上式において、ｘはモデル出力であり、ａｌおよびｂｌは周波数成分の重みであり、ｌはその高調波次数であり、Ｌはモデルにおける次数であり、νは周波数であり、（ｎ）は付加雑音成分である。次いで、６０６において、Ｏ（Ｎ ｌｏｇ Ｎ）＋Ｏ（ＮＬ）の計算複雑性で、Ｎｉｅｌｓｅｎらで与えられたアルゴリズムを適応させることによって、対数尤度スペクトルが計算される（Ｊｅｓｐｅｒ Ｋｊａｅｒ Ｎｉｅｌｓｅｎ， Ｔｏｂｉａｓ Ｌｉｎｄｓｔｒｏｍ Ｊｅｎｓｅｎ， Ｊｅｓｐｅｒ Ｒｉｎｄｏｍ Ｊｅｎｓｅｎ， Ｍａｄｓ Ｇｒａｅｓｂｏｌｌ Ｃｈｒｉｓｔｅｎｓｅｎ， ａｎｄ Ｓｏｒｅｎ Ｈｏｌｄｔ Ｊｅｎｓｅｎ． Ｆａｓｔ ｆｕｎｄａｍｅｎｔａｌ ｆｒｅｑｕｅｎｃｙ ｅｓｔｉｍａｔｉｏｎ： Ｍａｋｉｎｇ ａ ｓｔａｔｉｓｔｉｃａｌｌｙ ｅｆｆｉｃｉｅｎｔ ｅｓｔｉｍａｔｏｒ ｃｏｍｐｕｔａｔｉｏｎａｌｌｙ ｅｆｆｉｃｉｅｎｔ． Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， １３５：１８８ － １９７， ２０１７）。

Ｎｉｅｌｓｅｎらでは、周波数は、すべての高調波次数のうち最大ピークの周波数として設定される。この方法自体は、一般的な方法であり、この場合、帯域周波数パラメータを変更することによって適合させることができる。このモデルの固有の特徴は、高次の場合、低次の場合よりもコスト関数スペクトルの局所的最大ピークが多くなる。この機能は、ロックイン手順に使用される。

６０８において、ロックイン機構は、入力として、目標脈拍数周波数νｔｒａｇｅｔを得る。次いで、６１０において、この方法は、次数ｌ＝Ｌのコスト関数スペクトルのすべての局所的最大ピーク振幅（Ａｐ）および周波数（νｐ）を見つける。局所的最大値について、以下の関数が推定される。

この関数は、信号強度と目標周波数からの距離との間のバランスをとる。６１０において、出力脈拍数は、上記関数ｆ（Ａｐ，νｐ，νｔｒａｇｅｔ）を最大化する局所的ピークνｐとして設定される。

図６Ｂおよび図６Ｃは、例示的な実行の例示的な再構築されたｒＰＰＧトレース（青線）を示す。赤丸はピークＲ時間を示す。図６Ｂは、時間ｔ＝０ｓでの実行開始から時間ｔ＝５０ｓまでのトレースを示す。図６Ｃは、トレースのズームを示し、ミリ秒単位のＲＲ間隔時間も示す。

次に、６１２～６１４において、平均脈拍周波数（νｐｒ）の周りの２つの動的フィルタ、ウィナーフィルタおよびＦＦＴガウスフィルタで、瞬間的なｒＰＰＧ信号がフィルタリングされる。６１２において、ウィナーフィルタが適用される。所望のターゲットはｓｉｎ（２πνｐｒｎ）であり、ｎは指数（時間を表す）である。６１４において、ＦＦＴガウスフィルタは、νｐｒの周りの信号をクリーンにすることを目的とし、したがって、σｇを幅とする、形式

のガウス形状が使用される。名前が示唆するように、フィルタリングは、信号をその周波数領域（ＦＦＴ）に変換し、それにｇ（ν）を乗算し、時間領域に変換して戻し、実部成分を取ることによって行われる。

上記手順の出力は、平均脈拍数νｐｒを有する長さＬａｌｇｏのフィルタリングされたｒＰＰＧトレース（ｐｍ）である。この出力は、観察されたビデオフレームごとに取得され、パルスの重なり合う時系列を構築する。これらの時系列は、ＨＲＶ処理に適した平均最終ｒＰＰＧトレースを生成するために平均化されなければならない。これは、Ｗａｎｇらによる論文からの以下の式（ｎは時間を表す）を使用して、フィルタリングされたｒＰＰＧ信号（ｐｍ）の重複および加算を使用して行われる（Ｗ． Ｗａｎｇ， Ａ． Ｃ． ｄｅｎ Ｂｒｉｎｋｅｒ， Ｓ． Ｓｔｕｉｊｋ， ａｎｄ Ｇ． ｄｅ Ｈａａｎ． Ａｌｇｏｒｉｔｈｍｉｃ ｐｒｉｎｃｉｐｌｅｓ ｏｆ ｒｅｍｏｔｅ ｐｐｇ． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｂｉｏｍｅｄｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ， ６４（７）：１４７９－１４９１， Ｊｕｌｙ ２０１７）。

ｔ（ｎ－Ｌａｌｇｏ＋ｌ）＝ｔ（ｎ－Ｌａｌｇｏ＋ｌ）＋ｗ（ｌ）ｐｍ（ｌ） （１３）

式中、ｌは０とＬａｌｇｏとの間の実行指標であり、ｗ（ｉ）は出力トレースの構成および待ち時間を設定する重み関数である。次いで、結果として得られるピーク（収縮期ピークを表す最大値）を取得することにより、いわゆるＲＲ間隔を時間的距離として構築することが可能である。一連のＲＲ間隔を使用することにより、時間領域と周波数領域の両方における統計的測定値としてＨＲＶパラメータを取り出すことが可能である。

図７および図８は、例えば呼吸数（ＲＲ）を計算するなど、上記の情報を提供するために使用することができる、様々なパラメータの統計的尺度を作成するための方法に関する。表は、ＨＲＶパラメータの標準セットに関連し、異なる時間期間に集約されたＲＲ間隔から直接計算される。これらのパラメータのほとんどは、時間におけるＨＲ変動の統計的提示を指す。

図７は、ＨＲＶまたは心拍変動時間領域分析を実行するための非限定的な例示的な方法を示す。方法７００に示されるように、７０２において、処理されたビデオ信号が取得される。次いで、７０３で、心拍数（ＨＲ）を決定するために、処理されたビデオ信号が計算される。

７０４で、ＳＤＲＲが計算される。７０６で、ＰＲＲ５０が計算される。７０８で、ＲＭＳＳＤが計算される。７１０で、三角形が計算される。７１２で、ＴＩＮＮが計算される。７１４で、ＨＲＶ心拍変動時間領域が計算される。

好ましくは、７１６で、ステップ７０２～７１２が繰り返される。７１８で、ＳＤＡＲＲが計算される。７２０で、ＳＤＲＲＩが計算される。任意選択で、７２２で、ステップ７１４～７２０が繰り返される。次いで、任意選択で、７２４で、ステップ７０２～７０４が繰り返される。最後に、任意選択で、７２６で、ステップ７０８～７１４が繰り返される。

ＨＲＶ時間領域尺度の頭字語の意味を以下に説明する。

以下のパラメータ、ＳＤＲＲ、ＲＭＳＳＤ、三角形（ＨＲＶ三角指標）、およびＴＩＮＮは、Ｆ．ＳｈａｆｆｅｒおよびＪ．Ｐ．Ｇｉｎｓｂｅｒｇで提供される情報に従って計算され得（Ａｎ Ｏｖｅｒｖｉｅｗ ｏｆ Ｈｅａｒｔ Ｒａｔｅ Ｖａｒｉａｂｉｌｉｔｙ Ｍｅｔｒｉｃｓ ａｎｄ Ｎｏｒｍｓ， Ｆｒｏｎｔ Ｐｕｂｌｉｃ Ｈｅａｌｔｈ．２０１７；５：２５８）、本明細書で完全に記載されるかのように、参照により本明細書に組み込まれる。

以下のパラメータ、ＨＲＶ時間領域は、Ｕｍｅｔａｎｉらで提供される情報に従って計算され得る（Ｔｗｅｎｔｙ－ｆｏｕｒ ｈｏｕｒ ｔｉｍｅ ｄｏｍａｉｎ ｈｅａｒｔ ｒａｔｅ ｖａｒｉａｂｉｌｉｔｙ ａｎｄ ｈｅａｒｔ ｒａｔｅ： ｒｅｌａｔｉｏｎｓ ｔｏ ａｇｅ ａｎｄ ｇｅｎｄｅｒ ｏｖｅｒ ｎｉｎｅ ｄｅｃａｄｅｓ， Ｊ Ａｍ Ｃｏｌｌ Ｃａｒｄｉｏｌ． １９９８ Ｍａｒ １；３１（３）：５９３－６０１）。

以下のパラメータ、ＳＤＲＲＩ（ＳＤＲＲ指標）、ＳＤＡＲＲおよびｐＲＲ５０は、Ｏ．Ｍｕｒｒａｙで提供される情報に従って計算され得る（Ｔｈｅ Ｃｏｒｒｅｌａｔｉｏｎ Ｂｅｔｗｅｅｎ Ｈｅａｒｔ Ｒａｔｅ Ｖａｒｉａｂｉｌｉｔｙ ａｎｄ Ｄｉｅｔ， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｔｈｅ Ｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｏｎ Ｕｎｄｅｒｇｒａｄｕａｔｅ Ｒｅｓｅａｒｃｈ （ＮＣＵＲ） ２０１６， Ｎｏｒｔｈ Ｃａｒｏｌｉｎａ）。

図８は、心拍変動性またはＨＲＶ周波数領域を計算するための非限定的な例示的な方法を示す。方法８００では、８０２で前述したように、処理されたビデオ信号が取得される。８０３で、心拍数が、前述したように計算される。８０４で、ＵＬＦが計算される。８０６で、ＶＬＦが計算される。８０８で、ＬＦピークが計算される。

８１０で、ＬＦ電力が計算される。８１２で、ＨＦピークが計算される。８１４で、ＨＦ電力が計算される。８１６で、ＬＦ対ＨＦの比が計算される。８１４で、ＨＲＶまたは心拍変動周波数が計算される。任意選択で、８２０で、ステップ８０２～８１８が、第１の間隔で繰り返される。次いで、任意選択で、８２２で、ステップ８０２～８０８が、第２の間隔で繰り返される。

ＨＲＶ周波数領域尺度の頭字語の意味を、以下でより詳細に説明する。

追加または代替として、ＨＲＶを計算するために、様々な非線形尺度が決定され得る。

以下のパラメータ、ＵＬＦ、ＶＬＦ、ＬＦピーク、ＬＦ電力、ＨＦピーク、ＨＦ電力、ＬＦ／ＨＦおよびＨＲＶ周波数は、Ｆ．ＳｈａｆｆｅｒおよびＪ．Ｐ．Ｇｉｎｓｂｅｒｇによって前述した論文に提供される情報に従って計算され得る。

明確にするために、別々の実施形態の文脈で説明される本発明の特定の特徴は、単一の実施形態において組み合わせて提供されてもよいことが理解される。逆に、簡潔にするために、単一の実施形態の文脈で説明される本発明の様々な特徴は、別々に、または任意の適切な部分組合せで提供されてもよい。

本発明をその特定の実施形態に関連して説明してきたが、多くの代替、修正、および変形が当業者には明らかであろうことは明らかである。したがって、本発明は、添付の特許請求の範囲の趣旨および広い範囲内に入るそのような代替、修正、および変形のすべてを包含するものとする。本明細書において言及されるすべての刊行物、特許および特許出願は、各個々の刊行物、特許または特許出願が、参照により本明細書に組み込まれるように具体的かつ個別に示されたかのように、その全体が本明細書に参照により組み込まれる。加えて、本出願における任意の参照の引用または特定は、そのような参照が本発明の従来技術として利用可能であることを認めるものと解釈されないものとする。

Claims (37)

1. 被験者から生理学的信号を取得するための方法であって、カメラを用いて前記被験者の顔から光学データを取得することと、前記カメラと通信する計算デバイスを用いて前記被験者の前記顔に関連するデータを選択するために前記光学データを分析することと、前記顔の皮膚から光学データを検出することと、経過した時間期間に達するまで前記光学データを収集することによって、前記光学データから時系列を決定し、次いで、前記経過した時間期間にわたって前記収集された光学データから前記時系列を計算することと、前記時系列から前記生理学的信号を計算することとを含む方法。
2. 前記光学データが、ビデオデータを含み、前記光学データを前記取得することが、前記被験者の前記顔のビデオデータを取得することを含む、請求項１に記載の方法。
3. 前記光学データを前記取得することが、前記カメラが携帯電話カメラを含むように、携帯電話カメラからビデオデータを取得することをさらに含む、請求項２に記載の方法。
4. 前記計算デバイスが、モバイル通信デバイスを含む、請求項３に記載の方法。
5. 前記携帯電話カメラが、前面カメラを含む、請求項４に記載の方法。
6. 前記計算デバイスが、前記携帯電話カメラから物理的に分離されているが、前記携帯電話カメラと通信している、請求項３に記載の方法。
7. 前記顔の前記皮膚から前記光学データを前記検出することが、複数の顔境界を決定することと、最も高い確率で前記顔境界を選択することと、前記顔からのビデオデータにヒストグラム分析を適用することとを含む、請求項１～６のいずれか一項に記載の方法。
8. 前記複数の顔境界を前記決定することが、前記顔境界を決定するために、マルチパラメータ畳み込みニューラルネット（ＣＮＮ）を前記ビデオデータに適用することを含む、請求項７に記載の方法。
9. 前記光学データを前記取得することが、前記被験者の指の皮膚のビデオデータを取得することをさらに含む、請求項１～８のいずれか一項に記載の方法。
10. 前記ビデオデータを前記取得することが、指先を前記カメラに置くことによって、前記被験者の前記指先の前記皮膚のビデオデータを取得することを含む、請求項９に記載の方法。
11. 前記指先のビデオデータを取得するための前記カメラが、携帯電話カメラを含む、請求項１０に記載の方法。
12. 前記携帯電話カメラが、背面カメラを含む、請求項１１に記載の方法。
13. 前記携帯電話カメラ上の前記指先が、光を提供するために前記携帯電話カメラに関連付けられたフラッシュを起動することをさらに含む、請求項１１または１２に記載の方法。
14. 前記顔の前記皮膚から前記光学データを前記検出することが、複数の顔または指先境界を決定することと、前記最も高い確率で前記顔または指先境界を選択することと、前記顔または指先からのビデオデータにヒストグラム分析を適用することとを含む、請求項１～１３のいずれかに記載の方法。
15. 前記複数の顔または指先境界を前記決定することが、前記顔または指先境界を決定するために、前記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用することを含む、請求項１４に記載の方法。
16. 前記生理学的測定値を決定するために、前記顔および指先の画像からの分析されたデータを組み合わせることをさらに含む、請求項６～１５のいずれか一項に記載の方法。
17. 前記生理学的信号を前記決定することが、メタデータを前記少なくとも１つの生理学的信号からの測定値と組み合わせることをさらに含み、前記メタデータが、前記被験者の体重、年齢、身長、生物学的性別、体脂肪パーセンテージ、および体筋パーセンテージのうちの１つ以上を含む、請求項１～１６のいずれか一項に記載の方法。
18. 前記生理学的信号が、ストレス、血圧、呼吸量、およびｐＳＯ２（酸素飽和度）からなる群から選択される、請求項１～１７のいずれか一項に記載の方法。
19. 被験者から生理学的信号を取得するためのシステムであって、前記被験者の顔から光学データを取得するためのカメラと、前記カメラから光学データを受信するためのユーザ計算デバイスとを備え、前記ユーザ計算デバイスが、プロセッサと、複数の命令を記憶するためのメモリとを含み、前記プロセッサが、前記被験者の前記顔に関連するデータを選択するために前記光学データを分析し、前記顔の皮膚から光学データを検出し、経過した時間期間に達するまで前記光学データを収集することによって、前記光学データから時系列を決定し、次いで、前記経過した時間期間にわたって前記収集された光学データから前記時系列を計算し、前記時系列から前記生理学的信号を計算するための前記命令を実行する、システム。
20. 前記メモリが、コードの定義されたネイティブ命令セットを記憶するように構成され、前記プロセッサが、前記メモリに記憶されたコードの前記定義されたネイティブ命令セットから選択された対応する基本命令を受信することに応答して、定義された基本動作セットを実行するように構成され、前記メモリが、前記被験者の前記顔に関連するデータを選択するために前記光学データを分析するための前記ネイティブ命令セットから選択された第１の組のマシンコードと、前記顔の皮膚から光学データを検出するために前記ネイティブ命令セットから選択された第２の組のマシンコードと、経過した時間期間に達するまで前記光学データを収集することによって、前記光学データから時系列を決定し、次いで、前記経過した時間期間にわたって前記収集された光学データから前記時系列を計算するための前記ネイティブ命令セットから選択された第３の組のマシンコードと、前記時系列から前記生理学的信号を計算するための前記ネイティブ命令セットから選択された第４の組のマシンコードとを記憶する、請求項１９に記載のシステム。
21. 前記顔の前記皮膚から前記光学データを前記検出することが、複数の顔境界を決定することと、前記最も高い確率で前記顔境界を選択することと、前記顔からのビデオデータにヒストグラム分析を適用することとを含み、その結果前記メモリが、複数の顔境界を決定することを含む前記顔の前記皮膚から前記光学データを検出するための前記ネイティブ命令セットから選択された第５の組のマシンコードと、前記最も高い確率で前記顔境界を選択するための前記ネイティブ命令セットから選択された第６の組のマシンコードと、前記顔からのビデオデータにヒストグラム分析を適用するための前記ネイティブ命令セットから選択された第７の組のマシンコードとをさらに含む、請求項２０に記載のシステム。
22. 前記複数の顔境界を前記決定することが、前記顔境界を決定するために前記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用することを含み、その結果前記メモリが、前記顔境界を決定するために前記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用するための前記ネイティブ命令セットから選択された第８の組のマシンコードをさらに含む、請求項２１に記載のシステム。
23. 前記カメラが、携帯電話カメラを含み、前記光学データが、前記携帯電話カメラからビデオデータとして取得される、請求項１９～２２のいずれか一項に記載のシステム。
24. 前記計算デバイスが、モバイル通信デバイスを含む、請求項２３に記載のシステム。
25. 前記携帯電話カメラが、背面カメラを含み、前記ビデオデータを取得するために、前記被験者の指先が前記カメラ上に配置される、請求項２４に記載のシステム。
26. 前記光学データを取得するための光を提供するために、前記携帯電話カメラに関連付けられたフラッシュをさらに備える、請求項２４または２５に記載のシステム。
27. 前記メモリが、複数の顔または指先境界を決定するための前記ネイティブ命令セットから選択された第９の組のマシンコードと、前記最も高い確率で前記顔または指先境界を選択するための前記ネイティブ命令セットから選択された第１０の組のマシンコードと、前記顔または指先からのビデオデータにヒストグラム分析を適用するための前記ネイティブ命令セットから選択された第１１の組のマシンコードとをさらに含む、請求項２５または２６に記載のシステム。
28. 前記メモリが、前記顔または指先境界を決定するために、前記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用するための前記ネイティブ命令セットから選択された第１２の組の機械コードをさらに含む、請求項２７に記載のシステム。
29. 前記プロセッサによって実行された前記命令に従って前記生理学的測定値を決定するために、前記顔および指先の画像からの分析されたデータを組み合わせることをさらに含む、請求項２５～２８のいずれか一項に記載のシステム。
30. 前記生理学的測定値および／または信号を表示するためのディスプレイをさらに備える、請求項１９～２９のいずれか一項に記載のシステム。
31. 前記ユーザ計算デバイスが、前記ディスプレイをさらに含む、請求項３０に記載のシステム。
32. 前記ユーザ計算デバイスが、前記生理学的測定値および／または信号を送信するための送信機をさらに含む、請求項１９～３１のいずれか一項に記載のシステム。
33. 前記生理学的信号を前記決定することが、メタデータを前記少なくとも１つの生理学的信号からの測定値と組み合わせることをさらに含み、前記メタデータが、前記被験者の体重、年齢、身長、生物学的性別、体脂肪パーセンテージ、および体筋パーセンテージのうちの１つ以上を含む、請求項１９～３２のいずれか一項に記載のシステム。
34. 前記生理学的信号が、ストレス、血圧、呼吸量、およびｐＳＯ２（酸素飽和度）からなる群から選択される、請求項１９～３３のいずれか一項に記載のシステム。
35. 被験者から生理学的信号を取得するためのシステムであって、前記被験者の指から光学データを取得するための背面カメラと、前記カメラから光学データを受信するためのユーザ計算デバイスとを備え、前記ユーザ計算デバイスが、プロセッサと、複数の命令を記憶するためのメモリとを含み、前記プロセッサが、前記被験者の前記顔に関連するデータを選択するために前記光学データを分析し、前記指の皮膚から光学データを検出し、経過した時間期間に達するまで前記光学データを収集することによって、前記光学データから時系列を決定し、次いで、前記経過した時間期間にわたって前記収集された光学データから前記時系列を計算し、前記時系列から前記生理学的信号を計算するための前記命令を実行する、システム。
36. 上記の請求項のいずれか一項に記載の前記システムをさらに備える含む、請求項３５に記載のシステム。
37. 被験者から生理学的信号を取得するための方法であって、前記被験者から前記生理学的信号を取得するために、上記請求項のいずれか一項に記載の前記システムを操作することを含む、方法。

Images