JP6321014B2 - 動きロバストバイタル信号モニタリング - Google Patents

Description

本発明は、遠隔検出される、対象によって放射又は反射された電磁放射から生理学的情報を抽出するためのデバイス及び方法に関し、ここで、生理学的情報を含み、妨害動きを示す信号サンプルのシーケンスを含むデータストリーム内に生理学的情報は埋め込まれている。

ＵＳ２０１０／００６１５９６Ａ１は、生理学的動きの一部との類似性を決定する方法を開示し、当該方法は、
対象の第１の画像を取得するステップと、
対象の第２の画像を取得するステップと、
第１の画像と第２の画像との間の類似度を決定するステップと、
決定された第１の画像と第２の画像との間の類似度を生理学的動きの一部と関連付けるステップとを含む。

当該文献は、さらに、当該方法のいくつかの改良も開示する。特に、当該文献は患者の呼吸活動のモニタリング等、患者モニタリングを対象とする。バイタル信号モニタリングは、例えば患者モニタリング並びにスポーツ及びフィットネス活動のモニタリング等、複数の応用分野において著しく成長している。さらなる有益な応用例が想像され得る。モニタリングパフォーマンスの分野では大きな進歩が遂げられてきたが、所望のバイタル信号の即座のいわゆるオンライン検出を可能にする即時の信号認識及び信号処理を提供することは依然として課題である。これは、一般的に十分な計算能力に欠け、通常は困難なモニタリング条件及び制約にさらされるハンドヘルドモバイルデバイスに特に当てはまる。

所望の信号を検出するために考慮しなければならない妨害及び制限から、さらなる課題が生じる可能性がある。当該技術分野において知られるように、干渉（又は触覚）測定を適用することにより、検出の質が向上され得る。呼吸活動モニタリングについては、干渉測定デバイスは、通常は対象の体に取り付けなければならないベルト又はセンサを含み得る。さらに、遠隔検出法に言及すると、従来のデバイス及び方法は、監視対象に当てなければならないマーカー又は類似のアイテムを必要とし得る。これらのマーカーは十分な「検出可能性」を提供するので遠隔モニタリングされ、検出デバイスのための顕著なターゲットとして考えることができる。しかし、遠隔で又は触覚測定デバイスを用いてのいずれで適用されようと、干渉測定は依然として多くの監視対象によって不快であると考えられている。

遠隔非干渉測定は、通常、対象に一切の要素又は「ハードウェア」を当てることなく対象を記録又は監視することを可能にする。結果として、ハードウェアマーカーを利用することができないので、遠隔非干渉検出は妨害を受けやすい。最近では、バイタル信号の遠隔モニタリング用のモバイルハンドヘルドデバイスさえも考えられている。モバイルハンドヘルドデバイスは通常は固定支持を用いずに手で操作されるため、妨害を一層受けやすい。したがって、監視対象に対する非示唆的（non-indicative）デバイス動きに起因し得る大きな妨害を予期しなければならない。

したがって、捕捉される反射又は放射された電磁放射等の記録されたデータ（例えば、記録された画像フレーム）は、通常、全体的妨害に由来する大きな信号成分を含むことを考慮に入れなければならない。妨害関連信号成分は、対象をモニタリングするときに基本的に取り扱われる所望のバイタル信号を覆い及びこれに影響を及ぼす。全体的妨害は、例えば輝度条件の変化及び妨害動き成分に起因し得る。妨害動きは、対象自身の非示唆的動き又は検出若しくは感知デバイスの望ましくない動きから生じ得る。特に、モバイルハンドヘルドモニタリングデバイスの場合、全体的動き（又はグローバル動き）は大きな問題であると考えられる。さらに、特に遠隔非干渉測定デバイスを用いて呼吸検出を行う場合、対象が例えば衣服又は場合によっては毛布により（少なくとも部分的に）覆われているとき、対象動き関連信号はいわば減衰する。これは、特に寝ている又は横になっている対象を取り扱う場合に当てはまる。このような条件下において、検出正確度又は精度を高めるために毛布を取ることさえ、不快な干渉措置として考えられるであろう。何といっても、妨害信号成分の振幅及び／又はノミナル値は、抽出されるべき所望の信号成分の振幅及び／又はノミナル値よりはるかに大きいことが予想されるため、バイタル信号検出は一層困難になる。各成分間（例えば、グローバル動きｖｓ呼吸動き）の差の大きさは、潜在的には数桁に及ぶことさえ予想され得る。

この課題に対する考えられるアプローチは、所望のバイタル信号成分が埋め込まれている関心信号を捕捉する際に、周到に準備されかつ安定した周囲条件を提供することを意図し得る。このようにすることで、発生し得る妨害信号成分の最小化を達成することができる。しかし、大きな労力及び準備作業が要求されるため、このような「ラボ」条件を日常的な現場用途及び環境に移すことはできない。

要求される準備作業は、例えば複数の規定された光源の設置及び方向づけ、並びに妨害動きを防ぐための監視対象及びモニタリングデバイスの固定措置を含み得る。これらの措置は、外来若しくは臨床患者モニタリング、睡眠モニタリング、又は場合によってはスポーツ及びフィットネスモニタリングなどのライフスタイル環境等の日常的環境に適用可能であるとは考えづらい。

本発明の一課題は、より少ない労力で所望のバイタル信号又はバイタルシグナルを取得することを助けるさらなる改良を提供する、遠隔検出された電磁放射から生理学的情報を抽出するためのデバイス及び方法を提供することである。さらに、妨害、特にグローバル動きアーティファクトに起因する妨害をより受けにくいよう適合されたデバイス及び方法を提供することは有益であろう。また、改良された検出正確度又は精度及び信頼性を可能にする信号検出アプローチを提供することは有益であろう。

本発明の第１の側面では、遠隔検出される、対象によって放射又は反射された電磁放射から生理学的情報を抽出するためのデバイスであって、
対象によって放射又は反射された電磁放射から導出され得るデータストリームを受け取るためのインターフェイスであって、データストリームは、生理学的情報を含みかつ妨害動きを示す信号サンプルのシーケンスを含み、信号サンプルは、少なくとも１つの生理学的パラメータに帰属し得る少なくとも部分的に周期的な示唆的パターンを呈する少なくとも１つの関心領域と、非示唆的動き領域とを表す、インターフェイスと、
信号サンプルのシーケンスを処理するための処理ユニットであって、
望ましくない全体的動きについて少なくとも部分的に補償された派生動き補償されたサンプルのシーケンスを導出するための安定化手段と、
動き補償正確度を表す評価パラメータを検出するための動き補償評価手段と、
動き補償されたサンプルのシーケンスから少なくとも部分的に周期的な示唆的パターンを少なくとも部分的に示す少なくとも１つの特性信号を選択的に導出するための抽出手段であって、特性信号の導出は、検出された評価パラメータに基づいて実行される、抽出手段とを含む、処理ユニットと
を含む、デバイスが提供される。

本発明は、動き補償措置を検出された信号サンプルに適用することができたとしても、得られる「動き補償された」サンプルは、依然として非示唆的動き妨害残余によって強く影響されている可能性があるという洞察に基づく。このような場合、基本的には所望の関心バイタル信号を要求される正確度レベルで検出することができないので、かかる「動き補償された」サンプルは、好適には下流の抽出及び解析措置から除外されるべきである。

このようにして、強く動き破損した「動き補償」サンプルが、後続の処理措置によって得られる対応する破損したバイタル信号に反映され得ないことを達成することができる。バイタル信号は、信号サンプル内に含まれる生理学的情報に基づく。

対照的に、他のアプローチは、通常、最終的に処理及び導出された関心バイタル信号のレベルにおいて信号処理正確度、よって動き補償正確度を評価することを意図する。このようにすると、強く歪まされたサンプルが、「良い」サンプルに割り当てられた所定の値域内に偶然に含まれることを仮定すると、これらのサンプルも正確度評価をパスして「良い」サンプルとしてグレーディングされる可能性があるため、これは不利であると考えられ得る。

これに対して、本発明は、実際のバイタル信号抽出及び解析措置の上流で（又は、その前に）動き補償品質評価サブルーチンを提供する。言い換えれば、正確度評価サブルーチンが動き補償と信号抽出措置との間に挿入され得る。このようにすることで、さらなる処理の前に、動き補償されたサンプルに安定性評価を適用することができる。

モバイル又はハンドヘルド検出デバイスに基づいて遠隔信号検出に取り組む場合、検出されたデータにはしばしば、関心信号を示さない大きな動き関連妨害が存在する。言い換えれば、大きな歪みの存在を「受け入れ」、これに対処しなければならない。また、多くの適用環境及び分野において、実際のモニタリング条件に応じて、検出される信号サンプルのうちの少なくとも一部が、基本的には所望のバイタル信号をそれらから導出できない程に歪まされることを「受け入れ」なければならない。このような場合、動き補償の結果が不十分であると評価されるとき、かかる強く破損したサンプルがさらなる処理から除外されることは有益であると考えられる。したがって、上記したように、本発明のデバイスは、干渉マーカー又は同様のアイテムを用いずに動作するよう意図された遠隔信号検出アプリケーションに特に適している。これに関連して、モバイルアプリケーション、ハンドヘルドデバイス、又はモバイル環境一般に取り組むことができる。

遠隔バイタル信号検出の分野では、しばしば、動き補償が取り扱われる。例えば、適切な画像処理アルゴリズムにより、２つ以上の連続するサンプル（又は画像フレーム）間の移行シフトを推定することができる。当然ながら、適切な措置により回転又は傾き動作も取り扱うことができる。シフト情報又は動き情報は、シーケンスを「安定化」させるべく、望ましくない動きについて信号を補償するために使用することができる。しかし、これに関連して、信号サンプルのシーケンスは、例えば主として取り扱われる関心微動パターンを相当に含み得ることに留意されたい。したがって、良く知られている画像処理アルゴリズムを直接転用することによる画像サンプルシーケンスの全体的「平滑化」は、むしろ信号を平らにし、よって信号サンプルから所望の信号成分を除去し得る。

したがって、動き検出措置から高度に示唆的な領域、すなわち関心領域を除外することが有益であると考えられる。このようにすることで、動き補償されたサンプルのシーケンス内に関心微動パターンが依然として存在する（又は保存される）ことを達成することができる。また、これに関連して、通常、関心バイタル信号を示すと考えられる特性信号は、基本的には非示唆的動き検出のために取り扱われる非示唆的動き領域からではなく、基本的には関心領域から導出されることにも留意されたい。

本発明のデバイスは、限定はされないが、対象の呼吸速度、呼吸速度変動、心拍数、又は酸素飽和度等の関連する派生パラメータの検出に特に適している。このようなバイタル信号の発生及び期待される特性は、ある程度は容易に予想又は仮定され得る（例えば、想定される呼吸速度の範囲）。さらに、例えば、対象の現在の呼吸速度の抽出を狙いとするとき、吸息及び呼息のサイクルは、対象の体の胸部及び／又は腹部の特徴的な反復する上下動によって表されると仮定され得る。呼吸は対象の顔部（例えば、鼻翼又は口部）の特徴的な動きによっても表され得ることは言うまでもない。基本的には、示唆的対象動きは、根底にある所望のバイタル信号を表すので、生理学的情報として考えることができる。概して、示唆的動きパターンとの用語は、信号サンプルのシーケンスにおいて捜し求められる示唆的対象動き関連特徴（例えば、周波数及び／又は振幅）を指し得る。本明細書で使用される場合、シーケンスとの用語は、連続的な又は離散的な一連の信号サンプルを指し得る。

データストリームはフレームのシーケンス、又はより正確には、一連の画像フレームを含み得る。例えば、色情報を含むＲＧＢ画像が使用され得る。しかし、赤外線（ＩＲ）及び赤色（Ｒ）情報を表すフレームがフレームのシーケンスを形成してもよい。画像フレームは監視される対象の少なくとも一部及び他の要素を表し得る。通常、フレームは二次元画素アレイを含み得る。しかし、一部の実施形態では、フレームは線状アレイ、すなわち、例えば単一の画素ラインを含み得る。

安定化手段、動き補償評価手段、及び抽出手段には複数の実施形態が存在する。第１の相当に単純な実施形態では、安定化手段、動き補償評価手段、及び抽出手段は、対応するロジックコマンド（又はプログラムコード）によって駆動（又は制御）される処理ユニットによって共に具現化される。このような処理ユニットは、適切な入出力インターフェイス、さらに追加の処理手段も含み得る。しかし、他の実施形態では、安定化手段、動き補償評価手段、抽出手段、及び（存在する場合は）さらなる処理手段のそれぞれ又は少なくとも一部が、対応するロジックコマンドによって制御される又は制御可能な別々の処理手段によって具現化され得る。したがって、各手段はそれぞれの特定用途に適合され得る。結果として、タスクの分散を適用することができ、例えば異なるタスクがマルチプロセッサ処理ユニットの異なる単一のプロセッサ上で処理（又は実行）されるか、又は、画像処理関連タスクが画像プロセッサ上で実行される一方、他の演算タスクは中央処理ユニットで実行される。他の実施形態では、安定化手段は、さらに、生理学的情報を抽出するためのデバイス内に含まれる、センサ手段への光学経路を変更することによって画像サンプルを安定化させる光学安定化を含む。安定化手段は、例えばレンズの光軸に対して垂直に動かされるフローティングレンズ素子を用いて、レンズにおいて実装され、又はセンサ手段をデバイスの動きを相殺するよう動かすことによって実装され得る。他の実施形態では、デバイスは、デバイスの動きを検出し、検出された動きを記録された画像サンプルを安定化させるために使用するよう動きセンサ（例えば、加速度計又はジャイロスコープ）を含む。動き補償評価は、例えば動き補償された画像サンプル間の類似度を検出することにより、動き補償の品質を評価し得る。様々な例示的実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はハードウェア素子及びソフトウェア素子の両方を含む実施形態の形態を取り得る。一部の実施形態又は側面は、ソフトウェア又はプログラムコードにおいて実装され得る。プログラムコードは、例えばアプリケーションソフトウェアプログラムコード又はファームウェアプログラムコードの形態を取り得る。

好適な一実施形態によれば、処理ユニットは、少なくとも１つのバイタル信号を表す、特性信号における時間変動を決定するよう構成された解析手段をさらに含む。

基本的には、特性信号は少なくとも一つの生理学的パラメータ、及び少なくとも中間的な態様で、所望の関心バイタル信号を示す又は表すと考えることができる。これは対象の呼吸速度、呼吸速度変動、脈拍、血圧、心拍、心拍変動、酸素飽和度（ＳｐＯ２）、灌流指標、又は動脈の脈動から導出されるＰＰＧ（フォトプレチスモグラフィ）波信号等の派生物に該当し、これらはいずれもバイタル信号の例である。好ましくは、所望のバイタル信号は少なくとも一つの特性信号において明確に検出可能である。所望の信号を抽出するために信号処理方法が使用され得る。

上記したように、上流動き補償評価プロセスが実施され、検出された評価パラメータを考慮して特性信号が導出されるので、基本的には「良い」信号サンプルが処理され、よって相当に「クリーン」な特性信号を解析手段に送ることができる。様々な妨害のために、特性信号は依然としていくらか歪んでいる可能性があることに留意されたい。しかし、特性信号が決定され得るベースとなる信号から強く歪みの影響を受けた動き補償されたサンプルが除外されるので、検出された評価パラメータを考慮して導出した特性信号は、著しく向上されたＳＮ比を有し得ることを強調する。上記したように、バイタル信号抽出及び解析は、それぞれ、信号サンプル及び動き補償されたサンプルにおける関心領域を主に対象とする。

他の実施形態によれば、評価パラメータは、所与の動き補償されたサンプル又は所与の動き補償されたサンプルのセットに関する動き補償正確度を示す状態のセットのうちのある状態を表すフラグパラメータである。これに関連して、動き補償評価は単一のサンプルレベル又は複数のサンプルのセットを対象とし得ることに留意されたい。後者の場合、評価パラメータが、複数の動き補償されたサンプルにわたる移動平均評価パラメータであることが考えられ得る。

一部の実施形態では、フラグのような評価パラメータに対して２つの状態が割り当てられ得る。状態は、「良い」動き補償されたサンプルと、「悪い」動き補償されたサンプルとを表し得る。通常、良いサンプルはさらなる処理措置中に使用され得る。対照的に、悪いサンプルはさらなる処理措置から除外され得る。理解のため、状態が色コード化されると考えることができる。緑色のフラグは良い動き補償されたサンプルを表し得る。赤色のフラグは悪い動き補償されたサンプルを表し得る。動き補償されたサンプル（又は動き補償されたサンプルのセット）をグレーディング又は評価するために、閾値を定めてもよい。閾値は、動き補償評価手段によって使用される動き補償正確度関連パラメータを表し得る。

他の実施形態によれば、フラグのような評価パラメータは、３つ以上の動き補償正確度指標状態を表し得る。例えば、３つの異なる状態が状態のセットを形成し得る。一例として、「良い」（又は緑色の）フラグが明らかに良い動き補償されたサンプルに対して割り当てられ得る。さらに、「悪い」（又は赤色の）フラグが悪い動き補償されたサンプルに割り当てられ得る。状態のセットを拡張するために、「平均」（又は黄色の）フラグが、中間動き補償品質を提供すると評価された動き補償されたサンプル（又はセット）に割り当てられ得る。当然ながら、さらなる中間状態も考えられ得る。３つの状態のセットを提供することにより、悪い動き補償されたサンプルが発生するリスクが存在する境界領域を示すことができる。これに関連して、一実施形態では、黄色のフラグが付された（平均）サンプルは、依然としてさらなる信号処理措置に適用可能であると考えられることに留意されたい。良い状態及び悪い状態より多くを提供する状態のセットは、破損したサンプルと高品質サンプルとの間の遷移領域に注意を引くことを可能にする。このようにすることで、例えば、悪い状態から離れるために、モニタリングデバイスを安定に保つようユーザーがアドバイスされ得る。

さらなる状態が状態のセットを形成する場合、ユーザーフィードバックはさらに詳細になり得る。例えば、４つの状態が使用される場合、第１の状態は明らかに破損したサンプルに割り当てられ得る。第２の状態は、やはり適用不可であると考えられるが、閾値に近い動き補償正確度を提供するサンプルに割り当てられ得る。第３の状態は、適用可能であると考えられるが、同様に動き補償正確度に関する閾値に近いサンプルに割り当てられ得る。第４の状態は、非常に高いＳＮ比を有する高いグレードのサンプルであるサンプルに割り当てられ得る。

他の実施形態によれば、抽出手段は、実際の評価パラメータに基づき、少なくとも１つの特性信号を導出するための各動き補償されたサンプルの処理を選択的に実行する又は省く。このようにして、破損したサンプル又はサンプルのセットがバイタル信号検出から除外され得る。また、評価パラメータは離散値又はフラグを表す離散パラメータであり得ることにも留意されたい。しかし、他の例では、評価パラメータは１０進数を表し得る１０進パラメータ、したがってさらなる中間値として定められてもよく、これは動き補償正確度を正確な数字によって表すことを可能にする。

他の実施形態によれば、安定化手段は、信号サンプル内の非示唆的動き領域の少なくとも一部を考慮して、派生動き補償されたサンプルのシーケンスを導出する。

上記したように、動き補償のための入力パラメータを提供し得る動き推定又は動き決定は、関心領域に基づかないことが好ましい。特にハンドヘルド又はモバイルデバイスに関して、対象に対するセンサ動き（又はカメラ動き）にこのようにして取り組むことができる。したがって、動き補償のために使用される非示唆的動き領域の少なくとも一部が、動き推定のための適切なベースとなり得る相当に静的な要素又は物体を表すことが好ましい。

本実施形態の他の側面によれば、安定化手段は、さらに、シーケンスの信号サンプル内の非示唆的動き領域の少なくとも一部内の局所的特徴を検出及びトラックする。このために、一実施形態では、オプティカルフロー考慮を用いることができる。これに関連して、安定化手段はＬｕｃａｓ−Ｋａｎａｄｅトラッキング法を利用し得る。代わりに又は加えて、特徴ベース画像レジストレーションアプローチが使用され得る。さらに、加えて又は代替的に、エッジ検出、コーナー検出、及びブロブ検出等の特徴検出法を使用してもよい。さらに、代替的な又は追加的な側面によれば、特徴トラッキング、よって動き推定のために、特徴記述モデルが使用されてもよい。特徴記述モデルは、ＳＩＦＴ（scale-invariant feature transformation）、ＳＵＲＦ（speed-up robust feature detection）、ＧＬＯＨ（gradient location and orientation histogram image description）、ＨＯＧ（histogram of oriented gradients feature description）、及びＬＥＳＨ（local energy based shape histogram image description）等を含み得る。上記したように、上記アプローチは好ましくは非示唆的動き領域の少なくとも一部に適用されることに留意されたい。このようにすることで、関心領域における望ましくない過剰な動き補償、よって、所望の示唆的動きパターンに悪影響を及ぼすことを回避できるからである。これに関連して、実際に、動き補償措置が関心領域に適用され得ることに留意されたい。しかし、動き検出が関心領域外で実行されることに基づき、示唆的動き補償ではなくグローバル動き補償が関心領域に適用される。典型的には、潜在的な関心動きパターンはこのようにして保存され得る。

デバイスの他の側面によれば、動き補償評価手段は、動き補償されたサンプル内の非示唆的動き領域の少なくとも一部を考慮して、動き補償されたサンプル間の類似性を検出する。

また、これに関連して、一実施形態では、動き補償評価が関心領域において実行されないことが好ましい。一例として、動き補償評価は、実際の動き補償されたサンプルが比較される基準としてふるまい得る基準サンプルに基づき得る。基準サンプルは固定基準サンプル、例えばサンプルシーケンス中の最初のサンプルであり得る。他の例では、基準サンプルは移動基準サンプルであり、動き補償評価措置のために一連の動き補償されたサンプルが処理されるとき、基準サンプルと実際の動き補償されたサンプルとの間の所定の（時間的）距離又は関係が維持され得る。基準サンプル及び実際の動き補償されたサンプルは連続するサンプルでもよく、又は、動き補償されたサンプルのシーケンスにおいて間隔が空けられたサンプルでもよく、すなわち、間にサンプルが存在してもよい。

上記したように、評価パラメータは単一の動き補償されたサンプル（及び基準サンプル）の処理に基づき得る。他の例では、評価パラメータは動き補償されたサンプルのセットの対応する（１つ以上の）基準サンプルに対する動き補償正確度を表し得る。このようにして、評価パラメータは動き補償正確度の移動平均値を表し得る。

本明細書で使用される場合、非示唆的動き領域との用語は、基本的には、（入力）信号サンプル及び動き補償されたサンプルの両方の関心領域によって占められていない部分を指し得る。したがって、関心領域及び非示唆的動き領域との用語は、当初の動き影響を受ける信号サンプル及び動き補償されたサンプルの両方に関して使用され得る。「非示唆的動き領域の少なくとも一部」との用語は、対応するサブセットを指し得る。

上記実施形態の他の側面によれば、動き補償評価手段は、さらに、各動き補償されたサンプル内の非示唆的動き領域の少なくとも一部に、基準サンプルに関する絶対差処理アルゴリズムを適用する。一例として、実際の動き補償されたサンプルと対応する基準サンプルとの間の類似度を検出するために、ＳＡＤ（sum of absolute differences）法が選択され得る。残った各処理されたサンプル間の差が評価パラメータに反映され得る。

他の側面によれば、動き補償評価手段は、各動き補償されたサンプル及び基準サンプルにおける非示唆的動き領域の少なくとも一部における特徴一致を検出する。上記したように、基本的には、特徴検出は関心領域ではなく非示唆的動き領域を対象とすることに留意されたい。一例として、複数の検出される特徴一致が動き補償正確度の度合いを示し、よって検出される評価パラメータに反映され得る。上記したように、基準サンプルは固定基準サンプルによって、又は現在処理されている動き補償されたサンプルに対して所定の関係（距離又はギャップ）を保つ移動基準サンプルによって形成され得る。

他の好ましい実施形態によれば、動き補償評価手段は、さらに、複数の動き補償評価指標を考慮して評価パラメータを検出する。一例として、動き補償は、各基準サンプルを考慮して動き補償されたサンプルに適用される絶対差処理及び特徴一致検出の両方を使用し得る。このようにすることで、少なくとも２つの動き補償正確度関連指標を得ることができる。したがって、少なくとも１つの特性信号を導出するための動き補償されたサンプル（又はサンプルのセット）のさらなる処理を選択的に実行又は省くために、特定の条件を満たさなければならないことを定めることができる。これに関連して、２つの対応する閾値を定め、動き補償されたサンプルを良いものと悪いものとに区別する閾値を両方の指標が上回る（又は下回る）場合にのみ動き補償されたサンプルのさらなる処理が実行されてもよい。しかし、他の例では、少なくとも１つの指標が閾値を上回る（又は下回る）場合に動き補償されたサンプルのさらなる処理が実行されるようデバイスが構成されてもよい。

他の側面によれば、デバイスは、実際の評価パラメータに基づいて、認識可能な出力信号を生成するための信号生成ユニットをさらに含み、出力信号は、好ましくは、動き補償正確度を示す状態のセットのうちのある状態を示す。このようにすることで、デバイスは動き補償正確度、よって信号検出正確度をさらに改良することを意図するユーザーフィードバック及びアドバイスをさらに提供することができる。本明細書で使用される場合、認識可能な出力信号との用語は、デバイスのユーザーにとって明確に認識可能な出力信号に関連し得る。出力信号は、例えば音響信号、スピーチ、可視信号、表示灯、表示情報、触覚信号、及びこれらの適切な組み合わせを含み得る。１つ以上の出力信号は、実際の評価パラメータを表し得る。したがって、例えば、信号生成ユニットは赤色光（悪いサンプルを表す）、緑色光（良いサンプルを表す）、及び存在する場合は黄色光（平均サンプルを表す）を表示又は透過するよう構成され得る。赤色表示灯を認識した場合、現在、動き関連妨害のためにバイタル信号処理を実行することができないので、ユーザーはモニタリングデバイスを安定に保つようアドバイスされ得る。緑色表示灯を認識した場合、ユーザーはデバイスが良好に機能しており、信号検出正確度が明らかに閾値レベルを上回ることを通知され得る。黄色表示灯を認識した場合、ユーザーは、現在、信号処理が実行可能であるが、信号処理正確度（又は、より正確には動き補償正確度）が閾値レベルに近いことを通知され得る。このようにすることで、ユーザーは不都合な動き影響を低減するよう促され得る。

他の実施形態によれば、デバイスは、可視光、赤外光、及び紫外線からなる群から選択される少なくとも１つの特定の波長範囲内の電磁放射を捕捉するためのセンサ手段、特にハンドヘルドセンサ手段をさらに含み、センサ手段はインターフェイスに接続され得る。一例として、センサ手段はカメラによって具現化され得る。例えば、センサ手段はＰＤＡ（personal digital assistant）、携帯電話、モバイルコンピュータ、タブレットコンピュータ等、内蔵カメラ又は取り付けカメラを備えるモバイルデバイスによって具現化され得る。しかし、他の例では、センサ手段はレーザースキャナデバイスによって具現化されてもよい。さらに、センサ手段はモバイル医療用モニタリングデバイスの一部であり得る。

他の側面によれば、デバイスは、放射を放射するよう構成された少なくとも１つの光源をさらに含む。他の例では、デバイスは、外部又は場合によっては周囲の放射源又は線源さえ使用し得る。他の側面によれば、解析手段は、少なくとも１つの特性信号に積分変換、例えばフーリエ変換を適用し、これによりバイタル信号を表す所望の示唆的対象動きパターンに帰属し得る周波数情報を取得するようさらに構成される。

本発明の他の側面では、遠隔検出される、対象によって放射又は反射された電磁放射から生理学的情報を抽出するための方法であって、前記方法は、
対象によって放射又は反射された電磁放射から導出され得るデータストリームを受け取るステップであって、データストリームは、生理学的情報を含みかつ妨害動きを示す信号サンプルのシーケンスを含み、信号サンプルは、少なくとも１つの生理学的パラメータに帰属し得る少なくとも部分的に周期的な示唆的パターンを呈する少なくとも１つの関心領域と、非示唆的動き領域とを表す、受け取るステップと、
信号サンプルのシーケンスを処理するステップであって、
望ましくない全体的動きについて少なくとも部分的に補償された派生動き補償されたサンプルのシーケンスを導出するステップと、
動き補償正確度を表す評価パラメータを検出するステップと、
動き補償されたサンプルのシーケンスから少なくとも部分的に周期的な示唆的パターンを少なくとも部分的に示す少なくとも１つの特性信号を導出するステップであって、特性信号の導出は、検出された評価パラメータに基づいて実行される、導出するステップとを含む、処理するステップと
を含む、方法が提供される。

好適には、方法は、本発明の生理学的情報を抽出するためのデバイスを使用して実行され得る。

一実施形態によれば、方法は、
実際の評価パラメータに基づき、少なくとも１つの特性信号を導出するための動き補償されたサンプルの処理を選択的に実行し又は省くステップと、
少なくとも１つのバイタル信号を表す、特性信号における時間変動を決定するステップとをさらに含む。

本発明の他の側面では、コンピュータ上で実行されたとき、処理方法のステップをコンピュータに実行させるためのプログラムコード手段を含むコンピュータプログラムが提供される。コンピュータプログラムは、コンピュータ上で実行されたとき、請求項１３又は１４に記載の方法のステップをコンピュータに実行させるためのプログラムコード手段を含む。

本明細書で使用される場合、コンピュータとの用語は多様な処理デバイスを表す。言い換えれば、標準的なデスクトップコンピュータよりも少ない処理能力資源を提供するが、相当な計算能力を有するモバイルデバイスもコンピューティングデバイスと呼ばれ得る。さらに、「コンピュータ」との用語は、クラウド環境に提供された計算能力を含む又は使用し得る分散コンピューティングシステムも指し得る。

本発明の好適な実施形態が従属請求項に記載される。特許請求の方法及びコンピュータプログラムは、特許請求のデバイス及び従属デバイスクレームに記載される好適な実施形態と同様な実施形態を有し得ることを理解されたい。

本発明の上記及び他の側面は、下記の実施形態を参照して説明され、明らかになるであろう。

図１は、例示的なバイタル信号を示す対称の動きの概略図を示す。 図２は、本発明が使用され得るデバイスの全体配置図の概略図を示す。 図３は、モニタリングされる対象を含む構成の概略図を示す。 図４は、本発明が使用され得るモバイルデバイスの例示的な簡略図を示す。 図５は、全体的動きを受ける例示的な信号サンプルのシーケンスを示す。 図６は、本発明に係る方法の一実施形態の複数のステップを表す簡略化されたブロック図を示す。 図７ａは、例示的な動き補償正確度評価法を示す。 図７ｂは、他の例示的な動き補償正確度評価法を示す。 図８は、他の例示的な動き補償正確度評価法を示す。 図９ａは、動き破損したサンプルから得られた特性信号の図を例示する。 図９ｂは、良いサンプルに分類された動き補償サンプルから得られた他の特性信号の図を例示する。 図１０は、本発明に係る方法の一実施形態の複数のステップを表す説明的なブロック図を示す。

図１は、関心信号を示唆し又は示す動きを体験する対象１０の概略図を示す。対象１０は、呼吸に起因する示唆部分１２の特徴的動きを経験する。呼吸時、肺又は隔膜の拡張及び収縮は、生体内の特徴的部分の微動、特に胸部の上下動を引き起こす。腹式呼吸も対象の体の対応する部分の特徴的な動きを引き起こし得る。多くの生体、特に人間又は動物において、様々な生理学的プロセスに起因する少なくとも部分的に周期的な動きパターンが現れ得る。示唆部分１２は、矢印１６によって示されるように経時的に、参照符号１２ａ、１２ｃによって示される収縮位置と、参照符号１２ｂによって示される引き出し位置との間で動く。一例として、この動きパターン（生理学的情報５６とも呼ばれる（図２参照））に基づいて呼吸速度又は呼吸速度変動が評価され得る。示唆部分１２が経時的に律動する一方、非示唆部分１４は（所望の動きパターンの観点からは）ほぼ静止したままである。当然ながら、非示唆部分１４も経時的に多様な動きを経る可能性がある。しかし、この動きは通常は示唆部分の周期的律動に対応しない。

他の例では、示唆部分１２の特徴的動きは対象の皮膚内の律動又は脈動する動脈からもたらされる。律動する動脈は、心臓のポンプ作用に起因する表面組織の微動を引き起こす。

次に、図２を参照すると、情報を抽出するためのデバイスが図示され、参照符号１８によって示されている。デバイス１８は、生理学的情報に関連する対象１０の示唆部分１２の動き（これに関して、矢印５６も参照されたい）を検出するために特に適している。デバイス１８は対象１０を表す画像フレームを記録するために使用され得る。画像フレームは対象１０によって放射又は反射された電磁放射２０から導出され得る。記録されたデータ、例えば画像フレームのシーケンスから情報を抽出するために、対象１０の画定された部分又は部位がセンサ手段２２によって監視され得る。センサ手段２２は、例えば、電磁放射２０の少なくとも１つの成分に属する情報を捕捉するよう適合されたカメラによって具現化され得る。センサ手段２２は単一のセンサ素子のアレイを含み得る。例えば、センサ手段２２は単一のセンサの線状アレイ又は行列アレイ、例えばＣＣＤ素子（ＣＣＤセンサ）等を使用し得る。しかし、他のセンサタイプを使用してもよい。デバイス１８は、入力信号、すなわち予め記録され、記憶又はバッファされていた入力データストリームを処理するよう主として構成されてもよいことに留意されたい。これに関連して、記録は別個の遠隔センサ手段によって実行されてもよい。

上記したように、電磁放射２０は、少なくとも１つの少なくとも部分的に周期的なバイタル信号を高く示すが、一方ではグローバル動き及び変化する照明条件等の全体的妨害によって大きく歪まされると考えられる連続的又は特徴的な信号を含み得る。これは、特に、デバイス１８又は少なくともセンサ手段２２が遠隔モバイルデバイスとして構成される場合に当てはまる。一部の実施形態では、デバイス１８は規定された光源又は放射源一般２４、２８を使用し得る。光源２４は周囲の別個の放射源として考えることができる。光源２８は内部の制御可能な放射源として考えることができる。放射源２４、２８は、基本的には対象１０に衝突する入射放射２６ａ、２６ｂを放射する。典型的には、入射放射２６ａ、２６ｂは少なくとも部分的に対象１０によって反射される。また、特に赤外線（例えば、近赤外線又は深赤外線）を使用する実施形態に関しては、対象１０が熱放射等の放射部分を放射（又は生成）してもよい。

呼吸関連信号等のバイタル信号を取得するための良く知られた方法は、対象に当てられるマーカーに依拠する触覚呼吸速度モニタリング及び遠隔呼吸速度モニタリングを含む。しかし、このためには干渉モニタリングが要求される。上記したように、代替的アプローチは、特定の画像処理方法を用いる遠隔非干渉測定を対象とする。

センサ手段２２は、データストリーム３０をインターフェイス３２に送るよう構成され得る。当然ながら、センサ手段２２とインターフェイス３２との間にさらにバッファ手段が挿入されてもよい。インターフェイス３２の下流には安定化手段３４が設けられ得る。基本的には、安定化手段３４はデータストリーム３０に動き補償措置を適用するよう構成され得る。このようにすることで、データストリーム３０内に組み込まれた信号サンプルのシーケンスを、派生動き補償されたサンプルのシーケンスに変換することができる。このレベルにおいて、動き補償は、対象１０とセンサ手段２２との間の相対的動きによって引き起こされ得る全体的動きを対象とする。本明細書で使用される場合、全体的動きはセンサ手段２２の動き又は、概して、センサ手段２２を含むデバイス１８の動きに主に関する。モニタリング環境は、通常、対象１０の少なくとも一部、壁、家具、若しくはさらに対象１０の非示唆部分等の周辺要素、及び対象１０に向けられたセンサ手段２２を含む。これらの要素間で、望ましくない相対的動きが生じ得る。特に、ハンドヘルドポータブルデバイス１８、又は少なくともセンサ手段２２を使用するモバイル用途については、センサ手段２２側で発生する揺れ又はブレ効果により、検出される信号サンプルのシーケンスが強く影響され得る。通常、これらの望ましくない妨害の大きさは所望のパターンのそれを上回る。

かかる所望のパターンは、例えば動きパターンであり、例えば呼吸に起因する胸部の動き等の所望の対象動きによってもたらされ得る。示唆部分１２の特徴的動きは、例えば、微動パターンを生じる対象の皮膚内の律動する動脈によってももたらされ得る。放射源２４、２８（図２参照）は、対象１０に衝突する入射放射２６ａ、２６ｂを放射する。皮膚を通過することにより、放射が皮膚を通過する経路長及び物質（例えば血液、組織）の吸収係数に依存する量、放射は吸収される。動脈は脈動しているのでその直径は経時的に変化し、血液量パルスは、関心領域において、対象によって放射又は反射される電磁放射の強度を心拍数と共に変化させる。

他の例では、所望のパターンは、皮膚の色の変動等の反射又は放射光のパターンと周波数及び強度において関連する。動脈血の律動は光吸収の変化をもたらす。これらの変化はＰＰＧ（フォトプレチスモグラフィ）信号（とりわけ、pleth waveとも呼ばれる）を形成する。これは、皮膚内の血液量の時間変動が、皮膚による光吸収の変動をもたらすという原理に基づく。このような変動は、皮膚領域、例えば顔の画像を撮影するビデオカメラによって記録されてもよく、処理は選択された関心領域（典型的には、頬の一部）にわたる画素平均を計算してもよい。この平均信号の周期的変動を見ることにより、心拍数及び呼吸速度を抽出することができる。Wim Verkruysse, Lars O. Svaasand, and J. Stuart Nelson, “Remote plethysmographic imaging using ambient light”, Optics Express, Vol. 16, No. 26, December 2008は、フォトプレチスモグラフィック撮像（ＰＰＧ）と呼ばれる皮膚の色変動を測定する方法を開示する。

上記したように、一次（primary）動き補償措置は、動き関連妨害を依然として含み得る信号サンプルをもたらし得る。したがって、信号サンプルに影響を及ぼす存在する動き影響によっては、一部の場合、動き補償されたサンプルが依然として強く歪んでいる可能性があり、よって関心信号の抽出のためのさらなる処理に適用できない可能性がある。本実施形態は基本的にはこの問題に取り組む。

動き補償されたサンプルのシーケンスは、動き補償評価手段３６に送られ得る。動き補償評価手段３６は、動き補償正確度を表す評価パラメータを検出するよう構成され得る。例えば、動き補償評価手段３６は、動き補償された信号サンプル内に残存している動き関連歪みを決定するよう適合され得る。このようにすることで、現在の動き補償正確度を表す評価パラメータを得ることができる。評価パラメータは品質関連パラメータであり得る。評価パラメータは特定の範囲を有するスケール上の値によって表されてもよく、さらに、十分な動き補償正確度及び不十分な動き補償正確度を決定するために、この範囲内に閾値を定めてもよい。したがって、各動き補償サンプルがさらなる信号処理措置に適用可能であると考えられるか、又はこれらのサンプルに基づくさらなる処理措置が推奨されない程度に依然として歪んでいると考えられるかを示すよう、各動き補償サンプルにフラグを付けることができる。

結果として、これらのサンプルはさらなる処理から除外され得る。一部の実施形態では、評価パラメータはフラグパラメータとしても構成され、フラグは信号サンプル（又は信号サンプルのセット）に割り当てられ、また、フラグは異なる状態のセットのうちのある状態を表し得る。状態のグループ又はセットは、悪いサンプルに割り当てられる悪い（又は赤色の）状態及び良いサンプルに割り当てられる良い（又は緑色の）状態のうちの少なくとも１つを含み得る。上記したように、さらなる中間段階を考えることができる。

デバイス１８は、さらに、送られた動き補償されたサンプルのシーケンスから、少なくとも部分的に周期的な示唆パターンを少なくとも部分的に示す少なくとも１つの特性信号を選択的に導出するよう構成された抽出手段３８を含み得る。この周期的示唆パターンは、例えば呼吸に起因する胸部の動き等の所望の対象の動きがもたらす動きパターン、又は、皮膚内の動脈血の律動に起因する皮膚の光吸収の変化によって生じる反射又は放射光の周波数及び強度パターンであり得る。

抽出手段３８は、検出された評価パラメータを考慮して特性信号を導出するよう構成されることが好ましい。このようにすることで、「悪い」動き補償されたサンプルをさらなる処理から除外することができる。これは、単一の悪い動き補償されたサンプル又は複数の悪い動き補償されたサンプルのセットに適用され得る。このようにすることで、不十分な動き補償正確度に帰属し得る歪みを少なくともある程度は防ぐことができるので、信号導出正確度を向上させることができる。これに関連して、このようにすることで、サンプルプール又は特性信号の導出のためのベースを縮小する又は間引くことができることに留意されたい。結果として、特に大量の動き補償されたサンプルを含むセットがさらなる処理から除外される場合、当該期間について、少なくとも１つのバイタル信号を最終的に求めることができない。しかし、所望の関心バイタル信号に関する潜在的な結果を一切反映させ又は考慮することなく破損したサンプルも処理するよりも、破損した（悪い）動き補償されたサンプルに関する特性信号導出及びそれに基づくバイタル信号決定をスキップするほうが好適であると考えられる。

また、単一の又は少しの破損した動き補償されたサンプルしか、さらなる処理から除外されないと仮定すると、一部の実施形態では、依然として、最終的に大きな中断なく関心バイタル信号を抽出し得るのに十分なように特性信号を導出及び確立することができることに留意されたい。これは、入力シーケンスのサンプルレート又はフレームレートが（存在する場合）関心バイタル信号の周波数に対して十分に高い環境に特に該当し得る。

デバイス１８は、特性信号の時間変動を決定するよう構成された解析手段４０をさらに含み得る。特に、解析手段４０は関心バイタル信号に帰属し得る主要周波数を捜し求めるよう適合され得る。このために、解析手段は様々な信号処理法を使用し得る。例えば、解析手段４０は、改良された特性信号の周波数値又は場合によっては周波数領域表現を得るために、フーリエ変換若しくは同様の積分変換、又は他のアルゴリズムを特性信号に適用するよう構成され得る。

最終的に、処理されたデータストリーム４２が生成され得る。処理されたデータストリーム４２はインターフェイス４４に送られ得る。結果として、インターフェイス４４を介して、さらなる解析若しくは分析及び／又は表示措置のために出力データ４６が利用可能にされ得る。（入力）インターフェイス３２及び（出力）インターフェイス４４は同じ（ハードウェア）インターフェイス要素によって具現化され得る。安定化手段３４、動き補償評価手段３６、抽出手段３８、及び（存在する場合は）解析手段４０又は場合によってはさらなる処理手段は、共通の処理ユニット５２によって具現化され得る。各サブコンポーネントを収容する共通の処理装置において、インターフェイス３２、４４もこれに接続されてもよい。一例として、処理ユニット５２はパソコン又はモバイルコンピューティングデバイスによって具現化され得る。

さらに、デバイス１８は、デバイス１８のユーザーによって認識可能な出力信号を生成するよう構成され得る信号生成ユニット４８を含み得る。出力信号は、動き補償評価手段３６によって検出された実際の評価パラメータを考慮して生成されることが好ましい。言い換えれば、一部の実施形態では、信号生成ユニット４８を「トリガー」するために動き補償評価手段３６を使用することができる。信号生成ユニット４８は、デバイス１８のユーザーに実際の評価パラメータを示してもよい。上述したように、評価パラメータは単一のサンプルを考慮して検出されてもよいし、あるいは、サンプルのセットを考慮して検出されてもよい。結果として、信号生成ユニット４８は、複数のサンプルにわたる移動平均評価パラメータであり得る平均評価パラメータを表すようにも適合され得る。信号生成ユニット４８は、単一の又は複数の指標ソース手段５０を使用し得る。これに関連して、図２に示される信号生成ユニット４８は、例示的かつ非限定的な指標ソース５０ａ、５０ｂ、５０ｃのセットを含む。指標ソース５０ａは視覚的指標ソース又は光指標ソースによって具現化され得る。例えば、指標ソース５０ａは１つ以上の発光ダイオード（ＬＥＤ）等の光源を含み得る。評価パラメータが動き補償正確度を示す複数の異なる状態を表す場合、指標ソース５０ａの各光源はそれぞれの色を表し得る。例えば、少なくとも赤色及び少なくとも緑色ＬＥＤが使用され得る。他の実施形態では、指標ソース５０ａは赤色光源、黄色光源、及び緑色光源を含む。単一の光源の使用下で異なる指標光を生成できるよう、指標ソース５０ａがフィルタ手段と協働するよう構成され得ることは言うまでもない。一部の実施形態では、可視指標ソース５０ａは表示手段を使用し得る。これに関連して、ＬＣＤディスプレイ、ＬＥＤディスプレイ、及び同様のディスプレイタイプを考えることができる。ディスプレイは色情報及び／又はテキスト情報を提示し得る。

加えて又は代わりに、信号生成ユニット４８は音響指標ソース５０ｂを使用することもできる。音響指標ソース５０ｂは少なくとも１つの音響生成器、例えばスピーカーを含み得る。一部の実施形態では、音響指標ソース５０ｂは音声メッセージを提供するよう構成され得る。しかし、代わりに、単一のトーン又はトーンシーケンスが音響指標ソース５０ｂによって生成されてもよい。

他の代替的実施形態によれば、信号生成ユニット４８はさらに触覚指標ソース５０ｃを含み得る。一例として、触覚指標ソース５０ｃは、ブザー又はバイブレーション要素によって具現化され得る。このようにすることで、潜行性の信号をデバイス１８のユーザーに向けることができる。指標ソース５０ａ、５０ｂ、５０ｃの各々又は少なくとも一部は、ユーザーにフィードバックを供給するために使用され得る。フィードバックは、動き補償評価手段によって検出された現在の評価パラメータに応じて生成され得る。現在の動き補償正確度状態に基づき、ユーザーは、現在、動き補償措置が適切なバイタル信号抽出を可能にするために十分であると考えられることを確信することができる。しかし、選択的に、ユーザーフィードバックは、動き補償措置が現在不十分であり、所望のバイタル信号の抽出が現在不可能であることも示し得る。さらに、全体的動き影響を低減するために、デバイス１８又は少なくともセンサ手段２２を安定に保つようユーザーがアドバイスされてもよい。当然ながら、さらなるメッセージがユーザーに宛てられてもよい。一部の実施形態では、信号生成ユニット４８も処理ユニット５２に収容又は接続され得る。

センサ手段２２も処理ユニット５２に共に接続される場合、共通のハウジングが各コンポーネントを収容し得る。これに関連して、参照符号５４は全体的システム境界を示す。また、参照符号５４はデバイス１８のための共通のハウジングを指し得る。このような統合アプローチが意図される場合、デバイス１８はスマートフォン、タブレットコンピューティングデバイス、又はモバイル健康モニタリングデバイス等のモバイルデバイスによって具現化され得る。これらのデバイスは組み込みセンサ手段（カメラ）２２を使用してもよく、又は少なくとも別個のセンサ手段（カメラ）２２に接続可能であってもよい。他の例示的構成では、デバイス１８は固定デバイスであり、一方で少なくともセンサ手段２２はポータブルである。センサ手段２２は適切なケーブル接続又は無線接続を介して固定処理ユニット５２に結合され得る。

図３を参照すると、非干渉バイタル信号モニタリングが実行される一般的な環境が提示されている。対象１０、例えばベッドに入っている患者が支台上に横たわっている。非示唆部分１４（図１）に帰属し得る対象１０の頭部は露出して枕にのせられている一方、示唆部分１２、例えば胸部は毛布６４によって覆われている。したがって、示唆部分１２の動きに起因する所望の信号は減衰する又は隠される。したがって、干渉信号検出は非常に困難である。これは、ポータブルモバイルモニタリングデバイス１８ａが使用される場合に特に当てはまる。モニタリングデバイス１８ａは、ユーザーがデバイス１８ａを保持し及び方向づけるために掴むことができるハンドル７０を含み得る。デバイス１８ａ、特にセンサ手段２２は、示唆的動きパターンを経験する示唆部分１２が監視され得るよう、配置され及び方向づけられ得る。これに関連して、対象１０の胸部を表す例示的な関心領域６８が四角形のボックスによって示されている。図３において、軸６０は、関心周期的動きパターンの予測される方向を示す。この軸６０に沿う周期的対象動きは、所望の生理学的情報５６（図２）を表し得る。対照的に、潜在的な他の方向における対象の動き（参照符号６２ａ、６２ｂ参照）は示唆的ではないと考えられ、よって特に関心のあるものではない。図３に示されるモニタリング環境は、さらに、静止物体を含み得る（参照符号６６参照）。静止物体６６は、動き補償のために利用され得る基準物体として機能し得る。したがって、静止物体６６（例えば、椅子）もセンサ手段２２の視野内に存在し得る。モバイル又はポータブルアプリケーションに関しては、センサ手段２２は、対象１０の監視中に位置変化又は方向変化を経験し得る。典型的には、センサ手段２２の動きは複数の軸（参照符号７２ａ、７２ｂ、７２ｃ参照）に沿う及びこれらを中心とする動きを含み得る。

図４は、モバイルデバイス１８ｂを含む他の実施形態を示す。携帯電話、タブレットコンピュータ、及びノートブック等のモバイルデバイスは容易に利用可能であり、さらにしばしば適切なカメラを含むので、これらのデバイスをバイタル信号モニタリングアプリケーションにおいて制御するために適切な制御アルゴリズムが実装され得る。デバイス１８ｂは、関心生理学的情報５６に帰属し得る所望の動きパターンを呈する対象１０の示唆部分１２（関心領域６８によって表される）を表すためのディスプレイ７４を含み得る。したがって、ユーザーはディスプレイ７４内の対象１０の現在の表現を考慮しながら対象１０に狙いを定めることができる。結果として、遠隔ベースの即時信号検出が簡略化され得る。デバイス１８ｂがさらに信号生成ユニット４８（図２）及び指標ソース５０ａ、５０ｂ、５０ｃのうちの少なくとも１つを含み得ることは言うまでもない。このために、利用可能な実装信号源が使用され得る。

図５は、信号サンプル７８ａ、７８ｂ、７８ｃのシーケンス７６を示す。説明を目的として、空間的基準８０がさらに示されている。シーケンス７６は一連の信号サンプル７８ａ、７８ｂ、７８ｃを含み得る。動き関連妨害が予想されるため、通常、各信号サンプル７８ａ、７８ｂ、７８ｃが覆う視野は一連のサンプルにわたって変動し得る。これらのずれは絶対値及び振幅に関して所望の示唆的動きパターンを上回ると考えられるので、さらなる処理及び信号抽出のために動き補償は極めて重要である。上記したように、動き補償措置を介して、（オリジナルの）シーケンス７６から動き補償されたサンプル１０６のシーケンスを導出することができる。

図６は、本発明の一実施形態に係る方法を表す単純化された例示的なフローチャートを示す。フローチャートは、基本的には、シーケンス７６内の信号サンプル７８ａ、７８ｂ、７８ｃに適用され得るバイタル信号抽出プロセスを表す。まず、プロセスは動作９０において開始又はトリガーされ得る。動作９２において、処理されるべき信号サンプル（例えば、画像フレーム）が受け取られる。上記したように、信号処理は（シーケンス内の）単一のサンプル又はサンプルのセットを対象とし得る。これに関連して、図６に示されるプロセスは、一連の信号サンプル（又はシーケンス）内の連続する実体を連続的に処理する「移動」プロセスとして理解され得ることを理解されたい。

続いて、処理されるべきサンプルに動き補償処理（参照符号９４）が適用され得る。基本的には、このようにして動き補償されたサンプルを得ることができる。動き補償正確度評価サブルーチン（プロセス９６）が続き得る。動き補償正確度評価サブルーチンは、現在の動き補償正確度レベルを決定し得る。このようにして、動き補償正確度指標値として考えることができる評価パラメータを決定することができる。指標値が所定の閾値を上回る（又は下回る）か否かに応じて、現在評価された動き補償されたサンプル（又は、現在評価された動き補償されたサンプルのセット）が後続の信号抽出及び処理動作中に考慮されるべきか否かを決定することができる。動き補償されたサンプルが所望の正確度レベルを満たすことが決定された場合、プロセスは、信号処理、例えば呼吸速度処理が実行される動作９８に進み得る。このようにして、関心バイタル信号を抽出することができる。バイタル信号抽出は、承認された適切な動き補償された信号サンプルのシーケンスから特性信号を抽出することを含み得る。さらなる信号処理アルゴリズムが含まれ得る。続いて、伝送動作１００において、表示措置、データ保存、及びさらなるデータ処理のために関心バイタル信号が利用可能にされ得る。

動き補償正確度評価動作９６において、処理された動き補償されたサンプルが所望の正確度レベルを満たさないことが決定された場合、当該サンプルはさらなる処理、すなわち、例えば動作９８及び１００から除外され得る。言い換えれば、動作９８及び１００は迂回され得る。代わりに、その状況を指し示す出力信号が生成されてユーザーに提示される代替的動作１０２が続いてもよい。例えば、モニタリングデバイスを安定に保つことによって望ましくない動き影響を低減するようユーザーがアドバイスされてもよい。結果として、次の処理されるべき信号サンプルが選択され得る動作１０４が続き得る。

これに関連して、動き補償された信号が所望の正確度レベルを満たすことが決定された場合においても、対応する出力信号が生成され、ユーザーに提示されてもよいことに留意されたい（出力信号生成動作１０３に接続される破線を参照）。動き補償正確度評価サブルーチン９６の結果によらず、最終的には、次に処理されるべき信号サンプルが選択され得る動作１０４が続き得る。したがって、シーケンス内の複数の信号サンプルを処理することができる。

図７ａ、図７ｂ、及び図８は、動き補償正確度評価に対する例示的なアプローチを示す。図７ａには、動き補償されたサンプル１０８ａ、１０８ｂ、１０８ｃの動き補償されたシーケンス１０６が示されている。動き補償されたサンプル１０８ａ、１０８ｂ、１０８ｃは、それぞれ、一連の連続する画像フレームからのある画像フレームを表し得る。動き補償されたサンプル１０８ａ、１０８ｂ、１０８ｃ内には、関心領域６８が存在する。典型的には、関心領域６８は、モニタリングされるべき対象１０の示唆部分１２の表現を含む。さらに、動き補償されたサンプル１０８ａ、１０８ｂ、１０８ｃは、それぞれ、基本的には示唆的動きが予想されない動き補償されたサンプル１０８ａ、１０８ｂ、１０８ｃの部分を表し得る非示唆的動き領域１１０を含む。したがって、非示唆的動き領域１１０内には、（補償されていない信号サンプルにおける）当初の動き、及び、（動き補償されたサンプルにおける）動き補償後に残存している動き関連アーティファクトが存在し得る。好ましくは、動き補償正確度評価中、関心領域６８は無視される。上記したように、関心バイタル信号に帰属し得る特徴的微動パターンは、信号抽出処理のために保存されることが好ましい。したがって、動き補償正確度評価は、好ましくは非示唆的動き領域１１０の少なくとも一部に基づく。

図７ａ及び図７ｂは、動き補償正確度評価に対する類似するアプローチを示す。両アプローチは、非示唆的動き領域１１０の少なくとも一部に適用されるＳＡＤ（sum of absolute difference）アルゴリズムを使用し得る。言い換えれば、現在評価されるべき動き補償されたサンプル及び基準（動き補償された）サンプルが互いに差し引かれ得る。このアルゴリズムを経て得られた残り、例えば差分サンプルは、動き補償正確度を示すと考えることができる。上記と同様に、アルゴリズムは関心領域６８外の領域にのみ適用されることを強調する。図７ａでは、参照符号１１２ａ、１１２ｂによってＳＡＤ推定演算が示されている。図７ｂでは、参照符号１１４ａ、１１４ｂによってＳＡＤ推定演算が示されている。アルゴリズムから得られた上記差分サンプルは、それに基づいて評価パラメータが決定され得るベースを形成し得る。

図７ａでは、動き補償されたサンプル１０８ａ、１０８ｂ、１０８ｃに移動アルゴリズムが適用される。すなわち、現在評価されるべきサンプルが先行する基準サンプルと比較される。評価されるべきサンプル（例えば、１０８ｂ）と対応する基準サンプル（例えば、１０８ａ）との間の距離又はギャップは予め定められていてもよく、基本的には一定であり得る。評価されるべきサンプル及び対応する基準サンプルは、動き補償されたシーケンス１０６内の隣接するサンプルであり得る。しかし、評価されるべきサンプルと対応する基準サンプルとが動き補償されたシーケンス１０６において互いから離れている、すなわち、両者の間に他のサンプルが挟まれていることも考えることができる。図７ｂに示される他のアプローチは、固定基準サンプル（ここでは、動き補償されたサンプル１０８ａ）を使用する。したがって、後続の一連の連続する動き補償されたサンプル１０８ｂ、１０８ｃのそれぞれが同じ基準サンプル１０８ａにリンクされ得る。このようにすることで、動き補償正確度評価のための計算コストを低減することができる。しかし、図７ａに示される移動基準アプローチと図７ｂに示される固定基準との組み合わせも考えることができる。このようにして、基本的に固定された基準サンプルが周期的に更新され得る（新たな基準サンプルによって置換され得る）。

図８は、動き補償正確度評価に対する他の例示的なアプローチを示す。この実施形態では、処理されるべきサンプル（例えば、動き補償されたサンプル１０８ｂ）及び基準サンプル（例えば、動き補償されたサンプル１０８ａ）における明示的な特徴一致が検出され得る。複数の検出される特徴一致（説明を目的として図８に加えられた対応線１１８を参照）は、それに基づき評価パラメータが確立され得るベースを形成し得る。上述したように、特徴一致１１８の検出から関心領域６８が除外されることが好ましい。したがって、特徴一致検出は、非示唆的動き領域１１０の少なくとも一部に適用されるべきである。特徴一致検出は、コーナー検出、エッジ検出、ブロブ検出、リッジ検出等を使用し得る。図８に示されるアプローチが、「移動」基準サンプル及び「固定」基準サンプル（図７ａ及び図７ｂ参照）を使用し得ることは言うまでもない。

図９ａ及び図９ｂは、対象１０の呼吸速度の検出を狙いとする遠隔バイタル信号モニタリングによって得られたいくつかの例示的な信号形状１２６、１２８を示す。横軸１２２は時間（又は、例えばサンプル番号若しくはフレーム番号）を示す一方、縦軸１２４は検出された動きを表す質的又は量的信号パラメータを示す。図９ａは、十分な動き補償措置が適用されなかった信号サンプルのセットから導出された特性信号１２６を示す。結果として、非示唆的動き妨害のために特性信号１２６は強く破損している。したがって、特性信号１２６にバイタル信号抽出措置を適用すると、おそらくは強く歪んだバイタル信号形状又は値がもたらされる。したがって、本発明の一部の実施形態に従って、「悪い」サンプルとして評価及びグレーディングされた信号サンプルを下流のバイタル信号処理から除外し得ることは有益であると考えられる。

対照的に、図９ｂは、対象１０の示唆的動きに帰属し得る、内在する少なくとも部分的に周期的な動きパターンを明確に反映する特性信号１２８を示す。特性信号１２８は、「良い」サンプルとしてグレーディングされた動き補償されたサンプルのセットから導出された。さらなる信号処理において悪いサンプルを無視することは、改良されたＳＮ比を示す特性信号をもたらし得る。図９ｂに基づき、例えば、対象１０の呼吸速度を表し得る、繰り返す極値（例えば、極小、極大等）の示唆的周波数が検出され得る。これに関連して、特性信号１２８は依然として非示唆的動きに帰属し得る妨害を含み得ることに留意されたい。しかし、例示的に呼吸速度決定に言及すると、特性信号１２８における周期的変化は明確に見て取れ、よって、所望の関心バイタル信号を導出するために処理及び解析され得る。

本発明に含まれる複数の選択的な例示的アプローチを説明してきたが、ここで、遠隔検出される電磁放射から情報を抽出するための方法を概略的に示す図１０を参照する。まず、ステップ１５０において、信号サンプル１５４ａ、１５４ｂ、１５４ｃのシーケンス１５２を含む入力データストリームが受け取られる。矢印ｔは時間又は実際のフレーム番号を示し得る。データストリームは、センサ手段２２又はデータバッファ若しくは保存手段から送られ得る。データストリームは経時的に変化する一連の画像フレームによって具現化され得る。

次のステップ１５６は、シーケンス１５２のサンプル１５４ａ、１５４ｂ、１５４ｃ内の関心領域６８、そして必然的に非示唆的動き領域１１０の決定を提供し得る。次のステップ１６２において、同時に又はずらして、動き補償されたサンプル１６０ａ、１６０ｂ、１６０ｃのシーケンス１５８に達するよう、サンプル１５４ａ、１５４ｂ、１５４ｃに動き補償措置が適用され得る。このようにすることで、例えば、センサ動き又は具体的にはカメラ動きによって、特にハンドヘルドモバイルデバイスアプリケーションの場合に引き起こされ得る全体的動きに取り組むことができる。これに関連して、動き補償措置は、所望のバイタル信号の抽出のために主に対象とされる関心領域６８とは異なる信号サンプル１５４ａ、１５４ｂ、１５４ｃ内の非示唆領域１１０を基本的には対象とする動き検出に基づくことが好ましい。

動き補償品質評価ステップ１６４が続き得る。上記と同様に、一部の実施形態では、動き補償品質評価は、動き補償されたサンプル１６０ａ、１６０ｂ、１６０ｃ内の非示唆的動き領域１１０の少なくとも一部に基づくことが好ましい。したがって、示唆的動きパターンを示すと見なされる関心領域６８は、動き補償品質評価動作中は無視され得る。動き補償品質のグレードを表し得る検出された評価パラメータ１６６ａ、１６６ｂに基づいて、各評価されるべきサンプルはさらなる信号処理措置から除外され又はそれに含まれ得る。動き補償品質評価は、現在の評価されるべきサンプル１６０ｂ、１６０ｃの対応する基準サンプル１６０ａ、１６０ｂに対する比較評価を含み得る。動き補償品質評価動作１６４は、さらに、出力信号１６８の生成を含み得る。出力信号１６８は、必要な場合、妨害動き影響を減らすようアドバイスされ得るユーザーに宛てられ得る。これに関連して、ユーザーはデバイス１８又は少なくともセンサ手段２２を安定に保つよう促され得る。所望の示唆的動きパターンに加えて、対象は望ましくない非示唆的体動きを有し得る（例えば、体を左右に動かし得る）。カメラ動きと同様に、望ましくない非示唆的体動きも、生理学的情報抽出に対する妨害を引き起こし得る。この妨害は、上記と同様に、背景内の静的要素又は物体を基準として使用して補償され得る。ユーザーに宛てられる出力信号１６８は、対象の動きによって引き起こされる妨害動き影響を低減することのアドバイスを提供し得る。

「良い」サンプルとしてグレーディングされる動き補償されたサンプル１６０ａ、１６０ｂ、１６０ｃは、信号抽出ステップ１７０において特性信号１７２が導出され得る信号ベースを形成し得る。強く歪まされたサンプルが除外されるため、特性信号１７２は既に関心バイタル信号を高度に示すと考えることができる。しかし、一部の例示的実施形態では、例えばハイパスフィルタリング、ローパスフィルタリング、帯域幅フィルタリング、ウィンドウイング、統計的計算措置等を含み得るさらなる信号強化動作１７４が続き得る。結果として、強化された特性信号１７６が計算され得る。さらなるステップ１７８において、強化された特性信号１７６又は一部の場合では特性信号１７２に対して、信号解析措置が適用され得る。これらの措置は、少なくとも１つの所望のバイタル信号１８０を示す特定の特徴を捜し求めることを狙いとし得る。信号解析動作１７８は、時間領域に基づく特性信号１７２、１７６を周波数領域に基づく変換された信号に変換することを含み得る。

当然ながら、本発明に係る方法の実施形態において、本明細書にて提供される複数のステップは異なる順番で又は同時にさえ実行され得る。さらに、本発明の範囲から逸脱することなく、一部のステップをスキップすることもできる。これは、複数の代替的信号処理ステップに特に当てはまる。

例として、本発明はヘルスケアの分野、例えば非干渉遠隔患者モニタリング、一般的監視、セキュアリングモニタリング、及びフィットネス設備などのいわゆるライフスタイル環境等に適用され得る。適用例は呼吸速度、呼吸速度変動、及び関連するバイタル信号のモニタリングを含み得る。

本発明を図面及び上記において詳細に図示及び記述してきたが、かかる図示及び記述は制限的ではなく説明的又は例示的であると考えられるべきであり、本発明は開示の実施形態に限定されない。当業者は、図面、明細書、及び特許請求の範囲を分析することにより、開示の実施形態以外の変形例を理解及び実施することができる。

請求項において、「含む（又は有する若しくは備える等）」との用語は他の要素又はステップを除外せず、また、要素は複数を除外しない。単一の要素又は他のユニットが、請求項に記載される複数のアイテムの機能を果たし得る。単に特定の手段が互いに異なる従属請求項に記載されているからといって、これらの手段の組み合わせを好適に使用することができないとは限らない。

コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学記憶媒体又はソリッドステート媒体等の適切な媒体上で記憶／供給されてもよいが、インターネット又は他の有線若しくは無線電気通信システム等を介して等他の態様で供給されてもよい。

請求項内の如何なる参照符号も特許請求の範囲を限定するものと解されるべきではない。

Claims (15)

1. 遠隔検出される、対象によって放射又は反射された電磁放射から生理学的情報を抽出するためのデバイスであって、前記デバイスは、
   対象によって放射又は反射された電磁放射から導出され得るデータストリームを受け取るためのインターフェイスであって、前記データストリームは、生理学的情報を含みかつ妨害動きを示す画像サンプルのシーケンスを含み、前記画像サンプルは、少なくとも１つの生理学的パラメータに帰属し得る少なくとも部分的に周期的な示唆的パターンを呈する少なくとも１つの関心領域と、非示唆的動き領域とを表す、前記インターフェイスと、
   前記画像サンプルのシーケンスを処理するための処理ユニットであって、
   望ましくない全体的動きについて少なくとも部分的に動き補償された画像サンプルのシーケンスを導出するための安定化手段と、
   動き補償正確度を表す評価パラメータを検出するための動き補償評価手段と、
   前記動き補償された画像サンプルのシーケンスから前記少なくとも部分的に周期的な示唆的パターンを少なくとも部分的に示す少なくとも１つの特性信号を選択的に導出するための抽出手段であって、前記特性信号の導出は、検出された前記評価パラメータに基づいて実行される、前記抽出手段とを含む、前記処理ユニットと
   を含む、デバイス。
2. 前記画像サンプルは、さらに所望の対象動きを示す、請求項１に記載のデバイス。
3. 前記処理ユニットは、前記特性信号における時間変動を決定するための解析手段をさらに含み、前記時間変動は、少なくとも１つのバイタル信号を表す、請求項１又は２に記載のデバイス。
4. 前記評価パラメータは、所与の動き補償された画像サンプル又は所与の動き補償された画像サンプルのセットに関する動き補償正確度を示す状態のセットのうちのある状態を表すフラグパラメータである、請求項１又は２に記載のデバイス。
5. 前記抽出手段は、前記評価パラメータに基づき、前記少なくとも１つの特性信号を導出するための前記動き補償された画像サンプルの処理を選択的に実行する又は省く、請求項１又は２に記載のデバイス。
6. 前記安定化手段は、前記画像サンプル内の前記非示唆的動き領域の少なくとも一部を考慮して、前記動き補償された画像サンプルのシーケンスを導出する、請求項１又は２に記載のデバイス。
7. 前記安定化手段は、さらに、前記画像サンプルのシーケンス内の前記非示唆的動き領域の前記少なくとも一部内の局所的特徴を検出及びトラックする、請求項６に記載のデバイス。
8. 前記動き補償評価手段は、前記動き補償された画像サンプル内の前記非示唆的動き領域の少なくとも一部を考慮して、前記動き補償された画像サンプル間の類似性を検出する、請求項１又は２に記載のデバイス。
9. 前記動き補償評価手段は、さらに、前記動き補償された画像サンプル内の前記非示唆的動き領域の前記少なくとも一部に、基準画像サンプルに関する絶対差処理アルゴリズムを適用する、請求項８に記載のデバイス。
10. 前記動き補償評価手段は、前記動き補償された画像サンプル及び基準画像サンプルにおける前記非示唆的動き領域の少なくとも一部における特徴対応を検出し、又は、前記動き補償評価手段は、さらに、複数の動き補償評価指標を考慮して前記評価パラメータを検出する、請求項１又は２に記載のデバイス。
11. 前記評価パラメータに基づいて、前記デバイスのユーザが認識可能な出力信号を生成するための信号生成ユニットをさらに含み、前記出力信号は、動き補償正確度を示す状態のセットのうちのある状態を示す、請求項１又は２に記載のデバイス。
12. 可視光、赤外光、及び紫外線からなる群から選択される少なくとも１つの特定の波長範囲内の電磁放射を捕捉するためのセンサ手段をさらに含み、前記センサ手段は前記インターフェイスに接続され得る、請求項１又は２に記載のデバイス。
13. 遠隔検出される、対象によって放射又は反射された電磁放射から生理学的情報を抽出するための方法であって、前記方法は、
    対象によって放射又は反射された電磁放射から導出され得るデータストリームを受け取るステップであって、前記データストリームは、生理学的情報を含みかつ妨害動きを示す画像サンプルのシーケンスを含み、前記画像サンプルは、少なくとも１つの生理学的パラメータに帰属し得る少なくとも部分的に周期的な示唆的パターンを呈する少なくとも１つの関心領域と、非示唆的動き領域とを表す、前記受け取るステップと、
    前記画像サンプルのシーケンスを処理するステップであって、
    望ましくない全体的動きについて少なくとも部分的に動き補償された画像サンプルのシーケンスを導出するステップと、
    動き補償正確度を表す評価パラメータを検出するステップと、
    前記動き補償された画像サンプルのシーケンスから前記少なくとも部分的に周期的な示唆的パターンを少なくとも部分的に示す少なくとも１つの特性信号を導出するステップであって、前記特性信号の導出は、前記検出された評価パラメータに基づいて実行される、前記少なくとも１つの特性信号を導出するステップとを含む、前記処理するステップと
    を含む、方法。
14. 前記画像サンプルは、さらに所望の対象動きを示す、請求項１３に記載の方法。
15. 前記評価パラメータに基づき、前記少なくとも１つの特性信号を導出するための前記動き補償された画像サンプルの処理を選択的に実行し又は省くステップと、
    少なくとも１つのバイタル信号を表す、前記特性信号における時間変動を決定するステップとをさらに含む、請求項１３又は１４に記載の方法。

Images