JP6849684B2

JP6849684B2 - 対象のバイタルサイン情報を含むフォトプレチスモグラフ画像を生成するデバイス、システム、及び方法

Info

Publication number: JP6849684B2
Application number: JP2018530713A
Authority: JP
Inventors: ハーンヘラルトデ; モコアンドレイア
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2016-01-15
Filing date: 2017-01-13
Publication date: 2021-03-24
Anticipated expiration: 2037-01-13
Also published as: JP2019505263A; WO2017121834A1; US11191489B2; EP3402402A1; CN108471989A; US20220054089A1; US20190000391A1; CN108471989B

Description

本発明は、人（例えば、患者、高齢者、赤ちゃんなど）又は動物などの対象のバイタルサイン情報を含むフォトプレチスモグラフ画像を生成するデバイス、システム及び方法に関する。

例えば心拍数（ＨＲ）、呼吸数（ＲＲ）又は動脈の血中酸素飽和といった人のバイタルサインは、人の現在の状態のインジケータとして、及び重大な医学イベントの強力な予測器として機能する。このため、バイタルサインは、入院患者及び外来患者看護設定において、在宅で、又は、更なる健康、余暇及びフィットネス設定において広範囲にモニタされる。

バイタルサインを測定する１つの態様は、プレチスモグラフィである。プレチスモグラフィは一般に、器官又は体部位のボリューム変化の測定を意味し、特に鼓動毎に対象の体を通り進行する心血管パルス波が原因によるボリューム変化の検出を指す。

フォトプレチスモグラフィ（ＰＰＧ）は、関心領域又はボリュームの光反射率又は透過の時間変動変化を評価する光学測定技術である。ＰＰＧは、血液が周囲組織より多くの光を吸収する原理に基づかれる。そのため、すべての鼓動に伴う血液量における変動は、これに対応して透過又は反射率に影響を及ぼす。心拍に関する情報の他に、ＰＰＧ波形は、例えば呼吸といった更なる生理的現象に起因する情報を有することができる。異なる波長（典型的に赤及び赤外線）での透過性及び／又は反射率を評価することにより、血中酸素飽和が決定されることができる。

対象の心拍数及び（動脈の）血中酸素飽和（Ｓｐ０２とも呼ばれる）を測定する従来のパルスオキシメータ（本書において接触ＰＰＧデバイスとも呼ばれる）は、対象の皮膚に、例えば指先、耳たぶ又は額に付けられる。従って、それらは、「接触」ＰＰＧデバイスと呼ばれる。典型的なパルスオキシメータは、光源としての赤色ＬＥＤ及び赤外線ＬＥＤと、患者組織を通過した光を検出する１つのフォトダイオードとを有する。市販のパルスオキシメータは、赤及び赤外線波長での測定の間を高速に切り替え、これにより、組織の同じ領域又はボリュームの透過性を２つの異なる波長で測定する。これは、時間分割多重化と呼ばれる。各波長での時間にわたる透過性は、赤及び赤外線波長に関するＰＰＧ波形を与える。接触ＰＰＧは、基本的に非侵襲性技術と考えられるが、接触ＰＰＧ測定はしばしば、不快な及び目障りなものとして経験される。なぜなら、パルスオキシメータが、対象に直接付けられ、任意のケーブルが、移動する自由を制限し、ワークフローを妨げることがあるからである。同じことが、呼吸測定のための接触センサにも当てはまる。斯かる接触センサは、（例えば、火傷の患者及び早産児の）非常に敏感な皮膚のため、事実上不可能である場合がある。

近年では、目立たない測定に関して非接触、遠隔ＰＰＧ（ｒＰＰＧ）デバイス（本書においてカメラｒＰＰＧデバイスとも呼ばれる）が導入された。遠隔ＰＰＧは、関心対象から離れて配置される光源を利用するか、又は一般の放射線源を利用する。同様に、検出器、例えば、カメラ又は光検出器も、関心対象から離れて配置されることができる。従って、遠隔フォトプレチスモグラフシステム及びデバイスは、目立たないと考えられ、医療用途だけでなく非医学的な日々の用途にもよく適している。しかしながら、遠隔ＰＰＧデバイスは概して、より低い信号対ノイズ比を実現する。

Ｖｅｒｋｒｕｙｓｓｅらによる「Ｒｅｍｏｔｅｐｌｅｔｈｙｓｍｏｇｒａｐｈｉｃｉｍａｇｉｎｇｕｓｉｎｇａｍｂｉｅｎｔｌｉｇｈｔ」、ＯｐｔｉｃｓＥｘｐｒｅｓｓ、１６（２６）、２２Ｄｅｃｅｍｂｅｒ２００８、ｐｐ．２１４３４-２１４４５は、環境光と、赤、緑及び青色チャネルを用いる従来の消費者向けレベルのビデオカメラとを用いて、フォトプレチスモグラフ信号がリモートで測定されることができることを示す。

ＰＰＧ技術を用いて、バイタルサインは測定されることができる。これは、脈動する血液量によりもたらされる皮膚における分光吸収変化により、即ち、血液量パルスによりもたらされるヒト皮膚の周期的な変色により、明らかにされる。この信号は非常に小さく、照明変化及び運動が原因でかなり大きな変動に隠されるので、一般的な関心は、基本的に低い信号対ノイズ比（ＳＮＲ）を改良することにある。激しい運動を伴う、チャレンジングな環境照明状態である、又は高い精度が必要とされる用途であるといった厳しい状況がなお存在する。そこでは、特に、より危機的なヘルスケア用途に対して、バイタルサイン測定デバイス及び方法の改良された堅牢性及び精度が必要とされる。

モーション堅牢性を達成するため、パルス抽出法は、動きにより通常誘導される最も一般的な歪みの方向とは異なる、正規化されたＲＧＢ色空間における方向を持つ色変化から利益を得る。ロバストなパルス信号抽出に関する既知の方法は、歪み信号を除去するため、正規化されたＲＧＢ色空間における血液量パルスの既知の固定された向きを使用する。更なる背景は、Ｇ．ｄｅＨａａｎ及びＡ．ｖａｎＬｅｅｓｔによる「Ｉｍｐｒｏｖｅｄｍｏｔｉｏｎｒｏｂｕｓｔｎｅｓｓｏｆｒｅｍｏｔｅ-ＰＰＧｂｙｕｓｉｎｇｔｈｅｂｌｏｏｄｖｏｌｕｍｅｐｕｌｓｅｓｉｇｎａｔｕｒｅ」、Ｐｈｙｓｉｏｌ．Ｍｅａｓ．３５１９１３、２０１４に記載され、これは、動脈血及び無血皮膚の異なる吸収スペクトルが、正規化されたＲＧＢ空間における非常に特定のベクトルに沿って変動が起こることをもたらすことを記載する。正確なベクトルは、所与の光スペクトル及びカメラにおける光学フィルタの伝達特性に関して決定されることができる。この「シグネチャー」は、ブラインドソース分離に基づかれる最近の方法より、更には以前に公開されたクロミナンスベースの方法よりもはるかに優れたモーション堅牢性を備えたｒＰＰＧアルゴリズムを設計するために使用されることができることが示される。

カメラベースのバイタルサインモニタリングにおける次の課題は、ＰＰＧ撮像である。本質的に、カメラベースのアプローチは、空間的に変化するＰＰＧ振幅及びその誘導されたバイタルサイン（局所ＳｐＯ２、局所潅流など）をマッピングするために使用される。この新しい技術が、（手術後又は手術中に皮膚上で又は内部で）例えば傷の治癒、病変の分析に関する新しい診断手段を可能にし、及び癌検出（例えば、メラノーマ、しかしおそらく食道癌、結腸癌なども）を可能にすることが期待される。

Ａ．Ａ．Ｋａｍｓｈｉｌｉｎ、Ｅ．Ｎｉｐｐｏｌａｉｎｅｎ、Ｉ．Ｓｉｄｏｒｏｖ、Ｐ．Ｖ．Ｖａｓｉｌｅｖ、Ｎ．Ｐ．Ｅｒｏｆｅｅｖ、Ｎ．Ｐ．Ｐｏｄｏｌｉａｎ、及びＲ．Ｖ．Ｒｏｍａｓｈｋｏによる「Ａｎｅｗｌｏｏｋａｔｔｈｅｅｓｓｅｎｃｅｏｆｔｈｅｉｍａｇｉｎｇｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ」、Ｓｃｉ．Ｒｅｐ．５（２０１５）は、モノクロカメラからＰＰＧ画像を構築するシステムを開示する（及びＰＰＧ振幅が最も強い５５０ｎｍに近い５２５ｎｍでこのシステムを作動させることを述べる）。

ＭａｒｋｕｓＨｕｌｓｂｕｓｃｈによる「Ｅｉｎｂｉｌｄｇｅｓｔｕｔｚｔｅｓ，ｆｕｎｋｔｉｏｎｅｌｌｅｓＶｅｒｆａｈｒｅｎｚｕｒｏｐｔｏｅｌｅｋｔｒｏｎｉｓｃｈｅｎＥｒｆａｓｓｕｎｇｄｅｒＨａｕｔｐｅｒｆｕｓｉｏｎ」、Ｄｉｓｓｅｒｔａｔｉｏｎ，ＴｅｃｈｎｉｓｃｈｅＨｏｃｈｓｃｈｕｌｅＡａｃｈｅｎ，２８Ｊａｎｕａｒｙ２００８は、皮膚灌流の評価のための光電子カメラベースの測定概念を開示する。動き誘起アーチファクトの検出及び最小化のため、動き補償に関する異なる戦略が調査されている。

本発明の目的は、運動に対して、特に心弾動（ＢＣＧ）運動に対して妥当性及び堅牢性が高められた、対象のバイタルサイン情報を含むＰＰＧ画像を生成するデバイス、システム及び方法を提供することである。

本発明の第１の態様では、対象のバイタルサイン情報を含むＰＰＧ画像を生成するデバイスが提示され、これは、
少なくとも２つの異なる波長チャネルにおける対象の皮膚領域の画像データを取得する入力インタフェースであって、上記画像データが、経時的に上記皮膚領域を透過又はこれから反射した光を検出することにより取得される２つ以上の画像フレームを含み、
上記画像データは、上記少なくとも２つの異なる波長チャネルにおける波長依存の反射又は透過情報を含む、入力インタフェースと、
画素毎又は画素群毎に時変パルス信号を得るため、上記少なくとも２つの異なる波長チャネルの画像データ値を、画素毎又は画素群毎及び時間瞬間毎に結合する結合ユニットであって、上記結合ユニットが、上記少なくとも２つの異なる波長チャネルの画像データ値を時間的に正規化された波長チャネル又は波長チャネルの対数の重み付けされた組み合わせとして結合し、上記組み合わせに使用される上記重みの合計が実質的にゼロである、結合ユニットと、
少なくとも２つの画像フレームを含む時間ウィンドウにおける各パルス信号の特性からフォトプレチスモグラフ画像を生成する画像生成ユニットとを有する。

本発明の更なる態様では、対象のバイタルサイン情報を含むＰＰＧ画像を生成するシステムが提示され、このシステムは、
少なくとも２つの異なる波長チャネルにおける対象の皮膚領域の画像データを取得する撮像ユニットであって、上記画像データが、経時的に上記皮膚領域を透過又はこれから反射した光を検出することにより取得される２つ以上の画像フレームを含み、上記画像データは、上記少なくとも２つの異なる波長チャネルにおける波長依存の反射又は透過情報を含む、入力インタフェースと、
取得された画像データから対象のバイタルサイン情報を含むフォトプレチスモグラフ画像を生成する本書で開示されるデバイスとを有する。

本発明の更に別の態様では、対応する方法、コンピュータで実行されるとき本書に開示される方法のステップをコンピュータに実行させるプログラムコード手段を有するコンピュータプログラム、及びプロセッサにより実行されるとき、本書に開示される方法を実行させるコンピュータプログラムが格納された非一時的コンピュータ可読記録媒体が提供される。

本発明の好ましい実施形態は、従属項において規定される。請求項に記載の方法、システム、コンピュータプログラム及び媒体は、請求項に記載されるデバイス及び従属項に規定されるデバイスと類似する及び／又は同一の好ましい実施形態を持つ点を理解されたい。

モノクロームカメラ信号を使用すると、既知の方法で行われるように、変化する血液量が原因による皮膚における吸収変動は、動きによる変動と区別されることができない。運動の影響を制限するよう注意が払われても、運動がパルスに同期している場合、手段（基準ＰＰＧ信号と相関する心拍数の周りの狭帯域通過フィルタリング）は無効であることが分かっている。斯かる心周期同期運動は、より大きな動脈の近くで一般的であり、触診可能でさえあり、他の場所で役割を果たすと疑われる可能性がある。なぜなら、ＰＰＧ信号が非常に小さいからである。特に、皮膚が不均一に照明されるとき、皮膚の法線と入射光との間の角度が最も大きく、問題が悪化する。上腕動脈近傍の手首の皮膚は、明確な例を提供する。

実験では、上腕動脈を覆う皮膚は、不透明なインクで覆われていたため、インクセンサによりアーチファクトのみが得られる。心弾道アーチファクトの大きさは、手のひらで最も強いＰＰＧ信号（０．００５ＡＣ／ＤＣ）に匹敵し、手首において隣接するＰＰＧ信号の振幅を５倍上回ることが観察されることができる。

本発明は、ＰＰＧ画像において運動の影響を大幅に低減する手法を提案する。特に、２つ以上の異なる波長チャネルのマッピングが作られ、その結果、得られる画素値が、運動に対して鈍感でありながら、ＰＰＧ変化に対して依然として敏感である。局所ＰＰＧ振幅画像といった生物物理学的（即ちバイタルサイン関連）情報又は派生情報が、少なくとも２つの画像期間の（即ち、少なくとも２つの画像期間をカバーする）時間ウィンドウにわたって得られる異なる波長チャネルの画像データを、生物物理学的情報を含む少なくとも１つの出力ＰＰＧ画像に結合することにより得られる。

これにより、ＰＰＧ画像は一般に、少なくとも２つの画像フレームを含む時間ウィンドウにおけるそれぞれのパルス信号の特性から生成される。特に、パルス信号の変動は、パルス信号に対応する空間的位置におけるＰＰＧ画像の画像値として評価及び反映される。従って、出力画像は、時間ウィンドウごとに、単一のＰＰＧ画像となり、この画像は好ましい実施形態では、パルス信号の特性として、局所潅流（又はパルス信号（又はＰＰＧ信号）のＤＣレベルに正規化されたパルス信号（又はＰＰＧ信号）のＡＣ信号部分の振幅と理解され得る局所的な脈動性）の関数を示し、又はパルス信号の局所位相（局所的に撮像された血管の大きさにも依存し得る、例えば血液の移動時間により、位相が変化する）の関数を示し、又はパルス信号の局所的な振幅の関数を示し、又はパルス信号の標準偏差の関数を示す。従って、出力画像は、個々のパルス信号のそれぞれの特性の空間的変化をキャプチャする。空間変化のスケーリング及びバイアス（コントラスト及びゼロレベル）は、必要に応じて変化されることができる（例えば、最大コントラストに関する自動スケーリング、又は絶対脈動性を知るための固定スケーリング）。特性は、画像に直接マッピングされることもできるが、線形又は非線形関数を使用してマッピングされることもできる。例えば、ガンマ補正、コントラストを改善するためのバイアスの減算、振幅の代わりにエネルギーを示すための二乗化、振幅の代わりにエネルギーを使用する、標準偏差の代わりに分散を使用するなどである。

上記少なくとも２つの異なる波長チャネルの画像データ値は、時間的に正規化された波長チャネル又は波長チャネルの対数の重み付けされた組み合わせとして結合され、上記組合せに使用される重みの和は実質的にゼロである。従って、本発明は、運動、特にＢＣＧ運動が、ＰＰＧ信号よりも波長チャネルにおいて異なる相対強度を生じさせるという知見から利益を得る。代わりに、Ｈｕｌｓｂｕｓｃｈは、ＨＦ環境光のちらつきを排除することを目的としたチャネルの組み合わせ（緑色及び赤色）を作り、ちらつきのエネルギーを最小化する重み付けされた組み合わせを適用する。これは、ＢＣＧ運動を排除するために使用されることができない。なぜなら、この運動が（ＰＰＧ信号と同じく）頻脈（pulse-frequent）であり、Ｈｕｌｓｂｕｓｃｈに基づいて適切な重みが決定されることができないからである。対照的に、本発明によれば、時間正規化された波長チャネル（又は波長チャネルの対数バージョン）が使用され、加えるとゼロになる重みを選択することによりＢＣＧ運動が消滅する。

計算は、（重なり合わないか又は部分的に重なり合った）時間ウィンドウにおいて繰り返されてもよく、従って、例えば局所的な灌流の時間発展のビデオ（即ち、画像シーケンス）を提供する。

一実施形態では、上記結合ユニットは、上記少なくとも２つの異なる波長チャネルの画像データ値を、特に時間的に正規化された波長チャネルの加重平均として結合するよう構成され、重みの合計が実質的にゼロであり、上記画像生成ユニットは、上記時変パルス信号の上記時間変化の振幅マップ及び／又は位相マップを、フォトプレチスモグラフ画像として計算する。

一実施形態では、上記画像生成ユニットが、上記各パルス信号と基準信号との内積として上記振幅マップを計算し、及び／又は基準信号に関して上記位相マップの位相を計算する。このデバイスは、モーションロバストなフォトプレチスモグラフィ信号抽出アルゴリズムを使用して、上記基準信号を計算する計算ユニットを更に有することができる。これにより、基準信号は、正規化された血液量パルスベクトルシグネチャベースの方法（即ち、Ｐｂｖ法）、クロミナンスベースの方法（即ち、ＣＨＲＯＭ法）、ブラインドソース分離法（ＢＳＳ法）、主成分分析（ＰＣＡ）、又は独立成分分析（ＩＣＡ）を用いて、上記画像フレーム内における複数の画素によりカバーされる皮膚領域（即ち大きな皮膚領域）から計算されることができる。従って、基準信号は、画像における選択された画素群の信号を平均化することにより得られる信号から得られることができる。代替的に、それは対象に取り付けられた接触センサから得られることができる。

一般に、ＰＰＧ信号は、皮膚における血液量の変動に起因する。従って、変化は、反射／透過光の異なるスペクトル成分で見るとき、特徴的な脈動性「シグネチャー」を与える。このシグネチャーは基本的に、血液の吸収スペクトルと無血液の皮膚組織の吸収スペクトルとのコントラスト（差）として生じる。検出器、例えばカメラ又はセンサは、それぞれが光スペクトルの特定の部分を検出する離散的な数のカラーチャネルを持ち、これらのチャネルにおける相対的な拍動性が、「正規化された血液量ベクトル」Ｐｂｖとも呼ばれる「シグネチャベクトル」に配置されることができる。参照により本明細書に組み込まれる、Ｇ．ｄｅＨａａｎ及びＡ．ｖａｎＬｅｅｓｔによる「Ｉｍｐｒｏｖｅｄｍｏｔｉｏｎｒｏｂｕｓｔｎｅｓｓｏｆｒｅｍｏｔｅ-ＰＰＧｂｙｕｓｉｎｇｔｈｅｂｌｏｏｄｖｏｌｕｍｅｐｕｌｓｅｓｉｇｎａｔｕｒｅ」、Ｐｈｙｓｉｏｌ．Ｍｅａｓ．３５１９１３、２０１４には、このシグネチャベクトルが既知であれば、カラーチャネル及びシグネチャベクトルに基づきモーションロバストなパルス信号抽出が可能であることが記載される。パルス信号の品質に関しては、シグネチャーが正しいことが重要である。なぜなら、そうでなければ既知の方法は、シグネチャベクトルにより示される正規化されたカラーチャネルとパルスベクトルとの所定の相関を達成するため、ノイズを出力パルス信号に混合するからである。

Ｐｂｖ法の詳細及び正規化された血液量ベクトル（「基準生理学的情報を示す所定の向きを持つ所定の指標要素」と呼ばれる）の使用は、ＵＳ２０１３／２７１５９１Ａ１号に記載され、これらの詳細も参照により本書に組み込まれる。

計算ユニットは更に、上記少なくとも２つの異なる波長チャネルを重み付けするための上記重みを計算するよう構成されてもよい。上記基準信号を計算するのに使用されるのと同じアルゴリズム及び方法がここで使用されてもよい。重みは特に、（ＳＮＲが低すぎるので）局所画素値自体からではなく、より大きな画素群からであってもよい。

更に別の実施形態では、上記画像生成ユニットが、上記生成された振幅マップと、単一波長チャネルの画像データから生成された単一チャネル振幅マップとの間の重み付けされた差を計算することにより、モーションマップを更に生成する。代替的に、このモーションマップは、運動の「シグネチャー」ベクトル（３つの波長システムに対して[１１１]）を使用して、即ち、運動信号の相対強度がすべての波長チャネルで同一であるとの知識を用いて、異なる波長チャネルの重み付けされた合計として直接的に計算されることができる。モーションマップは、診断に有用な追加情報を提供することができる。

更に、一実施形態では、上記画像生成ユニットが、上記振幅マップ、位相マップ、及びモーションマップの１つ又は複数を使用して、所定のモーションアーチファクト閾値未満のモーションアーチファクト若しくは最小のモーションアーチファクトを示す、及び／又は所定の心弾道運動閾値を超える心弾道運動若しくは最大の心弾道運動を示す、及び／又は所定のフォトプレチスモグラフ情報閾値を超えるフォトプレチスモグラフ情報若しくは最も強いフォトプレチスモグラフ情報を示す、上記取得された画像データの画像領域をグループ化する。グループ化はまた、基準信号を提供するために最良のカメラセンサ（即ち、取得された画像フレームにおける画像領域）を選択するために反復されてもよい。

画像データは、少なくとも２つの異なる波長チャネルにおいて対象の皮膚領域の画像フレームの時間的シーケンスを取得する撮像ユニット、特にカメラにより取得される。撮像ユニットは、皮膚領域を透過又はこれから反射される特に少なくとも４００ｎｍから１２００ｎｍの間の波長範囲における光を検出する。上記画像データは、上記少なくとも２つの異なる波長チャネルにおける波長依存の反射又は透過情報を含む。

有利には、上記撮像ユニットは、特に約４５０ｎｍ、５５０ｎｍ及び６５０ｎｍで中心化される、又は６５０ｎｍ、７５０ｎｍ及び８５０ｎｍ（これは、波長の侵入深さがより同質であるという利点を持つ）で中心化される、少なくとも３つの波長チャネルを提供するベイヤーパターンフィルタを含む光検出アレイ、特に２次元画像センサを有する。しかしながら、個々の波長ごとに別々の２Ｄ光センサを使用することも可能である（各２Ｄ光センサは、例えば６５０ｎｍ、７５０ｎｍ及び８５０ｎｍに関する異なるフィルタを具備する）。この場合、センサは（同じ皮膚領域を感知するために）整列されるべきである。これは、光学手段（例えば色分解プリズム）を使用して、又は電気的手段（例えば、画像位置合わせ）を使用して行われることができる。

一般的に、波長の選択には多くの自由度がある。波長が血液吸収が非常に異なるスペクトル領域に対応する場合、有利である。しかし、不可視光に対する好み、センサの限界、効率的な光源の入手可能性など、ここで最も論理的な選択を妨げる理由が存在する場合がある。

一般に、電磁放射線、特に光と生体組織との相互作用は複雑であり、（多重）散乱、後方散乱、吸収、透過及び（拡散）反射の（光学）プロセスを含む。本発明の文脈において使用される「反射する」という用語は、鏡面反射に限定されるものではなく、電磁放射線、特に光と組織との前述のタイプの相互作用、及びこれらの任意の組み合わせを含む。

対象のバイタルサイン情報信号を得るため、皮膚領域における皮膚画素領域のデータ信号が評価される。ここで、「皮膚画素領域」は、１つの皮膚画素又は隣接する皮膚画素群を含む領域を意味し、即ち、データ信号は、単一の画素又は皮膚画素群に関して得られることができる。

システムは更に、上記少なくとも２つの異なる波長チャネルにおける光で対象の皮膚領域を照明する照明ユニット、例えば組織から離れて配置される光源を有することができる。これは、画像データの取得及び得られたＰＰＧ画像の品質を更に改善する。

好ましくは、上記照明ユニットが、上記対象のパルスの周波数帯域外の、特に２００ＢＰＭを超える変調周波数を持つ変調された光を放射する。例えば、一実施形態では、上記照明ユニットは、変調信号、特に

を使用して振幅変調された光を放射するよう構成される。ここで、特に小さな変調係数

は、

の範囲にある。照明ユニットを変調する代わりに、一定の照明を使用して、すべての個々の波長チャネルにこの変調を適用することも同等に可能であり、これは同等の効果を提供する。

別の実施形態では、照明ユニットは、偏光を放射するよう構成され、撮像ユニットは、偏光子を有する。これは、皮膚における鏡面反射に対する感度を低下させる。

本発明によるシステムの第１の実施形態の概略ダイアグラムを示す図である。酸素化血液及び非酸素化血液の吸収スペクトルのダイアグラムを示す図である。本発明によるデバイスの第１の実施形態の概略ダイアグラムを示す図である。本発明によるシステムの第２の実施形態の概略ダイアグラムを示す図である。本発明によるデバイスの第２の実施形態の概略ダイアグラムを示す図である。

本発明のこれら及び他の側面が、以下に説明される実施形態から明らかとなり、これらの実施形態を参照して説明されることになる。

図１は、本発明によるシステム１０の概略図を示し、このシステムは、対象を透過又はこれから反射された検出された電磁放射から、対象１４のバイタルサイン情報（特に、バイタルサイン情報信号）を含むフォトプレチスモグラフ画像（ＰＰＧ画像）を生成するデバイス１２を含む。患者１４は、この例では、患者であり、例えば病院又は他の医療施設においてベッド１６に横たわる。しかし、例えばインキュベーターに横たわる新生児若しくは未熟児、自宅にいる人、又はスポーツをしているアスリートなど、異なる環境にいる人であってもよい。関心領域は、皮膚とすることができるが、内臓器官であってもよく、この場合、手術中に画像が手術室において記録されてもよい。以下の説明では、関心領域に関する例として皮膚領域が使用されるが、本書の説明は、関心領域としての内臓器官にも同様に適用される。

以下の説明のため、決定されるべきバイタルサイン情報は、拍動性又は血液灌流とすることができるが、他の種類のバイタルサイン情報が取得され、ＰＰＧ画像において示されることもできる。

代替的に（好ましくは）又は一緒に使用され得る、対象を透過する又はこれから反射される電磁放射線を検出する撮像ユニット（又は検出器）に関する異なる実施形態が存在する。システム１０の実施形態では、撮像ユニットの２つの異なる実施形態が示され、以下に説明される。撮像の両方の実施形態は、少なくとも２つの異なる波長チャネルにおける対象の皮膚領域の画像データを取得するよう構成される。この画像データは、経時的に皮膚領域を透過又はこれから反射された光を検出することにより取得される２つ以上の画像フレームを含み、上記少なくとも２つの異なる波長チャネルにおける波長依存の反射又は透過情報を含む。

一実施形態では、撮像ユニットは、時間にわたり対象１４の画像フレームを（遠隔的かつ目立たずに）キャプチャする、特に対象１４の画像フレームのシーケンスを取得する適切な光センサを含むカメラ１８（カメラベース又はリモートＰＰＧセンサとも呼ばれる）を有する。この画像フレームから、フォトプレチスモグラフ信号が得られることができる。カメラ１８によりキャプチャされる画像フレームは特に、例えば（デジタル）カメラにおけるアナログ又はデジタルフォトセンサを用いてキャプチャされるビデオシーケンスに対応することができる。斯かるカメラ１８は通常、例えばＣＭＯＳ又はＣＣＤセンサといったフォトセンサを含む。これは、特定のスペクトル範囲（可視、ＩＲ）において作動することもでき、又は異なるスペクトル範囲に関する情報を提供することもできる。カメラ１８は、アナログ又はデジタル信号を提供することができる。画像フレームは、関連付けられる画素値を持つ複数の画像画素を含む。特に、画像フレームは、フォトセンサの異なる感光性要素でキャプチャされる光強度値を表す画素を含む。これらの感光性要素は、特定のスペクトル範囲（即ち、特定の色又は波長の重み付けされた和を表す）において敏感であり得る。画像フレームは、対象の皮膚部分を表す少なくともいくつかの画像画素を含む。これにより、画像画素は、光検出器の１つの感光性要素及びその（アナログ又はデジタル）出力に対応してもよく、又は複数の感光性要素の組み合わせ（例えば、ビニング又は空間フィルタリングを介して）に基づいて決定されてもよい。

別の実施形態では、撮像ユニットは、フォトプレチスモグラフ信号を取得するため対象１４の皮膚部分に取り付けられるよう構成された１つ又は複数の光学式フォトプレチスモグラフセンサ１９（接触ＰＰＧセンサとも呼ばれる）を含む。ＰＰＧセンサ１９は例えば、可能なすべての実施形態のうちのいくつかを挙げるに過ぎないが、血中酸素飽和度を測定するため対象の額に付けられたパッチ、又は心拍数を測定する心拍センサの形態で設計されてもよい。

カメラ１８を使用するとき、システム１０は更にオプションとして、患者の顔の皮膚（例えば、頬又は額の一部）といった関心領域２４を、（例えば、赤色、緑色及び／又は赤外線の波長範囲内の）１つ又は複数の所定の範囲における光で照明／照射する、例えばランプ又はＬＥＤといった照明ユニット２２（照明源又は光源又は電磁放射体とも呼ばれる）を含むことができる。上記照明に基づき上記関心領域２４から反射される光は、カメラ１８により検出される。別の実施形態では、専用の光源は提供されず、対象１４の照明に関して、環境光が使用される。反射光から、所望の波長範囲における光（例えば、緑色及び赤色若しくは赤外光、又は少なくとも２つの波長チャネルをカバーする十分に大きな波長範囲における光）のみが検出及び／又は評価されることができる。

デバイス１２は更に、決定された情報を表示する、並びに／又はデバイス１２、カメラ１８、ＰＰＧセンサ１９、光源２２の設定及び／若しくはシステム１０の他の任意のパラメータを変更するためのインタフェースを医療従事者に提供するインタフェース２０に接続される。斯かるインタフェース２０は、異なるディスプレイ、ボタン、タッチスクリーン、キーボード又は他の人間機械インタフェース手段を有することができる。

図１に示されるようにシステム１０は例えば、病院、ヘルスケア施設、高齢者ケア施設等において配置されることができる。患者のモニタリングとは別に、本発明は、新生児モニタリング、一般監視アプリケーション、セキュリティモニタリング、又はフィットネス機器、ウェアラブル、スマートフォンのようなハンドヘルドデバイスといったいわゆるライブスタイル環境などの他の分野にも適用されることができる。デバイス１２、カメラ１８、ＰＰＧセンサ１９及びインタフェース２０の間の単方向又は双方向通信は、無線又は有線通信インタフェースを介して動作することができる。本発明の他の実施形態は、スタンドアロンではなく、カメラ１８又はインタフェース２０に一体化されたデバイス１２を含むことができる。

（正規化された）検出信号Ｃｎからパルス信号Ｓを得るいくつかの既知の方法が存在する。この方法は、ＩＣＡ、ＰＣＡ、Ｐｂｖ、ＣＨＲＯＭ、及びＰｂｖ／ＣＨＲＯＭにより導かれるＩＣＡ／ＰＣＡと呼ばれる。これらは、上記のｄｅＨａａｎ及びｖａｎＬｅｅｓｔの論文に記載される。これらの方法は、異なる波長チャネルの混合物、例えばカラービデオカメラからの赤、緑、青の信号としてパルス信号Ｓを提供するものとして解釈されることができる。しかし、それらは、最適な重み付け方式を決定する態様において異なる。これらの方法では、結果として得られる重みは、歪みが消滅する混合物を目的とする。即ち「重み付けベクトル」は、対象の動き及び／又は照明の変動により通常もたらされる主な歪みに実質的に直交する。

以下では、Ｐｂｖ法に関するいくつかの基本的な考察が簡単に説明される。

心臓の鼓動は、動脈における圧力変動をもたらす。なぜなら、心臓が、血管床の抵抗に抗って血液を送り出すからである。動脈は弾性的であるので、その直径は、圧力変動に同期して変化する。これらの直径の変化は、皮膚のより小さな血管においても起こり、血液量の変動が、光の吸収の変化を引き起こす。

単位長正規化血液量パルスベクトル（シグネチャベクトルとも呼ばれる）がＰｂｖとして定義され、赤、緑、青のカメラ信号において相対的なＰＰＧ強度を提供する。期待値を定量化するため、赤、緑及び青チャンネルの応答Ｈｒｅｄ（ｗ）、Ｈｇｒｅｅｎ（ｗ）及びＨｂｌｕｅ（ｗ）がそれぞれ、グローバルシャッターカラーＣＣＤｃａｍｅｒａ１の波長ｗ、対象の皮膚反射率

、及び使用される絶対ＰＰＧ振幅曲線ＰＰＧ（ｗ）の関数として測定される。これらの曲線から、例えば上記のｄｅＨａａｎ及びｖａｎＬｅｅｓｔの論文の図２に示されるように、血液量パルスベクトルＰｂｖは、

として計算され、これは、白色のハロゲン照明スペクトルＩ（ｗ）を使用して、正規化されたＰｂｖ=[０．２７、０．８０、０．５４]をもたらす。よりノイズの多い曲線を使用するとき、結果はＰｂｖ=[０．２９、０．８１、０．５０]になる。

使用されたモデルにより予測された血液量パルスは、白色照明条件下で複数の対象の測定値を平均した後に発見される、実験的に測定された正規化血液容量パルスベクトルＰｂｖ=[０．３３、０．７７、０．５３]に合理的にうまく対応する。この結果から、観察されるＰＰＧ振幅は、特に赤色で、及びより小さな程度において青色カメラチャネルで、５００及び６００ｎｍの間の間隔における波長からのクロストークにより大部分が説明されることができると結論付けられる。正確な血液量パルスベクトルは、モデルが示すように、カメラのカラーフィルタ、光のスペクトル及び皮膚反射率に依存する。実際には、波長チャネルのセットを与えられても、ベクトルは著しく安定することが判明する（ベクトルは、ＲＧＢベースのベクトルと比較して赤外線において異なる）。

更に、白色照明下での赤色、緑色及び青色チャネルにおける皮膚の相対反射率は、皮膚タイプに大きく依存しないことが見出される。これは、血液を含まない皮膚の吸収スペクトルが、メラニン吸収により支配されるためと考えられる。より高いメラニン濃度は絶対吸収をかなり増加させることができるが、異なる波長における相対吸収は同じままである。これは、メラニンの増加が皮膚を暗くするが、皮膚の正常化した色をほとんど変化させないことを意味する。結果として、正規化された血液量パルスＰｂｖもまた、白色照明下でかなり安定的である。赤外線波長では、メラニンの影響は、更に減少される。なぜなら、その最大吸収は、短波長（ＵＶ光）で生じ、長波長で減少するからである。

Ｐｂｖの安定した特性は、血液量変化により引き起こされる色の変化を、代替的な原因による変化から区別するために使用されることができる。得られたパルス信号Ｓは、既知の方法を用いて、個々のＤＣフリー正規化カラーチャネルの線形結合（いくつかの可能な「混合」方法の１つを表す）として書かれることができ、

となり、ここで、

が成り立つ。３×ＮマトリクスＣｎの３つの行のそれぞれは、ＤＣフリーの正規化された赤色、緑色及び青色チャネル信号Ｒｎ、Ｇｎ及びＢｎのＮ個のサンプルを含み、即ち

となる。

ここで、演算子

は平均に対応する。異なる方法間の主な違いは、重み付けベクトルＷの計算にある。１つの方法では、ノイズ及びＰＰＧ信号は、２つのカラーチャネルの線形結合として構築された２つの独立した信号に分離されることができる。１つの組み合わせは、クリーンなＰＰＧ信号に近似し、他の組み合わせは、動きによるノイズを含む。最適化基準として、パルス信号におけるエネルギーが最小化されることができる。別の方法では、パルス信号を得るのに、３つのカラーチャネルの線形結合が用いられることができる。更に別の方法では、この線形結合を見出すのに、ＩＣＡ又はＰＣＡが用いられることができる。重み付けされたどのカラー信号がパルス信号であるかは先験的に知られていないので、それらの全てがパルス信号の周期性を選択基準として使用する。

Ｐｂｖ法は一般に、ＵＳ２０１３／２７１５９１Ａ１号及び上記のｄｅＨａａｎ及びｖａｎＬｅｅｓｔの論文に基本的に記載されるように、血液量パルスベクトルを使用して混合係数を得る。Ｒｎ、Ｇｎ及びＢｎの帯域通過フィルタリングされたバージョンが使用される場合、最良の結果が得られる。この方法によれば、Ｐｂｖの既知の方向は、パルス信号と歪みとを区別するために使用される。これは、パルスがビデオにおける唯一の周期成分であるという（以前の方法の）仮定を取り除くだけでなく、歪み信号の方向に関する仮定も排除する。このため、前と同様、パルス信号は、正規化されたカラー信号の線形結合として構築されると仮定される。赤、緑及び青チャネルにおけるパルス信号の相対振幅がＰｂｖで与えられることが知られているので、パルス信号Ｓを与える重みＷ_ＰＢＶが探索される。これに関して、色チャネルＲｎ、Ｇｎ、及びＢｎとの相関は、Ｐｂｖに等しく、

が成り立つ。結果として、混合を決定する重みは、

により決定され、スカラーｋは、Ｗ_ＰＢＶが単位長を持つよう決定される。正規化された血液量パルスＰｂｖにおいて反映されるＰＰＧ信号の特徴的な波長依存性は、皮膚領域にわたって平均化された時系列ＲＧＢ画素データからパルス信号を推定するのに使用されることができると結論付けられる。このアルゴリズムは、Ｐｂｖ法と呼ばれる。

従って、上述したように、パルス信号は、少なくとも２つの検出信号Ｃｎの加重和として得られる。すべての検出信号Ｃｎはパルス及び異なるレベルの（共通の）ノイズを含むので、（パルス信号を得るための検出信号の）重み付けは、純粋なノイズフリーパルスをもたらすことができる。このため、ＩＣＡ及びＰＣＡを使用してノイズとパルスとを分離することができる。本発明によれば、これは異なる態様で行われる。

図２は、酸素化血液（ＳｐＯ２=１００％）及び非酸素化血液（ＳｐＯ２=６０％）の血液の吸収スペクトルを示す図である。図からわかるように、血液の吸収スペクトルは、酸素飽和度、特に６５０ｎｍ付近の波長に依存する。図２から、緑色波長範囲（約５５０ｎｍ）及び青色波長範囲（約４５０ｎｍ）における吸収がはるかに高いことは明らかである。

図３は、本発明によるデバイス１２の実施形態の概略図を示す。デバイス１２は、少なくとも２つの異なる波長チャネルにおいて対象の皮膚領域の画像データを取得する入力インタフェース３０を有し、上記画像データは、経時的に上記皮膚領域を透過又はこれから反射された光を検出することにより取得された２つ以上の画像フレームを含み、上記画像データは、上記少なくとも２つの異なる波長チャネルにおける波長依存の反射又は透過情報を含む。結合ユニット３１は、画素又は画素群毎に時変パルス信号を得るため、画素又は画素群毎及び時間瞬間毎に上記少なくとも２つの異なる波長チャネルの画像データ値を組み合わせる。画像生成ユニット３２は、少なくとも２つの画像フレームを含む時間ウィンドウにおける個別のパルス信号の特性からフォトプレチスモグラフ画像を生成する。デバイス１２は例えば、プロセッサ又はコンピュータの形で、即ちソフトウェア及び／又はハードウェアで実現されることができる。

好ましくは、結合ユニット３１は、重みの合計が実質的にゼロになるよう、時間ウィンドウにおける時間的に正規化されたチャネルの加重平均として異なる波長チャネルからの画像データを結合する。画像生成ユニット３２は、出力画像として、各画素（群）に関する時間変化の、即ち、上記フォトプレチスモグラフ画像としての上記時変パルス信号の時間変化の振幅及び／又は位相マップを計算する。これにより、振幅マップは、基準信号との個別のパルス信号の内積として計算されてもよく、及び／又は位相マップの位相は、基準信号に関して計算されてもよく、これは、信号のすべて又はサブセットを平均化し、結果を正規化することにより得られることができる。同様に、位相マップの位相は、基準信号に関して計算されてもよく、これは、接触センサから得られるか、又は画像における選択された画素群の信号を平均化することにより得られる信号から得られる。

従って、デバイス１２は、多くの刊行物に記載されるように、画素群ごとに単に既知のモーションロバストＰＰＧ抽出を適用するだけではない。これはうまくいかない。なぜなら、このようにして得られたチャネル重みは、ノイズが多く、これは、不正確なＰＰＧ振幅をもたらすからである。その理由は、センサごとに平均化される画素の数が限られており、及び典型的に固定化された身体部分において動きのひずみが非常に小さいためである。この問題を解決するため、（例えば、比較的大きな皮膚領域における既知のモーションロバストなＰＰＧ抽出方法を使用して）運動を抑制するのに適した安定した重みを得るため、好ましい実施形態では乗法的ノイズ又は変調された光源が適用されることができる（どちらもより強い動きをエミュレートするオプションである）。次に、これらの結果として生じる重みが、チャネルマッピングのため、個々の画素（群）上で逐次使用される。

一実施形態では、上記画像生成ユニット３２は、パルス信号ごとに、上記時間ウィンドウにおける１つ又は複数の拍動性、振幅、位相及び標準偏差の関数を決定し、決定された拍動性、振幅、位相及び／又は標準偏差の関数を、個別のパルス信号に対応する空間位置におけるＰＰＧ画像の画像データ値として使用することができる。従って、ＰＰＧ画像の各画像画素（分光位置）に関して、上記位置に関する対応するパルス信号が時間ウィンドウ内で分析され、特に選択された特性が分析され、これは脈動性、振幅、位相及び／又は標準偏差であり得る。この分析の結果、又は分析された特性の機能、例えば脈動そのもの又は振幅の平均が、ＰＰＧ画像のこの特定の画素における画素値として使用される。

オプションで、デバイス１２は、上述の加重平均を決定するための重みを計算する、及び／又は、モーションロバストなフォトプレチスモグラフ信号抽出アルゴリズムを使用して、上記の基準信号を計算する計算ユニット３３を更に有する。これにより、重み及び／又は上記基準信号は、上記の正規化された血液量パルスベクトルシグネチャーベース法（Ｐｂｖ法）、クロミナンスベース方法（ＣＨＲＯＭ）、ブラインドソース分離（ＢＳＳ）法、主成分分析（ＰＣＡ）又は独立成分分析（ＩＣＡ）のいずれかを用いて、上記画像フレームにおける複数の画素により覆われる大きな皮膚領域から計算されることができる。

より詳細には、基準信号は、記録された画像フレームにおいて関心領域（ＲＯＩ）から得られることができ、ここで、信号とノイズプラス干渉との間の比率が高い（例えば、大きなＲＯＩを選択することでセンサノイズを最小化する、不動化により物理的に動きを減らす、データ収集中の均一な照明条件などによる）。この基準ＲＯＩの画素が結合され（例えば、平均化され）、結果は各カメラチャンネルごとの変調されたストリームである。これらのストリームは好ましくは、ＣＨＲＯＭ又はＰｂｖ法に供給される。これらの方法の両方は、個々の波長チャネルに与えられる重みを生成し、モーションロバスト出力ＰＰＧ信号が得られる。いずれかの方法の結果として得られる重みが、すべての画素又は画素グループのチャネルマッピングに使用されることができる。

出力画像として、モーションマップが決定されることができる。これは、チャネルマッピングから生じる振幅マップと単一波長チャネルからの振幅マップとの間の重み付けされた差として得られる。代替的に、モーションマップを反映する異なる波長チャネルの加重和が直接計算されることができる。

更に、上記振幅マップ、位相マップ及びモーションマップの１つ又は複数を使用して、所定の運動アーチファクト閾値未満の運動アーチファクト若しくは最小運動アーチファクトを示す、及び／又は所定の心弾道運動閾値を超える心弾道運動若しくは最大の心弾道運動を示す、及び／又は所定のフォトプレチスモグラフ情報閾値を超えるフォトプレチスモグラフ情報若しくは最も強いフォトプレチスモグラフ情報を示す、得られた画像データの画像領域がグループ化される。従って、カメラセンサは、（例えば、低レベルのモーションアーチファクトを持つグループ、又は高レベルのＢＣＧ運動を持つグループなどに）グループ化されることができる。グループ分けされたセンサからの信号は、更なる解析のために単一の信号に結合されてもよい（例えば、ＰＰＧ／ＢＣＧ信号の波形）。生理学的情報を導出する前に、高品質の基準信号を提供する最良のカメラセンサを選択するため、グループ化が繰り返されることもできる。ＢＣＧ運動が強いと予想される皮膚部位の例は、頸部の頸動脈、手首の上腕動脈、下腿の大腿動脈及び膝窩動脈などである。更なる例は、コントラストの高い領域（例えば、しわ、毛）及びエッジ（画像部分の境界、例えば２本の指の間の空間）、及び目のような不動化が困難な身体部分である。

更に、時間シフトされた時間ウィンドウから得られた一連の出力画像が計算され、順次表示される。連続する出力画像の時間ウィンドウは、部分的に重なり合っていてもいなくてもよい。

図４は、本発明によるシステム１１の第２の実施形態の概略図を示す。この実施形態では、カメラ１８は、光学検出アレイ、特に２次元画像センサを有し、少なくとも３つの波長チャネルを提供するベイヤーパターンフィルタ１８０を含む。これは特に、約４５０ｎｍ、５５０ｎｍ及び６５０ｎｍで中心化され、又は約６５０ｎｍ、７５０ｎｍ、及び８５０ｎｍで中心化される。別の実施形態（図示省略）では、それぞれの波長チャネルごとに１つの、別々の２次元イメージセンサが使用されることができる。

照明ユニット２２は好ましくは、３つの波長チャネルをカバーする波長範囲、即ち４００ｎｍから１２００ｎｍの間の範囲の光を発する。照明ユニットは、上述したのと同じ波長チャネル、即ち、約４５０ｎｍ、５５０ｎｍ及び６５０ｎｍで中心化され、又は約６５０ｎｍ、７５０ｎｍ及び８５０ｎｍで中心化される光を放射するよう構成されていてもよい。

照明ユニット２２は、特に２００ＢＰＭを超える対象のパルスの周波数帯域外の変調周波数を持つ変調された光を放射するよう構成又は制御されてもよい。特に、振幅変調された光は、変調信号、特に

を用いて放射され、ここでの小さな変調係数

は、

の範囲にある。

更に、照明ユニットは、偏光子２３を用いて偏光を発することができ、撮像ユニット１８は、皮膚における鏡面反射の感度を低下させるため、対応する偏光子１８１を有することもできる。このため、偏光子２３及び１８１は、直交していてもよい。その結果、主に、皮膚に浸透した後に戻る散乱光がカメラに到達し、一方、光源と同じ偏光を持つ鏡面反射光が実質的に遮断される。

図５は、本発明によるデバイス１２'の第２の実施形態の概略図を示す。前処理ユニット４０では、取得されたビデオシーケンスの中央画像フレームに対して画像フレームが位置合わせされる。皮膚のしわや輪郭のような小さな動きに対しても安定化を確保するため、Ｈｏｒｎ-Ｓｃｈｕｎｃｋアルゴリズムが使用されることができる。結果として生じる画像フレームは、その後、ガウスぼかしによりノイズ除去され、５倍に減少される。取得された画像における各画素は、センサ要素と呼ばれる。最後に、皮膚センサは、色の閾値化により背景色（暗い、テクスチャのない）からセグメント化され、大きな基準皮膚ＲＯＩ（ＲＯＩＳｋｉｎ）が（好ましくは手動で）例えば手のひらにおいて境界設定される。

基準信号生成ユニット４１において基準遠隔ＰＰＧ（ｒＰＰＧ）信号を得るため、生のＲＧＢストリームがユーザ定義ＲＯＩ、例えば手のひらから抽出される。マッピングユニット４２において、基準信号は、その「ＤＣ」成分を抽出するため（例えば、９次バターワースフィルタを使用し、カットオフ周波数２０ＢＰＭ）ローパスフィルタリングされ、ＡＣ／ＤＣとして正規化される。次いで、信号は、重複係数５０％で１２８サンプル（約１０心臓サイクルに対応する）のストライドにおいて処理される。各ストライドは減算され、Ｈａｎｎｉｎｇウィンドウと乗算され、心拍数成分の選択により周波数領域でフィルタリングされる。心拍数測定値（即ち瞬間脈拍数）は、例えば検出ユニット４９におけるピーク検出を介して、パルスオキシメトリ（ｃＰＰＧ）から得られる。接触ＰＰＧ（ｃＰＰＧ）により得られた心拍数測定値は、パルス信号の１つ又は複数の高調波のいずれかを選択するために使用される。これは、ＡＢＰＦユニット４３における適応帯域通過フィルタリング（ＡＢＰＦ）と呼ばれる。次いで、信号は、変換ユニット４４において、ヒルベルト変換され、

として単位ノルムに正規化される。

各センサ要素における局所ｒＰＰＧ振幅及び位相を得る局所信号生成ユニット４５における初期処理段階は、ユニット４１における基準遠隔ＰＰＧ信号のものと同様であり、即ちセンサアレイの各列ｍ及び行ｎにおける生のＲＧＢストリームは、マッピングユニット４６において、ＡＣ／ＤＣに対して正規化され、ＣＨＲＯＭ又はＰＢＶに基づきマッピングされ、ＡＢＰＦユニット４７において適応的に帯域通過フィルタリングされる。相関ユニット４８で得られた（ｍ、ｎ）におけるＰＰＧ画像の値は、ＸｓｋｉｎとＳｍ、ｎとの間の正規化された内積であり、即ち

となる。

記載される実施形態では、これまでのところ、上述のＧ．ｄｅＨａａｎ及びＡ．ｖａｎＬｅｅｓｔによる「Ｉｍｐｒｏｖｅｄｍｏｔｉｏｎｒｏｂｕｓｔｎｅｓｓｏｆｒｅｍｏｔｅ-ＰＰＧｂｙｕｓｉｎｇｔｈｅｂｌｏｏｄｖｏｌｕｍｅｐｕｌｓｅｓｉｇｎａｔｕｒｅ」に記載される「ＰＢＶ法」が、計算の基礎として使用される。更なる実施形態では、Ｗ_ＰＢＶの代替物を使用することが可能である。最小限の歪みでカラーチャンネルをバイタルサイン信号に結合するのに使用される重みを計算するため、この論文で言及される他の方法のいずれかを使用することも同様に可能である。特に、クロミナンスベースの方法「ＣＨＲＯ」を用いるとき、良好な解が得られるが、成分選択のためパルス信号の周期性を使用する「ガイドされたＢＳＳベースの方法」及び更に古いＢＳＳベースの方法も実行可能なオプションを提供する。一般に、重みは、少なくともパルス信号の変化を含むようにフィルタリングされたカラー信号から計算され、２つの波長チャネルのみが使用される場合、例えば緑及び赤の場合、正規化された緑色及び赤色の差異も実行可能なオプションを提供し、これは緑色及び赤色のチャンネルの比を近似することが数学的に示されることができる（運動は、両方のチャンネルで同じ強度であり、落ちる。拍動性は異なり、とどまる。この場合、固定重み（１及び−１：Ｇｎ-Ｒｎ=Ｇｎ／Ｒｎ）が使用されることができる。）。

本発明は、信号処理を用いる遠隔ＰＰＧ画像における心弾道アーチファクトのキャンセルを初めて考慮する。この種の運動は、心臓信号と同期しているので、モーションロバストネスを高めるための一般的な戦略は、この干渉源に対して効果がなく、アーチファクトが実際のＰＰＧ信号と混同されるというリスクがある。本発明によれば、遠隔ＰＰＧの分野において心拍数検出のために以前に報告された２つの既知のモーションロバストなチャネルマッピングアルゴリズム、即ちＣＨＲＯＭ及びＰＢＶがＰＰＧ撮像へと拡張されることができることを実証することにより、ＰＰＧ画像の妥当性を改善するため更なるステップが行われる。これらは、心臓関連であるか又は他のソースからであるかにかかわらず、遠隔ＰＰＧセンサ要素における運動源を排除するという利点を提供する。追加の利点は、湾曲した皮膚表面における非直交照射に起因するアーチファクトを補償することにある。モーションロバストなチャネルマッピングに起因するパフォーマンスの向上は、ＰＰＧ画像形成の改善を目的とした追加のプラクティス又は信号処理アプローチにより累積される。

遠隔ＰＰＧ信号（毛細血管床における血液量変化の代用物）及びＢＣＧアーチファクト（動脈運動の代用物）に対する正規化フーリエ係数の共同表現は、これらの信号がわずかに異なり、混同されてはならないことを更に確認する。同じ記録を用いて、ＰＰＧ画像形成の前にＰＰＧセンサ要素からの正規化されたデータをマッピングすることによるＢＣＧ-アーチファクトキャンセレーションの可能性が確認された。ＣＨＲＯＭ又はＰＢＶベースの撮像フレームワークを使用して、手のひら領域におけるＰＰＧ振幅がすべての対象に対して手首より強いことが観察された。補正された位相画像では、手のひら及び手首中心と手のひらの周辺との間に２０から３０度のオーダーの差が観察された。これらは照明条件とはほとんど無関係であり、即ち、横方向又は均質照明は同様の結果を示す。パルス誘起皮膚運動パターンは、不均一な照明条件下で最も顕著であるが、ＢＣＧアーチファクトは、わずかではあるが、均一な照明条件下、高空間周波数部位、例えば皮膚のエッジ、シワ、更にはテクスチャでさえも生じる。

この調査では、両方のアルゴリズムが同等に実行された。実際のシナリオでは、ある方法から他の方法への嗜好は、血液量パルスベクトルＰＢＶの推定の相対的容易さ又は想定される「標準的な皮膚トーンベクトル」における信頼度に依存すべきである。脈拍数周波数の２つの追加の高調波を含むことによる性能上の利点が評価され、結果として得られるＰＰＧ画像の詳細及びＮＲＭＳ性能がわずかに改善されることがわかった。

上述した実施形態は、主に、非接触センサに関して説明された。一般に、同じ方法が接触センサに使用されることもできる。例として、本発明は、ヘルスケアの分野に適用されることができる。例えば目立たない遠隔の患者監視、一般的な監視、セキュリティ監視、及びフィットネス機器などのいわゆるライフスタイル環境に適用される。用途は、指のオキシメータ又は目立たない監視を含むことができる。特に、新しい診断手段、例えば、傷の治癒、病変の分析（手術後又は手術中に皮膚上又は内部的に）、及び癌検出（皮膚上で、例えばメラノーマ。しかし、体内で、例えば食道癌、結腸癌など。）。

本発明が図面及び前述の説明において詳細に図示され及び説明されたが、斯かる図示及び説明は、説明的又は例示的であると考えられ、本発明を限定するものではない。本発明は、開示された実施形態に限定されるものではない。図面、開示及び添付された請求項の研究から、開示された実施形態に対する他の変形が、請求項に記載の本発明を実施する当業者により理解及び実行されることができる。

請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「ａ」又は「ａｎ」は複数性を除外するものではない。単一の要素又は他のユニットが、請求項に記載される複数のアイテムの機能を満たすことができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。

コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学的記憶媒体又は固体媒体といった適切な媒体において格納／配布されることができるが、インターネット又は他の有線若しくは無線通信システムを介してといった他の形式で配布されることもできる。

請求項における任意の参照符号は、発明の範囲を限定するものとして解釈されるべきではない。

Claims

対象のバイタルサイン情報を含むフォトプレチスモグラフ画像を生成するデバイスであって、
少なくとも２つの異なる波長チャネルにおける対象の皮膚領域の画像データを取得する入力インタフェースであって、前記画像データが、経時的に前記皮膚領域を透過又はこれから反射した光を検出することにより取得される２つ以上の画像フレームを含み、前記画像データは、前記少なくとも２つの異なる波長チャネルにおける波長依存の反射又は透過情報を含む、入力インタフェースと、
画素毎又は画素群毎に時変パルス信号を得るため、前記少なくとも２つの異なる波長チャネルの画像データ値を、画素毎又は画素群毎及び時間瞬間毎に結合する結合ユニットであって、前記結合ユニットが、前記少なくとも２つの異なる波長チャネルの画像データ値を時間的に正規化された波長チャネル又は波長チャネルの対数の重み付けされた組み合わせとして結合し、前記組み合わせに使用される前記重みの合計がゼロである、結合ユニットと、
少なくとも２つの画像フレームを含む時間ウィンドウにおける各パルス信号の特性からフォトプレチスモグラフ画像を生成する画像生成ユニットとを有し、
前記結合ユニットが、前記少なくとも２つの異なる波長チャネルの画像データ値を加重和として結合し、前記画像生成ユニットは、前記時変パルス信号の時間変化の振幅マップ及び／又は位相マップを、フォトプレチスモグラフ画像として計算し、
前記画像生成ユニットが、前記各パルス信号と基準信号との内積として前記振幅マップを計算し、及び／又は基準信号に関して前記位相マップの位相を計算する、デバイス。
前記画像生成ユニットが、パルス信号ごとに、前記時間ウィンドウにおける拍動性、振幅、位相及び標準偏差の１つ又は複数の関数を決定し、前記各パルス信号に対応する空間位置におけるフォトプレチスモグラフ画像の画像データ値として、前記決定された拍動性、振幅、位相及び／又は標準偏差の関数を使用する、請求項１に記載のデバイス。
モーションロバストフォトプレチスモグラフィ信号抽出アルゴリズムを使用して、前記加重和を決定するための重みを計算し、及び／又は前記基準信号を計算する計算ユニットを更に有する、請求項１に記載のデバイス。
前記計算ユニットが、正規化された血液量パルスベクトルシグネチャーベースの方法、クロミナンスベースの方法、ブラインドソース分離法、主成分分析又は独立成分分析を使用して、前記画像フレームにおける複数の画素によりカバーされる皮膚領域から前記重み及び／又は前記基準信号を計算する、請求項３に記載のデバイス。
対象のバイタルサイン情報を含むフォトプレチスモグラフ画像を生成するデバイスであって、
少なくとも２つの異なる波長チャネルにおける対象の皮膚領域の画像データを取得する入力インタフェースであって、前記画像データが、経時的に前記皮膚領域を透過又はこれから反射した光を検出することにより取得される２つ以上の画像フレームを含み、前記画像データは、前記少なくとも２つの異なる波長チャネルにおける波長依存の反射又は透過情報を含む、入力インタフェースと、
画素毎又は画素群毎に時変パルス信号を得るため、前記少なくとも２つの異なる波長チャネルの画像データ値を、画素毎又は画素群毎及び時間瞬間毎に結合する結合ユニットであって、前記結合ユニットが、前記少なくとも２つの異なる波長チャネルの画像データ値を時間的に正規化された波長チャネル又は波長チャネルの対数の重み付けされた組み合わせとして結合し、前記組み合わせに使用される前記重みの合計がゼロである、結合ユニットと、
少なくとも２つの画像フレームを含む時間ウィンドウにおける各パルス信号の特性からフォトプレチスモグラフ画像を生成する画像生成ユニットとを有し、
前記結合ユニットが、前記少なくとも２つの異なる波長チャネルの画像データ値を加重和として結合し、前記画像生成ユニットは、前記時変パルス信号の時間変化の振幅マップ及び／又は位相マップを、フォトプレチスモグラフ画像として計算し、
前記画像生成ユニットが、前記生成された振幅マップと、単一波長チャネルの画像データから生成された単一チャネル振幅マップとの間の重み付けされた差を計算することにより、又は前記異なる波長チャネルの加重和を直接計算することにより、モーションマップを更に生成する、デバイス。
対象のバイタルサイン情報を含むフォトプレチスモグラフ画像を生成するデバイスであって、
少なくとも２つの異なる波長チャネルにおける対象の皮膚領域の画像データを取得する入力インタフェースであって、前記画像データが、経時的に前記皮膚領域を透過又はこれから反射した光を検出することにより取得される２つ以上の画像フレームを含み、前記画像データは、前記少なくとも２つの異なる波長チャネルにおける波長依存の反射又は透過情報を含む、入力インタフェースと、
画素毎又は画素群毎に時変パルス信号を得るため、前記少なくとも２つの異なる波長チャネルの画像データ値を、画素毎又は画素群毎及び時間瞬間毎に結合する結合ユニットであって、前記結合ユニットが、前記少なくとも２つの異なる波長チャネルの画像データ値を時間的に正規化された波長チャネル又は波長チャネルの対数の重み付けされた組み合わせとして結合し、前記組み合わせに使用される前記重みの合計がゼロである、結合ユニットと、
少なくとも２つの画像フレームを含む時間ウィンドウにおける各パルス信号の特性からフォトプレチスモグラフ画像を生成する画像生成ユニットとを有し、
前記結合ユニットが、前記少なくとも２つの異なる波長チャネルの画像データ値を加重和として結合し、前記画像生成ユニットは、前記時変パルス信号の前記時間変化の振幅マップ及び／又は位相マップを、フォトプレチスモグラフ画像として計算し、
前記画像生成ユニットが、前記振幅マップ及び位相マップの１つ又は複数を使用して、所定のモーションアーチファクト閾値未満のモーションアーチファクト若しくは最小のモーションアーチファクトを示す、及び／又は所定の心弾道運動閾値を超える心弾道運動若しくは最大の心弾道運動を示す、及び／又は所定のフォトプレチスモグラフ情報閾値を超えるフォトプレチスモグラフ情報若しくは最も強いフォトプレチスモグラフ情報を示す、前記取得された画像データの画像領域をグループ化する、デバイス。
前記画像生成ユニットが、前記振幅マップ、位相マップ、及びモーションマップの１つ又は複数を使用して、所定のモーションアーチファクト閾値未満のモーションアーチファクト若しくは最小のモーションアーチファクトを示す、及び／又は所定の心弾道運動閾値を超える心弾道運動若しくは最大の心弾道運動を示す、及び／又は所定のフォトプレチスモグラフ情報閾値を超えるフォトプレチスモグラフ情報若しくは最も強いフォトプレチスモグラフ情報を示す、前記取得された画像データの画像領域をグループ化する、請求項５に記載のデバイス。
対象のバイタルサイン情報を含むフォトプレチスモグラフ画像を生成するシステムであって、
少なくとも２つの異なる波長チャネルにおける対象の皮膚領域の画像データを取得する撮像ユニットであって、前記画像データが、経時的に前記皮膚領域を透過又はこれから反射した光を検出することにより取得される２つ以上の画像フレームを含み、前記画像データは、前記少なくとも２つの異なる波長チャネルにおける波長依存の反射又は透過情報を含む、撮像ユニットと、
前記取得された画像データから対象のバイタルサイン情報を含むフォトプレチスモグラフ画像を生成するデバイスであって、
前記画像データを取得する入力インタフェースと、
画素毎又は画素群毎に時変パルス信号を得るため、前記少なくとも２つの異なる波長チャネルの画像データ値を、画素毎又は画素群毎及び時間瞬間毎に結合する結合ユニットであって、前記結合ユニットが、前記少なくとも２つの異なる波長チャネルの画像データ値を時間的に正規化された波長チャネル又は波長チャネルの対数の重み付けされた組み合わせとして結合し、前記組み合わせに使用される前記重みの合計がゼロである、結合ユニットと、
少なくとも２つの画像フレームを含む時間ウィンドウにおける各パルス信号の特性からフォトプレチスモグラフ画像を生成する画像生成ユニットとを有するデバイスと、
前記少なくとも２つの異なる波長チャネルにおける光で前記対象の皮膚領域を照明する照明ユニットと、
を有し、
前記照明ユニットが、前記対象のパルスの周波数帯域外の変調周波数を持つ変調された光を放射する、システム。
前記撮像ユニットが、少なくとも３つの波長チャネルを提供するベイヤーパターンフィルタを含む、又は前記少なくとも３つの波長チャネルのそれぞれに別々の２次元画像センサを含む光検出アレイを有する、請求項８に記載のシステム。
前記照明ユニットが、変調信号を用いて振幅変調された光を放射する、請求項８に記載のシステム。
対象のバイタルサイン情報を含むフォトプレチスモグラフ画像を生成する方法において、
少なくとも２つの異なる波長チャネルにおいて対象の皮膚領域の画像データを取得するステップであって、前記画像データが、経時的に前記皮膚領域を透過又はこれから反射した光を検出することにより取得される２つ以上の画像フレームを含み、前記画像データは、前記少なくとも２つの異なる波長チャネルにおける波長依存の反射又は透過情報を含む、ステップと、
画素毎又は画素群毎に時変パルス信号を得るため、前記少なくとも２つの異なる波長チャネルの画像データ値を、画素毎又は画素群毎及び時間瞬間毎に結合するステップであって、前記少なくとも２つの異なる波長チャネルの画像データ値が、時間的に正規化された波長チャネル又は波長チャネルの対数の加重和として結合され、前記加重和に使用される重みの合計がゼロである、ステップと、
少なくとも２つの画像フレームを含む時間ウィンドウにおける各パルス信号と基準信号との内積として振幅マップを計算すること、及び／又は基準信号に関して位相マップの位相を計算することにより、フォトプレチスモグラフ画像を生成するステップとを有する、方法。
対象のバイタルサイン情報を含むフォトプレチスモグラフ画像を生成する方法において、
少なくとも２つの異なる波長チャネルにおいて対象の皮膚領域の画像データを取得するステップであって、前記画像データが、経時的に前記皮膚領域を透過又はこれから反射した光を検出することにより取得される２つ以上の画像フレームを含み、前記画像データは、前記少なくとも２つの異なる波長チャネルにおける波長依存の反射又は透過情報を含む、ステップと、
画素毎又は画素群毎に時変パルス信号を得るため、前記少なくとも２つの異なる波長チャネルの画像データ値を、画素毎又は画素群毎及び時間瞬間毎に結合するステップであって、前記少なくとも２つの異なる波長チャネルの画像データ値が、時間的に正規化された波長チャネル又は波長チャネルの対数の加重和として結合され、前記加重和に使用される重みの合計がゼロである、ステップと、
少なくとも２つの画像フレームを含む時間ウィンドウにおける各パルス信号の特性からフォトプレチスモグラフ画像を生成するステップと、
前記生成された振幅マップと、単一波長チャネルの画像データから生成された単一チャネル振幅マップとの間の重み付けされた差を計算することにより、又は前記異なる波長チャネルの加重和を直接計算することにより、モーションマップを生成するステップと有する方法。
対象のバイタルサイン情報を含むフォトプレチスモグラフ画像を生成する方法において、
少なくとも２つの異なる波長チャネルにおいて対象の皮膚領域の画像データを取得するステップであって、前記画像データが、経時的に前記皮膚領域を透過又はこれから反射した光を検出することにより取得される２つ以上の画像フレームを含み、前記画像データは、前記少なくとも２つの異なる波長チャネルにおける波長依存の反射又は透過情報を含む、ステップと、
画素毎又は画素群毎に時変パルス信号を得るため、前記少なくとも２つの異なる波長チャネルの画像データ値を、画素毎又は画素群毎及び時間瞬間毎に結合するステップであって、前記少なくとも２つの異なる波長チャネルの画像データ値が、時間的に正規化された波長チャネル又は波長チャネルの対数の加重和として結合され、前記加重和に使用される重みの合計がゼロである、ステップと、
少なくとも２つの画像フレームを含む時間ウィンドウにおける各パルス信号の特性からフォトプレチスモグラフ画像を生成するステップと、
前記振幅マップ及び位相マップの１つ又は複数を使用して、所定のモーションアーチファクト閾値未満のモーションアーチファクト若しくは最小のモーションアーチファクトを示す、及び／又は所定の心弾道運動閾値を超える心弾道運動若しくは最大の心弾道運動を示す、及び／又は所定のフォトプレチスモグラフ情報閾値を超えるフォトプレチスモグラフ情報若しくは最も強いフォトプレチスモグラフ情報を示す、前記取得された画像データの画像領域をグループ化するステップとを有する方法。
前記振幅マップ、位相マップ及びモーションマップの１つ又は複数を使用して、所定のモーションアーチファクト閾値未満のモーションアーチファクト若しくは最小のモーションアーチファクトを示す、及び／又は所定の心弾道運動閾値を超える心弾道運動若しくは最大の心弾道運動を示す、及び／又は所定のフォトプレチスモグラフ情報閾値を超えるフォトプレチスモグラフ情報若しくは最も強いフォトプレチスモグラフ情報を示す、前記取得された画像データの画像領域をグループ化するステップをさらに有する、請求項１１に記載の方法。
コンピュータで実行されるときに請求項１１から１４のいずれか一項に記載の方法を前記コンピュータに実行させるコンピュータプログラム。