JP6098257B2 - 信号処理装置、信号処理方法及び信号処理プログラム - Google Patents

Description

本発明は、信号処理装置、信号処理方法及び信号処理プログラムに関する。

信号の波形が類似するか否かを判断する場合に、相関係数が用いられることがある。例えば、相関係数を算出する技術の一例として、次のような心拍計測装置が挙げられる。かかる心拍計測装置は、車両のハンドルに操作者の左右の手に対応して設けた第１の電極及び第２の電極と、リファレンス電位を測定する基準電極とを用いて測定される心電信号から操作者の心拍の間隔を計測するものである。

ここで、上記の心拍計測装置では、心電信号から検出される振幅のピークの時刻を補正する場合に、ハンドルのグリップパターンが相関係数を用いて判別される。すなわち、心拍計測装置は、グリップパターンごとに登録された心電信号の波形と心電信号の波形との間で相関係数を算出することによって類似度を求める。これによって、類似度が最大である心電信号の波形のグリップパターンに対応付けられた補正量にしたがってピークの時刻を補正する。

特開２０１２−２３９４７４号公報

しかしながら、上記の技術では、互いに相似する波形が類似と判定されるので、波形の類似性の判定精度が低下する場合がある。

１つの側面では、波形の類似性の判定精度を向上させることができる信号処理装置、信号処理方法及び信号処理プログラムを提供することを目的とする。

一態様の信号処理装置は、所定の時間幅を持つ第１の窓に含まれる信号の波形と、前記第１の窓内の波形と比較する第２の窓に含まれる信号の波形との間で、前記第１の窓内の振幅値の分散と前記第２の窓内の振幅値の分散との差が大きくなるにしたがって値が小さくなる相関係数を算出する相関係数算出部を有する。

一実施形態によれば、波形の類似性の判定精度を向上させることができる。

図１は、実施例１に係る脈波検出装置の機能的構成を示すブロック図である。 図２は、顔画像の一例を示す図である。 図３は、Ｇ信号およびＲ信号の各信号のスペクトルの一例を示す図である。 図４は、Ｇ成分および補正係数ｋが乗算されたＲ成分の各信号のスペクトルの一例を示す図である。 図５は、演算後のスペクトルの一例を示す図である。 図６は、波形検出部の機能的構成を示すブロック図である。 図７は、窓幅の設定方法の一例を示す図である。 図８は、脈波波形に含まれる極大点の一例を示す図である。 図９は、ずらし範囲の設定例を示す図である。 図１０は、各窓内の波形の一例を示す図である。 図１１は、各窓内の波形の一例を示す図である。 図１２は、実施例１に係る波形検出処理の手順を示すフローチャートである。 図１３は、実施例１に係る相関係数算出処理の手順を示すフローチャートである。 図１４は、実施例１及び実施例２に係る信号処理プログラムを実行するコンピュータの一例について説明するための図である。

以下に添付図面を参照して本願に係る信号処理装置、信号処理方法及び信号処理プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［脈波検出装置の構成］
まず、本実施例に係る脈波検出装置の機能的構成について説明する。図１は、実施例１に係る脈波検出装置の機能的構成を示すブロック図である。図１に示す脈波検出装置１０は、太陽光や室内光などの一般の環境光の下で生体に計測器具を接触させずに、被験者が撮影された画像を用いて被験者の脈波、すなわち心臓の拍動に伴う血液の体積の変動を検出する脈波検出処理を実行するものである。

かかる脈波検出装置１０は、上記の脈波検出の一環として、生体が撮影された画像から検出された脈波に対応する周波数帯の信号を脈波検出に用いるか否かを過去の波形と類似性を有するか否か、すなわち波形が周期性を有するか否かによって判断する。かかる類似性を判断するために、脈波検出装置１０は、所定の時間幅を持つ基準窓に含まれる信号の波形と、基準窓内の波形と比較するために基準窓よりも時間を遡って設定された比較窓に含まれる信号の波形との間で相関係数を算出する。

このように、本実施例に係る脈波検出装置１０は、波形の類似を相関係数を用いて判断する場合に、基準窓内の振幅値の分散と比較窓内の振幅値の分散との差が大きくなるにしたがって値が小さくなる相関係数を算出する信号処理を実行する。このため、本実施例に係る脈波検出装置１０では、互いの窓内の波形が相似の関係にある場合でも相関係数が低く算出される。したがって、本実施例に係る脈波検出装置１０によれば、波形の類似性の判定精度を向上させることができる。

かかる脈波検出装置１０は、一態様として、上記の信号処理がパッケージソフトウェアやオンラインソフトウェアとして提供される信号処理プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末のみならず、移動体通信網に接続する能力を持たないデジタルカメラ、タブレット端末やスレート端末を含む携帯端末装置に上記の信号処理プログラムをインストールさせる。これによって、携帯端末装置を脈波検出装置１０として機能させることができる。なお、ここでは、脈波検出装置１０の実装例として携帯端末装置を例示したが、パーソナルコンピュータを始めとする据置き型の端末装置に信号処理プログラムをインストールさせることもできる。

図１に示すように、脈波検出装置１０は、カメラ１１と、取得部１３と、抽出部１４と、波形検出部１５と、転換判定部１６ａと、極値判定部１６ｂと、窓幅設定部１７ａと、ずらし範囲設定部１７ｂと、相関係数算出部１８と、脈波検出部１９とを有する。

かかる脈波検出装置１０は、図１に示した機能部以外にも既知のコンピュータが有する各種の機能部を有することとしてもかまわない。例えば、脈波検出装置１０が据置き端末として実装される場合には、キーボード、マウスやディスプレイなどの入出力デバイスをさらに有することとしてもよい。また、脈波検出装置１０がタブレット端末やスレート端末として実装される場合には、タッチパネルをさらに有することとしてもよい。また、脈波検出装置１０が移動体通信端末として実装される場合には、アンテナ、移動体通信網に接続する無線通信部、ＧＰＳ（Global Positioning System）受信機などの機能部をさらに有していてもかまわない。

カメラ１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載する撮像装置である。例えば、カメラ１１には、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。かかるカメラ１１の実装例としては、デジタルカメラやＷｅｂカメラを外部端子を介して接続することとしてもよいし、カメラが出荷時から搭載されている場合にはそのカメラを流用できる。なお、ここでは、脈波検出装置１０がカメラ１１を有する場合を例示したが、ネットワークまたは記憶デバイスを経由して画像を取得できる場合には、必ずしも脈波検出装置１０がカメラ１１を有さずともよい。

ここで、脈波検出装置１０は、上記の脈波検出処理を実行するアプリケーションプログラムがプリインストールまたはインストールされている場合に、カメラ１１によって脈波を検出し易い被験者の画像が撮像されるように画像の撮影操作を案内することができる。なお、以下では、上記のアプリケーションプログラムのことを「脈波検出用アプリ」と記載する場合がある。

かかる脈波検出用アプリは、図示しない入力デバイスを介して起動されると、カメラ１１を起動する。これを受けて、カメラ１１は、カメラ１１の撮影範囲に収容された被写体の撮影を開始する。このとき、被験者の顔が映る画像を撮影させる場合には、脈波検出用アプリは、カメラ１１が撮影する画像を図示しない表示デバイスに表示しつつ、被験者の鼻を映す目標位置を照準として表示させることもできる。これによって、被験者の眼、耳、鼻や口などの顔パーツの中でも被験者の鼻が撮影範囲の中心部分に収まった画像が撮影できるようにする。そして、脈波検出用アプリは、カメラ１１によって被験者の顔が撮影された画像を取得部１３へ保存する。なお、以下では、顔が映った画像のことを「顔画像」と記載する場合がある。

取得部１３は、画像を取得する処理部である。一態様としては、取得部１３は、カメラ１１によって撮像された顔画像を取得する。他の一態様としては、取得部１３は、顔画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルメディアから画像を取得することもできる。更なる一態様としては、取得部１３は、外部装置からネットワークを介して受信することによって顔画像を取得することもできる。なお、取得部１３は、ＣＣＤやＣＭＯＳなどの撮像素子による出力から得られる２次元のビットマップデータやベクタデータなどの画像データを用いて処理を実行する場合を例示したが、１つのディテクタから出力される信号をそのまま取得して後段の処理を実行させることとしてもよい。

抽出部１４は、取得部１３によって取得された画像から生体領域を抽出する処理部である。一態様としては、顔画像から所定の顔パーツを基準とする生体領域を抽出する。例えば、抽出部１４は、顔画像にテンプレートマッチング等の画像処理を実行することによって被験者の眼、耳、鼻や口などの顔パーツのうち特定の顔パーツ、すなわち被験者の鼻を検出する。その上で、抽出部１４は、被験者の鼻を中心とし、中心から所定の範囲に含まれる生体領域を抽出する。これによって、被験者の鼻、鼻の周辺に位置する頬の一部の顔中心部分を含んだ生体領域の画像が脈波の検出に使用する画像として抽出される。その後、抽出部１４は、原画像から抽出した生体領域の画像を波形検出部１５へ出力する。

図２は、顔画像の一例を示す図である。図２には、画像に映る被験者の眼、鼻及び口の一部または全部を含む領域が９つに分割されたブロックが図示されている。図２に示すブロックのうち上段の左及び右のブロックには、被験者の眼が映っている。これらのブロックの画像を検出に用いた場合には、眼の瞬きがノイズとなって心拍数の検出精度の低下を招く場合がある。また、図２に示すブロックのうち下段の３つのブロックには、被験者の口が映っている。これらのブロックの画像を検出に用いた場合には、口の動きがノイズとなって心拍数の検出精度の低下を招く場合がある。一方、図２に示す中段の真ん中のブロック、すなわち斜線の塗りつぶしが図示されたブロックは、眼や口が映るブロックから隔てられており、他のブロックに比べてノイズとなる成分が映っている可能性が低いので、良好な検出結果を期待できる。これらのことから、抽出部１４は、原画像から図２に示す中段の真ん中のブロックの画像を生体領域の画像として抽出する。

上記の生体領域の画像を抽出後に、抽出部１４は、生体領域に含まれる各画素が持つ画素値に所定の統計処理を実行する。例えば、抽出部１４は、生体領域に含まれる各画素が持つ画素値を波長成分ごとに平均する。この他、平均値以外にも、中央値や最頻値を計算することとしてもよく、また、加重平均以外にも任意の平均処理、例えば加重平均や移動平均などを実行することもできる。これによって、生体領域に含まれる各画素が持つ画素値の平均値が当該生体領域を代表する代表値として波長成分ごとに算出される。

波形検出部１５は、脈波の検出対象とする領域に含まれる各画素の波長成分別の代表値の信号から、各波長成分の間で脈波が採り得る脈波周波数帯以外の特定周波数帯の成分が互いに相殺された信号の波形を検出する処理部である。

一態様としては、波形検出部１５は、画像に含まれる３つの波長成分、すなわちＲ成分、Ｇ成分およびＢ成分のうち血液の吸光特定が異なるＲ成分とＧ成分の２つの波長成分の代表値の時系列データを用いて、波形を検出する。

これを説明すると、顔表面には、毛細血管が流れており、心拍により血管に流れる血流が変化すると、血流で吸収される光量も心拍に応じて変化するため、顔からの反射によって得られる輝度も心拍に伴って変化する。かかる輝度の変化量は小さいが、顔領域全体の平均輝度を求めると、輝度の時系列データには脈波成分が含まれる。ところが、輝度は、脈波以外に体動等によっても変化し、これが、脈波検出のノイズ成分、いわゆる体動アーチファクトとなる。そこで、血液の吸光特性の異なる２種類以上の波長、例えば吸光特性が高いＧ成分(５２５ｎｍ程度)、吸光特性が低いＲ成分(７００ｎｍ程度)で脈波を検出する。心拍は、０．５Ｈｚ〜４Ｈｚ、１分あたりに換算すれば３０ｂｐｍ〜２４０ｂｐｍの範囲であるので、それ以外の成分はノイズ成分とみなすことができる。ノイズには、波長特性は無い、あるいはあっても極小であると仮定すると、Ｇ信号およびＲ信号の間で０．５Ｈｚ〜４Ｈｚ以外の成分は等しいはずであるが、カメラの感度差により大きさが異なる。それゆえ、０．５Ｈｚ〜４Ｈｚ以外の成分の感度差を補正して、Ｇ成分からＲ成分を減算すれば、ノイズ成分は除去されて脈波成分のみを取り出すことができる。

例えば、Ｇ成分及びＲ成分は、下記の式（１）および下記の式（２）によって表すことができる。下記の式（１）における「Ｇｓ」は、Ｇ信号の脈波成分を指し、「Ｇｎ」は、Ｇ信号のノイズ成分を指し、また、下記の式（２）における「Ｒｓ」は、Ｒ信号の脈波成分を指し、「Ｒｎ」は、Ｒ信号のノイズ成分を指す。また、ノイズ成分は、Ｇ成分およびＲ成分の間で感度差があるので、感度差の補正係数ｋは、下記の式（３）によって表される。

Ｇａ＝Ｇｓ＋Ｇｎ・・・（１）
Ｒａ＝Ｒｓ＋Ｒｎ・・・（２）
ｋ＝Ｇｎ／Ｒｎ・・・（３）

感度差を補正してＧ成分からＲ成分を減算すると、脈波成分Ｓは、下記の式（４）となる。これを上記の式（１）及び上記の式（２）を用いて、Ｇｓ、Ｇｎ、Ｒｓ及びＲｎによって表される式へ変形すると、下記の式（５）となり、さらに、上記の式（３）を用いて、ｋを消し、式を整理すると下記の式（６）が導出される。

Ｓ＝Ｇａ−ｋＲａ・・・（４）
Ｓ＝Ｇｓ＋Ｇｎ−ｋ（Ｒｓ＋Ｒｎ）・・・（５）
Ｓ＝Ｇｓ−（Ｇｎ／Ｒｎ）Ｒｓ・・・（６）

ここで、Ｇ信号およびＲ信号は、吸光特性が異なり、Ｇｓ＞（Ｇｎ／Ｒｎ）Ｒｓである。したがって、上記の式（６）によってノイズが除去された脈波成分Ｓを算出することができる。

図３は、Ｇ信号およびＲ信号の各信号のスペクトルの一例を示す図である。図３に示すグラフの縦軸は、信号強度を指し、また、横軸は、周波数（ｂｐｍ）を指す。図３に示すように、Ｇ成分およびＲ成分は、撮像素子の感度が異なるので、両者の信号強度はそれぞれ異なる。その一方、Ｒ成分およびＧ成分は、いずれにおいても３０ｂｐｍ〜２４０ｂｐｍの範囲外、特に３ｂｐｍ以上２０ｂｐｍ未満の特定周波数帯でノイズが現れることには変わりはない。このため、図３に示すように、３ｂｐｍ以上２０ｂｐｍ未満の特定周波数帯に含まれる指定の周波数Ｆｎに対応する信号強度をＧｎ及びＲｎとして抽出できる。これらＧｎ及びＲｎによって感度差の補正係数ｋを導出できる。

図４は、Ｇ成分および補正係数ｋが乗算されたＲ成分の各信号のスペクトルの一例を示す図である。図４の例では、説明の便宜上、補正係数の絶対値を乗算した結果が図示されている。図４に示すグラフにおいても、縦軸は、信号強度を指し、また、横軸は、周波数（ｂｐｍ）を指す。図４に示すように、Ｇ成分及びＲ成分の各信号のスペクトルに補正係数ｋが乗算された場合には、Ｇ成分およびＲ成分の各成分の間で感度が揃う。特に、特定周波数帯におけるスペクトルの信号強度は、大部分においてスペクトルの信号強度が略同一になっている。その一方で、実際に脈波が含まれる周波数の周辺領域４００は、Ｇ成分およびＲ成分の各成分の間でスペクトルの信号強度が揃っていない。

図５は、演算後のスペクトルの一例を示す図である。図５では、脈波が現れている周波数帯の視認性を上げる観点から縦軸である信号強度の尺度を大きくして図示している。図５に示すように、Ｇ信号のスペクトルから補正係数ｋの乗算後のＲ信号のスペクトルが差し引かれた場合には、Ｇ成分およびＲ成分の間での吸光特性の差によって脈波が現れる信号成分の強度が可及的に維持された状態でノイズ成分が低減されていることがわかる。このようにしてノイズ成分だけが除去された脈波波形を検出することができる。

続いて、波形検出部１５の機能的構成についてさらに具体的に説明する。図６は、波形検出部１５の機能的構成を示すブロック図である。図６に示すように、波形検出部１５は、ＢＰＦ（Band-Pass Filter）１５２Ｒ及び１５２Ｇと、抽出部１５３Ｒ及び１５３Ｇと、ＬＰＦ（Low-Pass Filter）１５４Ｒ及び１５４Ｇと、算出部１５５と、ＢＰＦ１５６Ｒ及び１５６Ｇと、乗算部１５７と、演算部１５８とを有する。なお、図３〜図５の例では、周波数空間にて脈波を検出する例を説明したが、図６では、周波数成分への変換にかかる時間を削減する観点から、時系列空間にてノイズ成分をキャンセルして脈波を検出する場合の機能的構成を図示している。

例えば、抽出部１４から波形検出部１５には、生体領域に含まれる各画素が持つＲ成分の画素値の代表値を信号値とするＲ信号の時系列データが入力されるとともに、生体領域に含まれる各画素が持つＧ成分画素値の代表値を信号値とするＧ信号の時系列データが入力される。このうち、生体領域のＲ信号は、波形検出部１５内のＢＰＦ１５２Ｒ及びＢＰＦ１５６Ｒへ入力されるとともに、生体領域のＧ信号は、波形検出部１５内のＢＰＦ１５２Ｇ及びＢＰＦ１５６Ｇへ入力される。

ＢＰＦ１５２Ｒ、ＢＰＦ１５２Ｇ、ＢＰＦ１５６Ｒ及びＢＰＦ１５６Ｇは、いずれも所定の周波数帯の信号成分だけを通過させてそれ以外の周波数帯の信号成分を除去するバンドパスフィルタである。これらＢＰＦ１５２Ｒ、ＢＰＦ１５２Ｇ、ＢＰＦ１５６Ｒ及びＢＰＦ１５６Ｇは、ハードウェアによって実装されることとしてもよいし、ソフトウェアによって実装されることとしてもよい。

これらＢＰＦが通過させる周波数帯の違いについて説明する。ＢＰＦ１５２Ｒ及びＢＰＦ１５２Ｇは、ノイズ成分が他の周波数帯よりも顕著に現れる特定周波数帯の信号成分を通過させる。

かかる特定周波数帯は、脈波が採り得る周波数帯との間で比較することによって定めることができる。脈波が採り得る周波数帯の一例としては、０．５Ｈｚ以上４Ｈｚ以下である周波数帯、１分あたりに換算すれば３０ｂｐｍ以上２４０ｂｐｍ以下である周波数帯が挙げられる。このことから、特定周波数帯の一例としては、脈波として計測され得ない０．５Ｈｚ未満及び４Ｈｚ超過の周波数帯を採用することができる。また、特定周波数帯は、脈波が採り得る周波数帯との間でその一部が重複することとしてもよい。例えば、脈波として計測されることが想定しづらい０．７Ｈｚ〜１Ｈｚの区間で脈波が採り得る周波数帯と重複することを許容し、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を特定周波数帯として採用することもできる。また、特定周波数帯は、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を外縁とし、ノイズがより顕著に現れる周波数帯に絞ることもできる。例えば、ノイズは、脈波が採り得る周波数帯よりも高い高周波数帯よりも、脈波が採り得る周波数帯よりも低い低周波数帯でより顕著に現れる。このため、１Ｈｚ未満の周波数帯に特定周波数帯を絞ることもできる。また、空間周波数がゼロである直流成分の近傍には、各成分の撮像素子の感度の差が多く含まれるので、３ｂｐｍ以上６０ｂｐｍ未満の周波数帯に特定周波数帯を絞ることもできる。さらに、人の体の動き、例えば瞬きや体の揺れの他、環境光のチラツキなどのノイズが現れやすい３ｂｐｍ以上２０ｂｐｍ未満の周波数帯に特定周波数帯を絞ることもできる。

ここでは、一例として、ＢＰＦ１５２Ｒ及びＢＰＦ１５２Ｇが特定周波数帯として０．０５Ｈｚ以上０．３Ｈｚ以下の周波数帯の信号成分を通過させる場合を想定して以下の説明を行う。なお、ここでは、特定周波数帯の信号成分を抽出するために、バンドパスフィルタを用いる場合を例示したが、一定の周波数未満の周波数帯の信号成分を抽出する場合などには、ローパスフィルタを用いることもできる。

一方、ＢＰＦ１５６Ｒ及びＢＰＦ１５６Ｇは、脈波が採り得る周波数帯、例えば１Ｈｚ以上４Ｈｚ以下の周波数帯の信号成分を通過させる。なお、以下では、脈波が採り得る周波数帯のことを「脈波周波数帯」と記載する場合がある。

抽出部１５３Ｒは、Ｒ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部１５３Ｒは、Ｒ成分の特定周波数帯の信号成分をべき乗する乗算処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。また、抽出部１５３Ｇは、Ｇ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部１５３Ｇは、Ｇ成分の特定周波数帯の信号成分をべき乗する乗算処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。

ＬＰＦ１５４Ｒ及びＬＰＦ１５４Ｇは、特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行するローパスフィルタである。これらＬＰＦ１５４Ｒ及びＬＰＦ１５４Ｇは、ＬＰＦ１５４Ｒへ入力される信号がＲ信号であり、ＬＰＦ１５４Ｇへ入力される信号がＧ信号である以外に違いはない。かかる平滑化処理によって、特定周波数帯の絶対値強度Ｒ´ｎ及びＧ´ｎが得られる。

算出部１５５は、ＬＰＦ１５４Ｇによって出力されたＧ信号の特定周波数帯の絶対値強度Ｇ´ｎを、ＬＰＦ１５４Ｒによって出力されたＲ信号の特定周波数帯の絶対値強度Ｒ´ｎで除する除算「Ｇ´ｎ／Ｒ´ｎ」を実行する。これによって、感度差の補正係数ｋを算出する。

乗算部１５７は、ＢＰＦ１５６Ｒによって出力されたＲ信号の脈波周波数帯の信号成分に算出部１５５によって算出された補正係数ｋを乗算する。

演算部１５８は、乗算部１５７によって補正係数ｋが乗算されたＲ信号の脈波周波数帯の信号成分から、ＢＰＦ１５６Ｇによって出力されたＧ信号の脈波周波数帯の信号成分を差し引く演算「ｋ＊Ｒｓ−Ｇｓ」を実行する。かかる演算によって得られた信号の時系列データは、脈波の波形に相当する。

このようにして画像の生体領域から検出された脈波波形が転換判定部１６ａおよび極値判定部１６ｂへ出力される。以下では、脈波波形のｉ番目の時刻をｔ（ｉ）、脈波波形の振幅値をｖ（ｉ）と表す場合がある。さらに、最新の脈波波形のインデックスを「Ｉ」と表す場合がある。なお、脈波波形の振幅値が採取される時刻ｔ（ｉ）の間隔、すなわちフレームレートは、δで一定とする。

図１の説明に戻り、転換判定部１６ａは、波形検出部１５によって検出される信号の振幅値の正負が転換するか否かを判定する処理部である。一態様としては、転換判定部１６ａは、波形検出部１５によって脈波波形の振幅値が出力される度に、当該脈波波形の振幅値の正負が転換するか否かを判定する。このとき、転換判定部１６ａは、下記の式（７）または下記の式（８）のいずれかを満たす場合に、当該振幅値ｖ（ｉ）の正負が転換すると判定する。このように、転換判定部１６ａは、振幅値の正負が転換する転換点の時刻Ｔ（ｊ）＝ｔ（Ｉ）を図示しない内部メモリ等へ順次記録する。なお、上記の「ｊ」は、何番目の転換点であるかを表し、このうち、最新の転換点のインデックスを「Ｊ」と表すこととする。

v(i-1)<0 and v(i)>=0・・・（７）
v(i-1)>=0 and v(i)<0・・・（８）

極値判定部１６ｂは、波形検出部１５によって検出される信号の振幅値が極値であるか否かを判定する処理部である。一態様としては、極値判定部１６ｂは、波形検出部１５によって脈波波形の振幅値が出力される度に、当該脈波波形の振幅値が出力されるよりも１つ前のインデックスを持つ脈拍波形の振幅値が極大値であるか否かを判定する。このとき、極値判定部１６ｂは、下記の式（９）を満たす場合に、当該振幅値ｖ（ｉ−１）が極大値であると判定する。このように、極値判定部１６ｂは、振幅値が極大値を採る極大点の時刻Ｍ（ｋ）＝ｔ（Ｉ−１）を内部メモリへ順次記録する。なお、上記の「ｋ」は、何番目の極大点であるかを表し、このうち、最新の極大点のインデックスを「Ｋ」と表すこととする。

t(i-2)<=t(i-1) and t(i-1)>t(i)・・・（９）

窓幅設定部１７ａは、基準窓の時間幅を設定する処理部である。かかる基準窓には、２つの窓のうち窓内の波形を脈波の検出に用いるかどうかが判断される方の窓を指し、例えば、最新の時刻ｔ（Ｉ）から所定の時間幅を遡った区間が設定される。以下では、窓の時間幅のことを「窓幅」と記載する場合がある。かかる窓幅は、脈波波形の振幅値が取得される度に設定せずともよく、所定の基準窓の決定条件が満たされた場合に絞って窓幅を設定できる。例えば、基準窓の設定条件の一例としては、前回に基準窓の設定から所定のパラメータ、例えば１秒経過したことを契機に、窓幅の設定を開始することができる。他の一例としては、最新のインデックスＩが転換点である場合に、窓幅の設定を開始することもできる。

一態様としては、窓幅設定部１７ａは、所定のパラメータ、例えば３秒間を窓幅Ｕに設定することができる。なお、窓幅設定部１７ａは、上記の３秒間以外にも、脈拍数が最も低い人、例えば４２ｂｐｍ以上の時間幅であれば、任意の窓幅Ｕを設定することができる。

他の一態様としては、窓幅設定部１７ａは、転換判定部１６ａによって振幅値の正負が転換すると判定された転換点の数が脈波の周期の整数倍と対応する個数になるまで遡った区間の長さを基準窓の時間幅として設定する。例えば、窓幅設定部１７ａは、脈波の周期に対応する転換点の個数ｎに対し、最新の転換点の時刻Ｔ（Ｊ）と脈波の２周期前の転換点の時刻Ｔ（Ｊ−２＊ｎ）との差を下記の式（１０）によって求め、窓幅Ｕを決定する。

U=T(J)-T(J-2*n)・・・（１０）

かかる転換点を用いた窓幅の設定では、脈波波形が脈波周波数帯、例えば４２ｂｐｍ〜２４０ｂｐｍの信号成分を持ち、脈波の測定条件が安定している状況では、脈波と同期して０を中心に正負を繰り返す周期性を利用している。これによって、脈波の測定条件が安定している状況下では、およそ脈波の１周期に対応する転換点の個数ｎの整数倍、本例では２倍の転換点を基準窓に含めることができる。

図７は、窓幅の設定方法の一例を示す図である。図７に示す縦軸は、振幅であり、横軸は、時間を表す。図７に示すように、脈波の１周期分を遡るには、最新の転換点を除き転換点を２つ遡ることによって脈波の１周期分を遡ることができるので、脈波の２周期分を遡るには４つ（＝２＊ｎ）遡ればよいことがわかる。このように、上記の式（１０）を用いて窓幅Ｕを設定する場合には、実測の脈波の周期と近似する周期の整数倍を窓幅に設定することができるので、最低の脈拍数、例えば４２ｂｐｍよりも時間の長さが短い窓幅を設定できる結果、後述の相関係数算出部１８における計算量を削減できる。

図１の説明に戻り、ずらし範囲設定部１７ｂは、比較窓をずらす範囲を設定する処理部である。以下では、比較窓をずらす範囲のことを「ずらし範囲」と記載する場合がある。ここで、ずらし範囲設定部１７ｂは、窓幅設定部１７ａによって基準窓の窓幅が設定されたからといって直ちにずらし範囲を設定する訳ではない。すなわち、ずらし範囲設定部１７ｂは、極値判定部１６ｂによって極大であると判定された極大点のうち窓幅設定部１７ａによって時間幅が設定された基準窓に含まれる極大点の数が脈波の周期と対応する個数と等しい場合に、ずらし範囲の設定を実行する。

これを具体的に説明すると、まず、ずらし範囲設定部１７ｂは、基準窓に含まれる極大点の数を計数する。例えば、下記の式（１１）の条件を満たす整数ｋの数を計数する。そして、ずらし範囲設定部１７ｂは、基準窓内に含まれる極大点の数Ｍ（ｋ）が脈波の１周期に対応する極大点の個数ｎを超えるか否かを判定する。このとき、基準窓内に脈波の１周期に対応する極大点の個数ｎよりも多くの極大点が存在する場合には、測定条件が不安定であるとみなすことができる。この場合には、ずらし範囲設定部１７ｂは、ずらし範囲の設定は実行しない。このように、ずらし範囲の設定の開始条件に極大点の数を用いるのは、理想的な脈波波形は１周期あたり一つの極大点を持つという性質を利用し、それよりも多い極大点は測定条件の変化の影響とみなすためである。

T(J)-U<=M(k)<=T(J)・・・（１１）

図８は、脈波波形に含まれる極大点の一例を示す図である。図８に示す縦軸は、振幅で指し、横軸は、時間を指す。図８に示すように、脈波の２周期分の窓幅を持つ基準窓に極大点が３つ含まれている。ところが、ノイズを無視できる測定状況下では、脈波の１周期につき極大点は１つしか現れない。よって、図８に示す基準窓内の信号にはピーク検出に支障をきたす程度にノイズが重畳しているとみなし、以降の演算を中止することができる。また、ノイズが重畳した脈波波形によるずらし範囲の設定および相関係数の算出を中止することによって演算量を低減することもできる。

このように、ずらし範囲設定部１７ｂは、基準窓内に含まれる極大点の数Ｍ（ｋ）が脈波の１周期に対応する極大点の個数ｎ以下である場合に、ずらし範囲の設定を開始する。

一態様としては、ずらし範囲設定部１７ｂは、一般に知られている人の脈拍数がとりうる範囲、例えば４２ｂｐｍ〜２４０ｂｐｍを基準に設定することができる。例えば、ずらし範囲設定部１７ｂは、ずらし範囲ｗ（秒）を下記の式（１２）が表す範囲に設定できる。このとき、下記の式（１２）におけるＲｍｉｎ及びＲｍａｘは、下記の式（１３）及び下記の式（１４）によって表される。このようなずらし範囲を設定するのは、脈波波形が主に被験者の脈波に由来する場合、相関係数算出部において求める相関係数が最大となるずらし範囲は脈拍１回分に相当する時間であるからである。

Rmin≦w≦Rmax・・・（１２）
Rmin= 60/240・・・（１３）
Rmax= 60/42・・・（１４）

他の一態様としては、ずらし範囲設定部１７ｂは、転換点の間隔から脈拍の周期を推定することもできる。所与のパラメータｍに対し、最新の転換点の時刻とｍ＊２個前の転換点の時刻との差は、おおよそ脈波ｍ回分であるので、この被験者の現在の脈波１回分の時間は「(T(J)-T(J-2*m))/m(秒)」と推定できる。したがって、所与の０より大きく１より小さいパラメータγに対し、ずらし範囲ｗ（秒）を下記の式（１５）〜（１７）で表す範囲に設定できる。

Rmin= max(60/240,γ(T(J)-T(J-2*m))/m)・・・（１５）
Rmax= min(60/42,(T(J)-T(J-2*m))/m/γ)・・・（１６）
Rmin≦w≦Rmax・・・（１７）

更なる一態様としては、ずらし範囲設定部１７ｂは、窓幅設定部１７ａにおいて、ｎ＝ｍに対し、最新の転換点の時刻とｎ＊２個前の転換点の時刻との差を求め、窓幅Ｕとした場合、ずらし範囲ｗ（秒）を下記の式（１８）〜（２０）で表す範囲に設定できる。

Rmin= max(60/240,γU/n)・・・（１８）
Rmax= min(60/42,U/n/γ)・・・（１９）
Rmin≦w≦Rmax・・・（２０）

図９は、ずらし範囲の設定例を示す図である。図９には、ｍ＝ｎ＝２、γ＝０．８である場合のずらし範囲が示されている。図９に示す縦軸は、振幅を指し、横軸は、時間を指す。また、図９には、脈波波形を実線で図示するとともに、比較窓の中に基準窓内の脈波波形を破線で重畳して図示している。図９に示すように、人が採り得る最低の脈拍数および最高の脈拍数を収容するように設定された範囲、すなわち６０／１５０〜６０／４２の範囲よりも、転換点の間隔から設定された範囲、すなわち０．８Ｕ／２〜１．２５Ｕ／２の範囲の方が狭い。このように、転換点の間隔から脈拍の周期を推定することで、ずらし範囲が小さくなる。これによって、被験者の脈拍数から大きく外れたずらし範囲をあらかじめ除外することで不安定な脈波を誤検出することを防ぐとともに、相関係数算出部における計算量も削減できる。なお、ここでは、窓幅Ｕを用いる場合を例示したが、極大点間隔を用いることもできる。

なお、上記の全ての例において、Ｒｍａｘ＞Ｒｍｉｎの場合、ずらし範囲が存在しなくなる。この場合には、後述の相関係数算出部１８による処理は実行されない。

図１の説明に戻り、相関係数算出部１８は、基準窓内の脈波波形と比較窓内の脈波波形との間で相関係数を算出する処理部である。

これを具体的に説明すると、まず、相関係数算出部１８は、ずらしインデックスｚの候補｛ｚ｝を求める。かかる候補｛ｚ｝は、ずらし範囲設定部１７ｂで計算したずらし範囲［Ｒｍｉｎ，Ｒｍａｘ］に対し、ｚδが［Ｒｍｉｎ，Ｒｍａｘ］に含まれる全ての整数である。ここでは、｛ｚ｝の最小値をＺｍｉｎ、｛ｚ｝の最大値をＺｍａｘと表記することとする。このとき、基準窓に含まれる脈波波形のインデックス数をＸとする。上述した例のように基準窓を転換点から設定した場合、かかるＸは「T(J)-T(J-2*n)+1」となる。このとき、基準窓に含まれる脈波波形の値を時刻順にｘ（１），・・・，ｘ（Ｘ）は、下記のように記述できる。

x(1)=v(I-X-1)
x(2)=v(I-X-2)
…
x(X)=v(I)

同様に、基準窓をｚずらした比較窓に含まれる脈波波形の値を時刻順にｙ（１），・・・，ｙ（Ｘ）は以下のように記述できる。

y(z,1)=v(I-X-1-z)
y(z,2)=v(I-X-2-z)
…
y(z,X)=v(I-z)

このように、相関係数算出部１８は、ずらしインデックスｚの候補｛ｚ｝を求めた後に、基準窓内の脈波波形と、｛ｚ｝内の各ｚについて基準窓をｚずらした比較窓内の脈波波形の各々との間で相関係数を算出する。

一態様としては、相関係数算出部１８は、ずらしインデックスｚをＺｍｉｎからＺｍａｘまで１ずつインクリメントしながら、相関係数Ｓ（ｚ）を計算する。かかる相関係数は、基準窓の脈波波形とｚずらした比較窓の脈波波形が類似しているほど大きな値を示す指標であり、一例として、下記の式（２１）にしたがって相関係数を算出することができる。このようにして全てのずらしインデックスの候補｛ｚ｝について相関係数を計算したのち、Ｓ（ｚ）が最大となるずらしインデックスをＺとする。なお、ｘ（１），・・・，ｘ（Ｘ）の平均やｙ（ｚ，１），・・・，ｙ（ｚ，Ｘ）の平均は、脈拍波形が０を中心に正負を繰り返す性質があるため、０で代用することとしてもかまわない。

図１０は、各窓内の波形の一例を示す図である。図１０に示す縦軸は、振幅を指し、横軸は、時間を指す。また、図１０には、脈波波形を実線で図示するとともに、比較窓の中に基準窓内の脈波波形を破線で重畳して図示している。図１０に示すように、基準窓の脈波波形とｚずらした比較窓の脈波波形は、互いの形状がよく類似している。このように、互いの波形の形状が類似する場合には相関係数が高く算出される。

その後、相関係数算出部１８は、所定の閾値βに対し、Ｓ（Ｚ）とβを比較する。このとき、相関係数算出部１８は、Ｓ（Ｚ）がβより小さい場合に、基準窓と十分類似した比較窓はみつからなかったとして、脈波検出部１９による脈波の検出を実行しない。かかる閾値βには、適切な値を指定することができる。例えば、相関係数であれば、最大が１であることが明らかであるので、０．６〜０．８程度の値を指定することによって波形の周期性を判定する精度を向上できる。

ここで、上記の式（２１）のように、共分散を標準偏差で除算することによって相関係数を算出する場合には、基準窓の中で脈波波形の振れ幅が大きく変化すると、互いの窓の振幅値が大きく異なるにもかかわらず、形状が類似する波形、すなわち相似の波形の相関係数が高く算出されてしまう。

図１１は、各窓内の波形の一例を示す図である。図１１に示す縦軸は、振幅を指し、横軸は、時間を指す。図１１に示すように、測定条件の変化が原因となって基準窓の中で脈波波形の振れ幅が大きく変化するケースがある。このように、基準窓の最後に振れ幅が大きくなった場合、時刻をＺずらした窓では振れ幅の大きな部分が外れてしまう。このケースでは、上記の式（２１）を相関係数の算出に用いた場合、相関係数が非常に大きくなりやすい。これは、相関係数では、両窓の振れ幅を別々に正規化することが原因であり、各窓の右側の振れ幅の大きな部分が、正規化後にほぼ一致してしまっていると考えられる。この場合、各窓の残りの部分（各窓の左側）は相関係数の値にはほとんど影響を与えられない。例えば、図１１の例では、相関係数は０．８９６となってしまう。このため、上記の式（２１）を相関係数の算出に用いた場合には、測定条件が不安定なケースでも相関係数が高くなり、不安定な脈波波形を検出に用いているケースが起こりうる。

これらのことから、相関係数算出部１８は、下記の式（２２）に示すように、共分散を互いの窓の分散のうち大きい方の分散を選択して当該分散で除算することよって補正相関係数を算出する。かかる補正相関係数は、両窓内の脈波波形の分散が等しい場合のみ、相関係数と同じ値となる。両窓内の脈拍波形の分散の差が大きくなるにしたがって相関係数に比べて相対的に小さな値が算出される(値が正の場合)。このため、図１１に示すように、両窓内の脈波波形の分散が大きく異なる場合には、補正相関係数は小さくなり、脈波波形の出力を行わなくなる。例えば、図１１の例では、相関係数は０．８９６であるのに対し、補正相関係数は０．１９７と４分の１となり、閾値βに比べて小さくなる。かかる補正相関係数の算出によって、互いの窓の振幅値が大きく異なるにもかかわらず、形状が類似する波形、すなわち相似の波形の補正相関係数が不当に高く算出される事態を抑制できる。なお、補正相関係数も、最大が１であることが明らかであるので、相関係数と同様にβには０．６〜０．８程度の値を設定すればよいことが多い。

図１の説明に戻り、脈波検出部１９は、相関係数算出部１８によって出力された波形から脈波を検出する処理部である。一態様としては、脈波検出部１９は、被験者の脈拍数や脈波波形など安定した脈波を検出して出力する。すなわち、上記の相関係数算出部１８による処理によって時刻ｔ（Ｉ）−（Ｕ＋Ｚδ）から時刻ｔ（Ｉ）までの脈波波形は安定していることが明らかになっているので、その間にｎ＋１拍の脈拍が発生していることがわかる。したがって、脈波検出部１９は、下記の式（２３）によって脈拍数ｈを算出することができる。ここで、脈拍数ｈが人の脈拍数がとりうる範囲、例えば４２ｂｐｍ〜２４０ｂｐｍの範囲から外れている場合、脈拍数および脈拍波形の出力は行わなくてもよい。他の一態様としては、脈波検出部１９は、例えば、時刻ｔ（Ｉ）−（Ｕ＋Ｚδ）から時刻ｔ（Ｉ）までの脈波波形を出力することもできる。

h=60/((U+Zδ)/(n+1))[bpm]・・・（２３）

このようにして得られる脈拍数や脈波波形は、脈波検出装置１０が有する図示しない表示デバイスを始め、任意の出力先へ出力することができる。例えば、脈拍数や脈拍周期のゆらぎから自律神経の働きを診断したり、脈波波形から心疾患等を診断したりする診断プログラムが脈波検出装置１０にインストールされている場合には、診断プログラムを出力先とすることができる。また、診断プログラムをＷｅｂサービスとして提供するサーバ装置などを出力先とすることもできる。さらに、脈波検出装置１０を利用する利用者の関係者、例えば介護士や医者などが使用する端末装置を出力先とすることもできる。これによって、院外、例えば在宅や在席のモニタリングサービスも可能になる。なお、診断プログラムの測定結果や診断結果も、脈波検出装置１０を始め、関係者の端末装置に表示させることができるのも言うまでもない。

なお、上記の取得部１３、抽出部１４、波形検出部１５、転換判定部１６ａ、極値判定部１６ｂ、窓幅設定部１７ａ、ずらし範囲設定部１７ｂ、相関係数算出部１８及び脈波検出部１９とは、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などに脈波検出プログラムや信号処理プログラムを実行させることによって実現できる。また、上記の各機能部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

また、上記の内部メモリには、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子の一例としては、ＶＲＡＭ（Video Random Access Memory）、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory）やフラッシュメモリ（flash memory）などが挙げられる。また、メモリではなく、ハードディスク、光ディスクなどの記憶装置を用いることとしてもかまわない。

［処理の流れ］
次に、本実施例に係る脈波検出装置の処理の流れについて説明する。なお、ここでは、脈波検出装置１０によって実行される（１）波形検出処理について説明した後に、（２）相関係数算出処理について説明することとする。

（１）波形検出処理
図１２は、実施例１に係る波形検出処理の手順を示すフローチャートである。この波形検出処理は、カメラ１１から画像が取得する度に処理を起動し、画像が取得されなくなるまで繰り返し実行される処理である。なお、図示しない入力デバイス等を介して中断操作を受け付けた場合には、波形検出処理を中止することもできる。

図１２に示すように、被験者が映った画像が取得されると（ステップＳ１０１）、抽出部１４は、ステップＳ１０１で取得された画像から所定の顔パーツ、例えば被験者の鼻を基準とする生体領域の画像を抽出する（ステップＳ１０２）。

その上で、抽出部１４は、Ｒ信号の時系列データをＢＰＦ１５２Ｒ及びＢＰＦ１５６Ｒへ出力するとともに、Ｇ信号の時系列データをＢＰＦ１５２Ｇ及びＢＰＦ１５６Ｇへ出力する（ステップＳ１０３）。

続いて、ＢＰＦ１５２Ｒは、Ｒ信号の特定周波数帯、例えば３ｂｐｍ以上２０ｂｐｍ未満の周波数帯の信号成分を抽出するとともに、ＢＰＦ１５２Ｇは、Ｇ信号の特定周波数帯の信号成分を抽出する（ステップＳ１０４Ａ）。

そして、抽出部１５３Ｒは、Ｒ信号の特定周波数帯の信号成分の絶対強度値を抽出するとともに、抽出部１５３Ｇは、Ｇ信号の特定周波数帯の信号成分の絶対強度値を抽出する（ステップＳ１０５）。

その後、ＬＰＦ１５４Ｒは、Ｒ信号の特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行するとともに、ＬＰＦ１５４Ｇは、Ｇ信号の特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行する（ステップＳ１０６）。

続いて、算出部１５５は、ＬＰＦ１５４Ｇによって出力されたＧ信号の特定周波数帯の絶対値強度Ｇ´_noiseを、ＬＰＦ１５４Ｒによって出力されたＲ信号の特定周波数帯の絶対値強度Ｒ´_noiseで除する除算「Ｇ´_noise／Ｒ´_noise」を実行することによって補正係数ａを算出する（ステップＳ１０７）。

上記のステップＳ１０４Ａの処理に並行して、ＢＰＦ１５６Ｒは、Ｒ信号の脈波周波数帯、例えば４２ｂｐｍ以上２４０ｂｐｍ未満の周波数帯の信号成分を抽出するとともに、ＢＰＦ１５６Ｇは、Ｇ信号の脈波周波数帯の信号成分を抽出する（ステップＳ１０４Ｂ）。

その後、乗算部１５７は、ステップＳ１０４Ｂで抽出されたＲ信号の脈波周波数帯の信号成分にステップＳ１０７で算出された補正係数ａを乗算する（ステップＳ１０８）。その上で、演算部１５８は、ステップＳ１０８で補正係数ａが乗算されたＲ信号の脈波周波数帯の信号成分から、ステップＳ１０４Ｂで抽出されたＧ信号の脈波周波数帯の信号成分を差し引く演算「ａ＊Ｒ_signal−Ｇ_signal」を実行する（ステップＳ１０９）。

そして、波形検出部１５は、演算後の信号の時系列データを脈波波形として転換判定部１６ａ及び極値判定部１６ｂへ出力し（ステップＳ１１０）、処理を終了する。

（２）相関係数算出処理
図１３は、実施例１に係る相関係数算出処理の手順を示すフローチャートである。この相関係数算出処理は、波形検出部１５から脈波波形が入力される限り、繰り返し実行される処理である。

図１３に示すように、まず、窓の周期数ｎ、相関係数閾値βとずらし範囲の係数γなどの初期値が各々の機能部によって図示しない内部メモリから取得される（ステップＳ３０１）。その後、転換判定部１６ａ及び極値判定部１６ｂは、波形検出部１５から脈波波形の時刻および振幅値を取得する（ステップＳ３０２）。

そして、転換判定部１６ａは、波形検出部１５によって出力された脈波波形の振幅値の正負が転換するか否かを判定する（ステップＳ３０３）。これとともに、極値判定部１６ｂは、波形検出部１５によって出力された脈波波形の振幅値が出力されるよりも１つ前のインデックスを持つ脈拍波形の振幅値が極大値であるか否かを判定する（ステップＳ３０４）。

続いて、ステップＳ３０２で取得された振幅値の正負が転換する場合（ステップＳ３０５Ｙｅｓ）には、窓幅設定部１７ａは、振幅値の正負が転換すると判定された転換点から脈波の周期の整数倍と対応する個数になるまで転換点を遡った区間の長さを基準窓の時間幅として設定する（ステップＳ３０６）。

続いて、ずらし範囲設定部１７ｂは、ステップＳ３０６で設定された基準窓内に含まれる極大点の数が脈波の１周期に対応する極大点の個数を超えるか否かを判定する（ステップＳ３０７）。このとき、基準窓内に含まれる極大点の数が脈波の１周期に対応する極大点の個数ｎを超える場合（ステップＳ３０７Ｙｅｓ）には、測定条件が不安定であることが判明するので、以降の処理を実行せずに、ステップＳ３０２に移行する。

一方、基準窓内に含まれる極大点の数が脈波の１周期に対応する極大点の個数を超えない場合（ステップＳ３０７Ｎｏ）には、ずらし範囲設定部１７ｂは、ステップＳ３０６で設定された基準窓の窓幅Ｕ及び窓の周期数ｎにずらし範囲の係数γを乗算するとともに窓幅Ｕ及び窓の周期数ｎにずらし範囲の係数γの逆数を乗算する計算を並行して実行することによって比較窓にずらし範囲ｗを設定する（ステップＳ３０８）。

このとき、ずらし範囲が存在する場合（ステップＳ３０９Ｙｅｓ）には、相関係数算出部１８は、ずらしインデックスｚをＺｍｉｎからＺｍａｘまで１ずつインクリメントしながら全てのずらしインデックスについて補正相関係数を算出するまで（ステップＳ３１１Ｎｏ）、上記の式（２２）を用いて、共分散を互いの窓の分散のうち大きい方の分散を選択して当該分散で除算することよって補正相関係数Ｓ（ｚ）を算出する（ステップＳ３１０）。

その後、全てのずらしインデックスについて補正相関係数Ｓ（ｚ）を算出すると（ステップＳ３１１Ｙｅｓ）、相関係数算出部１８は、補正相関係数Ｓ（ｚ）が閾値β以上であるか否かを判定する（ステップＳ３１２）。なお、補正相関係数Ｓ（ｚ）が閾値βより小さい場合（ステップＳ３１２Ｎｏ）には、基準窓と十分類似した比較窓はみつからなかったと判断し、脈波の検出を実行せずにステップＳ３０２の処理へ戻る。

ここで、ステップＳ３１０で算出された補正相関係数Ｓ（ｚ）のうち最大の補正相関係数Ｓ（Ｚ）が閾値β以上である場合（ステップＳ３１２Ｙｅｓ）には、脈波検出部１９は、上記の式（２３）を用いて、脈拍数ｈを算出する（ステップＳ３１３）。このとき、脈波検出部１９は、脈拍数ｈが人の脈拍数がとりうる適正範囲、例えば４２ｂｐｍ〜２４０ｂｐｍの範囲から外れている場合（ステップＳ３１４Ｎｏ）には、脈拍数および脈拍波形の出力は行わず、ステップＳ３０２の処理へ戻る。

一方、脈拍数ｈが人の脈拍数がとりうる適正範囲である場合（ステップＳ３１４Ｙｅｓ）には、脈波検出部１９は、脈拍数および脈拍波形を所定の出力先へ出力し（ステップＳ３１５）、ステップＳ３０２の処理へ戻る。

［実施例１の効果］
上述してきたように、本実施例に係る脈波検出装置１０は、波形の類似を相関係数を用いて判断する場合に、基準窓内の振幅値の分散と比較窓内の振幅値の分散との差が大きくなるにしたがって値が小さくなる相関係数を算出する信号処理を実行する。このため、本実施例に係る脈波検出装置１０では、互いの窓内の波形が相似の関係にある場合でも相関係数が低く算出される。したがって、本実施例に係る脈波検出装置１０によれば、波形の類似性の判定精度を向上させることができる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［類似性の判定の応用例］
上記の実施例１では、波形の類似性、すなわち脈波の周期性を判定するのに相関係数を用いる場合を例示したが、類似性を判断するための指標は相関係数に限定されない。例えば、脈波検出装置１０は、下記の式（２４）を用いて、ユークリッド距離を算出したり、下記の式（２５）を用いて、正規化されたユークリッド距離を算出することもできる。この場合には、全てのずらし範囲の中で最短距離を持つものが最も周期性が高いずらし範囲Ｚであると判断できる。このように、ユークリッド距離または正規化されたユークリッド距離を用いる場合にも、最短距離が所定の閾値ＴＨよりも大きい場合には、測定条件が不安定であると判断し、当該基準窓内の波形は脈波の検出には使用しない。

［入力信号］
上記の実施例１及び実施例２では、入力信号としてＲ信号およびＧ信号の二種類を用いる場合を例示したが、異なる複数の光波長成分を持つ信号であれば任意の種類の信号および任意の数の信号を入力信号とすることができる。例えば、Ｒ、Ｇ、Ｂ、ＩＲおよびＮＩＲなどの光波長成分が異なる信号のうち任意の組合せの信号を２つ用いることもできるし、また、３つ以上用いることもできる。

［他の実装例］
上記の実施例１では、脈波検出装置１０が上記の相関係数算出処理をスタンドアローンで実行する場合を例示したが、クライアントサーバシステムとして実装することもできる。例えば、脈波検出装置１０は、相関係数算出処理を実行するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって相関係数算出サービスを始めとするサービスを提供するクラウドとして実装することとしてもかまわない。このように、脈波検出装置１０がサーバ装置として動作する場合には、スマートフォンや携帯電話機等の携帯端末装置やパーソナルコンピュータ等の情報処理装置をクライアント端末として収容することができる。これらクライアント端末からネットワークを介して被験者の顔が映った画像が取得された場合に波形検出処理を実行し、その脈波波形を用いて相関係数算出処理を実行した上でその検出結果やその検出結果を用いてなされた診断結果をクライアント端末へ応答することによって脈波検出サービス及び診断サービスを提供できる。

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、転換判定部１６ａ、極値判定部１６ｂ、窓幅設定部１７ａ、ずらし範囲設定部１７ｂまたは相関係数算出部１８を脈波検出装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、転換判定部１６ａ、極値判定部１６ｂ、窓幅設定部１７ａ、ずらし範囲設定部１７ｂまたは相関係数算出部１８を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の脈波検出装置１０の機能を実現するようにしてもよい。

［信号処理プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１４を用いて、上記の実施例と同様の機能を有する信号処理プログラムを実行するコンピュータの一例について説明する。

図１４は、実施例１及び実施例２に係る信号処理プログラムを実行するコンピュータの一例について説明するための図である。図１４に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１４に示すように、上記の実施例１で示した転換判定部１６ａ、極値判定部１６ｂ、窓幅設定部１７ａ、ずらし範囲設定部１７ｂ及び相関係数算出部１８と同様の機能を発揮する信号処理プログラム１７０ａが予め記憶される。この信号処理プログラム１７０ａについては、図１に示した各々の転換判定部１６ａ、極値判定部１６ｂ、窓幅設定部１７ａ、ずらし範囲設定部１７ｂ及び相関係数算出部１８の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。

そして、ＣＰＵ１５０が、信号処理プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１４に示すように、信号処理プログラム１７０ａは、信号処理プロセス１８０ａとして機能する。この信号処理プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、信号処理プロセス１８０ａは、図１に示した転換判定部１６ａ、極値判定部１６ｂ、窓幅設定部１７ａ、ずらし範囲設定部１７ｂ及び相関係数算出部１８にて実行される処理、例えば図１２〜図１３に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。

なお、上記の信号処理プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

１０ 脈波検出装置
１１ カメラ
１３ 取得部
１４ 抽出部
１５ 波形検出部
１６ａ 転換判定部
１６ｂ 極値判定部
１７ａ 窓幅設定部
１７ｂ ずらし範囲設定部
１８ 相関係数算出部
１９ 脈波検出部

Claims (8)

1. 心拍または脈波に関する信号を検出する信号検出部と、
   前記信号検出部によって検出された信号を用いて、所定の時間幅を持つ第１の窓に含まれる信号の波形と、前記第１の窓内の波形と比較する第２の窓に含まれる信号の波形との間で、前記第１の窓内の振幅値の分散と前記第２の窓内の振幅値の分散との差が大きくなるにしたがって値が小さくなる相関係数を算出する相関係数算出部と、
   を有することを特徴とする信号処理装置。
2. 前記信号検出部は、
   生体が撮影された画像から脈波に対応する周波数帯の信号を検出し、
   前記相関係数算出部は、
   前記信号検出部によって検出された信号を用いて、前記第１の窓内の波形と前記第２の窓内の波形との間で前記相関係数を算出することを特徴とする請求項１に記載の信号処理装置。
3. 前記第１の窓の時間幅を設定する窓幅設定部と、
   前記第２の窓をずらす範囲を設定する範囲設定部とをさらに有し、
   前記相関係数算出部は、
   前記窓幅設定部によって時間幅が設定された第１の窓内の波形と、前記範囲設定部によって設定された範囲内で複数回にわたってずらした第２の窓内の波形の各々との間で前記相関係数を算出することを特徴とする請求項２に記載の信号処理装置。
4. 前記信号の振幅値の正負が転換するか否かを判定する転換判定部をさらに有し、
   前記窓幅設定部は、
   前記転換判定部によって振幅値の正負が転換すると判定された転換点から前記脈波の周期の整数倍と対応する個数になるまで転換点を遡った区間の長さを前記第１の窓の時間幅として設定することを特徴とする請求項３に記載の信号処理装置。
5. 前記信号の振幅値が極値であるか否かを判定する極値判定部をさらに有し、
   前記範囲設定部は、
   前記極値判定部によって極大であると判定された極大点のうち前記窓幅設定部によって時間幅が設定された第１の窓に含まれる極大点の数が前記脈波の周期と対応する個数と等しい場合に、前記範囲の設定を実行することを特徴とする請求項３または４に記載の信号処理装置。
6. 前記範囲設定部は、前記窓幅設定部によって第１の窓に設定された時間幅を用いて、前記範囲を設定することを特徴とする請求項３〜５のいずれか１つに記載の信号処理装置。
7. コンピュータが、
   心拍または脈波に関する信号を検出し、
   検出された信号を用いて、所定の時間幅を持つ第１の窓に含まれる信号の波形と、前記第１の窓内の波形と比較する第２の窓に含まれる信号の波形との間で、前記第１の窓内の振幅値の分散と前記第２の窓内の振幅値の分散との差が大きくなるにしたがって値が小さくなる相関係数を算出する
   処理を実行することを特徴とする信号処理方法。
8. コンピュータに、
   心拍または脈波に関する信号を検出し、
   検出された信号を用いて、所定の時間幅を持つ第１の窓に含まれる信号の波形と、前記第１の窓内の波形と比較する第２の窓に含まれる信号の波形との間で、前記第１の窓内の振幅値の分散と前記第２の窓内の振幅値の分散との差が大きくなるにしたがって値が小さくなる相関係数を算出する
   処理を実行させることを特徴とする信号処理プログラム。

Images