JP2019000474A - 脈拍周期検出装置、脈拍周期検出方法、脈拍周期検出プログラム、及び脈波検出装置 - Google Patents

Abstract

【課題】瞬時脈拍数を求めるために、脈拍周期の検出時間を短縮するための脈拍周期検出装置、脈拍周期検出方法、脈拍周期検出プログラム、及び脈波検出装置を提供する。【解決手段】脈拍周期検出装置１００は、動画像内の人物の顔面領域における画素毎の各色の輝度値を取得する輝度値取得部２２０と、輝度値取得部２２０により取得された輝度値に基づいて、画素毎の脈拍周期である単位周期を算出する単位周期算出部２４０とを備える。そして、単位周期算出部２４０により算出された画素毎の単位周期に対して統計処理を行うことにより、人物の脈拍周期を統計処理部２５０を通じて決定する。【選択図】図１

Description

本発明は、脈拍周期検出装置、脈拍周期検出方法、脈拍周期検出プログラム、及び脈波検出装置に関する。

従来、カメラにより撮影された顔画像などから人物の脈拍周期を非接触に検出する装置が広く知られている。例えば特許文献１に記載の装置は、顔画像の光波長成分ごとの輝度値の時系列データに対して独立成分分析を適用して複数の独立信号のスペクトル分布を求める。また、独立信号のスペクトル分布に対してＦＦＴ（高速フーリエ変換）を用いた周波数分析を行ってスペクトルの極大値を求める。そして、スペクトルの複数の極大値を入力とした重み付け計算を行うことにより、脈拍数（脈拍周期の逆数に相当）を検出する。

特開２０１２−２３９６６１号公報

上記特許文献１に記載の装置は、複数回の脈拍にわたる時系列データを取得するもので、取得する脈拍の回数が増えるほど精度良く検出できる。そのため、脈拍周期を精度良く検出しようとすると、脈拍数の検出完了までの遅れが大きくなる。そのため、顔画像などからほぼリアルタイムに瞬時脈拍数を検出するような用途には向いていない。例えば、感情の変化に伴って瞬時心拍数が急激に変化する場面で、この瞬時心拍数に対応する脈拍周期や瞬時脈拍数をリアルタイムに検出する用途である。

本発明は、このような実情に鑑みてなされたものであり、その目的は、瞬時脈拍数を求めるために、脈拍周期の検出時間を短縮するための脈拍周期検出装置、脈拍周期検出方法、脈拍周期検出プログラム、及び脈波検出装置を提供することにある。

上記課題を解決するため、本発明は、時系列画像から人物の脈拍周期を検出する脈拍周期検出装置であって、前記画像内の複数の単位領域について、輝度値に関する時系列データを検出する脈波検出部と、前記輝度値に関する時系列データに基づき、前記単位領域毎の脈拍周期である単位周期を算出する単位周期算出部と、異なる単位領域について算出した複数の前記単位周期に対して統計処理を行い、前記人物の脈拍周期を決定する統計処理部と、を備えることを特徴とする。

また、上記課題を解決するため、本発明は、時系列画像から人物の脈拍周期を検出する脈拍周期検出方法であって、前記画像内の複数の単位領域について、輝度値に関する時系列データを検出する脈波検出処理と、前記輝度値に関する時系列データに基づき、前記単位領域毎の脈拍周期である単位周期を算出する単位周期算出処理と、異なる単位領域について算出した複数の前記単位周期に対して統計処理を行い、前記人物の脈拍周期を決定する統計処理と、を含むことを特徴とする。

また、上記課題を解決するため、本発明は、コンピュータに、時系列画像内の複数の単位領域について、輝度値に関する時系列データを検出する脈波検出処理と、前記輝度値に関する時系列データに基づき、前記単位領域毎の脈拍周期である単位周期を算出する単位周期算出処理と、異なる単位領域について算出した複数の前記単位周期に対して統計処理を行い、人物の脈拍周期を決定する統計処理と、を実行させることを特徴とする。

上記構成によれば、多くの回数の脈拍にわたる時系列データを取得する代わりに、検出する箇所数を増やすことで、検出時間を短縮しても脈拍周期を精度良く検出することができる。具体的には、一部の単位領域における単位周期の算出結果にばらつきが生じたとしても、異なる単位領域について算出した複数の単位周期の算出結果に対する統計処理を行うことにより、検出時間を短縮しても人物の脈拍周期を精度良く検出することが可能となる。

また、上記構成によれば、検出時間を短縮した場合に限らず、他の原因で各単位領域における検出の精度が低くても、人物の脈拍周期を精度良く検出することができる。

また、本発明は、上記発明において、前記脈波検出部は、前記人物の肌領域内に複数の前記単位領域を設定することを特徴とする。

上記構成によれば、人物の肌部以外が画像内に含まれたとしても、単位領域毎の単位周期の算出結果に含まれるノイズを低減することが可能となる。

また、本発明は、上記発明において、前記脈波検出部は、異なる光波長成分の輝度値の相対比率を前記時系列データとして検出することを特徴とする。

上記構成によれば、脈拍周期の検出を高精度に行うことが可能となる。

また、本発明は、上記発明において、前記単位周期算出部は、前記時系列データに基づく最新の周期を前記単位周期として算出することを特徴とする。

上記構成によれば、時系列データが一周期分あれば単位周期が算出できるので、脈拍周期を短時間で検出することができる。

また、本発明は、上記発明において、前記単位周期算出部は、前記時系列データが極大値あるいは極小値となるピーク点を検出し、隣り合うピーク点間の時間差を前記単位周期として算出することを特徴とする。

上記構成によれば、単位領域毎の輝度値の時系列データの中から一周期分のピーク点が検出された時点で単位領域毎の単位周期データが算出される。そのため、この単位領域毎の単位周期に対して統計処理を行うことにより、人物の脈拍周期の検出を短時間に行うことが可能となる。

また、本発明は、上記発明において、前記単位周期算出部は、前記時系列データと基準関数との合成積により前記時系列データを変換し、変換後の前記時系列データに基づき、前記単位領域毎の単位周期を算出することを特徴とする。

上記構成によれば、基準関数との合成積により、輝度値に関する時系列データの誤差成分が低減される。そして、誤差成分が低減された時系列データに基づき、輝度値の極値が求まる。これにより、脈拍周期の検出精度を高めることが可能となる。

また、本発明は、上記発明において、前記統計処理部は、異なる単位領域について算出した複数の前記単位周期の最頻値、平均値または中央値を前記人物の脈拍周期として決定することを特徴とする。

上記構成によれば、単位領域毎の単位周期を解析範囲の全体で統計処理する。これにより、単位領域毎の血流速度による位相差の影響を抑えて、脈拍周期の検出精度を高めることができる。

また、本発明は、上記発明において、前記統計処理部は、異なる単位領域について算出した複数の前記単位領域の分布を正規分布と仮定し、この仮定した正規分布に基づいて前記人物の脈拍周期を決定することを特徴とする。

上記構成によれば、複数の単位領域の分布の分解能を統計的に高めることにより、脈拍周期の分解能が高められる。これにより、低フレームレートのカメラを用いた場合でも、高フレームレートのカメラと同程度の分解能で、脈拍周期を検出することが可能となる。

また、本発明は、上記発明において、前記統計処理部は、前記時系列データに基づいて前記単位領域毎の単位周期の信頼度を算出し、当該算出した信頼度に応じて前記単位領域毎の前記単位周期に重み付けを行い、前記人物の脈拍周期を決定することを特徴とする。

上記構成によれば、肌部以外の単位領域の重み付けを低くし、肌部の単位領域の重み付けを高くすることにより、より頑健に脈拍周期の検出が実現できる。

また、本発明は、上記発明において、前記統計処理部が決定した前記脈拍周期に基づき、脈拍数を算出する。

上記構成によれば、人物の脈拍数を短時間で検出することが可能となる。

また、上記課題を解決するため、本発明は、時系列画像から人物の脈波を検出する脈波検出装置であって、前記画像内の複数の単位領域について、異なる光波長成分毎の輝度値の相対比率を時系列データとして検出する脈波検出部を備えることを特徴とする。

上記構成によれば、複数の光波長成分の輝度値の相対比率に基づいて、外乱光の影響を抑えつつ人物の脈波の検出を高精度に行うことが可能となる。

また、本発明は、上記発明において、上記構成の脈波検出装置と、前記脈波検出装置により検出された前記時系列データに基づき、前記単位領域毎の脈拍周期である単位周期を算出する単位周期算出部と、を備え、前記単位周期算出部により算出された前記単位周期に基づき、前記人物の脈拍周期を決定することを特徴とする。

上記構成によれば、複数の光波長成分の輝度値の相対比率に基づいて、外乱光の影響を抑えつつ人物の脈拍周期が解析される。これにより、脈拍周期の短時間での検出を高精度に行うことが可能となる。

本発明によれば、人物の脈拍周期の検出時間を短縮することができる。

脈拍周期検出装置の第１の実施の形態の機能構成を示すブロック図。 緑色の輝度値の相対比率と脈圧との相関関係を示すグラフ。 一階微分ガウス関数の特性を示すグラフ。 変換前後の脈波の特性を示すグラフ。 同実施の形態の脈拍周期検出装置が実行する脈拍周期の検出処理の処理内容を示すフローチャート。 （ａ）は、人物の属性の一例を示す模式図、（ｂ）は、図６（ａ）に示す人物から得られる単位周期データの度数分布の一例を示すグラフ。 （ａ）は、人物の属性の一例を示す模式図、（ｂ）は、図７（ａ）に示す人物から得られる単位周期データの度数分布の一例を示すグラフ。 （ａ）は、人物の属性の一例を示す模式図、（ｂ）は、図８（ａ）に示す人物から得られる単位周期データの度数分布の一例を示すグラフ。 （ａ）は、顔面領域に対する解析範囲の一例を示す模式図、（ｂ）は、図９（ａ）に示す解析範囲から得られる単位周期データの度数分布の一例を示すグラフ。 （ａ）は、顔面領域に対する解析範囲の一例を示す模式図、（ｂ）は、図１０（ａ）に示す解析範囲から得られる単位周期データの度数分布の一例を示すグラフ。 （ａ）は、顔面領域に対する解析範囲の一例を示す模式図、（ｂ）は、図１１（ａ）に示す解析範囲から得られる単位周期データの度数分布の一例を示すグラフ。 単位周期データの度数分布についての解析方法の一例を説明するためのグラフ。 脈波の解析方法の一例を説明するためのグラフ。

本発明の脈拍周期検出装置、脈拍周期検出方法、脈拍周期検出プログラムは、人物の肌領域を撮影した画像の輝度値の変化から脈波を検出して脈拍周期を検出するものであって、多数の箇所で検出した脈波の周期を統計処理することによって、短時間で精度の良い検出を実現するものである。

心臓の拍動である心拍に対応して、肌表面に近い血管も拍動しており、肌領域を撮影した画像の輝度値の変化から肌の表面に近い部分の脈波を検出できることが知られている。心臓から肌表面まで血圧の変動が伝わるのに時間がかかるため、心拍と脈拍の位相は必ずしも一致しないが、通常、その周期は一致している。そのため、脈波を検出してその周期を求めることにより、心拍の周期を推定することができる。

肌表面においても、場所が異なると脈拍の位相は必ずしも一致しない。そのため、広い領域の輝度値の平均値から脈拍を検出するよりも、狭い領域の輝度値の変化から脈拍を検出するほうが、脈拍を精度良く検出できる。狭い領域で検出すると、血流が悪い部分や肌以外の部分など異常な領域が検出領域となり、脈拍の検出が困難になる場合があるが、多数の領域で検出することにより正常に検出された領域を多数含めることができる。

正常な領域で検出された脈拍の周期は、心拍の周期に対応した一定範囲の周期となる一方で、異常な領域で検出された脈拍の周期が心拍の周期と異なる特定の周期に集中することはない。そのため、多数の領域で検出された脈拍周期を統計処理することで、脈拍周期を精度良く検出することができる。

このように、多数の領域で脈拍を検出することで精度を良くするので、個々の領域においては、精度良く検出することよりも短時間で検出することを優先することができる。本発明では、ＲＲＩ（Ｒ−Ｒ ｉｎｔｅｒｖａｌ）の算出方法に対応して、脈波のピークから次のピークまでの時間を算出している。脈拍が一拍検出できる時系列データが取得できれば算出できるので、短時間で脈拍を検出することができる。なお、脈拍一拍の周期が算出できれば、ピーク間の時間以外の算出方法を用いることもできる。

（第１の実施の形態）
以下、脈拍周期検出装置の第１の実施の形態について図面を参照して説明する。

本実施の形態の脈拍周期検出装置は、画像内の人物から肌領域として顔面領域を検出し、当該顔面領域についての複数の色成分（光波長成分）の輝度値を取得する。また、各色の輝度値の相対比率に基づいて、人物の脈波を検出する。この点で、脈拍検出装置は、脈波検出装置としても機能する。また、脈拍周期検出装置は、人物の脈波に基づいて、画素（単位領域）毎の脈拍周期である単位周期を算出する。そして、画素毎の単位周期に対して統計処理を行うことにより、人物の顔面領域から得られた画素毎の単位周期の代表値を人物の脈拍周期として決定する。

具体的には、図１に示すように、脈拍周期検出装置１００は、脈拍周期の検出処理を制御する制御部２００と、制御部２００が脈拍周期の検出処理の際に実行する脈拍周期検出プログラムを含めた各種のプログラムや当該プログラムの実行の際に制御部２００が読み書きする各種のデータを保存する記憶部３００とを有するコンピュータである。そして、制御部２００は、記憶部３００に保存された脈拍周期検出プログラムを実行することにより、顔検出部２１０、輝度値取得部２２０、脈波検出部２３０、単位周期算出部２４０、統計処理部２５０、及び、出力部２６０として機能する。

顔検出部２１０は、カメラ１０により撮影された動画像（時系列画像）から画像フレームを取得する。また、顔検出部２１０は、こうして取得した画像フレームからテンプレートマッチング等により顔面領域を検出し、当該検出した顔面領域のデータを輝度値取得部２２０に出力する。

顔面領域の範囲は任意に設定できるが、一例として、上端は眉毛より６０ピクセル上で、左右下端は顔の輪郭とすることができる。このとき、顔面領域のサイズが幅４００ピクセル、高さ５００ピクセルとすると、２０万画素について輝度値を取得し、以下の処理を行う。

輝度値取得部２２０は、顔検出部２１０から入力された顔面領域のデータに基づいて、人物の顔面領域に含まれる画素毎のデータとして、赤、緑、青の３色の輝度値を取得する。この場合、輝度値取得部２２０は、動画像内の人物の動きに追随させて、連続する画像フレーム間の画素同士を対応付ける。これにより、輝度値取得部２２０は、画素毎の各色の輝度値を時系列波形データ（時系列データ）として取得する。そして、輝度値取得部２２０は、こうして取得した各色の輝度値を脈波検出部２３０に出力する。

脈波検出部２３０は、輝度値取得部２２０から入力された各色の輝度値を画像フィルタに入力することにより、各色の輝度値を平滑化する。なお、画像フィルタは、各色の輝度値を対象となる画素とその周囲の画素も含めた正方領域など局所領域内で平均して平滑化するためのフィルタである。

また、脈波検出部２３０は、脈波検出処理として、平滑化後の各色の輝度値の相対比率を算出する。具体的には、脈波検出部２３０は、赤色の輝度値Ｒ、緑色の輝度値Ｇ、青色の輝度値Ｂを入力として、緑色の輝度値の相対比率Ｇｒ（＝Ｇ／（Ｒ＋Ｇ＋Ｂ））を算出する。この場合、緑色の輝度値の相対比率Ｇｒは、人物の脈拍の時間変化を反映しており、その傾向は動画像に対して外乱光が入射したとしても維持される。そのため、脈波検出部２３０は、緑色の輝度値の相対比率Ｇｒについての時系列波形データ３１０を人物の脈波として検出する。

図２は、動画像内の人物の顔面領域に含まれる緑色の輝度値の相対比率Ｇｒについての時系列波形データ３１０と、動画像の撮影時に脈拍センサを用いて人物から電気的に検出した脈圧についての時系列波形データとを比較して示している。同図に示すように、脈圧が周期的に変化する過程において、脈圧が増加している間に緑色の輝度値の相対比率Ｇｒが低下する一方で、脈圧が減少している間に緑色の輝度値の相対比率Ｇｒが上昇している。すなわち、緑色の輝度値の相対比率Ｇｒと脈圧との間には負の相関がある。これは、可視光の血中ヘモグロビンの吸光特性に起因していると考えられる。具体的には、血中ヘモグロビンの吸光特性は、５２０〜６００ｎｍの波長帯域にピークを持っており、カメラ１０の緑色フィルターの透光度が高くなる波長帯域と重なっている。そのため、顔表面の毛細血管に流れる血流量が増加すると、血中ヘモグロビンの相対量も増加するため、顔表面での緑色光の吸光量が増加する。カメラ１０は、顔表面で反射した光を受光するため、血中ヘモグロビンの相対量が増加しているときには動画像内の緑色の輝度値の相対比率Ｇｒが低下する。また逆に、血中ヘモグロビンの相対量が減少しているときには顔表面での緑色の吸光量が減少するため、動画像内の緑色の輝度値の相対比率Ｇｒが上昇する。

図１に示すように、単位周期算出部２４０は、脈波検出部２３０により検出された人物の脈波の時系列波形データ３１０と記憶部３００に保存された基準関数データ３２０との合成積（畳み込み積分）を算出する。本実施形態では、単位周期算出部２４０は、基準関数データ３２０の一例として、以下の［数１］にて示される一階微分ガウス関数を用いる。

図３は、一階微分ガウス関数を座標平面にプロットしたグラフである。同図に示すように、この関数は、変数ｔを横軸としたときに出力値が一つの波形を示す関数となっており、同図に示す例では、関数の窓幅が「２５」に設定されている。単位周期算出部２４０は、この関数において窓幅に対応してプロットされる２５個の点を離散データとして定義する。また、単位周期算出部２４０は、時系列波形データ３１０のデータ数が関数の窓幅に対応する所定のデータ数（２５個）に到達したことを条件に、関数の離散値データと時系列波形データ３１０における関数の窓幅に対応する直近の区間内にあるデータとの合成積を算出する。そして、単位周期算出部２４０は、その算出結果を微分値データ３３０（図１参照）として記憶部３００に保存する。

図４は、変換前の人物の脈波を破線で示すとともに、変換後の人物の脈波を実線で示している。同図に示すように、変換前の人物の脈波は、時間の経過とともに細かく変動する波形となっている一方で、変換後の人物の脈波は、時間の経過に伴う変動が円滑化された波形となっている。また、変換後の人物の脈波において出力値がゼロとなるゼロクロス点は、変換前の人物の脈波において出力値が極大値となるピーク点に対応している。そして、単位周期算出部２４０は、微分値データ３３０を監視し、微分値データ３３０が正から負に反転した場合に、現在の時刻と、記憶部３００に保存されている直前のゼロクロス点データ３４０との差分を算出する。また、単位周期算出部２４０は、単位周期算出処理として、この算出した差分を画素毎の脈拍周期である単位周期データ３５０として算出し、算出した単位周期データ３５０を記憶部３００に保存する。また、単位周期算出部２４０は、現在の時刻を記憶部３００に保存されているゼロクロス点データ３４０として更新する。そして以降、単位周期算出部２４０は、ゼロクロス点が出現する度に、記憶部３００に記憶されている単位周期データ３５０を更新する。

図１に示すように、統計処理部２５０は、統計処理として、単位周期算出部２４０により算出された画素毎の単位周期データ３５０に対して統計処理を行うことにより、人物の脈拍周期を決定する。本実施形態では、統計処理部２５０は、顔面領域内の各画素の単位周期データ３５０を記憶部３００から読み出す。そして、統計処理部２５０は、単位周期データ３５０が初期値とは異なる画素の比率が所定割合以上であることを条件に、画素毎の単位周期データ３５０の出現頻度の度数分布を求める。そして、統計処理部２５０は、最頻値となる単位周期データ３５０を人物の脈拍周期（ＲＲＩ：Ｒ−Ｒ ｉｎｔｅｒｖａｌ）として決定し、この決定した脈拍周期を出力部２６０により出力する。

次に、本実施の形態の脈拍周期検出装置１００が実行する脈拍周期の検出処理について、その具体的な処理内容を説明する。

図５に示すように、この脈拍周期の検出処理ではまず、顔検出部２１０は、カメラ１０により撮影された動画像の画像フレームを取得する（ステップＳ１０）。そして、顔検出部２１０は、先のステップＳ１０において取得した画像フレームから顔面領域を検出する（ステップＳ１１）。

輝度値取得部２２０は、顔検出部２１０により検出された顔面領域の画素毎に各色の輝度値を取得する。脈波検出部２３０は、輝度値取得部２２０により取得された各色の輝度値を画像フィルタに入力することにより、各色の輝度値を平滑化する（ステップＳ１２）。

また、脈波検出部２３０は、先のステップＳ１２において平滑化した各色の輝度値に基づき、各画素の緑色の輝度値の相対比率Ｇｒについての時系列波形データ３１０を人物の脈波として検出する（ステップＳ１３）。また、脈波検出部２３０は、この検出した時系列波形データ３１０を記憶部３００に保存する。

そして、単位周期算出部２４０は、記憶部３００に保存されている時系列波形データ３１０のデータ数が所定のデータ数に到達しているときには（ステップＳ１４＝ＹＥＳ）、時系列波形データ３１０と基準関数データ３２０としての一階微分ガウス関数との合成積を算出する（ステップＳ１５）。また、単位周期算出部２４０は、合成積による算出結果を微分値データ３３０として記憶部３００に保存する（ステップＳ１６）。

また、単位周期算出部２４０は、記憶部３００に保存されている微分値データ３３０を読み出す。そして、単位周期算出部２４０は、微分値データ３３０が正から負に反転したときには（ステップＳ１７＝ＹＥＳ）、記憶部３００に保存されている直前のゼロクロス点データ３４０を読み出す。また、単位周期算出部２４０は、直前のゼロクロス点データ３４０と現在の時刻との差分を単位周期データ３５０として算出するとともに、その算出した最新の単位周期データ３５０を記憶部３００に保存する（ステップＳ１８）。また、単位周期算出部２４０は、先のステップＳ１８において記憶部３００に保存されている単位周期データ３５０を最新の単位周期データ３５０で更新した後、現在の時刻を記憶部３００に保存されているゼロクロス点データ３４０として更新する（ステップＳ１９）。

一方、単位周期算出部２４０は、微分値データ３３０が正から負に反転していないときには（ステップＳ１７＝ＮＯ）、ステップＳ１８及びステップＳ１９の処理を経ることなく、その処理をステップＳ２０に移行する。

そして、統計処理部２５０は、顔面領域内の画素のうち、記憶部３００に保存されている単位周期データ３５０が初期値とは異なる画素の比率が所定割合以上であるときには（ステップＳ２０＝ＹＥＳ）、単位周期データ３５０の最頻値を脈拍周期として決定する（ステップＳ２１）。すなわち、統計処理部２５０は、顔面領域内の画素のうち、単位周期データ３５０が算出済みであって、単位周期データ３５０が初期値から更新された画素の比率が所定割合以上であることを条件に、各画素の単位周期データ３５０を統計処理して脈拍周期を決定する。

一方、統計処理部２５０は、顔面領域の画素のうち、記憶部３００に保存されている単位周期データ３５０が初期値とは異なる画素の比率が所定割合未満であるときには（ステップＳ２０＝ＮＯ）、脈拍周期の検出エラーと判定する（ステップＳ２２）。

また、統計処理部２５０は、先のステップＳ１４において、記憶部３００に保存されている時系列波形データ３１０のデータ数が所定のデータ数に到達していないときにも（ステップＳ１４＝ＮＯ）、脈拍周期の検出エラーと判定する（ステップＳ２２）。

以上のような処理を繰り返し実行し、脈拍周期を継続して検出する。継続して検出することにより、常に最新の脈拍周期を検出し続けることができるが、用途に応じて一回のみの検出としたり、随時検出を停止してもよい。

以上のような処理で脈拍周期を決定したとき、検出開始までの所要時間は長くても脈拍３周期分より短くなる。その内訳は、主に、基準関数データ３２０との合成積として微分値データ３３０を算出するために必要な数のデータを取得する時間と、微分値データ３３０が２回ゼロクロスするまでのデータを取得する時間である。長くても脈拍周期２周期分の時間があれば、微分値データ３３０は２回ゼロクロスするため、全ての単位周期データ３５０が初期値から更新される。微分値データ３３０を算出するために必要な数のデータを取得する時間は、図３で示した関数の窓幅が「２５」でカメラのフレームレートが４０ＦＰＳなら０．６秒ほどで、脈拍が８０回／分なら脈拍１周期分に満たない。よって、検出開始までの所要時間は長くても脈拍３周期分より短くなり、脈拍が８０回／分なら長くても２．３秒程度で検出が開始される。

また、脈拍周期検出のタイミングは、微分値データ３３０の算出時に、少なくとも図３で示した関数の窓幅の半分程度遅れる。窓幅が「２５」なら１２フレーム分の遅れが生じる。例えば、カメラのフレームレートが４０ＦＰＳのときは０．３秒である。なお、関数の窓幅を増減することにより、検出開始までの所要時間を調節することができる。

次に、本実施の形態の脈拍周期検出装置１００の作用について説明する。

一般に、脈拍により顔表面の血流量が変化したとしても、顔面領域に含まれる各色の輝度値の変化量は微小となる。そのため、顔面領域に含まれる全ての画素について、必ずしも各色の輝度値に基づいて人物の脈拍周期を解析できるとは限らない。

この点、本実施の形態では、顔面領域に含まれる各色の輝度値に基づいて画素毎に単位周期データ３５０が算出され、当該算出された画素毎の単位周期データ３５０に対して統計処理が行われることにより、画素毎の単位周期データ３５０の代表値が人物の脈拍周期として決定される。これにより、一部の画素における単位周期データ３５０の算出結果にばらつきが生じたとしても、人物の脈拍周期が検出される。その結果、ＦＦＴ（高速フーリエ変換）を用いた周波数分析が不要となり、脈拍周期の検出時間が短縮される。そして、脈拍周期の短時間の検出により、例えば人物のストレスや感情等の評価に用いられる瞬時脈拍数（ＩＨＲ：Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｈｅａｒｔ Ｒａｔｅ）の検出も可能となる。

特に、本実施の形態では、顔面領域の全体を解析範囲として設定しており、顔面領域の全体から画素毎に算出された単位周期データ３５０に対して統計処理を行うことにより、人物の脈拍周期を検出している。これにより、顔の上方と下方とで血流速度による位相差の影響があったとしても、こうした位相差の影響を低減しつつ、人物の脈拍周期を検出することが可能となる。

また、本実施の形態では、画素毎の単位周期データ３５０の出現頻度の度数分布が求められ、最頻値となる単位周期データ３５０が人物の脈拍周期として決定される。

ここで、図６（ａ）に示すように、動画像内の人物が眼鏡やマスクを装着しておらず、顔面領域の全体の輝度値が正確に得られているものとする。この場合、図６（ｂ）に示すように、顔面領域の全体について画素毎の単位周期データ３５０が検出され、単位周期データ３５０の出現頻度の度数分布が得られる。そして、こうして得られた度数分布に基づいて、最頻値となる単位周期データ３５０が人物の脈拍周期として好適に検出される。

一方、図７（ａ）に示すように、動画像内の人物がマスクを装着しており、人物の口元の輝度値が正確に得られていないこともある。この場合、人物の口元に対応する精度の低い輝度値からは、単位周期データ３５０が非検出となるか、若しくは、単位周期データ３５０が検出されたとしてもその値は信頼性の低いものとなる。しかしながら、こうした信頼性の低い単位周期データ３５０は、顔面領域の全体についての画素毎の単位周期データ３５０のデータ群の中で例外的なデータとなり、各々の出現頻度は低い傾向にある。そのため、図７（ｂ）に示すように、顔面領域から得られる単位周期データ３５０の出現頻度の度数分布のうち最頻値となる単位周期データ３５０は、先の図６（ｂ）に示した場合と概ね共通の傾向を示す。そのため、度数分布の中で最頻値となる単位周期データ３５０が人物の脈拍周期として好適に検出される。

また、図８（ａ）に示すように、動画像内の人物が眼鏡を装着しており、人物の目元の輝度値が正確に得られていないこともある。この場合も同様に、図８（ｂ）に示すように、顔面領域から得られる単位周期データ３５０の出現頻度の度数分布のうち最頻値となる単位周期データ３５０は、先の図６（ｂ）に示した場合と概ね共通の傾向を示す。そのため、度数分布の中で最頻値となる単位周期データ３５０が人物の脈拍周期として好適に検出される。

すなわち、顔画像から得られる画素毎の単位周期データ３５０のうち、最頻値となる単位周期データ３５０は、例えば眼鏡やマスクの装着の有無等、動画像内の人物の属性からの影響を受けにくい。そのため、画素毎の単位周期データ３５０に対する統計処理として、最頻値となる単位周期データ３５０が選択されることにより、様々な状況に置かれた人物から脈拍周期が検出されるようになり、脈拍周期の検出の頑強性が高められる。

なお、各画素の輝度値は、動画像を撮影する際の外乱光によっても影響を受ける。そのため、画素毎の各色の輝度値の絶対値が、必ずしも人物の脈拍周期を反映しているとは限らない。

この点、本実施の形態では、緑色の輝度値の相対比率Ｇｒについての時系列波形データ３１０を脈波として検出し、当該検出した脈波に基づいて単位周期データ３５０を算出している。ここで、動画像を撮影する際の外乱光が変化したとしても、各色の輝度値に対する影響は概ね共通している。そのため、緑色の輝度値の相対比率Ｇｒに基づいて画素毎の単位周期データ３５０が算出されることにより、外乱光の影響を抑えつつ単位周期データ３５０が正確に算出される。

以上説明したように、上記第１の実施の形態によれば、以下に列挙する効果を得ることができる。
（１）画素毎の単位周期データ３５０に対して統計処理を行うことにより、人物の脈拍周期を検出するようにした。これにより、一部の画素における単位周期データ３５０の算出結果にばらつきが生じたとしても、人物の脈拍周期を検出することが可能となる。

（２）人物の顔面領域を単位周期データ３５０の解析範囲として設定するようにした。これにより、人物の肌部以外が画像内に含まれていたとしても、画素毎の単位周期データ３５０の算出結果に含まれるノイズを低減することが可能となる。

（３）緑色の輝度値の相対比率Ｇｒに基づいて、画素毎の単位周期データ３５０が算出される。これにより、外乱光の影響を抑えつつ単位周期データ３５０が算出されるようになる。そのため、この単位周期データ３５０に対して統計処理を行うことにより、人物の脈拍周期の検出を高精度に行うことができる。

（４）輝度値が極大値となるピーク点を検出し、隣り合うピーク点同士の時間差を単位周期データ３５０として算出するようにした。これにより、輝度値の時系列データの中から一周期分のピーク点が検出された時点で画素毎の単位周期データ３５０が算出される。そのため、この単位周期データ３５０に対して統計処理を行うことにより、人物の脈拍周期の検出を短時間に行うことが可能となる。

（５）画素毎の輝度値に関する時系列波形データ３１０と基準関数データ３２０との合成積により時系列波形データ３１０を変換し、変換後の時系列波形データ３１０に基づいて単位周期データ３５０を算出するようにした。これにより、輝度値に関する時系列波形データ３１０の誤差成分が低減される。そして、誤差成分が低減された時系列データに基づき、輝度値の極値が求まる。これにより、人物の脈拍周期の検出精度を高めることが可能となる。

（６）画素毎の単位周期データ３５０を解析範囲となる顔面領域の全体で統計処理するようにした。これにより、画素毎の血流速度による位相差の影響を抑えて、人物の脈拍周期の検出精度を高めることが可能となる。

（７）画素毎の単位周期データ３５０の最頻値を人物の脈拍周期として決定するようにした。これにより、例えば眼鏡やマスクの装着の有無等、画像内の人物の属性に関わらず、画素毎の単位周期データ３５０に基づいて人物の脈拍周期が検出されるため、脈拍周期の検出の頑強性を高めることができる。

（８）統計処理部２５０が決定した脈拍周期に基づき、人物の脈拍数を決定するようにした。そのため、脈拍周期の短時間の検出により、例えば人物のストレスや感情等の評価に用いられる瞬時脈拍数の検出も可能となる。

（第２の実施の形態）
次に、脈拍周期検出装置の第２の実施の形態について図面を参照して説明する。なお、第２の実施の形態は、人物の顔面領域から単位周期データを算出する方法が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一の又は相当する構成については重複する説明を省略する。

本実施の形態の脈拍周期検出装置１００では、顔検出部２１０は、人物の顔面領域の中から眼鏡やマスク等の装着物を検出し、装着物の有無を人物の属性として特定する。そして、輝度値取得部２２０は、顔検出部２１０により特定された人物の属性に基づいて、人物の顔面領域の中から装着物を除外した領域を、単位周期データ３５０の解析範囲として設定する。

ここで、図９（ａ）に示すように、動画像内の人物が眼鏡やマスクを装着しておらず、顔面領域の全体の輝度値が正確に得られているものとする。この場合、顔面領域のうち、鼻近傍の領域が単位周期データ３５０の解析範囲として設定される。そして、図９（ｂ）に示すように、解析範囲から得られた画素毎の単位周期データ３５０に基づいて、単位周期データ３５０の出現頻度の度数分布が得られるとともに、この度数分布に基づいて最頻値となる単位周期データ３５０が人物の脈拍周期として好適に検出される。

一方、図１０（ａ）に示すように、動画像内の人物がマスクを装着しており、人物の口元の輝度値が正確に得られていないこともある。この場合、人物の口元に対応する精度の低い輝度値からは、単位周期データ３５０が非検出となるか、若しくは、単位周期データ３５０が検出されたとしてもその値は信頼性の低いものとなる。そのため、顔面領域のうち、人物の口元に対応する領域を除外した額近傍の領域が単位周期データ３５０の解析範囲として設定され、解析範囲から得られる単位周期データ３５０は信頼性の高いデータとなる。この場合、図１０（ｂ）に示すように、単位周期データ３５０の出現頻度の度数分布は、先の図９（ｂ）に示した場合と同様、誤差成分の少ないデータとなる。そして、こうして得られた度数分布に基づいて、最頻値となる単位周期データ３５０が人物の脈拍周期として好適に検出される。

また、図１１（ａ）に示すように、画像内の人物が眼鏡を装着しており、人物の目元の輝度値が正確に得られていないこともある。この場合、人物の目元に対応する精度の低い輝度値からは、単位周期データ３５０が非検出となるか、若しくは、単位周期データ３５０が検出されたとしてもその値は信頼性の低いものとなる。そのため、顔面領域のうち、人物の目元に対応する領域を除外した顎近傍の領域が単位周期データ３５０の解析範囲として設定され、解析範囲から得られる単位周期データ３５０は信頼性の高いデータとなる。この場合、図１１（ｂ）に示すように、単位周期データ３５０の出現頻度の度数分布は、先の図９（ｂ）に示した場合と同様、誤差成分の少ないデータとなる。そして、こうして得られた度数分布に基づいて、最頻値となる単位周期データ３５０が人物の脈拍周期として好適に検出される。

以上説明したように、上記第２の実施の形態によれば、第１の実施の形態の効果（１）〜（８）に加えて、以下に列挙する効果を得ることができる。
（９）動画像内の人物の属性に基づいて単位周期データ３５０の解析範囲を設定するようにした。これにより、例えば眼鏡やマスク等、画像内の人物が装着している装着物の種類に適したかたちで単位周期データ３５０の解析範囲が設定される。そのため、画像内の人物が装着物を装着しているか否かに関わらず、解析範囲から得られる単位周期データ３５０のデータ群の全体は信頼性の高いものとなる。これにより、画素毎の単位周期データ３５０を用いた人物の脈拍周期の検出精度を高めることが可能となる。

（その他の実施の形態）
なお、上記各実施の形態は、以下のような形態にて実施することもできる。
・上記各実施の形態においては、輝度値に関する時系列波形データ３１０から輝度値が極大値となるピーク点を検出し、隣り合うピーク点間の時間差を単位周期データ３５０として検出するようにした。これに代えて、輝度値に関する時系列波形データ３１０から輝度値が極小値となるピーク点を検出し、隣り合うピーク点間の時間差を単位周期データ３５０として検出してもよい。

・上記各実施の形態においては、画素毎の単位周期データ３５０の最頻値を人物の脈拍周期として決定するようにした。これに代えて、画素毎の単位周期データ３５０の平均値又は中央値を人物の脈拍周期として決定するようにしてもよい。また、画素毎の単位周期データ３５０の出現頻度の度数分布の中から分布の上限近傍及び下限近傍に位置する信頼性の低いデータを除外し、残されたデータ群の平均値又は中央値を人物の脈拍周期として決定するようにしてもよい。

・上記第２の実施の形態においては、例えば眼鏡やマスクの装着の有無等、動画像から特定された人物の属性に基づいて単位周期データ３５０の解析範囲を設定するようにした。これに代えて、例えばカメラ１０により撮影される人物の顔の向き等、カメラ１０の設置環境を考慮して単位周期データ３５０の解析範囲を設定するようにしてもよい。

・上記各実施の形態においては、度数分布に含まれる単位周期データ３５０の中から人物の脈拍周期を選択するようにした。すなわち、単位周期データ３５０の分解能と人物の脈拍周期の分解能とが同一となっていた。これに代えて、図１２に示すように、単位周期データ３５０の出現頻度の度数分布を正規分布と仮定して関数によるフィッティングを行い、当該フィッティングされた関数に基づいて人物の脈拍周期を検出するようにしてもよい。同図に示す例では、以下の［数２］にて示されるガウス関数によるフィッティングを行っている。この場合、例えば、ガウス関数の中央値μを人物の脈拍周期として決定してもよい。

・上記各実施の形態においては、顔面領域に含まれる各画素に対応する単位周期を用いて単位周期データ３５０の出現頻度の度数分布を更新するようにした。これに代えて、図１３に示すように、各画素の輝度値に基づく脈波の波形を分析し、その分析結果に基づいて度数分布の更新の可否を判定するようにしてもよい。同図に示す例では、人物の脈波に対してＦＦＴ（高速フーリエ変換）を用いた周波数分析を行っている。この場合、周波数分析により得られた周波数成分に基づいて、画素から求めた単位周期データ３５０の信頼性を評価する。例えば、周波数分析により得られた周波数成分が、脈波の波形から得られる脈拍の周波数（脈拍周期の逆数に相当）よりも高い周波数成分を所定量以上含む場合、この画素から求めた単位周期データ３５０の信頼性を低く評価する。そして、例えば度数分布における単位周期データ３５０の出現頻度の加算値を低くする等、この画素から現時点で求めた単位周期データ３５０の重み付けを低くして単位周期データ３５０の出現頻度の度数分布を更新する。

・上記各実施の形態においては、画素毎の輝度値に関する時系列波形データ３１０との合成積に用いる基準関数データ３２０として、一階微分ガウス関数を適用する場合を例に挙げて説明した。ただし、基準関数データ３２０としてはその他にも、ガウス関数やｓｉｎ関数やｃｏｓ関数を適用するようにしてもよい。例えば、基準関数データ３２０としてガウス関数を用いる場合には、時系列波形データ３１０とガウス関数との合成積により時系列波形データ３１０の平滑化処理を行った後、微分処理を行って輝度値の極大値または極小値を求めるようにしてもよい。また、時系列波形データ３１０の時間平均を算出して時系列波形データ３１０の平滑化処理を行った後、微分処理を行って輝度値の極大値または極小値を求めるようにしてもよい。

・上記各実施の形態においては、全色の輝度値の合計値に対する緑色の輝度値の相対比率Ｇｒに基づいて、画素毎の単位周期データ３５０を算出するようにした。ただし、単位周期データ３５０の算出に用いる輝度値としては、例えば、赤色の輝度値に対する緑色の輝度値の相対比率であってもよいし、青色の輝度値に対する緑色の輝度値の相対比率であってもよいし、赤色及び青色の輝度値の合計値に対する緑色の輝度値の相対比率であってもよい。また、緑色の輝度値を直接用いて脈拍周期の解析を行ってもよい。また、緑色の輝度値ではなく、緑色の輝度値と負の相関がある赤色の輝度値を直接用いて脈拍周期の解析を行ってもよい。

・上記各実施の形態においては、人物の顔面領域の画素毎に脈拍周期を解析するようにした。ただし、脈拍周期を解析する際の単位領域は、必ずしも一つの画素である必要はなく、複数の画素により単位領域を構成してもよい。

・上記各実施の形態においては、脈拍周期の検出対象が人物の顔面領域である場合を例に挙げて説明した。ただし、脈拍周期の検出対象としてはその他にも、横顔や手足等、人物の肌が露出している他の身体部位を適用することも可能である。

・上記各実施の形態においては、動画像の撮影時に、人物の脈拍周期を決定する場合を例に挙げて説明した。これに代えて、動画像を事前に撮影しておき、撮影した動画像を読み込んで人物の脈拍周期を決定するようにしてもよい。この場合、例えば、動画像において脈拍周期が大きく変化した場面を検索することも可能となる。

・上記各実施の形態においては、ＲＲＩ（Ｒ−Ｒ ｉｎｔｅｒｖａｌ）の算出方法に対応して、脈波のピークから次のピークまでの時間を単位周期として算出したが、単位周期の算出に用いる基準点は脈波のピークに限定されない。脈波の極値となる一階微分のゼロクロス点を基準点とするほか、脈波のゼロクロス点を基準点とするなど、他の基準点を用いてもよい。

また、単位領域毎に複数の基準点を使い分けてもよい。例えば、上記実施例で示した一階微分の正から負へのゼロクロス点のほか、一階微分の負から正へのゼロクロス点、脈波の正から負及び負から正へのゼロクロス点（二階微分のゼロクロス点でもある）など複数種類の基準点を用い、単位領域毎に最初に検出された種類の基準点を用いて単位周期を算出してもよい。基準点の検出が早くなり、検出完了までの時間を短縮することができる。

・上記各実施の形態においては、脈拍周期の短時間の検出を通じた瞬時脈拍数の検出を、人物のストレスや感情の評価に適用する場合を例に挙げて説明した。ただし、瞬時脈拍数の短時間の検出による適用例はヘルスケアの分野に限られるものではなく、例えば車載カメラによる乗員の個人認証や、情報処理端末におけるユーザの個人認証等に対して適用することも可能である。

１０…カメラ、１００…脈拍周期検出装置、２００…制御部、２１０…顔検出部、２２０…輝度値取得部、２３０…脈波検出部、２４０…単位周期算出部、２５０…統計処理部、２６０…出力部、３００…記憶部、３１０…時系列波形データ、３２０…基準関数データ、３３０…微分値データ、３４０…ゼロクロス点データ、３５０…単位周期データ。

Claims (14)

1. 時系列画像から人物の脈拍周期を検出する脈拍周期検出装置であって、
   前記画像内の複数の単位領域について、輝度値に関する時系列データを検出する脈波検出部と、
   前記輝度値に関する時系列データに基づき、前記単位領域毎の脈拍周期である単位周期を算出する単位周期算出部と、
   異なる単位領域について算出した複数の前記単位周期に対して統計処理を行い、前記人物の脈拍周期を決定する統計処理部と、
   を備える脈拍周期検出装置。
2. 前記脈波検出部は、前記人物の肌領域内に複数の前記単位領域を設定する
   請求項１に記載の脈拍周期検出装置。
3. 前記脈波検出部は、異なる光波長成分の輝度値の相対比率を前記時系列データとして検出する
   請求項１又は請求項２に記載の脈拍周期検出装置。
4. 前記単位周期算出部は、前記時系列データに基づく最新の周期を前記単位周期として算出する
   請求項１〜３のいずれか一項に記載の脈拍周期検出装置。
5. 前記単位周期算出部は、前記時系列データが極大値あるいは極小値となるピーク点を検出し、隣り合うピーク点間の時間差を前記単位周期として算出する
   請求項１〜４のいずれか一項に記載の脈拍周期検出装置。
6. 前記単位周期算出部は、前記時系列データと基準関数との合成積により前記時系列データを変換し、変換後の前記時系列データに基づき、前記単位領域毎の単位周期を算出する
   請求項１〜５のいずれか一項に記載の脈拍周期検出装置。
7. 前記統計処理部は、異なる単位領域について算出した複数の前記単位周期の最頻値、平均値または中央値を前記人物の脈拍周期として決定する
   請求項１〜６のいずれか一項に記載の脈拍周期検出装置。
8. 前記統計処理部は、異なる単位領域について算出した複数の前記単位領域の分布を正規分布と仮定し、この仮定した正規分布に基づいて前記人物の脈拍周期を決定する
   請求項１〜６のいずれか一項に記載の脈拍周期検出装置。
9. 前記統計処理部は、前記時系列データに基づいて前記単位領域毎の単位周期の信頼度を算出し、当該算出した信頼度に応じて前記単位領域毎の前記単位周期に重み付けを行い、前記人物の脈拍周期を決定する
   請求項１〜８のいずれか一項に記載の脈拍周期検出装置。
10. 前記統計処理部が決定した前記脈拍周期に基づき、脈拍数を算出する
    請求項１〜９のいずれか一項に記載の脈拍周期検出装置。
11. 時系列画像から人物の脈拍周期を検出する脈拍周期検出方法であって、
    前記画像内の複数の単位領域について、輝度値に関する時系列データを検出する脈波検出処理と、
    前記輝度値に関する時系列データに基づき、前記単位領域毎の脈拍周期である単位周期を算出する単位周期算出処理と、
    異なる単位領域について算出した複数の前記単位周期に対して統計処理を行い、前記人物の脈拍周期を決定する統計処理と、
    を含む脈拍周期検出方法。
12. コンピュータに、
    時系列画像内の複数の単位領域について、輝度値に関する時系列データを検出する脈波検出処理と、
    前記輝度値に関する時系列データに基づき、前記単位領域毎の脈拍周期である単位周期を算出する単位周期算出処理と、
    異なる単位領域について算出した複数の前記単位周期に対して統計処理を行い、人物の脈拍周期を決定する統計処理と、
    を実行させるための脈拍周期検出プログラム。
13. 時系列画像から人物の脈波を検出する脈波検出装置であって、
    前記画像内の複数の単位領域について、異なる光波長成分毎の輝度値の相対比率を時系列データとして検出する脈波検出部
    を備える脈波検出装置。
14. 請求項１３に記載の脈波検出装置と、
    前記脈波検出装置により検出された前記時系列データに基づき、前記単位領域毎の脈拍周期である単位周期を算出する単位周期算出部と、
    を備え、
    前記単位周期算出部により算出された前記単位周期に基づき、前記人物の脈拍周期を決定する
    ことを特徴とする脈拍周期検出装置。

Images