JP2018068720A - 脈拍検出装置及び脈拍検出方法 - Google Patents

Abstract

【課題】画像内の人の状況に応じて、脈拍検出を行う脈拍検出装置を提供する。【解決手段】脈拍検出装置１０は、機能ブロックとして、撮像部１２と、顔検出器１３と、ノイズ低減器１４と、脈拍算出器１５と、ストレス度測定器１６と、覚醒度測定器１７と、を備えている。顔検出器１３、ノイズ低減器１４、脈拍算出器１５のそれぞれにおいて、複数の異なる処理方法から選択して処理を実行することができる。撮像領域内の人の状況や、各機能ブロックでの処理結果等に応じて、最適な組合せとなるように、各機能ブロックでの処理方法を選択して脈拍検出を行う。【選択図】図１

Description

本発明は、カメラで取得した画像から、脈拍やストレス度を測定する技術に関する。

従来、カメラで取得された画像から、非接触で人の心拍数や脈拍を推定、算出する方法が知られている。

例えば、顔画像の領域内のＲＧＢの各平均値を算出して独立成分分析（ＩＣＡ：Ｉｎｄｉｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ） で処理した後に、１つの成分波形の周波数分析で得たピーク周波数から心拍数を推定する方法が知られている（例えば、非特許文献１参照）。

また、ＩＣＡ処理後の１つの成分波形を時系列で追跡するために、現在時刻の成分波形とのペアリングを行い、さらに心拍を表すピーク周波数を時系列で追跡して心拍数を推定する方法が知られている（例えば、特許文献１参照）。

特開２０１２−２３９６６１号公報

Ｍ．Ｚ．Ｐｏｈ，Ｄ．Ｊ．ＭｃＤｕｆｆ， ａｎｄ Ｒ．Ｗ．Ｐｉｃａｒｄ "Ｎｏｎ−ｃｏｎｔａｃｔ， Ａｕｔｏｍａｔｅｄ Ｃａｒｄｉａｃ Ｐｕｌｓｅ Ｍｅａｓｕｒｅｍｅｎｔｓ Ｕｓｉｎｇ Ｖｉｄｅｏ Ｉｍａｇｉｎｇ ａｎｄ Ｂｌｉｎｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ" Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ，（米）， ２０１０年５月７日， ｖｏｌ．１８， Ｎｏ．１０， ｐｐ．１０７６２−１０７７４

しかし、特許文献１や非特許文献1に開示された方法では、人が動くことにより、心拍や脈拍等の検出精度が低下するという問題があった。

また、用途によっては、人のプライバシーを保護するために、意図的に不鮮明な画像を取得する場合もあるが、この場合にも、顔検出が失敗してしまうことにより、心拍や脈拍等の検出精度が低下するという問題があった。特に、人が静止している場合には、動き検出等を使って顔領域を特定することができないため、検出精度の低下は顕著であった。

本発明は、かかる点に鑑みてなされたものであり、その目的は、撮像対象の状況や撮影条件によらず、精度良く脈拍を検出できる装置を提供することにある。

上記の目的を達成するために、この発明では、撮像領域の状況や撮影された人の状況等によって、撮影した画像から脈拍検出に至るまでの顔検出機能や、ノイズ低減機能や、脈拍算出機能を、それぞれ異なる処理方法の中から選択できるようにした。

具体的には、本発明の脈拍検出装置は、生体の脈拍を検出する脈拍検出装置であって、所定の撮像領域を撮像し、画像信号を取得する撮像部と、画像信号に基づいて生体の顔領域または肌領域を検出する顔検出器と、検出された顔領域または肌領域からの画像信号からノイズを除去するノイズ除去器と、ノイズが除去された顔領域または肌領域からの画像信号から脈拍を算出する脈拍算出器と、を備えることを特徴とする。

本構成によれば、カメラ等の撮像部で取得した画像から、直接、脈拍を求めることができる。

顔検出器、ノイズ除去器、及び脈拍算出器は、それぞれ、複数の処理方法に対応しており、撮像領域及び生体の状況に応じて、複数の処理方法から一の前記処理方法を選択して、処理を実行するように構成されるのが好ましい。

本構成によれば、撮像領域において、人等の生体の動きがあったり、顔が隠れていたり、顔が撮像部の方向を向いていないような種々の場合に対しても、カメラ等の撮像部で取得した画像から、脈拍を求めることができる。

顔検出器は、撮像領域内の画像信号の輝度値における局所的明暗差を検出し、明暗差に基づいた多数決論理により顔領域を検出するように構成されるのが好ましい。

本構成によれば、鮮明な画像を取得した場合に、簡便な方法で顔を検出できる。

顔検出器は、撮像領域における画像を分割し、分割された各領域からの画像信号に基づいて、顔領域または肌領域を検出するように構成されていてもよい。

本構成によれば、複数の生体が撮影された場合にも、簡便な方法で顔領域または肌領域を検出できる。

顔検出器は、撮像領域における画像を分割し、分割された各領域からの画像信号の時間変化波形と、正弦波で表わされるモデル波形とを比較して得られた結果に基づいて、顔領域または前記肌領域を検出するように構成されていてもよい。

本構成によれば、顔検出のためのデータ保持時間を短くでき、短時間での顔検出が可能となる。また、人等の生体の顔が隠れていたり、画像内での顔領域が小さい場合でも、肌領域を検出できる。

ノイズ除去器は、撮像領域における顔領域の位置情報を周波数分析して、得られた位置情報の特定の周波数成分を、顔領域からの画像信号から除去するように構成されるのが好ましい。

本構成によれば、周波数領域上で脈拍成分に近接する、顔の動きに起因したノイズを適切に除去できる。

ノイズ除去器は、画像信号のうち脈拍成分の検出に用いる波長成分以外の成分の少なくとも一部を、顔領域または肌領域からの画像信号から除去するように構成されていてもよい。

本構成によれば、簡便な構成で、画像信号に含まれる脈拍成分以外のノイズを適切に除去できる。

脈拍算出器は、ノイズが除去された後の顔領域または肌領域からの画像信号を周波数分析して、生体の脈拍を算出するように構成されるのが好ましい。

脈拍算出器は、顔領域または肌領域からの画像信号の時間変化波形と正弦波で表わされるモデル波形とを比較して、生体の脈拍を算出するように構成されていてもよい。

本構成によれば、脈拍算出のためのデータ保持時間を短くでき、短時間での脈拍算出が可能となる。

脈拍検出装置は、画像信号の周期的変動成分に基づいて生体の有無を検出する生体検出器をさらに有し、顔検出器は、生体検出器により得られた生体の存在領域からの画像信号に基づいて顔領域または肌領域を検出するように構成されるのが好ましい。

本構成によれば、顔が直ちに検出できない場合にも、人等の生体を検出することで、顔領域または肌領域の検出を容易にし、脈拍検出を行うことができる。

生体検出器は、複数の処理方法に対応しており、撮像領域及び生体の状況に応じて、複数の処理方法から一の処理方法を選択して、処理を実行するように構成されるのが好ましい。

本構成によれば、撮像領域において、人等の生体の動きがあったり、顔が隠れていたり、顔が撮像部の方向を向いていないような種々の場合に対しても、生体の有無を確実に検出でき、脈拍検出が可能となる。

生体検出器は、撮像領域における画像を分割し、分割された各領域からの画像信号に基づいて、生体の有無を検出するように構成されていてもよい。

本構成によれば、複数の生体が撮影された場合にも、簡便な方法で生体の有無を検出できる。

生体検出器は、撮像領域における画像を分割し、分割された各領域からの画像信号の時間変化波形と正弦波で表わされるモデル波形とを比較して、生体の有無を検出するように構成されていてもよい。

本構成によれば、生体検出のためのデータ保持時間を短くでき、短時間での生体検出が可能となる。また、人等の生体の顔が隠れていたり、画像内での顔領域が小さい場合でも、生体の有無を検出できる。

撮像部への入射光を散乱および／または減光する散光部をさらに備えるのが好ましい。

本構成によれば、撮影された画像を不鮮明なものとすることで、撮影対象である人のプライバシーを守りつつ、同じ画像から、脈拍を求めることができる。

脈拍算出器より得られた脈拍間隔に基づいて、生体のストレス度を測定するストレス測定器をさらに備えるのが好ましい。

本構成によれば、カメラ等の撮像部で取得した画像から、直接、ストレス度を求めることができる。

脈拍算出器より得られた脈拍間隔に基づいて、生体の覚醒度を測定する覚醒度測定器をさらに備えるのが好ましい。

本構成によれば、カメラ等の撮像部で取得した画像から、直接、覚醒度を求めることができる。

本発明の脈拍検出方法は、生体の脈拍を検出する脈拍検出方法であって、所定の撮像領域を撮像し、画像信号を得る撮像ステップと、画像信号に基づいて生体の顔領域または肌領域を検出する顔検出ステップと、検出された顔領域または肌領域からの画像信号からノイズを除去するノイズ除去ステップと、ノイズが除去された顔領域または肌領域からの画像信号から脈拍を算出する脈拍算出ステップと、を備えることを特徴とする。

本方法によれば、カメラ等の撮像部で取得した画像から、直接、脈拍を求めることができる。

顔検出ステップ、ノイズ除去ステップ、及び脈拍算出ステップは、それぞれ、複数の処理方法に対応しており、撮像領域及び生体の状況に応じて、複数の処理方法から一の処理方法を選択して、処理を実行するのが好ましい。

本構成によれば、撮像領域において、人等の生体の動きがあったり、顔が隠れていたり、顔が撮像部の方向を向いていないような種々の場合に対しても、カメラ等の撮像部で取得した画像から、脈拍を求めることができる。

以上説明したように、本発明の脈拍検出装置によると、撮像領域において、人の動きがあったり、顔が隠れていたり、顔が撮像部の方向を向いていないような種々の場合に対しても、撮像部で取得した画像から、直接的に、人の脈拍やストレス度、覚醒度を求めることができる。

実施の形態１に係る脈拍検出装置の機能的構成を示すブロック図である。 脈拍検出装置内の各機能ブロックでの処理方法の例を示す図である。 実施の形態１に係る脈拍検出装置内での信号の流れを示すブロック線図である。 実施の形態１に係る脈拍検出フローチャートの好ましい一例である。 実施の形態１に係る撮像部で取得された人の画像の一例である。 実施の形態１に係る顔検出方法の一例を示す図である。 実施の形態１に係る画像の領域分割の一例を示す図である。 前後フレームでの顔探索範囲の設定の一例を示す図である。 実施の形態１に係る、顔領域における画像信号の輝度値の時間変化を示す図である。 実施の形態１に係る、脈拍成分に対する正弦波モデルの一例である。 実施の形態１に係る、脈拍成分に対する正弦波モデルの別の一例である。 実施の形態１に係る、脈拍成分に対する正弦波モデルのさらなる別の一例である。 実施の形態１に係る、正弦波モデルの差分前後の顔領域における画像信号の輝度値の時間変化を示す図である。 顔の位置座標を周波数分析して得られるパワースペクトルである。 顔領域からの画像信号の輝度値から顔位置の変化に対応する信号を差分し、さらに周波数分析して得られるパワースペクトルである。 図１４で得られた顔の運動の周波数に対応する正弦波モデルを示す図である。 顔領域からの画像信号の輝度値の時間変化を示す図である。 ノイズ低減後の、顔領域からの画像信号の輝度値の時間変化を示す図である。 実施の形態１に係る肌領域検出方法の一例を示す図である。 実施の形態１に係る脈拍検出システムのハードウェア構成の一例を示す図である。 実施の形態２に係る脈拍検出システムの機能的構成を示すブロック図である。 人検出器の処理機能の例を示す図である。 実施の形態２に係る脈拍検出装置内での信号の流れを示すブロック線図である。 実施の形態２に係る脈拍検出フローチャートの好ましい一例である。 実施の形態２に係る撮像部で取得された人の画像の一例である。 実施の形態２に係る人検出方法の一例を示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものでは全くない。

（実施の形態１）
（脈拍検出器の構成と画像信号処理の流れ）
図１は、本実施の形態に係る脈拍検出装置の機能的構成を示すブロック図である。

図２は、脈拍検出装置の各ブロックの処理機能の例を示す図である。

図３は、脈拍検出装置内での信号の流れを示すブロック線図である。

脈拍検出装置１０は、機能ブロックとして、撮像部１２と、顔検出器１３と、ノイズ低減器１４と、脈拍算出器１５と、ストレス度測定器１６と、覚醒度測定器１７と、を備えている。

撮像部１２は、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子（図示せず）と、レンズ等を含む光学系（図示せず）とを有しており、撮像部１２で取得された画像は、画像信号として顔検出器１３に送られる。なお、撮像部１２は固定されていても、可動であってもよい。光学系の設定や撮像部１２の可動領域に応じて撮像領域が決定される。

なお、撮像素子は、カラーフィルタ等を用いて、周辺の領域から入射した光を色成分毎に出力するカラー撮像素子であるのが好ましいが、特にこれに限られず、白黒画像を出力する撮像素子であってもよい。また、撮像素子として、ＣＣＤやＣＭＯＳイメージセンサ等を用いることが一般的であるが、フォトダイオードアレイを用いてもよい。

また、撮像素子として、近赤外光を受光する撮像素子を用いても、これとその他の撮像素子との組合せを用いてもよい。

なお、本実施の形態において、画像信号は、Ｒ（Ｒｅｄ：赤色）成分、Ｇ（Ｇｒｅｅｎ：緑色）成分、Ｂ（Ｂｌｕｅ：青色）成分の３原色で表現されるＲＧＢ表色系の信号であるが、特にこれに限られず、ＨＳＶ表色系の信号又はＹＵＶ表色系の信号であってもよい。また、白黒画像信号であってもよい。

また、画像信号は、所定のフレームレート、例えば、３０フレーム／秒で顔検出器１３に送られるが、他の適切なフレームレートであってもよい。

顔検出器１３は、撮像部１２から送られてきた画像信号に基づいて、撮像部１２で撮影された撮像領域内における人の顔を検出するように構成されている。

ノイズ低減器１４は、顔検出器１３により検出、特定された、撮像領域内の顔に対応する領域（以下、顔領域という）からの画像信号からノイズ成分を除去するように構成されている。

脈拍算出器１５は、ノイズ低減器１４によりノイズ除去された、顔領域からの画像信号に基づいて、人の脈拍数や脈拍間隔を推定するように構成されている。

ストレス度測定器１６は、脈拍測定器１５で得られた脈拍間隔に基づいて、測定対象である人のストレス度を測定するように構成されている。

覚醒度測定器１７は、脈拍測定器１５で得られた脈拍間隔に基づいて、測定対象である人の覚醒度を測定するように構成されている。

図２に示すように、本実施の形態に係る脈拍検出装置１０では、顔検出器１３、ノイズ低減器１４、脈拍算出器１５のそれぞれにおいて、複数の異なる方法で処理を実行することができる。

従って、図３に示すように、撮像領域の状況や、撮像領域内の人の状況や、各機能ブロックでの処理結果等に応じて、最適な組合せとなるように、撮像部１２で得られた画像信号に対する、各機能ブロックでの処理方法を選択することができる。

なお、図３に示す、顔検出１、顔検出２等のブロックは、図２に示す顔検出器の処理方法１、２等に対応している。

（脈拍検出方法の好ましい例について）
本実施の形態に係る脈拍検出方法に関し、以下に説明する。

図４は、本実施の形態に係る脈拍検出フローチャートの好ましい一例である。

（ステップＳ１０：撮像ステップ）
まず、撮像部１２において、周辺の領域を撮影する。撮像領域は、屋外であっても、屋内であってもよい。

（ステップＳ２０：顔検出ステップ）
撮像部１２で取得された画像信号は、顔検出器１３に送られ、この画像信号に基づいて、撮像領域における人の顔を検出する。

なお、顔検出に失敗した場合は、後述するステップＳ４２に進む。

（顔検出ステップ１）
例えば、撮像部１２と被撮像体である人との距離が近くて、人の動きも少なく、鮮明な顔の画像が得られている場合には、顔検出方法として、既知の方法を用いることができる。

既知の方法としては、例えば、いわゆるＨａａｒ−ｌｉｋｅ特徴量を抽出し、Ａｄａｂｏｏｓｔ等の機械学習により顔を検出する方法を用いることができる。

この場合であれば、画像内の多数の局所的明暗差から顔のエッジを検出する。

予め用意された大量の顔画像データと非顔画像データとを用いて、抽出されたＨａａｒ−ｌｉｋｅ特徴量が顔に該当するか、顔でないかを判別する識別器を生成する。

複数の識別器を生成した後、これらの多数決論理により、最終的に、画像データから顔に対応するデータを抽出し、顔領域が出力される。このような技術については、例えば、以下に示す論文に概要が開示されている（Ｐ．Ｖｉｏｌａ，ａｎｄ Ｍ．Ｊｏｎｅｓ，“Ｒａｐｉｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ ｂｏｏｓｔｅｄ ｃａｓｃａｄｅ ｏｆ ｓｉｍｐｌｅ ｆｅａｔｕｒｅｓ，” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐ．５１１． （２００１））。

また、顔画像データや非顔画像データは、ＯｐｅｎＣＶ等のデータベースから入手可能である（ｈｔｔｐ：／／ｏｐｅｎｃｖ．ｏｒｇ／）。

なお、上記に限定されず、別の既知の方法を用いてもよい。

（顔検出ステップ２）
撮像部１２と被撮像体である人との距離が遠い場合や、人の動きが大きい場合等には、別の方法を用いることができる。

図５は、本実施の形態に係る撮像部で取得された人の画像の一例である。

図６は、本実施の形態に係る顔検出方法の一例を示す図である。

図７は、本実施の形態に係る画像の領域分割の一例を示す図である。

図８は、前後フレームでの顔探索範囲の設定の一例を示す図である。

顔が隠れていたり、横を向いてしまっている場合には、既知の方法を用いて直ちに人の顔を検出できないことがある。

そのような場合には、図６に示すように、画像を領域分割し、分割された各領域において、画像の輝度値の平均を求め、この値の時間変化を観測する。

例えば、Ｇ成分の光はヘモグロビンの吸収の影響を多く受けるため、ＲＧＢ表色系の画像信号であれば、Ｇ成分の輝度値を用いると、人の脈拍に関連した周期的変動が観測しやすい。この周期的変動の観測により、対象領域において、人の顔が観測されているかどうかを検出できる。分割サイズを適切に選ぶことで、人の顔の外形を把握することも可能である。

なお、ＲＧＢ表色系以外の画像信号においても、人の脈拍に関連した周期的変動を観測することは可能であり、顔領域の検出時に用いる輝度値は、上記の波長成分に限定されるものではない。

また、画像の領域分割に関しては、図６に示したように、均等に分割する必要は必ずしもなく、図７に示すように、領域が重複していても良い。

この場合、分割されたそれぞれの領域は大きさが異なる上、位置もバラバラで重複している部分が存在する。

例えば、均等に領域分割を行うと、２つの顔が同じ領域に入ってしまい、これらの分離ができなくなるおそれがあるが、図７に示すようにランダムな領域分割にすることで、これらの分離精度が向上する。ただし、このように領域の重複を許容する領域設定を行うと、領域が多数存在して計算時間が多くかかってしまう。そこで追跡処理を行い、１フレーム前の結果の周辺だけを探索することにより計算時間の短縮を行うこともできる。

図８では、実線で示す枠が現在フレームでの探索範囲に対応し、網かけされた範囲が１フレーム前での顔検出位置と大きさとを表している。

図８からわかるように、現在フレームでの探索範囲は、１フレーム前の顔検出位置の近くに多く存在し、ここの範囲の大きさも１フレーム前と同程度のものが多い。

追跡処理には、既知のパーティクルフィルタ（粒子フィルタ）を用いる。パラメータは探索枠の位置（ｘ、ｙ）と大きさＬの３つである。パーティクルフィルタの尤度として、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：高速フーリエ変換）を行ったときの一番大きいピークの大きさをそのまま用いることとする。

なお、ＦＦＴは、信号の周波数分析方法の一例である。

このパーティクルフィルタを用いることにより、全画面の探索を行わずに計算時間を短縮して追跡処理が可能となる。

（顔検出ステップ３）
図９は、本実施の形態に係る、顔領域における画像信号の輝度値の時間変化を示す図である。

図１０は、本実施の形態に係る、脈拍成分に対する正弦波モデルの一例である。

図１１は、本実施の形態に係る、脈拍成分に対する正弦波モデルの別の一例である。

図１２は、本実施の形態に係る、脈拍成分に対する正弦波モデルのさらなる別の一例である。

図１３は、本実施の形態に係る、正弦波モデルの差分前後の顔領域における画像信号の輝度値の時間変化を示す図である。

図９に示すように、顔領域からの画像信号、この場合はＧ成分の平均輝度値は、計測時間に対して周期的に変化している。

この波形と以下に示す正弦波モデル波形との比較を行うことにより、顔領域の検出を行うことができる。以下にこのことを詳述する。

まず、上述したように、画像を領域分割し、分割された各々の領域で、平均輝度値の時間変化を求めておく。

これとは別に、式（１）で表わされる正弦波モデル波形を複数準備する。

ここで、
Ｖｍ：最大振幅
ω：角周波数
ｔ：時間
θ：位相
である。

例えば、６０ｂｐｍ（ｂｅａｔｓ ｐｅｒ ｍｉｎｕｔｅ）の脈拍波形に相当する正弦波モデル波形（図１０）を標準波形として、図１１に示すように位相をずらした波形や、図１２に示すように角周波数を変化させた波形（９０ｂｐｍに相当）を作成する。

このとき、角周波数を、例えば、１０ｂｐｍに対応する間隔で変化させた波形や、位相を１０度単位で変化させた波形を、テーブル形式で準備しておく。

図１３に示すように、分割された各領域実際に得られた輝度値の時間変化波形から、予め準備しておいた正弦波モデル波形を差分する。

なお、モデル波形の最大振幅は、実際に得られた輝度値の周期的変動から求めた振幅を用いている。

図１３に示すように、点線で示す波形が差分前の波形、実線で示す波形が差分後の波形である。

差分後には、もとの波形で見られた周期的変動成分が除去され、起伏の少ないものになっていることがわかる。正弦波モデル波形で表現される脈拍と被験者の脈拍が一致していれば、差分後の波形は起伏が少ないものになる。

差分後の波形の標準偏差が少なければ起伏がより少ないと考えられるので、上述した複数の正弦波モデル波形を用いて、各々の差分を行い、差分後の波形の標準偏差が最も低い場合が被験者の脈拍であるとする。

例えば、算出された脈拍数が人の脈拍、例えば６０ｂｐｍから１２０ｂｐｍに相当する値となっていれば、その領域が顔領域であるとし、この範囲から外れていれば、顔が存在しないとする。

なお、人の脈拍は運動等で大きく変化するため、上記の範囲はあくまで一例である。

画像信号の輝度値の周期的変化から顔検出を行うためには、検出直前の十数秒から数十秒間のデータを複数保持する必要がある。本方法によれば、保持するデータ数を少なくすることができ、より短時間での顔検出が可能となる。

また、上述したとおり、撮影した画像の状況、特に人の状況によって、適切な顔検出方法は異なる。

本実施の形態では、顔検出ステップ１から３のいずれかを撮像領域あるいはその中の人の状況等に応じて、任意かつ適切に選択し、使用することができ、いずれのステップでも、検出結果として、顔領域が出力される。

（ステップＳ３０：顔位置周期性判定ステップ／ステップＳ４０：ノイズ低減ステップ１）
顔検出が成功した場合、次に顔位置が周期的に移動しているかどうかを判定する（ステップＳ３０）。また、顔位置の動きに周期性が無ければ、後述するステップＳＳ４１に進む。

ジョギングやエクササイズ等の運動をしている場合は、顔が動くが、その動き成分が画像信号に乗るため、脈拍算出時のノイズとなる。そこで、顔位置の変化を周波数分析して、その周波数を観測値から差分することにより、ノイズ低減を行う（ステップＳ４０）。

なお、本実施の形態において、顔位置の周期性判定は、顔検出器１３の機能を用いて行われるが、判定のための機能ブロックを別途設けてもよい。

図１４は、顔の位置座標を周波数分析して得られるパワースペクトルである。

図１５は、顔領域からの画像信号の輝度値から顔位置の変化に対応する信号を差分し、さらに周波数分析して得られるパワースペクトルである。

本実施の形態では、画像上の顔の位置情報である、顔の中心点の位置座標をＦＦＴ処理してパワースペクトルを得ている。また、顔の中心点の位置座標は時系列で不安定になることがあるため、検出された顔の特徴的器官、例えば、目や鼻、あるいは、それら特徴器官点の平均位置座標を周波数分析するのが好ましい。このことに対応して、図１に示すように、顔検出器１３は、顔器官検出部１３ａを有していてもよい。

なお、顔位置座標を周波数分析するかどうかに関わらず、顔検出器１３は、顔器官検出部１３ａを有していてもよい。

図１４及び図１５における点線で囲まれた位置が顔の動きに対応するピークであり、顔位置が一定の周期性を持って変化していることがわかる。この例では１．１４Ｈｚ付近にピークがある。

また、図１５において、１．１４Ｈｚ付近と、１．２８Ｈｚ付近にピークの存在が見られる。前者が、顔位置の動きに対応した成分であり、後者が脈拍に対応した成分である。

実際には、脈拍として取りうる範囲が、図１５中の一点鎖線よりも右側、つまり高周波側であると設定し、その範囲内で最も高い周波数のピークを脈拍と推定する。

図１５に示すように、顔の運動に起因したピークと脈拍に起因したピークは、周波数上で近い位置に存在する。よって、顔位置の変化による周波数成分を予め算出していない場合は、前者のピークを脈拍と誤検知してしまう可能性がある。

本実施の形態によれば、これを防ぐために、顔位置座標を周波数分析して得られるパワースペクトルを予め求めておくことにより、運動等による顔位置の変動による脈拍の誤測定を防ぐことができる。

また、図１４に示すパワースペクトルを、検出された顔領域からの画像信号の輝度値から直接、差分して得るのではなく、正弦波モデルを用いて差分を行って得ることもできる。

図１６は、図１４で得られた顔の運動の周波数に対応する正弦波モデルを示す図である。

図１７は、顔領域からの画像信号の輝度値の時間変化を示す図である。

ここで、顔領域からの画像信号の輝度値は、顔領域として検出された領域からの輝度値の平均値である。

図１７に示す輝度値の時間変化波形から、図１６に示す正弦波波形を差分することにより、顔の運動によるノイズ成分を除去する。

（ステップＳ５０：脈拍算出ステップ１）
次に、ノイズが低減された、顔領域からの画像信号の輝度値に対しＦＦＴ等の周波数分析を行い、得られた信号から脈拍を推定、算出する。さらに、脈拍間隔を用いて人のストレス度、覚醒度を算出する。

図１８は、ノイズ低減後の、顔領域からの画像信号の輝度値の時間変化を示す図である。

図１８に示すように、脈拍間隔については、周波数分析前の、顔領域からの画像信号の輝度値の時間変化から求めることができる。

（ステップＳ６０：ストレス度、覚醒度測定ステップ）
ステップＳ５０で得られた脈拍間隔を用いて、被撮像体である人のストレス度及び／または覚醒度を測定する（ステップＳ６０）。

ストレス度や覚醒度の測定の測定については、既知の方法を用いる。

脈拍間隔の時系列データから、例えば、自己回帰モデルなどを用いてパワースペクトル密度を計算し、その周波数成分を分析して、ストレス度を測定する。

上記の方法で得られたパワースペクトル密度において、０．０５Ｈｚから０．１５Ｈｚまでの周波数に対応する領域をＬＦ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ：低周波）成分領域とし、０．１５Ｈｚから０．４０Ｈｚまでの周波数に対応する領域をＨＦ（Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ：高周波）成分領域とし、各々の領域での積分強度を求める。

一般に、ＬＦ成分領域の信号は、血圧変動に対応し、交感神経が緊張しているとき、副交感神経が緊張しているとき、いずれの場合でも信号が発生すると言われている。

一方、ＨＦ成分領域の信号は、呼吸変動に対応し、副交感神経が優位であると、信号強度が増加すると言われている。

（ＬＦ成分領域の信号強度）／（ＨＦ成分領域の信号強度）をストレス指標（交感神経の活性度）として、ストレス度を求めることができる。

リラックスしているときには、副交感神経の働きが優位となり、ＨＦ成分領域の信号強度が増加して、ストレス指標が低下するのに対し、緊張しているときには、相対的に、ＨＦ成分領域の信号強度が減少して、ストレス指標が上昇する。

覚醒度についても同様に、ＬＦ成分領域の信号強度とＨＦ成分領域の信号強度と、を求めて、交感神経の活性度から評価することができる。

覚醒度については、覚醒状態かどうかはＨＦ成分領域の信号強度に反映されるとの報告があり、例えば、この強度に着目して覚醒度を推定することができる。

（ステップＳ４１：ノイズ低減ステップ２）
ステップＳ３０において、顔位置の動きに周期性が見られない場合は、顔領域からの画像信号において、脈拍成分に対応する信号とそれ以外の信号とを分離し、脈拍成分に対応する信号から、それ以外の信号を差分することによりノイズ低減を行う。

ＲＧＢ表色系の画像信号であれば、Ｇ成分の輝度値を脈拍成分とし、それ以外の成分の輝度値をノイズ成分とすることができる。

このとき、ノイズ成分として、Ｒ成分の輝度値や、Ｂ成分の輝度値、あるいはＲ成分とＢ成分との輝度値の平均値を用いることもできる。

また、ＨＳＶ表色系やＹＵＶ表色系の画像信号であれば、１つの原色成分の輝度値を脈拍成分とし、他の原色成分の輝度値、例えば１つの成分の輝度値か、２つの成分の輝度値の平均値をノイズ成分としてもよい。

なお、いずれの場合にも、原色系以外の成分、例えば、近赤外光成分の輝度値をノイズ成分としてもよい。

また、白黒画像信号等を用いる場合には、移動平均との差分演算によってノイズを低減することもできる。

例えば、画像信号の輝度値の時系列データをＡとし、Ａに対して移動平均を行って得られた時系列データをＢとすると、ＡからＢを差分することによりノイズ低減を行うことができる。

（ステップＳ５１：脈拍算出ステップ１／ステップＳ６１：ストレス度、覚醒度測定ステップ）
ステップＳ４１が終了すると、ステップＳ５１、ステップＳ６１へと順次進む。

ステップＳ５１における脈拍推定、算出方法、及びステップＳ６１におけるストレス度、覚醒度測定方法は、それぞれ、ステップＳ５０、ステップＳ６０に示したのと同様である。

（ステップＳ４２：肌領域検出ステップ）
図１９は、本実施の形態に係る肌領域検出方法の一例を示す図である。

ステップＳ２０において、顔検出に失敗した場合は、ステップＳ４２に進む。

ここで、顔検出に失敗する場合として、顔が隠れていたり、顔の向きが撮像部１２の方向を向いていないことが予想される。また、撮影された画像における顔領域が極端に小さい場合等も、この場合に当てはまる。

このような場合には、ステップＳ２０にて説明したように、画像を領域分割し、分割された各領域において、画像の輝度値の平均値を求め、この値の時間変化を観測する。

例えば、顔以外でも肌が露出している領域からは、脈拍に関連した周期的変化が観測しやすい。この周期的変化の観測により、対象領域において、人の肌が露出しているかどうかを検出できる。

この場合も、画像領域の分割サイズを適切に設定することで、検出感度を向上できる。

また、画像の領域分割に関しては、図１９に示したように、均等に分割する必要は必ずしもなく、図７に示すように、領域が重複していても良い。

また、図８を用いて説明したように、パーティクルフィルタを用いた追跡処理を行い、１フレーム前の結果の周辺だけを探索することにより計算時間の短縮を行うこともできる。

このパーティクルフィルタを用いることにより、顔が隠れていたり、前後することによる大きさの変化にも対応できるようになる。

また、本ステップにおける肌領域の検出は、顔検出器１３の機能を用いて行われる。

（ステップＳ５２：脈拍算出ステップ２）
ステップＳ２０における顔検出ステップ３で用いた方法により、肌領域からの画像信号から脈拍を推定、算出することができる。

この場合、式（１）で表わされる正弦波モデル波形を複数準備することは、顔検出ステップ３の場合と同じであるが、周波数や位相の刻みはさらに細かくする必要があり、例えば、１ｂｐｍ刻みで変化させた波形や、位相を数度単位で変化させた波形を、テーブル形式で準備しておき、この刻みで作成されたテーブルから、適当に波形を選択して、顔検出ステップ３での顔検出に用いる。

図１３に示すように、実際に得られた輝度値から、予め準備しておいた正弦波モデル波形を差分する。

なお、モデル波形の最大振幅は、実際に得られた輝度値の周期的変動から求めた振幅に近い値を用いている。

図１３において、点線で示す波形が差分前の波形、実線で示す波形が差分後の波形である。

差分後には、もとの波形で見られた周期的変動成分が除去されていることがわかる。

正弦波モデル波形で表現される脈拍と被験者の脈拍が一致していれば、差分後の波形は起伏が少ないものになる。

差分後の波形の標準偏差が少なければ起伏がより少ないと考えられるので、上述した複数の正弦波モデル波形を用いて、各々の差分を行い、差分後の波形の標準偏差が最も低い場合が被験者の脈拍であるとする。

この方法によれば、周波数分析によるスペクトルのピークから心拍数を求める場合に比べて、一定期間における複数データを保持する必要が無くなり、期間中に脈拍変化が起こった場合の脈拍算出に対する影響を抑制できる。

（ステップＳ６２：ストレス度、覚醒度測定ステップ）
ステップＳ５２が終了すると、ステップＳ６２へと進む。

ステップＳ６２におけるストレス度、覚醒度測定方法は、ステップＳ６０に示したのと同様である。

以上、説明したように、本実施の形態によれば、撮像領域において、人の動きがあったり、顔が隠れていたり、顔が撮像部１２の方向を向いていないような種々の場合に対しても、各機能ブロックにおいて、適切な処理方法を選択して脈拍検出処理を行うことにより、撮像部１２で取得した画像から、直接的に、人の脈拍やストレス度、覚醒度を求めることができる。

なお、本実施形態における脈拍検出方法は、図４に示した方法に限定されるものでなく、図３に示したように、撮像領域の状況や、その中での人の状況、各機能ブロックでの処理結果等に応じて、予め用意された種々の処理方法を組み合わせて、脈拍検出を行うことができる。

なお、本実施形態において、脈拍検出の対象は人であるが、動物等の人以外の生体に対しても、本発明に係る脈拍検出は適用可能である。

（ハードウェア構成）
図１に示す脈拍検出装置１の機能は、撮像部１２の一部を除き、概ねソフトウェア上で実現可能である。この場合、例えば、図４に示した脈拍検出フローに対応するプログラムをハードウェア上で実行して脈拍検出が行われる。この機能を実現するためのハードウェア構成を図２０に示す。

図２０は、本実施の形態に係る脈拍検出システムのハードウェア構成の一例を示す図である。

脈拍検出システム１００は、コンピュータ１１０と、ビデオカメラ１０２と、ディスプレイ１１１と、操作部１１２と、システムバス１０１と、を備えている。

コンピュータ１１０と、ビデオカメラ１０２と、ディスプレイ１１１と、操作部１１２とは、システムバス１０１に接続され、システムバス１０１を介して、制御信号やデータのやり取りが行われる。

ビデオカメラ１０２は、周囲の所定の境域を撮影し、システムバス１０１を介して、撮影された動画像データを画像信号としてコンピュータ１１０に入力する。

ビデオカメラ１０２は、図１に示した撮像部１２に対応しており、図示しないが、ＣＭＯＳイメージセンサ等の撮像素子と、レンズ等を含む光学系と、を有している。

コンピュータ１１０に入力された画像信号は、コンピュータ１１０で各種の処理が行われ、得られた結果はディスプレイ１１１に表示される。表示される対象は種々あり、脈拍数や脈拍間隔、ストレス度や覚醒度だけでなく、脈拍検出処理の途中結果である、検出された顔領域や、画像信号の輝度値のリアルタイム変化波形等も表示することができる。

なお、ディスプレイ１１１は、必要に応じて音声出力機能を有していてもよい。

操作部１１２は、キーボードやマウスやジョイスティック等に代表される入力用デバイスであり、例えば、コンピュータ１１０の起動、終了や、脈拍検出プログラムの呼び出しや実行、ディスプレイ１１１に表示する処理結果の選択等に際して用いられる。

なお、例えば、ディスプレイ１１１がタッチパネルである場合や、別途、システム１００が操作命令等を入力するための音声入力部（図示せず）を備えている場合には、操作部１１２を特に設けなくてもよい。

コンピュータ１１０は、構成要素として、ＣＰＵ１０３と、信号処理部１０４と、通信部１０５と、ＲＯＭ１０６と、ＲＡＭ１０７と、ＨＤＤ１０８と、を有しており、これらの要素は、システムバス１０１に接続され、システムバス１０１を介して、制御信号やデータのやり取りが行われる。

例えば、図４に示した脈拍検出フローに対応するプログラムが、ＨＤＤ１０８に予め記憶され、操作部１１２での操作に従って、ＣＰＵ１０３でプログラムの読み出し命令が実行される。ＨＤＤ１０８から読み出されたプログラムは、ＣＰＵ１０３からの命令に従って、ＲＡＭ１０７に格納される。また、正弦波モデル波形のテーブル等も、ＨＤＤ１０８から読み出され、ＲＡＭ１０７に格納される。

なお、ＨＤＤ１０８から読み出されたプログラムやテーブルは、そのサイズによっては、ＲＯＭ１０６に格納されてもよい。一度、ＨＤＤ１０８からの読み出しが行われれば、以降は、直接、ＲＯＭ１０６からプログラムをＲＡＭ１０７に記憶させることができる。

ＣＰＵ１０３からの命令に従って、ＲＡＭ１０７に格納されたプログラムが実行される。ＣＰＵ１０３がプログラムからの命令を解釈し、各種のデータ処理及び制御を行う。

信号処理部１０５は、ＣＰＵ１０３からの命令に従って、画像の領域分割や顔領域の抽出等の処理を行う。

通信部１０５は、物理インタフェース（図示せず）等を介して、外部とのデータのやり取りを行う。例えば、顔検出で用いられるデータベース等は、通信部１０５を介して、ＨＤＤ１０８またはＲＯＭ１０６に記憶される。光ファイバ等を用いた有線通信や無線通信等で外部との通信を行うことができ、通信方式は、システムやコンピュータの仕様等によって適宜決定される。

なお、通信部１０５を介して、プログラム自体を外部ソースから読み込むことが可能であり、プログラムの処理結果も通信部１０５を介して、外部ソースに保存することが可能である。この場合は、プログラムや処理結果の保存のためだけに、ＨＤＤ１０８を設ける必要は特にない。

また、ＨＤＤ１０８の代わりに、あるいはこれとは別に、携帯可能な記録媒体の読み出し／書き込み部を設けてもよい。プログラムや正弦波モデル波形のテーブル等をこの記録媒体に格納し、処理結果も、直接、記録媒体に書き込んでもよい。

記録媒体が光ディスクであれば、光ディスクドライブを、ＩＣカードであれば、ＩＣカードリーダー／ライターを、ＵＳＢメモリであれば、ＵＳＢ端子接続口を設けてもよい。

なお、上述した構成はあくまで一例であり、撮影対象や場所、あるいは脈拍検出プログラムの内容等に応じて、適宜、変更可能である。

例えば、カメラを内蔵するスマートフォンやカメラを内蔵するノート型コンピュータを使用する場合は、脈拍検出システム１００を１台の機器で実現することも可能である。

（実施の形態２）
監視カメラや電子機器に設置されたカメラを用いて脈拍検出を行おうとすると、以下に示す問題が起こりうる。

まず、画像取得のために、常に撮影対象となる人のいる方向にカメラを向ける必要があるが、対象者にとっては常に監視されている感覚が強く、不快になる場合がある。また、カメラの通信系がハッキングされた場合には、撮影対象となる人の普段の生活映像が意図せずに流出し、プライバシーが侵害される可能性がある。

そこで、カメラのレンズを特殊なタイプ、例えばレンチキュラータイプにしたり、レンズの前にすりガラス等の散光部材を配置する等して、画像を不鮮明にして撮影を行うことが考えられる。

しかし、画像が不鮮明な場合、人が動いている状態であれば、動きから人を検出することはできるが、宅内のリビングなどでくつろいでいるシーンでは人の動きが少ないため、人検出ができない。人検出ができない状況では、顔や肌領域の検出も困難である。

そこで、本実施の形態では、顔検出や肌領域検出を行う前に人検出を行って、確実に脈拍検出を行うことができる構成を開示する。

図２１は、本実施の形態に係る脈拍検出装置の機能的構成を示すブロック図である。

図２２は、人検出器の処理機能の例を示す図である。

図２３は、脈拍検出装置内での信号の流れを示すブロック線図である。

本実施の形態に示した構成と実施の形態１に示した構成との相違点は、図１に示す散光部１１を設けた点と、撮像部１２からの画像信号を人検出器２０に送って、画像内での人の有無を検出した後に、顔検出器１３以降の構成を用いて脈拍検出を行う点にある。

散光部１１は、上記の通り、撮像部１２のレンズを特殊なタイプ、例えばレンチキュラータイプにしたり、レンズの前にすりガラス等の散光部材を配置する等して、周囲の領域から入射する光を散乱および／または減光する機能を有する。

散光部１１は、図２０に示すハードウェア構成において、ビデオカメラ１０２に組み込まれていてもよいし、別に設けられていてもよい。

本実施の形態に係る脈拍検出装置１０では、図２に示すように、顔検出器１３、ノイズ低減器１４、脈拍算出器１５のそれぞれにおいて、複数の異なる方法で処理を実行することができる。さらに、図２２に示すように、人検出器２０において、複数の異なる方法で処理を実行することができる。

従って、図２３に示すように、撮像領域の状況や、撮像領域内の人の状況や、各機能ブロックでの処理結果等に応じて、最適な組合せとなるように、撮像部１２で得られた画像信号に対する、各機能ブロックでの処理方法を選択することができる。

なお、図３に示す、顔検出１、顔検出２等のブロックは、図２に示す顔検出器の処理方法１、２等に対応していることは実施の形態１と同様である。また、図２３に示す人検出１、人検出２のブロックは、図２２に示す人検出器の処理方法１、２に対応している。

本実施の形態における脈拍検出方法を、図２４を用いて説明する。なお、実施の形態１で説明したステップについては、必要な範囲で最小限の説明に留めている。

図２４は、本実施の形態に係る脈拍検出フローチャートの好ましい一例である。

（ステップＳ１００：散光ステップ／撮像ステップ）
撮像部１２に入射する周囲の領域からの光を、散光部１１で散乱および／または減光する。この状態で、撮像部１２において、周辺の領域を撮影する。撮像領域は、屋外であっても、屋内であってもよい。

（ステップＳ１１０：人検出ステップ）
撮像部１２で取得された画像信号は、人検出器１３に送られ、この画像信号に基づいて、撮像領域における人の顔を検出する。

なお、人検出に失敗した場合は、撮像領域内に人が存在しないものとして、ステップＳ１００に戻って撮影を続行する。

（人検出ステップ１）
図２５は、本実施の形態に係る撮像部で取得された人の画像の一例である。

図２６は、本実施の形態に係る人検出方法の一例を示す図である。

図２５のうち、左側の図は、レンチキュラータイプのレンズを用いた場合の画像の一例であり、右側の図は、すりガラスを通して撮影を行った場合の画像の一例である。いずれの場合も画像が不鮮明であり、このままでは、例えば、Ｈａａｒ−ｌｉｋｅ特徴量の抽出などはできない。

そこで、実施の形態１における脈拍検出フローのステップＳ２０のうち、顔検出ステップ２で説明したように、撮影された画像を領域分割し、分割された各領域において、画像の輝度値の平均値を求め、この値の時間変化を観測する。

不鮮明な画像であっても、顔や肌が露出している領域からは、脈拍に関連した周期的変化が観測しやすい。この周期的変化の観測により、対象領域において、人の顔や肌が露出しているかどうかを検出できる。

また、画像領域の分割サイズを適切に設定することにより、検出感度を向上できる。

なお、画像の領域分割に関しては、図１９に示したように、均等に分割する必要は必ずしもなく、図７に示すように、領域が重複していても良い。

また、図８を用いて説明したように、パーティクルフィルタを用いた追跡処理を行い、１フレーム前の結果の周辺だけを探索することにより計算時間の短縮を行うこともできる。

このパーティクルフィルタを用いることにより、顔が隠れたり、前後することによる大きさの変化にも対応できるようになる。

（人検出ステップ２）
実施の形態１における脈拍検出フローのステップＳ２０のうち、顔検出ステップ３で説明したように、画像を領域分割し、分割された各々の領域で、平均輝度値の時間変化波形と正弦波モデル波形との比較を行うことにより、人領域の検出を行うことができる。

画像信号の輝度値の周期的変化から顔検出を行うためには、検出直前の十数秒から数十秒間のデータを複数保持する必要がある。本方法によれば、保持するデータ数を少なくすることができ、より短時間での人検出が可能となる。

また、撮影した画像の状況、特に人の状況によって、適切な人検出方法は異なる。例えば、人が移動しているときには、短時間で人を検出できるのが好ましい。

本実施の形態では、撮像力域内での人の状況によって、人検出ステップ１または２を任意かつ適切に選択し、使用することができる。

なお、人検出器２０には動き検出部２０ａを設けてもよい。この場合は、動き検出部２０ａで検出された撮像領域内の動きに関する情報と画像の輝度値からの情報とを統合して人がいる領域を決定する。

いずれの場合でも、人の有無を検出することができ、検出結果として、人の存在領域、具体的には、撮像領域内の人数と位置とが出力される。

（ステップＳ１２０：顔検出ステップからステップＳ１６０：ストレス度、覚醒度測定ステップまで）
ステップＳ１１０で人検出に成功した場合は、顔検出ステップＳ１２０に進む。顔検出が成功した場合は、顔位置が周期的に移動しているかどうかを判定し（ステップＳ１３０）、顔位置が周期的に移動していれば、ノイズ低減ステップＳ１４０、脈拍算出ステップＳ１５０、ストレス度、覚醒度測定ステップＳ１６０へと順次進む。

ステップＳ１２０における顔検出方法、ステップＳ１３０における顔位置周期性判定方法、ステップＳ１４０におけるノイズ低減方法、ステップＳ１５０における脈拍推定、算出方法、及びステップＳ１６０におけるストレス度、覚醒度測定方法は、実施の形態１における脈拍検出フローに示したステップＳ２０、ステップＳ３０、ステップＳ４０、ステップＳ５０及びステップＳ６０に示したのとそれぞれ同様である。

（ステップＳ１４１：ノイズ低減ステップからステップＳ１６１：ストレス度、覚醒度測定ステップまで）
ステップＳ１３０において、顔位置の動きに周期性が見られなければ、ノイズ低減ステップＳ１４１、脈拍算出ステップＳ１５１、ストレス度、覚醒度測定ステップＳ１６１へと順次進む。

ステップＳ１４１におけるノイズ低減方法、ステップＳ１５１における脈拍推定、算出方法、及びステップＳ１６１におけるストレス度、覚醒度測定方法は、実施の形態１における脈拍検出フローに示したステップＳ４１、ステップＳ５１及びステップＳ６１に示したのとそれぞれ同様である。

（ステップＳ１４２：ノイズ低減ステップからステップＳ１６２：ストレス度、覚醒度測定ステップまで）
ステップＳ１２０において、顔検出に失敗した場合は、肌領域検出ステップＳ１４２、脈拍算出ステップＳ１５２、ストレス度、覚醒度測定ステップＳ１６２へと順次進む。

ステップＳ１４２における肌領域検出方法、ステップＳ１５２における脈拍推定、算出方法、及びステップＳ１６２におけるストレス度、覚醒度測定方法は、実施の形態１における脈拍検出フローに示したステップＳ４２、ステップＳ５２及びステップＳ６２に示したのとそれぞれ同様である。

以上、説明したように、本実施の形態によれば、撮影対象となる人のプライバシーを守りつつ、かつ、撮像領域において、人の動きがあったり、顔が隠れていたり、顔が撮像部１２の方向を向いていないような種々の場合に対しても、各機能ブロックにおいて、適切な処理方法を選択して脈拍検出処理を行うことにより、撮像部１２で取得した画像から、直接的に、人の脈拍やストレス度、覚醒度を求めることができる。

なお、本実施形態における脈拍検出方法は、図２４に示した方法に限定されるものでなく、図２３に示したように、撮像領域の状況や、その中での人の状況、各機能ブロックでの処理結果等に応じて、予め用意された種々の処理方法を組み合わせて、脈拍検出を行うことができる。

なお、本実施形態において、脈拍検出の対象は人であるが、動物等の人以外の生体に対しても、本発明に係る脈拍検出は適用可能である。

（その他の実施の形態）
上述した構成以外に、他の構成も採りうる。例えば、実施の形態１において、散光部１１を設ける構成も採りうる。

散光部１１を設けることにより、撮像部１２への入射光が散乱ないし減光されるため、得られる画像は不鮮明な画像となる一方、画像情報から直接、人物が特定されることは回避できる。対象となる人がカメラ前にいるのが明白な場合の脈拍等の検査がこれに該当する。例えば、病院の検査室での脈拍やストレス度検査で、患者のプライバシーを特に保護する必要がある場合等に、本発明の脈拍検出装置や脈拍検出方法を適用する場合が挙げられる。

また、実施の形態２において、散光部１１を設けない構成も採りうる。

この場合は、例えば、撮像部１２において、機械的にレンズを移動させる等して、撮像焦点をずらして画面を不鮮明にすることで、散光部１１は不要となるとともに、撮影される人のプライバシーを守ることもできる。

ただし、撮影された対象が人等の生体であるかどうかを知るために、人検出器２０による判定は行う必要がある。

なお、実施の形態１、２、及びその他の実施の形態において、撮影時の光源は、自然光であっても、蛍光灯やＬＥＤ照明等の人工光であってもよい。光源の波長域に応じて、例えば、脈拍算出に用いる波長成分やノイズ低減に用いる波長成分は、適宜変更可能である。

また、撮像部１２における撮像素子、光学系等のハード構成を除き、各機能ブロックは、ワイヤードロジックで実現されていてもよい。専用ＬＳＩ、またはＬＳＩ内の専用ブロックでの実現も可能である。

本発明の脈拍検出装置は、撮像領域において、人の動きがあったり、顔が隠れていたり、顔が撮像部の方向を向いていないような種々の場合に対しても、撮像部１２で取得した画像から、直接的に、人の脈拍やストレス度、覚醒度を求めることができ、極めて有用である。

１０ 脈拍検出装置
１１ 散光部
１２ 撮像部
１３ 顔検出器
１３ａ 顔器官検出部
１４ ノイズ低減器
１５ 脈拍算出器
１６ ストレス度測定器
１７ 覚醒度測定器
２０ 人検出器（生体検出器）
２０ａ 動き検出部
１００ 脈拍検出システム
１０１ システムバス
１０２ ビデオカメラ
１０３ ＣＰＵ
１０４ 信号処理部
１０５ 通信部
１０６ ＲＯＭ
１０７ ＲＡＭ
１０８ ＨＤＤ
１１０ コンピュータ
１１１ ディスプレイ
１１２ 操作部

Claims (23)

1. 生体の脈拍を検出する脈拍検出装置であって、
   所定の撮像領域を撮像し、画像信号を取得する撮像部と、
   前記画像信号に基づいて前記生体の顔領域または肌領域を検出する顔検出器と、
   検出された前記顔領域または前記肌領域からの画像信号からノイズを除去するノイズ除去器と、
   ノイズが除去された前記顔領域または前記肌領域からの前記画像信号から脈拍を算出する脈拍算出器と、を備える、脈拍検出装置。
2. 前記顔検出器、前記ノイズ除去器、及び前記脈拍算出器は、それぞれ、複数の処理方法に対応しており、前記撮像領域及び前記生体の状況に応じて、前記複数の処理方法から一の前記処理方法を選択して、処理を実行するように構成される、請求項１に記載の脈拍検出装置。
3. 前記顔検出器は、
   前記撮像領域内の前記画像信号の輝度値における局所的明暗差を検出し、前記明暗差に基づいた多数決論理により前記顔領域を検出するように構成される、請求項２に記載の脈拍検出装置。
4. 前記顔検出器は、
   前記撮像領域における画像を分割し、分割された各領域からの前記画像信号に基づいて、前記顔領域または前記肌領域を検出するように構成される、請求項２に記載の脈拍検出装置。
5. 前記顔検出器は、
   前記撮像領域における画像を分割し、分割された各領域からの前記画像信号の時間変化波形と、正弦波で表わされるモデル波形とを比較して得られた結果に基づいて、前記顔領域または前記肌領域を検出するように構成される、請求項２に記載の脈拍検出装置。
6. 前記ノイズ除去器は、
   前記撮像領域における前記顔領域の位置情報を周波数分析して、得られた前記位置情報の特定の周波数成分を、前記顔領域からの画像信号から除去するように構成される、請求項２に記載の脈拍検出装置。
7. 前記ノイズ除去器は、
   前記画像信号のうち脈拍成分の検出に用いる波長成分以外の成分の少なくとも一部を、前記顔領域または前記肌領域からの画像信号から除去するように構成される、請求項２に記載の脈拍検出装置。
8. 前記脈拍算出器は、
   ノイズが除去された後の前記顔領域または前記肌領域からの画像信号を周波数分析して、前記生体の脈拍を算出するように構成される、請求項２に記載の脈拍検出装置。
9. 前記脈拍算出器は、
   前記顔領域または前記肌領域からの画像信号の時間変化波形と正弦波で表わされるモデル波形とを比較して、前記生体の脈拍を算出するように構成される、請求項２に記載の脈拍検出装置。
10. 前記画像信号の周期的変動成分に基づいて前記生体の有無を検出する生体検出器をさらに有し、
    前記顔検出器は、前記生体検出器により得られた前記生体の存在領域からの画像信号に基づいて前記顔領域または前記肌領域を検出するように構成される、請求項１に記載の脈拍検出装置。
11. 前記生体検出器は、複数の処理方法に対応しており、前記撮像領域及び前記生体の状況に応じて、前記複数の処理方法から一の前記処理方法を選択して、処理を実行するように構成される、請求項１０に記載の脈拍検出装置。
12. 前記生体検出器は、
    前記撮像領域における画像を分割し、分割された各領域からの前記画像信号に基づいて、前記生体の有無を検出するように構成される、請求項１１に記載の脈拍検出装置。
13. 前記生体検出器は、
    前記撮像領域における画像を分割し、分割された各領域からの前記画像信号の時間変化波形と正弦波で表わされるモデル波形とを比較して、前記生体の有無を検出するように構成される、請求項１１に記載の脈拍検出装置。
14. 前記撮像部への入射光を散乱および／または減光する散光部をさらに備える、請求項１ないし１３のいずれかに記載の脈拍検出装置。
15. 前記脈拍算出器より得られた脈拍間隔に基づいて、前記生体のストレス度を測定するストレス測定器をさらに備える、請求項１ないし１４のいずれかに記載の脈拍検出装置。
16. 前記脈拍算出器より得られた脈拍間隔に基づいて、前記生体の覚醒度を測定する覚醒度測定器をさらに備える、請求項１ないし１５のいずれかに記載の脈拍検出装置。
17. 生体の脈拍を検出する脈拍検出方法であって、
    所定の撮像領域を撮像し、画像信号を得る撮像ステップと、
    前記画像信号に基づいて前記生体の顔領域または肌領域を検出する顔検出ステップと、
    検出された前記顔領域または前記肌領域からの画像信号からノイズを除去するノイズ除去ステップと、
    ノイズが除去された前記顔領域または前記肌領域からの画像信号から脈拍を算出する脈拍算出ステップと、を備える、脈拍検出方法。
18. 前記顔検出ステップ、前記ノイズ除去ステップ、及び前記脈拍算出ステップは、それぞれ、複数の処理方法に対応しており、前記撮像領域及び前記生体の状況に応じて、前記複数の処理方法から一の前記処理方法を選択して、処理を実行する、請求項１７に記載の脈拍検出方法。
19. 前記画像信号の周期的変動成分に基づいて前記生体の有無を検出する生体検出ステップ、をさらに備え、
    前記顔検出ステップにおいて、
    前記生体検出ステップにより得られた前記生体の存在領域からの画像信号に基づいて前記顔領域または前記肌領域を検出する、請求項１８に記載の脈拍検出方法。
20. 前記生体検出ステップは、複数の処理方法に対応しており、前記撮像領域及び前記生体の状況に応じて、前記複数の処理方法から一の前記処理方法を選択して、処理を実行する、請求項１９に記載の脈拍検出方法。
21. 前記撮像領域からの光を散乱および／または減光して、撮像部に入力する散光ステップをさらに備える、請求項１７ないし２０のいずれかに記載の脈拍検出方法。
22. 前記脈拍算出ステップで得られた脈拍間隔に基づいて、前記生体のストレス度を測定するストレス測定ステップをさらに備える、請求項１７ないし２１のいずれかに記載の脈拍検出方法。
23. 前記脈拍算出ステップで得られた脈拍間隔に基づいて、前記生体の覚醒度を測定する覚醒度測定ステップをさらに備える、請求項１７ないし２２のいずれかに記載の脈拍検出方法。