JP2021045375A - 生体情報検出装置及び生体情報検出方法 - Google Patents

Abstract

【課題】光学的及び生理的外乱を除くことで、好適な血圧計測を可能とする検出手法を提供する。【解決手段】生体情報検出装置であって、対象物からの反射光を撮影した複数の波長の成分を含む映像信号によって構成される映像を取得する映像取得部と、映像をフレームごとに複数の領域に分割する領域分割部と、領域ごとに、フレーム間の波長揺らぎに基づいて脈波を検出する局所脈波検出部と、複数の領域における脈波のパタンの出現順序に基づいて抽出された２以上の領域の脈波のパタンの出現時間差に基づいて脈波の伝播速度を計算し、脈波の伝播速度に基づいて血圧を推定する血圧推定部と、を有する。【選択図】図１

Description

本発明は、生体情報を検出する装置に関する。

生体情報を取得する手法として、マイクロ波又はカメラを使用した非接触でリアルタイムに検出できる技術がある。特にカメラを用いた脈拍検出は、近年、カメラモジュールの小型化が進み、スマートフォンを含む携帯端末に搭載され、普及が進んでいる。

撮像による脈拍検出を行う技術として、時系列信号のスペクトル分布から脈拍信号を特定する手法がある（特許文献１）。また、カメラに入る光の波長分布の揺らぎ、すなわち、色分布の重心の揺らぎから脈拍信号を特定する手法がある（特許文献２）。

リアルタイムでの血圧測定として、医療に於いてはカテーテルを用いて血圧を直接モニタする観血式にて行うことが多いが、近年では動脈にセンサを押し当て、このセンサに抗して拍動する動脈の内圧の変動を電気信号に変換して測定を行う非侵襲の手法等がある。また、脈波伝播速度と動脈壁の増分弾性係数との関係を示したＭｏｅｎｓ−Ｋｏｒｔｅｗｅｇの式により、血圧を推定することが知られている（非特許文献１）。本式を応用し、カメラ映像から血圧を推定する手法がある（特許文献３）。

特開２０１２−２３９６６１号公報 特開２０１９−０８０８１１号公報 特開２０１８−０８６１３０号公報

Ｔｉｊｓｓｅｌｉｎｇ Ａ．Ｓ．， Ａｎｄｅｒｓｏｎ Ａ． （２０１２） "Ａ． Ｉｓｅｂｒｅｅ Ｍｏｅｎｓ ａｎｄ Ｄ．Ｊ． Ｋｏｒｔｅｗｅｇ： ｏｎ ｔｈｅ ｓｐｅｅｄ ｏｆ ｐｒｏｐａｇａｔｉｏｎ ｏｆ ｗａｖｅｓ ｉｎ ｅｌａｓｔｉｃ ｔｕｂｅｓ"， ＢＨＲ Ｇｒｏｕｐ， Ｐｒｏｃ． ｏｆ ｔｈｅ １１ｔｈ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｐｒｅｓｓｕｒｅ Ｓｕｒｇｅｓ （Ｅｄｉｔｏｒ Ｓａｎｄｙ Ａｎｄｅｒｓｏｎ）， Ｌｉｓｂｏｎ， Ｐｏｒｔｕｇａｌ， Ｏｃｔｏｂｅｒ （２０１２）

そのような中、例えば高齢者世帯や自動車運転時の容態急変検知のため、さまざまな生体情報をモニタリングする研究が行われており、血圧測定に於いても被験者に負荷の少ない非接触な測定手法が重要である。そこで、カメラを用いて脈拍検出を行い、動脈に沿った異なる二点の間隔と脈波の位相差とによって脈波伝播速度を求めることで、非接触の血圧計測が可能となる。カメラによる脈拍検出は、一般的に顔面を撮像対象とするが、動脈付近の露出している肌でもよい。

顔又はその他の露出している肌の映像は、例えば照明光が顔に照射された際の反射光であるため、従来のＲＧＢ信号を用いた手法は、３色の反射光のスペクトル強度変化を観測していることとなる。そこで、定常的な光が顔にあたる場合は安定して脈拍を検出することが可能であるが、撮像環境の外光変化が生じる場合は、各スペクトルが影響を受け、誤検出が生じる。また、独立成分分析を適用することで、ノイズを分離することはできるが、変換後に物理量を特定するのは困難である。

顔や露出している肌の全ての領域で精度よく脈波映像を検出できるわけではなく、例えば、このような光学的な外乱を除外し、例えば動脈に沿った領域にて脈波を検出してもなお、血管位置の個人差、血液の逆流等の生理学的な外乱、及び、同じ検出領域での静脈、動脈による脈波の混入等によって、脈波伝播速度を検出するのは困難な場合がある。

上記の課題の少なくとも一つを解決するため、本発明は、対象物からの反射光を撮影した複数の波長の成分を含む映像信号によって構成される映像を取得する映像取得部と、前記映像をフレームごとに複数の領域に分割する領域分割部と、前記領域ごとに、フレーム間の波長揺らぎに基づいて脈波を検出する局所脈波検出部と、前記複数の領域における前記脈波のパタンの出現順序に基づいて抽出された２以上の前記領域の前記脈波のパタンの出現時間差に基づいて脈波の伝播速度を計算し、前記脈波の伝播速度に基づいて血圧を推定する血圧推定部と、を有することを特徴とする。

本発明の一態様によれば、光学的外乱及び生理的外乱を除くことができ、脈波伝播速度を精度よく算出することで、非接触の血圧検出手法を提供することができる。上記した以外の課題、構成、及び効果は、以下の実施形態の説明によって明らかにされる。

本発明の実施例１に於ける生体情報検出装置の構成の一例を説明するブロック図である。 本発明の実施例１に於ける生体情報検出装置の反射光解析部の一例を説明するブロック図である。 本発明の実施例２に於ける生体情報検出装置の明度レベルによる肌色領域検出部を含む反射光解析部の一例を説明するブロック図である。 本発明の実施例１に於ける生体情報検出装置の局所脈波検出部の一例を説明するブロック図である。 本発明の実施例１に於ける生体情報検出装置の波長揺らぎ検出部の一例を説明するブロック図である。 本発明の実施例２に於ける生体情報検出装置の明度レベルを応用した波長揺らぎ検出部の一例を説明するブロック図である。 本発明の実施例１に於ける生体情報検出装置の脈拍推定部の一例を説明するブロック図である。 本発明の実施例１に於ける生体情報検出装置の血圧推定部の一例を説明するブロック図である。 本発明の実施例１に於ける空間フィルタの一例を表す図である。 本発明の実施例１に於けるＨＳＶ色空間及び部分色空間の指定範囲の一例を表す図である。 本発明の実施例１に於ける部分色空間の設定方法の一例を説明する図である。 本発明の実施例１に於ける生体情報検出装置による検出の対象に関する血流の流れを説明する図である。 本発明の実施例１に於ける領域分割及び脈波伝播速度検出の一例を表す図である。 本発明の実施例１に於ける顔検出後の領域分割及び脈波伝播速度検出の一例を表す図である。 本発明の実施例２に於ける生体情報検出装置を含むシステムの一例を表す図である。 本発明の実施例２に於ける生体情報検出装置を含むシステムの構成の一例を説明するブロック図である。

以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明する各図面において、同一の部材には同一の符号を付し、その繰り返しの説明は省略する。

本実施例では、撮像した顔映像から、分割領域毎に反射光の波長ゆらぎによって脈波検出を行うことで光学的外乱を除き、各領域の脈波パタンから位相差を算出し、血圧を推定する生体情報検出装置の例を説明する。

図１は、本発明の実施例１に於ける生体情報検出装置の構成の一例を説明するブロック図である。

本実施例における生体情報検出装置は、複数の波長の成分を含む映像信号によって構成されるカメラ１００と、映像取得部２０１と、反射光解析部２２０と、複数の局所脈波検出部４００と、血圧推定部３２０と、データ出力部１０３とを備える。

映像取得部２０１は、カメラ１００から取得される撮像データ信号１０１を入力とし、映像ＲＧＢ信号２０２を出力する。反射光解析部２２０は、ＲＧＢ信号２０２を入力信号とし、レベル信号２３６及び波長データ信号２０４を出力する。本構成では、生体情報検出装置がカメラ１００を備える構成を説明したが、カメラ１００の代わりにカメラ映像を予め保存したデータと映像再生装置とを用いてもよい。

図２は、本発明の実施例１に於ける生体情報検出装置の反射光解析部２２０の一例を説明するブロック図である。

反射光解析部２２０は、映像データ記憶部２２１、空間フィルタ２２３、ＨＳＶ変換部２２６及び肌色領域検出部２２９を備え、画素毎の映像処理を行う。映像データ記憶部２２１は、ＲＧＢ信号２０２を入力とし、コンボリューションカーネルのタップ分のライン遅延を持つ遅延ＲＧＢ信号２２２を出力する。空間フィルタ２２３は、遅延ＲＧＢ信号２２２を入力とし、例えば注目画素及びその周りの画素を加重平均し、平滑化したＲＧＢ信号２２４を出力する。ＨＳＶ変換部２２６は、平滑化したＲＧＢ信号２２４をＲ（赤）、Ｇ（緑）、Ｂ（青）信号に分解したアンパック信号２２５を入力とし、Ｈ信号（色相）すなわち波長データ信号２０４、Ｓ信号（彩度）２２７及びＶ信号（明度）２２８へと変換する。

反射光解析部２２０は、さらに、フレーム間処理を行う顔検出部２３０を備える。顔検出部２３０は、平滑化したＲＧＢ信号２２４を入力とし、例えばＶｉｏｌａ−Ｊｏｎｅｓの手法によって顔検出を行い、顔領域信号２３１を出力する。肌色領域検出部２２９は、Ｈ信号（色相）２０４、Ｓ信号（彩度）２２７及びＶ信号（明度）を入力とし、図１３に示す肌色領域を示すレベル信号２３６を出力する。

図９は、本発明の実施例１に於ける空間フィルタの一例を表す図である。

図９は、縦横３タップすなわち３×３のコンボリューションカーネルを画像に適用した例であり、画像の注目画素を中心にカーネルと畳み込み演算を施した値が平滑化したＲＧＢ信号２２４となる。カーネルの値は加重平均の係数であり、それらの合計値は１．０になればよく、平滑化には例えば平均値分布又はガウシアン分布等を用いることができる。

図１０は、本発明の実施例１に於けるＨＳＶ色空間及び部分色空間の指定範囲の一例を表す図である。

図１０はＨＳＶ色空間を円柱座標で表現している。縦軸はＶａｌｕｅすなわち明度で色の明るさを表し、半径方向の軸はＳａｔｕｒａｔｉｏｎすなわち彩度で色の濃さを示す。回転角がＨｕｅすなわち色相となる。色相は、強さや濃さとは独立で、撮像が光の反射を捉えていると考えると、反射光の波長成分に相当すると考えられる。同様に、明度は特定波長の強度を示すと考えることができる。尚、肌色領域検出部２２９は、このＨＳＶ色空間に於いて図１０の領域９００のように部分色空間を用いて肌色領域を指定し、ＨＳＶ値が肌色領域に含まれる場合にはレベル信号２０３として１、含まれない場合には０を出力すればよい。

図１１は、本発明の実施例１に於ける部分色空間の設定方法の一例を説明する図である。

例えば、生体情報検出装置のデータ出力部１０３が、図１１に示すように色相、彩度及び明度のそれぞれの全範囲を示すバーと、それらのバーの上で指定する範囲の両端（例えば色相を指定する「色１」及び「色２」）を指示するアイコンとを表示し、アイコンを操作することによって範囲を指定してもよい。

例えば色相については、０度から３６０度までの範囲のバーが表示され、０度＝３６０度は赤色、１２０度は緑色、２４０度は青色であり、図１１に示すように色１と色２で指定した区間（すなわち色１から色２までの色相の範囲）を該当範囲とすればよい。同様に、彩度は０％を淡色、１００％を濃色、明度は０％を暗色、１００％を明色とし、範囲の両端（例えば彩度については彩度１及び彩度２、明度については明度１及び明度２）を指定することによって範囲を指定すればよい。例えばカメラ１００が人物を撮影するときに使用される照明の種類及び撮影される人物ごとの肌の色の個人差等によって、撮影される肌の色及び明るさ等が大きく異なる場合があるが、上記のような設定方法を用いて、適切な色相、彩度及び明度の範囲を設定することによって、撮影環境及び撮影される人物の性質（例えば肌の色）等に応じて適切に脈拍を検出することができる。

図２の反射光解析部２２０は、さらに、領域分割部２３５を備える。領域分割部２３５は、顔検出部２３０から出力される顔領域信号２３１、肌色領域検出部２２９から出力されるレベル信号２０３、および顔領域の分割数パラメータ２３４を入力とし、顔領域を複数の領域に分割し、各領域に対応する局所脈波検出部４００へとレベル信号２３６を渡す。

図４は、本発明の実施例１に於ける生体情報検出装置の局所脈波検出部４００の一例を説明するブロック図である。

局所脈波検出部４００は、波長データ記憶部２０５、波長揺らぎ検出部２４０及び脈波推定部２６０を備える。これらの詳細は後述する（図５〜図７参照）。

図１２は、本発明の実施例１に於ける生体情報検出装置による検出の対象に関する血流の流れを説明する図である。

心臓から送り出された血液は、動脈から細動脈を通り、毛細血管に流れ、酸素及び栄養を供給し、細静脈を通り、静脈へと流れ、血液を再び心臓に送る。本実施例の生体情報検出装置は、カメラ１００を通して皮下への光の吸収及び散乱を観測することによって、このような血流を観測する。しかし、例えば血管の配置は個人差があり、また、血流が顔面に流れる方向も一方向に限られないため、局所領域の脈波計測には様々な外乱の影響が加わる。

図１３は、本発明の実施例１に於ける領域分割及び脈波伝播速度検出の一例を表す図である。

カメラ映像は、図１３のように点線の領域で細分化されており、肌色領域検出部２２９に於ける肌色検出後に脈拍信号の算出対象となる領域が決まる。図中の（１）−（４）が付された網掛け領域は算出対象の肌色領域である。血流は動脈に沿って流れるが、末端までの血流の方向は必ずしも動脈を通る血流の流れる方向と一致しない。そのため、図中の（１）から（４）のように、脈波が出現する順序は、必ずしも顔面動脈の流れとは一致せず、不連続に（例えば脈波が（４）、（３）、（２）、（１）の順に出現するように）流れる場合が考えられる。そこで、動脈の血流に沿うのではなく、血圧推定部３２０に於いて、局所領域毎の脈波信号３０１の脈波パタン（例えば脈波の極大値又は極小値）の出現する順番に応じ、その順番が最初のものと最後のものとの差、すなわち、図中の（１）−（４）間の位相差（言い換えると出現時間差）によって脈波伝播速度を算出すればよい。

また、図１４は、本発明の実施例１に於ける顔検出後の領域分割及び脈波伝播速度検出の一例を表す図である。

顔を構成する特徴部位として目、口、鼻、眉及び耳等が挙げられるが、本実施例では目及び口を用いて説明する。例えば目及び口等の顔特徴量はＨａａｒ−ｌｉｋｅ又はＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）等の特徴分類器を用いて図１４中の検出された顔特徴量のように識別し、例えば矩形領域１４０１として算出できる。そこで、図１４のように実線で囲まれた矩形領域１４０１を複数の点線の領域に分割し、それぞれの領域で脈波パタンを検出し、その出現する順番に応じ、その順番が最初のものと最後のものとの差、すなわち、図中の（１）−（４）間の位相差（言い換えると出現時間差）によって脈波伝播速度を算出すればよい。

図１３の方法によれば、顔領域の検出処理を省略できるが、顔以外の（さらに言えば人物の肌以外の）領域に対しても脈波を検出するための処理が行われる。一方、図１４の方法によれば、顔領域の検出処理を行う必要があるが、顔以外の領域に対する脈波検出が省略される。生体情報検出装置の実際の使用の態様（例えばどこに設置され、どのような状況で使用されるか）によって適切な方法を選択することができる。

ここで、図１３及び図１４には脈波パタンの出現の順番が最初のものと最後のものとの出現時間差を利用する例を示したが、これは一例であり、脈波パタンの出現の順番が所定の条件を満たす２以上の脈波の出現時間差を用いることができる。例えば、脈波パタンの出現の順番が最初から２番目のものと最後から２番目のものとの出現時間差を利用してもよい。ただし、例えば最初と最後など、出現時間差ができるだけ大きくなるように領域を選択した方が精度のよい脈波伝播速度の算出を期待できる。

また、後述するように、全ての矩形領域のうち、所定の品質を満たす脈波が検出された矩形領域の脈波であって、そのパタンの出現の順番が上記の所定の条件を満たすものを利用してもよい。これによって、品質のよい脈波を検出できない領域があっても、それ以外の領域で検出された脈波を用いて血圧を推定できるため、装置の可用性が向上する。

人物ごとに顔の血管構造は異なり、それぞれの人物の血管構造を特定することは困難である。しかし、それぞれの人物において、血管構造は短期間で変化しないと推定される。言い換えると、脈波パタンが最初に出現する領域から最後に出現する領域までの血流の経路は人物ごとに概ね一定していると推定される。このため、当該経路の距離を推定して、これを使用することで、出現時間差から脈波伝播速度を算出することができる。この経路の距離は、あらかじめ生体計測機器を使用して計測されたデータに基づいて推定されたものであってもよい。これは、人物ごとに異なる値であってもよいし、個人差が問題にならない場合（例えば血圧の推定値に要求される精度がそれほど高くない場合、又は、人物ごとの血圧の経時変化が分かれば十分である場合など）には共通する値であってもよい。

また、図１３及び図１４に示すように、人物の顔をさらに複数の領域に分けて、それぞれの領域について脈波を検出しようとした場合、ノイズのために常に全ての領域で脈波を検出できるとは限らない。また、一般には、ある時点で脈波を検出できた領域において、別の時点では脈波を検出できない場合がある。しかし、いずれの時点でも、その時点で脈波が検出された領域のうち、脈波パタンが最初に出現する領域から最後に出現する領域までの血流の経路の距離は、人物ごとに、おおむね一定であろうと推定される。

このことから、本実施例の生体情報検出装置は、複数の領域のうち、所定の条件を満たす（例えば、十分に信頼性のある極大値又は極小値の時刻を特定できるなど、伝播速度の計算に利用可能な）品質の脈波が検出された領域であって、出現順位が最初の領域（図１３、図１４の例では領域（４））と最後の領域（図１３、図１４の例では領域（１））とを抽出し、その間の脈波パタンの出現時間差から脈波伝播速度を算出する。

図５は、本発明の実施例１に於ける生体情報検出装置の波長揺らぎ検出部２４０の一例を説明するブロック図である。

波長揺らぎ検出部２４０は、波長差分算出部２４１、肌色面積算出部２４３、波長差分積算部２４４及び平均波長差分算出部２４７を備える。波長差分算出部２４１は、肌領域を示すレベル信号２３６、波長データ信号２０４及び遅延波長データ信号２０６を入力とし、肌色領域内の画素の信号が入力された場合（すなわちレベル信号２３６として１が入力された場合）に、入力された波長データ信号２０４及び遅延波長データ信号２０６から算出した（すなわち各時刻の波長データ信号２０４と当該各時刻より前の時刻の波長データ信号２０４との差分である）波長差分データ信号２４２を出力し、肌色領域外の画素の信号が入力された場合は０値を出力する。肌色面積算出部２４３は、肌色領域を示すレベル信号２３６を入力とし、フレーム毎に肌色領域の画素数をカウントし、肌色面積信号２４５を出力する。波長差分積算部２４４は、肌領域画素の波長差分データ信号２４２を入力とし、フレーム毎の波長差分を積算し、積算波長差分データ信号２４６を出力する。平均波長差分算出部２４７は、肌色面積信号２４５と積算波長差分データ信号２４６とを入力とし、積算波長差分データを肌色面積で除算することによって、フレーム間で（すなわち１フレーム内の全画素について）平均した波長差分データ信号２０７を出力する。

図７は、本発明の実施例１に於ける生体情報検出装置の脈波推定部２６０の一例を説明するブロック図である。

脈波推定部２６０は、差分データ記憶部２６１、波形生成部２６３、波形データ記憶部２６５、傾き検出部２６７、符号データ記憶部２６９及び極値検出部２７１を備え、フレーム毎の映像処理を行う。差分データ記憶部２６１は、波長差分データ信号２０７を入力とし、遅延波長差分データ信号２６２を出力する。波形生成部２６３は、波長差分データ信号２０７及び遅延波長差分データ信号２６２を入力とし、連続時間軸上で複数フレーム分の波長データによって平滑化した波長差分データ信号２６４を出力する平滑化フィルタでもよい。波形データ記憶部２６５は、平滑化した波長差分データ信号２６４を入力とし、複数フレーム分の波長差分データを保持し、平滑化した遅延波長差分データ信号２６６を出力する。平滑化による脈波検出を行った場合において、検出領域が小さい場合は、脈波信号がノイズによって判別できなくなる場合がある。

また、波形生成部２６３は、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のような生成モデルであってもよい。すなわち、波形生成部２６３は、波長揺らぎ（波長差分データ信号２０７）から脈波を推定するための弁別器を含んでもよい。この場合、学習データは、あらかじめ生体計測機器を用いて計測された脈波データが使用されてもよい。例えば、学習データとして、パルスオキシメータ又はリストバンド式の心拍計によって得られたものを使用してもよく、心電図から得られる波形を積分したものを使用してもよい。学習はｔ時間における波形とｔ＋１時間における波形とのペアで構成されてもよい。学習データを用いて予測したｔ＋１時間における波形から、ｔ＋２時間における波形を予測することを繰り返すことで脈波推定できる。これによって、脈波推定の精度の向上が期待できる。

傾き検出部２６７は、ある時刻の平滑化した波長差分データ信号２６４と波形データ記憶部２６５から出力された信号（すなわちより前の時刻の平滑化した波長差分データ信号２６４）とを比較することによって、平滑化した波長差分データの変化（すなわち傾き）を検出し、傾きの符号を求める符号データ信号２６８を出力する。具体的には、傾き検出部２６７は、連続する２フレームの平滑化した波長差分データ信号を比較してもよいし、連続する近傍の数フレームの平均フレーム間で平滑化した波長差分データ信号を比較してもよい。後者の場合、傾き検出部２６７は、例えば、連続する複数のフレームの波長差分データの平均と、それより前の連続する複数のフレームの波長差分データの平均とを比較して、差分の傾きを計算してもよい。符号データ記憶部２６９は、符号データ信号２６８を入力とし、複数フレーム分の符号データを保持し、遅延符号データ信号２７０を出力する。

極値検出部２７１は、符号データ信号２６８及び遅延符号データ信号２７０を入力とし、傾きの符号が正値から負値へ変化した（すなわち時刻に応じた差分の変化が増加から減少に転じた）フレームを極大、負値から正値へ変化した（すなわち時刻に応じた差分の変化が減少から増加に転じた）フレームを極小とすることで極値を求め、例えば極大値（又は極小値）を脈波信号１０２として出力する。あるいは、極値検出部２７１は、極大値（又は極小値）が検出されたタイミングを示す情報を出力してもよい。

上記のように波形生成部２６３により差分データ信号を平滑化することによって、ノイズ等に起因する差分データ信号の微細な変動による脈拍の誤検出が防止される。傾き検出部２６７が隣接するフレーム間の差分データの変化（傾き）を検出し、その結果に基づいて極値検出部２７１が差分データの極大値又は極小値を検出することによって、精度よく脈拍信号を生成することができる。傾き検出部２６７が連続する近傍の複数フレームの平均フレーム間の差分を求める場合には、上記の平滑化と同様に、脈拍の誤検出が防止される。

図８は、本発明の実施例１に於ける生体情報検出装置の血圧推定部３２０の一例を説明するブロック図である。

血圧推定部３２０は、脈波伝播速度算出部３２１と、脈波伝播速度記憶部３２４と、波形生成部３２５と、血圧変換テーブル３２８と、血圧補正部３３０と、を備える。

脈波伝播速度算出部３２１は、各領域からの脈波信号３０１を入力とし、脈波パタンの出現する時間に応じて、その最大及び最小の脈波より位相差を求めることで脈波伝播速度３２２を算出する。脈波伝播速度記憶部３２４は、複数フレームに渡り脈波伝播速度を記録する。波形生成部３２５は、複数フレームの脈波伝播速度の平均値を算出する。この波形生成部３２５の出力が血圧波形に相当する。血圧変換テーブル３２８は、平滑化した脈波伝播速度信号３２６を入力とし、血圧値の元となる血圧変換信号３２９を出力する。血圧補正部３３０は、平滑化した脈波伝播速度信号３２６、血圧変換信号３２９及び血圧補正パラメータ３２７を入力とし、血圧変換信号を補正して血圧信号３０２を出力する。また、血圧補正パラメータ３２７は、年齢、性別、血管半径、血液密度等による補正のためのパラメータである。

尚、本構成に於いて脈波伝播速度算出部３２１が血圧変換テーブル３２８を有することを説明したが、血圧変換テーブル３２８の代わりに、例えばＭｏｅｎｓ−Ｋｏｒｔｅｗｅｇの式等の数式モデルを使用してもよい。動脈内径の断面積と半径変化の比と血管壁の壁厚とが一定と見做せれば、血圧変化が増分弾性係数に比例し、且つ、血管壁の壁厚に対する半径と血液密度の積の比が一定の場合、増分弾性係数と脈波伝播速度の二乗が比例（Ｍｏｅｎｓ−Ｋｏｒｔｅｗｅｇの式）するため、血圧変化は脈波伝播速度の二乗との比例式で表される。

また、波形生成部３２５は、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のような生成モデルであってもよい。すなわち、波形生成部３２５は、脈波伝播速度から血圧波形を推定するための弁別器を含んでもよい。この場合、学習データは、あらかじめ生体計測機器を用いて計測された血圧波形が使用されてもよい。例えば、学習データは、脈波伝播速度又はトノメトリ式の血圧計による波形もしくはその平方根を使用してもよい。学習はｔ時間における波形とｔ＋１時間における波形とのペアで構成されてもよい。学習データを用いて予測したｔ＋１時間における波形から、ｔ＋２時間における波形を予測することを繰り返すことで波形生成できる。これによって、血圧波形の生成の精度の向上が期待できる。

以上のように、本実施例は、ＲＧＢ信号の各信号成分の変化量が異なることに注目し、顔映像の色成分を反射光の波長とスペクトル強度とに分離することで、環境変化に強い検出方法と、顔や露出している肌の映像領域を分割し、各領域に対して脈波信号を検出した後、各領域における脈波信号と統計的に求めた位相差によって脈波伝播速度を精度よく算出することができる。これによって、分割領域毎に反射光の波長ゆらぎに基づいて脈波検出を行うことで光学的外乱を除き、各領域の脈波パタンから位相差を算出し、非接触による血圧計測技術を提供できる。

ここで、本実施例の構成では、カメラ１００が可視光のカラーカメラであり、Ｒ、Ｇ、Ｂの三つの波長の成分を含む映像信号を生成する。しかし、これは一例であり、カメラ１００は、対象物（例えば人間の顔）からの反射光を撮影して複数の波長の成分を含む映像信号を出力する撮像装置である限り、どのようなものであってもよい。例えば、上記の複数の波長の少なくとも一つが赤外線又は紫外線の領域に含まれてもよい。また、そのような映像信号を生成するために複数のカメラ１００が使用されてもよい。

また、カメラ１００は二つの波長の成分を含む映像信号を出力してもよい。例えば、カメラ１００が出力する映像信号にＲ信号及びＧ信号のみが含まれる場合、生成される色空間は、図１０に示すＨＳＶ色空間のうち色相（Ｈｕｅ）がＲからＧまでの範囲の領域のみであるが、その領域に肌色領域９００が含まれていれば、上記と同様の処理を行うことができる。

また、上記の例ではＲＧＢ信号がＨＳＶ色空間の信号に変換されるが、色相と明るさを含む色空間である限り、例えばＨＳＬ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｌｉｇｈｔｎｅｓｓ）色空間等、他の色空間の信号に変換されてもよい。いずれの場合も、色相の信号に基づいて波長揺らぎを検出することによって、環境変化に強い検出方法を提供することができる。例えばＨＳＬ色空間の場合、輝度が明るさすなわち強度として取得される。

また、従来の手法の通り、上記のような色空間による変換を行わず、緑色等の個別信号によって脈波算出を行なうのもよいし、上記のような色空間の代わりに独立成分分析を利用してもよい。

実施例１では、撮像した顔映像から、分割領域毎に反射光の波長ゆらぎに基づいて脈波検出を行うことで光学的外乱を除き、各領域の脈波パタンから位相差を算出し、血圧を推定する生体情報検出装置を説明した。実施例２では、本発明に係る実施例１に於いて、映像の明るさによる適応処理を含む構成を説明する。以下に説明する相違点を除き、実施例２の生体情報検出装置の各部は、実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

実施例２の生体情報検出装置の構成は、反射光解析部２２０、波長揺らぎ検出部２４０及びこれらを結ぶ信号以外は図１等に示した実施例１の生体情報検出装置の構成と同様である。

図３は、本発明の実施例２に於ける生体情報検出装置の明度レベルによる肌色領域検出部２２９を含む反射光解析部２２０の一例を説明するブロック図である。

反射光解析部２２０は、映像データ記憶部２２１、空間フィルタ２２３、ＨＳＶ変換部２２６及び肌色領域検出部２２９を備え、画素毎の映像処理を行う。映像データ記憶部２２１は、ＲＧＢ信号２０２を入力とし、コンボリューションカーネルのタップ分のライン遅延を持つ遅延ＲＧＢ信号２２２を出力する。空間フィルタ２２３は、遅延ＲＧＢ信号２２２を入力とし、例えば注目画素及びその周りの画素を加重平均し、平滑化したＲＧＢ信号２２４を出力する。ＨＳＶ変換部２２６は、平滑化したＲＧＢ信号２２４をＲ、Ｇ、Ｂ信号に分解したアンパック信号２２５を入力とし、Ｈ信号（色相）すなわち波長データ信号２０４、Ｓ信号（彩度）２２７及びＶ信号（明度）２２８へと変換する。

肌色領域検出部２２９は、Ｈ信号（色相）２０４、Ｓ信号（彩度）２２７及びＶ信号（明度）２２８を入力とし、肌色領域を示す２値レベル信号２０３（マスク信号）を出力する。

図３の反射光解析部２２０は、さらに、顔検出部２３０及び領域分割部２３５を備える。顔検出部２３０は、平滑化したＲＧＢ信号２２４を入力とし、例えばＶｉｏｌａ−Ｊｏｎｅｓの手法によって顔検出を行い、顔領域信号２３１を出力する。領域分割部２３５は、顔検出部２３０から出力される顔領域信号２３１及び肌色領域検出部２２９から出力されるレベル信号２０３を入力とし、顔領域を複数の領域に分割し、肌色領域を示す２値レベル信号２３３を出力する。

反射光解析部２２０は、２値レベル信号２３３に応じて明度信号２２８を切り替えることでレベル信号２３６を出力する。すなわち、実施例２のレベル信号２３６の値は、肌色領域外の画素については０、肌色領域内の画素についてはその画素の明度の値となる。

図６は、本発明の実施例２に於ける生体情報検出装置の明度レベルを応用した波長揺らぎ検出部２４０の一例を説明するブロック図である。

波長揺らぎ検出部２４０は、波長差分算出部２４１、肌色面積算出部２４８、面積データ記憶部２５０、波長差分積算部２４４、積算データ記憶部２５６及び平均波長差分算出部２５５を備える。

波長差分算出部２４１は、肌色領域を示すレベル信号２３６、波長データ信号２０４及び遅延波長データ信号２０６を入力とし、肌色領域内の画素の信号が入力された場合（すなわちレベル信号２３６として１が入力された場合）に、入力された波長データ信号２０４及び遅延波長データ信号２０６から算出した波長差分データ信号２４２を出力し、肌色領域外の画素の信号が入力された場合は０値を出力する。

肌色面積算出部２４８は、肌色領域を示す明度レベルを含む信号２３６を入力とし、フレーム毎に肌色領域すなわち０値以外の画素数をカウントし、肌色領域の面積を示す肌色面積信号２４５と、肌色領域の明るさを示す明度レベル信号２４９と、を出力する。

面積データ記憶部２５０は、肌色面積信号２４５及び明度レベル信号２４９を入力とし、遅延肌色面積信号２５２及び遅延明度レベル信号２５１を出力する。波長差分積算部２４４は、肌色領域画素の波長差分データ信号２４２を入力とし、フレーム毎の波長差分を積算し、積算波長差分データ信号２４６を出力する。

積算データ記憶部２５６は、波長差分データ信号２０７を入力とし、複数フレーム間のデータを保持し、遅延積算波長データ信号２５７を出力する。平均波長差分算出部２５５は、肌色面積信号２４５、フレーム間の明度レベル差分信号２５３、フレーム間の肌色面積差分信号２５４、積算波長差分データ信号２４６および遅延積算波長データ信号２５７を入力とし、積算波長差分データを肌色面積で除算することによって、フレーム内で平均した波長差分データ信号２０７を出力する。

フレーム間の明度レベル差分信号２５３は、各フレームの明度レベル信号２４９と、面積データ記憶部２５０に格納されている、当該各フレームより前の（例えば直前の）フレームの明度レベル信号２４９との差分であり、これが大きいほど明度レベルの変化が大きいことを示している。フレーム間の肌色面積差分信号２５４は、各フレームの肌色面積信号２４５と、面積データ記憶部２５０に格納されている、当該各フレームより前の（例えば直前の）フレームの肌色面積信号２４５との差分であり、これが大きいほど肌色面積の変化が大きいことを示している。

平均波長差分算出部２５５は、急激な外光変化が起きた場合、すなわち、明度レベル差分信号２５３が明度レベル差分閾値２５８と比べ大きい場合、現在のフレームの積算波長差分データ信号２４６及び肌色面積信号２４５から算出した平均波長差分データの代わりに、遅延積算波長データ信号２５７（例えば一つ前のフレームなどの過去のフレームの積算波長差分データ信号２４６及び肌色面積信号２４５から算出し、出力した波長差分データ信号２０７）を現在のフレームに関する波長差分データ信号２０７として出力してもよいし、当該遅延積算波長データ信号２５７と現在のフレームの積算波長差分データ信号２４６及び肌色面積信号２４５から算出した平均波長差分データとの平均値を現在のフレームに関する波長差分データ信号２０７として出力してもよい。これによって、外光の急激な変動に起因する誤検出が抑制される。

同様に、平均波長差分算出部２５５は、検出される肌色領域の変化が大きい場合、すなわち、肌色面積差分信号２５４が肌色面積差分閾値２５９と比べ大きい場合も、現在のフレームの平均波長差分データの代わりに、遅延積算波長データ信号２５７、または遅延積算波長データ信号２５７と現在のフレームの積算波長差分データ信号２４６及び肌色面積信号２４５から算出した平均波長差分データとの平均値を現在のフレームに関する波長差分データ信号２０７として出力してもよい。

本発明の実施例に記載された構成を含むシステムとしては、例えば、撮像部、映像出力部及び記憶部を持つＰＣ、携帯端末、ＴＶ、及びカーナビゲーション装置等がある。

図１５Ａは、本発明の実施例２に於ける生体情報検出装置を含むシステムの一例を表す図である。

図１５Ａには、一例として、撮像部１５０１、映像表示部６０７、演算部１５０２及び記憶部１５０３を持つＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を示す。撮像部１５０１は、例えば、カメラ１００を含む。映像表示部６０７は、例えば、データ出力部１０３から出力されたデータ等を表示するための表示装置（例えば液晶表示装置等）である。演算部１５０２及び記憶部１５０３は、本実施例の生体情報検出装置の機能を実現するための処理を実行する。例えば、演算部１５０２が記憶部１５０３に格納されたプログラムを実行することによって、反射光解析部２２０、局所脈波検出部４００、血圧推定部３２０及びデータ出力部１０３の処理が実現されてもよい。

映像表示部６０７から出力された画面の光が作業者１５０４（すなわち生体情報検出装置による生体情報の検出対象である人物）の顔に当たり、反射した光を撮像部１５０１が撮影する。例えば、撮影された映像を用いて、演算部１５０２及び記憶部１５０３が実施例２の処理を実行することによって、作業者１５０４の血圧等の生体情報が計測される。

本発明の生体情報検出装置の活用例として、健康経営に向け、ＰＣを用いたＶＤＴ作業中の脈拍及び血圧等の生体情報を推定するシステム、ストレス及び感情等の人の状態を推定するシステム、運転手の健康状態を乗車前又は乗車中にモニタリングするドライバモニタリングシステム、空港の不審者監視システム、並びに、高齢者又は幼児の容態急変をモニタするシステム等が挙げられる。

図１５Ｂは、本発明の実施例２に於ける生体情報検出装置を含むシステムの構成の一例を説明するブロック図である。

本構成は、内蔵又は外部接続されたカメラ１００と、画面映像をキャプチャし、平均色輝度信号６０２を出力する映像取得部６０１と、血圧信号６０４及び脈波信号３０１を出力するの血圧計測部６０３と、脈拍及び血圧からストレス及び感情を推定する状態推定部６０５と、状態情報６０６を表示する映像表示部６０７と、を備える。映像取得部６０１は、例えば図１の映像取得部２０１に相当する。また、血圧計測部６０３は、例えば図１の反射光解析部２２０、局所脈波検出部４００及び血圧推定部３２０に相当する。

映像取得部６０１から出力された平均色輝度信号６０２を差し引くことで、映像表示部６０７の画面からの光による外乱の影響を除くことができる。

また、状態推定部６０５は、例えば脈波信号の極小値間の経過時間を一定期間に於いて周波数変換することで、ＬＦ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ：０．０４〜０．１５Ｈｚ）及びＨＦ（Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ：０．１５〜０．５０Ｈｚ）を算出し、ＬＦ、ＨＦ及び血圧値のいずれか、又はそれらの任意の組み合わせに基づいてストレス及び感情等を推定することができる。例えば、ストレス指標ＬＦ／ＨＦを求めることでストレスを推定し、ＨＦ、ＬＦ及び血圧値を用いることで感情を推定してもよい。

本構成は、ＰＣにて説明したが携帯、ＴＶ、カーナビゲーションでも同様に実施することができる。また、本構成を端末とサーバの処理に分けることができ、例えば血圧計測部６０３および状態推定部６０５をサーバ側で実施し、端末側では映像取得部６０１が取得した映像をサーバへ送信し、サーバによる状態推定結果を受信してもよい。

以上の構成によれば、脈波検出に於いて、外光の急激な変動及び撮影された肌色面積の急激な変動の影響に起因する誤検出を抑制し、好適に測定を行うことができる。

上記の図１５Ａ及び図１５Ｂには、本発明の実施例２の生体情報検出装置を含むシステムを説明したが、実施例１の生体情報検出装置を用いて同様のシステムを構成することもできる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。

また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１０１ 撮像データ信号
１０２ 脈波信号
２０２ ＲＧＢ信号
２０３ レベル信号
２０４ 波長データ信号（色相信号）
２０６ 遅延波長データ信号
２０７ 波長差分データ信号
２２２ 遅延ＲＧＢ信号
２２４ 平滑化したＲＧＢ信号
２２５ アンパック信号
２２７ 彩度信号
２２８ 明度信号
２３１ 顔領域信号
２３３ ２値レベル信号（マスク信号）
２３４ 分割数パラメータ
２３６ 局所領域毎のレベル信号
２４２ 肌色領域画素の波長差分データ信号
２４５ 肌色面積信号
２４６ 積算波長差分データ信号
２４９ 明度レベル信号
２５１ 遅延明度レベル信号
２５２ 遅延肌色面積信号
２５３ 明度レベル差分信号
２５４ 肌色面積差分信号
２５７ 遅延積算波長データ信号
２６２ 遅延波長差分データ信号
２６４ 平滑化した波長差分データ信号
２６６ 平滑化した遅延波長差分データ信号
２６８ 符号データ信号
２７０ 遅延符号データ信号
３０１ 局所領域毎の脈波信号
３０２ 血圧信号
３２２ 脈波伝播速度信号
３２４ 血圧補正パラメータ
３２６ 平滑化した脈波伝播速度信号
３２７ 遅延脈波伝播速度信号
３２９ 血圧変換信号
９００ 部分色空間

Claims (11)

1. 対象物からの反射光を撮影した複数の波長の成分を含む映像信号によって構成される映像を取得する映像取得部と、
   前記映像をフレームごとに複数の領域に分割する領域分割部と、
   前記領域ごとに、フレーム間の波長揺らぎに基づいて脈波を検出する局所脈波検出部と、
   前記複数の領域における前記脈波のパタンの出現順序に基づいて抽出された２以上の前記領域の前記脈波のパタンの出現時間差に基づいて脈波の伝播速度を計算し、前記脈波の伝播速度に基づいて血圧を推定する血圧推定部と、を有することを特徴とする生体情報検出装置。
2. 請求項１に記載の生体情報検出装置であって、
   前記領域分割部は、前記フレームごとに、前記映像を所定の数の前記領域に分割し、
   前記局所脈波検出部は、前記所定の数の領域のうち、肌色が検出された領域について前記脈波を検出することを特徴とする生体情報検出装置。
3. 請求項１に記載の生体情報検出装置であって、
   前記映像に含まれる人物の顔を検出する顔検出部をさらに含み、
   前記領域分割部は、前記フレームごとに、前記映像のうち顔が検出された領域を複数の領域に分割し、
   前記局所脈波検出部は、前記分割された複数の領域について前記脈波を検出することを特徴とする生体情報検出装置。
4. 請求項１に記載の生体情報検出装置であって、
   前記局所脈波検出部は、あらかじめ生体計測機器を用いて計測された脈波データに基づいて調整された、前記波長揺らぎから前記脈波を推定するための弁別器を有することを特徴とする生体情報検出装置。
5. 請求項１に記載の生体情報検出装置であって、
   前記血圧推定部は、
   あらかじめ生体計測機器を用いて計測された脈波データに基づいて調整された、前記脈波の伝播速度から血圧波形を推定するための弁別器を有し、
   前記弁別器によって推定された血圧波形に基づいて前記血圧を推定することを特徴とする生体情報検出装置。
6. 請求項１に記載の生体情報検出装置であって、
   前記脈波のパタンの出現順序は、前記脈波の極大値又は極小値の出現順序であり、前記脈波のパタンの出現時間差は、前記脈波の極大値又は極小値の出現時間差であることを特徴とする生体情報検出装置。
7. 請求項１に記載の生体情報検出装置であって、
   前記血圧推定部は、前記複数の領域のうち、前記脈波のパタンの出現順序が最初の領域と最後の領域とを抽出し、前記抽出された領域における前記脈波のパタンの出現時間差に基づいて前記脈波の伝播速度を計算することを特徴とする生体情報検出装置。
8. 請求項７に記載の生体情報検出装置であって、
   前記血圧推定部は、前記脈波の伝播速度を血圧に変換するための変換テーブルを保持し、
   前記血圧推定部は、前記脈波の伝播速度と、前記変換テーブルと、に基づいて、前記血圧を推定することを特徴とする生体情報検出装置。
9. 請求項７に記載の生体情報検出装置であって、
   前記血圧推定部は、前記脈波の伝播速度に所定の数式モデルを適用することによって前記血圧を推定することを特徴とする生体情報検出装置。
10. 請求項７に記載の生体情報検出装置であって、
    前記血圧推定部は、前記複数の領域のうち、所定の条件を満たす品質の脈波が検出された領域であって、前記脈波のパタンの出現順序が最初の領域と最後の領域とを抽出することを特徴とする生体情報検出装置。
11. 生体情報検出装置が実行する生体情報検出方法であって、
    前記生体情報検出装置が、対象物からの反射光を撮影した複数の波長の成分を含む映像信号によって構成される映像を取得する手順と、
    前記生体情報検出装置が、前記映像をフレームごとに複数の領域に分割する手順と、
    前記生体情報検出装置が、前記領域ごとに、フレーム間の波長揺らぎに基づいて脈波を検出する手順と、
    前記生体情報検出装置が、前記複数の領域における前記脈波のパタンの出現順序に基づいて抽出された２以上の前記領域の前記脈波のパタンの出現時間差に基づいて脈波の伝播速度を計算する手順と、
    前記生体情報検出装置が、前記脈波の伝播速度に基づいて血圧を推定する手順と、を含むことを特徴とする生体情報検出方法。
    

Images