以下、図面を参照しながら、本願に係る生体情報計測装置、生体情報計測方法、生体情報表示装置及び生体情報表示方法について説明する。なお、以下では、まず、第1の実施形態〜第3の実施形態において、本願に係る生体情報計測装置及び生体情報計測方法を説明する。以下の実施形態においては、本実施形態に係る生体情報計測装置を利用した「健康モニタリング」によって実現される、『日常人間ドッグ』を例に挙げて、生体情報計測装置の詳細について説明する。なお、以下で説明する実施形態はあくまでも一例であり、実施形態は以下で説明する内容に限定されるものではない。
(本実施形態によって実現される日常人間ドッグ)
図1は、本実施形態によって実現される日常人間ドッグを説明するための図である。今日、誰もが、家族と地域の中で健康快活に、仕事や趣味に生きるのが理想だが、将来の病気への不安、痴呆、うつ、孤独感、離れた家族への心配等が、少子高齢化の進む現代社会において人々を脅かし、安寧な生活を蝕んでいる。このような『現代社会』において、誰もが、家族と社会の中で健康快活に、仕事や趣味に生きることを理想としており、その実現手段の1つが、図1に示す『日常人間ドック』である。この『日常人間ドック』では、非意識(Unconscious Sensing)技術により血圧情報を収集して、収集した血圧情報から日々の健康状態を対象者にフィードバックする。
具体的には、本実施形態に係る『日常人間ドッグ』に利用される生体情報計測装置は、血圧情報の収集の対象となる対象者の映像信号を解析することで対象者の血圧情報を収集し、収集した血圧情報に基づいて健康状態を対象者に提供する。具体的には、生体情報計測装置は、血圧の変動に応じて変化する映像信号を解析することで対象者の血圧の変動を推定し、推定した結果に基づいて健康状態を対象者に提供する。より具体的には、生体情報計測装置は、対象者の顔と顔以外の部位を撮影した映像信号からそれぞれ脈波情報を抽出し、抽出した脈波情報の差の変動から血圧の変動を推定する。
ここで、脈波とは、心臓のポンプ作用によって生じる動脈系圧波動の伝播である。そして、脈波が血管を伝播する時間として定義される脈波伝播時間(PTT:Pulse Transit Time)が、血圧変動と相関関係を有することが知られている。そこで、本実施形態に係る生体情報計測装置は、PTTと血圧変動との間に相関関係があるという原理を用いることで、対象者の血圧の変動を推定する。具体的には、本実施形態に係る生体情報計測装置は、対象者の映像信号の輝度情報に基づいて、対象者の脈波に関する情報を算出する。そして、本実施形態に係る生体情報計測装置は、映像信号を取得した対象者の部位に応じて、脈波に関する情報の増減に基づく対象者の血圧の変動を計測する。
(第1の実施形態)
以下、第1の実施形態に係る生体情報計測装置について説明する。第1の実施形態に係る生体情報計測装置は、対象者の顔と顔以外の部位を撮影した映像を用いて、対象者の血圧の変動を推定する。具体的には、第1の実施形態に係る生体情報計測装置は、対象者の顔及び顔以外の部位の映像信号から脈波情報を抽出してPTTに相当する指標値を算出し、算出した指標値の変動から血圧の変動を推定する。
ここで、まず、映像信号から脈波情報を抽出する原理について説明する。例えば、ビデオカメラなどの撮像装置は、被写体で反射した光を、赤(R)・緑(G)・青(B)の3色の光を原色として波長毎のフィルタを通した映像として記録し、その輝度値に応じて様々な色を表現している。一方、可視光の血中ヘモグロビンの吸光特性に着目すると、520−600nmの波長帯域に高いピークを持っており、カメラの緑色フィルターが高感度となる波長帯域である、500−570nmとほぼ重なっている。心臓の拍動によって脈波が全身に伝播する際に、体表面を含めた全身の血流量は周期的に増減している。心臓が収縮して末梢部位の血流量が増加すると、血中ヘモグロビンの相対量も増加するため、皮膚表面での緑色光の吸収量が増加する。カメラは皮膚表面で反射した光を受け取るため、血中ヘモグロビンの相対量が増加しているときには映像中の緑の輝度値が低下する。これとは逆に、心臓が拡張しているとき、末梢部位の血流量は減少して血中ヘモグロビンの相対量も減少するため、皮膚表面での緑色光の吸収量が減少する。この緑色光における輝度値の変化は極めて小さく、人間の目では認識することはできないが、市販のビデオカメラなどを用いることで検出することができる。
生体情報計測装置は、上述した緑色光における輝度値を脈波情報として抽出し、血圧の変動を推定する。上述したように、現在、血圧情報の収集は、オシロメトリック式血圧計や、容積補償型の連続血圧計、光電容積脈波計を用いることによって行われている。すなわち、対象者が自身の体に意識的に装置を取り付け、血圧測定を開始することによって血圧情報が収集される。従って、従来の収集方法の場合、装置を取り付ける煩わしさや、装置のコストの面から、日常的に継続して血圧情報を収集することが容易ではない。
これに対して、第1の実施形態によって実現される日常人間ドッグでは、対象者の映像信号を解析して血圧情報を収集するため、例えば、図1に示すように、鏡の前に立つだけで、対象者の血圧情報を非接触で収集し、収集した血圧情報を解析することで、今日の健康状態が判明する「健康予報」を対象者にフィードバックすることができる。すなわち、対象者が特に意識することなく、日常生活の中で非意識のうちに血圧情報を収集して対象者に健康状態をフィードバックすることができる。ここで、図1に示す「健康予報」とは、対象者の血圧の変動をもとに解析された健康状態を提供するものである。例えば、血圧の基準値と比較して現在の対象者の血圧がどのような状態(高い、或いは、低いなど)になっているか、また、基準値からどの程度変動しているか、さらに、血圧が大きく変動していた場合に、基準値に戻るまでの時間がどの程度であるかなどが解析され、解析結果をもとに「健康予報」が提供される。
これにより、日々の生活の中で血圧に関するさりげない健康モニタリングを行うことができ、対象者が日常的に自身の健康状態を把握することができる。例えば、図1に示すように、「体温:36.5℃ 血圧:やや低め 寝不足です 鉄分を摂取してください」という「健康予報」を提供することで、対象者は自身の現在の状態を把握することができる。ここで、対象者の健康状態に関する情報は、対象者にフィードバックするだけではなく、ネットワークを介して家族や主治医に対して提供することも可能である。例えば、対象者の血圧情報が収集されるごとに、家族が所持する携帯電話、スマートフォン、或いは、タブレット端末などや、主治医が操作する端末に解析結果が送信される。これにより、対象者自身だけでなく、家族や主治医も対象者の健康状態を把握することができる。
上述したように、血圧の急激な変動は、運動時の力み、過度のストレス、環境温度の急変化によって引き起こされ、状況によっては生理状態を急激に変化させ、生体を危険な状態にする可能性がある。特に環境温度の急変化に着目すると、ヒートショックとも呼ばれる入浴時の環境温度変化が身体へもたらす影響が大きな問題となっている。図2は、入浴時の環境温度変化による身体への影響を説明するための図である。図2においては、縦軸に血圧を示し、横軸に時間を示し、入浴前後の血圧値の変動グラフを示す。また、図2においては、入浴する人の行動と、血圧変動による身体への影響とを示す。
例えば、入浴前後の血圧値は、図2に示すように、入浴するために居間から脱衣室に移動すると上昇し、浴室に移動することでさらに上昇する。そして、血圧値は、入浴後に急激に低下して、入浴終了のために立ち上がった際に一旦さらに低下した後に、徐々に上昇する。これは、居間と脱衣室の温度差から生じる寒冷刺激による血圧急上昇と、入浴時の温度上昇による血圧急低下によって引き起こされるものである。このように血圧が急変動すると、例えば、脱衣室に入室して衣服を脱ぐことによる血圧急上昇によって脳出血が引き起こされたり、入浴後の血圧急低下によって脳梗塞や心筋梗塞などが引き起こされたりする。さらに、入浴終了のために立ち上がった際には、起立性低血圧により失神が引き起こされる場合もある。
このヒートショックに関連した入浴中の死亡者数は1年間で約17,000人にも上り、このうち約14,000人が高齢者であるという報告がある。高齢者が多くを占める理由としては、加齢により寒冷に対する感受性が低下することや、若年者と比較して高齢者の寒冷刺激による血圧上昇が著しいことなどが知られている。したがって、第1の実施形態にかかる生体情報計測装置によって日常生活の中での様々な時点で血圧情報をモニタリングし、モニタリングの結果に基づく健康予報をその都度フィードバックすることにより、今後も増え続ける高齢者の危険察知を行うことも可能となる。
このように、第1の実施形態に係る生体情報計測装置を利用することで、血圧変動を、簡便に、非接触的に測定することが可能となる。ここで、第1の実施形態に係る生体情報計測装置は、宅内に配置されるだけではなく、宅外のネットワーク上に配置されたサーバ装置上で同様の処理を行う場合であってもよい。例えば、宅内に設置されたカメラによって撮影された映像信号をネットワークを介してサーバ装置に送信し、映像信号を受信したサーバ装置が映像信号に対応する対象者の血圧変動を計測する場合であってもよい。また、ネットワーク上のサーバ装置が、各宅内に設置された生体情報計測装置から各個人の血圧情報を収集して、一元的に管理する場合であってもよい。この場合、サーバ装置は、各個人の血圧情報と行動情報とを関連付けてライフログ情報として収集、蓄積してもよい。そして、サーバ装置は、時系列で収集した膨大な生体情報とライフログ情報とを複数ユーザについて統合化したビッグデータを、クラウド上で一元管理する。
また、サーバ装置は、かかるビッグデータを解析することで、将来の疾病発症リスク、食事量、運動量、又は運動負荷に対する体の応答反応等を高度且つ詳細に分析してもよい。ひいては、疾病発症リスクや発作の予兆、自分の体質、ライフスタイルに最適な食事内容、運動、ライフスタイル、薬やサプリメントの選択等、理想像を目指した日々の生活の設計も可能になる。また、サーバ装置は、これらの情報を、ユーザにフィードバックするだけでなく医療機関にフィードバックすることもできる。医師は、サーバ装置からフィードバックされた解析の結果をもとに、例えば、ハイリスクな疾病発症予備軍を認識し、必要に応じ積極的にこれらの者にアクセスする。なお、対象者から送信された血圧情報は、対象者の身体の異常検知にも役立てられる。例えば、サーバ装置は、ハイリスクな疾病発症予備軍の対象者について日々送信される血圧情報を常時監視し、その中で異常を検知すると、直ちに医療機関等にフィードバックする。サーバ装置が、ビッグデータの解析の結果を医療機関や各種企業等に提供することで、様々なサービスへの利用や、新産業創出に貢献することができる。
以下、第1の実施形態に係る生体情報計測装置の詳細について説明する。なお、以下の実施形態では、宅内に配置された生体情報計測装置がネットワークを介して上述したサーバ装置であるPHR(Personal Health Record)装置と接続される場合を例に挙げて説明するが、実施形態はこれに限定されるものではなく、生体情報計測装置がネットワークに接続されずに用いられる場合であってもよい。
(第1の実施形態に係る生体情報計測装置の構成)
上述した『日常人間ドッグ』を実現するために用いられる、第1の実施形態に係る生体情報計測装置について説明する。図3は、第1の実施形態に係る生体情報計測装置100の構成の一例を示す機能ブロック図である。図3に示すように、生体情報計測装置100は、映像取得部110aと、出力部120aと、通信部130と、記憶部140と、制御部150と、照度センサ160と、照明部170とを備え、ネットワーク300を介して、PHR装置200、映像取得装置110b及び出力装置120bと接続される。なお、図3においては、生体情報計測装置100、PHR装置200、映像取得装置110b及び出力装置120bが1台ずつ示されているが、各装置が2台以上接続される場合であってもよい。
ネットワーク300は、LAN(Local Area Network)やWAN(Wide Area Network)などである。PHR装置200は、図3に示すように、通信部230と、記憶部240と、制御部250とを備え、日常的に非意識で収集されたPHRデータ(血圧情報など)をヘルスケアクラウド上で一元管理するサーバ装置である。ここで、PHRデータとは、各個人から収集されたセンシングデータ(血圧情報)を個人ごとにそれぞれ対応付けた情報である。すなわち、PHR装置200は、ネットワーク300を介して、複数の生体情報計測装置100から個人ごとの血圧情報を取得して管理する。また、ヘルスケアクラウドとは、PHR装置200、生体情報計測装置100、ネットワーク300などによって構成され、種々のユーザに対して『日常人間ドック』のサービスを提供するクラウドである。
PHR装置200における通信部230は、ネットワーク300を介して生体情報計測装置100、映像取得装置110b及び出力装置120bと有線通信或いは無線通信を行い、生体情報計測装置100によって収集された血圧情報や、映像取得装置110bによって取得された映像信号を受信したり、出力装置120bに対して出力情報を送信したりする。記憶部240は、PHRデータなどの種々の情報を記憶する。例えば、記憶部240は、生体情報計測装置100によって収集された血圧情報を対象者に対応付けて記憶する。また、生体情報計測装置100によって撮影された映像信号を対象者に対応付けて記憶する。すなわち、記憶部240は、ビッグデータを記憶するとともに、生体情報計測装置100の記憶部140と同様の情報を記憶することができる。
ここで、PHR装置200は、生体情報計測装置100によって収集された情報を管理するだけではなく、後述する生体情報計測装置100と同様の処理を行うこともできる。すなわち、PHR装置200は、生体情報計測装置100又は映像取得装置110bによって取得された対象者の映像信号を受信して、受信した映像信号を解析することで対象者の血圧情報を測定することができる。具体的には、PHR装置200の制御部250は、後述する生体情報計測装置100の制御部150と同様の処理を実行することで、映像信号から血圧の変動を測定する。記憶部240は、制御部250によって測定された血圧情報などを対象者に対応づけて記憶する。さらに、制御部250は、生体情報計測装置100や、出力装置120bからの出力情報の要求に応じて、記憶部240から情報を読み出し、読み出した情報を生体情報計測装置100や出力装置120bに送信するように制御する。
映像取得装置110bは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を搭載するカメラであり、R(red)、G(green)、B(blue)など3種以上の受光素子を搭載することができる。また、映像取得装置110bは、緑色LEDを搭載した反射型フォトセンサなどである。そして、映像取得装置110bは、対象者が生活する様々な場所に配置され、対象者の映像信号を取得し、取得した映像信号を、ネットワーク300を介して生体情報計測装置100や、PHR装置200に送信する。例えば、映像取得装置110bは、対象者の顔の映像信号と、対象者の顔の映像信号と同一時間の顔以外の部位の映像信号とを取得して、生体情報計測装置100や、PHR装置200に送信する。ここで、顔以外の部位は、血圧上昇時に末梢の細動脈が交感神経の支配をうけて末梢血管抵抗を上昇させる部位である。また、映像取得装置110bは、対象者の顔と顔以外の部位を同一映像で撮影するカメラであってもよく、或いは、対象者の顔と顔以外の部位とをそれぞれ撮影する異なるカメラであってもよい。
出力装置120bは、モニタなどの表示装置や、スピーカーなどの音声出力装置などである。そして、出力装置120bは、対象者が生活する様々な場所や、対象者の血圧情報を観察する家族や医師などに対して出力可能となる場所などに配置され、生体情報計測装置100や、PHR装置200から映像情報や音声情報などの出力情報を受信して、出力する。また、出力部120bは、液晶パネルなどの表示装置であり、入力部と組み合わされて形成され、入力部によって入力操作を受け付けるためのGUI(Graphical User Interface)を表示することもできる。なお、出力情報については、後に詳述する。
生体情報計測装置100は、カメラ付き携帯電話、スマートフォン、タブレット端末、カメラ付きPC(Personal Computer)などであり、対象者の映像信号を解析することで、血圧変動を測定する。なお、図3においては、生体情報計測装置100が映像取得部110aを備える場合を示しているが、実施形態はこれに限定されるものではなく、生体情報計測装置100が映像取得部110aを備えずに、映像取得装置110bから受信した映像信号を解析する場合であってもよい。この場合には、生体情報計測装置100は、カメラを備えていない携帯電話やPCであってもよい。また、図3においては、生体情報計測装置100が出力部120aを備える場合を示しているが、実施形態はこれに限定されるものではなく、生体情報計測装置100が出力部120aを備えずに、出力装置120bに対して出力情報を出力するように制御する場合であってもよい。この場合には、生体情報計測装置100は、モニタやスピーカーを備えていない情報処理装置であってもよい。
映像取得部110aは、CCDやCMOSなどの撮像素子を搭載するカメラであり、R、G、Bなど3種以上の受光素子を搭載することができる。例えば、映像取得部110aは、携帯電話やスマートフォン、タブレット端末、PCなどに搭載されたカメラである。なお、映像取得部110aは、携帯電話やスマートフォン、タブレット端末、PCなどに出荷時から搭載されているカメラに限らず、後に取り付けられたカメラであってもよい。そして、映像取得部110aは、対象者の映像信号を取得して、取得した映像信号を制御部150に送信する。例えば、映像取得部110aは、対象者の顔の映像信号と、対象者の顔の映像信号と同一時間の顔以外の部位の映像信号とを取得して、制御部150に送信する。ここで、顔以外の部位は、血圧上昇時に末梢の細動脈が交感神経の支配をうけて末梢血管抵抗を上昇させる部位である。また、映像取得部110aは、対象者の顔と顔以外の部位を同一映像で撮影するカメラであってもよく、或いは、対象者の顔と顔以外の部位とをそれぞれ撮影する異なるカメラであってもよい。
出力部120aは、モニタなどの表示装置や、スピーカーなどの音声出力装置などである。例えば、出力部120aは、携帯電話やスマートフォン、タブレット端末、PCなどのモニタやスピーカーなどである。そして、出力部120aは、映像情報や音声情報などの出力情報を出力する。また、出力部120aは、液晶パネルなどの表示装置であり、入力部と組み合わされて形成され、入力部によって入力操作を受け付けるためのGUIを表示することもできる。なお、出力情報については、後に詳述する。
通信部130は、ネットワーク300を介して映像取得装置110b、出力装置120b及びPHR装置200と有線通信或いは無線通信を行う。例えば、通信部130は、映像取得装置110bから対象者の映像信号を受信して制御部150に送信する。また、通信部130は、出力装置120bに対して出力情報を送信する。また、通信部130は、PHR装置200に対して映像信号や測定結果を送信したり、PHR装置200との間で出力情報を送受信したりする。
照度センサ160は、対象者の皮膚付近の照度を測定するセンサである。例えば、照度センサは、映像信号が取得される対象者の顔や、顔以外の部位における照度を測定し、測定結果を制御部150に送信する。照明部170は、対象者に対して光を照射する。例えば、照明部170は、LED(Light Emitting Diode)を使用した照明器具であり、制御部150による制御のもと、対象者に対して光を照射する。なお、対象者に対する光の照射の詳細については、後述する。
記憶部140は、図3に示すように、映像記憶部141と、計測結果記憶部142と、参照情報記憶部143とを備える。記憶部140は、例えば、ハードディスク、光ディスクなどの記憶装置、または、RAM(Random Access Memory)、フラッシュメモリなどの半導体メモリ素子であり、生体情報計測装置100によって実行される各種プログラムなどを記憶する。
映像記憶部141は、対象者の映像信号を記憶する。具体的には、映像記憶部141は、映像取得部110aや、映像取得装置110bによって取得された対象者の映像信号を記憶する。例えば、映像記憶部141は、対象者の顔の映像信号と、対象者の顔の映像信号と同一時間の顔以外の部位の映像信号とを記憶する。ここで、映像記憶部141によって記憶される映像は、同一映像の中に顔及び顔以外の部位の映像信号を含むものであってもよく、或いは、顔の映像と顔以外の部位の映像とがそれぞれ別の映像として撮影されたものであってもよい。なお、顔の映像と顔以外の部位の映像とが別々の場合、別々の映像の同一時間における輝度情報を比較可能にするために、映像記憶部141は、各映像を時間情報と対応づけて記憶する。
計測結果記憶部142は、後述する制御部150によって実行される計測処理の計測結果を記憶する。具体的には、計測結果記憶部142は、制御部150における計測部153によって計測された対象者の血圧の変動に関する情報を記憶する。例えば、計測結果記憶部142は、映像信号から算出されたPTTに相当する指標値を用いて計測された血圧変動の計測結果を記憶する。図4Aは、第1の実施形態に係る計測結果の一例を示す図である。例えば、計測結果記憶部142は、図4Aに示すように、計測日時と計測結果とを対応付けた計測情報を対象者ごとに記憶する。ここで、図4Aに示す「計測日時」とは、対象者の顔と顔以外の部位が撮影され、撮影された映像信号をもとに血圧の変動が計測された日時を示す。また、図4Aに示す「計測結果」とは、各計測日時において計測された項目の結果を示す。
ここで、計測される項目としては、例えば、図4Aに示すように、「基準値からの変動」、「基準値との差:最高値」、「基準値との差:最低値」及び「基準値までの時間(sec)」などが挙げられる。なお、「基準値からの変動」とは、ある指標値について、所定の基準値と比較して、現時点で上昇しているか、或いは、下降しているかを示す。また、「基準値との差:最高値」とは、ある指標値について、現時点で算出した値が所定の基準値と比較して上昇している場合に、上昇した値の最高値と所定の基準値との差を示す。また、「基準値との差:最低値」とは、ある指標値について、現時点で算出した値が所定の基準値と比較して下降している場合に、下降した値の最低値と所定の基準値との差を示す。また、「基準値までの時間(sec)」とは、ある指標値について、現時点で算出した値が変動している場合に、所定の基準値に戻るまでの時間を示す。なお、上述した所定の基準値は、対象者ごとに設定された値を用いる場合であってもよく、或いは、一般的な値を用いる場合であってもよい。所定の基準値が対象者ごとに設定される場合には、例えば、対象者ごとに血圧値を装置で計測しながら、映像信号から指標値を算出し、血圧が安定している際の指標値の平均値を用いてもよい。
なお、上述した所定の基準値や指標値は、血圧の絶対値ではなく、血圧の変動と相関関係にあるPTTに相当する指標値である。すなわち、上述した所定の基準値とは、基準となる血圧値に対応する指標値である。例えば、計測結果記憶部142は、図4Aに示すように、「計測日時:201501010715」の計測結果として「基準値からの変動:下降、基準値との差:最低値:0.1、基準値までの時間(sec):50」を記憶する。すなわち、上述した情報は、「2015年1月1日7時15分」に算出された指標値が、所定の基準値から「下降」した値をとり、基準値と最低値との差が「0.1」であり、下降した値が基準値に戻るまでに要した時間が「50(sec)」であることを示す。
同様に、計測結果記憶部142は、同一の対象者の「計測日時:201501011026」における計測結果として「基準値からの変動:上昇、基準値との差:最高値:0.16、基準値までの時間(sec):63」を記憶する。このように、計測結果記憶部142は、血圧変動が計測されるごとに、算出された指標値の結果を記憶する。なお、図4Aにおいては、単一の指標値に関する結果を記憶する場合について示しているが、実施形態はこれに限定されるものではなく、同一の映像信号から複数の指標値が算出され、複数の指標値それぞれに関する結果を記憶する場合であってもよい。
図3に戻って、参照情報記憶部143は、後述する制御部150によって実行される計測処理にて参照される参照情報を記憶する。具体的には、参照情報記憶部143は、計測部153が対象者の血圧変動に関する情報を計測する際に参照される参照情報を記憶する。図4Bは、第1の実施形態に係る参照情報の一例を示す図である。例えば、参照情報記憶部143は、図4Bに示すように、「参照情報」に「dPTT」及び「PD」を対応付けた情報を記憶する。ここで、「参照情報」とは、計測部153が血圧変動を計測する際に参照する情報を示し、例えば、図4Bに示すように、「血圧値変換情報(20150101更新)」や、「補正情報(温度)」、「補正情報(湿度)」などが挙げられる。また、「dPTT」は、脈波伝播時間差(difference of pulse transit time)であり、顔及び顔以外の映像信号中の緑色光の輝度値における所定の特徴点間の時間差である。また、「PD」は、瞬時位相差(phase difference)であり、顔及び顔以外の映像信号中の緑色光の輝度値の位相差である。なお、「血圧値変換情報」とは、指標値を血圧の絶対値に変換するための情報である。また、「補正情報(温度)」とは、算出した指標値又は基準値に対して、温度に応じた補正を行うための情報であり、「補正情報(湿度)」とは、算出した指標値又は基準値に対して、湿度に応じた補正を行うための情報である。
上述したように、計測部153によって計測される血圧変動の測定結果は、血圧の絶対値に基づくものではなく、指標値に基づくものである。そこで、参照情報記憶部143が指標値を血圧の絶対値に変換するための変換情報を記憶しておくことで、計測部153が変換情報を用いて指標値を血圧値に変換することが可能となる。例えば、映像信号を取得した時点の血圧値をオシロメトリック式血圧計や連続血圧計によって測定しておき、映像信号をもとに算出される指標値との血圧値との対応関係から変換情報(例えば、変換係数など)が算出されて、参照情報記憶部143に格納される。ここで、変換情報は、定期的に更新されてもよい。
また、図4Bに示す「dPTT」及び「PD」は、映像信号から算出されたPTTに相当する指標値である。第1の実施形態に係る生体情報計測装置100は、上述した「dPTT」又は「PD」により対象者の血圧変動を計測する。ここで、生体情報計測装置100においては、指標値ごとの参照情報を参照することで、血圧の絶対値を算出したり、温度や湿度に応じた補正を行ったりすることができる。なお、「dPTT」又は「PD」を用いた対象者の血圧変動の計測については、後に詳述する。
図3に戻って、制御部150は、皮膚領域抽出部151と、算出部152と、計測部153と、出力制御部154と、フィードバック制御部155とを備える。制御部150は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などの電子回路やASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路であり、生体情報計測装置100の全体制御を実行する。
制御部150は、上述した各部の処理により、対象者の顔及び顔以外の部位の映像信号から脈波情報を抽出してPTTに相当する指標値を算出し、算出した指標値の変動から血圧の変動を推定する。ここで、まず、脈波伝播時間(PTT)を用いた血圧変動の推定の原理と定義について説明する。PTTは、脈波が大動脈から末梢方向へ伝播していく際に、ある基準点から別の測定点までに到達するのに要する時間のことである。図5は、第1の実施形態に係る脈波伝播時間の定義を示す図である。ここで、図5においては、縦軸に「Amplitude(振幅)」を示し、横軸に「Time(時間)」を示すグラフに「ECG(electrocardiogram:心電図)」と「PPG(photoplethysmography:光電容積脈波)」の各波形を示す。
例えば、PTTは、図5に示すように、一般的には心電図の「R-wave Peak(R波)」を基準として、末梢側で測定された脈波波形の特徴点までの時間差として定義される。そして、PTTと血圧との間には負の相関があることが知られている。例えば、脈波が血管内を伝播する速度「v」は血管の内径と血管壁の硬さに依存し、解析的な関係式は、以下の式(1)で示される「Moens-Korteweg」の式によって表される。
ここで、式(1)における「g」は重力定数を示し、「E」は血管のヤング率を示し、「ρ」は血液の比重を示し、「h」は血管壁厚を示し、「d」は血管の直径を示す。血圧が上昇すると、式(1)における血管壁厚「h」が減少し、血管の直径「d」が増加するので、速度「v」は減少するように思われるが、血管のヤング率「E」は以下の式(2)で表されるように、血圧「P」に対して指数関数的に変化し、この影響が形状変化の影響を上回る。そのため、血圧が上昇すると、脈波が伝播する速度「v」は、実際には増加することとなる。すなわち、血圧が上昇すると脈波が伝播する時間が短くなる。ここで、式(2)における「E0」は「P=0」におけるヤング率を示す。また、式(2)における「γ」は血管に依存する定数を示し、その値の範囲は「0.016 mmHg-1」から「0.018 mmHg-1」である。
脈波伝播時間を「T」とおき、血管経路長さを「L」とすると、脈波伝播時間は、以下の式(3)のように表すことができる。
ここで、式(1)と式(2)を式(3)に代入して両辺を2乗することで以下の式(4)及び式(5)を得る。
さらに、式(5)の対数をとることで、血圧「P」を示す以下の式(6)を得ることができる。
ここで、式(6)における血圧「P」の変化に対して、血管壁厚「h」及び血管の直径「d」の変化が小さく、「E0」の変化が十分に遅いとすると、式(6)における右辺第1項は無視することができるため、式(6)を脈波伝播時間「T」で微分すると、以下の式(7)となる。
すなわち、血圧「P」の変動分「ΔP」が、脈波伝播時間の変動分「ΔT」で示された式(7)となる。このように、血圧「P」の変動分「ΔP」が脈波伝播時間の変動分「ΔT」で示されたことから、脈波伝播時間「T」を用いることで、血圧の変動を推定することができることがわかる。
第1の実施形態に係る生体情報計測装置100は、上述した原理のもと、映像信号の緑色光の輝度値を脈波とし、脈波伝播時間「PTT」の変動を計測することで、血圧の変動を計測する。ここで、上述したように、「PTT」は、ある基準点から別の測定点までに到達するのに要する時間であり、一般的に心電図の「R波」を基準として、末梢側で測定された脈波波形の特徴点までの時間差として定義される。しかしながら、心電図を取得するためには装置を用いることになるため、心電図を用いた「PTT」によって血圧変動を計測する場合、非接触的に測定することができない。そこで、第1の実施形態では、血圧変動を、簡便に、非接触的に測定するために、心電図を用いることなく、上述した「PTT」に相当する指標値によって血圧変動を計測する。
具体的には、第1の実施形態に係る生体情報計測装置100は、対象者の顔及び顔以外の映像信号中の緑色光の輝度値の位相差である「PD」、又は、対象者の顔及び顔以外の映像信号中の緑色光の輝度値における所定の特徴点間の時間差である「dPTT」の変動を計測することによって血圧の変動を計測する。以下、生体情報計測装置100による処理について、映像信号から脈波情報を抽出する処理、及び、抽出した脈波情報から「PD」及び「dPTT」を算出する処理を順に説明する。
図3に戻って、制御部150における皮膚領域抽出部151は、映像取得部110a又は映像取得装置110bによって取得された映像に含まれる対象者の皮膚領域を抽出する。具体的には、皮膚領域抽出部151は、映像中の色情報に基づいて皮膚領域を自動で抽出する。或いは、皮膚領域抽出部151は、図示しない入力部を介して操作者から指定された領域を皮膚領域として抽出する。以下、これらの処理の詳細について順に説明する。なお、皮膚領域抽出部151の処理対象となる映像は、映像取得部110a又は映像取得装置110bによって取得されたリアルタイムの映像であってもよく、映像記憶部141によって記憶された過去の映像であってもよい。
まず、映像中の色情報に基づいて皮膚領域を自動で抽出する場合について、図6Aを用いて説明する。図6Aは、第1の実施形態に係る皮膚領域の自動抽出を説明するための図である。例えば、皮膚領域抽出部151は、図6Aに示すように、映像中から肌の色を示す領域を抽出することによって対象者の皮膚領域を抽出する。すなわち、皮膚領域抽出部151は、映像の2次元座標において肌の色に相当する色(輝度値)を示すすべての座標(画素の座標)を抽出し、抽出した座標において連続した座標の画素をまとめた領域を皮膚領域として抽出する。ここで、皮膚領域抽出部151は、連続していない座標の画素を異なる領域の座標としてまとめることで、複数の部位に相当する皮膚領域をそれぞれ抽出する。
一例を挙げると、皮膚領域抽出部151は、図6Aに示す映像において、肌の色(輝度値)を示す手の部分の座標と、顔の部分の座標とを抽出する。そして、皮膚領域抽出部151は、抽出した座標において連続した座標の画素をまとめて皮膚領域として抽出する。ここで、皮膚領域抽出部151は、手の部分の座標と、顔の部分の座標とが連続していないことから、手の部分から抽出した座標と、顔の部分から抽出した座標とをそれぞれ異なる部位の皮膚領域の座標としてまとめて抽出する。さらに、皮膚領域抽出部151は、例えば、図6Aに示す映像に対して顔認識処理を行うことで、対象者の顔領域の画素の座標を抽出する。そして、皮膚領域抽出部151は、抽出した皮膚領域において、抽出した顔領域の座標を含む領域を顔の皮膚領域として判定する。
このように、皮膚領域抽出部151は、映像に含まれる対象者の顔の皮膚領域の座標と、顔以外の皮膚領域の座標とをそれぞれ抽出し、抽出した各皮膚領域の座標を算出部152に送信する。なお、肌の色に相当する色(輝度値)については、任意に設定することができる。例えば、人種ごとに所定の範囲の輝度値を設定し、映像において設定された範囲に含まれる輝度値を示す座標を肌の色の座標として抽出するように設定することも可能である。
次に、操作者から指定された領域を皮膚領域として設定する場合について、図6Bを用いて説明する。図6Bは、第1の実施形態に係る皮膚領域の手動抽出を説明するための図である。例えば、操作者は、図6Bに示すように、マウスやタッチパネルなどの入力部を操作して、映像中に「右手掌」の領域、「顔面前部全体」の領域、「顔面額」の領域、「顔面左頬」の領域、及び、「首前部」の領域を関心領域(ROI:region of interest)として設定することができる。皮膚領域抽出部151は、図6Bに示すように、関心領域が設定されると、設定された領域の座標を抽出して、各領域の座標を算出部152に送信する。ここで、各領域が顔の領域であるか、或いは、顔以外の領域であるかについては、操作者から指定される場合であってもよく、上述した顔認識処理を実行する場合であってもよい。
すなわち、操作者が、設定した5つの関心領域のうち、「顔面前部全体」の領域、「顔面額」の領域及び「顔面左頬」の領域を顔の領域として指定し、「右手掌」の領域及び「首前部」の領域を顔以外の領域として指定する。これにより、皮膚領域抽出部151は、各関心領域が顔の領域であるか又は顔以外の領域であるかを識別することができる。また、上述した指定が実行されなかった場合、皮膚領域抽出部151は、上述したように、映像に対して顔認識処理を行うことで、対象者の顔領域の座標を抽出し、設定された関心領域において、抽出した顔領域の座標を含む領域を顔の皮膚領域として抽出する。
皮膚領域抽出部151は、上述した皮膚領域の抽出処理を、映像を構成する各フレームについてそれぞれ実行して、各フレームにおける皮膚領域の座標を算出部152に順次送信する。なお、関心領域が設定される場合、皮膚領域抽出部151は、関心領域が設定されたフレームから以降のフレームについて、映像中の特徴点を用いたトラッキング処理によりフレームごとの関心領域の座標をトラッキングして、トラッキングした結果の座標を算出部152に順次送信する。
なお、関心領域が手動で設定される場合、目鼻や毛髪を極力含まず、皮膚領域がROI内を多く占めるようにし、影となっている部分も避けるようにすることが望ましい。また、皮膚領域抽出部151は、手動で設定されたROI内から肌の色に相当する輝度値の画素を抽出して、抽出した画素をまとめた領域を関心領域として設定することができる。すなわち、手動でROIが設定され、設定されたROI内に目や毛髪などが含まれていた場合にも、それらに対応する画素を除いた領域を皮膚領域として設定することができる。
図3に戻って、算出部152は、対象者の顔の映像信号の輝度情報と、対象者の顔の映像信号と同一時間の顔以外の部位の映像信号の輝度情報との差分を算出する。具体的には、算出部152は、対象者の顔及び顔以外の部位の映像信号に含まれる緑色光の輝度値をそれぞれ抽出し、抽出した各映像信号中の緑色光の輝度値における所定の特徴点間の時間差(dPTT)、又は、各映像信号中の緑色光の輝度値の位相差(PD)を算出する。
ここで、算出部152は、映像信号から緑色光の抽出を行う前に、まず、画像の平滑化を行い、映像取得部110a又は映像取得装置110bとしてのカメラ自体に発生する人工的なインパルス性雑音を除去する。例えば、算出部152は、フレームごとの画像全体に5×5ピクセルのメディアンフィルタをかける。その後、算出部152は、メディアンフィルタをかけたのちの各フレームについて、皮膚領域抽出部151によって抽出された皮膚領域における緑色光を抽出する。
上述したように、映像の各フレームの各画素には「R(赤色)」、「G(緑色)」、「B(青色)」の3つの輝度値が保存されており、この輝度値の組み合わせによってその画素の色が表現されている。そこで、算出部152は、まず、各フレームの皮膚領域(顔の皮膚領域及び顔以外の皮膚領域)に対して緑色のフィルタをかけるか、あるいは「G(緑色)」の輝度値を利用して、血中ヘモグロビンに対して強い吸光特性を有する緑色光の輝度値のみを抽出する。そして、算出部152は、顔の皮膚領域及び顔以外の皮膚領域について、緑色光の輝度値の平均値をフレームごとに算出して時間変化曲線とした緑信号を抽出する。図7は、第1の実施形態に係る緑信号の抽出を説明するための図である。図7においては、上段に映像に含まれる複数のフレームの模式図を示し、中段に縦軸を「Average Luminance(輝度平均値)」とし、横軸を「Frame No.(フレーム番号)」とした、緑色光の輝度平均値のグラフを示す。また、図7においては、下段に縦軸を「Average Green Luminance(緑色輝度平均値)」とし、横軸を「Time [s](時間)」とした、緑信号の一例を示す。
例えば、算出部152は、図7の上段の図に示すように、映像を構成する複数のフレームそれぞれに対して緑色のフィルタをかけるか、あるいは「G(緑色)」の輝度値を利用して、皮膚領域における緑色光の輝度値を抽出する。そして、算出部152は、各フレームについて、抽出した緑色光の輝度値の平均値を算出することで、図7の中段の図に示すように、緑色の輝度平均値のグラフを抽出する。算出部152は、映像中の各フレームに対して上述した処理を実行することで、図7の下段に示すような「緑信号」を抽出する。算出部152は、皮膚領域抽出部151によって抽出された皮膚領域それぞれについて「緑信号」を抽出する。具体的には、算出部152は、顔の皮膚領域(顔に設定された関心領域)及び顔以外の部位の皮膚領域(顔以外の部位に設定された関心領域)について、それぞれ「緑信号」を抽出する。
続いて、算出部152は、抽出した各皮膚領域の「緑信号」に対してそれぞれ心拍周波数帯域のみを通過させるバンドパスフィルタ処理を施すことによって、各皮膚領域における脈波信号を抽出する。すなわち、緑信号には体動や呼吸性変動などが含まれているため、算出部152は、これらを除くためのフィルタ処理を行う。例えば、算出部152は、「0.7−2.0 Hz」の周波数帯を通過する次数「5」のバタワースフィルタを使用することで、心拍成分以外の信号成分を除去する。これは健常者の心拍数変動の範囲である、「40−120 bpm」の成分と一致するものである。なお、本実施形態では、心拍周波数帯域のみを通過させるバンドパスフィルタとして、バタワースフィルタを用いる場合を例に挙げたが、実施形態はこれに限定されるものではなく、心拍周波数帯域のみを通過させることができるフィルタであれば、どのようなバンドパスフィルタが用いられる場合であってもよい。
図8は、第1の実施形態に係る脈波信号の抽出を説明するための図である。図8においては、図7の下段に示す「緑信号」から脈波を抽出する場合を示す。また、図8の下段においては、縦軸を「Amplitude(振幅)」とし、横軸を「Time [s](時間)」とした脈波信号を示す。ここで、第1の実施形態においては、光電容積脈波計などの装置によって計測された脈波「PPG」と区別するために、映像信号から抽出した脈波を図8に示すように「映像脈波(iPPG;image-based photoplethysmography)」と記す。例えば、算出部152は、図8に示すように、「緑信号」にフィルタ処理を施すことで、「映像脈波(iPPG)」を抽出する。図8に示すように、抽出される「映像脈波」は、正弦波状の周期的な波形となっており、心臓の1拍動によって生じる脈波がフィルタ処理後の波形の1つの山として現れる。
なお、第1の実施形態においては、原理的に血流増大時に緑信号は減少することになる。そこで、算出部152は、血流の増減と緑信号の増減とを一致させるために、緑信号に「−1」を乗算して正負反転させた後に、上述したフィルタ処理を施すことも可能である。図8に示す映像脈波は、正負反転させた波形を示す。
上述したように、算出部152は、顔の映像信号の緑色光の輝度情報から顔における映像脈波を抽出し、顔以外の部位の映像信号の緑色光の輝度情報から顔以外の部位における映像脈波を抽出する。そして、算出部152は、抽出した各映像脈波を用いて、ECGのR波を用いた「PTT」に相当する指標値「dPTT」及び「PD」を算出する。以下では、まず、「dPTT」の算出について説明した後に、「PD」の算出について説明する。
血圧変動と相関がある「PTT」は、一般的にECGのR波とPPGの特徴点の時間差で定義されるが、「PTT」は心臓から拍出された脈波の伝播時間であるため、伝播路となる血管において心臓に近い部位と心臓から離れた部位の2か所で測定した脈波波形を用いることでも定義することができる。すなわち、心臓に近い部位で測定された脈波波形と心臓から離れた部位に測定された脈波波形との伝播時間差を脈波の伝播時間と定義することができる。そこで、第1の実施形態では、顔の映像信号から抽出された脈波波形(iPPG)の特徴点と、顔以外の部位の映像信号から抽出された脈波波形(iPPG)の特徴点との時間差を「PTT」に相当する指標値「dPTT:脈波伝播時間差」として用いる。
ここで、脈波波形の特徴点については、明確な定義がなされておらず、複数の決定方法が存在する。例えば、拍内において「PPG」の値が最小となる点を特徴点とする「ボトム法」、拍内において「PPG」の値が最大となる点を特徴点とする「トップ法」、拍内において速度脈波(PPGの1階微分波形)が最大となる点を特徴点とする「1次微分法」、及び、拍内において加速度脈波(PPGの2階微分波形)が最大となる点を特徴点とする「2次微分法」などが挙げられる。算出部152は、上記した方法を含む任意の方法によって特徴点を決定することができる。なお、上述した方法においては、「2次微分法」が他の方法に比べて耐雑音性が高い傾向にあるため、「2次微分法」がデフォルトで設定されている場合であってもよい。
算出部152は、上述した方法によって脈波波形における特徴点を決定することによって、図9に示すように、「dPTT」を定義して、映像信号から抽出した映像脈波から「dPTT」を算出することができる。図9は、第1の実施形態に係る脈波伝播時間差の定義を示す図である。ここで、図9においては、図中左側に脈波伝播時間「PTT」の定義を示し、図中右側に脈波伝播時間差「dPTT」の定義を示す。すなわち、第1の実施形態においては、心電図のR波から脈波Aにおける特徴点までの時間を示す「PTT」に相当する指標値として、脈波Aにおける特徴点と脈波Bにおける同一の特徴点との時間差を「dPTT」として用いる。
例えば、算出部152は、顔の映像信号から抽出した映像脈波「iPPG」と、顔以外の部位の映像信号から抽出した映像脈波「iPPG」とから2次微分法によってそれぞれ特徴点を検出し、検出した特徴点間の時間差「dPTT」を算出する。算出部152は、正弦波状の周期的な波形を示す映像脈波において、心臓の1拍動に対応する1つの山ごとに「dPTT」を算出することで、「dPTT」を経時的に算出する。
次に、「PD」の算出について説明する。上述したように、第1の実施形態では「PTT」に相当する指標値として「dPTT」を算出するが、「dPTT」を用いる場合、特徴点の時刻検出の精度が血圧変動の推定に大きく影響する。特に、「iPPG」は周波数帯域が心拍動に起因する体動による雑音と近く、さらには、皮膚での輝度変化が人間の目には見えないほどの微小な変化であるために、特徴点の位置は雑音によって大きく変動する。その上、特徴点の決定にはどれが最適だという結論には至っておらず、特徴点の決定手法によっては高いサンプリング周波数が必要となるなど、「iPPG」に対して用いるのに適さない場合もある。そこで、第1の実施形態では、特徴点の検出をすることなしに、異なる2つのROIにおける「iPPG」の位相差から「PTT」に相当する「PD」を算出する。
ここで、算出部152は、2つの脈波信号(顔の映像信号から抽出した映像脈波信号及び顔以外の部位の映像信号から抽出した映像脈波信号)の位相差を算出するために、まず、以下で説明するヒルベルト変換を用いた瞬時位相を算出する。時刻「t」における「iPPG」のヒルベルト変換「H[iPPG(t)]」は時間軸では以下の式(8)によって示される。
ここで、式(8)における「*」はコンボリュージョンを示す。式(8)における「1/πt」をフーリエ変換すると「-jsgn(f)」となることから、「H[iPPG(t)]」のフーリエ変換「F[H[iPPG(t)]]」は以下の式(9)のように示される。
すなわち、ヒルベルト変換は、「iPPG(t)」の正負の周波数成分に対してそれぞれ「90°」 遅らせる、もしくは進める操作である。これによって、「cos」成分は「-sin」成分になり、「sin」成分は「cos」成分になる。
「iPPG(t)」のヒルベルト変換「H[iPPG(t)]」は「iPPG(t)」より位相が「90°」進んでいるので、瞬時位相「θ(t)」は以下の式(10)のように示される。
算出部152は、上述したヒルベルト変換によって2つの脈波信号の瞬時位相をそれぞれ算出すると、この2つの瞬時位相の差を「PTT」に相当する指標値「PD」として算出する。例えば、異なる2つ領域(顔の領域及び顔以外の領域)から得られる「iPPG」を「iPPG1(t)」、「iPPG2(t)」とすると、上述した式(10)によって、各「iPPG」の瞬時位相「θ1(t)」及び「θ2(t)」が得られる。このとき、より心臓に近い位置で測定された方を「iPPG1(t)」とすると、脈波は心臓に近い位置から順に伝播していくため、瞬時位相「θ1(t)」は、瞬時位相「θ2(t)」よりも進んでいると考えられる。従って、この2つの瞬時位相の差「PD」は、2か所の異なるROIの脈波が伝播する時間差を反映していると考えられるため、ほぼ「PTT」と等価であると考えられ、以下の式(11)によって算出される。このように、算出部152は、脈波の瞬時位相を用いることで、1拍につき1点の位相情報を対象とするのではなく、1拍波形全体の情報を対象として位相差を算出する。
図10は、第1の実施形態に係る瞬時位相差の算出の一例を示す図である。ここで、図10においては、「映像脈波(iPPG)」から「瞬時位相(θ)」を算出し、「瞬時位相(θ)」から「瞬時位相差(PD)」を算出する一連の処理を模式的に示す。すなわち、図10においては、上段に縦軸を「Amplitude(振幅)」とし、横軸を「Time [s](時間)」とした「映像脈波(iPPG)」を示し、中段に縦軸を「Phase [rad](位相)」とし、横軸を「Time [s](時間)」とした「瞬時位相(θ)」を示し、下段に縦軸を「Phase difference [rad](位相差)」とし、横軸を「Time [s](時間)」とした「瞬時位相差(PD)」を示す。
例えば、算出部152は、図10に示すように、顔の映像信号から抽出した映像脈波「iPPG1」と、顔以外の部位(例えば、手など)の映像信号から抽出した映像脈波「iPPG2」とから、それぞれ瞬時位相1「θ1」及び瞬時位相2「θ2」を算出する。ここで、図10の中段に示す瞬時位相は、(−π,π)の範囲で折り返したものを示す。そして、算出部152は、上述した式(11)を用いて、瞬時位相1「θ1」と瞬時位相2「θ2」との差分をとることで、図10に示すように、瞬時位相差「PD」を算出する。
図3に戻って、計測部153は、算出部152によって算出された差分の増減に応じた対象者の血圧の変動を計測する。具体的には、計測部153は、算出部152によって算出された脈波伝播時間差「dPTT」又は瞬時位相差「PD」の増減に応じた対象者の血圧の変動を計測する。ここで、計測部153は、差分(「dPTT」又は「PD」)の増加を血圧の上昇変動として計測し、差分の減少を血圧の下降変動として計測する。すなわち、計測部153は、「dPTT」又は「PD」が増加している場合、血圧が上がっていると判定し、「dPTT」又は「PD」が減少している場合、血圧が下がっていると判定する。
上述したように、従来の知見においては、血圧変動と「PTT」の変動とは負の相関関係があることが分かっている。すなわち、仮に、従来の知見をそのまま用いて血圧の変動を推定すると、「dPTT」又は「PD」が増加している場合には、血圧が下がっていることを意味し、「dPTT」又は「PD」が減少している場合には、血圧が上がっていることを意味する。しかしながら、第1の実施形態に係る生体情報計測装置100においては、それとは逆の相関(すなわち、正の相関関係)を利用して血圧の変動を推定する。以下、実際の実験結果及び第1の実施形態の原理について説明する。
(実験方法)
被験者は「22.8±1.1」歳の健常成人男性20名であり、1被験者につき、1回の実験を行った。被験者には安静座位を保ってもらい、5分間の測定を行った。生体信号用の心電・脈波計測アンプならびにセンサを用いて、被験者の胸部に貼った電極(メッツ社製 心電図用電極 ブルーセンサー) からECG波形を、左手人差し指に装着した光電容積脈波センサ(Envitec 社製 Nellcor DS-100A)からPPGを測定した。さらに、被験者の左手中指に連続血圧計(Finapres Medical Systems 社製 Portapres)を取り付けて血圧を測定した。各測定信号は「16−bit」A/Dコンバーター(BIOPAC社製 MP150)を用いてサンプリング周波数「1kHz」で記録を行った。
生体信号と同時にビデオカメラを用いて身体映像を撮影した。撮影には産業用ビデオカメラ(Baumer社製 TGX02c)を用いた。最大で「140fps」のフレームレートで撮影できること、記録時に時間方向の圧縮処理がかからないことが利点として挙げられるため、このカメラを選定した。図6Bに示すように、顔全体と首、右手の掌を含むように画角を設定した。顔と右手を固定するための枠台および、右腕のひじを乗せる台を設け、掌がカメラの方を向くようにして顔の右側に右手を並べてもらった。ビデオカメラと顔の距離は約 「100cm」である。今回用いたビデオカメラについて、本実験での設定を以下に示す。なお、撮影開始直後はカメラの自動露出調節などが入るため、開始後5秒間は解析の対象外とした。
ビデオカメラの設定は以下の通りである。
「画素数:440×400pixel」
「フレームレート:120fps」
「カラー:24-bit RGB(3channels×8bits/channel)」
「保存形式:無圧縮avi形式」
「記録時間:305s(5分05秒)」
カメラの脇には顔と手を照らすように、白色の直流LEDのライト(ハタヤリミテッド社製 LWK-10)を設置した。蛍光灯等の交流電源駆動の照明では映像に商用周波数のノイズが生じることを考慮して、実験環境の照明はこの直流LEDのみとした。顔、手の位置での照度は「1000lux」である。
本実験では意図的に血圧を変化させ、その変化を「iPPG」信号から抽出することが可能であるかどうかの検証を行う。今回は血圧を上昇させる負荷として、呼吸停止試験を行った。安静1分、息とめ1分、安静3分の順で、連続して合計5分間の実験を行った。安静時は自由呼吸とし、呼吸統制などは行わなかったが、せきなどの急激な肺内圧や呼吸パターンが変化する行動は極力控えてもらった。また、息とめ10秒前から被験者が口頭でカウントダウンを行い、息を吸い切った状態で止めるように指示を与え、息とめ方法の統一を図った。被験者によっては息とめが1分間持続しない者もいたため、1分に満たなくても被験者本人が限界だと感じた時点で自由呼吸に移行するように指示した。
(解析方法)
比較対象として従来の方法による「PTT」を用いるため、記録されたECG信号からR波の検出を行った。また、指尖に装着したセンサで測定した近赤外光の光電容積脈波(infrared photoplethysmography:irPPG)に対して通過帯域「10Hz」以下の5次バタワース低域通過フィルタを施した。フィルタ処理後の「irPPG」波形、および、図6Bで示した5箇所のROIから得られたそれぞれ の「iPPG」波形について、1拍毎に2階微分最大点を検出し、これらを「PTT」および「dPTT」算出のための特徴点とする。このR波と「irPPG」、「iPPG」の特徴点を用いて、それぞれの組み合わせの脈波伝播時間「PTT」を算出した。また、脈波伝播時間差「dPTT」、瞬時位相差「PD」を算出するための「iPPG」の組み合わせについては後述する。
連続血圧波形からは、1拍毎における最大値(収縮期血圧;systolic blood pressure:SBP [mmHg])、最小値(拡張期血圧;diastolic blood pressure:DBP [mmHg])、平均値(平均血圧;mean blood pressure:MBP [mmHg])をそれぞれ算出した。各被験者の「irPPG」、及び、各「iPPG」信号から得られた「PTT」、「dPTT」、「PD」それぞれに対して、連続血圧計による血圧値との相関を確認した。各信号はスプライン補間によって「2Hz」にリサンプリングした後に両者の類似性を評価するための相関係数「r」を求めた。なお、相関係数「r」は、以下の式(12)で表される。
ここで、式(12)における「n」はサンプル数を示し、「xi」は血圧を示し、「xバーは、「xi」の平均値を示し、「yi」は各「PTT」を示し、「yバー」は「yi」の平均値を示す。今回の実験目的は1拍毎の正確な血圧を推定することではなく、負荷による血圧の短時間急変動を検知することである。したがって、血管運動性の血圧変動よりも低い周波数成分の相関を確認するため、「SBP」、「PTT」、「dPTT」、「PD」の各信号に対して時間方向に「fc=0.04Hz」低域通過フィルタリングを行った。
(実験結果)
以下、上述した実験の結果を示す。まず、心電図のR波と各ROIの映像脈波間における脈波伝播時間に関する解析結果について、図11A〜図12Bを用いて説明する。図11Aは、第1の実施形態に係る代表的な被験者の各部位におけるPTTの変動を示す図である。ここで、図11Aにおいては、縦軸をPTTとし、横軸を時間としたPTTの変動グラフを示す。また、図11Aにおいては、ECGのR波を基準として、指尖に装着したセンサで測定したirPPG(指尖)の特徴点から算出したPTTの変動と、図6Bに示す顔面左頬(図中の「頬」)の映像信号から抽出したiPPG(頬)の特徴点から算出したPTTの変動と、図6Bに示す顔面額(図中の「額」)の映像信号から抽出したiPPG(額)の特徴点から算出したPTTの変動と、図6Bに示す右手掌(図中の「手」)の映像信号から抽出したiPPG(手)の特徴点から算出したPTTの変動と、図6Bに示す顔面前部全体(図中の「顔」)の映像信号から抽出したiPPG(顔)の特徴点から算出したPTTの変動と、図6Bに示す首前部(図中の「首」)の映像信号から抽出したiPPG(首)の特徴点から算出したPTTの変動とを示す。
上述したように、PTTは、ECGのR波からPPGの特徴点までの時間によって算出されるため、拍動がより遅く到達していればPTTはより大きくなる。ここで、図11Aに示すように、各部位のiPPGについては心臓からの距離をそのまま反映しており、「頬」、「顔」、「額」、「指尖」の順に値が大きくなっていることが確認できる。したがって、iPPG波形を用いて末梢に向かって伝播している脈波を取得することによって、PTTを算出することができると言える。ただし、iPPG(手)のPTTは他領域と比較して、特異な変動を示している。また、iPPG(首)は体動等のノイズが多く含まれ、PTT算出のための特徴点検出が困難であった。また、iPPG(首)はすべての被験者でPTTを正確に算出できなかったため、この先の解析からは除く。
図11Bは、第1の実施形態に係る全被験者の各部位におけるPTTの平均値及び標準偏差を示す図である。ここで、図11Bにおいては、縦軸をPTTとし、横方向に各部位のPTTの平均値と標準偏差のグラフを並べた図を示す。なお、iPPG(首)については、上述したようにノイズが大きかったため計算対象から除外している。各部位におけるPTTの平均値は、図11Bに示すように、iPPG(頬)が最も小さく、irPPG(指尖)が最も大きくなっており、心臓からの距離を考えると妥当な結果であると言える。しかしながら、心臓からの距離が顔面よりも離れているiPPG(手)から算出されたPTTは、顔面領域のPTTと同程度であった。
図12Aは、第1の実施形態に係る代表的な被験者のSBPと各部位におけるPTTの変動を示す図である。ここで、図12Aにおいては、図11Aにおける被験者とは異なる他の代表的な被験者について示す。また、図12Aにおいては、縦軸をPTTとし、横軸を時間とした各部位におけるPTTの変動グラフを下段に示し、縦軸をSBPとし、横軸を時間としたSBPの変動グラフを上段に示す。ここで、SBPの変動グラフとPTTの変動グラフとは横軸を一致させており、同一時間におけるSBPの変動とPTTの変動とを比較可能としている。まず、収縮期血圧であるSBPは、図12Aに示すように、呼吸停止時に急上昇を示していることがわかる。また、SBPの増加に伴って、irPPG(指尖)、iPPG(頬、額、顔)それぞれのPTTは減少しているが、iPPG(手)のPTTは増加していることが確認できる。
図12Bは、第1の実施形態に係る全被験者のSBPと各部位におけるPTTの相関係数の平均値と標準偏差を示す図である。図12Bにおいては、縦軸をSBPとの相関係数とし、横方向に各部位における相関係数の平均値と標準偏差のグラフを並べた図を示す。図12Bに示すように、SBPと各部位におけるPTTとの相関係数は、平均値に対して標準偏差が大きいことから、個人差が大きい結果であることがわかる。ここで、PTTと血圧との間には負の相関があることが知られているため、相関係数は全て負の値となることが期待されたが、実際には、図12Bに示すように、iPPG(頬、額、顔)のPTTとの相関は弱く、iPPG(手)のPTTとは正の相関を示す結果となった。
次に、2つのROIの映像脈波間の脈波伝播時間差「dPTT」に関する解析結果について、図13A〜図13Cを用いて説明する。ここで、「dPTT」を算出する2つのROIの組み合わせは、(1)顔面左頬−顔面額(以降、「頬-額」と表記)、(2)顔面左頬−右手掌(以降、「頬-手」と表記)、(3)顔面額−右手掌(以降、「額-手」と表記)を選択した。ここで、iPPG(首)はPTTが正確に算出できなかったため組み合わせの候補には含めていない。
図13Aは、第1の実施形態に係る代表的な被験者のSBPとdPTTの変動を示す図である。ここで、図13Aにおいては、縦軸をdPTTとし、横軸を時間とした各組み合わせにおけるdPTTの変動グラフを下段に示し、縦軸をSBPとし、横軸を時間としたSBPの変動グラフを上段に示す。ここで、SBPの変動グラフとdPTTの変動グラフとは横軸を一致させており、同一時間におけるSBPの変動とdPTTの変動とを比較可能としている。図13Aに示すように、iPPG(手)との時間差を取ったdPTTである図中の iPPG(手)−iPPG(頬)、及び、iPPG(手)−iPPG(額)は、例えば、呼吸停止中に増加するなど、全体的にSBPに近い変動をしていることがわかる。一方、共に顔の領域での時間差を取ったdPTTであるiPPG(額)−iPPG(頬)は、図13Aに示すように、他の2つの組み合わせと比較して、SBPとそれほど近い変動をしめさないことがわかる。なお、この被験者は、iPPG(手)の特徴点がiPPG(額)の特徴点よりも時間的に先に現れた場合があったため、図13AのiPPG(手)−iPPG(額)のdPTTが負の値となっている部分がある。
図13Bは、第1の実施形態に係る全被験者の各組み合わせにおけるdPTTの平均値と標準偏差を示す図である。ここで、図13Bにおいては、縦軸をdPTTとし、横方向に各組み合わせにおけるdPTTの平均値と標準偏差のグラフを並べた図を示す。図13Bに示すように、iPPG(手)−iPPG(額)のように、測定する2箇所のそれぞれの心臓からの距離の差が大きくとも、dPTTの値が「0.01s」前後であるという結果を示した。このように、dPTTの絶対値が小さいと、血圧変動時のdPTTのダイナミックレンジが小さくなってしまうため、iPPG(手)−iPPG(額)と比較して、dPTTの絶対値が大きいiPPG(額)−iPPG(頬)や、iPPG(手)−iPPG(頬)から算出したdPTTを用いた方が良いと考えられる。
図13Cは、第1の実施形態に係る全被験者のdPTTとSBPとの相関係数の平均値と標準偏差を示す図である。図13Cにおいては、縦軸をSBPとの相関係数とし、横方向に各組み合わせにおける相関係数の平均値と標準偏差のグラフを並べた図を示す。図13Cに示すように、SBPと各組み合わせにおけるdPTTとの相関係数は、平均値に対して標準偏差が大きいことから、個人差が大きい結果であることがわかる。上述した心電図のR波と各ROIの映像脈波間における脈波伝播時間の解析時と同様に、相関係数は全て負の値となることを予想していたが、iPPG(手)との時間差を計算したdPTTである図中のiPPG(手)−iPPG(頬)、及び、iPPG(手)−iPPG(額)は、全てSBPと正の相関関係であった。これは、iPPG(頬、額)と比べ、iPPG(手)におけるPTTの変化が大きかったため、両者の差を計算してもiPPG(手)の影響が大きく残っているためであると考えられる。
次に、2つのROIの映像脈波間の瞬時位相差「PD」に関する解析結果について、図14A及び図14Bを用いて説明する。ここで、「PD」を算出する2つのROIの組み合わせは、「dPTT」を算出する際と同じ組み合わせを用いた。図14Aは、第1の実施形態に係る代表的な被験者のSBPとPDの変動を示す図である。ここで、図14Aにおいては、縦軸をPDとし、横軸を時間とした各組み合わせにおけるPDの変動グラフを下段に示し、縦軸をSBPとし、横軸を時間としたSBPの変動グラフを上段に示す。ここで、SBPの変動グラフとPDの変動グラフとは横軸を一致させており、同一時間におけるSBPの変動とPDの変動とを比較可能としている。
図14Aに示すように、iPPG(手)との瞬時位相差を計算したPDである図中のiPPG(手)−iPPG(頬)、及び、iPPG(手)−iPPG(額)は、dPTTの結果と同様に、全体的にSBPに近い変動をしていることがわかる。また、共に顔の領域での瞬時位相差を計算したPDであるiPPG(額)−iPPG(頬)についても、dPTTの結果と同様に、他の2つの組み合わせと比較して、SBPとそれほど近い変動をしめさないことがわかる。なお、この被験者は、iPPG(手)の瞬時位相がiPPG(額)の瞬時位相よりも進んで現れた場合があったため、図14AのiPPG(手)−iPPG(額)のPDが負の値となっている部分がある。
図14Bは、第1の実施形態に係る全被験者のSBPとPDとの相関係数の平均値と標準偏差を示す図である。図14Bにおいては、縦軸をSBPとの相関係数とし、横方向に各組み合わせにおける相関係数の平均値と標準偏差のグラフを並べた図を示す。図14Bに示すように、SBPと各組み合わせにおけるPDとの相関係数は、平均値に対して標準偏差が大きいことから、個人差が大きい結果であることがわかる。ここで、相関係数の傾向は、dPTTと同様の結果となった。したがって、SBPとの関係性について、異なる2箇所のiPPGを用いたdPTTとPDは類似した情報を含んでいると考えられる。
以上の結果より、顔の映像信号から抽出した映像脈波「iPPG」と、顔以外の部位(例えば、手など)の映像信号から抽出した映像脈波「iPPG」とから算出した「dPTT」及び「PD」は、血圧と正の相関があることが示されたが、標準偏差が大きいことから個人差も大きいといえる結果となった。要因としては、呼吸停止負荷時に血圧がほとんど上昇しなかった被験者において、信号の低周波成分の変動が見られなかったことが考えられる。また、PTT、dPTTとSBPとの相関の強さには個人差があることも知られている。これは、式(1)〜式(7)から分かるように、血管特性によって血圧変動が脈波伝播時間の変動として反映されやすい人とそうでない人が存在するということである。
このように個人差は大きいが、指標として有用性がないわけではない。なぜならば、上記のような個人差は若年者の生活習慣(運動習慣)などに起因するという報告もあり、一方で、高齢者ほど動脈壁の伸展性が低下し、PTT、dPTTとSBPとの相関が強くなるとの報告もある。さらに、若年者と比較して高齢者の負荷時の血圧上昇が著しいことなども踏まえると、高齢者を被験者として実験を行った場合に、今回の実験結果よりも相関は強くなると考えられる。高齢者は、血圧変動によって生体が危険にさらされる可能性が高い。そこで、若年者の中でも血圧変動がPTTに反映されやすい被験者に絞って、さらに解析を行った。
具体的には、全20名の被験者からPTT、dPTTに血圧変動が反映されやすい被験者を選抜して、その被験者のみで傾向を確認するためのスクリーニングを行った。図15Aは、第1の実施形態に係るirPPG(指尖)のPTTとSBPとの相関係数のヒストグラムを示す図である。図15Aにおいては、縦軸を被験者数とし、横方向を相関係数としたヒストグラムを示す。図15Aに示すように、irPPG(指尖)のPTTとSBPとの相関係数は、全20名の被験者において、バラつきがある。若年者の中でも血圧変動がPTTに反映されやすい被験者を対象として解析するため、図15Aに示すヒストグラムのうち相関係数が「−0.5」以下となる被験者9名(以降スクリーニング群と呼ぶ)を選抜して、その被験者群におけるiPPGによる血圧推定精度を確認した。
まず、PTTに関して、スクリーニング前後の比較を行った。図15Bは、第1の実施形態に係るPTTとSBPの相関係数に関するスクリーニング前後の比較を示す図である。ここで、図15Bにおいては、全被験者(n=20)とスクリーニング群の被験者(n=9)のSBPと各部位iPPGにおけるPTTとの相関係数の平均値と標準偏差を示す。また、図15Bにおいては、縦軸を相関係数とし、横方向に各部位におけるスクリーニング前後の相関係数の平均値と標準偏差のグラフを並べた図を示す。図15Bに示すように、選抜された被験者(スクリーニング群の被験者)は、iPPG(頬)、iPPG(額)のPTTとSBPとの相関が強まる傾向にあることが分かる。すなわち、血圧変動が指尖のPTTに反映されやすい被験者は、頬や額においてもPTTとして反映される傾向があるといえる。一方、iPPG(手)のPTTではスクリーニング前後で相関関係の変化はみられなかった。指尖と掌という、互いに近い位置関係であるにも関わらず、血圧変動に対する相関の傾向が異なった理由としては、irPPGとiPPGが有する血圧情報の違いが考えられるが、詳細は後述する。
次に、dPTTに関して、スクリーニング前後の比較を行った。図15Cは、第1の実施形態に係るdPTTとSBPの相関係数に関するスクリーニング前後の比較を示す図である。ここで、図15Cにおいては、全被験者(n=20)とスクリーニング群の被験者(n=9)のSBPと各部位iPPGにおけるdPTTとの相関係数の平均値と標準偏差を示す。また、図15Cにおいては、縦軸を相関係数とし、横方向に各組み合わせにおけるスクリーニング前後の相関係数の平均値と標準偏差のグラフを並べた図を示す。図15Cに示すように、いずれの組み合わせにおいても、スクリーニング前後で平均値に大きな差がなく、被験者を選抜しても、dPTTとSBPとの相関係数に大きな違いはみられないことがわかる。また、iPPG(額)−iPPG(頬)のdPTTとSBP との相関は特に弱く、現在の手法では顔のみを撮影した身体映像から血圧変動を推定するのは困難であるといえる。
次に、PDに関して、スクリーニング前後の比較を行った。図15Dは、第1の実施形態に係るPDとSBPの相関係数に関するスクリーニング前後の比較を示す図である。ここで、図15Dにおいては、全被験者(n=20)とスクリーニング群の被験者(n=9)のSBPと各部位iPPGにおけるPDとの相関係数の平均値と標準偏差を示す。また、図15Dにおいては、縦軸を相関係数とし、横方向に各組み合わせにおけるスクリーニング前後の相関係数の平均値と標準偏差のグラフを並べた図を示す。図15Dに示すように、いずれの組み合わせにおいても、スクリーニング前後で平均値に大きな差がなく、被験者を選抜しても、PDとSBPとの相関係数に大きな違いはみられなかった。また、全被験者の相関係数の絶対値を計算し、スチューデントのt検定を行った。その結果、irPPG(指尖)のPTTとiPPG(手)−iPPG(頬)のPD、iPPG(手)−iPPG(額)のPDとのそれぞれの組み合わせについて第1の実施形態に係る手法の方が、相関係数が有意に高かった(p<0.05)。さらに、SBPとの相関係数の絶対値について、スクリーニング後のiPPG(手)−iPPG(頬)、iPPG(手)−iPPG(額)のPDは、リファレンスであるirPPG(指尖)のPTTとほぼ同等(r=0.6前後)であり、被験者を限定すれば、これらのROIに着目することで身体映像のみから血圧変動を推定できる可能性が示唆された。
最後に、スクリーニング群の被験者のみについて、dPTTとPDとの比較を行った。図15Eは、第1の実施形態に係るスクリーニング群の被験者のdPTTとPDとの比較を示す図である。ここで、図15Eにおいては、スクリーニング群の被験者(n=9)のSBPと各部位iPPGにおけるdPTTおよびPDの相関係数の平均値と標準偏差を示す。また、図15Eにおいては、縦軸を相関係数とし、横方向に各組み合わせにおけるdPTT及びPDとSBPとの相関係数の平均値と標準偏差のグラフをそれぞれ並べた図を示す。図15Eに示すように、iPPG(手)−iPPG(頬)、及び、iPPG(手)−iPPG(額)のPDは、dPTTよりもSBPに対して強い相関を有していることがわかる。
上述したように、顔と顔以外(手)の2か所の映像脈波からdPTT及びPDを算出した場合、血圧変動と正の相関関係を示すという結果が得られた。この結果は、PTTが血圧変動と負の相関関係を示すというこれまでの知見とは異なる結果であるが、この点について図16を用いて説明する。図16は、第1の実施形態に係る脈波伝播時間の変化を模式的に示す図である。図16においては、通常時から血圧が上昇した場合の脈波伝播時間の変化について示す。例えば、顔の脈波伝播時間「PTT(顔)」は、図16に示すように、手の脈波伝播時間「PTT(手)」と比較して短い。これは、心臓からの距離に応じたものであり、通常時も血圧上昇時も変わらない。
ここで、通常時から血圧が上昇すると、血圧の上昇に伴って、「PTT(顔)」が短縮されるが、「PTT(手)」は計測手法によって短縮又は延長される。すなわち、図16に示すように、「PTT(手)」が光電容積脈波計によって計測されたirPPGを用いて算出された場合には、血圧が上昇すると、「PTT(手)」は、「PTT(顔)」と同様に短縮される。一方、「PTT(手)」がビデオカメラによって撮影された映像信号から抽出されたiPPGを用いて算出された場合には、血圧が上昇すると、「PTT(手)」は延長される。すなわち、2つのROI(顔と手)における脈波伝播時間の差である「PTT(手−顔)」は、顔領域ではPTT(顔)が短縮されるのに対して手領域ではPTT(手)が延長されるので、血圧の上昇に伴って時間差が増大する正の相関関係を示すこととなる。
このように、同じ手の領域でありながら、計測手法によってPTTと血管との相関関係が変わってくる理由としては、irPPGの計測に用いられる光とiPPGの計測に用いられる光の波長による皮膚透過深度の差異と、手の領域では末梢血管抵抗増大による脈波出現の遅延が生じるということが挙げられる。具体的には、irPPGの計測に用いられる光とiPPGの計測に用いられる光とでは、波長の違いから皮膚透過深度に差異があり、計測の対象となる血流が異なる。そして、この計測対象となる血流の一方が、末梢血管抵抗増大による脈波出現の遅延の影響を受ける血流であり、他方が影響を受けない血流であるため、計測手法によってPTTと血管との相関関係が変わってくるものと考えられる。以下、これらの詳細について説明する。
まず、光の皮膚透過深度の差異について説明する。図17は、第1の実施形態に係る光の皮膚透過深度の差異を説明するための図である。図17においては、人の皮膚構造の模式図と、光の皮膚透過深度、及び、irPPG及びiPPGを計測する光の波長と血管の拍動との関係を示す。図17に示すように、皮膚は表面から表皮、真皮、皮下組織の3層から構成され、真皮は乳頭層ならびに網状層から構成される。皮膚の各層の厚さは体の部位によって異なり、皮下組織を除く表皮と真皮の厚さでは、まぶたが最も薄く(0.60mm)、背中が最も厚い(2.30mm)。真皮を流れる皮膚血流に関しては、動脈として、皮下組織から真皮に上行し、そこで一旦、皮下血管叢を形成する。さらに動脈として上方(表面)へ伸びた後に、乳頭下血管叢を形成する。その後、毛細血管としてループ状血管を真皮乳頭層内で形成したのち、乳頭下血管叢として静脈に戻る。
このような構造の皮膚に対し、それを光学的に捉えた場合、皮膚の各要素は異なる特性を有するとされる。表皮は「240nm」未満のUV光を強く吸収するメラニンを含んでおり、光の散乱に関しては表皮ではほとんど重要でないと考えられる。真皮については、真皮乳頭毛細血管が存在し、血中ヘモグロビン、ベータカロチン、ビリルビンといった吸収体が「320nm」より長い波長成分の光を吸収している。また、コラーゲンまたは血球による光の散乱はこれらの波長の光が真皮に浸透する深度を大部分決定している。透過深度とは、皮膚内部に侵入する光強度が皮膚表面の37%(=1/e)まで減少する距離(深さ)として定義される。第1の実施形態にて用いた光源では、緑色光(525nm)で透過深度が「300μm」、近赤外光(800nm)で透過深度「1200μm」となっている。したがって、iPPGでは皮膚浅部の表皮毛細血管血流を捉え、irPPGでは動脈の血流を捉えていると推察することができる。すなわち、光の波長と血管の拍動との関係は、図17に示すように、緑色光(500−570nm)が表皮の毛細血管血流の充満状態を示し、近赤外光(800−900nm)が動脈の容積変化を示す。
次に、手の領域における末梢血管抵抗増大による脈波出現の遅延について説明する。手領域を含めたiPPGによるPTTが血圧変動と正相関する理由として、血圧変動に対する手と顔面の血管収縮の差異が挙げられる。今回の実験方法では、呼吸停止負荷によって交感神経を賦活化させた。交感神経活動が優位になると、心臓の収縮力の上昇、末梢血管抵抗の上昇、血液粘度の上昇等の要因によって血圧が上昇する。このとき、末梢の細動脈は交感神経の支配を受け、末梢血管抵抗を上昇させるため、皮膚表面に流入する血流量は相対的に低下する。したがって、血圧上昇時に手領域の脈波は動脈から皮膚表層に出現するまでに遅延を生じ、皮膚表層で観測されるPTTが増大すると考えられる。
一方、顔面領域においては、血管の拡縮は交感神経だけでなく副交感神経の支配も受けるという報告がある。身近な例だと寒い時に頬が赤くなることが挙げられるが、これは寒冷環境で末梢血管が閉まっても顔面領域における皮膚表面血流の過度な減少がないためである。今回の実験においても交感神経活動が優位となるが、顔面においては副交感神経支配の作用も受けているため血管の収縮が起こらず、脈波が動脈から皮膚表層に出現するまでの遅延が起きなかったと考えられる。
さらに、脈波が動脈から皮膚表層に出現するまでの遅延は皮膚構造にも依存すると考えられる。動脈は皮下組織深部から真皮層までを覆っており、皮膚表層に出現するまでの遅延は表皮層の厚さに依存する。掌の表皮層の厚さは約「600μm」、頬の表皮層の厚さは約「100μm」である。このことも、手領域で脈波が動脈から皮膚表層に出現するまでの遅延が大きくなった要因として考えられる。
以上、実際の実験結果及び第1の実施形態の原理について説明した。上述したように、顔及び手の映像信号の緑色光の輝度情報から算出した「dPTT」及び「PD」は血圧と正の相関関係を有するが、これは、血圧上昇時に末梢の細動脈が交感神経の支配をうけて末梢血管抵抗を上昇させる部位と顔とであれば同様の相関関係が成り立つと考えられる。例えば、顔と足や、顔と腕などでも「dPTT」及び「PD」は血圧と正の相関関係を有すると考えられる。
そこで、第1の実施形態に係る算出部152は、顔以外の部位として、血圧上昇時に末梢の細動脈が交感神経の支配をうけて末梢血管抵抗を上昇させる部位を対象とし、顔の映像信号の輝度情報と、顔以外の部位の映像信号の輝度情報との差分を算出する。このとき、算出部152は、表皮の毛細血管血流の充満状態を反映した緑色光に基づいて差分を算出するために、対象者の顔の表皮にて反射された光に基づく映像信号の輝度情報と、顔以外の部位の表皮にて反射された光に基づく映像信号の輝度情報との差分を算出する。これにより、計測部153は、差分の増加を血圧の上昇変動として計測し、差分の減少を血圧の下降変動として計測することが可能となる。
以下、計測部153による血圧変動の計測の一例を説明する。例えば、計測部153は、算出部152によって算出された差分(dPTT又はPD)に基づいて、対象者の血圧の基準値からの変動、基準値と血圧上昇時の最高値との差、血圧上昇時の最高値と血圧下降時の最低値との差、及び、血圧の変動開始から基準値に戻るまでの時間のうち少なくとも1つを計測する。図18A〜図18Cは、第1の実施形態に係る血圧変動の計測の一例を説明するための図である。ここで、図18A〜図18Cにおいては、縦軸をPDとし、横軸を時間としたPDの変動グラフを示す。
例えば、計測部153は、図18AのPD1に示すように、算出部152によって算出されたPDが経時的に増加している場合、この時の対象者の血圧が上昇していると判定する。また、例えば、計測部153は、図18AのPD2に示すように、算出部152によって算出されたPDが経時的に減少している場合、この時の対象者の血圧が下降していると判定する。ここで、計測部153は、計測開始からの増加分又は減少分が所定の割合に達した場合に、血圧が上昇している、又は、下降していると判定する場合であってもよい。
また、例えば、計測部153は、図18BのPD3に示すように、算出部152によって算出されたPDがベースラインよりも高い場合に、血圧が上昇していると判定し、ベースラインからの増加分を計測する。ここで、図18Bに示すベースラインとは、血圧の状態を判定する基準値であり、任意に設定することができる。例えば、対象者の年齢、性別などに対応する標準の血圧値に相当するPDの値をベースラインとして設定する場合であってもよい。或いは、対象者の過去のPDの値から基準値を算出してベースラインとして設定する場合であってもよい。かかる場合には、例えば、計測部153は、対象者の過去のPDの値の平均値を算出して、算出した平均値をベースラインとして設定することもできる。
また、例えば、計測部153は、図18BのPD4に示すように、算出部152によって算出されたPDがベースラインよりも高い場合に、血圧が下降していると判定し、ベースラインからの減少分を計測する。ここで、図18Bに示すベースラインは、1つ設定され、血圧上昇時及び血圧下降時の両方で同じベースラインが用いられてもよいが、上昇時に用いるベースラインと、下降時に用いるベースラインとをそれぞれ設定する場合であってもよい。かかる場合には、例えば、過去のPDの平均値から「+5%」の値を上昇時に用いるベースラインとし、平均値から「−5%」の値を下降時に用いるベースラインとしてもよい。また、その逆に、「+5%」の値を下降時に用いるベースラインとし、平均値から「−5%」の値を上昇時に用いるベースラインとしてもよい。
また、例えば、計測部153は、図18Cに示すように、PDの変動における種々の値を計測することができる。例えば、計測部153は、図18Cに示すPD5において、PDが増加した後にベースラインに戻るまでの時間「t1」を計測する。また、例えば、計測部153は、図18Cに示すPD5において、PDが増減した後にベースラインに戻るまでの時間「t2」を計測する。ここで、ベースラインに戻るまでの時間に判定基準を設けることで、計測された時間が注意すべき兆候であるか否かを判定することもできる。例えば、PDが増加した後にベースラインに戻るまでの時間に所定の閾値を設ける。計測部153は、計測した時間「t1」と設定された所定の閾値とを比較して、計測した時間「t1」が所定の閾値よりも長い場合に、注意すべき兆候であると判定する。一方、計測した時間「t1」が所定の閾値よりも短い場合には、計測部153は、注意すべき兆候ではないと判定する。
また、例えば、計測部153は、図18Cに示すPD5において、PDの増加ピークとベースラインとの差分「d1」や、PDの減少ピークとベースラインとの差分「d2」、PDの増加ピークと減少ピークとの差分「d3」などを計測する。ここで、これら差分に対しても判定基準を設けることで、計測された差分が注意すべき兆候であるか否かを判定することもできる。例えば、増加ピークとベースラインとの差分に所定の閾値を設ける。計測部153は、計測した差分「d1」と設定された所定の閾値とを比較して、計測した差分「d1」が所定の閾値よりも大きい場合に、注意すべき兆候であると判定する。一方、計測した差分「d1」が所定の閾値よりも小さい場合には、計測部153は、注意すべき兆候ではないと判定する。
上述したように、計測部153は、算出部152によって算出された差分を用いて血圧の変動を計測し、計測結果を用いて判定処理を行う。このように血圧変動の計測や判定処理を実行すると、計測部153は、計測結果や判定結果を計測結果記憶部142に格納する。例えば、計測部153は、図4Aに示す計測結果を計測結果記憶部142に格納する。なお、上述した例は、あくまでも一例であり、実施形態はこれに限定されるものではない。すなわち、計測部153によって計測される項目や、設定する閾値は、操作者によって任意に設定することができる。また、計測対象も「PD」に限らず、計測部153は、「dPTT」についても同様に計測や判定処理を実行することができる。
ここで、計測部153は、「PD」や「dPTT」を用いた計測や判定だけではなく、「PD」や「dPTT」を血圧値に変換した後に計測や判定を行う場合であってもよい。具体的には、計測部153は、参照情報記憶部143によって記憶された参照情報を参照して、「PD」又は「dPTT」を血圧値に変換して、変換した血圧値を用いて計測及び判定を行う。一例を挙げると、計測部153は、図4Bに示す参照情報に含まれる「PD」の血圧値変換情報を参照して、図18Cに示すPDの変動グラフを血圧値の絶対値の変動グラフに変換して、差分「d1」〜「d3」を計測する。なお、「PD」や「dPTT」の血圧値変換情報は、それぞれ1つ記憶させておく場合であってもよいが、種々の環境ごとに複数の血圧値変換情報を記憶させておく場合であってもよい。かかる場合には、例えば、計測場所ごとの血圧値変換情報を記憶させてもよく、さらに、時間帯ごとの血圧値変換情報を記憶させてもよい。
すなわち、血圧値は通常生活の中で変動しやすい生体情報であり、時間帯や場所などによって変化する場合がある。さらに、「PD」や「dPTT」の値と血圧値との対応が常に一定であるとは限らない。したがって、種々の環境ごとに複数の血圧値変換情報を記憶させておき、計測部153が、現時点の環境に対応する血圧値変換情報を読み出して、「PD」或いは「dPTT」を血圧値に変換するようにしてもよい。
また、計測部153は、「PD」及び「dPTT」を血圧値に変換するだけではなく、「PD」や「dPTT」に対する補正処理を行うこともできる。例えば、計測部153は、対象者が撮影された場所の温度及び湿度のうち少なくとも一方を用いて、算出部152によって算出された差分又は基準値を補正したうえで、対象者の血圧の基準値からの変動、基準値と血圧上昇時の最高値との差、血圧上昇時の最高値と血圧下降時の最低値との差、及び、血圧の変動開始から基準値に戻るまでの時間のうち少なくとも1つを計測する。すなわち、計測部153は、対象者が撮影されている場所の温度や湿度に対応する補正情報を参照情報記憶部143から読み出して、「PD」又は「dPTT」、或いは、ベースラインを補正した後に、上述した計測や判定処理を実行する。一例を挙げると、計測部153は、対象者が撮影されている場所の温度と湿度の情報を取得して、図4Bに示す参照情報から取得した温度と湿度に対応する補正情報を読み出し、読み出した補正情報を用いて補正処理を行ったうえで、計測や判定を行う。
上述したように、血圧変動に関する計測を実行すると、計測部153は、計測結果を計測結果記憶部142に格納するとともに、出力制御部154に送信する。出力制御部154は、顔及び顔以外の映像信号の輝度情報、算出部152によって算出された差分、及び、計測部153による計測結果のうち少なくとも1つに基づく出力情報を出力部120a又は出力装置120bにて出力させるように制御する。なお、出力部120a及び出力装置120bにて出力される出力情報については、後に詳述する。
上述したように、生体情報計測装置100は、対象者の映像信号における輝度値の変化(緑信号の変化)に基づいて血圧の変動を計測する。ここで、対象者を撮影している際に、対象者が動いたり、カメラが動いたりすることにより、映像内の対象者の皮膚領域が動く(並進運動・回転運動する)場合がある。また、対象者を撮影している際に、皮膚に照射される周辺光の強度が変化する場合もある。このような皮膚領域の動きに伴う輝度値の変化や周辺光の強度の時間的変化は、実際の血液量の変化を直接反映しない雑音成分となる可能性がある。そこで、本願に係る生体情報計測装置100は、上記した状況を考慮した処理を実行する。
皮膚領域の並進運動・回転運動による雑音に対しては、生体情報計測装置100は、肌色部分の逐次的トラッキングにより補正する。例えば、皮膚領域抽出部151は、皮膚領域が次のフレームでどのように変化したかを順次探索することで、各フレームの皮膚領域を抽出する。一例を挙げると、皮膚領域抽出部151は、映像中の特徴点の位置や、複数の特徴点間の相互の位置関係などを変化(更新)させながら、各フレーム内の皮膚領域を抽出する。なお、逐次的トラッキングは、上記した例に限らず、どのような手法が用いられてもよい。
周辺光の強度の時間的変化に対しては、生体情報計測装置100は、照度センサ160によって測定された照度に応じて照明部170を制御することで、対象者の皮膚付近の光の強度を調整する。具体的には、フィードバック制御部155は、照度センサ160から受信した照度に基づいて、照明部170から照射される光の強度を変化させる。すなわち、フィードバック制御部155は、照度センサ160によって測定される照度が一定値に保たれるように、照明部170から照射される光の強度を変化させる。これにより、例えば、周辺光の強度が時間的に変化する可能性が高い自動車内のような環境であっても、精度の高い血圧の計測を行うことができる。
なお、フィードバック制御部155は、上記した処理とは異なるフィードバック制御も行うことができる。例えば、フィードバック制御部155は、照度センサ160の測定結果を用いずに、映像信号の輝度値の変化に基づくフィードバック制御を行うことで、周辺光の強度の時間的変化を補正することができる。一例を挙げると、フィードバック制御部155は、皮膚領域の平均輝度において、直流成分及び交流成分における心拍周波数帯域よりも低い周波数成分が一定値に保たれるように、照明部170から照射される光の強度を変化させる。
なお、図3においては、生体情報計測装置100が、照度センサ160及び照明部170を備える場合を示しているが、実施形態はこれに限定されるものではなく、生体情報計測装置100の外部にある照度センサ160及び照明部170が、生体情報計測装置100に接続される場合であってもよい。また、照度センサ160及び照明部170が映像取得装置110bに備えられ、生体情報計測装置100におけるフィードバック制御部155が、ネットワーク300を介して照明部170を制御する場合であってもよい。
上述した例では、周辺光の強度の時間的変化に対して照明部170を用いて補正する場合について説明した。しかしながら、生体情報計測装置100は、照度センサ160や照明部170を用いずに周辺光の強度の時間的変化に対する補正を行うことも可能である。例えば、算出部152は、対象者の映像信号における所定の長さの時間区間に含まれるフレームについて、皮膚領域の輝度平均値のフレーム間の差分をそれぞれ算出する。そして、算出部152は、算出したフレーム間の差分の絶対値を所定の閾値とそれぞれ比較し、所定の閾値よりも大きい差分を「0」とする補正を行う。このように、算出部152は、所定の長さの時間区間に含まれるフレーム間の各差分において、差分の絶対値が所定の閾値よりも大きいものを「0」にしたフレーム間の差分の累積値の時系列を、皮膚領域の輝度平均値の時系列(緑信号)として算出する。これにより、補正前の輝度平均値の時系列に含まれる急激なバイアス成分の変化がキャンセルされ、バンドパスフィルタによっても除去しにくい低周波成分の過渡応答を抑制することができる。これは、非線形フィルタである「εフィルタ」の1つの形態である。
次に、生体情報計測装置100による処理の流れについて説明する。図19は、第1の実施形態に係る生体情報計測装置100の処理手順を示すフローチャートである。図19に示すように、生体情報計測装置100においては、映像取得部110a又は映像取得装置110bが対象者の顔と顔以外の部位を撮影する(ステップS101)。
そして、皮膚領域抽出部151が、肌の色に相当する領域を自動で抽出する、或いは、操作者によって手動で設定されることによって、顔と顔以外の部位に関心領域(ROI)をそれぞれ設定する(ステップS102)。その後、算出部152が、設定された関心領域それぞれにおける緑色光の輝度平均値を算出し(ステップS103)、算出した輝度平均値から「PD」又は「dPTT」を算出する(ステップS104)。
そして、計測部153が「PD」又は「dPTT」の変動を計測することで、対象者の血圧の変動を計測する(ステップS105)。その後、出力部120a或いは出力装置120bが、計測結果を出力する(ステップS106)。
上述したように、第1の実施形態によれば、算出部152は、対象者の顔の映像信号の輝度情報と、対象者の顔の映像信号と同一時間の顔以外の部位の映像信号の輝度情報との差分を算出する。計測部153は、差分の増減に応じた対象者の血圧の変動を計測する。したがって、第1の実施形態に係る生体情報計測装置100は、人体の血圧変動を簡便に非接触に測定することができる。
また、第1の実施形態によれば、算出部152は、対象者の顔の表皮にて反射された光に基づく映像信号の輝度情報と、顔以外の部位の表皮にて反射された光に基づく映像信号の輝度情報との差分を算出する。ここで、顔以外の部位は、血圧上昇時に末梢の細動脈が交感神経の支配をうけて末梢血管抵抗を上昇させる部位である。そして、計測部153は、差分の増加を血圧の上昇変動として計測し、差分の減少を血圧の下降変動として計測する。また、算出部152は、対象者の顔及び顔以外の部位の映像信号に含まれる緑色光の輝度値をそれぞれ抽出し、抽出した各映像信号中の緑色光の輝度値における所定の特徴点間の時間差、又は、各映像信号中の緑色光の輝度値の位相差を算出する。計測部153は、時間差又は位相差の増減に応じた対象者の血圧の変動を計測する。したがって、第1の実施形態に係る生体情報計測装置100は、血圧変動と正の相関関係を示し、さらに相関が高い指標値を用いて血圧変動を計測することができる。
また、第1の実施形態によれば、計測部153は、差分に基づいて、対象者の血圧の基準値からの変動、基準値と血圧上昇時の最高値との差、血圧上昇時の最高値と血圧下降時の最低値との差、及び、血圧の変動開始から基準値に戻るまでの時間のうち少なくとも1つを計測する。したがって、第1の実施形態に係る生体情報計測装置100は、対象者に血圧について種々の情報を提供することができる。
また、第1の実施形態によれば、計測部153は、対象者が撮影された場所の温度及び湿度のうち少なくとも一方を用いて、算出部152によって算出された差分又は基準値を補正したうえで、対象者の血圧の基準値からの変動、基準値と血圧上昇時の最高値との差、血圧上昇時の最高値と血圧下降時の最低値との差、及び、血圧の変動開始から基準値に戻るまでの時間のうち少なくとも1つを計測する。したがって、第1の実施形態に係る生体情報計測装置100は、環境に応じた血圧変動を計測することができる。
また、第1の実施形態によれば、計測部153は、差分と血圧値との対応情報に基づいて、算出部152によって算出された差分に対応する血圧値を算出する。したがって、第1の実施形態に係る生体情報計測装置100は、非接触で血圧の絶対値の情報を提供することができる。
(生体情報計測装置の適用例)
次に、上述した生体情報計測装置100の適用例について説明する。上述したように、第1の実施形態に係る生体情報計測装置100は、人体の血圧変動を、簡便に、非接触的に測定することが可能である。これにより、例えば、図1に示す日常人間ドッグを実現することができる。以下、図1に示す日常人間ドッグを実現するための一例を、図20を用いて説明する。図20は、第1の実施形態に係る生体情報計測装置100の適用の一例を説明するための図である。
例えば、対象者が洗面所の鏡の前に立つだけで、健康予報を提供することができる図1の日常人間ドッグは、例えば、図20に示すように、生体情報計測装置100としてのカメラ付きPC(タブレットPC)をハーフミラーの背面に設置することで実現される。すなわち、生体情報計測装置100は、ハーフミラー越しに対象者を撮影して、撮影した映像信号に基づいて血圧変動を計測し、計測結果を出力する。例えば、ハーフミラーの背面に設置された生体情報計測装置100の映像取得部110aが、対象者の顔と顔以外の部位を撮影する。その後、皮膚領域抽出部151が映像内の対象者の顔領域と顔以外の部位の領域を抽出して、算出部152が各領域の映像脈波を抽出して、「PD」又は「dPTT」を算出する。計測部153は、算出部152によって算出された「PD」又は「dPTT」の変動から対象者の血圧の変動を計測して、出力部120aが計測結果を対象者に対して出力する。
ここで、映像信号から血圧変動を計測するためには、ある程度の長さの映像(動画像)が必要となるため、例えば、血圧変動を計測する旨の情報を出力するようにしてもよい。例えば、出力制御部154による制御のもと、出力装置120bが「血圧を計測中です」とする音声情報又は表示情報を出力する場合であってもよい。また、対象者の顔及び顔以外の部位の映像が必要となるため、顔と顔以外(例えば、手など)が撮影可能となる体勢をとってもらうように、音声情報又は表示情報を出力する場合であってもよい。一例を挙げると、映像取得部110aは、洗面所内を常時撮影しておき、対象者が洗面所に入室した際に、顔と顔以外(例えば、手など)が撮影可能となる体勢をとってもらうための音声情報又は表示情報を出力する。そして、皮膚領域抽出部151が顔と顔以外の部位を抽出すると、出力装置120bが「血圧を計測中です」とする音声情報又は表示情報を出力する。これにより、対象者は自動で出力される情報に応じた行動をとるだけで、血圧情報を計測させることができる。なお、血圧情報の計測は、上述した自動の例だけではなく、対象者による操作によってスタートされる場合であってもよい。
また、対象者の顔と顔以外の部位の映像をそれぞれ撮影する場合であってもよい。例えば、異なるカメラによって顔と顔以外の部位の映像をそれぞれ撮影する場合であってもよい。かかる場合には、異なるカメラによって撮影された映像が時間情報によって対応付けられる。また、例えば、ハーフミラーの背面とは異なる位置(例えば、手をつく位置や、手によって握られる位置)に映像取得装置110bとしての反射型フォトセンサを配置しておき、反射型フォトセンサによって手の表皮から反射された緑色光の信号を取得する場合であってもよい。一例を挙げると、緑色光LEDを光源とした反射型フォトセンサを、手をつく位置に配置して、手から反射された緑色光の強度を測定することで、緑色光の光電容積脈波(緑色光PPG)を取得する。そして、算出部152が、顔の映像信号から抽出したiPPGと緑色光PPGとから「dPTT」或いは「PD」を算出する。かかる場合、反射型フォトセンサによって取得された緑色光PPGと映像取得部110aによって取得された映像とが時間情報によって対応付けられる。これにより顔の映像と同一時間の顔以外の部位の表皮から反射された光に基づく脈波を取得することができる。なお、反射型フォトセンサに対して体の一部を接するように、出力部120aから音声情報又は表示情報を出力させることもできる。また、顔以外の部位の映像信号は、ウェアラブル端末によって取得される場合であってもよい。また、反射型フォトセンサによって顔の緑色光PPGが取得される場合であってもよい。
このように対象者の映像が取得され、血圧情報が計測されると、出力部120aは、対象者に対して出力情報を出力する。例えば、出力部120aは、血圧が上昇しているか否か、上昇している場合にベースラインからどの程度上昇しているかなどの血圧の情報を表示情報或いは音声情報によって出力する。また、出力部120aは、血圧に関する出力情報を出力するだけではなく、映像脈波の情報を出力することができる。具体的には、出力部120aは、映像信号の輝度情報を色相の変化で示した色相動画像を生成し、生成した色相動画像を対象者の動画像に重畳させて表示する。図21は、第1の実施形態に係る出力情報の一例を示す図である。出力部120aは、図21に示すように、算出部152によって算出された映像脈波の値を種々の色相で示した色相動画像を対象者の映像に重畳して表示する。
かかる場合には、出力制御部154が色相動画像を生成して、出力部120aにて対象者の動画像に重畳させて表示させる。例えば、算出部152は、皮膚領域抽出部151によって抽出された各皮膚領域(ROI)に含まれる画素それぞれについて、画素ごとの映像脈波を抽出する。すなわち、算出部152は、映像を構成する各フレームについて、ROI内の画素の緑色光の輝度値を抽出し、ROIごとに輝度値を平均するのではなく、画素ごとの映像脈波をそれぞれ算出する。出力制御部154は、脈波の振幅の値に色相を割り当て、各フレームの各画素を振幅の値に対応する色相でカラー化した色相動画像を生成する。例えば、出力制御部154は、図21に示す映像脈波の振幅「−0.1〜0.1」に「青〜赤」の色相を割り当てる。そして、出力制御部154は、対象者の映像の各フレームにおけるROI内の画素を振幅の値に応じて「青〜赤」でカラー化した色相動画像を生成する。
そして、出力制御部154は、映像脈波を抽出した動画像に色相動画像を重畳させた出力情報を出力部120a又は出力装置120bにて出力させる。これにより、対象者の顔色(血流状態)を一目で確認することができる。例えば、人の顔色を評価する場合、単純に顔を見ただけでは客観的に評価することは難しいが、映像に色相動画像を重畳させて表示することで、色情報により血流の状態を容易に評価することができる。例えば、顔全体から映像脈波が抽出でき、顔前部の皮膚領域のほとんどを色相動画像で重畳できている場合には、血行がよく、体調がよさそうであることが一目でわかる。一方、顔前部の皮膚領域に色相動画像があまり重畳されていない場合には、血行が悪く、体調があまり良くなさそうであることが一目でわかる。また、色の変化のスピードが非常に遅い場合には、血流が悪いことがわかる。このように、血圧情報だけでなく、映像脈波をカラー化した映像を表示することでも、自身あるいは他人の体調を確認することができる。なお、出力制御部154は、図21に示すように、色相動画像を重畳させた映像に加えて、映像脈波をさらに表示させることもできる。
また、出力部120aは、血圧の情報に加えて、さらに、心拍数や自律神経に関する指標値を出力することができる。具体的には、算出部152は、顔の映像信号の輝度情報と、顔以外の部位の映像信号の輝度情報とに基づいて、対象者の心拍数及び自律神経に関する指標値を算出する。出力部120aは、算出部152によって算出された心拍数及び自律神経に関する指標値をさらに表示する。図22は、第1の実施形態に係る出力情報の一例を示す図である。ここで、図22においては、生体情報計測装置100が携帯電話である場合を示す。例えば、図22に示すように、出力部120aは、心拍「HR=71bpm」や、自律神経に関する指標値「CVRR=1.52」、「LF/HF=1.3」、「μPA=1.5」、「ρ(3)=0.82」や、それに基づくグラフを表示する。
なお、算出部152は、瞬時位相差をPTTとみなして、Mayer波帯域におけるPTTと心拍数の間の相互相関係数ρ(τ)の最大値ρmax、または、ρ(τ)のラグτが3秒のときの推定値ρ(3)を算出する。また、算出部152は、1つの体表面輝度時系列信号を脈波信号とみなし、ρmaxを算出する。また、算出部152は、1つの体表面輝度時系列信号を脈波信号とみなし、脈波振幅の2つの周波数領域のパワー比の対数μPA=ln(MFPA/HFPA)を算出する。
上述した例では、対象者の現在の自然な状態での血圧変動を計測する場合について説明した。しかしながら、生体情報計測装置100は、血圧を強制的に変動させ、そこからの回復を計測するための計測ガイドを行うこともできる。具体的には、出力部120aは、対象者の血圧を変動させるための動作を指示する指示情報をさらに出力する。図23は、第1の実施形態に係る生体情報計測装置100による計測ガイドの一例を示す図である。図23においては、洗面所のハーフミラーの背面に生体情報計測装置100が配置されている場合を示す。上述した実験でも明らかなように、息止めを行うことにより血圧は急速に上昇する。そこで、出力部120aは、図23の左側の図に示すように、計測を開始する際に、「息止めを開始してください!」とする音声情報を対象者に対して出力する。ここで、出力部120aは、図23に示すように、同様の表示情報「測定中・・・息止めを開始してください」を表示する。
そして、生体情報計測装置100は、息止めを実施している対象者の「PD6」を算出して、計測部153が「PD6」の変動をモニタリングする。ここで、図23の右側の図に示すように、「PD6」が所定の値まで増加すると、出力部120aは、「呼吸を再開してください!」とする音声情報を対象者に対して出力する。ここで、出力部120aは、図23に示すように、同様の表示情報「測定中・・・呼吸を再開してください」を表示する。生体情報計測装置100は、呼吸を再開した対象者の「PD6」の変動を継続してモニタリングし、通常の血圧に戻るまでの時間を計測する。
生体情報計測装置100によるガイドは上述した例に限られず、例えば、対象者が実行する深呼吸の終了のタイミングを音声情報或いは表示情報にてガイドすることができる。例えば、自律神経に疾患のある患者は、血圧を安定させるために深呼吸を行う場合がある。ここで、血圧を計測していないと、血圧が安定したタイミングがわからない。そこで、生体情報計測部100は、深呼吸を行っている対象者の血圧の変動をモニタリングし、血圧が安定した場合に、深呼吸を終了するためのガイドを出力する。例えば、計測部153が、対象者の「PD」又は「dPTT」の値が基準値に達したと判定した場合に、出力部120aは、「深呼吸を終了してください」とする音声情報や表示情報を出力する。
また、生体情報計測装置100は、対象者の血圧をモニタリングして、血圧が大きく変動した場合に、血圧を安定させるための情報を出力することもできる。具体的には、計測部153が、対象者の「PD」又は「dPTT」の値をモニタリングしておき、「PD」又は「dPTT」の値が所定の閾値を超えた場合に、出力部120aは、血圧を安定させるための音楽などの情報を出力する。そして、計測部153は、対象者の「PD」又は「dPTT」の値を継続してモニタリングしておき、「PD」又は「dPTT」の値が所定の閾値を下回った場合に、出力部120aは音楽などの情報の出力を終了することもできる。
上述した例では、対象者が自身の血圧情報を確認する場合を説明した。次に、対象者から離れた場所にいる家族や主治医が対象者の血圧の状態を確認する場合を説明する。図24は、第1の実施形態に係る生体情報計測装置の適用の一例を説明するための図である。例えば、図24に示すように、対象者が暮らす家に映像取得装置110bであるカメラが設置され、設置されたカメラが対象者の顔及び顔以外の映像を撮影する。そして、カメラによって撮影された顔及び顔以外の映像が、生体情報計測装置100としてのPCに送られる。顔及び顔以外の映像を受信したPCは、映像脈波を抽出して、上述した血圧の計測処理や、色相動画像の生成、自律神経に関する指標の算出を実行する。
その後、PCは、計測結果や、色相動画像、自律神経に関する指標を、インターネットを介して家族や主治医に送信する。家族や主治医は、PCから送られてきた計測結果や、色相動画像、自律神経に関する指標を確認して、対象者の体調を推定する。なお、上述した例では、カメラによって撮影された映像を用いた血圧の計測を、映像を受信したPCが実行する場合を例に挙げて説明したが、実施形態はこれに限定されるものではなく、家族のもつ携帯電話やスマートフォン、主治医が使用するPCなどに対象者の映像が送られ、各装置で映像を用いた血圧の計測を行う場合であってもよい。対象者の映像は、映像取得装置110bとしてのカメラによって取得されるだけではなく、対象者の携帯電話やスマートフォンなどに備え付けられたカメラによって取得される場合であってもよい。かかる場合には、映像を取得した携帯電話やスマートフォンなどが対象者の家族や主治医に送信する場合であってもよく、対象者の映像を家族のもつ携帯電話やスマートフォン、主治医が使用するPCなどに送信する場合であってもよい。これにより、例えば、遠く離れた家族の様子や、患者の普段の様子を確認することができる。
次に、生体情報計測装置100が、機器を操作する対象者の血圧をモニタリングするために用いられてもよい。具体的には、算出部152は、機器を操作する対象者を撮影することで取得された映像信号を用いて差分を算出する。計測部153は、機器を操作する対象者の血圧の変動を計測する。出力部120a又は出力装置120bは、機器を操作する対象者に関する出力情報を、機器を操作する対象者に対して出力する。図25は、第1の実施形態に係る生体情報計測装置の適用の一例を説明するための図である。図25においては、自動車を運転する運転車を対象者として、血圧の変動をモニタリングする場合について示す。
例えば、自動車や列車、原発などの運転に従事する運転者が何らかの疾患により体調を悪化させた場合、大きな事故などに繋がってしまう。そこで、第1の実施形態に係る生体情報計測装置100を用いて運転者の血圧の状態をモニタリングすることで、事故を未然に防ぐことを可能にする。例えば、図25に示すように、映像取得装置110bとしてのカメラが自動車の運転者の顔及び顔以外の部位を撮影して、生体情報計測装置100としてのマイコンやPCに映像を送信する。マイコンやPCは、カメラから受信した顔及び顔以外の部位の映像信号から映像脈波を抽出して、上述した血圧の計測処理や、色相動画像の生成、自律神経に関する指標の算出を実行する。
ここで、マイコンやPCは、運転者の血圧の計測結果や自律神経の指標に異常を検出した場合に、出力装置120bとしてのスピーカーなどを介して運転者に対して警告を出力する。例えば、スピーカーから「体調が急変しています、直ちに運転操作を終了してください」とする警告の音声情報を出力する。或いは、マイコンやPCは、車における制御装置に対して信号を送信することで、自動でブレーキをかけるなどの危険回避動作を指示する。さらに、マイコンやPCは、ネットワークを介して運転者の主治医に異常を示した血圧の計測結果や自律神経の指標の情報を送信する。なお、図25に示すマイコンやPCは、車内に配置される場合であってもよく、ネットワーク上に配置される場合であってもよい。
次に、入浴による血圧変動を監視する例について説明する。上述したように、入浴時の環境温度変化が身体へもたらす影響が大きな問題となっている。そこで、ヒートショックに関連した入浴中の死亡者数を減少させるために、入浴前後の血圧の変動をモニタリングして、危険な場合に注意を促す。図26は、第1の実施形態に係る生体情報計測装置の適用の一例を説明するための図である。ここで、図26においては、入浴前後の血圧の変動をモニタリングする場合について示す。図26に示すように、入浴中の血圧の変動は、温かい室内から寒い脱衣所への移動、さらに寒い浴室への移動、そして、熱めの浴槽内への移動と、短時間での急激な温度変化が大きな要因である。そこで、入浴前後の対象者の血圧をモニタリングして、対象者本人に注意を促したり、家族の携帯電話やスマートフォン、主治医が使用するPCなどに血圧変動の状態を送信したりすることで、体調の推定を行うようにする。
例えば、入浴前後の対象者の映像をカメラで取得し、生体情報計測装置100としてのマイコンやPCなどによって血圧変動の計測処理や、自律神経に関する指標の算出を実行する。そして、血圧変動の計測結果や、自律神経に関する指標値を対象者や家族、主治医などに報知する。これによって、対象者の血圧や、自律神経に関する指標値について、本人、家族、主治医などが注意を払うことができる。
図27は、第1の実施形態に係る入浴前後の血圧モニタリングの一例を説明するための図である。図27においては、居室、脱衣室及び浴室のそれぞれで血圧モニタリングを行う場合について示す。例えば、入浴前後の血圧モニタリングにおいては、特に温度が急激に変化する移動の前後をモニタリングする。すなわち、生体情報計測装置100は、居室から脱衣室への移動、脱衣室から浴室への移動、入浴開始の前後について、血圧モニタリングを実行する。なお、図27における例では、生体情報計測装置100が、脱衣室のハーフミラーの背面に設置され、各部屋からの映像信号を受信して、各部屋に出力情報を出力する場合を示す。
例えば、生体情報計測装置100は、居室に設置された映像取得装置110bとしてのカメラから居室にいる対象者の顔と顔以外の部位の映像を受信して、対象者が居室にいるときの血圧の状態を計測する。ここで、生体情報計測装置100は、対象者が居室にいる間、継続して血圧情報を計測する。そして、対象者が居室から脱衣室に移動すると、生体情報計測装置100は、映像取得部110aによって取得された対象者の顔と顔以外の部位の映像から血圧情報を計測する。ここで、出力部120aは、図27に示すように、居室での血圧「入室前:○○」と脱衣室での血圧「入室後:××」を対象者に対して出力する。対象者は出力された情報を確認することで、自身の血圧の変動をチェックすることができる。ここで、例えば、入室後に血圧が大幅に上昇した場合には警告情報を表示させることも可能である。
そして、対象者が脱衣室から浴室に移動すると、生体情報計測装置100は、浴室に配置されたカメラなどの映像取得装置110bによって取得された対象者の顔と顔以外の部位の映像から血圧情報を入浴前の血圧情報として計測する。そして、対象者が入浴を開始すると、生体情報計測装置100は、カメラなどの映像取得装置110bによって取得された顔の映像と、浴室の手すりに配置された反射型フォトセンサなどの映像取得装置110bによって取得された顔以外の映像信号とから入浴中の対象者の血圧情報を計測する。ここで、浴室に配置されたスピーカーなどの出力装置120bは、図27に示すように、生体情報計測装置100によって計測された入浴前の血圧情報「入浴前:△△」と入浴中の血圧情報「入浴後:□□」とを音声情報で報知する。これにより、対象者は入浴前後の血圧の変動をチェックすることができる。ここで、例えば、入浴後に血圧が大きく下がり始めた場合には、警告情報を音声で出力することもできる。また、上述した例では、脱衣室への入室前後と、入浴前後の血圧情報を出力する場合を説明したが、実施形態はこれに限定されるものではなく、任意の時点での血圧情報を出力することができる。例えば、脱衣室から浴室に移動した前後の血圧の変動を出力することができる。
なお、居室、脱衣室、浴室で取得された映像信号は、ネットワークを介してPHR装置200に送信され、PHR装置200が血圧情報を計測して、離れた場所にいる家族や主治医に血圧情報を出力することもできる。
上述した実施形態では、生体情報計測装置100がタブレット端末や、PCである場合を例に挙げて説明したが、実施形態はこれに限定されるものではなく、種々の装置にて実現することができる。例えば、生体情報計測装置100は、頭部に装着するディスプレイ装置(Head Mounted Display:HMD)によって実現することもできる。図28は、第1の実施形態に係る生体情報計測装置100の一例を示す図である。図28に示すように、例えば、生体情報計測装置100は、HMDとしてのメガネ型ウェアラブル装置にて実現することも可能である。かかる場合には、生体情報計測装置100は、メガネ型ウェアラブル装置に取り付けられたカメラによって対象者の映像を撮影して、出力情報をメガネ上のモニタに表示する。この構成によると、例えば、体調を推定したい他者を見ることによって、色相動画像を観察したり、血圧変動を推定したりすることができる。例えば、多数の傷病者が発生した場合に、傷病者の状態を一目で把握することができ、トリアージを行う場合などに効率的に行うことができる。
また、上述した実施形態では、映像取得装置110bが固定式のカメラなどである場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、カメラ付き無人飛行機(ドローン)を映像取得装置110bとして利用する場合であってもよい。図29は、第1の実施形態に係る映像取得装置の一例を説明するための図である。例えば、図29に示すように、映像取得装置110bとしてのドローンが、慢性疾患者や、乳幼児、ペット、家畜などの映像を取得して、マイコンやPC、携帯電話、スマートフォンに映像信号を送信する。そして、携帯電話やPCなどから出力される血圧情報から家族や主治医が対象者の体調の推定を行う。これにより、固定のカメラでは撮影できない場合にも対応することができる。
(第2の実施形態)
上述した第1の実施形態においては、対象者の顔を撮影した映像信号の輝度情報と、顔以外の部位を撮影した映像信号の輝度情報とを差分して、差分の増減に応じて血圧の変動を推定する場合について説明した。すなわち、第1の実施形態では、末梢血管抵抗増大による脈波出現の遅延の影響を受ける血流と、末梢血管抵抗増大による脈波出現の遅延の影響を受けない血流とを対象として、映像信号から「dPTT」又は「PD」を算出して、血圧との正の相関関係に基づく血圧変動推定について説明した。第2の実施形態では、第1の実施形態とは異なる手法により映像信号から「dPTT」を算出し、算出した「dPTT」に基づいて血圧の変動を推定する場合について説明する。なお、第2の実施形態に係る生体情報計測装置100は、第1の実施形態に係る生体情報計測装置100と比較して、皮膚領域抽出部151による処理内容、算出部152による処理内容及び計測部153による処理内容が異なる。以下、これらを中心に説明する。
ここで、第2の実施形態で説明する手法では、対象となる血流はいずれであってもよい。すなわち、以下で説明する手法では、末梢血管抵抗増大による脈波出現の遅延の影響を受ける血流に基づく映像信号と、末梢血管抵抗増大による脈波出現の遅延の影響を受けない血流に基づく映像信号とを任意に組み合わせて血圧の変動を推定することができる。例えば、顔(頬)の映像信号と顔(額)の映像信号とから血圧の変動を推定してもよい。また、例えば、顔の映像信号と顔以外(例えば、手)の映像信号とから血圧の変動を推定してもよい。或いは、顔以外の2つの部位の映像信号から血圧の変動を推定してもよい。
上述した第1の実施形態では、顔の映像信号及び顔以外の映像信号の瞬時位相をそれぞれ算出し、算出した瞬時位相の差から瞬時位相差「PD」を算出することで、血圧の変動を推定した。これに対して、第2の実施形態における手法では、瞬時位相を算出せず、映像脈波「iPPG」から「dPTT」を直接算出して、血圧の変動を推定する。図30は、第2の実施形態に係る生体情報計測装置100による脈波伝播時間差「dPTT」の算出の概要を示す図である。ここで、図30においては、第1の実施形態に係る生体情報計測装置100による「dPTT」の算出との比較とともに、第2の実施形態に係る生体情報計測装置100による「dPTT」の算出例を示す。
図30に示すように、第1の実施形態に係る生体情報計測装置100においては、脈波の伝播距離が長い「遠位部」の映像脈波、及び、脈波の伝播距離が短い「近位部」の映像脈波に対してそれぞれヒルベルト変換(Hilbert変換)を施すことにより、瞬時位相「rad」をそれぞれ算出する。そして、第1の実施形態に係る生体情報計測装置100は、ヒルベルト変換により算出した2か所の瞬時位相を差分することで瞬時位相差「PD」を算出する。また、第1の実施形態に係る生体情報計測装置100は、算出した「PD」に対して「心拍間隔[S]」を積算することにより脈波伝播時間差「dPTT」を算出する。第1の実施形態に係る生体情報計測装置100は、正の相関関係に基づいて、「PD」或いは脈波伝播時間差「dPTT」の変動から血圧の変動を推定する。
これに対して、第2の実施形態に係る生体情報計測装置100は、「遠位部」の映像脈波と「近位部」の映像脈波とから、瞬時位相を算出せずに、脈波伝播時間差「dPTT」を算出する。ここで、第2の実施形態に係る生体情報計測装置100は、2か所の映像脈波「iPPG」における特徴領域の時間差から「dPTT」を算出する。例えば、第2の実施形態に係る生体情報計測装置100は、図30に示すように、2つの「iPPG」におけるピーク(映像脈波において山となっている部分)の時間差及びバレー(映像信号において谷となっている部分)の時間差を示す極値時間差(PTD)を用いて脈波伝播時間差(dPTT)を算出する。
一例を挙げると、第2の実施形態に係る生体情報計測装置100は、図30に示すように、近位部の映像脈波「iPPG1」及び遠位部の映像脈波「iPPG2」について、対応する極値時間(ピーク時間及びバレー時間)をそれぞれ抽出する。そして、生体情報計測装置100は、対応する極値ごとの極値時間差をそれぞれ算出し、算出した極値時間差を用いて脈波伝播時間差を算出する。なお、第2の実施形態では、映像脈波の特徴領域として極値を用いる例について説明するが、実施形態はこれに限定されるものではなく、映像脈波における任意の領域が用いられる場合であってもよい。換言すると、2つの映像脈波において対応する領域であればどの領域を用いてもよい。例えば、映像脈波におけるバレーからピークに至るまでの領域(或いは、所定の点)や、ピークからバレーに至るまでの領域(或いは、所定の点)を用いる場合であってもよい。この場合、生体情報計測装置100は、2つの映像脈波において対応する領域を抽出し、抽出した領域の時間差を用いて脈波伝播時間差を算出する。
以下、第2の実施形態に係る生体情報計測装置100による処理の詳細について説明する。ここで、第2の実施形態に係る生体情報計測装置100においては、顔の映像信号と顔以外の映像信号とから「dPTT」を算出し、算出した「dPTT」に基づいて血圧の変動を推定する場合を一例に挙げて説明する。第2の実施形態に係る皮膚領域抽出部151は、被検体を撮影した映像中から被検体の顔領域を抽出する。例えば、皮膚領域抽出部151は、撮影された映像に対して顔認識処理を行うことで、対象者の顔領域の画素の座標を抽出する。ここで、皮膚領域抽出部151は、抽出した顔領域における所定の位置に複数の領域を設定する。具体的には、皮膚領域抽出部151は、抽出した顔領域において、脈波の伝播距離が長い「遠位部」のROIと、脈波の伝播距離が短い「近位部」のROIとを設定する。
図31Aは、第2の実施形態に係る皮膚領域抽出部151による遠位部と近位部の設定の一例を示す図である。例えば、皮膚領域抽出部151は、被検体を撮影した映像中から顔認証処理により被検体の顔領域を抽出する。そして、皮膚領域抽出部151は、図31Aに示すように、抽出した顔領域に遠位部と近位部とを設定する。例えば、皮膚領域抽出部151は、顔領域に含まれる顔の各部位の位置に基づいて、図31Aに示すように、目及び眉毛などを囲んだ領域を遠位部のROIと設定する。また、皮膚領域抽出部151は、例えば、口や鼻の一部などを囲んだ領域を近位部のROIと設定する。なお、図31Aに示す遠位部及び近位部はあくまでも一例である。すなわち、皮膚領域抽出部151は、操作者による任意の設定に基づいて、遠位部と近位部とを設定することができる。
ここで、皮膚領域抽出部151は、血流に基づく緑色の輝度情報の変化を取得することが難しい領域(例えば、髪の毛がかかった領域や、目の領域、眉毛の領域、唇の領域、或いは、背景部分など)を遠位部や近位部の領域から除外することができる。一例を挙げると、皮膚領域抽出部151は、顔における特徴点の情報や、画素値に基づいて、図31Aに示す遠位部から眉毛の領域と目の領域とを除外する。また、皮膚領域抽出部151は、図31Aに示す近位部から唇の領域を除外する。このように、遠位部のROIと近位部のROIを設定すると、皮膚領域抽出部151は、設定した各ROIの座標を算出部152に送信する。例えば、皮膚領域抽出部151は、各ROIに含まれる座標のうち、血流に基づく緑色の輝度情報の変化を取得することができる領域に対応する座標を算出部152に送信する。
上述した例では、皮膚領域抽出部151が、自動で遠位部と近位部を設定する場合について説明したが、操作者によって遠位部と近位部とが設定される場合であってもよい。この場合、操作者は、映像を観察しながらマウスやタッチパネルなどの入力部を操作して、遠位部のROIと近位部のROIとを設定する。皮膚領域抽出部151は、入力部を介して遠位部のROIと近位部のROIが設定されると、設定された各ROIの座標を算出部152に送信する。なお、遠位部のROIと近位部のROIが操作者によって手動で設定される場合でも、皮膚領域抽出部151は、上述したように、血流に基づく緑色の輝度情報の変化を取得することが難しい領域を遠位部や近位部の領域から除外することができる。すなわち、皮膚領域抽出部151は、各ROIに含まれる座標のうち、血流に基づく緑色の輝度情報の変化を取得することができる領域に対応する座標を算出部152に送信する。
皮膚領域抽出部151は、上述した顔領域の抽出処理と、顔領域における遠位部のROI及び近位部のROIの設定処理を、映像を構成する各フレームについてそれぞれ実行して、各フレームにおける遠位部のROIの座標及び近位部のROIの座標を算出部152に順次送信する。例えば、皮膚領域抽出部151は、各ROIが設定されたフレームから以降のフレームについて、映像中の特徴点を用いたトラッキング処理によりフレームごとの各ROIの座標をトラッキングして、トラッキングした結果の座標を算出部152に順次送信する。
第2の実施形態に係る算出部152は、対象者の複数の領域における映像信号に含まれる緑色光の輝度値をそれぞれ抽出する。具体的には、算出部152は、皮膚領域抽出部151によって設定された遠位部のROIと近位部のROIにおける緑色光の輝度値をそれぞれ抽出する。ここで、第2の実施形態に係る算出部152は、第1の実施形態と同様に、映像信号から緑色光を抽出する前に、画像の平滑化処理を行う。そして、算出部152は、遠位部のROIと近位部のROIにおける緑色光の輝度値をそれぞれ抽出し、各ROIについて、緑色光の輝度値の平均値をフレームごとに算出して時間変化曲線とした緑信号を抽出する。
図31Bは、第2の実施形態に係る緑色光の輝度値の抽出を説明するための図である。図31Bにおいては、縦軸を「輝度平均値に基づく値」とし、横軸を「Time [s](時間)」とした、緑色光の輝度平均値のグラフを示す。例えば、算出部152は、映像を構成する複数のフレームそれぞれから、各ROIにおける緑色光の輝度値を抽出する。そして、算出部152は、各フレームについて、抽出した緑色光の輝度値のROIごとの平均値を算出することで、図31Bに示すように、遠位部のROI及び近位部のROIそれぞれにおける緑色の輝度平均値のグラフを抽出する。なお、図31Bにおいては、血流の増減と緑信号の増減とを一致させるために、緑信号に「−1」を乗算して正負反転させたものを示す。
続いて、算出部152は、抽出した各ROIの「緑信号」に対してそれぞれフィルタ処理を施すことによって、各ROIにおける脈波信号を抽出する。例えば、算出部152は、「0.5−2.0 Hz」の周波数帯を通過する次数「5」のバタワースフィルタを使用することで、心拍成分以外の信号成分を除去する。図31Cは、第2の実施形態に係る脈波信号の抽出を説明するための図である。図31Cにおいては、図31Bに示す「緑信号」から脈波を抽出する場合を示す。また、図31Cにおいては、縦軸を「Amplitude(振幅)」とし、横軸を「Time [s](時間)」とした脈波信号を示す。例えば、算出部152は、図31Cに示すように、各ROIにおける「緑信号」にフィルタ処理を施すことで、遠位部と近位部に対応する「映像脈波(iPPG)」をそれぞれ抽出する。図31Cに示すように、抽出される「映像脈波」は、正弦波状の周期的な波形となっており、心臓の1拍動によって生じる脈波がフィルタ処理後の波形の1つの山として現れる。
上述したように、算出部152は、遠位部のROIと近位部のROIにおける映像脈波をそれぞれ抽出する。そして、算出部152は、算出した各映像脈波を用いて脈波伝播時間差(dPTT)を算出する。具体的には、算出部152は、各映像信号中の緑色光の輝度値における所定の特徴点間の時間差を、脈波伝播時間差として算出する。例えば、算出部152は、各ROIにおける映像脈波の極値時間差「PTD」(ピーク値の時間差及びバレー値の時間差)を「dPTT」として算出する。
ここで、極値時間差「PTD」の算出精度を高めるために、算出部152は、所定の期間における特徴点間の時間差のトリム平均値を、脈波伝播時間差として算出する。脈波の伝播速度は、「約1.0m/s」である。従って、例えば、図31Aに示すような遠位部と近位部との距離が「10cm」程度の場合、近位部から遠位部まで脈波が伝播する時間は、「約100ms(ミリ秒)」となる。すなわち、ROI間の映像脈波の極値時間差は、血圧の変動に伴って「100ms」程度の時間で変動することとなる。第2の実施形態に係る算出部152は、この時間差の変動を算出するが、映像取得部110aによって取得された映像のフレームレートに応じて時間差の算出精度が変わる。
例えば、「140fps」程度の高いフレームレートで映像を取得した場合、輝度平均値のグラフが密なサンプリング点に基づいて抽出されることから、各ROIにおける極値の時間をより正確に抽出することができる。その結果、算出部152は、「100ms」程度の時間で変動する極値時間差の変動をより正確に算出することができる。一方、一般的なカメラの映像のようにフレームレートが「30fps」程度の場合、フレームレート「140fps」の場合と比較して、輝度平均値のグラフが疎のサンプリング点に基づいて抽出されることから、各ROIにおける極値の時間の抽出精度が低下することとなる。その結果、算出部152によって算出される極値時間差の変動は、フレームレートが「140fps」の場合と比較して、精度が低下することとなる。
そこで、第2の実施形態に係る算出部152は、所定の期間における極値時間差のトリム平均値を脈波伝播時間差として算出する。図32A及び図32Bは、第2の実施形態に係る算出部152による極値時間差のトリム平均の一例を説明するための図である。ここで、図32Aにおいては、図31Cに示す映像脈波に対してトリム平均処理を行う場合について示す。例えば、算出部152は、所定の期間として「10秒」を用いて極値時間差のトリム平均値を算出する。一例を挙げると、算出部152は、図32Aに示すように、遠位部及び近位部の映像脈波に対して、「10秒」のデータウィンドウを用いてトリム平均処理を実行する。すなわち、算出部152は、各ROIの映像脈波において、データウィンドウに含まれる極値の時間差をそれぞれ算出し、算出した極値時間差のうち飛び値を除いた値の平均値を算出する。
例えば、算出部152は、「10秒」のデータウィンドウに含まれる極値(ピーク値及びバレー値)について、それぞれ極値時間差を算出する。そして、算出部152は、例えば、算出した極値時間差の頻度分布に基づいて飛び値を抽出し、抽出した飛び値を除いた平均値を算出する。図32Bにおいては、「10秒」のデータウィンドウに含まれる極値における極値時間差の頻度分布を示す。なお、縦軸に度数を示し、横軸に極値時間差を示す。算出部152は、例えば、図32Bに示す極値時間差のうち飛び値(例えば、−200付近にある極値時間差の値など)を除き、その他の値の平均値を脈波伝播時間差として算出する。
ここで、算出部152は、例えば、極値時間差の頻度分布に対して所定の閾値を適用することで飛び値を抽出し、抽出した飛び値を除外する。一例を挙げると、算出部152は、極値時間差の分布において、上下30%に対応する極値時間差の値を飛び値として除外し、残った極値時間差の値の平均値を脈波伝播時間差として算出する。なお、トリム平均の飛び値を抽出するための閾値は、操作者によって任意に設定される。
算出部152は、トリム平均値を算出するためのデータウィンドウを所定の時間でずらしながら、各位置でのトリム平均値を算出し、脈波伝播時間差「dPTT」の経時的な変化を算出する。例えば、算出部152は、図32Aに示す「10秒」のデータウィンドウを「1秒」ずつずらした位置でトリム平均値をそれぞれ算出することで、経時的な脈波伝播時間差を算出する。図33は、第2の実施形態に係る算出部152によって算出される脈波伝播時間差の一例を示す図である。図33においては、縦軸に脈波伝播時間差(dPTT[ms])を示し、横軸に「時間(Time[s])」を示した脈波伝播時間差のグラフを示す。例えば、算出部152は、「1秒」ごとにデータウィンドウをずらし、各データウィンドウの位置で算出した「1秒」ごとのトリム平均値(脈波伝播時間差)をグラフにプロットし、各値間を直線で結ぶことで、図33に示すような脈波伝播時間差の経時的な変化を示すグラフを算出する。
なお、上述した例はあくまでも一例であり、実施形態はこれに限定されるものではない。例えば、トリム平均値を算出するためのデータウィンドウの時間幅は「10秒」に限らず、任意に設定される。すなわち、操作者がデータウィンドウの時間幅を任意に設定することができ、例えば、映像取得部110aによって取得される映像信号のフレームレートに応じて設定する場合であってもよい。一例を挙げると、フレームレートが高い場合にはデータウィンドウの時間幅を狭くし、フレームレートが低い場合にはデータウィンドウの時間幅を広くするように設定されてもよい。また、例えば、データウィンドウをずらす時間は「1秒」に限らず、任意に設定される。すなわち、操作者がデータウィンドウをずらす時間を任意に設定することができる。
第2の実施形態に係る計測部153は、脈波伝播時間差の増減に基づいて対象者の血圧の変動を計測する。具体的には、計測部153は、脈波伝播時間差が算出された映像信号が対象者の顔から取得された場合に、脈波伝播時間差の増加を血圧の下降変動として計測し、脈波伝播時間差の減少を血圧の上昇変動として計測する。例えば、上述したように、対象者の顔領域に遠位部のROIと近位部のROIが設定され、各ROIの映像脈波を用いて脈波伝播時間差が算出された場合、計測部153は、脈波伝播時間差と血圧との負の相関に基づいて血圧を計測する。
第1の実施形態において説明したように、脈波伝播時間差を算出するためのROIが顔と顔以外の部位の場合、末梢血管抵抗増大による脈波出現の遅延の影響を受けない血流と、末梢血管抵抗増大による脈波出現の遅延の影響を受ける血流とに基づく映像脈波をそれぞれ抽出するため、正の相関関係に基づいて血圧の変動を計測した。しかしながら、第2の実施形態では、顔領域に設定された2つのROIにおける映像脈波から脈波伝播時間差を算出する。すなわち、顔領域に設定された遠位部のROIと近位部のROIでは、どちらも末梢血管抵抗増大による脈波出現の遅延の影響を受けない血流に基づく映像脈波が抽出される。従って、計測部153は、脈波伝播時間差と血圧との負の相関に基づいて、脈波伝播時間差の増加を血圧の下降変動として計測し、脈波伝播時間差の減少を血圧の上昇変動として計測する。なお、第2の実施形態に係る計測部153は、顔と顔以外の部位の映像脈波から上述した手法により脈波伝播時間差が算出された場合、第1の実施形態と同様に、正の相関関係に基づいて血圧の変動を計測する。
以下、図34A〜図34Jを用いて、第2の実施形態に係る生体情報計測装置100による映像脈波解析の一例を説明する。図34A〜図34Jは、第2の実施形態に係る生体情報計測装置100による映像脈波解析の一例を説明するための図である。ここで、図34A〜図34Jは、映像脈波解析のために出力部120aや、出力装置120bに表示出力される表示画面の一例を示す。まず、生体情報計測装置100が映像脈波解析の開始操作を受け付けると、出力制御部154が、解析のための設定画面を出力部120aや、出力装置120bに表示出力させる。
例えば、出力制御部154は、図34Aに示すように、「映像信号の入力元」、「解析対象領域の設定」、「フィルタ種類」、「モザイク表示」及び「肌色領域追跡」の設定項目を含む設定画面を表示させる。ここで、図34Aに示す「映像信号の入力元」とは、解析対象となる映像の入力元を設定する項目である。例えば、「カメラから」が選択された場合、映像取得部110aや、映像取得装置110bから取得された映像が解析対象となる。一方、「ファイルから」が選択された場合、映像記憶部141によって記憶された映像が解析対象となる。すなわち、操作者は、「映像信号の入力元」に対する選択操作を行うことで、解析対象の映像を選択する。なお、「ファイルから」が選択された場合、出力制御部154は、ファイル選択の選択画面をさらに表示させる。
また、図34Aに示す「解析対象領域の設定」とは、映像中にROIを設定する項目である。例えば、「上下」が選択された場合、皮膚領域の上下にROIが設定される。例えば、顔領域の上下にROIが設定される。また、「左右」が選択された場合、皮膚領域の左右にROIが設定される。例えば、顔領域の左右にROIが設定される。また、「手動」が選択された場合、操作者によって皮膚領域にROIが設定される。すなわち、「手動」が選択された場合、出力制御部154が映像を表示させ、入力部がROIの設定操作を受け付けることとなる。ここで、解析対象領域として設定されるROIは、さらにモザイク状に分割させることも可能である。例えば、各ROIを所定の数の領域に分割して、それぞれを解析対象領域とすることも可能である。なお、ROIの分割については、後に詳述する。
また、図34Aに示す「フィルタ種類」とは、緑信号から映像脈波を抽出するためのフィルタの種類を設定する項目である。例えば、「バンドパスフィルタ」が選択された場合、バンドパスフィルタを用いて映像脈波が抽出される。一方、「櫛形フィルタ」が選択された場合、櫛形フィルタを用いて映像脈波が抽出される。ここで、「櫛形フィルタ」は、脈波が周期的な三角波で成り立つ性質を利用して、FFT(Fast Fourier Transform)と逆FFTを組み合わせて基本波と高調波成分以外を除去するフィルタである。従って、このようなフィルタを用いることで、映像脈波におけるピーク(山となっている部分)やバレー(谷となっている部分)の位置が正確になり、脈波伝播時間差の精度を向上させることができる。また、図34Aに示す「モザイク表示」とは、ROI内をモザイク状に分割した場合に、モザイク表示を行うか否かを設定する項目である。例えば、「行う」が選択された場合、各ROI内がモザイク状に分割され、映像に重畳されて表示される。一方、「行わない」が選択された場合、各ROI内がモザイク状に分割されることなく、映像に重畳されて表示される。
また、図34Aに示す「肌色領域追跡」とは、映像の各フレームにおける肌の色の領域の追跡を行うか否かを設定する項目である。例えば、「行う」が選択された場合、各フレームについて、肌の色を示す領域を抽出することによって対象者の皮膚領域を抽出する処理が実行される。一方、「行わない」が選択された場合、対象者の皮膚領域の抽出処理は行われない。なお、図34Aに示す設定項目は、あくまでも一例であり、任意に追加・削除を行うことができる。
図34Aに示す各設定項目が選択され、「OK」ボタンがクリックされると、出力制御部154は、詳細な設定を行うための設定画面を出力部120aや、出力装置120bに表示出力させる。例えば、出力制御部154は、図34Bに示すように、「フレーム周波数[fps]」、「計算表示周期[s]」、「入力データ窓の長さ[s]」、「出力表示の長さ[s]」、「ディスクに保存するデータの長さ[s]」、「肌色領域追跡周期[s]」、「バンドパスフィルタの[下限周波数,上限周波数][Hz]」、「画面分割数[横,縦][個]」、「輝度信号に対するメディアンフィルタの次数(3以上で適用)」及び「トリム平均の閾値[%](0〜50%)」などの項目を含む設定画面をさらに表示させる。
ここで、図34Bに示す「フレーム周波数[fps]」とは、映像のフレームレートを設定する項目である。例えば、操作者は、図34Bに示すように、「フレーム周波数[fps]」に数値「40」を入力することで、これから撮影する映像のフレームレートを「40fps」に設定したり、撮影済みの映像のフレームレートを「40fps」に下げたりすることができる。また、図34Bに示す「計算表示周期[s]」とは、緑信号や映像脈波を表示する周期を設定する項目である。例えば、操作者は、図34Bに示すように、「計算表示周期[s]」に数値「10」を入力することで、緑信号や映像脈波の表示周期を「10s」に設定することができる。
また、図34Bに示す「入力データ窓の長さ[s]」とは、トリム平均処理を行うためのデータウィンドウの時間幅を設定する項目である。例えば、操作者は、図34Bに示すように、「入力データ窓の長さ[s]」に数値「10」を入力することで、データウィンドウの時間幅を「10s」に設定することができる。また、図34Bに示す「出力表示の長さ[s]」とは、心拍や脈波伝播時間差を表示する周期を設定する項目である。例えば、操作者は、図34Bに示すように、「出力表示の長さ[s]」に数値「100」を入力することで、心拍や脈波伝播時間差の表示周期を「100s」に設定することができる。
また、図34Bに示す「ディスクに保存するデータの長さ[s]」とは、保存するデータの時間を設定する項目である。例えば、操作者は、図34Bに示すように、「ディスクに保存するデータの長さ[s]」に数値「120」を入力することで、「120s」のデータを保存させることができる。また、図34Bに示す「肌色領域追跡周期[s]」とは、対象者の皮膚領域を抽出する処理の周期を設定する項目である。例えば、操作者は、図34Bに示すように、「肌色領域追跡周期[s]」に数値「1」を入力することで、「1s」ごとに皮膚領域の抽出処理を実行させることができる。
また、図34Bに示す「バンドパスフィルタの[下限周波数,上限周波数][Hz]」とは、映像脈波の抽出に用いるバンドパスフィルタの帯域を設定する項目である。例えば、操作者は、図34Bに示すように、「バンドパスフィルタの[下限周波数,上限周波数][Hz]」に数値「[0.5,2]」を入力することで、バンドパスフィルタの帯域を「0.5Hz〜2.0Hz」に設定することができる。また、図34Bに示す「画面分割数[横,縦][個]」とは、ROI内をモザイク状に分割する分割数を設定する項目である。例えば、操作者は、図34Bに示すように、「画面分割数[横,縦][個]」に数値「[10,10]」を入力することで、各ROI内を「横:10個,縦:10個」のモザイク状に分割することができる。
また、図34Bに示す「輝度信号に対するメディアンフィルタの次数(3以上で適用)」とは、緑信号の抽出に用いるメディアンフィルタの次数を設定する項目である。ここで、メディアンフィルタの次数の設定においては、図34Bに示すように、(3以上で適用)とし、3未満では適用しないように設定することもできる。例えば、操作者は、図34Bに示すように、「輝度信号に対するメディアンフィルタの次数(3以上で適用)」に数値「0」を入力することで、適用しないように設定することができる。また、図34Bに示す「トリム平均の閾値[%](0〜50%)」は、トリム平均処理の閾値を設定する項目である。例えば、操作者は、図34Bに示すように、「トリム平均の閾値[%](0〜50%)」に数値「30」を入力することで、トリム平均処理において上下「30%」の脈波伝播時間差を除外するように設定することができる。なお、図34Bに示す設定項目は、あくまでも一例であり、任意に追加・削除を行うことができる。
図34Bに示す各設定項目が入力され、「OK」ボタンがクリックされると、出力制御部154は、解析を開始するための画面を出力部120aや、出力装置120bに表示出力させる。例えば、出力制御部154は、図34Cに示すように、対象者の映像を含む計測画面を表示させる。ここで、出力制御部154は、これから実行する解析の解析結果の保存の有無を操作者に提示することも可能である。例えば、出力制御部154は、解析結果を保存するか否かについて選択肢を提示し、「保存する」と選択された場合、解析結果を計測結果記憶部142に格納するように制御する。一方、「保存しない」と選択された場合、出力制御部154は、解析結果を保存しないように制御する。
出力制御部154が図34Cに示すような画面を表示させると、ROIが設定され、計測が開始される。例えば、図34Cに示すように、対象者の顔領域の上下にROI1及びROI2が設定される。ここで、対象者に設定されるROIは、上述した解析対象領域の設定に応じて自動又は手動で設定される。手動の場合、例えば、図34Cに示す映像に対してROIが設定される。ROIが設定され、「計測開始」ボタンがクリックされると、出力制御部154は、肌色領域を抽出するための設定画面を表示させる。例えば、出力制御部154は、図34Dに示すように、映像の「色相」、「彩度」及び「明度」の最大値と最小値の設定を受け付けて、映像を肌の色の領域だけに限定するための設定画面を表示させる。例えば、操作者は、入力部を介して「色相」、「彩度」及び「明度」の最大値と最小値の設定を調整することで、図34Dの左側の画像を右側の画像のように肌色の領域だけになるように処理を施す。皮膚領域抽出部151は、図34Dの右側のように処理された映像を対象とすることにより、各フレーム内のROI内の肌色に対応する画素を容易に特定することができる。
そして、図34Dにおける設定が完了し、「OK」ボタンがクリックされると、出力制御部154は、解析画面を表示する。例えば、出力制御部154は、図34Eに示すように、対象者の映像や、緑信号(Original)、映像脈波(After Bandpass Filtering)、心拍(Heart Rate)、脈波伝播時間差(Pulse Transit Time Diff.)などの情報を含む解析画面を表示させる。なお、出力制御部154は、対象者の映像に関して、図34Eに示すように、肌色の領域を抽出させた処理後の状態で表示させ、その上にROIを重畳させて表示させる。ここで、図34Bに示す設定の画面分割数において、ROIをモザイク状に分割する設定を行った場合、図34Eにおける各ROIが設定に応じてモザイク状に分割されて解析される。例えば、図34Bの設定において、「画面分割数[横,縦][個]」に数値「[10,10]」が入力されていることから、各ROI内を横に10個、縦に10個のモザイク状に分割し、分割後の各領域の輝度平均値を用いて解析が実行される。
ここで、上述したようにROIがモザイク状に分割された場合、算出部152は、モザイク状の各領域から取得される映像信号(輝度平均値)が脈波の情報を含んでいるか否かを判定することができる。具体的には、算出部152は、各領域から取得される映像信号に含まれる周波数成分を解析することにより、脈波の情報を含んでいるか否かを判定する。脈波は、心臓の収縮によって生じる動脈系圧波動の伝播を示す信号であり、心拍の状態を反映したものである。そこで、算出部152は、例えば、各領域から取得される映像信号に心拍の周波数成分が含まれるか否かを判定することにより、各映像信号が脈波の情報を含んでいるか否かを判定する。
ここで、心拍の間隔(例えば、RR間隔など)は、種々の要因により微妙に変化している。例えば、この心拍間隔の変化について周波数解析すると、いくつかの周波数成分が抽出される。従って、映像信号にこれらの周波数成分が含まれるか否かを判定することにより、映像信号に脈波成分が含まれるか否かを判定することができる。そこで、算出部152は、心拍がいくつかの周波数成分を含むという点に基づいて、例えば、各映像信号における心拍周波数の標準偏差を用いて判定処理を実行する。
以下、図34Fを用いて、判定処理の一例を説明する。図34Fにおいては、「10×10」に分割されたROI1(対象者の顔の下側のROI)の各領域における緑信号の状態を示す図と、各領域から取得された映像信号(輝度平均値)の心拍周波数成分の標準偏差のヒストグラムを示す。なお、図34Fにおいては、1時点の緑信号の状態が示されているが、実際には、各領域における緑信号の状態の変化が示される動画が表示される。例えば、算出部152は、図34Fに示すように、モザイク状に分割されたROI内の各領域から取得される映像信号について周波数解析を行い、心拍周波数成分をそれぞれ抽出する。そして、算出部152は、領域ごとに周波数成分の標準偏差を算出し、算出した標準偏差に基づいて判定処理を実行する。
上述したように、心拍はいくつかの周波数成分を含んでいることから、心拍の周波数成分の標準偏差はある程度大きくなる。そこで、算出部152は、心拍周波数成分の標準偏差のヒストグラムにおいて、標準偏差が低いもの(ヒストグラムの左側)と、標準偏差が高すぎるもの(ヒストグラムの右側)とを除外することで、脈波成分を含む映像信号が取得される領域を抽出する。例えば、算出部152は、図34Fに示すように、領域抽出のための閾値を「下限=1.0019」、「上限:5.4975」とし、心拍周波数成分の標準偏差がその範囲内に含まれる領域を抽出する。これにより、算出部152は、脈波成分が弱い領域(例えば、顔ではない領域など)や、強すぎる領域(例えば、突発的な雑音が生じた領域など)を解析対象から除外して、精度の高い解析を行うことを可能にする。
このように、算出部152が、ROI1について、解析対象となる領域を抽出するための閾値を設定すると、出力制御部154は、図34Fに示すように、操作者に確認するためのウィンドウ(「閾値の設定はこれでよいですか?」のウィンドウ)を表示させる。ここで、操作者が「これでよい」をクリックすると、出力制御部154は、図34Gに示すように、ROI2(対象者の顔の上側の領域)に関する判定処理を実行するためのウィンドウを表示させる。算出部152は、ROI1と同様に、ROI2に含まれる各領域についての閾値を設定する。出力制御部154は、ROI1と同様に、操作者に確認させるためのウィンドウを表示させる。
上述したように各種設定が実行されると、解析が開始され、図34Eに示す解析画面が順次更新される。例えば、出力制御部154は、図34Hに示すように、対象者の映像や、緑信号(Original)、所定の領域の映像脈波に関する情報、心拍(Heart Rate)、脈波伝播時間差(Pulse Transit Time Diff.)などの情報が随時更新される解析画面を表示させる。ここで、出力制御部154は、図34Hに示すように、各ROIをモザイク状にし、各領域における映像脈波の状態を示した脈波情報を対象者の映像に重畳させて表示させる。すなわち、出力制御部154は、モザイク状の各領域について、各領域における映像信号(緑信号)の輝度情報を色相の変化で示した色相動画像を生成し、生成した色相動画像を対象者の動画像に重畳させて表示させる。これにより、各ROIにおける脈波の伝播を視覚的にとらえることができ、血行の状態を視覚的に把握することができる。
また、出力制御部154は、ROI1及びROI2の緑信号(図中の右上段)と、所定の領域における映像脈波に関する情報(図中の右中段)を解析画面に表示させる。ここで、出力制御部154は、所定の領域における映像脈波に関する情報として、心拍周波数成分に基づいて抽出される領域の映像脈波を表示させる。例えば、出力制御部154は、各ROIについて心拍周波数成分の標準偏差の平均値を算出する。そして、出力制御部154は、モザイク状に分割された各領域の心拍周波数成分の標準偏差の中から、算出した平均値に最も近い標準偏差を抽出する。そして、出力制御部154は、抽出した標準偏差が算出された領域における映像脈波を解析画面に表示させる。出力制御部154は、各ROIからそれぞれ領域を抽出し、抽出した領域の映像脈波を解析画面に表示させる。ここで、図34Hの右中段に示す映像脈波は、極小値が「0」となるように変換したものである。例えば、出力制御部154は、図34Hに示すように、上述した処理によりROI1(領域1)の「横:8,縦:7」の領域と、ROI2(領域2)の「横:2,縦:8」の領域とを抽出し、各領域の映像脈波を解析画面に表示させる。
さらに、出力制御部154は、図34Hに示すように、心拍(Heart Rate)の状態や、算出部152によって算出された脈波伝播時間差(Pulse Transit Time Diff.)を解析画面に随時更新しながら表示させる。例えば、出力制御部154は、図34Hの右下段に示すように、ROI1の映像脈波から算出した心拍数を表示させる。なお、心拍数は、ROI1の映像脈波のデータウィンドウ内のトリム平均値の推移として算出される。また、出力制御部154は、図34Hの左下段に示すように、ROI1の輝度平均値と、ROI2の輝度平均値とを用いて算出された脈波伝播時間差(dPTT)を表示させる。
ここで、脈波伝播時間差は、図34Hに示すように、ROIの輝度平均値を用いて算出される場合であってもよいが、ROI内の領域の輝度平均値を用いて算出される場合であってもよい。例えば、算出部152は、ROI1(領域1)の領域「横:8,縦:7」における映像脈波と、ROI2(領域2)の領域「横:2,縦:8」における映像脈波とから脈波伝播時間差を算出することができる。上述したように、第2の実施形態に係る算出部152は、2つの領域における映像脈波の極値時間差から脈波伝播時間差を算出する。すなわち、算出部152は、脈波が伝播する時間の差を映像信号から算出することができる領域であれば、いずれの領域でも用いることができる。換言すると、算出部152は、ROI1輝度平均値とROI2輝度平均値とから脈波伝播時間差を算出してもよく、或いは、モザイク状に分割されたROI1内の1領域の輝度平均値と、ROI2内の1領域の輝度平均値とから脈波伝播時間差を算出してもよい。
さらに、算出部152は、同一のROI内の2つの領域を用いて脈波伝播時間差を算出することもできる。例えば、算出部152は、モザイク状に分割されたROI1から2つの領域を抽出し、抽出した2つの領域における輝度平均値を用いて脈波伝播時間差を算出することもできる。従って、ROIは必ずしも複数設定されなくてもよい。例えば、顔全体に1つのROIを設定し、設定したROIをモザイク状に分割して、脈波伝播時間差を算出する場合であってもよい。このように設定することで、顔全体を対象にした色相動画像から血行の状態を観察しつつ、脈波伝播時間差の変動に基づく血圧の変動を計測して血圧の状態を確認することもできる。なお、対象者の顔の映像が解析対象であり、図34Aに示す解析対象の設定において「左右」が選択された場合、脈波伝播時間差の算出には、同一のROI内における2つの領域が用いられる。
上述したように、解析が実行され、解析画面における計測終了がクリックされると、出力制御部154は、解析された種々の情報を出力部120aや出力装置120bに出力させる。例えば、出力制御部154は、図34Iに示すように、各ROIの映像脈波(輝度平均値)の推移を表示させる。また、出力制御部154は、図34Jに示すように、脈波伝播時間差及び心拍数の推移を表示させる。
このように、対象者の映像信号について解析が実行されると、測定部153は、解析された脈波伝播時間差の変動に基づいて、血圧の変動を計測する。そして、出力制御部154は、計測部153によって計測された血圧の変動を出力部120aや出力装置120bに出力させる。ここで、上述した例における脈波伝播時間差が対象者の顔における2つの領域から算出されていることから、測定部153は、負の相関関係に基づいて、血圧の変動を計測する。すなわち、第2の実施形態に係る計測部153は、算出部152によって算出された「dPTT」が経時的に増加している場合、この時の対象者の血圧が下降していると判定する。また、例えば、計測部153は、算出部152によって算出された「dPTT」が経時的に減少している場合、この時の対象者の血圧が上昇していると判定する。ここで、計測部153は、計測開始からの増加分又は減少分が所定の割合に達した場合に、血圧が下降している、又は、上昇していると判定する場合であってもよい。なお、第2の実施形態に係る計測部153は、「dPTT」と血圧との負の相関関係に基づいて、第1の実施形態に係る計測部153と同様の処理を行うことができる。すなわち、第2の実施形態に係る計測部153は、判定の基準となる相関が負となる以外は、第1の実施形態と同様の処理を実行することができる。
以上、第2の実施形態に係る解析処理の一例について説明した。上述した例では、対象者の顔に設定された2つのROI(或いは、モザイク状に分割されたROI内の2つの領域)における映像脈波を用いて脈波伝播時間差を算出する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、顔と顔以外の部位にROIが設定される場合であってもよい。かかる場合には、算出部152は、顔と顔以外の部位における映像脈波の極値時間差を算出することで、脈波伝播時間差(dPTT)を算出する。そして、計測部153は、算出された「dPTT」の変動に基づいて、対象者の血圧の変動を計測する。ここで、顔と顔以外の部位にROIが設定された場合、計測部153は、「dPTT」と血圧との正の相関関係に基づいて、血圧を計測する。すなわち、計測部153は、第1の実施形態において説明したように、「dPTT」の増加を血圧の上昇として判定し、「dPTT」の減少を血圧の下降と判定する。なお、顔と顔以外の部位にROIが設定された場合、算出部152は、第1の実施形態で説明した手法及び第2の実施形態で説明した手法のどちらの手法を用いてもよい。
また、顔以外の部位に2つのROIが設定される場合であってもよい。かかる場合には、算出部152は、顔以外の部位における映像脈波の極値時間差を算出することで、脈波伝播時間差(dPTT)を算出する。そして、計測部153は、算出された「dPTT」の変動に基づいて、対象者の血圧の変動を計測する。ここで、顔以外の部位に2つのROIが設定された場合、計測部153は、「dPTT」と血圧との負の相関関係に基づいて、血圧を計測する。すなわち、計測部153は、「dPTT」の増加を血圧の下降として判定し、「dPTT」の減少を血圧の上昇と判定する。
上述したように、第2の実施形態に係る生体情報計測装置100は、末梢血管抵抗増大による脈波出現の遅延の影響を受ける血流に基づく映像信号と、末梢血管抵抗増大による脈波出現の遅延の影響を受けない血流に基づく映像信号とを用いる場合には、正の相関関係に基づいて血圧の変動を計測する。また、生体情報計測装置100は、末梢血管抵抗増大による脈波出現の遅延の影響を受けない血流に基づく映像信号のみ、或いは、末梢血管抵抗増大による脈波出現の遅延の影響を受ける血流に基づく映像信号のみを用いる場合には、負の相関関係に基づいて血圧の変動を計測する。すなわち、生体情報計測装置100は、映像脈波が抽出された部位に応じて計測処理を変化させる。
例えば、皮膚領域抽出部151が、設定されたROIが対象者のどの部位であるかを判定し、計測部153が、判定結果に基づいて正の相関関係又は負の相関関係のどちらを用いるかを判別することができる。一例を挙げると、皮膚領域抽出部151は、映像内の対象者の部位を識別し、設定されたROIがどの部位に相当するかを判別してもよい。或いは、皮膚領域抽出部151は、操作者によって入力された部位情報からどの部位かを判別するようにしてもよい。この場合、例えば、出力制御部154が、図34Aに示すような設定画面で部位情報の入力項目を表示させ、入力部が操作者から部位情報の入力を受け付ける。
また、第2の実施形態に係る生体情報計測装置100は、顔と顔以外の部位にROIが設定された場合、上述した極値時間差を算出する手法の他に、第1の実施形態で説明した手法を用いることも可能である。そこで、例えば、出力制御部154が、図34Aに示すような設定画面で、血圧の計測手法の設定項目を表示させ、入力部が操作者から部位情報の入力を受け付けるようにしてもよい。
また、第2の実施形態に係る生体情報計測装置100は、図34A〜図34Jにおいて説明した利用方法以外にも、種々の利用方法に適用することができる。すなわち、第2の実施形態に係る生体情報計測装置100は、第1の実施形態にて説明した種々の利用方法に適用することができる。例えば、生体情報計測装置100は、鏡に映る対象者を撮影することで取得された映像信号を解析して、鏡に映る対象者に解析結果を出力することができる。また、例えば、生体情報計測装置100は、携帯端末に備えられたカメラによって撮影された対象者の映像信号を解析して、携帯端末上の表示部に解析結果を出力することができる。
また、例えば、生体情報計測装置100は、機器を操作する対象者を撮影することで取得された映像信号を解析して、機器を操作する対象者に対して解析結果を出力することができる。また、例えば、生体情報計測装置100は、頭部に装着されるディスプレイ装置を介して観察される対象者を撮影することで取得された映像信号を解析して、ディスプレイ装置を装着した観察者に対して解析結果を出力することができる。また、例えば、生体情報計測装置100は、対象者に関する解析結果を、対象者を観察する観察者に対して出力することができる。また、例えば、生体情報計測装置100は、無人飛行機に搭載されたカメラによって撮影された対象者の映像信号を解析して、対象者を観察する観察者に対して解析結果を出力することができる。
次に、第2の実施形態に係る生体情報計測装置100による処理の流れについて説明する。図35は、第2の実施形態に係る生体情報計測装置100の処理手順を示すフローチャートである。図35に示すように、生体情報計測装置100においては、映像取得部110a又は映像取得装置110bが対象者の映像を取得する(ステップS201)。そして、皮膚領域抽出部151は、ROIが設定された部位が顔と顔以外か判定する(ステップS202)。ここで、ROIが設定された部位が顔と顔以外の場合(ステップS202肯定)、生体情報計測装置100は、ステップS203〜ステップS205の処理に進む。一方、ROIが設定された部位が顔と顔以外ではない場合(ステップS202否定)、生体情報計測装置100は、ステップS207〜ステップS210の処理に進む。
ステップS203〜ステップS205においては、算出部152が、顔と顔以外の部位に設定されたROIにおける緑色光の輝度平均値を算出し(ステップS203)、輝度平均値に基づいて瞬時位相差「PD」又は脈波伝播時間差「dPTT」を算出する(ステップS204)。そして、計測部153は、正の相関に基づいて血圧の変動を計測する(ステップS205)。
ステップS207〜ステップS210においては、算出部152が、顔に設定されたROIにおける緑色光の輝度平均値を算出し(ステップS207)、輝度平均値に基づいて極値時間差を算出する(ステップS208)。そして、算出部153は、所定のデータウィンドウに含まれる極値時間差のトリム平均値を脈波伝播時間差「dPTT」として算出する(ステップS209)。その後、計測部153は、負の相関に基づいて血圧の変動を計測する(ステップS210)。
ステップS203〜ステップS205、又は、ステップS207〜ステップS210の処理が完了すると、出力制御部154が、出力部120a或いは出力装置120bに、計測結果を出力させる(ステップS206)。
上述したように、第2の実施形態によれば、算出部152は、対象者の映像信号の輝度情報に基づいて、対象者の脈波に関する情報を算出する。計測部153は、映像信号を取得した対象者の部位に応じて、脈波に関する情報の増減に基づく対象者の血圧の変動を計測する。従って、第2の実施形態に係る生体情報計測装置100は、血流の特性に応じた血圧の変動の計測を行うことを可能にする。
また、第2の実施形態によれば、皮膚領域抽出部151は、対象者の複数の領域における映像信号に含まれる緑色光の輝度値をそれぞれ抽出する。算出部152は、抽出された各映像信号中の緑色光の輝度値における所定の特徴点間の時間差を、脈波伝播時間差として算出する。計測部153は、脈波伝播時間差の増減に基づいて対象者の血圧の変動を計測する。従って、第2の実施形態に係る生体情報計測装置100は、種々の部位を用いて血圧の変動を計測することを可能にする。
また、第2の実施形態によれば、算出部152は、所定の期間における所定の特徴点間の時間差のトリム平均値を、脈波伝播時間差として算出する。従って、第2の実施形態に係る生体情報計測装置100は、ROI間の距離が近い場合でも、精度よく脈波伝播時間差を算出することを可能にする。
また、第2の実施形態によれば、計測部153は、脈波伝播時間差が算出された映像信号が対象者の顔から取得された場合に、脈波伝播時間差の増加を血圧の下降変動として計測し、脈波伝播時間差の減少を血圧の上昇変動として計測する。従って、第2の実施形態に係る生体情報計測装置100は、血流の特性を考慮して、血圧の変動を計測することを可能にする。
また、第2の実施形態によれば、出力制御部154は、対象者の複数の領域における映像信号の輝度情報をそれぞれ色相の変化で示した色相動画像を生成し、生成した色相動画像を対象者の動画像に重畳させて表示する。従って、第2の実施形態に係る生体情報計測装置100は、対象者の血行状態を視覚的に容易に把握させることを可能にする。
(第3の実施形態)
上述した第1及び第2の実施形態においては、複数のROI(或いは、複数の領域)が設定され、それぞれの映像信号から映像脈波を抽出して血圧の変動を計測する場合について説明した。第3の実施形態では、対象者の映像から脈波の移動(伝播)を検出して、検出した脈波から脈波伝播時間差を算出する場合について説明する。図36は、第3の実施形態に係る生体情報計測装置100aの構成の一例を示す機能ブロック図である。なお、第3の実施形態に係る生体情報計測装置100aは、第2の実施形態に係る生体情報計測装置100と比較して、制御部150aに特徴領域抽出部156を新たに有する点と、算出部152による処理内容が異なる。以下、これらを中心に説明する。
特徴領域抽出部156は、対象者の映像信号の輝度情報に基づいて、対象者の映像における特徴領域を抽出する。具体的には、特徴領域抽出部156は、特徴領域として、対象者の映像において所定の輝度情報を示す領域を抽出する。例えば、特徴領域抽出部156は、対象者の映像において、映像脈波が所定の状態になっている領域(例えば、映像脈波が極値となっている領域など)を抽出する。ここで、特徴領域抽出部156は、対象者の映像において、少なくとも2フレームから特徴領域を抽出する。すなわち、特徴領域抽出部156は、映像に含まれる複数のフレームについて、フレーム内の映像脈波をそれぞれ抽出する。そして、特徴領域抽出部156は、映像脈波が所定の状態となっている領域(例えば、映像脈波が極値となっている領域など)を含む2つ以上のフレームを抽出する。
第3の実施形態に係る算出部152は、特徴領域の追跡結果に基づいて、脈波伝播時間差を算出する。具体的には、算出部152は、脈波伝播時間差として、対象者の映像における所定の輝度情報を示す領域の単位時間あたりの移動量を算出する。すなわち、算出部152は、特徴領域抽出部156によって抽出された領域の単位時間あたりの移動量を脈波伝播時間差として算出する。例えば、算出部152は、映像脈波が極値となっている領域の単位時間あたりの移動量を算出する。
図37は、第3の実施形態に係る生体情報計測装置100aによる脈波伝播時間差の算出の一例を説明するための図である。例えば、特徴領域抽出部156は、図37に示すように、対象者の映像において映像脈波がピークになっている領域R1を抽出する。ここで、特徴領域抽出部156は、図37に示すように、対象者の映像における顔領域をモザイク状の領域に分割する。そして、特徴領域抽出部156は、各領域における映像脈波(輝度平均値)を抽出する。さらに、特徴領域抽出部156は、映像に含まれる複数のフレームにおいて、映像脈波がピークになっている領域を含む2つ以上のフレームを抽出する。例えば、特徴領域抽出部156は、図37に示すように、対象者の映像を構成する複数のフレームの中から、映像脈波がピークになっている領域R1を含む「フレーム1」と「フレーム2」を抽出する。
算出部152は、特徴領域抽出部156によって抽出された領域R1の単位時間あたりの移動量を算出する。例えば、算出部152は、図37に示すように、フレーム1とフレーム2とを用いて領域R1の単位時間あたりの移動量を算出する。ここで、算出部152は、領域R1における輝度平均値の位置を算出し、算出した位置の移動量を算出する。すなわち、算出部152は、映像脈波のピークを示す領域R1における平均の位置を設定する。一例を挙げると、算出部152は、図37に示すように、フレーム1における領域R1の重心P1と、フレーム2における領域R1の重心P2とを算出し、算出した重心のフレーム間での移動量を算出する。そして、算出部152は、映像のフレームレートに基づいて、フレーム1とフレーム2との時間差を算出し、算出した時間差と重心の移動量とから単位時間あたりの重心の移動量を算出する。すなわち、算出部152は、脈波の伝播速度を算出する。
上述したように、血流の特性が同じ領域での脈波伝播時間差(dPTT)は、血圧と負の相関関係を有する。すなわち、血圧が上昇した場合、脈波の伝播速度は増加する(脈波伝播時間差が減少する)こととなる。一方、血圧が下降した場合、脈波の伝播速度は減少する(脈波伝播時間差が増加する)こととなる。このように、脈波の伝播速度は、脈波伝播時間差を表す。従って、計測部153は、算出部152によって算出される脈波の伝播速度に基づいて、血圧の変動を計測することができる。例えば、計測部153は、脈波の伝播速度が増加した場合に、血圧が上昇したと判定する。一方、計測部153は、脈波の伝播速度が減少した場合に、血圧が下降したと判定する。
例えば、特徴領域抽出部156は、対象者の映像を構成する複数のフレームから、移動前の特徴領域を含むフレームと移動後の特徴領域を含むフレームとのペアを順に抽出する。上述したように、一般的な脈波の伝播速度は「約1m/s」であることから、フレームレートが決まれば、1フレームあたり脈波がどの程度伝播するか予測することができる。特徴領域抽出部156は、映像のフレームレートに基づいて、時系列順の複数のフレームの中から移動前の特徴領域を含むフレームと移動後の特徴領域を含むフレームとをペアにして抽出する。特徴領域抽出部156は、映像を構成する複数のフレームの中から上述したペアのフレームを順に抽出して、算出部152に順次送信する。
算出部152は、特徴領域抽出部156から順次受信したペアのフレームから脈波の伝播速度を順に算出する。計測部153は、算出部152によって順に算出された脈波の伝播速度の変動から血圧の変動を計測する。例えば、計測部153は、伝播速度が上昇した場合に、血圧が上昇していると判定する。一方、計測部153は、伝播速度が下降した場合に、血圧が下降していると判定する。
なお、計測部153は、上述したペアのフレームによる伝播速度の変動に基づく血圧の計測だけでなく、所定の値との比較に基づいて血圧の変動を計測することも可能である。すなわち、計測部153は、算出部152によって算出された脈波の伝播速度を、予め設定された速度と比較することで、血圧の変動を計測することも可能である。一例を挙げると、血圧を測定しながら撮影した映像信号から上述したように脈波の伝播速度を算出する。そして、算出した脈波の伝播速度に実測した血圧の値を対応付けた対応情報を作成して、参照情報記憶部143に格納しておく。計測部153は、参照情報記憶部143によって記憶された対応情報を参照して、算出部152によって算出された脈波の伝播速度から血圧の変動を計測する。なお、対応情報は対象者ごとに作成しておく場合であってもよい。
また、上述した例はあくまでも一例であり、実施形態はこれに限定されるものではない。例えば、特徴領域は、映像脈波がピークになっている領域に限らず、バレーになっている領域などであってもよい。また、例えば、特徴領域は、ピークやバレーに限らず、輝度値が第1の閾値以上、又は、第2の閾値以下となる領域などであってもよい。また、対象となる映像は、対象者の顔に限らず、その他の部位を撮影した映像を用いることができる。例えば、対象者の腕などを用いる場合であってもよい。また、上述した例では、特徴領域の重心を抽出し、抽出した重心の移動量を算出する場合について説明したが、実施形態はこれに限定されるものではなく、領域中に所定の位置に基づいて移動量を算出する場合であってもよい。
上述したように、計測部153が血圧の変動を計測すると、第3の実施形態に係る出力制御部154は、計測結果を出力部120aや出力装置120bに出力させる。また、出力制御部154は、血圧の計測結果だけではなく、種々の解析結果を出力部120aや出力装置120bに出力させることができる。すなわち、出力制御部154は、第1の実施形態や第2の実施形態と同様に、種々の解析結果を表示させる。ここで、図37に示すように、対象者の顔領域全体にROIを設定し、ROIをモザイク状の領域に分割した場合、出力制御部154は、各領域における映像信号(緑信号)の輝度情報を色相の変化で示した色相動画像を重畳して表示させることができる。さらに、出力制御部154は、映像脈波における特徴領域のみを所定の色で示した色相動画像を表示させることも可能である。一例を挙げると、出力制御部154は、映像脈波におけるピークを示す領域や、バレーを示す領域、バレーからピークに遷移する段階の領域、或いは、ピークからバレーに遷移する段階の領域だけを示した色相動画像を表示させることができる。
図38は、第3の実施形態に係る色相動画像の一例を示す図である。例えば、出力制御部154は、映像を構成する各フレームから映像脈波のピークを示す領域をそれぞれ抽出する。例えば、出力制御部154は、図38に示すように、映像の各フレームからピークを示す領域R2、領域R3、領域R4をそれぞれ抽出する。そして、出力制御部154は、各領域を同一の色相で示した色相動画像を対象者の映像に重畳させて表示させる。これにより、観察者は、図38に示すように、ピークを示す領域が時間経過に伴って対象者の顔を移動している様子を観察することができる。すなわち、観察者は、映像脈波が伝播している様子をわかりやすく観察することができ、対象者の血行の状態を容易に把握することができる。
以上、第3の実施形態に係る生体情報計測装置100aについて説明した。なお、第3の実施形態に係る生体情報計測装置100aは、第1及び第2の実施形態にて説明した種々の利用方法に適用することができる。例えば、生体情報計測装置100aによる解析処理は、第2の実施形態にて説明した種々のウィンドウを用いて同様に実行させることができる。すなわち、上述した第3の実施形態は、第2の実施形態で説明した設定画面や解析画面に組み込まれて実施させることができる。また、生体情報計測装置100aは、鏡に映る対象者を撮影することで取得された映像信号を解析して、鏡に映る対象者に解析結果を出力することができる。また、例えば、生体情報計測装置100aは、携帯端末に備えられたカメラによって撮影された対象者の映像信号を解析して、携帯端末上の表示部に解析結果を出力することができる。
また、例えば、生体情報計測装置100aは、機器を操作する対象者を撮影することで取得された映像信号を解析して、機器を操作する対象者に対して解析結果を出力することができる。また、例えば、生体情報計測装置100aは、頭部に装着されるディスプレイ装置を介して観察される対象者を撮影することで取得された映像信号を解析して、ディスプレイ装置を装着した観察者に対して解析結果を出力することができる。また、例えば、生体情報計測装置100aは、対象者に関する解析結果を、対象者を観察する観察者に対して出力することができる。また、例えば、生体情報計測装置100aは、無人飛行機に搭載されたカメラによって撮影された対象者の映像信号を解析して、対象者を観察する観察者に対して解析結果を出力することができる。
次に、第3の実施形態に係る生体情報計測装置100aによる処理の流れについて説明する。図39は、第3の実施形態に係る生体情報計測装置100aの処理手順を示すフローチャートである。図39に示すように、生体情報計測装置100aにおいては、映像取得部110a又は映像取得装置110bが対象者の映像を取得する(ステップS201)。そして、皮膚領域抽出部151は、ROIが設定された部位が顔と顔以外か判定する(ステップS202)。ここで、ROIが設定された部位が顔と顔以外の場合(ステップS202肯定)、生体情報計測装置100aは、ステップS203〜ステップS205の処理に進む。一方、ROIが設定された部位が顔と顔以外ではない場合(ステップS202否定)、生体情報計測装置100aは、ステップS301〜ステップS305の処理に進む。なお、ステップS202〜ステップS205の処理は、第2の実施形態で説明した内容と同一である。
ステップS301〜ステップS305においては、特徴領域抽出部156が、映像を構成する各フレームにおいて、顔に設定されたROIの各小領域における緑色光の輝度値を抽出する(ステップS301)。さらに、特徴領域抽出部156は、特徴領域を含む2つのフレームを抽出する(ステップS302)。そして、算出部152が、各フレームにおける特徴領域の輝度平均値の位置を算出し(ステップS303)、輝度平均値の位置の単位時間あたりの移動量に基づいて、dPTTを算出する(ステップS304)。その後、計測部153は、負の相関に基づいて血圧の変動を計測する(ステップS305)。
ステップS203〜ステップS205、又は、ステップS301〜ステップS305の処理が完了すると、出力制御部154が、出力部120a或いは出力装置120bに、計測結果を出力させる(ステップS206)。
上述したように、第3の実施形態によれば、特徴領域抽出部156は、対象者の映像信号の輝度情報に基づいて、対象者の映像における特徴領域を抽出する。算出部152は、特徴領域の追跡結果に基づいて、脈波伝播時間差を算出する。計測部153は、脈波伝播時間差の増減に基づいて対象者の血圧の変動を計測する。従って、第3の実施形態に係る生体情報計測装置100aは、複数のROIを設定することなく、血圧の変動の計測を行うことを可能にする。
また、第3の実施形態によれば、特徴領域抽出部156は、特徴領域として、対象者の映像において所定の輝度情報を示す領域を抽出する。算出部152は、脈波伝播時間差として、対象者の映像における所定の輝度情報を示す領域の単位時間あたりの移動量を算出する。従って、第3の実施形態に係る生体情報計測装置100aは、映像脈波から脈波の伝播速度を算出することができ、脈波の伝播速度に基づいて血圧の変動を計測することを可能にする。
また、第3の実施形態によれば、特徴領域抽出部156は、対象者の表皮にて反射された光に基づく映像信号に含まれる緑色光の輝度値をそれぞれ抽出し、抽出した緑色光の輝度値において所定の輝度値を示す領域を抽出する。算出部152は、対象者の映像における所定の輝度値を示す領域の単位時間あたりの移動量を算出する。従って、第3の実施形態に係る生体情報計測装置100aは、映像脈波から脈波の伝播速度を正確に算出することを可能にする。
また、第3の実施形態によれば、特徴領域抽出部156は、対象者の映像における2フレームから所定の輝度値を示す領域をそれぞれ抽出する。算出部152は、対象者の映像のフレームレートに基づいて、2フレーム間での所定の輝度値を示す領域の単位時間あたりの移動量を算出する。従って、第3の実施形態に係る生体情報計測装置100aは、脈波の伝播速度を容易に算出することを可能にする。
また、第3の実施形態によれば、特徴領域抽出部156は、対象者の映像において、所定の期間に含まれる複数のフレームの中から、所定の輝度値を示す領域を含む2フレームを抽出する。従って、第3の実施形態に係る生体情報計測装置100aは、脈波の伝播速度を算出することができるフレームを抽出することを可能にする。
また、第3の実施形態によれば、特徴領域抽出部156は、所定の輝度値を示す領域として、緑色光の輝度値が第1の閾値以上となる領域、及び、緑色光の輝度値が第2の閾値以下となる領域のうち、少なくとも一方の領域を抽出する。算出部152は、緑色光の輝度値が第1の閾値以上となる領域、及び、緑色光の輝度値が第2の閾値以下となる領域のうち、少なくとも一方の領域の単位時間あたりの移動量を算出する。従って、第3の実施形態に係る生体情報計測装置100aは、各フレームからピーク又はバレーの領域を容易に抽出することを可能にする。
また、第3の実施形態によれば、算出部152は、特徴領域抽出部156によって抽出された特徴領域における輝度平均値の位置の単位時間あたりの移動量を算出する。従って、第3の実施形態に係る生体情報計測装置100aは、特徴領域の移動量を正確に算出することを可能にする。
また、第3の実施形態によれば、算出部152は、輝度平均値の位置として、特徴領域の重心を用いる。従って、第3の実施形態に係る生体情報計測装置100aは、特徴領域の位置を容易に特定することを可能にする。
次に、本願に係る生体情報表示装置及び生体情報表示方法を実施するための形態について図面を参照しつつ詳細に説明する。以下の実施形態においては、第4の実施形態に係る生体情報表示装置を利用した「健康モニタリング」によって実現される、『日常人間ドッグ』を例に挙げて、生体情報表示装置の詳細について説明する。なお、以下で説明する実施形態はあくまでも一例であり、実施形態は以下で説明する内容に限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
(第4の実施形態)
ここから、図40〜図52等を参照しながら、本願に係る生体情報表示装置及び生体情報表示方法を実施するための形態(以下、「第4の実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、以下で説明する実施形態はあくまでも一例であり、第4の実施形態は以下で説明する内容に限定されるものではない。また、第1〜第3の実施形態と同様の構成については、最上位の桁の数値を「5」に変更した符号(“5**”)や同一の符号を付すことにより重複する説明を省略する。上述のように、『現代社会』において、誰もが、家族と社会の中で健康快活に、仕事や趣味に生きることを理想としている。そのため、例えば、図1に示す『日常人間ドック』により、非意識(Unconscious Sensing)技術により血流情報を収集して、収集した血流情報から日々の健康状態を対象者(「ユーザ」とする場合がある)にフィードバックする。
具体的には、第4の実施形態に係る『日常人間ドッグ』に利用される生体情報表示装置は、血流情報の収集の対象となるユーザの映像信号を解析することでユーザの血流情報を収集し、収集した血流情報に基づいて健康状態をユーザに提供する。具体的には、生体情報表示装置は、所定のユーザ行動(以下単に「ユーザ行動」とする場合がある)前後における血流の変動に応じて変化する映像信号を解析することでユーザの血流の変動を示す血行情報を生成し、生成した血行情報に基づいて健康状態をユーザに提供する。より具体的には、生体情報表示装置は、ユーザの所定の基準位置(例えば、顔)とユーザの基準位置以外の身体的位置を撮影した映像信号からそれぞれ脈波情報を抽出し、抽出した脈波情報の差の変動から血行情報を生成する。なお、ここでいう基準位置とは、基準位置を含む所定の範囲の領域を意味する。また、ここでいう身体的位置とは、身体的位置を含む所定の範囲の領域を意味する。なお、以下では、基準位置を顔として説明する。なお、脈波情報の差ではなく、血流情報として身体的位置におけるユーザ行動前後の血流量の差を用いる場合は基準位置を設定しなくてもよい。
なお、ここでいうユーザ行動とは、その行動前後においてユーザの身体に血流に関する変動を生じさせる行動であれば、どのような行動であってもよい。すなわち、行動前後においてユーザの身体に血流に関する変動を生じさせる行動であれば、ユーザの身体的な運度を伴わない行動、例えば思考等の心理的な行動であってもよい。また、例えば、図40は、ユーザ行動がユーザの入浴である場合を示す。また、以下では、ユーザ行動前におけるユーザの身体的位置の血流情報を第1血流情報とし、ユーザ行動後におけるユーザの身体的位置の血流情報を第2血流情報として説明する。
ここで、脈波とは、心臓のポンプ作用によって生じる動脈系圧波動の伝播である。なお、以下では、脈波が血管を伝播する時間として定義される脈波伝播時間(PTT:Pulse Transit Time)に基づいて、血行情報を生成する場合を例に説明する。具体的には、以下では、ユーザ行動前におけるユーザの脈波伝播時間に基づく第1血流情報と、ユーザ行動後におけるユーザの脈波伝播時間に基づく第2血流情報とから血行情報を生成する場合を説明する。例えば、第1血流情報や第2血流情報は、ユーザの身体の映像信号の輝度情報から抽出される。
ここで、映像信号から脈波情報を抽出する原理について説明する。例えば、ビデオカメラなどの撮像装置は、被写体で反射した光を、赤(R)・緑(G)・青(B)の3色の光を原色として波長毎のフィルタを通した映像として記録し、その輝度値に応じて様々な色を表現している。一方、可視光の血中ヘモグロビンの吸光特性に着目すると、520−600nmの波長帯域に高いピークを持っており、カメラの緑色フィルタが高感度となる波長帯域である、500−570nmとほぼ重なっている。心臓の拍動によって脈波が全身に伝播する際に、体表面を含めた全身の血流量は周期的に増減している。心臓が収縮して末梢部位の血流量が増加すると、血中ヘモグロビンの相対量も増加するため、皮膚表面での緑色光の吸収量が増加する。カメラは皮膚表面で反射した光を受け取るため、血中ヘモグロビンの相対量が増加しているときには映像中の緑の輝度値が低下する。これとは逆に、心臓が拡張しているとき、末梢部位の血流量は減少して血中ヘモグロビンの相対量も減少するため、皮膚表面での緑色光の吸収量が減少する。この緑色光における輝度値の変化は極めて小さく、人間の目では認識することはできないが、市販のビデオカメラなどを用いることで検出することができる。
生体情報表示装置は、上述した緑色光における輝度値を脈波情報として抽出し、血流の変動を示す血行情報を生成する。例えば、血流情報の収集をウェアラブル端末により行う場合、ユーザが自身の体に意識的にウェアラブル装置等を身に着けることによって血流情報が収集される。従って、従来の収集方法の場合、ウェアラブル装置を取り付ける煩わしさや、ウェアラブル装置のコストの面から、日常的に継続して血流情報を収集することが容易ではない。また、ユーザの入浴前後におけるユーザの血流情報を収集する場合、ユーザは入力後すぐにウェアラブル装置を身に着ける必要があり、ユーザの心理的負担が大きく現実的ではない。また、ウェアラブル装置で血流情報を収集する場合、ウェアラブル装置を身に着けている箇所以外における、血流情報を収集することが難しい。
これに対して、第4の実施形態によって実現される日常人間ドッグでは、ユーザの映像信号を解析して血流情報を収集する。そのため、例えば、図1に示すように、鏡の前に立つだけで、ユーザの血流情報を非接触で収集し、収集した血流情報を解析することで、今日の健康状態が判明する「健康予報」をユーザにフィードバックすることができる。すなわち、ユーザが特に意識することなく、日常生活の中で非意識のうちに血流情報を収集してユーザに健康状態をフィードバックすることができる。また、血流情報の収集をユーザの映像信号の解析により行うため、撮像されているユーザの身体的位置であれば、どの身体的位置であっても血流情報を収集してユーザに健康状態をフィードバックすることができる。
ここで、図1に示す「健康予報」とは、ユーザの血流の変動をもとに解析された健康状態を提供するものである。例えば、第1血流情報と第2血流情報とを比較してユーザ行動前後において、ユーザの血流がどの程度変動しているか、さらに、血流が大きく変動していることの評価をもとに「健康予報」が提供される。
これにより、日々の生活の中で血行に関するさりげない健康モニタリングを行うことができ、ユーザが日常的に自身の健康状態を把握することができる。例えば、図1に示すように、「体温:36.5℃ 血圧:やや低め 寝不足です 鉄分を摂取してください」という「健康予報」を提供することで、ユーザは自身の現在の状態を把握することができる。ここで、ユーザの健康状態に関する情報は、ユーザにフィードバックするだけではなく、ネットワークを介して家族や主治医に対して提供することも可能である。例えば、ユーザの血流情報が収集されるごとに、家族が所持する携帯電話、スマートフォン、或いは、タブレット端末などや、主治医が操作する端末に解析結果が送信される。これにより、ユーザ自身だけでなく、家族や主治医もユーザの健康状態を把握することができる。
このように、第4の実施形態に係る生体情報表示装置を利用することで、血流変動を、簡便に、非接触的に測定することが可能となる。ここで、第4の実施形態に係る生体情報表示装置は、宅内に配置されるだけではなく、宅外のネットワーク上に配置されたサーバ装置上で同様の処理を行う場合であってもよい。例えば、宅内に設置されたカメラによって撮影された映像信号をネットワークを介してサーバ装置に送信し、映像信号を受信したサーバ装置が映像信号に対応するユーザの血流変動を算出する場合であってもよい。また、ネットワーク上のサーバ装置が、各宅内に設置された生体情報表示装置から各個人の血流情報を収集して、一元的に管理する場合であってもよい。この場合、サーバ装置は、各個人の血流情報と行動情報とを関連付けてライフログ情報として収集、蓄積してもよい。そして、サーバ装置は、時系列で収集した膨大な生体情報とライフログ情報とを複数ユーザについて統合化したビッグデータを、クラウド上で一元管理する。
また、サーバ装置は、かかるビッグデータを解析することで、将来の疾病発症リスク、食事量、運動量、又は運動負荷に対する体の応答反応等を高度且つ詳細に分析してもよい。ひいては、疾病発症リスクや発作の予兆、自分の体質、ライフスタイルに最適な食事内容、運動、ライフスタイル、薬やサプリメントの選択等、理想像を目指した日々の生活の設計も可能になる。また、サーバ装置は、これらの情報を、ユーザにフィードバックするだけでなく医療機関にフィードバックすることもできる。医師は、サーバ装置からフィードバックされた解析の結果をもとに、例えば、ハイリスクな疾病発症予備軍を認識し、必要に応じ積極的にこれらの者にアクセスする。なお、ユーザから送信された血流情報は、ユーザの身体の異常検知にも役立てられる。例えば、サーバ装置は、ハイリスクな疾病発症予備軍のユーザについて日々送信される血流情報を常時監視し、その中で異常を検知すると、直ちに医療機関等にフィードバックする。サーバ装置が、ビッグデータの解析の結果を医療機関や各種企業等に提供することで、様々なサービスへの利用や、新産業創出に貢献することができる。
(第4の実施形態に係る血行情報の表示例)
ここから、図40を用いて、第4の実施形態に係る生体情報表示装置500が血行情報を表示する例を説明する。図40は、第4の実施形態に係る入浴前後の血流変動の表示の一例を示す図である。具体的には、図40は、生体情報表示装置500がユーザの入浴前後における血流の変動に基づく血行情報を表示する例を示す。また、図40に示す例においては、生体情報表示装置500がお風呂の脱衣所に設置された場合を示す。
まず、図40中の左側に示すシーンSN1aは、入浴前のユーザがお風呂の脱衣所にいる場面を示す。なお、シーンSN1aにおいて、脱衣所の洗面台に映るユーザの像は、鏡に映ったユーザの像であってもよいし、生体情報表示装置500の映像取得部510aが撮影したユーザの像を表示部520が表示したものであってもよい。なお、図40では、ユーザの像として、ユーザの上半身の像が脱衣所の洗面台に映る例を示すが、ユーザの全身の像であってもよい。また、映像取得部510aの詳細については後述する。また、シーンSN1aにおいて、生体情報表示装置500は、入浴前のユーザを撮影する。そして、生体情報表示装置500は、ユーザの身体の映像信号の輝度情報から入浴前におけるユーザの身体的位置の血流情報である第1血流情報を算出する。なお、第1血流情報の算出についての詳細は後述する。
図40では、脱衣所の洗面台に配置された生体情報表示装置500は、映像取得部510aによりユーザの正面から撮影する。そのため、生体情報表示装置500は、ユーザを正面から撮影した身体の映像信号の輝度情報から入浴前におけるユーザの身体的位置の血流情報である第1血流情報を算出する。なお、図40では、生体情報表示装置500は、ユーザの複数の身体的位置の第1血流情報を算出する。例えば、生体情報表示装置500は、ユーザの両肩や両腕や腹部等、複数の身体的位置の第1血流情報を算出する。例えば、生体情報表示装置500は、撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の第1血流情報を算出してもよい。
また、生体情報表示装置500は、所定の条件を満たした場合に撮影を開始してもよい。例えば、生体情報表示装置500は、ユーザが脱衣所に入ってきたことをトリガとして、撮影を開始してもよい。例えば、生体情報表示装置500は、ユーザが所定の鏡に映ったことをトリガとして、撮影を開始してもよい。
その後、ユーザは、脱衣所から浴室へ移動し入浴する。この場合、生体情報表示装置500は、撮影を停止してもよい。例えば、生体情報表示装置500は、ユーザが脱衣所から浴室へ移動したことをトリガとして、撮影を停止してもよい。例えば、生体情報表示装置500は、ユーザが所定の鏡に映らなくなったことをトリガとして、撮影を停止してもよい。また、生体情報表示装置500は、第1血流情報を算出するために必要な情報が取得できたことをユーザに通知してもよい。これにより、生体情報表示装置500は、ユーザに浴室へ移動するタイミングを通知することができ、入浴前後の血行情報の表示に必要な情報を取得することができる。
図40中の中央に示すシーンSN1bは、ユーザがお風呂に入浴中の場面を示す。シーンSN1bにおいて、ユーザがある程度の時間(例えば、30分等)入浴する。例えば、ユーザが適温(例えば38℃〜40℃)のお風呂に入ることにより、ユーザの皮膚の毛細血管や皮下の血管が拡張して、血流が良くなる。そのため、生体情報表示装置500が算出する第2血流情報は第1血流情報から変動した値となる。例えば、生体情報表示装置500が算出する第2血流情報は第1血流情報よりも大きな値となる。なお、生体情報表示装置500は、ユーザが入浴中におけるお風呂の温度を適宜の手段により取得してもよい。例えば、生体情報表示装置500は、お風呂の温度を計測する所定の温度計からユーザが入浴中におけるお風呂の温度に関する情報を取得してもよい。この場合、生体情報表示装置500は、取得したお風呂の温度に関する情報に応じて第1血流情報や第2血流情報を補正してもよい。
図40中のシーンSN1bにおける入浴後、ユーザは、浴室から脱衣所へ移動する。この場合、生体情報表示装置500は、撮影を開始してもよい。例えば、生体情報表示装置500は、ユーザが浴室から脱衣所へ移動したことをトリガとして、撮影を開始してもよい。例えば、生体情報表示装置500は、ユーザが所定の鏡に映ったことをトリガとして、撮影を開始してもよい。図40中の右側に示すシーンSN1cは、入浴後のユーザがお風呂の脱衣所にいる場面を示す。図40中のシーンSN1cにおいて、生体情報表示装置500は、ユーザを正面から撮影した身体の映像信号の輝度情報から入浴後におけるユーザの身体的位置の血流情報である第2血流情報を算出する。なお、図40では、生体情報表示装置500は、ユーザの複数の身体的位置の第2血流情報を算出する。例えば、生体情報表示装置500は、ユーザの両肩や両腕や腹部等、複数の身体的位置の第2血流情報を算出する。例えば、生体情報表示装置500は、撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の第2血流情報を算出してもよい。
また、生体情報表示装置500は、各身体的位置の第1血流情報と第2血流情報との差分(以下、「血流差分」とする場合がある)を算出する。ここで、各身体的位置の血流差分は、各身体的位置における入浴前後の血流の変動を示す。なお、血流差分の大小と、血流の良し悪しは、血流差分の基となる第1血流情報や第2血流情報に応じて異なってもよい。例えば、血流差分が大きいほど、血流が良くなる場合があってもよい。また、例えば、血流差分が小さいほど、血流が良くなる場合があってもよい。すなわち、血流差分の評価は、血流差分の基となる第1血流情報や第2血流情報に応じて異なってもよい。
例えば、血流差分が大きいほど血流が良くなる場合、生体情報表示装置500は、血流差分が所定の閾値以上である場合、対応する身体的位置の血流が良くなったとしてもよい。また、例えば、血流差分が大きいほど血流が良くなる場合、生体情報表示装置500は、血流差分が所定の閾値未満である場合、対応する身体的位置の血流が悪くなったとしてもよい。また、例えば、血流差分が小さいほど血流が良くなる場合、生体情報表示装置500は、血流差分が所定の閾値以上である場合、対応する身体的位置の血流が悪くなったとしてもよい。また、例えば、血流差分が小さいほど血流が良くなる場合、生体情報表示装置500は、血流差分が所定の閾値未満である場合、対応する身体的位置の血流が良くなったとしてもよい。なお、図40では、血流差分が大きいほど血流が良くなる場合を示す。
図40では、生体情報表示装置500は、ユーザの両肩や両腕や腹部等を含む撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の血流差分を算出する。例えば、生体情報表示装置500は、ユーザの右肩周辺の複数の身体的位置の各々に関して血流差分を算出する。また、例えば、生体情報表示装置500は、ユーザの腹部周辺の複数の身体的位置の各々に関して血流差分を算出する。
そして、生体情報表示装置500は、血流差分に基づいて、各身体的位置の血流状態を示す血行情報を生成する。図40では、生体情報表示装置500は、血行情報IB11として各身体的位置の血流差分が大きいほど、濃いハッチングで示す画像を生成する。また、図40では、生体情報表示装置500は、血行情報IB11として各身体的位置の血流差分が小さいほど、薄いハッチングで示す画像を生成する。
そして、生体情報表示装置500は、生成した血行情報IB11をユーザの身体画像IM11とともに表示する。具体的には、生体情報表示装置500は、生成した血行情報IB11をユーザの身体画像IM11において対応する身体的位置に重畳させて表示する。例えば、生体情報表示装置500は、右肩の血行情報IB11をユーザの身体画像IM11における右肩に重畳させて表示する。図40では、右肩の首に近い身体的位置に表示される血行情報IB11のうち最もハッチングの濃い画像が重畳されているため、ユーザは、右肩の首に近い身体的位置が最も血行が良くなっていると直感的に認識できる。これにより、ユーザは全くセンサを身に付けることなく遠隔的に血行状態の変化を定量的かつ直感的に比較することが可能となり、日常的な健康管理・身体運動の効果判定・精神的ストレスの強さを直感的に把握することができる。
上記の例では、ハッチングの濃淡により、血行情報を表示する例を示したが、例えば、生体情報表示装置500は、いわゆるヒートマップのように、血流差分を色相の変化で示した色相画像を表示してもよい。具体的には、生体情報表示装置500は、血流差分が大きいほど赤等の暖色系の色の画像を対応する身体的位置に重畳して表示し、血流差分が小さいほど青等の寒色系の色の画像を対応する身体的位置に重畳して表示してもよい。すなわち、生体情報表示装置500は、暖色系の色の画像が重畳された身体的位置を血行が良くなった位置として表示し、寒色系の色の画像が重畳された身体的位置を血行が悪くなった位置として表示する。これにより、生体情報表示装置500は、ユーザに自身の血行の変化を直感的に認識させることができる。
以下、第4の実施形態に係る生体情報表示装置の詳細について説明する。なお、以下の実施形態では、宅内に配置された生体情報表示装置がネットワークを介して上述したサーバ装置であるPHR(Personal Health Record)装置と接続される場合を例に挙げて説明するが、実施形態はこれに限定されるものではなく、生体情報表示装置がネットワークに接続されずに用いられる場合であってもよい。
(第4の実施形態に係る生体情報表示装置の構成)
上述した『日常人間ドッグ』を実現するために用いられる、第4の実施形態に係る生体情報表示装置について説明する。図41は、第4の実施形態に係る生体情報表示装置500の構成の一例を示す機能ブロック図である。図41に示すように、生体情報表示装置500は、映像取得部510aと、表示部520と、通信部530と、記憶部540と、制御部550と、照度センサ560と、照明部570とを備え、ネットワーク300を介して、PHR装置200、映像取得装置110b及び出力装置120bと接続される。なお、図41においては、生体情報表示装置500、PHR装置200、映像取得装置110b及び出力装置120bが1台ずつ示されているが、各装置が2台以上接続される場合であってもよい。
ネットワーク300は、LAN(Local Area Network)やWAN(Wide Area Network)などである。PHR装置200は、図41に示すように、通信部230と、記憶部240と、制御部250とを備え、日常的に非意識で収集されたPHRデータ(血流情報など)をヘルスケアクラウド上で一元管理するサーバ装置である。ここで、PHRデータとは、各個人から収集されたセンシングデータ(血流情報等)を個人ごとにそれぞれ対応付けた情報である。すなわち、PHR装置200は、ネットワーク300を介して、複数の生体情報表示装置500から個人ごとの血流情報を取得して管理する。また、ヘルスケアクラウドとは、PHR装置200、生体情報表示装置500、ネットワーク300などによって構成され、種々のユーザに対して『日常人間ドック』のサービスを提供するクラウドである。
PHR装置200における通信部230は、ネットワーク300を介して生体情報表示装置500、映像取得装置110b及び出力装置120bと有線通信或いは無線通信を行い、生体情報表示装置500によって収集された血流情報や、映像取得装置110bによって取得された映像信号を受信したり、出力装置120bに対して出力情報を送信したりする。記憶部240は、PHRデータなどの種々の情報を記憶する。例えば、記憶部240は、生体情報表示装置500によって収集された血流情報をユーザに対応付けて記憶する。また、生体情報表示装置500によって撮影された映像信号をユーザに対応付けて記憶する。すなわち、記憶部240は、ビッグデータを記憶するとともに、生体情報表示装置500の記憶部540と同様の情報を記憶することができる。
ここで、PHR装置200は、生体情報表示装置500によって収集された情報を管理するだけではなく、後述する生体情報表示装置500と同様の処理を行うこともできる。すなわち、PHR装置200は、生体情報表示装置500又は映像取得装置110bによって取得されたユーザの映像信号を受信して、受信した映像信号を解析することでユーザの血流情報を測定することができる。具体的には、PHR装置200の制御部250は、後述する生体情報表示装置500の制御部550と同様の処理を実行することで、映像信号から血流の変動を測定する。記憶部240は、制御部250によって測定された血流情報などをユーザに対応づけて記憶する。さらに、制御部250は、生体情報表示装置500や、出力装置120bからの出力情報の要求に応じて、記憶部240から情報を読み出し、読み出した情報を生体情報表示装置500や出力装置120bに送信するように制御する。
映像取得装置110bは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を搭載するカメラであり、R(red)、G(green)、B(blue)など3種以上の受光素子を搭載することができる。また、映像取得装置110bは、緑色LEDを搭載した反射型フォトセンサなどである。そして、映像取得装置110bは、ユーザが生活する様々な場所に配置されてもよい。例えば、映像取得装置110bは、所定のエリア(お風呂の脱衣所や更衣室)等に配置され、ユーザの映像信号を取得し、取得した映像信号を、ネットワーク300を介して生体情報表示装置500や、PHR装置200に送信する。例えば、映像取得装置110bは、ユーザの顔の映像信号と、ユーザの顔の映像信号と同一時間の顔以外の身体的位置の映像信号とを取得して、生体情報表示装置500や、PHR装置200に送信する。例えば、身体的位置は、血流の変動を取得したい位置、すなわち血行情報を生成する位置である。また、映像取得装置110bは、ユーザの顔と顔以外の身体的位置を同一映像で撮影するカメラであってもよく、或いは、ユーザの顔と顔以外の身体的位置とをそれぞれ撮影する異なるカメラであってもよい。
出力装置120bは、モニタなどの表示装置や、スピーカーなどの音声出力装置などである。そして、出力装置120bは、ユーザが生活する様々な場所や、ユーザの血流情報を観察する家族や医師などに対して出力可能となる場所などに配置され、生体情報表示装置500や、PHR装置200から映像情報や音声情報などの出力情報を受信して、出力する。また、出力装置120bは、液晶パネルなどの表示装置であり、入力部と組み合わされて形成され、入力部によって入力操作を受け付けるためのGUI(Graphical User Interface)を表示することもできる。
生体情報表示装置500は、所定のエリアに設置される情報処理装置であり、ユーザの映像信号を解析することで、血流変動に基づいて血行情報を生成する。例えば、図40の生体情報表示装置500は、お風呂の脱衣所に設けられる洗面台に組み込まれた場合を示す。なお、生体情報表示装置500は、カメラ付き携帯電話、スマートフォン、タブレット端末、カメラ付きPC(Personal Computer)などであってもよい。また、図41においては、生体情報表示装置500が映像取得部510aを備える場合を示しているが、実施形態はこれに限定されるものではなく、生体情報表示装置500が映像取得部510aを備えずに、映像取得装置110bから受信した映像信号を解析する場合であってもよい。
映像取得部510aは、CCDやCMOSなどの撮像素子を搭載するカメラであり、R、G、Bなど3種以上の受光素子を搭載することができる。そして、映像取得部510aは、ユーザの映像信号を取得して、取得した映像信号を制御部550に送信する。例えば、映像取得部510aは、ユーザの顔の映像信号と、ユーザの顔の映像信号と同一時間の顔以外の部位の映像信号とを取得して、制御部550に送信する。また、映像取得部510aは、ユーザの顔と顔以外の身体的位置を同一映像で撮影するカメラであってもよく、或いは、ユーザの顔と顔以外の身体的位置とをそれぞれ撮影する異なるカメラであってもよい。
表示部520は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現されるモニタなどの表示装置などである。例えば、表示部520は、入力部と組み合わされて形成され、入力部によって入力操作を受け付けるためのGUI(Graphical User Interface)を表示することもできる。例えば、表示部520は、生成部553により生成された血行情報をユーザの身体画像とともに表示する。具体的には、表示部520は、血行情報をユーザの身体画像における身体的位置に重畳させて表示する。また、例えば、表示部520は、画像情報を血行情報として表示する。
例えば、図40では、表示部520は、身体的位置の第1血流情報と第2血流情報との差分を色相の変化で示した色相画像を血行情報として表示する。また、例えば、表示部520は、文字情報を血行情報として表示する。また、例えば、表示部520は、第1血流情報と第2血流情報との差分に関する数値を血行情報として表示する。また、例えば、表示部520は、ユーザの身体画像とともに他ユーザの血行情報を表示する。また、例えば、表示部520は、他ユーザの血行情報として他ユーザの血行情報の平均を表示する。また、例えば、表示部520は、血行情報を、ユーザの身体画像とともに所定のエリアに配置された表示面に表示する。また、例えば、表示部520は、血行情報を、ユーザの身体画像とともに鏡に表示する。なお、血行情報の表示例については後述する。
通信部530は、ネットワーク300を介して映像取得装置110b、出力装置120b及びPHR装置200と有線通信或いは無線通信を行う。例えば、通信部530は、映像取得装置110bからユーザの映像信号を受信して制御部550に送信する。また、通信部530は、出力装置120bに対して出力情報を送信する。また、通信部530は、PHR装置200に対して映像信号や測定結果を送信したり、PHR装置200との間で出力情報を送受信したりする。
照度センサ560は、対象者の皮膚付近の照度を測定するセンサである。例えば、照度センサは、映像信号が取得される対象者の顔や、顔以外の部位における照度を測定し、測定結果を制御部550に送信する。照明部570は、対象者に対して光を照射する。例えば、照明部570は、LED(Light Emitting Diode)を使用した照明器具であり、制御部550による制御のもと、対象者に対して光を照射する。なお、対象者に対する光の照射の詳細については、後述する。
記憶部540は、図41に示すように、映像記憶部541と、算出結果記憶部542と、参照情報記憶部543とを備える。記憶部540は、例えば、ハードディスク、光ディスクなどの記憶装置、または、RAM(Random Access Memory)、フラッシュメモリなどの半導体メモリ素子であり、生体情報表示装置500によって実行される各種プログラムなどを記憶する。
映像記憶部541は、ユーザの映像信号を記憶する。具体的には、映像記憶部541は、映像取得部510aや、映像取得装置110bによって取得されたユーザの映像信号を記憶する。例えば、映像記憶部541は、ユーザの顔の映像信号と、ユーザの顔の映像信号と同一時間の顔以外の身体的位置の映像信号とを記憶する。ここで、映像記憶部541によって記憶される映像は、同一映像の中に顔及び顔以外の身体的位置の映像信号を含むものであってもよく、或いは、顔の映像と顔以外の身体的位置の映像とがそれぞれ別の映像として撮影されたものであってもよい。なお、顔の映像と顔以外の身体的位置の映像とが別々の場合、別々の映像の同一時間における輝度情報を比較可能にするために、映像記憶部541は、各映像を時間情報と対応づけて記憶する。
算出結果記憶部542は、後述する制御部550によって実行される血流の変動の算出処理の結果を記憶する。具体的には、算出結果記憶部542は、制御部550における算出部552によって算出されたユーザの血流の変動に関する情報を記憶する。例えば、算出結果記憶部542は、映像信号から算出されたPTTに相当する指標値を用いて算出された血流変動の算出結果を記憶する。図42Aは、第4の実施形態に係る算出結果の一例を示す図である。例えば、算出結果記憶部542は、図42Aに示すように、算出日時と算出結果とを対応付けた算出情報をユーザごとに記憶する。ここで、図42Aに示す「算出日時」とは、ユーザの顔と顔以外の身体的位置が撮影され、撮影された映像信号をもとに血流の変動が算出された日時を示す。また、図42Aに示す「算出結果」とは、各算出日時において算出された項目の結果を示す。
ここで、算出される項目としては、例えば、図42Aに示すように、「第1血流情報」、「第2血流情報」、「差分」などが挙げられる。なお、上述した第1血流情報や第2血流情報は、血流量の絶対値ではなく、所定の基準となる血流量との関係に基づく相対値であってもよい。すなわち、上述した第1血流情報や第2血流情報とは、基準となる血流量に対応する指標値であってもよい。例えば、算出結果記憶部542は、図42Aに示すように、「算出日時:201501010715」の算出結果として「第1血流情報:FV11、第2血流情報:SV11、差分:ΔV11」を記憶する。すなわち、上述した情報は、「2015年1月1日7時15分」に算出された第1血流情報は「FV11」であり、第2血流情報は「SV11」であり、差分は「ΔV11」であることを示す。なお、図42Aでは、各項目に対応する情報をFV11、SV11、ΔV11等として概念的に示すが、各項目に対応する情報は具体的な数値であってもよい。
同様に、算出結果記憶部542は、同一のユーザの「算出日時:201501011026」の算出結果として「第1血流情報:FV12、第2血流情報:SV12、差分:ΔV12」を記憶する。このように、算出結果記憶部542は、血流変動が算出されるごとに、算出された指標値の結果を記憶する。なお、算出結果記憶部542に記憶される情報は上記に限らず、目的に応じて種々の情報が記憶されてもよい。例えば、算出結果記憶部542は、第1血流情報や第2血流情報や差分を算出した身体的位置に関する情報を記憶してもよい。例えば、算出結果記憶部542は、第1血流情報「FV11」や第2血流情報「SV11」や差分「ΔV11」の算出対象となった身体的位置が「肩」である場合、身体的位置「肩」を示す情報を記憶してもよい。
図41に戻って、参照情報記憶部543は、後述する制御部550によって実行される算出処理にて参照される参照情報を記憶する。具体的には、参照情報記憶部543は、算出部552がユーザの血流変動に関する情報を算出する際に参照される参照情報を記憶する。図42Bは、第4の実施形態に係る参照情報の一例を示す図である。例えば、参照情報記憶部543は、図42Bに示すように、「参照情報」に「dPTT」及び「PD」を対応付けた情報を記憶する。ここで、「参照情報」とは、算出部552が血流変動を算出する際に参照する情報を示し、例えば、図42Bに示すように、「血流値変換情報(20150101更新)」や、「補正情報(温度)」、「補正情報(湿度)」などが挙げられる。また、「dPTT」は、脈波伝播時間差(difference of pulse transit time)であり、顔及び顔以外の映像信号中の緑色光の輝度値における所定の特徴点間の時間差である。また、「PD」は、瞬時位相差(phase difference)であり、顔及び顔以外の映像信号中の緑色光の輝度値の位相差である。なお、「血流値変換情報」とは、第1血流情報や第2血流情報を補正するための情報である。また、「補正情報(温度)」とは、第1血流情報や第2血流情報に対して、温度に応じた補正を行うための情報であり、「補正情報(湿度)」とは、第1血流情報や第2血流情報に対して、湿度に応じた補正を行うための情報である。このように、第1血流情報や第2血流情報の補正を行ってもよい。
また、図42Bに示す「dPTT」及び「PD」は、映像信号から算出されたPTTに相当する指標値である。第4の実施形態に係る生体情報表示装置500は、上述した「dPTT」又は「PD」によりユーザの血流変動を算出する。ここで、生体情報表示装置500においては、指標値ごとの参照情報を参照することで、第1血流情報や第2血流情報を算出したり、温度や湿度に応じた補正を行ったりすることができる。なお、「dPTT」又は「PD」を用いたユーザの血流変動の算出については、後に詳述する。
図41に戻って、制御部550は、皮膚領域抽出部551と、算出部552と、生成部553と、出力制御部554と、フィードバック制御部555とを備える。制御部550は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などの電子回路やASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路であり、生体情報表示装置500の全体制御を実行する。
制御部550は、上述した各部の処理により、ユーザの顔及び顔以外の身体的位置の映像信号から脈波情報を抽出してPTTに相当する指標値を算出し、算出した指標値の変動から第1血流情報や第2血流情報を算出する。ここで、まず、脈波伝播時間(PTT)に関する原理と定義について説明する。PTTは、脈波が大動脈から末梢方向へ伝播していく際に、ある基準点から別の測定点までに到達するのに要する時間のことである。第4の実施形態に係る脈波伝播時間の定義は、図5に示す脈波伝播時間の定義と同様である。例えば、図5においては、縦軸に「Amplitude(振幅)」を示し、横軸に「Time(時間)」を示すグラフに「ECG(electrocardiogram:心電図)」と「PPG(photoplethysmography:光電容積脈波)」の各波形を示す。
例えば、PTTは、図5に示すように、一般的には心電図の「R-wave Peak(R波)」を基準として、末梢側で測定された脈波波形の特徴点までの時間差として定義される。例えば、脈波が血管内を伝播する速度「v」は血管の内径と血管壁の硬さに依存し、解析的な関係式は、上記の式(1)で示される「Moens-Korteweg」の式によって表される。
上述のように、式(1)と式(2)を式(3)に代入して両辺を2乗することで上記の式(4)及び式(5)を得る。また、式(5)の対数をとることで、血圧「P」を示す上記の式(6)を得ることができる。また、式(6)における血圧「P」の変化に対して、血管壁厚「h」及び血管の直径「d」の変化が小さく、「E0」の変化が十分に遅いとすると、式(6)における右辺第1項は無視することができるため、式(6)を脈波伝播時間「T」で微分すると、上記の式(7)となる。すなわち、上述したように、血圧「P」の変動分「ΔP」が、脈波伝播時間の変動分「ΔT」で示された式(7)となる。このように、血圧「P」の変動分「ΔP」が脈波伝播時間の変動分「ΔT」で示されたことから、脈波伝播時間「T」を用いることで、血圧(血行)の変動を推定することができることがわかる。
第4の実施形態に係る生体情報表示装置500は、上述した原理のもと、映像信号の緑色光の輝度値を脈波とし、脈波伝播時間「PTT」の変動を計測することで、血圧(血行)の変動を計測する。ここで、上述したように、「PTT」は、ある基準点から別の測定点までに到達するのに要する時間であり、一般的に心電図の「R波」を基準として、末梢側で測定された脈波波形の特徴点までの時間差として定義される。しかしながら、心電図を取得するためには装置を用いることになるため、心電図を用いた「PTT」によって血流変動を計測する場合、非接触的に測定することができない。そこで、第4の実施形態では、血圧変動を、簡便に、非接触的に測定するために、心電図を用いることなく、上述した「PTT」に相当する指標値によって血流変動を計測する。
具体的には、第4の実施形態に係る生体情報表示装置500は、ユーザの顔及び顔以外の映像信号中の緑色光の輝度値の位相差である「PD」、又は、ユーザの顔及び顔以外の映像信号中の緑色光の輝度値における所定の特徴点間の時間差である「dPTT」の変動を計測することによって血流の変動を計測する。以下、生体情報表示装置500による処理について、映像信号から脈波情報を抽出する処理、及び、抽出した脈波情報から「PD」及び「dPTT」を算出する処理を順に説明する。
図41に戻って、制御部550における皮膚領域抽出部551は、映像取得部510a又は映像取得装置110bによって取得された映像に含まれるユーザの皮膚領域を抽出する。具体的には、皮膚領域抽出部551は、映像中の色情報に基づいて皮膚領域を自動で抽出する。なお、皮膚領域抽出部551は、図示しない入力部を介して操作者から指定された領域を皮膚領域として抽出してもよい。以下、これらの処理の詳細について順に説明する。なお、皮膚領域抽出部551の処理対象となる映像は、映像取得部510a又は映像取得装置110bによって取得されたリアルタイムの映像であってもよく、映像記憶部541によって記憶された過去の映像であってもよい。
まず、映像中に色情報に基づいて皮膚領域を自動で抽出する場合について、図43を用いて説明する。図43は、第4の実施形態に係る皮膚領域の自動抽出を説明するための図である。例えば、皮膚領域抽出部551は、図43に示すように、映像中から肌の色を示す領域を抽出することによってユーザの皮膚領域を抽出する。すなわち、皮膚領域抽出部551は、映像の2次元座標において肌の色に相当する色(輝度値)を示すすべての座標(画素の座標)を抽出し、抽出した座標において連続した座標の画素をまとめた領域を皮膚領域として抽出する。ここで、皮膚領域抽出部551は、連続していない座標の画素を異なる領域の座標としてまとめることで、複数の部位(身体的位置)に相当する皮膚領域をそれぞれ抽出する。
一例を挙げると、皮膚領域抽出部551は、図43に示す映像において、肌の色(輝度値)を示す肩の部分の座標と、顔の部分の座標とを抽出する。そして、皮膚領域抽出部551は、抽出した座標において連続した座標の画素をまとめて皮膚領域として抽出する。ここで、皮膚領域抽出部551は、肩の部分の座標と、顔の部分の座標とが連続していないことから、肩の部分から抽出した座標と、顔の部分から抽出した座標とをそれぞれ異なる部位の皮膚領域の座標としてまとめて抽出する。さらに、皮膚領域抽出部551は、例えば、図43に示す映像に対して顔認識処理を行うことで、ユーザの顔領域の画素の座標を抽出する。そして、皮膚領域抽出部551は、抽出した皮膚領域において、抽出した顔領域の座標を含む領域を顔の皮膚領域として判定する。
このように、皮膚領域抽出部551は、映像に含まれるユーザの顔の皮膚領域の座標と、顔以外の皮膚領域の座標とをそれぞれ抽出し、抽出した各皮膚領域の座標を算出部552に送信する。なお、肌の色に相当する色(輝度値)については、任意に設定することができる。例えば、人種ごとに所定の範囲の輝度値を設定し、映像において設定された範囲に含まれる輝度値を示す座標を肌の色の座標として抽出するように設定することも可能である。
また、例えば、皮膚領域抽出部551は、映像中に「基準位置」となる顔の領域や血流の変動を算出する「身体的位置」となる領域(図43中では肩等)を関心領域(ROI:region of interest)として自動で設定してもよいし、ユーザがマウスやタッチパネルなどの入力部を操作して設定してもよい。例えば、皮膚領域抽出部551は、関心領域が設定されると、設定された領域の座標を抽出して、各領域の座標を算出部552に送信する。ここで、各領域が基準位置となる顔の領域であるか、或いは、顔以外の身体的位置となる領域であるかについては、操作者から指定される場合であってもよく、上述した顔認識処理を実行する場合であってもよい。
例えば、操作者が、設定した3つの関心領域のうち、「顔面左頬」の領域を基準位置の領域として指定し、「右肩」の領域及び「左肩」の領域を身体的位置の領域として指定する。これにより、皮膚領域抽出部551は、各関心領域が基準位置の領域であるか又は身体的位置の領域であるかを識別することができる。また、上述した指定が実行されなかった場合、皮膚領域抽出部551は、上述したように、映像に対して顔認識処理を行うことで、ユーザの顔領域の座標を抽出し、設定された関心領域において、抽出した顔領域の座標を含む領域を基準位置の皮膚領域として抽出してもよい。
皮膚領域抽出部551は、上述した皮膚領域の抽出処理を、映像を構成する各フレームについてそれぞれ実行して、各フレームにおける皮膚領域の座標を算出部552に順次送信する。なお、関心領域が設定される場合、皮膚領域抽出部551は、関心領域が設定されたフレームから以降のフレームについて、映像中の特徴点を用いたトラッキング処理によりフレームごとの関心領域の座標をトラッキングして、トラッキングした結果の座標を算出部552に順次送信する。
なお、関心領域が手動で設定される場合、目鼻や毛髪を極力含まず、皮膚領域がROI内を多く占めるようにし、影となっている部分も避けるようにすることが望ましい。また、皮膚領域抽出部551は、手動で設定されたROI内から肌の色に相当する輝度値の画素を抽出して、抽出した画素をまとめた領域を関心領域として設定することができる。すなわち、手動でROIが設定され、設定されたROI内に目や毛髪などが含まれていた場合にも、それらに対応する画素を除いた領域を皮膚領域として設定することができる。
図41に戻って、算出部552は、ユーザの顔の映像信号の輝度情報と、ユーザの顔の映像信号と同一時間の顔以外の部位の映像信号の輝度情報との差分を算出する。具体的には、算出部552は、ユーザの顔及び顔以外の部位の映像信号に含まれる緑色光の輝度値をそれぞれ抽出し、抽出した各映像信号中の緑色光の輝度値における所定の特徴点間の時間差(dPTT)、又は、各映像信号中の緑色光の輝度値の位相差(PD)を算出する。
ここで、算出部552は、映像信号から緑色光の抽出を行う前に、まず、画像の平滑化を行い、映像取得部510a又は映像取得装置110bとしてのカメラ自体に発生する人工的なインパルス性雑音を除去する。例えば、算出部552は、フレームごとの画像全体に5×5ピクセルのメディアンフィルタをかける。その後、算出部552は、メディアンフィルタをかけたのちの各フレームについて、皮膚領域抽出部551によって抽出された皮膚領域における緑色光を抽出する。
上述したように、映像の各フレームの各画素には「R」、「G」、「B」の3つの輝度値が保存されており、この輝度値の組み合わせによってその画素の色が表現されている。そこで、算出部552は、まず、各フレームの皮膚領域(顔の皮膚領域及び顔以外の皮膚領域)に対して緑色のフィルタをかけることで、血中ヘモグロビンに対して強い吸光特性を有する緑色光の輝度値のみを抽出する。そして、算出部552は、顔の皮膚領域及び顔以外の皮膚領域について、緑色光の輝度値の平均値をフレームごとに算出して時間変化曲線とした緑信号を抽出する。図44は、第4の実施形態に係る緑信号の抽出を説明するための図である。図44においては、上段に映像に含まれる複数のフレームの模式図を示し、中段に縦軸を「Average Luminance(輝度平均値)」とし、横軸を「Frame No.(フレーム番号)」とした、緑色光の輝度平均値のグラフを示す。また、図44においては、下段に縦軸を「Average Green Luminance(緑色輝度平均値)」とし、横軸を「Time [s](時間)」とした、緑信号の一例を示す。
例えば、算出部552は、図44の上段の図に示すように、映像を構成する複数のフレームそれぞれに対して緑色のフィルタをかけることで、皮膚領域における緑色光の輝度値を抽出する。そして、算出部552は、各フレームについて、抽出した緑色光の輝度値の平均値を算出することで、図44の中段の図に示すように、緑色の輝度平均値のグラフを抽出する。算出部552は、映像中の各フレームに対して上述した処理を実行することで、図44の下段の図に示すような「緑信号」を抽出する。算出部552は、皮膚領域抽出部551によって抽出された皮膚領域それぞれについて「緑信号」を抽出する。具体的には、算出部552は、顔の皮膚領域(顔に設定された関心領域)及び顔以外の部位の皮膚領域(顔以外の部位に設定された関心領域)について、それぞれ「緑信号」を抽出する。
続いて、算出部552は、抽出した各皮膚領域の「緑信号」に対してそれぞれフィルタ処理を施すことによって、各皮膚領域における脈波信号を抽出する。すなわち、緑信号には体動や呼吸性変動などが含まれているため、算出部552は、これらを除くためのフィルタ処理を行う。例えば、算出部552は、「0.7−2.0 Hz」の周波数帯を通過する次数「5」のバタワースフィルタを使用することで、心拍成分以外の信号成分を除去する。これは健常者の心拍数変動の範囲である、「40−120 bpm」の成分と一致するものである。なお、本実施形態では、心拍周波数帯域のみを通過させるバンドパスフィルタとして、バタワースフィルタを用いる場合を例に挙げたが、実施形態はこれに限定されるものではなく、心拍周波数帯域のみを通過させることができるフィルタであれば、どのようなバンドパスフィルタが用いられる場合であってもよい。
第4の実施形態に係る脈波信号の抽出は、図8に示す脈波信号の抽出と同様になる。例えば、図44の下段に示す「緑信号」から脈波を抽出する場合、図8に示すような抽出となる。また、図8の下段においては、縦軸を「Amplitude(振幅)」とし、横軸を「Time [s](時間)」とした脈波信号を示す。ここで、第4の実施形態においては、光電容積脈波計などの装置によって計測された脈波「PPG」と区別するために、映像信号から抽出した脈波を図8に示すように「映像脈波(iPPG;image-based photoplethysmography)」と記す。例えば、算出部552は、図8に示すように、「緑信号」にフィルタ処理を施すことで、「映像脈波(iPPG)」を抽出する。図8に示すように、抽出される「映像脈波」は、正弦波状の周期的な波形となっており、心臓の1拍動によって生じる脈波がフィルタ処理後の波形の1つの山として現れる。
なお、第4の実施形態においては、原理的に血流増大時に緑信号は減少することになる。そこで、算出部552は、血流の増減と緑信号の増減とを一致させるために、緑信号に「−1」を乗算して正負反転させた後に、上述したフィルタ処理を施すことも可能である。例えば、図8に示す映像脈波は、第4の実施形態における例の正負反転させた波形を示す。
上述したように、算出部552は、顔の映像信号の緑色光の輝度情報から顔における映像脈波を抽出し、顔以外の部位の映像信号の緑色光の輝度情報から顔以外の部位における映像脈波を抽出する。そして、算出部552は、抽出した各映像脈波を用いて、ECGのR波を用いた「PTT」に相当する指標値「dPTT」及び「PD」を算出する。以下では、まず、「dPTT」の算出について説明した後に、「PD」の算出について説明する。
「PTT」は、一般的にECGのR波とPPGの特徴点の時間差で定義されるが、「PTT」は心臓から拍出された脈波の伝播時間であるため、伝播路となる血管において心臓に近い部位と心臓から離れた部位の2か所で測定した脈波波形を用いることでも定義することができる。すなわち、心臓に近い部位で測定された脈波波形と心臓から離れた部位で測定された脈波波形との伝播時間差を脈波の伝播時間と定義することができる。そこで、第4の実施形態では、基準位置となる顔の映像信号から抽出された脈波波形(iPPG)の特徴点と、身体的位置の映像信号から抽出された脈波波形(iPPG)の特徴点との時間差を「PTT」に相当する指標値「dPTT:脈波伝播時間差」として用いる。
ここで、脈波波形の特徴点については、明確な定義がなされておらず、複数の決定方法が存在する。例えば、拍内において「PPG」の値が最小となる点を特徴点とする「ボトム法」、拍内において「PPG」の値が最大となる点を特徴点とする「トップ法」、拍内において速度脈波(PPGの1階微分波形)が最大となる点を特徴点とする「1次微分法」、及び、拍内において加速度脈波(PPGの2階微分波形)が最大となる点を特徴点とする「2次微分法」などが挙げられる。算出部552は、上記した方法を含む任意の方法によって特徴点を決定することができる。なお、上述した方法においては、「2次微分法」が他の方法に比べて耐雑音性が高い傾向にあるため、「2次微分法」がデフォルトで設定されている場合であってもよい。
算出部552は、上述した方法によって脈波波形における特徴点を決定することによって、例えば、図9に示すように、「dPTT」を定義して、映像信号から抽出した映像脈波から「dPTT」を算出することができる。第4の実施形態に係る脈波伝播時間差の定義は、図9に示す脈波伝播時間差の定義と同様である。ここで、図9においては、図中左側に脈波伝播時間「PTT」の定義を示し、図中右側に脈波伝播時間差「dPTT」の定義を示す。すなわち、第4の実施形態においては、心電図のR波から脈波Aにおける特徴点までの時間を示す「PTT」に相当する指標値として、脈波Aにおける特徴点と脈波Bにおける同一の特徴点との時間差を「dPTT」として用いる。
例えば、算出部552は、基準位置となる顔の映像信号から抽出した映像脈波「iPPG」と、顔以外の身体的位置の映像信号から抽出した映像脈波「iPPG」とから2次微分法によってそれぞれ特徴点を検出し、検出した特徴点間の時間差「dPTT」を算出する。算出部552は、正弦波状の周期的な波形を示す映像脈波において、心臓の1拍動に対応する1つの山ごとに「dPTT」を算出することで、「dPTT」を経時的に算出する。
次に、「PD」の算出について説明する。この場合、特徴点の検出をすることなしに、異なる2つのROIにおける「iPPG」の位相差から「PTT」に相当する「PD」を算出する。
ここで、算出部552は、2つの脈波信号(基準位置となる顔の映像信号から抽出した映像脈波信号及び顔以外の身体的位置の映像信号から抽出した映像脈波信号)の位相差を算出するために、まず、以下で説明するヒルベルト変換を用いた瞬時位相を算出する。時刻「t」における「iPPG」のヒルベルト変換「H[iPPG(t)]」は時間軸では上記の式(8)によって示される。
また、式(8)における「*」はコンボリュージョンを示す。式(8)における「1/πt」をフーリエ変換すると「-jsgn(f)」となることから、「H[iPPG(t)]」のフーリエ変換「F[H[iPPG(t)]]」は上記の式(9)のように示される。すなわち、ヒルベルト変換は、「iPPG(t)」の正負の周波数成分に対してそれぞれ「90°」 遅らせる、もしくは進める操作である。これによって、「cos」成分は「-sin」成分になり、「sin」成分は「cos」成分になる。また、「iPPG(t)」のヒルベルト変換「H[iPPG(t)]」は「iPPG(t)」より位相が「90°」進んでいるので、瞬時位相「θ(t)」は上記の式(10)のように示される。
算出部552は、上述したヒルベルト変換によって2つの脈波信号の瞬時位相をそれぞれ算出すると、この2つの瞬時位相の差を「PTT」に相当する指標値「PD」として算出する。例えば、異なる2つの領域(基準位置の領域及び身体的位置の領域)から得られる「iPPG」を「iPPG1(t)」、「iPPG2(t)」とすると、上記の式(10)によって、各「iPPG」の瞬時位相「θ1(t)」及び「θ2(t)」が得られる。このとき、より心臓に近い位置で測定された方を「iPPG1(t)」とすると、脈波は心臓に近い位置から順に伝播していくため、瞬時位相「θ1(t)」は、瞬時位相「θ2(t)」よりも進んでいると考えられる。従って、この2つの瞬時位相の差「PD」は、2か所の異なるROIの脈波が伝播する時間差を反映していると考えられるため、ほぼ「PTT」と等価であると考えられ、上記の式(11)によって算出される。このように、算出部552は、脈波の瞬時位相を用いることで、1拍につき1点の位相情報を対象とするのではなく、1拍波形全体の情報を対象として位相差を算出する。この場合、算出部552は、図10に示すような瞬時位相差を算出する。
例えば、算出部552は、図10に示すように、基準位置となる顔の映像信号から抽出した映像脈波「iPPG1」と、身体的位置(例えば、肩など)の映像信号から抽出した映像脈波「iPPG2」とから、それぞれ瞬時位相1「θ1」及び瞬時位相2「θ2」を算出する。ここで、図10の中段に示す瞬時位相は、(−π,π)の範囲で折り返したものを示す。そして、算出部552は、上述した式(11)を用いて、瞬時位相1「θ1」から瞬時位相2「θ2」を差分することで、図10に示すように、瞬時位相差「PD」を算出する。
また、算出部552は、算出した脈波伝播時間差「dPTT」又は瞬時位相差「PD」を用いて第1血行情報や第2血行情報を算出する。例えば、算出部552は、所定のユーザ行動前における基準位置となる顔と身体的位置との間の脈波伝播時間差「dPTT」、及び基準位置と身体的位置との間の距離に基づく脈波伝播速度を第1血行情報として算出する。なお、算出部552は、所定のユーザ行動前における基準位置となる顔と身体的位置との間の脈波伝播時間差「dPTT」を第1血行情報としてもよい。また、算出部552は、所定のユーザ行動前における基準位置となる顔と身体的位置との間の瞬時位相差「PD」を第1血行情報としてもよい。なお、ここに示す脈波伝播時間差の算出は一例であり、算出部552は、種々の方法を適宜用いて脈波伝播時間差を算出してもよい。例えば、算出部552は、第1〜第3の実施形態における脈波伝播時間差を算出する方法を用いて、脈波伝播時間差を算出してもよい。
また、例えば、算出部552は、所定のユーザ行動後における基準位置となる顔と身体的位置との間の脈波伝播時間差「dPTT」、及び基準位置と身体的位置との間の距離に基づく脈波伝播速度を第2血行情報として算出する。なお、算出部552は、所定のユーザ行動後における基準位置となる顔と身体的位置との間の脈波伝播時間差「dPTT」を第2血行情報としてもよい。また、算出部552は、所定のユーザ行動後における基準位置となる顔と身体的位置との間の瞬時位相差「PD」を第2血行情報としてもよい。
例えば、図40では、算出部552は、ユーザの入浴前における顔と右肩との間の脈波伝播時間差「dPTT」、及び顔と右肩との間の距離に基づく脈波伝播速度を、右肩に関する第1血行情報として算出する。また、例えば、図40では、算出部552は、ユーザの入浴後における顔と右肩との間の脈波伝播時間差「dPTT」、及び顔と右肩との間の距離に基づく脈波伝播速度を、右肩に関する第2血行情報として算出する。
また、例えば、図40では、算出部552は、ユーザの入浴前における顔と左肩との間の脈波伝播時間差「dPTT」、及び顔と左肩との間の距離に基づく脈波伝播速度を、左肩に関する第1血行情報として算出する。また、例えば、図40では、算出部552は、ユーザの入浴後における顔と左肩との間の脈波伝播時間差「dPTT」、及び顔と左肩との間の距離に基づく脈波伝播速度を、左肩に関する第2血行情報として算出する。
また、算出部552は、第1血行情報と第2血行情報との差分を算出する。例えば、図40では、算出部552は、右肩に関する第1血行情報と右肩に関する第2血行情報との差分を算出する。また、例えば、図40では、算出部552は、左肩に関する第1血行情報と左肩に関する第2血行情報との差分を算出する。また、算出部552は、上記の各種の算出結果を算出結果記憶部542に格納してもよい。
生成部553は、算出部552によって算出された差分に応じて身体的位置の血流状態を示す血行情報を生成する。具体的には、生成部553は、表示部520に表示する血行情報を生成する。例えば、生成部553は、画像情報を血行情報として生成する。具体的には、生成部553は、身体的位置の第1血流情報と第2血流情報との差分を色相の変化で示した色相画像を血行情報として生成する。図40では、生成部553は、右肩の第1血流情報と右肩の第2血流情報との差分を色相の変化で示した色相画像を右肩の血行情報として生成する。また、図40では、生成部553は、左肩の第1血流情報と左肩の第2血流情報との差分を色相の変化で示した色相画像を左肩の血行情報として生成する。また、例えば、生成部553は、文字情報を血行情報として表示する。
出力制御部554は、表示部520の表示を制御する。例えば、出力制御部554は、生成部553により生成された血行情報を表示部520にて表示させるように制御する。例えば、出力制御部554は、身体的位置の第1血流情報と第2血流情報との差分を色相の変化で示した色相画像を、対応する身体的位置に重畳して表示するように表示部520の表示を制御する。例えば、図40では、出力制御部554は、右肩の第1血流情報と第2血流情報との差分を色相の変化で示した色相画像を、対応するユーザの身体画像の右肩に重畳して表示するように表示部520の表示を制御する。なお、出力制御部554は、出力装置120bの出力を制御してもよい。
上述したように、生体情報表示装置500は、対象者の映像信号における輝度値の変化(緑信号の変化)に基づいて処理を実行する。ここで、対象者を撮影している際に、対象者が動いたり、カメラが動いたりすることにより、映像内の対象者の皮膚領域が動く(並進運動・回転運動する)場合がある。また、対象者を撮影している際に、皮膚に照射される周辺光の強度が変化する場合もある。このような皮膚領域の動きに伴う輝度値の変化や周辺光の強度の時間的変化は、実際の血液量の変化を直接反映しない雑音成分となる可能性がある。そこで、本願に係る生体情報表示装置500は、上記した状況を考慮した処理を実行する。
皮膚領域の並進運動・回転運動による雑音に対しては、生体情報表示装置500は、肌色部分の逐次的トラッキングにより補正する。例えば、皮膚領域抽出部551は、皮膚領域が次のフレームでどのように変化したかを順次探索することで、各フレームの皮膚領域を抽出する。一例を挙げると、皮膚領域抽出部551は、映像中の特徴点の位置や、複数の特徴点間の相互の位置関係などを変化(更新)させながら、各フレーム内の皮膚領域を抽出する。なお、逐次的トラッキングは、上記した例に限らず、どのような手法が用いられてもよい。
周辺光の強度の時間的変化に対しては、生体情報表示装置500は、照度センサ560によって測定された照度に応じて照明部570を制御することで、対象者の皮膚付近の光の強度を調整する。具体的には、フィードバック制御部555は、照度センサ560から受信した照度に基づいて、照明部570から照射される光の強度を変化させる。すなわち、フィードバック制御部555は、照度センサ560によって測定される照度が一定値に保たれるように、照明部570から照射される光の強度を変化させる。これにより、例えば、周辺光の強度が時間的に変化する可能性が高い自動車内のような環境であっても、精度の高い処理を行うことができる。
なお、フィードバック制御部555は、上記した処理とは異なるフィードバック制御も行うことができる。例えば、フィードバック制御部555は、照度センサ560の測定結果を用いずに、映像信号の輝度値の変化に基づくフィードバック制御を行うことで、周辺光の強度の時間的変化を補正することができる。一例を挙げると、フィードバック制御部555は、皮膚領域の平均輝度において、直流成分及び交流成分における心拍周波数帯域よりも低い周波数成分が一定値に保たれるように、照明部570から照射される光の強度を変化させる。
なお、図41においては、生体情報表示装置500が、照度センサ560及び照明部570を備える場合を示しているが、実施形態はこれに限定されるものではなく、生体情報表示装置500の外部にある照度センサ560及び照明部570が、生体情報表示装置500に接続される場合であってもよい。また、照度センサ560及び照明部570が映像取得装置110bに備えられ、生体情報表示装置500におけるフィードバック制御部555が、ネットワーク300を介して照明部570を制御する場合であってもよい。
上述した例では、周辺光の強度の時間的変化に対して照明部570を用いて補正する場合について説明した。しかしながら、生体情報表示装置500は、照度センサ560や照明部570を用いずに周辺光の強度の時間的変化に対する補正を行うことも可能である。例えば、算出部552は、対象者の映像信号における所定の長さの時間区間に含まれるフレームについて、皮膚領域の輝度平均値のフレーム間の差分をそれぞれ算出する。そして、算出部552は、算出したフレーム間の差分の絶対値を所定の閾値とそれぞれ比較し、所定の閾値よりも大きい差分を「0」とする補正を行う。このように、算出部552は、所定の長さの時間区間に含まれるフレーム間の各差分において、差分の絶対値が所定の閾値よりも大きいものを「0」にしたフレーム間の差分の累積値の時系列を、皮膚領域の輝度平均値の時系列(緑信号)として算出する。これにより、補正前の輝度平均値の時系列に含まれる急激なバイアス成分の変化がキャンセルされ、バンドパスフィルタによっても除去しにくい低周波成分の過渡応答を抑制することができる。これは、非線形フィルタである「εフィルタ」の1つの形態である。
(背面側の血行情報の表示例)
図40の例においては、ユーザの正面側の血行情報を表示する例を示したが、血行情報はユーザの身体であれば、どの位置の血行情報であってもよい。そこで、図45を用いて、第4の実施形態に係る生体情報表示装置500がユーザの背面側の血行情報を表示する例を説明する。図45は、第4の実施形態に係る入浴前後の血流変動の表示の一例を示す図である。具体的には、図45は、生体情報表示装置500がユーザの入浴前後における血流の変動に基づく血行情報を表示する例を示す。また、図45に示す例においては、生体情報表示装置500がお風呂の脱衣所に設置され、映像取得装置110bが洗面台の反対側に設置された場合を示す。図40と同様の説明は適宜省略する。
まず、図45中の左側に示すシーンSN2aは、入浴前のユーザがお風呂の脱衣所にいる場面を示す。なお、シーンSN2aにおいて、脱衣所の洗面台に映るユーザの像は、映像取得装置110bが撮影したユーザの像を表示部520が表示したものである。具体的には、脱衣所の洗面台に映るユーザの像は、映像取得装置110bがユーザの背後から撮影したユーザの背面の像を表示部520が表示したものである。なお、図45では、ユーザの像として、ユーザの上半身の像が脱衣所の洗面台に映る例を示すが、ユーザの全身の像であってもよい。また、シーンSN2aにおいて、生体情報表示装置500は、入浴前のユーザを撮影する。そして、生体情報表示装置500は、ユーザの身体の映像信号の輝度情報から入浴前におけるユーザの身体的位置の第1血流情報を算出する。
上述のように、図45では、脱衣所の洗面台に配置された生体情報表示装置500は、映像取得装置110bによりユーザの背面から撮影する。そのため、生体情報表示装置500は、ユーザを背面から撮影した身体の映像信号の輝度情報から入浴前におけるユーザの身体的位置の血流情報である第1血流情報を算出する。なお、図45では、生体情報表示装置500は、ユーザの複数の身体的位置の第1血流情報を算出する。例えば、生体情報表示装置500は、ユーザの両肩や両腕や腰部等、複数の身体的位置の第1血流情報を算出する。例えば、生体情報表示装置500は、撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の第1血流情報を算出してもよい。
図45中の中央に示すシーンSN2bは、ユーザがお風呂に入浴中の場面を示す。図45中のシーンSN2bにおける入浴後、ユーザは、浴室から脱衣所へ移動する。図45中の右側に示すシーンSN2cは、入浴後のユーザがお風呂の脱衣所にいる場面を示す。図45中のシーンSN2cにおいて、生体情報表示装置500は、ユーザを背面から撮影した身体の映像信号の輝度情報から入浴後におけるユーザの身体的位置の血流情報である第2血流情報を算出する。なお、図45では、生体情報表示装置500は、ユーザの複数の身体的位置の第2血流情報を算出する。例えば、生体情報表示装置500は、ユーザの両肩や両腕や腰部等、複数の身体的位置の第2血流情報を算出する。例えば、生体情報表示装置500は、撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の第2血流情報を算出してもよい。
また、生体情報表示装置500は、各身体的位置の血流差分を算出する。なお、図45では、血流差分が大きいほど血流が良くなる場合を示す。図45では、生体情報表示装置500は、ユーザの両肩や両腕や腰部等を含む撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の血流差分を算出する。例えば、生体情報表示装置500は、ユーザの右肩周辺の複数の身体的位置の各々に関して血流差分を算出する。また、例えば、生体情報表示装置500は、ユーザの腰部周辺の複数の身体的位置の各々に関して血流差分を算出する。
そして、生体情報表示装置500は、血流差分に基づいて、各身体的位置の血流状態を示す血行情報を生成する。図45では、生体情報表示装置500は、血行情報IB12として各身体的位置の血流差分が大きいほど、濃いハッチングで示す画像を生成する。また、図45では、生体情報表示装置500は、血行情報IB12として各身体的位置の血流差分が小さいほど、薄いハッチングで示す画像を生成する。
そして、生体情報表示装置500は、生成した血行情報IB12をユーザの身体画像IM12とともに表示する。具体的には、生体情報表示装置500は、生成した血行情報IB12をユーザの身体画像IM12において対応する身体的位置に重畳させて表示する。例えば、生体情報表示装置500は、腰部の血行情報IB12をユーザの身体画像IM12における腰部に重畳させて表示する。図45では、腰部全体にハッチングで示す画像が重畳されているため、ユーザは、腰部全体の血行が良くなっていると直感的に認識できる。
(生体情報表示装置の設置例)
図40や図45の例においては、ユーザ行動がユーザの入浴である場合を例に説明したが、ユーザ行動は、その行動前後においてユーザの身体に血流に関する変動を生じさせる行動であれば、どのような行動であってもよい。また、図40や図45の例においては、お風呂の脱衣所に生体情報表示装置500が設置された例を示したが、生体情報表示装置500はどのような場所に設置されてもよい。そこで、図46や図47を用いて、第4の実施形態に係る生体情報表示装置500がロッカールームに設置された例を説明する。
まず、図46を用いて、第4の実施形態に係る生体情報表示装置500が職場のロッカールームに設置され、ユーザ行動がユーザの労働である例を説明する。図46は、第4の実施形態に係る労働前後の血流変動の表示の一例を示す図である。具体的には、図46は、生体情報表示装置500がユーザの労働前後における血流の変動に基づく血行情報を表示する例を示す。
まず、図46中の左側に示すシーンSN3aは、労働前のユーザがロッカールームにいる場面を示す。なお、シーンSN3aにおいて、ロッカールームのロッカーの扉に映るユーザの像は、鏡に映ったユーザの像であってもよいし、生体情報表示装置500の映像取得部510aが撮影したユーザの像を表示部520が表示したものであってもよい。また、シーンSN3aにおいて、生体情報表示装置500は、労働前のユーザを撮影する。そして、生体情報表示装置500は、ユーザの身体の映像信号の輝度情報から労働前におけるユーザの身体的位置の血流情報である第1血流情報を算出する。
図46では、ロッカールームのロッカーの扉に配置された生体情報表示装置500は、映像取得部510aによりユーザの正面から撮影する。そのため、生体情報表示装置500は、ユーザを正面から撮影した身体の映像信号の輝度情報から労働前におけるユーザの身体的位置の血流情報である第1血流情報を算出する。なお、図46では、生体情報表示装置500は、ユーザの複数の身体的位置の第1血流情報を算出する。例えば、生体情報表示装置500は、ユーザの両肩や両腕や腹部等、複数の身体的位置の第1血流情報を算出する。例えば、生体情報表示装置500は、撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の第1血流情報を算出してもよい。
また、生体情報表示装置500は、所定の条件を満たした場合に撮影を開始してもよい。例えば、生体情報表示装置500は、ユーザがロッカーの扉を開けたことをトリガとして、撮影を開始してもよい。例えば、生体情報表示装置500は、ユーザが所定の鏡に映ったことをトリガとして、撮影を開始してもよい。
その後、ユーザは、ロッカールームから自身の机等へ移動し労働する。この場合、生体情報表示装置500は、撮影を停止してもよい。例えば、生体情報表示装置500は、ユーザがロッカーの扉を閉じたことをトリガとして、撮影を停止してもよい。例えば、生体情報表示装置500は、ユーザが所定の鏡に映らなくなったことをトリガとして、撮影を停止してもよい。また、生体情報表示装置500は、第1血流情報を算出するために必要な情報が取得できたことをユーザに通知してもよい。これにより、生体情報表示装置500は、ユーザにロッカールームから移動するタイミングを通知することができ、労働前後の血行情報の表示に必要な情報を取得することができる。
図46中の中央に示すシーンSN3bは、ユーザが労働中の場面を示す。シーンSN3bにおいて、ユーザがある程度の時間(例えば、8時間等)労働する。例えば、ユーザが労働することによるストレス等で、ユーザの皮膚の毛細血管や皮下の血管が収縮して、血流が悪くなる。そのため、生体情報表示装置500が算出する第2血流情報は第1血流情報から変動した値となる。例えば、生体情報表示装置500が算出する第2血流情報は第1血流情報よりも小さな値となる。なお、生体情報表示装置500は、ユーザが労働中における周囲の温度や湿度を適宜の手段により取得してもよい。例えば、生体情報表示装置500は、ユーザが労働中における周囲の温度や湿度を計測する所定の温度計や湿度計からユーザが労働中における周囲の温度や湿度に関する情報を取得してもよい。この場合、生体情報表示装置500は、取得したユーザが労働中における周囲の温度や湿度に関する情報に応じて第1血流情報や第2血流情報を補正してもよい。
図46中のシーンSN3bにおける労働後、ユーザは、ロッカールームへ移動する。この場合、生体情報表示装置500は、撮影を開始してもよい。例えば、生体情報表示装置500は、ユーザがロッカーの扉を開けたことをトリガとして、撮影を開始してもよい。例えば、生体情報表示装置500は、ユーザが所定の鏡に映ったことをトリガとして、撮影を開始してもよい。図46中の右側に示すシーンSN3cは、労働後のユーザがロッカールームにいる場面を示す。図46中のシーンSN3cにおいて、生体情報表示装置500は、ユーザを正面から撮影した身体の映像信号の輝度情報から労働後におけるユーザの身体的位置の血流情報である第2血流情報を算出する。なお、図46では、生体情報表示装置500は、ユーザの複数の身体的位置の第2血流情報を算出する。例えば、生体情報表示装置500は、ユーザの両肩や両腕や腹部等、複数の身体的位置の第2血流情報を算出する。例えば、生体情報表示装置500は、撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の第2血流情報を算出してもよい。
また、生体情報表示装置500は、各身体的位置の血流差分を算出する。ここで、各身体的位置の血流差分は、各身体的位置における労働前後の血流の変動を示す。なお、図46では、血流差分が大きいほど血流が良くなる場合を示す。
図46では、生体情報表示装置500は、ユーザの両肩や両腕や腹部等を含む撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の血流差分を算出する。例えば、生体情報表示装置500は、ユーザの右肩周辺の複数の身体的位置の各々に関して血流差分を算出する。また、例えば、生体情報表示装置500は、ユーザの腹部周辺の複数の身体的位置の各々に関して血流差分を算出する。
そして、生体情報表示装置500は、血流差分に基づいて、各身体的位置の血流状態を示す血行情報を生成する。図46では、生体情報表示装置500は、血行情報IB13として各身体的位置の血流差分が大きいほど、濃いハッチングとなる画像を生成する。また、図46では、生体情報表示装置500は、血行情報IB13として各身体的位置の血流差分が小さいほど、薄いハッチングとなる画像を生成する。
そして、生体情報表示装置500は、生成した血行情報IB13をユーザの身体画像IM13とともに表示する。具体的には、生体情報表示装置500は、生成した血行情報IB13をユーザの身体画像IM13において対応する身体的位置に重畳させて表示する。例えば、生体情報表示装置500は、腹部の血行情報IB13をユーザの身体画像IM13における腹部に重畳させて表示する。図46では、腹部の全体に表示される血行情報IB13が重畳されているため、ユーザは、腹部の全体の血行が良くなっていると直感的に認識できる。また、図46では、両肩や両腕には血行情報IB13が重畳されていないため、ユーザは、両肩や両腕の血行が良くなっていない(悪くなっている)と直感的に認識できる。
次に、図47を用いて、第4の実施形態に係る生体情報表示装置500がスポーツジムのロッカールームに設置され、ユーザ行動がユーザの運動である例を説明する。図47は、第4の実施形態に係る運動前後の血流変動の表示の一例を示す図である。具体的には、図47は、生体情報表示装置500がユーザの運動前後における血流の変動に基づく血行情報を表示する例を示す。
まず、図47中の左側に示すシーンSN4aは、運動前のユーザがロッカールームにいる場面を示す。なお、シーンSN4aにおいて、ロッカールームのロッカーの扉に映るユーザの像は、鏡に映ったユーザの像であってもよいし、生体情報表示装置500の映像取得部510aが撮影したユーザの像を表示部520が表示したものであってもよい。また、シーンSN4aにおいて、生体情報表示装置500は、運動前のユーザを撮影する。そして、生体情報表示装置500は、ユーザの身体の映像信号の輝度情報から運動前におけるユーザの身体的位置の血流情報である第1血流情報を算出する。
図47では、ロッカールームのロッカーの扉に配置された生体情報表示装置500は、映像取得部510aによりユーザの正面から撮影する。そのため、生体情報表示装置500は、ユーザを正面から撮影した身体の映像信号の輝度情報から運動前におけるユーザの身体的位置の血流情報である第1血流情報を算出する。なお、図47では、生体情報表示装置500は、ユーザの複数の身体的位置の第1血流情報を算出する。例えば、生体情報表示装置500は、ユーザの両肩や両腕や胸部等、複数の身体的位置の第1血流情報を算出する。例えば、生体情報表示装置500は、撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の第1血流情報を算出してもよい。
その後、ユーザは、ロッカールームからジム内へ移動し運動する。図47中の中央に示すシーンSN4bは、ユーザが運動中の場面を示す。シーンSN4bにおいて、ユーザがある程度の時間(例えば、2時間等)運動する。例えば、ユーザが運動することにより、ユーザの皮膚の毛細血管や皮下の血管が拡張して、血流が良くなる。そのため、生体情報表示装置500が算出する第2血流情報は第1血流情報から変動した値となる。例えば、生体情報表示装置500が算出する第2血流情報は第1血流情報よりも大きな値となる。
図47中のシーンSN4bにおける運動後、ユーザは、ロッカールームへ移動する。この場合、生体情報表示装置500は、撮影を開始してもよい。図47中の右側に示すシーンSN4cは、運動後のユーザがロッカールームにいる場面を示す。図47中のシーンSN4cにおいて、生体情報表示装置500は、ユーザを正面から撮影した身体の映像信号の輝度情報から運動後におけるユーザの身体的位置の血流情報である第2血流情報を算出する。なお、図47では、生体情報表示装置500は、ユーザの複数の身体的位置の第2血流情報を算出する。例えば、生体情報表示装置500は、ユーザの両肩や両腕や胸部等、複数の身体的位置の第2血流情報を算出する。例えば、生体情報表示装置500は、撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の第2血流情報を算出してもよい。
また、生体情報表示装置500は、各身体的位置の血流差分を算出する。ここで、各身体的位置の血流差分は、各身体的位置における運動前後の血流の変動を示す。なお、図47では、血流差分が大きいほど血流が良くなる場合を示す。
図47では、生体情報表示装置500は、ユーザの両肩や両腕や胸部等を含む撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の血流差分を算出する。例えば、生体情報表示装置500は、ユーザの胸部周辺の複数の身体的位置の各々に関して血流差分を算出する。
そして、生体情報表示装置500は、血流差分に基づいて、各身体的位置の血流状態を示す血行情報を生成する。図47では、生体情報表示装置500は、血行情報IB14として各身体的位置の血流差分が大きいほど、濃いハッチングで示す画像を生成する。また、図47では、生体情報表示装置500は、血行情報IB14として各身体的位置の血流差分が小さいほど、薄いハッチングで示す画像を生成する。
そして、生体情報表示装置500は、生成した血行情報IB14をユーザの身体画像IM14とともに表示する。具体的には、生体情報表示装置500は、生成した血行情報IB14をユーザの身体画像IM14において対応する身体的位置に重畳させて表示する。例えば、生体情報表示装置500は、胸部の血行情報IB14をユーザの身体画像IM14における胸部に重畳させて表示する。図47では、胸部の全体に表示される血行情報IB14が重畳されているため、ユーザは、胸部の全体の血行が良くなっていると直感的に認識できる。
(生体情報表示装置の設置例)
次に、上述した生体情報表示装置500の設置の具体例について説明する。上述したように、第4の実施形態に係る生体情報表示装置500は、人体の血圧変動を、簡便に、非接触的に測定することが可能である。これにより、例えば、図1に示す日常人間ドッグにおいて人体の血圧変動の可視化を実現することができる。以下、図1に示す日常人間ドッグにおいて人体の血圧変動の可視化の実現は、例えば図20のような構成を用いて実現される。この場合、図20中の生体情報計測装置100は、生体情報表示装置500に置き換えられるものとする。
例えば、対象者が洗面所の鏡の前に立つだけで、健康予報を提供することができる図1の日常人間ドッグは、例えば、図20に示すように、生体情報表示装置500としてのカメラ付きPC(タブレットPC)をハーフミラーの背面に設置することで実現される。すなわち、生体情報表示装置500は、ハーフミラー越しに対象者を撮影して、撮影した映像信号に基づいて血流差分を算出し、生成した血行情報を表示する。例えば、ハーフミラーの背面に設置された生体情報表示装置500の映像取得部510aが、ユーザの身体を撮影する。その後、皮膚領域抽出部551が映像内のユーザの基準位置となる顔や肩等の身体的位置に対応する領域を抽出して、算出部552が各領域の映像脈波を抽出して、「PD」又は「dPTT」を算出する。また、算出部552は「PD」又は「dPTT」に基づいて算出した第1血流情報や第2血流情報から血流差分を算出する。生成部553は、算出部552によって算出された血流差分に基づいて、血行情報を生成し、表示部520は、血行情報を表示する。
(血行情報の表示例)
上述した例においては、血行情報として血流差分に基づく画像をユーザの身体画像に重畳して表示する例を示したが、血行情報は画像に限らず、種々の情報であってもよい。この点について、図48〜図50を用いて説明する。図48〜図50は、第4の実施形態に係る表示する情報の一例を示す図である。具体的には、図48及び図49は、血行情報として文字情報を表示する例を示し、図50は、血行情報として他のユーザと比較可能な情報を表示する例である。
まず、図48は、生体情報表示装置500がユーザの身体画像IM15とともに、文字情報である血行情報IB15が表示される例を示す。具体的には、図48は、生体情報表示装置500がユーザの身体画像IM15とともに、ユーザの入浴前後の血圧に関する血行情報IB15が表示される例を示す。これにより、生体情報表示装置500は、ユーザに自身の血行の変化を文字情報により論理的に認識させることができる。なお、生体情報表示装置500は、文字情報である血行情報IB15に加えて、図40に示すような画像である血行情報IB11をユーザの身体画像IM15に重畳させて表示させてもよい。これにより、生体情報表示装置500は、ユーザに自身の血行の変化を画像により直感的に認識させ、文字情報により論理的に認識させることができるため、ユーザに適切に血行情報を伝達することができる。
次に、図49は、生体情報表示装置500がユーザの身体画像IM16とともに、文字情報である血行情報IB16が表示される例を示す。具体的には、図49は、生体情報表示装置500がユーザの身体画像IM16とともに、ユーザの入浴前後の血流変化に関する血行情報IB16が表示される例を示す。図49では、血行情報IB16は、「入浴により肩の血行が良くなっています」という文章の情報である。これにより、生体情報表示装置500は、平易な文章で血行情報を表示することにより、ユーザに自身の血行の変化をより簡単に認識させることができる。なお、生体情報表示装置500は、文字情報である血行情報IB16に加えて、図40に示すような画像である血行情報IB11をユーザの身体画像IM16に重畳させて表示させてもよい。
次に、図50は、生体情報表示装置500が他ユーザの血行情報IB17を表示する例を示す。具体的には、図50は、生体情報表示装置500が他ユーザの身体画像IM17とともに、他ユーザの入浴前後の血流変化に関する血行情報IB17が表示される例を示す。なお、他ユーザの身体画像IM17は、例えばユーザ自身の身体画像IM18等、どのような身体画像であってもよい。また、他ユーザの血行情報IB17は、複数の他ユーザの血行情報の平均であってもよい。図50では、他ユーザの血行情報IB17は、両肩の血行が良くなっている場合を示しており、入浴前後の血流変化として望ましい状態を示す。
また、図50では、生体情報表示装置500が、血行情報IB18が重畳表示されるユーザの身体画像IM18を、血行情報IB17が重畳表示される他ユーザの身体画像IM17とともに表示する例を示す。図50では、ユーザの血行情報IB18は、両肩の血行が良くなっていない場合を示しており、入浴前後の血流変化として望ましくない状態を示す。これにより、生体情報表示装置500は、ユーザに自身の血行の変化を、他ユーザの血行の変化とともに表示することにより他の情報との比較により認識させることができるため、ユーザに適切に血行情報を伝達することができる。また、ユーザは、理想的な血行の変化を認識することができるため、自身が改善すべき点を容易に把握することができる。
(処理フロー)
次に、生体情報表示装置500による処理の流れについて説明する。図51及び図52は、第4の実施形態に係る生体情報表示装置の処理手順を示すフローチャートである。具体的には、図51は、生体情報表示装置500が「PD」又は「dPTT」を算出するまでの処理手順を示すフローチャートである。また、図52は、生体情報表示装置500が血行情報を表示するまでの処理手順を示すフローチャートである。
まず、図51に示すように、生体情報表示装置500においては、映像取得部510a又は映像取得装置110bがユーザの身体を撮影する(ステップS401)。
そして、皮膚領域抽出部551が、肌の色に相当する領域を自動で抽出する、或いは、操作者によって手動で設定されることによって、基準位置及び身体的位置に関心領域(ROI)をそれぞれ設定する(ステップS402)。その後、算出部552が、設定された関心領域それぞれにおける緑色光の輝度平均値を算出し(ステップS403)、算出した輝度平均値から「PD」又は「dPTT」を算出する(ステップS404)。
次に、図52に示すように、生体情報表示装置500においては、算出部552は、第1血流情報を算出する(ステップS501)。例えば、算出部552は、算出した「PD」又は「dPTT」に基づいて第1血流情報を算出する。次に、算出部552は、第2血流情報を算出する(ステップS502)。例えば、算出部552は、算出した「PD」又は「dPTT」に基づいて第2血流情報を算出する。
そして、生成部553が、第1血流情報と第2血流情報との差分に基づき、血行情報を生成する(ステップS503)。その後、表示部520が、生成した血行情報をユーザの身体画像とともに表示する(ステップS504)。
(ハードウェア構成)
図53は、本実施形態における生体情報計測装置100(生体情報計測装置100a、生体情報表示装置500又はPHR装置200)のハードウェア構成を示す図である。生体情報計測装置100(生体情報計測装置100a、生体情報表示装置500又はPHR装置200)は、CPU310と、ROM320と、RAM330と、表示部340と、入力部350とを備える。また、生体情報計測装置100(生体情報計測装置100a、生体情報表示装置500又はPHR装置200)では、CPU310、ROM320、RAM330、表示部340、及び入力部350が、バスライン301を介して接続されている。
上述した実施形態における各種処理を行う生体情報計測プログラム又は生体情報表示プログラムは、ROM320内に格納されており、バスライン301を介して、RAM330へロードされる。CPU310は、RAM330内にロードされた生体情報計測プログラム又は生体情報表示プログラムを実行する。例えば、生体情報計測装置100(生体情報計測装置100a、生体情報表示装置500又はPHR装置200)では、操作者による入力部350からの指示入力に従って、CPU310が、ROM320内から生体情報計測プログラムを読み出してRAM330内のプログラム格納領域に展開し、各種処理を実行する。CPU310は、この各種処理に際して生じる各種データをRAM330内に形成されるデータ格納領域に一時的に記憶させておく。
生体情報計測装置100(生体情報計測装置100a、生体情報表示装置500又はPHR装置200)で実行される生体情報計測プログラム又は生体情報表示プログラムは、皮膚領域抽出部151、算出部152、計測部153、出力制御部154、フィードバック制御部155を含むモジュール構成、又は、皮膚領域抽出部151、算出部152、計測部153、出力制御部154、フィードバック制御部155、特徴領域抽出部156を含むモジュール構成、或いは、皮膚領域抽出部551、算出部552、生成部553、出力制御部554、フィードバック制御部555を含むモジュール構成となっており、これらが主記憶装置上にロードされ、これらが主記憶装置上に生成される。
(その他の実施形態)
実施形態は、上述した実施形態に限られるものではない。
また、上述した実施形態で例示した物理的な構成は、あくまで一例に過ぎない。上述した実施形態で例示した各部は、運用の形態や負荷に応じて適宜統合若しくは分散される。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。