JP6869205B2

JP6869205B2 - 生体の拍動を検出する生体情報検出装置、プログラム及び方法

Info

Publication number: JP6869205B2
Application number: JP2018093844A
Authority: JP
Inventors: 健輔山口
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2018-05-15
Filing date: 2018-05-15
Publication date: 2021-05-12
Anticipated expiration: 2038-05-15
Also published as: JP2019198418A

Description

本発明は、例えば心拍数や呼吸数のような生体の拍動を検出する技術に関する。

従来、人物の心拍数を検出する場合、心拍センサを皮膚に接触させて計測する（例えば非特許文献１参照）。この技術によれば、光電式容積脈波記録方式を用いて、例えば手首から心拍数を計測する。これは、「血液が赤いのは、赤色光を反射して緑色光を吸収する」という現象を利用したものである。具体的には、緑色ＬＥＤライトと感光性フォトダイオードとを組み合わせて、手首を流れる血液の量を検出する。鼓動によって手首を流れる血液が増え、緑色光がより多く吸収される一方で、鼓動と鼓動の間は光の吸収量が減る。ここに、毎秒数百回もＬＥＤライトを点滅させ、心拍数を計測する。

これに対し、人物に触れることなく心拍数を計測する非接触バイタルセンシングの技術もある（例えば非特許文献２参照）。この技術によれば、例えばスポーツ選手を一般的なＷｅｂカメラで撮影した映像から心拍数を推定し、その選手の緊張感やストレス状態を計測することができる。具体的には、肌の光反射率の変化を用いて心拍数を測定している。血液は、光を吸収する性質を持ち、反射率の変化を引き起こす。光の吸収量は一定ではなく、脈波による血管の収縮に連動して変化する。これにより、肌の光反射率の変化から推定した脈波から、心拍数を算出する。

他の従来技術として、自律的な移動体（ロボットや自動車）が、カメラによって撮影した周辺画像から静止物を検出し、その静止物と自己との距離の変位から自己の位置を検出する技術もある（例えば特許文献１参照）。この技術によれば、移動体の前方視野のＲＧＢ画像と距離画像とを同時に取得する。そして、それぞれの画像から特徴点を抽出し、予め記憶された物体情報の特徴点と比較して、相関が高い特徴点を既知の特徴点と見なして自己位置を算出するための基準特徴点を設定する。

また、自律的な移動体として、コンパクトなパーソナルドローンの技術もある（例えば非特許文献３参照）。この技術によれば、ユーザ自身を自動追尾対象に設定した場合、そのユーザから相対的な位置に常に追尾して撮影する。例えばTerrain Follow（地形フォロー）モードでは、地上3m〜10mの間で被写体を、常に後方又は前方から追尾することもできる。

特開２０１１−２２１５７号公報

「心拍数。その意味と Apple Watch での表示方法」、[online]、［平成３０年４月１０日検索］、インターネット＜URL:https://support.apple.com/ja-jp/HT204666＞「人物に触れずに心拍数を計測、パナソニックが動画解析技術」、[online]、［平成３０年４月１０日検索］、インターネット＜URL:http://tech.nikkeibp.co.jp/dm/atcl/column/15/110200016/042800059/＞「DJI、コンパクトな新製品パーソナルドローン「Mavic Pro」を発表」、[online]、［平成３０年４月１０日検索］、インターネット＜URL:https://www.dji.com/jp/newsroom/news/mavic-jp＞ OpenPose、[online]、［平成３０年４月１０日検索］、インターネット＜URL:https://github.com/CMU-Perceptual-Computing-Lab/openpose＞「動画や写真からボーンが検出できる OpenPoseを試してみた」、[online]、［平成３０年４月１０日検索］、インターネット＜URL:http://hackist.jp/?p=8285＞「OpenPoseがどんどんバージョンアップして3d pose estimationも試せるようになっている」、[online]、［平成３０年４月１０日検索］、インターネット＜URL: http://izm-11.hatenablog.com/entry/2017/08/01/140945＞

前述したように、心拍数や呼吸数のような生体の拍動は、人物の肌に接触させるか、又は、非接触であっても外光など周辺環境の影響を受けない場所でしか、検出することができない。
また、計測対象の人物自身やその計測装置自体が、不安定に動く環境下では、その動きがバイタルデータ自体に影響を与えて、正確な計測をすることができない。

そこで、本発明は、不安定に動く可能性のある移動体から、計測対象の人物に対して非接触に、生体の拍動を検出することができる生体情報検出装置、プログラム及び方法を提供することを目的とする。

本発明によれば、人物が映り込むデプス画像から、生体の拍動を検出する生体情報検出装置であって、
デプス画像から、人物の身体における拍動対象部位と非拍動対象部位とを検出する身体部位検出手段と、
拍動対象部位及び非拍動対象部位それぞれについて、デプス値を、時系列に検出するデプス値検出手段と、
拍動対象部位のデプス値の時系列から、非拍動対象部位のデプス値の変位を差し引いて補正するデプス値補正手段と、
補正された拍動対象部位のデプス値の時系列から、拍動有無又は拍動周期を検出する拍動検出手段と
を有し、
デプス画像は、固定されていないデプスカメラによって撮影され、当該デプスカメラ自身の揺れの影響が反映されたものである
ことを特徴とする。

本発明の生体情報検出装置における他の実施形態によれば、
デプスカメラは、人物を撮影するドローンに搭載されたものであることも好ましい。

本発明の生体情報検出装置における他の実施形態によれば、
拍動対象部位及び非拍動対象部位は、人物の身体における関節部位であることも好ましい。

本発明の生体情報検出装置における他の実施形態によれば、
非拍動対象部位は、肩部位であり、
拍動対象部位は、腹部位であることも好ましい。

本発明の生体情報検出装置における他の実施形態によれば、
拍動対象部位及び非拍動対象部位は、ユーザ指定に基づくものである
ことも好ましい。

本発明によれば、人物が映り込むデプス画像から、生体の拍動を検出するようにコンピュータを機能させる生体情報検出プログラムであって、
デプス画像から、人物の身体における拍動対象部位と非拍動対象部位とを検出する身体部位検出手段と、
拍動対象部位及び非拍動対象部位それぞれについて、デプス値を、時系列に検出するデプス値検出手段と、
拍動対象部位のデプス値の時系列から、非拍動対象部位のデプス値の変位を差し引いて補正するデプス値補正手段と、
補正された拍動対象部位のデプス値の時系列から、拍動有無又は拍動周期を検出する拍動検出手段と
してコンピュータを機能させ、
デプス画像は、固定されていないデプスカメラによって撮影され、当該デプスカメラ自身の揺れの影響が反映されたものである
ことを特徴とする。

本発明によれば、人物が映り込むデプス画像から、生体の拍動を検出する装置の生体情報検出方法であって、
装置は、
デプス画像から、人物の身体における拍動対象部位と非拍動対象部位とを検出する第１のステップと、
拍動対象部位及び非拍動対象部位それぞれについて、デプス値を、時系列に検出する第２のステップと、
拍動対象部位のデプス値の時系列から、非拍動対象部位のデプス値の変位を差し引いて補正する第３のステップと
補正された拍動対象部位のデプス値の時系列から、拍動有無又は拍動周期を検出する第４のステップと
を実行し、
デプス画像は、固定されていないデプスカメラによって撮影され、当該デプスカメラ自身の揺れの影響が反映されたものである
ことを特徴とする。

本発明の生体情報検出装置、プログラム及び方法によれば、不安定に動く可能性のある移動体から、計測対象の人物に対して非接触に、生体の拍動を検出することができる。

生体情報検出装置を有するシステム構成図である。デプス画像のイメージ図である。本発明における生体情報検出装置の機能構成図である。デプス画像に拍動対象部位及び非拍動対象部位の指定を表す説明図である。スケルトン画像から検出された関節部位を表す説明図である。腹部位及び左肩部位におけるデプス値の変化を表す説明図である。腹部位及び左肩部位におけるデプス値の拍動周期を表す説明図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

図１は、生体情報検出装置を有するシステム構成図である。

図１のシステムによれば、生体情報検出装置１は、例えばインターネットを介して端末２と通信可能となっている。
端末２はそれぞれ、デプスカメラを搭載しており、人物が映り込むデプス画像を、生体情報検出装置１へ送信する。デプスカメラは、赤外線を照射し、照射光と反射光との位相差によって距離を測定する。前方の数メートル四方程度の範囲について、人物までの距離を一度に測定する。例えば、人物の呼吸によって動く部位の変位は数mm程度であるが、一般的なデプスカメラであってもそのデプス値の変位を十分に計測することができる。
勿論、デプス画像は必ずしも端末２から送信されたものに限られず、例えばデプス画像が記録された記録媒体が、生体情報検出装置１に搭載されたものであってもよい。

デプスカメラを搭載する端末２は、固定されておらず、不安定な状態で、人物を撮影することとなる。そのデプス画像は、固定されていない状態のデプスカメラによって撮影されるために、そのデプスカメラ自身の揺れの影響が反映されたものとなる。

図１によれば、端末２は、各ユーザによって所持されるスマートフォンや携帯端末であってもよい。この場合、ユーザが把持する手ぶれによって、デプス画像が揺れ動く場合がある。
また、端末２は、ドローン（小型無人物飛行機）やロボットのような自律的な移動体であってもよい。この場合も、自律的な動きによって、デプス画像が揺れ動く場合がある。
更に、端末２は、例えば自動車の運転手を撮影するために、フロントガラスの上部分に設置されたデプスカメラであってもよい。運転手の拍動を検出することによって、居眠り運転などのを検知することもできる。この場合も、デプスカメラが設置された車両自体や運転手自体が常に揺れ動いている。
更に、端末２は、例えば仕事中の人物を撮影するために設置されたデプスカメラであってもよい。人物の拍動を検出することによって、ストレスやいらだち等を検知することができる。この場合も、人物自体が常に揺れ動いている。
尚、図１のように、本発明の実施形態によれば、デプスカメラを搭載した端末２と、生体情報検出装置１とは、ネットワークを介して通信する別装置として説明する。勿論、他の実施形態として、端末２に、デプスカメラ及び生体情報検出装置１が搭載されたものであってもよい。

図２は、デプス画像のイメージ図である。

図２によれば、座った人物が映り込むデプス画像を表す。但し、身体周辺環境のデプス画像を無視している。
ここでは、デプスカメラと被写部分（人物の各部位）との距離が、短くなるほど濃い色で表され、長くなるほど薄い色で表されている。

図３は、本発明における生体情報検出装置の機能構成図である。

図３によれば、生体情報検出装置１は、人物が映り込むデプス画像から、生体の拍動を検出する。生体情報検出装置１は、身体部位検出部１１と、デプス値検出部１２と、デプス値補正部１３と、拍動検出部１４とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現できる。また、これら機能構成部の処理の流れは、生体情報検出方法としても理解できる。

［身体部位検出部１１］
身体部位検出部１１は、デプス画像から、人物の身体における「拍動対象部位」と「非拍動対象部位」とを同時に検出する。拍動対象部位としては、人物における例えば胸部や腹部のように、呼吸や心拍によって周期的に動作する部位とする。一方で、非拍動対象部位は、人物における例えば肩部や腰部のように、呼吸や心拍によって周期的に動作しにくい部位とする。
拍動対象部位及び非拍動対象部位は、ユーザ指定に基づくものであってもよいし、スケルトン画像から検出された関節部位に基づくものであってもよい。

＜ユーザ指定に基づく拍動対象部位及び非拍動対象部位＞
図４は、デプス画像に拍動対象部位及び非拍動対象部位の指定を表す説明図である。

図４によれば、オペレータに対するユーザインタフェースを備え、オペレータに拍動対象部位及び非拍動対象部位を指定させることができる。
図４（ａ）によれば、デプス画像上を、オペレータのマウス操作によって人物の部位を指定させる。ここでは、拍動対象部位として「腹部位」部分が指定され、非拍動対象部位として「左肩部位」部分が指定されている。腹部位は、呼吸によって動きやすいのに対し、肩部位は、呼吸によって動きにくい。
図４（ｂ）によれば、ユーザインタフェースとして、予め規定された部位の選択窓が表示されており、オペレータが選択可能となっている。

＜スケルトン画像から検出された関節部位に基づく拍動対象部位及び非拍動対象部位＞
図５は、スケルトン画像から検出された関節部位を表す説明図である。

デプス画像（前述した図２参照）から、人物の関節を表すスケルトン情報を推定する。デプス（深度）を単なる色の濃淡の２次元画像として見ることによって、人物に近い形状を抽出し、そこから骨格の２次元関節を抽出する。
スケルトン情報とは、１８個の各関節の２次元座標点とその信頼度とを、各フレームで結び付けた２次元骨格の関節データをいう。

具体的にはOpenPose（登録商標）のようなスケルトンモデルを用いて、人物の関節の特徴点を抽出する（例えば非特許文献４〜６参照）。OpenPoseとは、画像から複数の人物間の体／手／顔のキーポイントをリアルタイムに検出可能なソフトウェアであって、GitHubによって公開されている。

図５によれば、デプス画像に映り込む人物について、各関節（Nose, Neck, RShoulder, RElbow,・・・）が検出されている。例えばLShoulderは、左肩部位とし、NeckとRHipとの中央部は、腹部位とする。

［デプス値検出部１２］
デプス値検出部１２は、拍動対象部位及び非拍動対象部位それぞれについて、デプス値を、時系列に検出する。

図６は、腹部位及び左肩部位におけるデプス値の変化を表す説明図である。

図６の表によれば、１秒毎の経過時間に応じて、腹部位のデプス値と、左肩部位のデプス値とが変化している。即ち、非拍動対象部位である左肩部位のデプス値の変位は、端末２と人物の相対的な位置の時間的変化を表しており、また、拍動対象部位である腹部位のデプス値の時系列は、拍動の変位周期に端末２と人物の相対的な位置の時間的変化が加わったものを表わしている。

［デプス値補正部１３］
デプス値補正部１３は、拍動対象部位（腹部位）のデプス値の時系列から、非拍動対象部位（左肩部位）のデプス値の変位を差し引いて補正する。このように、差し引いて補正することにより、拍動の変位周期だけを取得することができる。尚、この拍動の明確な変位周期を取得できなかった場合には、拍動対象部位である腹部位に拍動自体が存在していないと判断することもできる。

図６の表によれば、以下のように、腹部位のデプス値と左肩部位のデプス値との変位（差分）を、補正値とする。
（時刻t1）前時刻t0の左肩部位のデプス値1500mmから、時刻t1の左肩部位のデプス値1500mmへの変位（差分）0mmを、時刻t1の腹部位のデプス値1505mmから差し引いて、時刻t1の腹部位のデプス値1505mmと補正する。
（時刻t2）前時刻t1の左肩部位のデプス値1500mmから、時刻t2の左肩部位のデプス値1502mmへの変位（差分）2mmを、時刻t2の腹部位のデプス値1502mmから差し引いて、時刻t2の腹部位のデプス値1500mmと補正する。
（時刻t3）前時刻t2の左肩部位のデプス値1502mmから、時刻t3の左肩部位のデプス値1505mmへの変位（差分）3mmを、時刻t3の腹部位のデプス値1510mmから差し引いて、時刻t3の腹部位のデプス値1507mmと補正する。

［拍動検出部１４］
拍動検出部１４は、補正された拍動対象部位のデプス値の時系列から、拍動有無又は拍動周期を検出する。

図７は、腹部位及び左肩部位におけるデプス値の拍動周期を表す説明図である。
図７（ａ）は、腹部位（拍動部位）のデプス値の変位周期を表す。
図７（ｂ）は、左肩部位（非拍動部位）のデプス値の変位を表す。
図７（ｃ）は、補正された腹部位（拍動部位）の拍動周期を表す。
図７のように、拍動部位と非拍動部位とのデプス値の変位を、時間経過に応じて記録することによって、腹部位の前後の動きの呼吸数の周期を解析し、心拍数の周期を導出することができる。

一般に、１回の呼吸数に対して、心拍数４を平脈として算出される。そのために、例えば腹部位の１分間当たりの呼吸数を４倍することによって、１分間当たり心拍数とすることができる。

最終的に、拍動検出部１４によって検出された拍動有無又は拍動周期は、バイタル解析用のアプリケーションへ出力される。前述の実施形態によれば、非拍動対象部位のデプス値として、左肩部位の１か所だけのデプス値を用いたものを説明した。勿論、複数の非拍動対象部位（例えば左肩部位、首、右肩部位等）のデプス値を検出し、それらの平均値を用いたり、それら複数のデプス値の内でその時系列の変化の少ない部位のデプス値を用いたりするものであってもよい。

以上、詳細に説明したように、本発明の生体情報検出装置、プログラム及び方法によれば、不安定に動く可能性のある移動体から、計測対象の人物に対して非接触に、生体の拍動を検出することができる。検出可能なものとしては、拍動有無又は拍動周期であって、拍動対象部位及び非拍動対象部位の指定によっては、呼吸数や心拍数を検出することができる。

具体的には、検出対象となるデプス画像は、オペレータが把持するスマートフォンに搭載されたデプスカメラによって、計測対象の人物を撮影したものであってもよい。
また、ドローンやロボットのような自律的な移動体に搭載されたデプスカメラによって、計測対象の人物を撮影したものであってもよい。
更に、自動車のフロントガラスの上部分に設置されたデプスカメラによって、その運転手を撮影したものであってもよい。
更に、仕事中の人物を撮影するために設置されたデプスカメラによって、その人物を撮影したものであってもよい。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１生体情報検出装置
１１身体部位検出部
１２デプス値検出部
１３デプス値補正部
１４拍動検出部
２端末

Claims

人物が映り込むデプス画像から、生体の拍動を検出する生体情報検出装置であって、
前記デプス画像から、人物の身体における拍動対象部位と非拍動対象部位とを検出する身体部位検出手段と、
拍動対象部位及び非拍動対象部位それぞれについて、デプス値を、時系列に検出するデプス値検出手段と、
拍動対象部位のデプス値の時系列から、非拍動対象部位のデプス値の変位を差し引いて補正するデプス値補正手段と、
補正された拍動対象部位のデプス値の時系列から、拍動有無又は拍動周期を検出する拍動検出手段と
を有し、
前記デプス画像は、固定されていないデプスカメラによって撮影され、当該デプスカメラ自身の揺れの影響が反映されたものである
ことを特徴とする生体情報検出装置。
前記デプスカメラは、人物を撮影するドローンに搭載されたものである
ことを特徴とする請求項１に記載の生体情報検出装置。
前記拍動対象部位及び前記非拍動対象部位は、人物の身体における関節部位である
ことを特徴とする請求項１又は２に記載の生体情報検出装置。
前記非拍動対象部位は、肩部位であり、
前記拍動対象部位は、腹部位である
ことを特徴とする請求項３に記載の生体情報検出装置。
前記拍動対象部位及び前記非拍動対象部位は、ユーザ指定に基づくものである
ことを特徴とする請求項１又は２に記載の生体情報検出装置。
人物が映り込むデプス画像から、生体の拍動を検出するようにコンピュータを機能させる生体情報検出プログラムであって、
前記デプス画像から、人物の身体における拍動対象部位と非拍動対象部位とを検出する身体部位検出手段と、
拍動対象部位及び非拍動対象部位それぞれについて、デプス値を、時系列に検出するデプス値検出手段と、
拍動対象部位のデプス値の時系列から、非拍動対象部位のデプス値の変位を差し引いて補正するデプス値補正手段と、
補正された拍動対象部位のデプス値の時系列から、拍動有無又は拍動周期を検出する拍動検出手段と
してコンピュータを機能させ、
前記デプス画像は、固定されていないデプスカメラによって撮影され、当該デプスカメラ自身の揺れの影響が反映されたものである
ことを特徴とする生体情報検出プログラム。
人物が映り込むデプス画像から、生体の拍動を検出する装置の生体情報検出方法であって、
前記装置は、
前記デプス画像から、人物の身体における拍動対象部位と非拍動対象部位とを検出する第１のステップと、
拍動対象部位及び非拍動対象部位それぞれについて、デプス値を、時系列に検出する第２のステップと、
拍動対象部位のデプス値の時系列から、非拍動対象部位のデプス値の変位を差し引いて補正する第３のステップと
補正された拍動対象部位のデプス値の時系列から、拍動有無又は拍動周期を検出する第４のステップと
を実行し、
前記デプス画像は、固定されていないデプスカメラによって撮影され、当該デプスカメラ自身の揺れの影響が反映されたものである
ことを特徴とする装置の生体情報検出方法。