JP6455761B2 - 脈波検出装置、及び脈波検出プログラム - Google Patents
脈波検出装置、及び脈波検出プログラム Download PDFInfo
- Publication number
- JP6455761B2 JP6455761B2 JP2015073965A JP2015073965A JP6455761B2 JP 6455761 B2 JP6455761 B2 JP 6455761B2 JP 2015073965 A JP2015073965 A JP 2015073965A JP 2015073965 A JP2015073965 A JP 2015073965A JP 6455761 B2 JP6455761 B2 JP 6455761B2
- Authority
- JP
- Japan
- Prior art keywords
- pulse wave
- skin
- color space
- subject
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
このような技術として、非特許文献のマサチューセッツ工科大学で行われた研究がある。
この技術は、ウェブカメラで被験者の顔を動画撮影し、その動画をラップトップコンピュータで撮影後に(即ち、リアルタイム処理ではなく、後からの処理にて)解析して脈波を検出したものである。
本研究は、従来レーザやドップラレーダなどの特殊な高価な装置を用いて脈波を検出していたのに対して、安価な汎用機器と簡便な方法を用いて脈波の非接触検出を実現したものである。
まず、図16(a)に示したように、動画の画面に矩形形状の評価領域101を設定して、被験者の顔が評価領域101に入るように着席してもらい、静止した状態の顔を動画で撮影する。実験は、屋内で行われ、窓から入る日光が光源として用いられる。
得られた動画をR成分、G成分、B成分の各成分に分離して平均すると図16(b)に示したように脈波がのった変動が得られる。
これら各成分には、ヘモグロビンの光の吸収特性などに応じて重みづけされた脈波信号が含まれており、これに対してICA(Independent Component Analysis;独立成分分析)などを行うと脈波が得られる。
(2)請求項2に記載の発明では、前記動画取得手段は、前記対象者の顔を含む領域を撮影した動画を取得し、前記ばらつき補正手段は、補正対象色を前記対象者の顔の色に限定して色空間成分のばらつきを補正する、ことを特徴とする請求項1に記載の脈波検出装置を提供する。
(3)請求項3に記載の発明では、所定のカメラで対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得手段と、前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定手段と、前記カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正するばらつき補正手段と、前記補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得する脈波取得手段と、前記取得した脈波を出力する出力手段と、前記皮膚の部分の移動に伴って前記皮膚の部分に生じる前記色空間成分の変化に対して所定の統計処理を施すことにより前記補正に用いる補正値を更新する更新手段と、を具備したことを特徴とする脈波検出装置を提供する。
(4)請求項4に記載の発明では、所定のカメラで対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得手段と、前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定手段と、前記カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正するばらつき補正手段と、前記補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得する脈波取得手段と、前記取得した脈波を出力する出力手段と、を具備し、前記ばらつき補正手段による補正の対象となる色空間成分と前記脈波取得手段が前記脈波を取得するために用いる色空間成分は、明度成分(Y)、及び色度成分(I、Q)から成るYIQ色空間の前記色度成分(Q)である、ことを特徴とする脈波検出装置を提供する。
(5)請求項5に記載の発明では、前記皮膚の部分の移動に伴って前記皮膚の部分に生じる前記色空間成分の変化に対して所定の統計処理を施すことにより前記補正に用いる補正値を更新する更新手段を具備したことを特徴とする請求項1、請求項2、及び、請求項4に記載の脈波検出装置を提供する。
(6)請求項6に記載の発明では、前記更新手段は、前記動画を構成する画素ごとに前記補正値を更新し、前記ばらつき補正手段は、前記画素ごとに当該画素に対応する補正値を用いて前記色空間成分を補正することを特徴とする請求項3又は、請求項5に記載の脈波検出装置を提供する。
(7)請求項7に記載の発明では、前記更新手段は、前記カメラの特性に起因する前記色空間成分のばらつきの大きさが、少なくとも、前記対象者の脈波による前記色空間成分の変化の大きさよりも小さい値に収束した場合に前記更新を完了することを特徴とする請求項3、請求項5又は請求項6に記載の脈波検出装置を提供する。
(8)請求項8に記載の発明では、前記ばらつき補正手段は、前記更新手段が前記補正値を更新している間に最新の補正値を用いて前記ばらつきを補正し、前記脈波取得手段は、前記最新の補正値で補正された前記皮膚の部分から前記脈波を取得することを特徴とする請求項3、請求項5、請求項6、又は請求項7に記載の脈波検出装置を提供する。
(9)請求項9に記載の発明では、前記動画の撮影環境の変化によって生じた明度の変化を取得する明度変化取得手段と、前記取得した明度の変化を用いて前記動画の明度を補正する明度補正手段と、を備え、前記脈波取得手段は、前記明度補正手段で更に補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得することを特徴とする請求項1から請求項8までのうちの何れか1の請求項に記載の脈波検出装置を提供する。
(10)請求項10に記載の発明では、前記対象者の少なくとも皮膚を含む領域は、前記対象者の顔を含んでいることを特徴とする請求項1から請求項9のうちの何れか1の請求項に記載の脈波検出装置を提供する。
(11)請求項11に記載の発明では、前記対象者は、輸送機器の搭乗者であって、前記出力した脈波を用いて前記搭乗者の体調を監視する監視手段を具備したことを特徴とする請求項1から請求項10までのうちの何れか1の請求項に記載の脈波検出装置を提供する。
(12)請求項12に記載の発明では、所定のカメラで対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得機能と、前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定機能と、前記特定した皮膚の部分の画素に対し、前記カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正するばらつき補正機能と、前記補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得する脈波取得機能と、前記取得した脈波を出力する出力機能と、をコンピュータで実現する脈波検出プログラムを提供する。
(13)請求項13に記載の発明では、所定のカメラで対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得機能と、前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定機能と、前記カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正するばらつき補正機能と、前記補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得する脈波取得機能と、前記取得した脈波を出力する出力機能と、前記皮膚の部分の移動に伴って前記皮膚の部分に生じる前記色空間成分の変化に対して所定の統計処理を施すことにより前記補正に用いる補正値を更新する更新機能と、をコンピュータで実現する脈波検出プログラムを提供する。
(14)請求項14に記載の発明では、所定のカメラで対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得機能と、前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定機能と、前記カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正するばらつき補正機能と、前記補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得する脈波取得機能と、前記取得した脈波を出力する出力機能と、をコンピュータで実現する脈波検出プログラムであって、前記ばらつき補正機能による補正の対象となる色空間成分と前記脈波取得機能が前記脈波を取得するために用いる色空間成分は、明度成分(Y)、及び色度成分(I、Q)から成るYIQ色空間の前記色度成分(Q)である、ことを特徴とする脈波検出プログラムを提供する。
(2)請求項2に記載の発明によれば、日常的に皮膚が露出していて撮影の容易な顔から脈波を検出することができる。
(3)請求項3に記載の発明によれば、顔の移動によって生じる色空間成分の変化で補正値を更新するが、その際に、統計処理によって補正値のばらつきを均すことができる。
(4)請求項4に記載の発明によれば、領域を代表値で補正するのではなく、画素ごとに補正することにより、補正の精度を高めることができる。
(5)請求項5に記載の発明によれば、色空間成分のばらつきが脈波の変動より小さくなるまで補正を収束させることにより、脈波の検出が良好に行えるようになる。
(6)請求項6に記載の発明によれば、補正をしながら脈波の検出を行うことができる。
(7)請求項7に記載の発明によれば、更に、明度の変化を用いて動画の明度を補正することにより、環境変化に対するロバスト性が向上し、明度が変化する環境においても脈波を検出することができる。
(8)請求項8に記載の発明によれば、脈波検出のための色空間成分を、脈波検出に好適であることが見いだされたQ成分とすることにより、外乱要素に対するロバスト性を向上させることができる。
(9)請求項9に記載の発明によれば、輸送機器の搭乗者の体調を監視することができる。
(10)請求項10に記載の発明によれば、脈波検出プログラムを流通させ、これを汎用のコンピュータにインストールすることにより、容易かつ安価に脈波検出装置を構成することができる。
第1の実施の形態では、脈波検出装置1は、動画のフレーム画像をRGB成分からHSV成分に色変換し、予めH成分で用意してあるユーザの皮膚の色を用いて、皮膚の部分を特定する。H成分を用いたのは、皮膚の特定に関してはH成分を用いるとロバスト性が向上するためである。
脈波検出装置1は、上記の処理を各フレーム画像に対して行って脈波信号Qmの時系列的な変化を取得し、これを脈波として出力する。
そして、脈波検出装置1は、目の部分のY値によって撮影環境の明度を検出する。目の部分には、脈波信号が現れないので、明度の検出対象として利用することができる。
これにより、ユーザが車両などで移動することにより明度が変化するような場合でも、良好に脈波を検出することができる。
脈波検出装置1は、ユーザの動きによって皮膚の部分が画面内を移動することにより生じる皮膚の部分のQ値の変化を用いてカメラ特性データを更新していく。
また、脈波検出装置1は、補正対象の色を皮膚の色に限定しており、これによって複雑なアルゴリズムや計算が不要となるため、計算負荷が低くなり、動画のリアルタイム処理を良好に行うことができる。
(第1の実施の形態)
図1は、本実施の形態に係る脈波検出装置1の構成を示した図である。
脈波検出装置1は、例えば、車両に搭載され、搭乗者(ドライバや助手席の乗客など)の脈波を監視し、ドライバの体調、緊張状態などの生理的な状態を把握する。
また、医療現場や災害現場などで患者や被災者の脈波を検出・監視するのに用いることもできる。
本実施の形態では、カメラ8が撮影した動画を画像処理してユーザ10の脈波を検出する。
RAM4は、読み書きが可能なメモリであって、CPU2が動作する際のワーキングメモリを提供する。
本実施の形態では、動画を構成するフレーム画像(1コマの静止画像)を展開して記憶したり、計算結果を記憶したりすることにより、CPU2が、フレーム画像の皮膚の部分(以下、皮膚部分)から脈波を検出するのを支援する。
入力部6は、表示デバイスに重畳して設置されたタッチパネルなどの入力デバイスを用いて構成されており、画面表示に対するタッチの有無などから各種の情報の入力を受け付ける。
また出力部7は、車両を制御する制御装置などの他の制御機器に出力することができる。出力部7から脈波や脈拍の出力を受けた制御機器では、例えば、ドライバの眠気や緊張状態等(後述する)を判断し、ドライバに向けた制御、例えば、眠気を覚醒させるためにハンドルやシートを振動させる制御、警告音やメッセージの出力などを行うことが出来る。また、車両に対する制御として、脈波に基づいて判断したドライバの緊張状態に応じて、車間距離制御、車速制御、又はブレーキ制御の少なくとも1つを行うことも可能である。例えば、制御機器は、ドライバが所定値を超える高い緊張状態にあると判断した場合には、車間距離を基準値よりも大きくとるように制御し、車速を所定車速以下となるように制御し、所定車速以上であれば自動ブレーキ操作による減速処理等を行う。
脈波検出装置1では、汎用品のカメラ8によっても脈波を良好に検出することができるため、コストを低減することができる。
フレーム画像は、画像を構成する最小単位である画素(ピクセル)の配列により構成されており、各画素は、RGB空間の色成分(R値、G値、B値)により配色されている。
なお、これらのうち、カメラ特性データ15は、第3の実施の形態で用いるデータであるので、後ほど説明する。
CPU2は、脈波検出プログラムを実行することにより、動画におけるユーザの皮膚部分の特定、及び特定した皮膚部分からの脈波の検出を行う。
ユーザデータベース14では、ユーザ1、ユーザ2、・・・などとユーザごとに登録データが記憶されている。
そして、登録データには、顔データ、皮膚色データ、目色データ、・・・といったユーザに固有な情報が登録されている。
皮膚色データは、フレーム画像でユーザの皮膚部分を特定するための皮膚の色の基準となるデータである。フレーム画像と皮膚色データの対比により皮膚部分が特定される。
目色データは、第2の実施の形態で用いるデータであるので、後ほど説明する。
脈波検出装置1は、脈波の検出を行うに際して、フレーム画像の色空間を変換する(色変換と呼ばれる)ため、まず、これについて説明する。
一般にカラー画像は、3つの色成分によって表現される。より詳細には、画像の各画素に付随する色情報は、3つの色成分を軸として張られる色空間の中の点の座標値として表される。
汎用のビデオカメラでは、色成分としてRGB空間のR成分、G成分、B成分を用いることが多く、従来技術でも、ビデオ信号に含まれるR、G、B成分をそのまま用いて脈波の検出を行っている。
その結果、皮膚部分の特定には、HSV空間のH成分が適しており、脈波検出には、YIQ空間のQ成分が適していることを見いだした。
そこで、脈波検出装置1では、目的に応じて色成分を使い分けることとした。
このように、観察対象によって光の反射特性が異なるため、対象に応じた最適な組み合わせを選ぶことにより外乱に対するロバスト性を高めることができる。
RGB空間は、RGB成分を表す互いに直交するR軸、G軸、B軸で構成されている。
RGB空間では、R値(赤)、G値(緑)、B値(青)によって色情報が表され、RGB空間の点の座標値によって画素のRGB値が規定される。
RGB方式は、最も一般的なカラーモデルであって、カメラ8もRGB方式にて動画を出力する。
HSV空間は、円形の底面を有する円錐で表され、円錐面方向の回転角がH成分を表し、底面における中心からの距離がS成分を表し、円錐の頂点から底面へ引いた垂線の距離がV成分を表している。
HSV空間では、H値(色)、S値(彩度)、V値(明度)によって色情報が表され、HSV空間の点の座標値によって画素のHSV値が規定される。
HSV方式は、主にコンピュータグラフィックなどで用いられている。
YIQ空間は、YIQ成分を表す互いに直交するY軸、I軸、Q軸で構成されている。
YIQ空間では、Y値(明度)、I値(色度:暖色系)、Q値(色度:寒色系)によって色情報が表され、YIQ空間の点の座標値によって画素のYIQ値が規定される。
Y値は、正の値をとり、I値とQ値は、正負の値をとることができる。
YIQ方式は、NTSC信号を生成するコンポーネント信号の方式として、主にビデオ機器内で用いられる。
図3(a)は、脈波検出装置1が、ユーザの顔から皮膚色データを採取する方法を示した図である。
脈波検出装置1は、カメラ8でユーザの顔の静止画像30を撮影し、鼻を検出して鼻領域20を設定する。鼻の検出は、一般的な顔認識技術を用いて行う。
そして、脈波検出装置1は、鼻領域20の色空間をRGB空間からHSV空間に変換し、各画素のH値から皮膚色データを生成する。
鼻の他に、例えば、額や頬など、他の領域から皮膚色データを採取するように構成することもできる。
フレーム画像31には、皮膚部分のほか、髪21、眉毛22、目23、唇24、背景25などが写し込まれている。
これら皮膚以外の部分は、脈波信号が含まれていないか、又は、脈波信号を検出するのに適していない部分であり、脈波検出処理において精度低下を来す外乱要素として作用する。
皮膚部分26は、画素単位で特定され、首などの皮膚が露出している部分は全て特定される。
このように、外乱要素を除去しつつ、脈波信号が含まれる部分を最大限確保することにより、脈波検出精度を高めることができる。
脈波検出装置1は、皮膚部分26aの各画素のQ値を平均してQmを算出し、Qmを脈波信号として出力する。
脈波検出装置1は、各フレーム画像から出力した脈波信号Qmを時系列的に(フレーム画像の順に)並べて脈波35を形成する。
このように、脈波検出装置1は、各フレーム画像でユーザの皮膚部分を特定することにより、ユーザの動きに合わせて皮膚部分を追跡・抽出しながら脈波を検出することができる。これにより、次のような特徴が得られる。
従来技術では、被験者が評価領域101に顔を合わせた状態で静止したまま動画を撮影する。撮影中に顔が評価領域101からはずれる可能性もあるため、撮影し終わった動画を解析している。
これに対し、脈波検出装置1は、動画の各フレーム画像において皮膚部分26を特定するため、評価領域がユーザの皮膚に固定されたまま動画内で移動する。
顔が動いても皮膚部分が評価領域からはずれることがないためリアルタイムで脈波を検出することができる。
これに対し、脈波検出装置1は、HSV画像を皮膚色データと対比して皮膚部分を特定する簡単な処理で皮膚部分を追跡することができる。そのため、リアルタイム処理に適している。
処理できたフレーム画像の間隔は、脈波の測定間隔(サンプリングレート)となるため、コマ落ちを防ぐことにより測定間隔が広がるのを防ぐことができる。
これによって脈波の高い時間分解能を維持することができ、脈波の検出精度が向上する。
脈波の検出は、対象者の現在の生理状態を監視する場合に用いられることが主であり、リアルタイム処理できることは重要である。
従来技術では、評価領域101を被験者の顔の形状に一致させることが困難なため、背景などの外乱要素が評価領域101に入り、脈波の検出精度が低下する可能性がある。
これに対し、脈波検出装置1では、評価領域と皮膚部分26が常に一致するため、顔以外の背景などの外乱要素が評価領域に入ることを防ぐことができ、これによって、正確な脈波検出を行うことができる。
従来技術では、被験者の顔が評価領域101に正しく設定されている場合であっても脈波と関係のない顔の部分(髪、目、口など)が評価領域に入っているため、これらが外乱要素となって脈波の検出精度に影響する可能性がある。
これに対し、脈波検出装置1では、これらの顔の要素が皮膚部分26から除外されるため、脈波の検出精度を高めることができる。
更に、ユーザが瞬きしたり、口を開閉したりしても、顔の動きに合わせて皮膚部分26が動的に設定されるため、顔の動きによる外乱要素も評価領域から除外することができる。
以下の処理は、CPU2が、脈波検出プログラム12に従って行うものである。
まず、CPU2は、カメラ8の画像の変化からユーザが指定位置に着席したことを検出すると、ユーザの顔の画像を取得してRAM4に記憶する(ステップ5)。
この画像は、静止画像として撮影してもよいし、動画のフレーム画像から取り出してもよい。
このように、脈波検出装置1は、対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得手段を備え、当該皮膚を含む領域は、対象者の顔を含んでいる。
顔が検索された場合、CPU2は、当該ユーザを登録済みであると判断し(ステップ15;Y)、ユーザデータベース14から当該ユーザの皮膚色データを取得してRAM4に記憶する(ステップ20)。
そして、脈波検出装置1は、顔の画像から顔データを形成し、顔データと皮膚色データを対応づけてユーザデータベース14に記憶することによりユーザ登録を行う(ステップ27)。
次に、CPU2は、RAM4に記憶したフレーム画像から脈波を検出する脈波検出処理を行う(ステップ35)。
脈波の検出を継続する場合(ステップ40;Y)、脈波検出装置1は、ステップ30に戻って、動画の次のフレーム画像に対して脈波検出処理を行う。
一方、ユーザが停止ボタンを押すなどして脈波の検出を継続しない場合(ステップ40;N)、脈波検出装置1は、処理を終了する。
まず、CPU2は、RAM4から顔の画像を読み出して、これを顔認識し(ステップ50)、そして、鼻を検出する(ステップ55)。
次に、CPU2は、検出した鼻に皮膚色データ採取用の鼻領域を設定する(ステップ60)。
次に、CPU2は、各画素のH値を平均してHmを算出し(ステップ75)、更に、H値の標準偏差σを算出する(ステップ80)。
更に、CPU2は、H値の上限値Hhi=Hm+n×σを算出してRAM4に記憶する(ステップ90)。
そして、CPU2は、H値の下限値と上限値を皮膚色データとして出力し(ステップ95)、メインルーチン(図5)にリターンする。
このように、脈波検出装置1は、基準成分を登録する基準成分登録手段を備えており、鼻領域の色空間成分に対して平均値と標準偏差による統計処理を施して登録している。
例えば、n=3とすると、H値がHm±3σの範囲にある部分が皮膚部分として特定される。
まず、CPU2は、RAM4に記憶されているフレーム画像の色空間をRGB空間からHSV空間に変換し、変換したHSV画像をRAM4に記憶する(ステップ100)。
次に、CPU2は、画素の順番を数えるカウンタiをi=0に設定する(ステップ103)。
そして、CPU2は、HiがHlo<Hi<Hhiを満たしているか否か、即ち、Hiが皮膚色データの範囲に入っているか否かを判断する(ステップ110)。
CPU2は、Hiがこの範囲にある場合、当該画素と皮膚色データが対応すると判断する。
Hiが当該不等式を満たしている場合、即ち、Hiが皮膚色データに対応する場合(ステップ110;Y)、CPU2は、当該画素の位置座標をRAM4に記憶する(ステップ115)。
以上のステップ100〜ステップ123を行うことにより皮膚部分に対応する位置座標がRAM4に記憶される。
このように、脈波検出装置1は、動画に写っている対象者の皮膚の部分(評価対象画素)を特定する皮膚部分特定手段を備えている。
また、この特定は、動画において所定の色空間成分が登録した基準成分に対応する部分を画素単位で皮膚の部分とすることにより行われている。
そして、CPU2は、各画素のQ値を平均して平均値Qmを算出し(ステップ135)、これを脈波信号として出力し(ステップ140)、メインルーチン(図4)にリターンする。
以上の処理によって、1つのフレーム画像から脈波信号Qmを検出したが、これを連続する各フレーム画像について行い、脈波信号Qmをフレーム画像の順に並べると、脈波信号Qmの時間変化によって図3(c)に示した脈波が得られる。
このように、脈波検出装置1は、皮膚の部分における所定の色空間成分の時間変化から脈波を取得する脈波取得手段と、これを出力する出力手段を備えている。
このため、皮膚部分特定手段が皮膚の部分を特定するために用いる色空間成分と、脈波取得手段が脈波を取得するために用いる色空間成分は、異なる色空間成分である。
そして、脈波検出装置1は、動画の色空間を変換する色空間変換手段を備え、皮膚部分特定手段と脈波取得手段は、色空間変換手段で変換した色空間にて色空間成分を取得している。
更に、脈波検出装置1には、脈波によって、輸送機器の搭乗者の体調を監視する監視手段を備えることができる。
従来技術では、実験室の窓から差し込む日光による安定した明度の下で脈波の検出が行われている。
一方、脈波検出装置1を車両や医療現場で用いる場合、どのような撮影環境で使用されるかは様々であり、脈波検出中に特に明度が変化することが予想される。特に車両において運転者や搭乗者などの脈波を検出する場合には、車両の走行位置や向きの変化や時間帯などにより、明度の変化が頻繁に起こりやすい。
そこで、脈波検出装置1が実際に使用される際に生じる明度変化によって検出結果に影響が生じるか否かについて調べた。すなわち、本願発明者は、蛍光灯による照明の下で脈波の検出を行いながら、団扇で被験者の顔に影を作って明度を変化させてみた。
図7(a)は、環境の明度が変化しない場合の脈波信号Qmの時間変化である。
図に示したように、脈波がきれいに検出されている。
期間41は、影のない期間であり、期間42は、影のある期間である。
図に示したように、脈波信号Qmが明度の変化によって大きく変化し、この変化にQmの変化が埋もれてしまって脈波の検出が困難となる。
皮膚部分からは、明度の変化が重畳された脈波信号Qmが検出され、目部分からは、脈波の含まれない明度の変化(あるいは、明度の大きさ)が検出されるため、前者から後者を減算することにより、明度の変化を補正することができる。
また、本願発明者は、明度の変化の検出には、YIQ空間のY成分が好適であることを見い出したため、本実施の形態では、Y成分により明度の変化を検出する。
更に、脈波信号Qmと明度のY値は、同じ色空間に属するため、単に減算すればよい。
図8(a)は、明度の変化の検出に用いられる目部分45を示した図である。
目部分45は、色が濃く略中央の瞳孔部分48、瞳孔部分48の周囲の虹彩部分47、白に近く虹彩部分47の更に外側の白目部分46、から構成されている。
なお、脈波検出装置1は、白目部分46のQ値をQloとし、瞳孔部分48のQ値をQhiとして、これらを目色データとして登録するようにしてもよい。
後述するように、脈波検出装置1は、目色データを用いてユーザの顔の目領域から目部分45を抽出し、当該抽出した目部分45のY値の変化から明度の変化を検出する。
脈波検出装置1は、目部分45から検出したY値を平均して、明度信号Ymを生成する。これを時系列的にプロットすると明度信号51が得られる。
図に示した例では、期間42で顔に影を作ったので、期間42の明度が期間41よりも小さくなっている。
補正前脈波信号52は、明度の変化を補正する前の脈波信号Qmを時系列的にプロットしたものである。
補正前の脈波信号52では、図8(c)に示す様に、明度の低下の影響を受け、期間42における脈波信号Qmも低下している。
脈波検出装置1は、補正前の脈波信号Qmから明度信号Ymを減算することにより、補正後脈波信号53を生成する。これを時系列的にプロットすると補正後脈波信号53が得られる。
補正後脈波信号53では、明度の変化による影響が除去されているため、明度が低下した期間42においても適切な脈波が得られる。
まず、脈波検出装置1は、図8(e)に示したように、フレーム画像に対して顔認識処理を行い、目部分45を含む目領域55を抽出する。
そして、脈波検出装置1は、目領域55に対して目色データを適用して目部分45を抽出する。
フレーム画像に対して目色データを適用すると、例えば、背景などでたまたま目色データに対応する部分が抽出されてしまうのに対し、目領域55は、皮膚部分と目部分45から構成され、目色データに対応する部分は目部分45だけであるので、確実に目部分45を特定できるからである。
第1の実施の形態と同じステップには、同じステップ番号を付し、説明を簡略化、又は省略する。
ユーザが登録ユーザであった場合(ステップ15;Y)、CPU2は、ユーザデータベース14から皮膚色データを取得し(ステップ20)、更に目色データを取得する(ステップ150)。
次に、CPU2は、補正前の脈波信号Qmに対して明度変化対策処理を行い(ステップ160)、補正後の脈波信号Qmを出力する。
まず、CPU2は、皮膚色データ採取処理で使用した顔の画像を顔認識し(ステップ180)、目部分を検出する(ステップ185)。
このように脈波検出装置1は、顔画像において、顔認識処理により、顔の目の領域(この場合目部分)を特定する領域特定手段を備えている。
次に、CPU2は、目部分を評価域に設定し(ステップ190)、目部分に含まれる全ての画素の色空間をRGB空間からYIQ空間に変換する(ステップ200)。
そして、CPU2は、RAM4に記憶したQ値のうち最低値をQloとし(ステップ210)、更に、最高値をQhiとし(ステップ215)、これを目色データとして、当該ユーザの顔データと皮膚色データに対応づけてユーザデータベース14に登録し(ステップ220)、メインルーチン(図9)にリターンする。
そして、基準成分登録手段は、特定した領域における色空間成分の分布に対して最小値と最大値を特定する統計処理を施した値を登録している。
まず、脈波検出装置1のCPU2は、RAM4に記憶されているフレーム画像で顔認識を行って顔を検出し(ステップ230)、更に、目領域を検出し(ステップ235)、検出した目領域を評価域に設定する(ステップ240)。
次に、CPU2は、目領域の色空間をRGB空間からYIQ空間に変換してRAM4に記憶する(ステップ245)。
そして、CPU2は、QjとQlo、Qhiとの大小関係を判断する(ステップ255)。
QjがQlo<Qj<Qhiならば(ステップ255;Y)、CPU2は、当該画素が目部分に含まれると判断し、当該画素のY値を取得してRAM4に記憶する(ステップ260)。
まだ、判断していない画素がある場合(ステップ265;N)、CPU2は、jを1つインクリメントしてj=j+1に更新し(ステップ270)、その後ステップ253に戻って次の画素に対して同様の処理を繰り返す。
このように、脈波検出装置1は、動画において所定の色空間成分が登録した基準成分に対応する部分を目の部分として特定することにより、動画に写っている目の部分を画素単位で特定する目部分特定手段を備えている。
平均値Yeは、撮影環境の明度に対応し、これと前後するフレーム画像のYeとの差が明度の変化を表す。
そのため各フレーム画像から、それぞれの明度の平均値Yeを減算することにより、明度の変化分を補正することができる。
このように、脈波検出装置1は、動画の撮影環境の変化によって生じた明度の変化を目の部分の所定の色空間成分の変化から取得する明度変化取得手段を備えている。
このように、脈波検出装置1は、明度の変化を用いて動画の明度を画素単位で補正する明度補正手段と、補正された皮膚の部分における所定の色空間成分の時間変化から脈波を取得する脈波取得手段を備えている。
また、脈波検出装置1は、Y成分で明度の変化を取得し、H成分で皮膚部分を特定し、Q成分で脈波を検出しており、異なる色成分で処理を行っている。
そして、脈波検出装置1は、これら色空間を変換する色空間変換手段を備えている。
(1)外光の変化やユーザの動きなど、撮影環境の変化により明度が変化した場合でも脈波を検出することができる。
(2)顔の皮膚から脈波を検出しながら、同時に目から明度の変化を検出することができる。
(3)特別な装置がなくても明度の変化を補正することができる。
なお、本実施形態では、フレーム画像から皮膚部分を抽出してから当該皮膚部分の明度の補正を行ったが、フレーム画像の全体に対して明度の補正を行った後、皮膚部分を抽出するようにしてもよい。
例えば、汎用品のカメラ8を用いる場合、人間が動画を鑑賞する場合には分からないが、脈波を検出するのには障害となる程度の画素ごとの特性のばらつきが存在する。
本実施の形態では、色成分によって脈波を検出するため、クロミナンス(色質)特性のばらつきによる影響を受ける。
図12(a)は、カメラ8の画素のクロミナンス特性のばらつきを濃淡で表した図である。
このようにクロミナンス特性が一様でないため、画面内でユーザが動くと、クロミナンスの値が変化して、脈波検出の精度に影響がでる。
図に示したように、本来なら同じレベルで脈波が検出されるべきところ、クロミナンスの差によってレベルの高さに差が生じている。
また、色々な色に対する補正がなされるため、補正処理が複雑であり、脈波をリアルタイム処理すると、コマ落ちが生じて処理に係るフレームレートが低下する可能性がある。
カメラ特性データを用いてクロミナンスの変化を補正することにより正確な脈波を検出することができる。
このように、本実施の形態では、画面内でのユーザの動きに伴って自動的に補正値を作成することができる。
第1の実施の形態、及び第2の実施の形態と同じステップには、同じステップ番号を付し、説明を簡略化、又は省略する。
ステップ5〜ステップ30の後、CPU2は、脈波検出処理を行った後(ステップ35)、カメラ特性データ更新処理を行う(ステップ305)。
その後、CPU2は、カメラ特性による補正が行われた脈波信号Qmに対して明度変化対策処理を行う(ステップ160)。
ステップ500〜530は、図6のステップ100〜130と同じである。
即ち、CPU2は、フレーム画像において皮膚部分に該当する画素を評価対象画素に指定し、その色空間をRGB空間からYIQ空間に変換する(ステップ530)。
次に、CPU2は、カメラ特性データ15から、当該位置座標に対する最新の補正値(即ち、前回補正までの最新値)Qc(x、y、k)を取得してRAM4に記憶する(ステップ575)。
ここで、kは画素ごとに設定されるカウンタであり、前回までの当該画素の補正回数を表すパラメータである。
このように、脈波検出装置1は、補正値を上記の式による統計処理を用いて画素ごとに更新するため、顔の移動に伴って皮膚の部分に生じる色空間成分の変化に対して所定の統計処理を施すことにより補正値を画素ごとに更新する更新手段を備えている。
まだ、更新していない画素がある場合(ステップ590;N)、CPU2は、次の評価対象画素(x、y)を選択し(ステップ595)、その後ステップ570に戻り、全ての画素について更新した場合(ステップ590;Y)、更新処理を終了してメインルーチン(図13)にリターンする。
CPU2は、フレーム画像で評価対象画素に設定された画素ごとにQ値からQcを減算してQa(カメラ特性対策によって補正されたQ値)を算出し(ステップ380)、Qaの平均値を算出して、これを脈波信号Qmとして(ステップ385)、メインルーチンにリターンする。
更に、脈波検出装置1は、ステップ305(図13)のカメラ特性データ更新処理とステップ315(図13)のカメラ特性対策処理を同じループ処理にて行うことにより、補正値を更新している間に最新の補正値を用いてばらつきを補正し、最新の補正値で補正された皮膚の部分から脈波を取得している。
また、カメラ特性対策処理は、一定程度補正値が収束した場合には、補正を終了するように構成することができる。
その場合は、少なくとも脈波信号の変動よりもカメラ特性による変動が小さくなるまで補正を継続する。
この場合、脈波検出装置1は、カメラの特性に起因する色空間成分のばらつきの大きさが、少なくとも、脈波による色空間成分の変化の大きさよりも小さい値に収束した場合に補正値の更新を完了する。
(1)脈波検出装置1を利用しながらカメラ特性を検出して補正することができる。そのため、事前の調節が必要ない。
(2)ユーザの動きに伴って補正値を作成していくので、例えば、車両に搭載して搭乗者を対象とするのに適している。
(3)補正の対象とする色を顔の色に限定したため、複雑なキャリブレーション計算は必要なく、動画処理中のコマ落ちを抑制することができる。
(4)コマ落ちの抑制の結果、脈波の時間分解能が向上する。このため、リアルタイム処理に適しており、また、パルス間隔(脈の間隔)解析の精度も向上する。
各実施形態において、脈波検出装置1による脈派検出処理を次の何れかのタイミングで開始する。各開始タイミングとしては、タイミング1をデフォルトとし、ユーザが任意のタイミングで変更できるようにしてもよい。
(1)タイミング1
脈波の監視対象である運転者が運転席に着座したことを検出した場合に処理を開始する。
なお、ドライバ以外の搭乗者(助手席や後部座席の乗客)も脈波の監視対象としている場合には、対象となる搭乗者席のいずれかに着座したことを検出した場合に処理を開始する。
この場合、搭乗者の検出については、対象となる席(座面や背もたれ部分など)に荷重センサを配置し閾値以上の荷重を検出した場合、シートベルトが着用された場合、イグニッションキーがオンされた場合(運転席用)、のいずれかの場合に着座したと判断する。
脈波検出装置1の何れかに、開始ボタンを配置し、搭乗者の何れかが開始ボタンを選択した場合に処理を開始する。
この場合の開始ボタンとしては、表示部5と入力部6により構成する。すなわち、脈波検出装置1は、表示部5に開始ボタンを画像表示し、該当部分がタッチされたことを入力部6のタッチパネルが検出した場合に処理を開始する。
また、入力部6として独立したハードスイッチを設けておくようにしてもよい。
なお、開始ボタンは、監視対象となる各搭乗者毎に設けるようにしてもよい。
脈波検出装置1が搭載されている車両の運転席のドアが開いた場合に処理を開始する。
なお、ドライバ以外の搭乗者も監視対象となっている場合には、該当する搭乗者に対応するドアが開いた場合にも処理を開始する。
ドアの開閉については、ドア部に開閉センサ(接触センサ)等の周知の技術により検出する。
このタイミング3によれば、他のタイミングに比べて、脈波の監視開始をいち早く行うことが可能になる。
とくに、ドアが開いた後搭乗者が着座するまでの間に、皮膚色データの取得などの、脈波検出処理(ステップ35)以前の処理を完了することができるため、より長い時間脈波を検出することができる。
例えば、脈波から運転者の眠気を検出する技術として、例えば、特開平2014−20678「眠気予測装置及び眠気予測システム」がある。一例として、この技術を用いることにより、運転者の脈波から眠気の有無を監視することができる。
詳細には、脈波検出装置1から検出された脈波を用いて運転者の脈拍とHFを測定する。HFとは、心拍間隔の変動量(心拍数の揺らぎ)を示す公知の指標である。
運転者の眠気は、次の眠気数値Zによって計算可能である。
眠気の兆候がある状態では、交感神経活動が亢進状態から抑制状態へ変わるため、脈拍数が低下する。また、眠気が生じる状態では、副交感神経が亢進状態へと変わることで脈拍数が下がりHFが上昇する。
また、脈拍は、眠気のほか、緊張状態、疲労等に応じても変化するため、脈波検出装置1は、これらの概念を含んだ運転者の覚醒度を脈波によって監視することが出可能である。
(1)第101の構成
対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得手段と、前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定手段と、前記特定した皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得する脈波取得手段と、前記取得した脈波を出力する出力手段と、を具備したことを特徴とする脈波検出装置。
(2)第102の構成
前記対象者の少なくとも皮膚を含む領域は、前記対象者の顔を含んでいることを特徴とする第101の構成の脈波検出装置。
(3)第103の構成
前記対象者の皮膚の部分を特定するための基準となる色空間成分である基準成分を登録する基準成分登録手段を備え、前記皮膚部分特定手段は、前記動画において所定の色空間成分が前記登録した基準成分に対応する部分を前記皮膚の部分として特定することを特徴とする第101の構成、又は第102の構成の脈波検出装置。
(4)第104の構成
前記皮膚部分特定手段が前記皮膚の部分を特定するために用いる色空間成分と、前記脈波取得手段が前記脈波を取得するために用いる色空間成分は、異なる色空間成分であることを特徴とする第101の構成、第102の構成、又は第103の構成の脈波検出装置。
(5)第105の構成
前記皮膚部分特定手段が前記皮膚の部分を特定するために用いる色空間成分は、色成分(H)、彩度成分(S)、及び明度成分(V)から成るHSV色空間の前記色成分(H)であり、前記脈波取得手段が前記脈波を取得するために用いる色空間成分は、明度成分(Y)、及び色度成分(I、Q)から成るYIQ色空間の前記色度成分(Q)であることを特徴とする第104の構成の脈波検出装置。
(6)第106の構成
動画の色空間を変換する色空間変換手段を備え、前記皮膚部分特定手段と前記脈波取得手段は、前記取得した動画を前記色空間変換手段で変換した色空間にて色空間成分を取得することを特徴とする第101の構成から第105の構成までのうちの何れか1の構成の脈波検出装置。
(7)第107の構成
前記対象者の顔を撮影した顔画像を取得する顔画像取得手段と、前記取得した顔画像において、顔認識処理により、前記顔の皮膚が露出した所定の領域を特定する領域特定手段を備え、前記基準成分登録手段は、前記特定した領域の色空間成分を前記基準成分として登録することを特徴とする第103の構成の脈波検出装置。
(8)第108の構成
前記所定の領域は、前記対象者の鼻の領域であることを特徴とする第107の構成の脈波検出装置。
(9)第109の構成
前記基準成分登録手段は、前記特定した領域における色空間成分の分布に対して所定の統計処理を施した値を前記基準成分として登録することを特徴とする第107の構成、又は第108の構成の脈波検出装置。
(10)第110の構成
前記皮膚部分特定手段は、前記動画の画素単位で前記皮膚の部分を特定することを特徴とする第101の構成から第109の構成までのうちの何れか1の構成の脈波検出装置。
(11)第111の構成
前記対象者は、輸送機器の搭乗者であって、前記出力した脈波を用いて前記搭乗者の体調を監視する監視手段を具備したことを特徴とする第101の構成から第110の構成までのうちの何れか1の構成の脈波検出装置。
(12)第112の構成
対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得機能と、前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定機能と、前記特定した皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得する脈波取得機能と、前記取得した脈波を出力する出力機能と、をコンピュータで実現する脈波検出プログラム。
(1)第101の構成によれば、動画に写っている外乱要素を除外して皮膚の部分だけ取り出し、そこから脈波を検出することができるため、脈波検出の精度を高めることができる。
(2)第102の構成によれば、日常的に皮膚が露出していて撮影の容易な顔から脈波を検出することができる。
(3)第103の構成によれば、基準成分との対比により動画から容易に皮膚の部分を抽出することができる。
(4)第104の構成によれば、(皮膚と脈波では、光で観察する対象が異なるため)観察対象に適した色空間成分の組み合わせを採用することにより外乱要素に対するロバスト性を向上させることができる。
(5)第105の構成によれば、皮膚の部分の特定に好適であることが見いだされたH成分と、脈波検出に好適であることが見いだされたQ成分を組み合わせることにより、外乱要素に対するロバスト性をより向上させることができる。
(6)第106の構成によれば、色変換処理を外部装置ではなく、脈波検出装置内部に備えることにより、処理速度が向上し、動画からリアルタイムで脈波を検出することが容易となる。
(7)第107の構成によれば、対象者自身から皮膚の色の基準成分を採取することにより、人ごとの微妙な皮膚色の差異が含まれた基準値を容易に取得することができる。
(8)第108の構成によれば、皮膚が露出していて場所特定が容易な鼻の領域から皮膚の色の基準値を採取することができる。
(9)第109の構成によれば、個人差が大きい皮膚の色の分布の偏りを統計処理によって均すことができ、これによって、基準成分の信頼性を向上させることができる。
(10)第110の構成によれば、閉曲線で囲んだ(皮膚の部分に該当しない画素も散在する)領域ではなく、画素ごとに皮膚の部分を抽出するため、評価対象から外乱要素として作用する画素を除外することができ、検出精度を高めることができる。
(11)第111の構成によれば、輸送機器の搭乗者の体調を監視することができる。
(12)第112の構成によれば、脈波検出プログラムを流通させ、これを汎用のコンピュータにインストールすることにより、容易かつ安価に脈波検出装置を構成することができる。
(1)第201の構成
対象者の顔を含む領域を撮影した動画を取得する動画取得手段と、前記動画に写っている前記対象者の目の部分を特定する目部分特定手段と、前記動画の撮影環境の変化によって生じた明度の変化を、前記特定した目の部分の所定の色空間成分の変化から取得する明度変化取得手段と、前記取得した明度の変化を用いて前記動画の明度を補正する明度補正手段と、前記補正された前記対象者の皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得する脈波取得手段と、前記取得した脈波を出力する出力手段と、を具備したことを特徴とする脈波検出装置。
(2)第202の構成
前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定手段を備え、前記脈波取得手段は、前記特定した皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得することを特徴とする第201の構成の脈波検出装置。
(3)第203の構成
前記対象者の目の部分を特定するための基準となる色空間成分である基準成分を登録する基準成分登録手段を備え、前記目部分特定手段は、前記動画において所定の色空間成分が前記登録した基準成分に対応する部分を前記目の部分として特定することを特徴とする第202の構成の脈波検出装置。
(4)第204の構成
前記皮膚部分特定手段は、前記動画において所定の色空間成分が予め登録した所定の基準成分に対応する部分を前記皮膚の部分として特定することを特徴とする第202の構成、又は第203の構成の脈波検出装置。
(5)第205の構成
前記明度変化取得手段が明度の変化を取得するために用いる色空間成分、前記脈波取得手段が前記脈波を取得するために用いる色空間成分、及び、前記皮膚部分特定手段が前記皮膚の部分を特定するために用いる色空間成分は、異なる色空間成分であることを特徴とする第202の構成、第203の構成、又は第204の構成の脈波検出装置。
(6)第206の構成
前記明度変化取得手段が明度の変化を取得するために用いる色空間成分と前記脈波取得手段が前記脈波を取得するために用いる色空間成分は、それぞれ、明度成分(Y)、及び色度成分(I、Q)から成るYIQ色空間の前記明度成分(Y)と前記色度成分(Q)であり、前記皮膚部分特定手段が前記皮膚の部分を特定するために用いる色空間成分は、色成分(H)、彩度成分(S)、及び明度成分(V)から成るHSV色空間の前記色成分(H)であることを特徴とする第205の構成の脈波検出装置。
(7)第207の構成
色空間を変換する色空間変換手段を備え、前記脈波取得手段、前記明度変化取得手段、及び前記皮膚部分特定手段は、前記取得した動画を前記色空間変換手段で変換した色空間にて色空間成分を取得することを特徴とする第202の構成から第206の構成までのうちの何れか1の構成の脈波検出装置。
(8)第208の構成
前記対象者の顔を撮影した顔画像を取得する顔画像取得手段と、前記取得した顔画像において、顔認識処理により、前記顔の目の領域を特定する領域特定手段を備え、前記基準成分登録手段は、前記特定した領域の色空間成分を前記基準成分として登録することを特徴とする第203の構成の脈波検出装置。
(9)第209の構成
前記基準成分登録手段は、前記特定した領域における色空間成分の分布に対して所定の統計処理を施した値を前記基準成分として登録することを特徴とする第208の構成の脈波検出装置。
(10)第210の構成
前記目部分特定手段は、前記動画の画素単位で前記目の部分を特定することを特徴とする第201の構成から第207の構成までのうちの何れか1の構成の脈波検出装置。
(11)第211の構成
前記明度補正手段は、前記動画の画素単位で前記補正を行うことを特徴とする第201の構成から第210の構成までのうちの何れか1の構成の脈波検出装置。
(12)第212の構成
前記対象者は、輸送機器の搭乗者であって、前記出力した脈波を用いて前記搭乗者の体調を監視する監視手段を具備したことを特徴とする第201の構成から第211の構成までのうちの何れか1の構成の脈波検出装置。
(13)第213の構成
対象者の顔を含む領域を撮影した動画を取得する動画取得機能と、前記動画に写っている前記対象者の目の部分を特定する目部分特定機能と、前記動画の撮影環境の変化によって生じた明度の変化を、前記特定した目の部分の所定の色空間成分の変化から取得する明度変化取得機能と、前記取得した明度の変化を用いて前記動画の明度を補正する明度補正機能と、前記補正された前記対象者の皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得する脈波取得機能と、前記取得した脈波を出力する出力機能と、をコンピュータで実現する脈波検出プログラム。
(1)第201の構成によれば、対象者の目の部分から明度の変化を取得して動画の明度を補正することができる。
(2)第202の構成によれば、動画に写っている外乱要素を除外して皮膚の部分だけ取り出し、そこから脈波を検出することができるため、脈波検出の精度を高めることができる。
(3)第203の構成によれば、動画に写っている外乱要素を除外して目の部分だけ取り出し、明度の補正精度を向上させることができる。
(4)第204の構成によれば、基準成分との対比により動画から容易に皮膚の部分を抽出することができる。
(5)第205の構成によれば、(明度の変化、皮膚、及び脈波では、光で観察する対象が異なるため)観察対象に適した色空間成分の組み合わせを採用することにより外乱要素に対するロバスト性を向上させることができる。
(6)第206の構成によれば、明度の変化の検出に好適であることが見いだされたY成分と、皮膚の部分の特定に好適であることが見いだされたH成分と、脈波検出に好適であることが見いだされたQ成分を組み合わせることにより、外乱要素に対するロバスト性をより向上させることができる。
(7)第207の構成によれば、色空間変換処理を外部装置ではなく、脈波検出装置内部に備えることにより、処理速度が向上し、動画からリアルタイムで脈波を検出することが容易となる。
(8)第208の構成によれば、対象者自身から目の色の基準値を採取することにより、人ごとの微妙な目の色の差異が含まれた基準値を容易に取得することができる。
(9)第209の構成によれば、個人差が大きい目の色の分布の偏りを統計処理によって均すことができ、これによって、基準成分の信頼性を向上させることができる。
(10)第210の構成によれば、閉曲線で囲んだ(目の部分に該当しない画素も散在する)領域ではなく、画素ごとに目の部分を抽出するため、評価対象から外乱要素として作用する画素を除外することができ、検出精度を高めることができる。
(11)第211の構成によれば、閉曲線で囲んだ領域を代表値で補正するのではなく、画素ごとに補正することができるため、検出精度を高めることができる。
(12)第212の構成によれば、輸送機器の搭乗者の体調を監視することができる。
(13)第213の構成によれば、脈波検出プログラムを流通させ、これを汎用のコンピュータにインストールすることにより、容易かつ安価に脈波検出装置を構成することができる。
2 CPU
3 ROM
4 RAM
5 表示部
6 入力部
7 出力部
8 カメラ
9 記憶部
10 ユーザ
12 脈波検出プログラム
14 ユーザデータベース
15 カメラ特性データ
20 鼻領域
21 髪
22 眉毛
23 目
24 唇
25 背景
26 皮膚部分
30 静止画像
31 フレーム画像
32 HSV画像
35 脈波
41、42 期間
45 目部分
46 白目部分
47 虹彩部分
48 瞳孔部分
51 明度信号
52 補正前脈波信号
53 補正後脈波信号
55 目領域
61 左領域
62 中央領域
63 右領域
101 評価領域
102 背景
Claims (14)
- 所定のカメラで対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得手段と、
前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定手段と、
前記特定した皮膚の部分の画素に対し、前記カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正するばらつき補正手段と、
前記補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得する脈波取得手段と、
前記取得した脈波を出力する出力手段と、
を具備したことを特徴とする脈波検出装置。 - 前記動画取得手段は、前記対象者の顔を含む領域を撮影した動画を取得し、
前記ばらつき補正手段は、補正対象色を前記対象者の顔の色に限定して色空間成分のばらつきを補正する、
ことを特徴とする請求項1に記載の脈波検出装置。 - 所定のカメラで対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得手段と、
前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定手段と、
前記カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正するばらつき補正手段と、
前記補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得する脈波取得手段と、
前記取得した脈波を出力する出力手段と、
前記皮膚の部分の移動に伴って前記皮膚の部分に生じる前記色空間成分の変化に対して所定の統計処理を施すことにより前記補正に用いる補正値を更新する更新手段と、
を具備したことを特徴とする脈波検出装置。 - 所定のカメラで対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得手段と、
前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定手段と、
前記カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正するばらつき補正手段と、
前記補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得する脈波取得手段と、
前記取得した脈波を出力する出力手段と、を具備し、
前記ばらつき補正手段による補正の対象となる色空間成分と前記脈波取得手段が前記脈波を取得するために用いる色空間成分は、明度成分(Y)、及び色度成分(I、Q)から成るYIQ色空間の前記色度成分(Q)である、
ことを特徴とする脈波検出装置。 - 前記皮膚の部分の移動に伴って前記皮膚の部分に生じる前記色空間成分の変化に対して所定の統計処理を施すことにより前記補正に用いる補正値を更新する更新手段を具備したことを特徴とする請求項1、請求項2、及び、請求項4に記載の脈波検出装置。
- 前記更新手段は、前記動画を構成する画素ごとに前記補正値を更新し、
前記ばらつき補正手段は、前記画素ごとに当該画素に対応する補正値を用いて前記色空間成分を補正することを特徴とする請求項3又は、請求項5に記載の脈波検出装置。 - 前記更新手段は、前記カメラの特性に起因する前記色空間成分のばらつきの大きさが、少なくとも、前記対象者の脈波による前記色空間成分の変化の大きさよりも小さい値に収束した場合に前記更新を完了することを特徴とする請求項3、請求項5又は請求項6に記載の脈波検出装置。
- 前記ばらつき補正手段は、前記更新手段が前記補正値を更新している間に最新の補正値を用いて前記ばらつきを補正し、
前記脈波取得手段は、前記最新の補正値で補正された前記皮膚の部分から前記脈波を取得することを特徴とする請求項3、請求項5、請求項6、又は請求項7に記載の脈波検出装置。 - 前記動画の撮影環境の変化によって生じた明度の変化を取得する明度変化取得手段と、
前記取得した明度の変化を用いて前記動画の明度を補正する明度補正手段と、
を備え、
前記脈波取得手段は、前記明度補正手段で更に補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得することを特徴とする請求項1から請求項8までのうちの何れか1の請求項に記載の脈波検出装置。 - 前記対象者の少なくとも皮膚を含む領域は、前記対象者の顔を含んでいることを特徴とする請求項1から請求項9のうちの何れか1の請求項に記載の脈波検出装置。
- 前記対象者は、輸送機器の搭乗者であって、前記出力した脈波を用いて前記搭乗者の体調を監視する監視手段を具備したことを特徴とする請求項1から請求項10までのうちの何れか1の請求項に記載の脈波検出装置。
- 所定のカメラで対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得機能と、
前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定機能と、
前記特定した皮膚の部分の画素に対し、前記カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正するばらつき補正機能と、
前記補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得する脈波取得機能と、
前記取得した脈波を出力する出力機能と、
をコンピュータで実現する脈波検出プログラム。 - 所定のカメラで対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得機能と、
前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定機能と、
前記カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正するばらつき補正機能と、
前記補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得する脈波取得機能と、
前記取得した脈波を出力する出力機能と、
前記皮膚の部分の移動に伴って前記皮膚の部分に生じる前記色空間成分の変化に対して所定の統計処理を施すことにより前記補正に用いる補正値を更新する更新機能と、
をコンピュータで実現する脈波検出プログラム。 - 所定のカメラで対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得機能と、
前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定機能と、
前記カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正するばらつき補正機能と、
前記補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得する脈波取得機能と、
前記取得した脈波を出力する出力機能と、をコンピュータで実現する脈波検出プログラムであって、
前記ばらつき補正機能による補正の対象となる色空間成分と前記脈波取得機能が前記脈波を取得するために用いる色空間成分は、明度成分(Y)、及び色度成分(I、Q)から成るYIQ色空間の前記色度成分(Q)である、
ことを特徴とする脈波検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015073965A JP6455761B2 (ja) | 2015-03-31 | 2015-03-31 | 脈波検出装置、及び脈波検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015073965A JP6455761B2 (ja) | 2015-03-31 | 2015-03-31 | 脈波検出装置、及び脈波検出プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016193022A JP2016193022A (ja) | 2016-11-17 |
JP2016193022A5 JP2016193022A5 (ja) | 2017-10-12 |
JP6455761B2 true JP6455761B2 (ja) | 2019-01-23 |
Family
ID=57322329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015073965A Active JP6455761B2 (ja) | 2015-03-31 | 2015-03-31 | 脈波検出装置、及び脈波検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6455761B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6911609B2 (ja) * | 2017-07-20 | 2021-07-28 | 株式会社リコー | 情報処理装置、情報処理方法、情報処理プログラム、テレビ会議システム、及び生体情報取得システム |
CN107846554B (zh) * | 2017-10-31 | 2020-09-01 | 努比亚技术有限公司 | 一种图像处理方法、终端和计算机可读存储介质 |
WO2019102535A1 (ja) * | 2017-11-22 | 2019-05-31 | 日本電気株式会社 | 脈波検出装置、脈波検出方法、及び記憶媒体 |
CN109259748B (zh) * | 2018-08-17 | 2020-04-07 | 西安电子科技大学 | 手机处理人脸视频提取心率信号的***及其方法 |
JP7204077B2 (ja) | 2018-09-07 | 2023-01-16 | 株式会社アイシン | 脈波検出装置、車両装置、及び脈波検出プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3688879B2 (ja) * | 1998-01-30 | 2005-08-31 | 株式会社東芝 | 画像認識装置、画像認識方法及びその記録媒体 |
JP3620529B2 (ja) * | 2002-03-18 | 2005-02-16 | 日本ビクター株式会社 | 映像補正装置及び方法、並びに、映像補正プログラム及びこれを記録した記録媒体 |
JP5027604B2 (ja) * | 2007-09-21 | 2012-09-19 | 富士通株式会社 | 指先適正押圧状態報知方法及び装置 |
JP5181741B2 (ja) * | 2008-03-10 | 2013-04-10 | 株式会社デンソー | 生体情報生成装置、生体情報管理システム |
JP2010239499A (ja) * | 2009-03-31 | 2010-10-21 | Brother Ind Ltd | 通信端末装置、通信制御装置、通信端末装置の通信制御方法、通信制御プログラム |
JP6098304B2 (ja) * | 2013-03-29 | 2017-03-22 | 富士通株式会社 | 脈波検出装置、脈波検出方法及び脈波検出プログラム |
JP6102433B2 (ja) * | 2013-03-29 | 2017-03-29 | 富士通株式会社 | 脈波検出プログラム、脈波検出方法および脈波検出装置 |
-
2015
- 2015-03-31 JP JP2015073965A patent/JP6455761B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016193022A (ja) | 2016-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6308161B2 (ja) | 脈波検出装置、及び脈波検出プログラム | |
JP6547160B2 (ja) | 脈波検出装置、及び脈波検出プログラム | |
EP2936432B1 (en) | System and method for extracting physiological information from remotely detected electromagnetic radiation | |
JP6863408B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6455761B2 (ja) | 脈波検出装置、及び脈波検出プログラム | |
EP3664704B1 (en) | Device, system and method for determining a physiological parameter of a subject | |
JP6138920B2 (ja) | 遠隔検出される特性信号から情報を抽出するデバイス及び方法 | |
EP3440991A1 (en) | Device, system and method for determining a physiological parameter of a subject | |
WO2015121949A1 (ja) | 信号処理装置、信号処理方法及び信号処理プログラム | |
KR102285999B1 (ko) | 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템 | |
JP6098257B2 (ja) | 信号処理装置、信号処理方法及び信号処理プログラム | |
JP6822482B2 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
WO2018179150A1 (ja) | 心拍推定装置 | |
JP2019000474A (ja) | 脈拍周期検出装置、脈拍周期検出方法、脈拍周期検出プログラム、及び脈波検出装置 | |
Alnaggar et al. | Video-based real-time monitoring for heart rate and respiration rate | |
Rahman et al. | A filter-based method to calculate heart rate from near infrared video | |
JP6869205B2 (ja) | 生体の拍動を検出する生体情報検出装置、プログラム及び方法 | |
TWI626072B (zh) | 影像式心律操控運動訓練機 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170330 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180713 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6455761 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |