JP2022042304A - ストレス推定装置、方法およびプログラム - Google Patents
ストレス推定装置、方法およびプログラム Download PDFInfo
- Publication number
- JP2022042304A JP2022042304A JP2020147672A JP2020147672A JP2022042304A JP 2022042304 A JP2022042304 A JP 2022042304A JP 2020147672 A JP2020147672 A JP 2020147672A JP 2020147672 A JP2020147672 A JP 2020147672A JP 2022042304 A JP2022042304 A JP 2022042304A
- Authority
- JP
- Japan
- Prior art keywords
- person
- stress
- image data
- moving image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
【課題】監視対象が多人数であってもその各々について精度良くストレスを推定にする。
【解決手段】この発明に係るストレス推定装置の一態様は、監視対象エリアを撮像して得られた動画像データを取得し、取得された前記動画像データから人物に対応する画像領域を検出し、検出された前記画像領域をもとに前記監視対象エリアに存在する人物を特定し、特定された前記人物毎に、当該人物に対応する前記画像領域から前記人物に関する複数の特徴量を検出し、前記人物毎に、検出された前記複数の特徴量に基づいて前記人物のストレスの度合いを表す情報を推定し、推定された前記ストレスの度合いを表す情報を出力するようにしたものである。
【選択図】図3
【解決手段】この発明に係るストレス推定装置の一態様は、監視対象エリアを撮像して得られた動画像データを取得し、取得された前記動画像データから人物に対応する画像領域を検出し、検出された前記画像領域をもとに前記監視対象エリアに存在する人物を特定し、特定された前記人物毎に、当該人物に対応する前記画像領域から前記人物に関する複数の特徴量を検出し、前記人物毎に、検出された前記複数の特徴量に基づいて前記人物のストレスの度合いを表す情報を推定し、推定された前記ストレスの度合いを表す情報を出力するようにしたものである。
【選択図】図3
Description
この発明の実施形態は、例えば人が感じているストレスを非接触で推定するストレス推定装置、方法およびプログラムに関する。
例えば、混雑しているイベント会場や病院待合室、駅構内、車両内において、群衆の中から異常なストレスを感じている人を特定することは、異常行動の早期発見のためにきわめて有用である。
ところで、上記のように群衆の中から異常なストレスを感じている人を特定するためには、非接触センサを用いて人の状態を遠隔的に検出する技術が必要である。特許文献1には、サーモグラフィにより人の体温を計測すると共に、マイクロ波により人の呼吸数と心拍数を計測する技術が記載されている。また、非特許文献1には、ミリ波レーダを用いて人の呼吸や心拍間隔を検束する技術が記載されている。
京都大学、パナソニック株式会社、「非接触ミリ波バイタルセンサーの小型・高感度化技術を開発」、2017年9月26日、インターネット<URL: https://news.panasonic.com/jp/press/data/2017/09/jn170926-1/jn170926-1.html>
ところが、特許文献1および非特許文献1に記載された技術は、特定の人をターゲットにしてマイクロ波やミリ波レーダを照射し、その体温や呼吸数、心拍数等を計測するものとなっている。このため、群衆の多数の人のストレス状態をそれぞれ推定しようとすると、多数の人に対しマイクロ波やミリ波レーダを順次照射しなければならず、一人当たりの照射時間が短くなって高精度のストレス推定が行えなくなる。一方、ストレスの推定精度を高めようとすると、監視対象の人数を制限せざるを得なくなる。
この発明は上記事情に着目してなされたもので、監視対象が多人数であってもそのそれぞれについて高精度のストレス推定を可能にする技術を提供しようとするものである。
上記課題を解決するために、この発明に係るストレス推定装置又は方法の一態様は、監視対象エリアを撮像して得られた動画像データを取得し、取得された前記動画像データから人物に対応する画像領域を検出し、検出された前記画像領域をもとに前記監視対象エリアに存在する人物を特定し、特定された前記人物毎に、当該人物に対応する前記画像領域から前記人物に関する複数の特徴量を検出し、前記人物毎に、検出された前記複数の特徴量に基づいて前記人物のストレスの度合いを表す情報を推定し、推定された前記ストレスの度合いを表す情報を出力するようにしたものである。
この発明の一態様によれば、監視対象が多人数であってもそのそれぞれについて高精度のストレス推定を可能にする技術を提供することができる。
以下、図面を参照してこの発明に係わる実施形態を説明する。
[一実施形態]
(構成例)
(1)システム
図1は、この発明の一実施形態に係るストレス推定装置を備える監視システムの一例を示すものである。
(構成例)
(1)システム
図1は、この発明の一実施形態に係るストレス推定装置を備える監視システムの一例を示すものである。
この監視システムは、ストレス推定装置として動作する情報処理装置SVを備え、この情報処理装置SVに対し例えば信号ケーブルを介してカメラCMおよびサーモグラフィ検出装置SDを接続したものとなっている。カメラCMおよびサーモグラフィ検出装置SDは、同一の監視対象エリアTEの動画像データおよびサーモグラフィデータを取得可能なように、互いに近接して設置されている。なお、信号ケーブルの代わりに無線LAN(Local Area Network)等の無線回線を使用することも可能である。
カメラCMは、例えばイベント会場や病院待合室のように複数の人物HM1~HMnが存在する監視対象エリアTEを撮像し、撮像されたカメラ動画像データを情報処理装置SVへ出力する。サーモグラフィ検出装置SDは、上記監視対象エリアTEの温度分布を検出し、検出されたサーモグラフィデータを情報処理装置SVへ出力する。なお、カメラCMおよびサーモグラフィ検出装置SDとしては、それぞれ汎用のカメラおよび赤外線カメラを使用可能である。
(2)装置
図2および図3は、それぞれ情報処理装置SVのハードウェア構成およびソフトウェア構成を示すブロック図である。
情報処理装置SVは、例えばサーバコンピュータ又はパーソナルコンピュータからなる。情報処理装置SVは、中央処理ユニット(Central Processing Unit:CPU)等のハードウェアプロセッサを有する制御部1を備え、この制御部1に対しバス5を介して、記憶部2と、センサインタフェース(センサI/F)3と、入出力インタフェース(入出力I/F)4を接続したものとなっている。
図2および図3は、それぞれ情報処理装置SVのハードウェア構成およびソフトウェア構成を示すブロック図である。
情報処理装置SVは、例えばサーバコンピュータ又はパーソナルコンピュータからなる。情報処理装置SVは、中央処理ユニット(Central Processing Unit:CPU)等のハードウェアプロセッサを有する制御部1を備え、この制御部1に対しバス5を介して、記憶部2と、センサインタフェース(センサI/F)3と、入出力インタフェース(入出力I/F)4を接続したものとなっている。
センサI/F3は、上記カメラCMおよびサーモグラフィ検出装置SDからそれぞれ出力されるカメラ動画像データおよびサーモグラフィデータを受信する。入出力I/F4には表示装置DSが接続される。表示装置DSは、例えば液晶または有機EL(Electro Luminescence)等の表示デバイスを使用したもので、ストレス応答指標の推定結果を表示するために使用される。なお、入出力I/F4には、キーボードやマウス等の入力デバイスが接続されてもよい。この入力デバイスを使用することで、システム管理者は情報処理装置SVに対しプログラムや管理データや制御データ等を入力することが可能となる。
記憶部2は、プログラム記憶領域とデータ記憶領域とを備える。プログラム記憶領域は、記憶媒体として、例えばHDD(Hard Disk Drive)またはSSD(Solid State Drive)等の随時書込みおよび読出しが可能な不揮発性メモリを使用したもので、OS(Operating System)等のミドルウェアに加えて、この発明の一実施形態に係る各種処理を実行するために必要なプログラムを格納する。なお、記憶媒体は、上記HDD又はSSDとROM(Read Only Memory)とを組み合わせて構成してもよい。
データ記憶領域は、記憶媒体として、例えばHDDまたはSSDとRAM(Random Access Memory)とを組み合わせたもので、このデータ記憶領域にはこの発明の一実施形態において使用される、動画像記憶部21と、人物特定情報記憶部22と、特徴量記憶部23と、ストレス応答指標記憶部24が設けられる。
動画像記憶部21は、カメラCMおよびサーモグラフィ検出装置SDから出力されたカメラ動画像データおよびサーモグラフィデータを記憶するために用いられる。人物特定情報記憶部22は、上記カメラ動画像データおよびサーモグラフィデータをもとに検出された複数の人物領域の各々を表す画素集合を、人物領域データとして記憶するために使用される。特徴量記憶部23は、上記複数の人物領域データの各々から抽出された人物領域の特徴量を記憶するために使用される。ストレス応答指標記憶部24は、上記人物領域データ毎に抽出された上記特徴量をもとに推定されたストレス応答指標値を記憶するために使用される。
制御部1は、この発明の一実施形態に係る処理機能として、動画像取得部11と、人物特定部12と、特徴量抽出部13と、ストレス応答指標推定部14と、推定結果出力部15とを備えている。これらの処理部11~15は、何れもプログラム記憶領域に格納されたプログラムをハードウェアプロセッサに実行させることにより実現される。
動画像取得部11は、カメラCMから出力される監視対象エリアTEのカメラ動画像データを、センサI/F3を介して、予め設定された単位監視時間に渡り取得し、取得されたカメラ動画像データを撮像時刻を示すタイムスタンプを付して動画像記憶部21に記憶させる処理を行う。
また動画像取得部11は、サーモグラフィ検出装置SDから出力される監視対象エリアTEのサーモグラフィデータ(熱動画像データとも云う)を、センサI/F3を介して上記単位監視時間に渡り取得し、取得された熱動画像データを上記単位監視時間を示すタイムスタンプを付して動画像記憶部21に記憶させる処理も行う。
人物特定部12は、上記動画像記憶部21に記憶されたカメラ動画像データおよび熱動画像データから、それぞれそのフレーム毎に人物に対応する画像領域を検出することにより、上記監視対象エリアTEに存在する複数の人物HM1~HMnを特定し、特定された各人物のIDに紐づけて上記人物に対応する画像領域を人物領域データとして人物特定情報記憶部22に記憶させる処理を行う。このとき、カメラ動画像データおよび熱動画像データからはそれぞれカメラ動画像の人物領域データと熱動画像の人物領域データが得られるが、これらの人物領域データには位置が同一のものに同一の人物IDが付されて記憶される。
特徴量抽出部13は、特定された上記人物毎に、上記人物特定情報記憶部22に記憶されたカメラ動画像データの人物領域データから、単位監視時間における人物の瞬き回数および心拍間隔(RRI:R-R Interval)の時系列データを検出する。
また特徴量抽出部13は、特定された上記人物毎に、上記人物特定情報記憶部22に記憶された熱動画像データの人物領域データから、単位監視時間における人物の皮膚、例えば鼻部の表面温度の変化を検出する。そして、特徴量抽出部13は、検出された上記各人物の瞬き回数、心拍間隔の時系列データおよび鼻部の表面温度変化を、人物の特徴量を表す情報として上記人物IDと紐づけた状態で特徴量記憶部23に記憶させる。
ストレス応答指標推定部14は、上記人物領域毎に、上記特徴量記憶部23に記憶された各特徴量、つまり瞬き回数と、鼻部の表面温度変化と、心拍間隔の時系列データから求められる心拍変動の特徴量とを総合し、予め定めた推定ロジックに基づいて、ストレスに対し人がどのように応答しているかを示すストレス応答指標値を算出する。そして、推定された各人物のストレス応答指標値を人物IDに紐づけてストレス応答指標記憶部24に記憶させる。
推定結果出力部15は、上記単位監視時間が経過するごとに、ストレス応答指標記憶部24から当該監視時間に得られたストレス応答指標値を読み出し、読み出されたストレス応答指標値を入出力I/F4から表示装置DSへ出力して表示させる処理を行う。
(動作例)
次に、以上のように構成された装置の動作例を説明する。図4は情報処理装置SVによる全体の処理の動作例を示すフローチャートである。
次に、以上のように構成された装置の動作例を説明する。図4は情報処理装置SVによる全体の処理の動作例を示すフローチャートである。
情報処理装置SVは、例えばシステム管理者により入力された監視開始要求をステップS0で検出すると、以下のように監視動作を実行する。
(1)動画像データの取得
情報処理装置SVは、先ず動画像取得部11の制御の下、ステップS1により、予め設定された単位監視時間(例えば3分)に渡り監視対象エリアTEを撮像した動画像データを取得する動作を行う。
情報処理装置SVは、先ず動画像取得部11の制御の下、ステップS1により、予め設定された単位監視時間(例えば3分)に渡り監視対象エリアTEを撮像した動画像データを取得する動作を行う。
図5はその処理内容の一例を示すフローチャートである。動画像取得部11は、先ずステップS11において、上記単位監視時間にカメラCMにより撮像された監視対象エリアTEのカメラ動画像データをセンサI/F3を介して受信し、受信されたカメラ動画像データを撮像時刻を示すタイムスタンプを付して動画像記憶部21に記憶させる。
また動画像取得部11は、上記カメラ動画像データの取得と並行して、ステップS12において、上記単位監視時間にサーモグラフィ検出装置SDにより検出された上記監視対象エリアTEのサーモグラフィ動画像データをセンサI/F3を介して受信し、受信されたサーモグラフィ動画像データを撮像時刻を示すタイムスタンプを付して動画像記憶部21に記憶させる。
なお、以上述べた各動画像データの取得処理は、指定された単位監視時間にのみ行ってもよいし、複数の監視時間について間欠的に、或いは連続的に行ってもよい。
(2)人物の特定
上記単位監視時間が経過するごとに情報処理装置SVは、人物特定部12の制御の下、ステップS2において、取得された上記カメラ動画像データおよび熱動画像データからそれぞれ人物領域を抽出し、抽出された人物領域を表す画像データを人物IDに紐づけて人物特定情報記憶部22に記憶させる処理を行う。
上記単位監視時間が経過するごとに情報処理装置SVは、人物特定部12の制御の下、ステップS2において、取得された上記カメラ動画像データおよび熱動画像データからそれぞれ人物領域を抽出し、抽出された人物領域を表す画像データを人物IDに紐づけて人物特定情報記憶部22に記憶させる処理を行う。
図6はその処理手順と処理内容の一例を示すフローチャートである。人物特定部12は、先ずステップS21において、動画像記憶部21からカメラ動画像データを読み出し、このカメラ動画像データの1フレーム毎に、例えば人物の輪郭(エッジ)を検出する画像解析処理を行う。そして、検出された人物の輪郭により囲まれた画像領域をそれぞれ人物領域と認識し、認識した各人物領域をそれぞれ監視対象エリアTEに存在する人物HM1~HMnとして特定する。また人物特定部12は、上記各人物領域の画素集合からなる画像データを、特定された上記人物HM1~HMnの人物IDと紐づけ、これを人物領域データとして人物特定情報記憶部22に記憶させる。
人物特定部12は、続いてステップS22において、動画像記憶部21から熱動画像データを読み出し、この熱動画像データの1フレーム毎に、上記カメラ動画像データの場合と同様に、例えば人物の輪郭(エッジ)を検出する画像解析処理を行う。そして、検出された人物の輪郭により囲まれた画像領域をそれぞれ人物領域と認識し、認識した各人物領域をそれぞれ監視対象エリアTEに存在する人物HM1~HMnとして特定する。また人物特定部12は、上記各人物領域の画素集合からなる画像データを、特定された上記人物HM1~HMnの人物IDと紐づけ、これを人物領域データとして人物特定情報記憶部22に記憶させる。
なお、上記人物IDを画像データに紐づける際に人物特定部12は、同一時刻において、上記カメラ動画像データから検出された人物領域と、上記熱動画像データから検出された人物領域との、画像フレーム内の位置が同一であれば、これらの人物領域に同一の人物IDを付与する。
上記カメラ動画像データおよび熱動画像データから人物領域を検出する手法としては、例えばインテル社が開発したOpen Source Computer Vision Library(OpenCV)等の動画解析プログラムが用いられる。
なお、以上の説明ではカメラ動画像データと熱動画像データのそれぞれから人物領域を検出する場合について述べた。このようにすると、例えばカメラ動画像データのみを用いる場合には人以外のマネキン等を人物領域として検出してしまうが、熱動画像データを併用することでこのような不具合を防止することができる。また、例えば監視対象エリアTEが暗く鮮明なカメラ動画像データが得られない場合でも、熱動画像データを用いることで人物領域を精度良く検出することが可能となる。なお、監視対象エリアTEの状況により、人物領域の検出はカメラ動画像データと熱動画像データのいずれか一方を用いて行うようにしてもよい。
(3)人物毎の特徴量の抽出
上記人物領域の検出処理が終了すると情報処理装置SVは、次に特徴量抽出部13の制御の下、ステップS3において、検出された上記各人物毎に当該人物の特徴量を抽出する処理を実行する。
上記人物領域の検出処理が終了すると情報処理装置SVは、次に特徴量抽出部13の制御の下、ステップS3において、検出された上記各人物毎に当該人物の特徴量を抽出する処理を実行する。
図7はその処理手順と処理内容の一例を示すフローチャートである。特徴量抽出部13は、先ずステップS31において、上記人物特定情報記憶部22に記憶されている人物領域データが複数の場合にはこの複数の人物領域データの中から一つを選択する。そして特徴量抽出部13は、ステップS32において、選択された上記人物領域データ(カメラ動画像データ)から眼を検出し、検出された眼の瞬きの回数を監視時間に渡り計数する。なお、カメラ動画像データから人の眼を検出するには、例えば、上記OpenCV等の動画解析プログラムと、Dlib等の既存の顔検出プログラムが使用される。
特徴量抽出部13は、続いてステップS33において、上記カメラ動画像データから単位監視時間に渡り人物の心拍間隔(RRI:R-R Interval)を検出し、当該心拍間隔の時系列データを得る。心拍間隔の時系列データは、例えばカメラ動画像データから検出された人物領域データに含まれる顔等の皮膚表面画像から、血管の収縮・拡張に伴う反射光変動を解析することにより得られる。
特徴量抽出部13は、次にステップS34において、上記人物領域データ(熱動画像データ)から人物の鼻部を検出し、検出された鼻部の単位監視時間に渡る表面温度の変化を検出する。鼻部の表面温度の変化は、鼻部の表面温度の単位監視時間における最高温度と最低温度との差分として算出してもよいし、単位監視時間における鼻部の表面温度の分散として計算するようにしてもよい。なお、鼻部の検出についても、上記OpenCVまたはDlibが用いられる。
特徴量抽出部13は、検出された上記瞬き回数、心拍間隔の時系列データおよび鼻部の表面温度変化を、人物の特徴量を表す情報として人物IDと紐づけた状態で特徴量記憶部23に記憶させる。
特徴量抽出部13は、以上のように一つの人物領域データについての特徴量抽出処理を終了すると、ステップS35によりすべての人物領域データの選択が終了したか否かを判定する。そして、未選択の人物領域データが残っていれば、ステップS31に戻って次の人物領域データを選択し、ステップS32~S34による特徴量の検出処理を繰り返す。一方、すべての人物領域データの選択が終了していれば、人物特徴量の検出処理を終了する。
(4)ストレス応答指標の推定
上記特徴量の抽出処理が終了すると情報処理装置SVは、次にストレス応答指標推定部14の制御の下、ステップS4において、人物毎にストレス応答指標値を推定する処理を以下のように実行する。
上記特徴量の抽出処理が終了すると情報処理装置SVは、次にストレス応答指標推定部14の制御の下、ステップS4において、人物毎にストレス応答指標値を推定する処理を以下のように実行する。
図8はその処理手順と処理内容の一例を示すフローチャートである。すなわち、ストレス応答指標推定部14は、先ずステップS41において、上記人物特定情報記憶部22に記憶されている人物領域データが複数の場合にはこの複数の人物領域データの中から一つを選択する。次にステップS42において、選択された上記人物領域データに対応する心拍間隔の時系列データを上記特徴量記憶部23から読み出し、読み出された上記心拍間隔の時系列データについて波形解析等を行うことで、対応する人物の心拍変動の特徴量を求める。
心拍変動の特徴量には、例えば、RRIのパワースペクトル波形の高周波成分(HF)、または低周波成分(LF)、前後するRRI間の時間的差分が予め設定した時間値以上となった回数の発生割合(pNN50)、前後するRRIのローレンツプロットが描く形状の長辺の長さLと、RRIのローレンツプロットが描く形状の短辺の長さTとから求められる交感神経活動指標(CSI:Cardiac Sympathetic Index)、および副交感神経の活動指標(CVI:Cardiac Vagal Index)がある。なお、これらの心拍変動特徴量は既存の解析技術を適用することで求めることができる。
ストレス応答指標推定部14は、次にステップS43において、選択された上記人物領域データに対応する瞬き回数および鼻部の表面温度変化を上記特徴量記憶部23から読み出し、読み出されたこれらの特徴量と、上記ステップS42で求めた心拍変動の特徴量とを総合し、予め定めた推定ロジックに基づいて、ストレスに対し人がどのように応答しているかを示すストレス応答指標値を算出する。そして、推定された各人物のストレス応答指標値を人物IDに紐づけてストレス応答指標記憶部24に記憶させる。
ストレス応答指標値としては、例えば感情を測定する気分プロファイル検査(POMS:Profile of Mood States)や、不安を指標化する状態-特性不安尺度(STAI:State-Trait Anxiety Inventory)が使用される。また推定ロジックとしては、例えば、上記各特徴量に対応してその時のストレス応答指標値を出力する重回帰分析式を作成しておき、上記各特徴量を当該重回帰分析式に入力してそれに対応するストレス応答指標値を出力するものが用いられる。なお、ストレス応答指標値の推定ロジックとしては、他にSupport Vector Machine(SVM)や深層学習、ニューラルネットワークに基づく学習モデルを使用した推定ロジックを使用してもよい。
ストレス応答指標推定部14は、一つの人物領域データについてのストレス応答指標値の算出処理を終了すると、ステップS44によりすべての人物領域データの選択が終了したか否かを判定する。そして、まだ選択していない人物領域データが残っていれば、ステップS41に戻って次の人物領域データを選択し、ステップS42~S43によるストレス応答指標値の算出処理を繰り返す。一方、すべての人物領域データの選択が終了すれば、ストレス応答指標値の算出処理を終了する。
(5)ストレス推定結果の出力
上記ストレス応答指標値の算出処理が終了すると情報処理装置SVは、推定結果出力部15の制御の下、ステップS5において、ストレス応答指標記憶部24から例えば直近の単位監視時間におけるストレス応答指標値を読み出す。そして、読み出されたストレス応答指標値を表示するための表示データを生成し、生成された表示データを入出力I/F4から表示装置DSへ出力して表示させる。
上記ストレス応答指標値の算出処理が終了すると情報処理装置SVは、推定結果出力部15の制御の下、ステップS5において、ストレス応答指標記憶部24から例えば直近の単位監視時間におけるストレス応答指標値を読み出す。そして、読み出されたストレス応答指標値を表示するための表示データを生成し、生成された表示データを入出力I/F4から表示装置DSへ出力して表示させる。
例えば、人物毎にそのストレス応答指標値を複数のしきい値をもとに判別してその判別結果を異なる色のマーカに変換する。そして、対応する単位監視時間に撮像されたカメラ動画像データまたは人物特定情報を動画像記憶部21または人物特定情報記憶部22から読み出し、読み出された画像の対応する人物領域に上記色の異なるマーカを重畳した表示データを生成する。そして、生成された上記表示データを表示装置DSへ出力して表示させる。
この結果、例えばシステム管理者は上記表示装置DSに表示された、マーカが重畳された画像を見ることで、単位監視時間毎に、監視対象エリアTEに存在する各人物のストレスの度合いをマーカの色で判断することが可能となる。そして、異常なストレスを受けていると判断される人に対し、体調や気分について確認するように警備員等のスタッフに指示することが可能となる。
なお、表示データは、人物毎にそのストレス応答指標値を色分けしたマーカにより表示するものに限らず、ストレス応答指標値が所定のしきい値より高い人に対し色マーカを点滅させたり、要注意マーカを生成して表示させるものとしてもよい。その他、ストレス応答指標値の出力形態については、高ストレスの人についてマーカの表示と併せて鳴音や音声メッセージを出力させる等、種々の表示形態が考えられる。
(作用・効果)
以上述べたように一実施形態では、情報処理装置SVにおいて、監視対象エリアTEをカメラCMおよびサーモグラフィ検出装置SDによりそれぞれ撮像して得られたカメラ動画像データおよび熱動画像データを取得し、取得された各動画像データから上記監視対象エリアTEに存在する人物領域を個別に特定する。そして、特定された人物領域毎に、上記カメラ動画像データおよび熱動画像データから複数種の特徴量を検出し、検出された複数種の特徴量をもとに対応する人物のストレス応答指標値を推定して表示するようにしている。
以上述べたように一実施形態では、情報処理装置SVにおいて、監視対象エリアTEをカメラCMおよびサーモグラフィ検出装置SDによりそれぞれ撮像して得られたカメラ動画像データおよび熱動画像データを取得し、取得された各動画像データから上記監視対象エリアTEに存在する人物領域を個別に特定する。そして、特定された人物領域毎に、上記カメラ動画像データおよび熱動画像データから複数種の特徴量を検出し、検出された複数種の特徴量をもとに対応する人物のストレス応答指標値を推定して表示するようにしている。
従って、監視対象エリアTEに多数の人物が存在する場合でも、これら多数の人物の各々について同時にストレス応答指標値を推定することが可能となり、これにより限られた時間に多数の人物について漏れなくかつ高精度にストレス応答指標値を推定することができる。
また、人物領域の特徴量として、眼の瞬き回数、心拍変動量および鼻部の表面温度変化の3つを検出し、これらの特徴量を総合してストレス応答指標の推定値を求めるようにしている。このため、人物のストレス応答指標値を精度良く推定することができる。
[その他の実施形態]
(1)前記一実施形態では、単位監視時間を3分に設定した場合を例にとって説明したが、3分に限らず1分のようにより短い時間や5分のようにより長い時間に設定してもよい。要するに、単位監視時間はストレス応答指標値を推定するために必要な特徴量を得る時間に応じて任意に設定すればよい。
(1)前記一実施形態では、単位監視時間を3分に設定した場合を例にとって説明したが、3分に限らず1分のようにより短い時間や5分のようにより長い時間に設定してもよい。要するに、単位監視時間はストレス応答指標値を推定するために必要な特徴量を得る時間に応じて任意に設定すればよい。
(2)前記一実施形態では、単位監視時間毎にストレス応答指標値を推定するようにした。しかしそれに限らず、ストレス応答指標値を連続的に推定するようにしてもよい。これは、例えば、カメラ動画像データおよび熱動画像データをフレーム周期で連続的に取得し、当該連続する動画像データのフレームタイミング毎に、それぞれ過去の単位監視時間分の各動画像データをもとにストレス応答指標値を推定するための一連の処理を実行することにより、実現できる。このようにすると、監視対象エリアTEに存在する複数の人物についてのストレス応答指標値の変化を記憶すると共に表示することが可能となる。
(3)前記一実施形態では、情報処理装置SVとしてサーバ装置又はパーソナルコンピュータを使用する場合を例にとって説明したが、サーバ装置以外にスマートフォン等の携帯情報端末を使用してもよい。その際、カメラCMは携帯情報端末に内蔵されているカメラを使用することができる。
(4)その他、監視対象エリアの設定方法や、人物特定手法、検出する特徴量の種類やその検出手法、ストレス応答指標値の推定手法等、情報処理装置が備える処理機能や処理手順および処理内容については、この発明の用意を逸脱しない範囲で種々変形して実施できる。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
SV…情報処理装置
CM…カメラ
SD…サーモグラフィ検出装置
TE…監視対象エリア
HM1~HMn…人物
DS…表示装置
1…制御部
2…記憶部
3…センサインタフェース(センサI/F)
4…入出力インタフェース(入出力I/F)
5…バス
11…動画像取得部
12…人物特定部
13…特徴量抽出部
14…ストレス応答指標推定部
15…推定結果出力部
21…動画像記憶部
22…人物特定情報記憶部
23…特徴量記憶部
24…ストレス応答指標記憶部
CM…カメラ
SD…サーモグラフィ検出装置
TE…監視対象エリア
HM1~HMn…人物
DS…表示装置
1…制御部
2…記憶部
3…センサインタフェース(センサI/F)
4…入出力インタフェース(入出力I/F)
5…バス
11…動画像取得部
12…人物特定部
13…特徴量抽出部
14…ストレス応答指標推定部
15…推定結果出力部
21…動画像記憶部
22…人物特定情報記憶部
23…特徴量記憶部
24…ストレス応答指標記憶部
Claims (7)
- 監視対象エリアを撮像して得られた動画像データを取得する取得部と、
取得された前記動画像データから人物に対応する画像領域を検出し、検出された前記画像領域をもとに前記監視対象エリアに存在する前記人物を特定する特定部と、
特定された前記人物毎に、当該人物に対応する前記画像領域から前記人物に関する複数の特徴量を検出する検出部と、
前記人物毎に、検出された前記複数の特徴量に基づいて前記人物のストレスの度合いを表す情報を推定する推定部と、
推定された前記ストレスの度合いを表す情報を出力する出力部と
を具備するストレス推定装置。 - 前記取得部は、前記監視対象エリアを撮像して得られた第1の動画像データと、前記監視対象エリアの温度分布を表す第2の動画像データとをそれぞれ取得し、
前記特定部は、前記第1の動画像データおよび前記第2の動画像データの各々から前記人物に対応する前記画像領域を検出し、検出された前記画像領域をもとに前記監視対象エリアに存在する前記人物を特定する
請求項1に記載のストレス推定装置。 - 前記検出部は、
前記人物毎に、当該人物に対応する前記第1の動画像データから、予め設定された単位時間における前記人物の瞬き回数および心拍変動を表す特徴量を検出する第1の検出部と、
前記人物毎に、前記人物に対応する前記第2の動画像データから前記単位時間における前記人物の皮膚の表面温度変化を検出する
請求項2に記載のストレス推定装置。 - 前記検出部は、前記人物毎に、当該人物に対応する前記動画像データのフレームタイミング毎に、当該フレームタイミング以前の所定時間に得られた前記人物に対応する前記画像領域から前記人物に関する前記複数の特徴量を検出し、
前記推定部は、前記動画像データのフレームタイミング毎に、検出された前記複数の特徴量に基づいて前記人物の前記ストレスの度合いを表す情報を推定する
請求項1に記載のストレス推定装置。 - 前記出力部は、前記人物毎に、推定された前記ストレスの度合いを予め設定されたしきい値に従い複数の段階に判別し、判別された前記段階を表す情報を前記人物に対応する前記画像領域に重畳した表示データを生成し、生成された前記表示データを出力する、
請求項1に記載のストレス推定装置。 - 情報処理装置が実行するストレス推定方法であって、
監視対象エリアを撮像して得られた動画像データを取得する過程と、
取得された前記動画像データから人物に対応する画像領域を検出し、検出された前記画像領域をもとに前記監視対象エリアに存在する前記人物を特定する過程と、
特定された前記人物毎に、当該人物に対応する前記画像領域から前記人物に関する複数の特徴量を検出する過程と、
前記人物毎に、検出された前記複数の特徴量に基づいて前記人物のストレスの度合いを表す情報を推定する過程と、
推定された前記ストレスの度合いを表す情報を出力する過程と
を具備するストレス推定方法。 - 請求項1乃至5のいずれかに記載のストレス推定装置が具備する前記各部の処理を、前記ストレス推定装置が備えるプロセッサに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020147672A JP2022042304A (ja) | 2020-09-02 | 2020-09-02 | ストレス推定装置、方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020147672A JP2022042304A (ja) | 2020-09-02 | 2020-09-02 | ストレス推定装置、方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022042304A true JP2022042304A (ja) | 2022-03-14 |
Family
ID=80629353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020147672A Pending JP2022042304A (ja) | 2020-09-02 | 2020-09-02 | ストレス推定装置、方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022042304A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023176412A1 (ja) * | 2022-03-18 | 2023-09-21 | パナソニックIpマネジメント株式会社 | 検出システム、検出方法、及び、検出プログラム |
WO2023176414A1 (ja) * | 2022-03-18 | 2023-09-21 | パナソニックIpマネジメント株式会社 | 検出システム、検出方法、及び、検出プログラム |
-
2020
- 2020-09-02 JP JP2020147672A patent/JP2022042304A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023176412A1 (ja) * | 2022-03-18 | 2023-09-21 | パナソニックIpマネジメント株式会社 | 検出システム、検出方法、及び、検出プログラム |
WO2023176414A1 (ja) * | 2022-03-18 | 2023-09-21 | パナソニックIpマネジメント株式会社 | 検出システム、検出方法、及び、検出プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7083809B2 (ja) | プライバシーの保護を伴う人物の識別しおよび/または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法 | |
Werner et al. | Towards pain monitoring: Facial expression, head pose, a new database, an automatic system and remaining challenges | |
EP2772828B1 (en) | Individual body discrimination device and individual body discrimination method | |
CN109983505B (zh) | 人物动向记录装置、人物动向记录方法及存储介质 | |
US9875393B2 (en) | Information processing apparatus, information processing method, and program | |
US20090082692A1 (en) | System And Method For The Real-Time Evaluation Of Time-Locked Physiological Measures | |
EP2698112B1 (en) | Real-time stress determination of an individual | |
CA2977429C (en) | Method of and system for processing signals sensed from a user | |
US11141095B2 (en) | Method and system for detecting concussion | |
US20090062679A1 (en) | Categorizing perceptual stimuli by detecting subconcious responses | |
CN108135527A (zh) | 用于生物识别的方法、装置及*** | |
US11083398B2 (en) | Methods and systems for determining mental load | |
JP6122884B2 (ja) | 作業覚醒度推定装置、方法およびプログラム | |
JP2022042304A (ja) | ストレス推定装置、方法およびプログラム | |
US20190069832A1 (en) | Determination result output device, determination result provision device, and determination result output system | |
EP3424408B1 (en) | Fatigue state determination device and fatigue state determination method | |
US20180240543A1 (en) | Information processing apparatus, method and non-transitory computer-readable storage medium | |
CN108882853A (zh) | 使用视觉情境来及时触发测量生理参数 | |
US20180168451A1 (en) | Brain activity estimation device | |
Szankin et al. | Long distance vital signs monitoring with person identification for smart home solutions | |
CN115695734A (zh) | 红外热成像防护监控方法、装置、设备、***和介质 | |
Morresi et al. | Measuring thermal comfort using wearable technology in transient conditions during office activities | |
WO2023231654A1 (zh) | 档案管理方法、装置、设备、存储介质及程序产品 | |
JP6911998B2 (ja) | 生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム | |
TW202249026A (zh) | 認知評估系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20200908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200908 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220121 |