JP2017205134A - 体調検出装置、体調検出方法及び体調検出プログラム - Google Patents
体調検出装置、体調検出方法及び体調検出プログラム Download PDFInfo
- Publication number
- JP2017205134A JP2017205134A JP2014170789A JP2014170789A JP2017205134A JP 2017205134 A JP2017205134 A JP 2017205134A JP 2014170789 A JP2014170789 A JP 2014170789A JP 2014170789 A JP2014170789 A JP 2014170789A JP 2017205134 A JP2017205134 A JP 2017205134A
- Authority
- JP
- Japan
- Prior art keywords
- user
- walking
- physical condition
- data
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Dentistry (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】比較的に容易に導入可能で、ユーザの歩行特性を十分に抽出した上で、当該ユーザの体調を検出可能な体調検出装置を提供する。
【解決手段】ユーザの歩行特性を示す歩行特性データを記憶する記憶部と、深度データを含む撮影画像を取得する画像取得部31と、撮影画像内でユーザの写る領域を抽出し、深度データに基づいて、当該領域に写るユーザの実空間における歩行動作を解析することで、撮影画像に写るユーザの歩行特性を示す解析データを取得する歩行特性解析部32と、解析データと歩行特性データを比較することによって、ユーザの歩行特性に所定条件を満たす変化が生じているか否かを判定し、当該判定の結果に基づいて、ユーザの体調を特定する体調特定部33と、を備える。
【選択図】図5
【解決手段】ユーザの歩行特性を示す歩行特性データを記憶する記憶部と、深度データを含む撮影画像を取得する画像取得部31と、撮影画像内でユーザの写る領域を抽出し、深度データに基づいて、当該領域に写るユーザの実空間における歩行動作を解析することで、撮影画像に写るユーザの歩行特性を示す解析データを取得する歩行特性解析部32と、解析データと歩行特性データを比較することによって、ユーザの歩行特性に所定条件を満たす変化が生じているか否かを判定し、当該判定の結果に基づいて、ユーザの体調を特定する体調特定部33と、を備える。
【選択図】図5
Description
本発明は、体調検出装置、体調検出方法及び体調検出プログラムに関する。
特許文献1には、歩行ピッチの変化に基づいてユーザの体調を推定する体調検出装置が開示されている。具体的には、この体調検出装置は、振動センサ、マイクロフォン又は人体電位センサを用いてユーザの歩行ピッチの長時間平均と短時間平均とを測定し、測定した歩行ピッチの長時間平均と短時間平均とを比較することでユーザの体調を検出する。
また、特許文献2には、使用者の日常動作を検出するセンサから得られるデータを用いて当該使用者の健康状態を推定する健康管理システムが開示されている。具体的には、この健康管理システムは、使用者の日常動作を検出するセンサとして床荷重センサ及び手摺荷重センサを利用して、使用者の位置を算出する。そして、当該健康管理システムは、使用者の位置変化から歩幅、歩隔等の歩容を求め、その歩容に基づいて使用者の健康状態を推定している。なお、特許文献2には、その他のセンサの例として、TVカメラ及び赤外線センサが挙げられている。
例えば、特許文献1では、体調検出装置は、振動センサ等の測定器具をユーザに所持させ、当該測定器具から得られるデータに基づき当該ユーザの歩行ピッチを推定する。そのため、測定器具を携行しないユーザの健康状態を測定することはできず、装置の利便性が低いという問題点があった。
一方、特許文献2に係る健康管理システムでは、ユーザの歩容を測定するために、住宅の床に設ける床荷重センサ及び手摺に設ける手摺荷重センサが用いられている。そのため、ユーザが測定器具等を携行しなくても、ユーザの健康状態を推定することができる。したがって、特許文献2係る健康管理システムによれば、ユーザの利便性を高めることができる。
しかしながら、ユーザの歩容を正確に把握するためには、床荷重センサ及び手摺荷重センサを把握する歩容に応じて適切に配置することが求められる。また、正確にデータを取得しようとセンサの数を増やすほど、当該システムの導入にかかるコストが高くなってしまう。そのため、当該システムの導入は困難であるという問題点があった。
これに対して、特許文献2に係る健康管理システムにおいて、ユーザの日常動作を検出するセンサとして、床荷重センサ及び手摺荷重センサを利用せず、比較的に導入の容易なTVカメラ又は赤外線センサを利用する方法が考えられる。
しかしながら、TVカメラにより得られる画像は二次元画像であるため、この画像に基づいてユーザの歩行特性を解析できるか否かは、TVカメラに対するユーザの進行方向に依存してしまう。したがって、ユーザの進行方向によっては、ユーザの歩行特性を十分に抽出できない可能性があった。
また、赤外線センサは、赤外線を投受光すること又は人体から放射される赤外線を受光し受光量の変化を検知すること、によってユーザの動作を検出する。そのため、このような赤外線センサでは、基本的には人体の存在の有無を検出することしかできず、当該赤外線センサによって得られる情報量は少ない。よって、この赤外線センサを用いた方法であっても、TVカメラと同様に、ユーザの歩行特性を十分に抽出できない可能性があった。
すなわち、TVカメラ又は赤外線センサを利用した方法は、比較的に導入は容易であるものの、ユーザの歩行特性を十分に抽出することができない可能性があった。そのため、この方法では、ユーザの健康状態を精度よく特定することができない可能性があるという問題点があった。
本発明は、一側面では、このような点を考慮してなされたものであり、比較的に容易に導入することができ、ユーザの歩行特性を十分に抽出した上で、当該ユーザの体調を検出可能にする技術を提供することを目的とする。
本発明は、上述した課題を解決するために、以下の構成を採用する。
すなわち、本発明の一側面に係る体調検出装置は、ユーザの実空間における歩行特性を示す歩行特性データを記憶する記憶部と、前記ユーザの歩行動作を撮影するために設置された撮影装置によって撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像、を取得する画像取得部と、前記撮影画像内で前記ユーザの写る領域を抽出し、前記深度データにより示される前記撮影画像内の各画素の深度に基づいて、当該領域に写る前記ユーザの実空間における歩行動作を解析することで、前記撮影画像に写る前記ユーザの実空間における歩行特性を示す解析データを取得する歩行特性解析部と、前記歩行特性データの示す歩行特性及び取得した前記解析データの示す歩行特性を比較することによって、前記ユーザの歩行特性に所定条件を満たす変化が生じているか否かを判定し、当該判定の結果に基づいて、前記撮影画像に写るユーザの体調を特定する体調特定部と、を備える。
上記構成によれば、ユーザの歩行特性に基づいて、当該ユーザの体調を検出する。ここで、ユーザの歩行特性を解析するために取得される撮影画像には各画素の深度を示す深度データが含まれている。この各画素の深度は、撮影装置から被写体までの深さを表している。そのため、この深度を利用することで、撮影装置に対する被写体の移動方向とは無関係に、当該被写体の実空間(三次元空間)上の状態を解析することが可能である。したがって、上記構成によれば、撮影装置の設置場所に依存することなく、ユーザの実空間上の状態を解析可能であるため、比較的に容易に導入することができ、ユーザの歩行特性を十分に抽出した上で、当該ユーザの体調を検出することができる。
なお、歩行特性とは、ユーザの歩行動作の有する性質であり、例えば、身長、歩幅、歩幅の左右比、歩隔、つま先の上がり方、つま先の上がり方の左右比、かかとの上がり方、かかとの上がり方の左右比、ケーデンス、身体の傾き、体幹の側方動揺、骨盤の側方傾斜、膝関節の曲がり角度、膝関節の曲がり角度の左右比、腕振り角度、腕振り角度の左右比、歩行補助器具の有無等の項目を含むことができる。
また、上記一側面に係る体調検出装置の別の形態として、前記体調特定部は、前記解析データが繰り返し取得されるのに応じて、取得される前記解析データと前記歩行特性データとを比較することで、前記ユーザの歩行特性に所定条件を満たす変化が生じているか否かを繰り返し判定してもよい。そして、前記体調特定部は、前記ユーザの歩行特性に所定条件を満たす変化が生じていないと判定している間には、前記繰り返し取得される解析データが、前記ユーザの歩行特性に所定条件を満たす変化が生じていると判定される方向に、変化しているか否かを更に判定してもよく、前記繰り返し取得される解析データが、前記ユーザの歩行特性に所定条件を満たす変化が生じていると判定される方向に、変化していると判定した場合に、前記ユーザの体調変化の予兆を検出してもよい。
当該構成では、繰り返し取得される解析データを参照し、当該解析データの変化傾向を把握することで、ユーザの体調変化の予兆を検出する。これにより、ユーザの体調に変化が生じる事前にその予兆を把握することができる。すなわち、当該構成によれば、ユーザの体調の変化を段階的に把握することが可能になる。
また、上記一側面に係る体調検出装置の別の形態として、前記記憶部は、前記歩行特性データを個人毎に記憶してもよい。そして、上記体調検出装置は、前記各個人の歩行特性データの示す歩行特性と取得した前記解析データの示す歩行特性とを比較することによって、取得した前記解析データがいずれかの個人の前記歩行特性データに適合するか否かを判定し、当該いずれかの個人の前記歩行特性データに前記解析データが適合した場合には、前記撮影画像に写るユーザは当該適合した歩行特性データの示す人物であると特定するユーザ特定部を更に備えてもよい。
当該構成によれば、ユーザの体調を検出する他に、ユーザの歩行特性に基づいて、当該ユーザを識別することができる。そのため、複数のユーザを対象とする場合に、ユーザを識別する手段を別途設けることなく、ユーザを識別した上で、当該ユーザの体調を検出することが可能になる。
また、上記一側面に係る体調検出装置の別の形態として、前記記憶部に記憶される前記歩行特性データは前記ユーザの歩行特定の正常値と現在値とを含んでもよく、前記歩行特性解析部により取得される解析データは前記歩行特性の解析値を含んでもよい。そして、前記ユーザ特定部は、前記歩行特性データに含まれる現在値と前記解析データに含まれる解析値とを比較することで、前記撮影画像に写るユーザの特定を行ってもよい。更に、前記体調特定部は、前記歩行特性データに含まれる正常値と前記解析データに含まれる解析値とを比較することで、前記ユーザの体調の特定を行ってもよい。
人間の歩行特性は、時間が経つにつれて変化しうる。ユーザの体調を検出する処理では、この変化が生じているか否かを判定することに基づいて、ユーザの体調の変化を特定している。一方、ユーザを識別する処理では、保持しているデータと解析結果との適合具合に基づいて、ユーザを特定している。そのため、同一のデータに基づいてそれぞれの処理を実行し続けると、いずれかの処理で不具合が生じてしまう可能性が高い。
これに対して、当該構成では、歩行特性の属性値として、体調を検出するために利用する正常値及びユーザを識別するために利用する現在値の2種類の属性値が保持される。正常値は、ユーザの正常な歩行動作を示すものである。一方、現在値は、例えば、体調検出の処理を実行する直近で得られ、現時点でのユーザの歩行動作を示すものである。したがって、当該構成によれば、ユーザの識別処理に利用する属性値とユーザの体調検出処理に利用する属性値とを切り分けている。そのため、同一の値を両処理で併用し続けることを回避することができるため、上記処理の不具合が生じるのを防止することができる。
また、上記一側面に係る体調検出装置の別の形態として、前記記憶部は、前記ユーザ特定部により特定したユーザの歩行特性データに含まれる歩行特性の現在値を前記解析データの解析値に置き換えることで、前記特定したユーザの歩行特性データに含まれる歩行特性の現在値を更新してもよい。
当該構成によれば、ユーザ識別が成功した解析データを利用して、歩行特性データの示す現在値を更新する。そのため、ユーザの歩行動作の現在値を取得する手段を別途設けることなく、時間経過に伴う歩行特性の変化に対応して、ユーザの識別に利用する現在値を得ることができる。
また、上記一側面に係る体調検出装置の別の形態として、前記歩行特性は複数の項目で構成されてもよい。そして、前記ユーザ特定部は、前記歩行特性に含まれる複数の項目のうちの少なくともいずれかの項目において、取得した前記解析データと前記歩行特性データとを比較することで、前記撮影画像に写るユーザの特定を行ってもよい。更に、前記体調特定部は、前記ユーザ特定部の利用した項目とは異なる1つ以上の項目において、前記解析データと前記歩行特性データとを比較することで、前記ユーザの体調の特定を行ってもよい。
上記のとおり、人間の歩行特性は、時間経過につれて変化し得る。そのため、同一の項目で同一の値を両処理で併用し続けると、いずれかの処理で不具合が生じ得る。これに対して、当該構成では、ユーザの識別処理に利用する歩行特性の項目とユーザの体調検出処理に利用する歩行特性の項目とを切り分けている。そのため、上記処理の不具合が生じるのを防止することができる。
また、上記一側面に係る体調検出装置の別の形態として、前記歩行特性解析部は、前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を前記ユーザの写る領域として抽出してもよい。そして、前記歩行特性解析部は、前記深度データを参照することで当該前景領域内の各画素の深度を特定し、特定した当該前景領域内の各画素の深度に基づいて、当該前景領域に写る前記ユーザの実空間における歩行動作を解析してもよい。
当該構成によれば、背景画像と撮影画像との差分を抽出することにより、撮影画像の前景領域が特定される。すなわち、この前景領域は、背景画像から変化の生じている領域である。そのため、ユーザが歩行動作を行っている場合には、この前景領域には、当該歩行動作を行うユーザが写っている。したがって、この前景領域を利用することで、ユーザの写る領域を特定することが可能である。ここで、当該前景領域を抽出する処理は、背景画像と撮影画像との差分算出に過ぎない。よって、当該構成によれば、簡易な処理でユーザの写る領域を絞り込むことができる。
なお、上記各形態に係る体調検出装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、1又は複数の情報処理装置によって実現されてもよい。
例えば、本発明の一側面に係る体調検出方法は、ユーザの実空間における歩行特性を示す歩行特性データを記憶する記憶部を備えるコンピュータが、前記ユーザの歩行動作を撮影するために設置された撮影装置によって撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像、を取得するステップと、前記撮影画像内で前記ユーザの写る領域を抽出するステップと、前記深度データにより示される前記撮影画像内の各画素の深度に基づいて、当該領域に写る前記ユーザの実空間における歩行動作を解析することで、前記撮影画像に写る前記ユーザの実空間における歩行特性を示す解析データを取得するステップと、前記歩行特性データの示す歩行特性及び取得した前記解析データの示す歩行特性を比較することによって、前記ユーザの歩行特性に所定条件を満たす変化が生じているか否かを判定するステップと、当該判定の結果に基づいて、前記撮影画像に写るユーザの体調を特定するステップと、を実行する情報処理方法である。
また、例えば、本発明の一側面に係るプログラムは、ユーザの実空間における歩行特性を示す歩行特性データを記憶する記憶部を備えるコンピュータに、前記ユーザの歩行動作を撮影するために設置された撮影装置によって撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像、を取得するステップと、前記撮影画像内で前記ユーザの写る領域を抽出するステップと、前記深度データにより示される前記撮影画像内の各画素の深度に基づいて、当該領域に写る前記ユーザの実空間における歩行動作を解析することで、前記撮影画像に写る前記ユーザの実空間における歩行特性を示す解析データを取得するステップと、前記歩行特性データの示す歩行特性及び取得した前記解析データの示す歩行特性を比較することによって、前記ユーザの歩行特性に所定条件を満たす変化が生じているか否かを判定するステップと、当該判定の結果に基づいて、前記撮影画像に写るユーザの体調を特定するステップと、を実行させるための体調検出プログラムである。
本発明によれば、比較的に容易に導入することができ、ユーザの歩行特性を十分に抽出した上で、当該ユーザの体調を検出することができる。
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。
§1 適用場面
まず、図1を用いて、本発明が適用される場面について説明する。図1は、本実施形態に係る体調検出装置1が用いられる場面を例示する。本実施形態に係る体調検出装置1は、ユーザの歩行動作を撮影し、それにより得られた撮影画像3に写るユーザの歩行特性を解析することで、当該ユーザの体調を推定する。そのため、本実施形態に係る体調検出装置1は、ユーザの体調を検出する場面に広く利用可能である。
まず、図1を用いて、本発明が適用される場面について説明する。図1は、本実施形態に係る体調検出装置1が用いられる場面を例示する。本実施形態に係る体調検出装置1は、ユーザの歩行動作を撮影し、それにより得られた撮影画像3に写るユーザの歩行特性を解析することで、当該ユーザの体調を推定する。そのため、本実施形態に係る体調検出装置1は、ユーザの体調を検出する場面に広く利用可能である。
具体的には、本実施形態に係る体調検出装置1は、歩行しているユーザをカメラ2により撮影する。カメラ2は、本発明の撮影装置に相当する。当該カメラ2は、ユーザの歩行動作を撮影するために設置される。そのため、カメラ2は、ユーザの歩行動作を測定可能であれば、いかなる場所に配置されてもよい。
当該カメラ2は、撮影画像3内の各画素に対応する深度を取得可能に構成される。本実施形態では、カメラ2は、各画素の深度を取得可能なように、被写体の深度を測定する深度センサ(後述する深度センサ21)を含んでいる。ただし、カメラ2の構成は、深度を取得可能であれば、このような例に限定されず、実施の形態に応じて適宜選択可能である。
例えば、カメラ2は、撮影範囲内の被写体の深度を特定することが可能なように、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。また、カメラ2は、撮影範囲内の被写体の深度を特定可能であれば、深度センサ単体に置き換わってもよい。
本実施形態に係る体調検出装置1は、情報処理装置として、このようなカメラ2により撮影された撮影画像3を取得する。この撮影画像3は、後述する図8に例示されるように、画素毎に得られる深度を示す深度データを含んでいる。撮影画像3は、撮影範囲内の被写体の深度を示すデータであればよく、例えば、撮影範囲内の被写体の深度が二次元状に分布したデータ(例えば、深度マップ)であってもよい。また、撮影画像3は、深度データとともに、RGB画像を含んでもよい。更に、撮影画像3は、動画像であってもよいし、静止画像であってもよい。
続いて、体調検出装置1は、取得した撮影画像3内においてユーザの写る領域を抽出し、抽出した領域に写るユーザの歩行特性を解析する。このとき、体調検出装置1は、深度データにより示される撮影画像3内の各画素の深度を利用して、当該ユーザの実空間上の状態を解析する。これにより、体調検出装置1は、撮影画像3に写るユーザの実空間における歩行特性を示す解析データ(後述する解析データ40)を取得する。
更に、体調検出装置1は、予め登録されている歩行特性データ(後述する歩行特性データ121)と解析データとを比較することによって、ユーザの歩行特性に所定条件を満たす変化が生じているか否かを判定する。そして、体調検出装置1は、当該判定の結果に基づいて、撮影画像3に写るユーザの体調を特定する。
このように、本実施形態によれば、体調検出装置1は、ユーザの歩行特性を解析するため、各画素の深度を示す深度データを撮影画像3と共に取得する。この深度データを利用すると、図1に例示されるように、撮影画像に写る被写体の実空間(三次元空間)上の位置を特定することができる。そのため、体調検出装置1は、この深度データを利用することにより、カメラ2に対するユーザの移動方向とは無関係に、当該ユーザの実空間上の状態を解析することができる。よって、本実施形態によれば、カメラ2の設置場所に依存することなく、ユーザの実空間上の状態を解析可能であるため、比較的に容易に導入することができ、ユーザの歩行特性を十分に抽出した上で、当該ユーザの体調を検出することができる。
なお、体調検出装置1の配置場所は、カメラ2から撮影画像3を取得可能であれば、実施の形態に応じて適宜決定可能である。例えば、体調検出装置1は、図1に例示されるように、カメラ2に近接するように配置されてもよい。また、体調検出装置1は、ネットワークを介してカメラ2と接続してもよく、当該カメラ2とは全く異なる場所に配置されてもよい。
§2 構成例
<ハードウェア構成>
次に、図2を用いて、体調検出装置1のハードウェア構成を説明する。図2は、本実施形態に係る体調検出装置1のハードウェア構成を例示する。体調検出装置1は、図2に例示されるように、CPU、RAM(Random Access Memory)、ROM(Read Only Memory)等を含む制御部11、制御部11で実行するプログラム5等を記憶する記憶部12、画像の表示と入力を行うためのタッチパネルディスプレイ13、音声を出力するためのスピーカ14、外部装置と接続するための外部インタフェース15、ネットワークを介して通信を行うための通信インタフェース16、及び記憶媒体6に記憶されたプログラムを読み込むためのドライブ17が電気的に接続されたコンピュータである。図2では、通信インタフェース及び外部インタフェースは、それぞれ、「通信I/F」及び「外部I/F」と記載されている。
<ハードウェア構成>
次に、図2を用いて、体調検出装置1のハードウェア構成を説明する。図2は、本実施形態に係る体調検出装置1のハードウェア構成を例示する。体調検出装置1は、図2に例示されるように、CPU、RAM(Random Access Memory)、ROM(Read Only Memory)等を含む制御部11、制御部11で実行するプログラム5等を記憶する記憶部12、画像の表示と入力を行うためのタッチパネルディスプレイ13、音声を出力するためのスピーカ14、外部装置と接続するための外部インタフェース15、ネットワークを介して通信を行うための通信インタフェース16、及び記憶媒体6に記憶されたプログラムを読み込むためのドライブ17が電気的に接続されたコンピュータである。図2では、通信インタフェース及び外部インタフェースは、それぞれ、「通信I/F」及び「外部I/F」と記載されている。
なお、体調検出装置1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部11は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ13は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。また、例えば、スピーカ14は省略されてもよい。また、例えば、スピーカ14は、体調検出装置1の内部装置としてではなく、外部装置として体調検出装置1に接続されてもよい。また、体調検出装置1はカメラ2を内蔵してもよい。
体調検出装置1は、複数の外部インタフェース15を備えてもよく、複数の外部装置と接続してもよい。本実施形態では、体調検出装置1は、外部インタフェース15を介してカメラ2と接続している。本実施形態に係るカメラ2は、ユーザの歩行動作を撮影するために設置されている。このカメラ2は、被写体の深度を測定するための深度センサ21を備えている。この深度センサ21の種類及び測定方法は、実施の形態に応じて適宜選択されてよい。例えば、深度センサ21として、TOF(Time Of Flight)方式等のセンサを挙げることができる。
なお、ユーザを撮影する場所は暗い可能性がある。そこで、撮影場所の明るさに影響されずに深度を取得可能なように、赤外線の照射に基づいて深度を測定する赤外線深度センサを深度センサ21として利用してもよい。このような赤外線深度センサを含む比較的安価な撮影装置として、例えば、マイクロソフト社のKinect、ASUS社のXtion、PrimeSense社のCARMINEを挙げることができる。
ここで、図3を用いて、本実施形態に係る深度センサ21によって測定される深度を詳細に説明する。図3は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図3で例示されるように、被写体の深さは、例えば、カメラ2と対象物との直線の距離Aで表現されてもよいし、カメラ2の被写体に対する水平軸から下ろした垂線の距離Bで表現されてもよい。
すなわち、本実施形態に係る深度は、距離Aであってもよいし、距離Bであってもよい。本実施形態では、距離Bを深度として扱うことにする。ただし、距離Aと距離Bとは、例えば、三平方の定理等を用いることで、互いに変換可能である。そのため、距離Bを用いた以降の説明は、そのまま、距離Aに適用することが可能である。このような深度を利用することで、本実施形態に係る体調検出装置1は、ユーザの実空間における歩行特性を解析する。
また、本実施形態に係る体調検出装置1は、記憶部12において、ユーザの実空間における歩行特性を示す歩行特性データ121を個人毎に記憶している。この歩行特性データ121について、図4を用いて説明する。
図4は、本実施形態に係る歩行特性データ121を例示する。歩行特性データ121は、ユーザの歩行特性を示すデータである。本実施形態では、1件の歩行特性データ121が1個人のデータに相当する。そのため、本実施形態では、体調の検出対象の人物の数に応じた件数の歩行特性データ121が保持される。
図4で例示されるように、本実施形態に係る歩行特性データ121は、データID、人物名及び歩行特性を示す情報を含んでいる。データIDは、各個人の歩行特性データ121を識別するための識別子である。人物名は、各歩行特性データ121が対象とする人物の名称を示す。
また、歩行特性は、各歩行特性データ121が対象とする人物の歩行動作の有する性質を示す。本実施形態では、この歩行特性は、歩幅、歩幅の左右比、歩隔、つま先の上がり方、かかとの上がり方、身体の傾き、体幹の側方動揺、骨盤の側方傾斜、膝関節の曲がり角度、腕振り角度、歩行補助器具の有無等の項目を含んでいる。
歩幅は、一歩で進む距離を示す。この一歩は、一方の足のかかとが接地し、次に他方の足のかかとが接地するまでの動作を指す。歩幅の左右比は、右足を前に踏み出したときの歩幅と左足を前に踏み出したときの歩幅との比率を示す。歩隔は、両足間の左右の幅を示す。つま先の上がり方は、歩行動作中における右足又は/及び左足のつま先の上がり具合を示す。かかとの上がり方は、歩行動作中における右足又は/及び左足のかかとの上がり具合を示す。身体の傾きは、歩行動作中における身体軸の角度を示す。体幹の側方動揺は、歩行動作中における体幹の外側への動き具合を示す。骨盤の側方傾斜は、歩行動作中における骨盤の上下方向への傾き具合を示す。膝関節の曲がり角度は、歩行動作中における右膝又は/及び左膝の曲がり具合を示す。腕振り角度は、歩行動作中における右腕又は/及び左腕の曲がり具合を示す。歩行補助器具の有無は、対象の個人が歩行補助器具を利用しているか否かを示す。なお、歩行補助器具とは、歩行を安定させるための器具であり、例えば、杖、歩行器等である。
本実施形態では、歩行特性データ121は、歩行特性の各項目の属性値として、正常値及び現在値の2種類の属性値を含んでいる。正常値は、ユーザの正常な歩行動作を示すものである。一方、現在値は、例えば、体調検出の処理を実行する直近で得られ、現時点でのユーザの歩行動作を示すものである。このように、歩行特性データ121が歩行特性の項目毎に2種類の属性値を保持することで、後述するユーザ識別処理及び体調検出処理のいずれかで不具合が生じるのを防ぐことができる。なお、両処理のいずれかで不具合が生じる原因は、時間経過に伴うユーザの歩行特性の変化に基づくものである。そのため、初期設定では、正常値と現在値とは同一のデータとして取り扱われてもよい。すなわち、初期設定では、歩行特性データ121は、歩行特性の項目毎に1つの属性値を含んでいるに過ぎず、後述する処理の過程で2種類の属性値を含むように構成されてもよい。
各項目の各属性値は、後述する解析処理に適合するように与えられる。例えば、歩幅、歩幅の左右比、歩隔、身体の傾き、歩行補助器具の有無等の経時的な変化が比較的に生じ難い項目の属性値は、単一の数値で付与されてもよい。一方、つま先の上がり方、かかとの上がり方、体幹の側方動揺、骨盤の側方傾斜、膝関節の曲がり角度、腕振り角度等の属性値は、比較的に経時的な変化が生じやすく、例えば、歩行周期に合わせて波形パターンのように変化する。そのため、このような項目の属性値は、最大値(単一の数値)で付与されてもよいし、当該波形パターンを表す配列で付与されてもよいし、周期及び最大値の2つの数値で付与されてもよい。各項目の属性値の形式は、実施の形態に応じて適宜選択可能である。
なお、歩行特性の項目は、これらの例に限定されなくてもよく、実施の形態に応じて適宜選択可能である。例えば、歩行特性は、上述した項目の他、身長、つま先の上がり方の左右比、かかとの上がり方の左右比、ケーデンス、膝関節の曲がり角度の左右比、腕振り角度の左右比等の項目を含むことができる。なお、ケーデンスとは、歩行率とも称され、単位時間内の歩数を示す。
また、歩行特性の項目数についても、実施の形態に応じて適宜選択可能である。歩行特性の項目数は、単数であってもよいし、複数であってもよい。また、歩行特性データ121の示す歩行特性が複数の項目を含んでいる場合には、体調検出装置1は、当該歩行特性の複数の項目の中から体調検出に利用する項目の選択をユーザから受け付けてもよい。
なお、歩行特性データ121のデータ形式は、各個人の歩行特性を記憶可能であれば、このような例に限定されなくてもよく、実施の形態に応じて適宜選択可能である。例えば、歩行特性データ121は、テーブル形式のデータベースの1レコードとして保持されてもよい。
また、歩行特性データ121の歩行特性に係る各属性値は、各個人の歩行動作を撮影した撮影画像を後述する歩行特性の解析処理によって解析することで、取得されてもよい。その他、各属性値は、ユーザによって直接入力されてもよいし、複数の候補から選択することで決定されてもよい。このような歩行特性データ121は、ネットワークを介して他の情報処理装置から取得されてもよい。
なお、記憶部12に記憶されたプログラム5は、体調検出装置1に後述する体調検出に関する各処理を実行させるためのプログラムであり、本発明の「プログラム」に相当する。このプログラム5は記憶媒体6に記録されていてもよい。記憶媒体6は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体6は、本発明の「記憶媒体」に相当する。なお、図2は、記憶媒体6の一例として、CD(Compact Disk)、DVD(Digital Versatile Disk)等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体6の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
また、体調検出装置1として、例えば、提供されるサービス専用に設計された装置の他、PC(Personal Computer)、タブレット端末等の汎用の装置が用いられてよい。更に、体調検出装置1は、1又は複数のコンピュータにより実装されてもよい。
<機能構成例>
次に、図5を用いて、体調検出装置1の機能構成を説明する。図5は、本実施形態に係る体調検出装置1の機能構成を例示する。本実施形態では、体調検出装置1の制御部11は、記憶部12に記憶されたプログラム5をRAMに展開する。そして、制御部11は、RAMに展開されたプログラム5をCPUにより解釈及び実行して、各構成要素を制御する。これにより、体調検出装置1は、画像取得部31、歩行特性解析部32、体調特定部33及びユーザ特定部34を備えるコンピュータとして機能する。
次に、図5を用いて、体調検出装置1の機能構成を説明する。図5は、本実施形態に係る体調検出装置1の機能構成を例示する。本実施形態では、体調検出装置1の制御部11は、記憶部12に記憶されたプログラム5をRAMに展開する。そして、制御部11は、RAMに展開されたプログラム5をCPUにより解釈及び実行して、各構成要素を制御する。これにより、体調検出装置1は、画像取得部31、歩行特性解析部32、体調特定部33及びユーザ特定部34を備えるコンピュータとして機能する。
画像取得部31は、カメラ2によって撮影された撮影画像3を取得する。上記のとおり、この撮影画像3には、各画素の深度を示す深度データが含まれている。そこで、歩行特性解析部32は、撮影画像3内でユーザの写る領域を抽出する。そして、深度データにより示される撮影画像3内の各画素の深度に基づいて、抽出した領域に写るユーザの実空間における歩行特性を解析する。これにより、歩行特性解析部32は、図6で例示される解析データ40を取得する。
図6は、本実施形態に係る解析データ40を例示する。解析データ40は、歩行特性解析部32による解析の結果に基づいて得られ、撮影画像3に写るユーザの実空間における歩行特性を示す。この解析データ40は、上記歩行特性データ121に含まれる歩行特性に対応して取得される。
すなわち、歩行特性解析部32は、上記歩行特性データ121に含まれる歩行特性の各項目に関して、撮影画像3に写るユーザの歩行動作を解析する。そのため、本実施形態に係る解析データ40には、撮影画像3に写るユーザの歩行特性として、歩幅、歩幅の左右比、歩隔、つま先の上がり方、かかとの上がり方、身体の傾き、体幹の側方動揺、骨盤の側方傾斜、膝関節の曲がり角度、腕振り角度、歩行補助器具の有無等の項目の解析値が含まれる。
ただし、歩行特性データ121の示す歩行特性と解析データ40の示す歩行特性とを比較可能であれば、歩行特性データ121に含まれる歩行特性の項目と解析データ40に含まれる歩行特性の項目とは完全には一致していなくてもよい。すなわち、歩行特性データ121及び解析データ40は互いに共通する歩行特性の項目を含んでいればよく、一方のデータには含まれていない歩行特性の項目が他方のデータに含まれていてもよい。
体調特定部33は、このように取得される解析データ40と記憶部12に保持されている歩行特性データ121とを比較することで、ユーザの歩行特性に所定条件を満たす変化が生じているか否かを判定する。そして、体調特定部33は、当該判定の結果に基づいて撮影画像3に写るユーザの体調を特定する。
ここで、複数のユーザを体調検出の処理対象にする場合には、撮影画像3に写るユーザの特定を行った後に、当該体調特定部33による各ユーザの体調検出の処理が実行可能となる。そこで、本実施形態に係る体調検出装置1は、撮影画像3に写るユーザの特定を行うために、ユーザ特定部34を更に備えている。
このユーザ特定部34は、解析データ40と歩行特性データ121とを照合する。換言すると、ユーザ特定部34は、歩行特性データ121の示す歩行特性と取得した解析データ40の示す歩行特性とを比較することによって、取得した解析データ40が歩行特性データ121に適合するか否かを判定する。そして、ユーザ特定部34は、当該判定の結果に基づいて、撮影画像3に写るユーザを特定する。ただし、ユーザを特定する方法は、このようなユーザの歩行特性に基づいた方法に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。例えば、顔認証によってユーザを特定してもよい。
なお、本実施形態では、これらの機能がいずれも汎用のCPUによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、体調検出装置1の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。例えば、ユーザを識別しなくてもよい場合には、ユーザ特定部34は省略されても良い。各機能に関しては後述する動作例で詳細に説明する。
§3 動作例
次に、図7を用いて、体調検出装置1の動作例を説明する。図7は、体調検出装置1の体調検出に関する処理手順を例示する。なお、以下で説明する体調検出に関する処理手順は一例にすぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
次に、図7を用いて、体調検出装置1の動作例を説明する。図7は、体調検出装置1の体調検出に関する処理手順を例示する。なお、以下で説明する体調検出に関する処理手順は一例にすぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(ステップS101)
ステップS101では、制御部11は、画像取得部31として機能し、カメラ2により撮影された撮影画像3を取得する。その後、制御部11は、次のステップS102に処理を進める。ここで、本実施形態では、カメラ2は、深度センサ21を備えている。そのため、本ステップS101において取得される撮影画像3には、各画素の深度を示す深度データが含まれる。制御部11は、この深度データを含む撮影画像3として、例えば、図8で例示される撮影画像3を取得する。
ステップS101では、制御部11は、画像取得部31として機能し、カメラ2により撮影された撮影画像3を取得する。その後、制御部11は、次のステップS102に処理を進める。ここで、本実施形態では、カメラ2は、深度センサ21を備えている。そのため、本ステップS101において取得される撮影画像3には、各画素の深度を示す深度データが含まれる。制御部11は、この深度データを含む撮影画像3として、例えば、図8で例示される撮影画像3を取得する。
図8は、深度データを含む撮影画像3の一例を示す。図8で例示される撮影画像3は、各画素の濃淡値が当該各画素の深度に応じて定められた画像である。黒色の画素ほど、カメラ2に近いことを示す。一方、白色の画素ほど、カメラ2から遠いことを示す。制御部11は、この深度データに基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部11は、撮影画像3内の各画素の座標(二次元情報)と深度とから、当該各画素内に写る被写体の三次元空間(実空間)での位置を特定することができる。
なお、図8は、床面に対して水平方向に向けられたカメラ2で取得された深度データを例示している。しかしながら、カメラ2の向きは、このような例に限定される訳ではなく、実施の形態に応じて適宜設定可能である。カメラ2が床面に対して傾いている場合には、カメラ2のロール角、ピッチ角及びヨー角を用いた射影変換を行うことによって、撮影画像3に写る被写体の実空間における三次元分布を得ることができる。
また、制御部11は、リアルタイムにユーザの体調検出を行うため、カメラ2のビデオ信号に同期させて撮影画像3を取得してもよい。そして、1又は複数枚の撮影画像3を取得した段階で、制御部11は、後述するステップS102〜S107までの処理を取得した1又は複数枚の撮影画像3に対して即座に実行してもよい。体調検出装置1は、このような動作を絶え間なく連続して実行することにより、リアルタイム画像処理を実現し、カメラ2の撮影範囲に存在するユーザの体調検出をリアルタイムに行うことができる。
(ステップS102)
図7に戻り、次のステップS102では、制御部11は、歩行特性解析部32として機能し、ステップS101で取得した撮影画像3内でユーザの写る領域を抽出する。その後、制御部11は、次のステップS103に処理を進める。なお、以下では、説明の便宜のため、撮影画像3内でユーザの写る領域を「人物領域」とも称する。
図7に戻り、次のステップS102では、制御部11は、歩行特性解析部32として機能し、ステップS101で取得した撮影画像3内でユーザの写る領域を抽出する。その後、制御部11は、次のステップS103に処理を進める。なお、以下では、説明の便宜のため、撮影画像3内でユーザの写る領域を「人物領域」とも称する。
人物領域を抽出する方法は、実施の形態に応じて適宜選択可能である。例えば、制御部11は、人物の形状に基づいて、パターン検出、図形要素検出等の画像解析を行うことによって、撮影画像3内でユーザの写る人物領域を抽出してもよい。なお、撮影画像3に複数のユーザが写っている場合には、制御部11はユーザ毎に人物領域を抽出する。
(ステップS103)
次のステップS103では、制御部11は、歩行特性解析部32として機能し、深度データにより示される撮影画像3内の各画素の深度に基づいて、ステップS102で抽出した領域に写るユーザの実空間における歩行特性を解析する。
次のステップS103では、制御部11は、歩行特性解析部32として機能し、深度データにより示される撮影画像3内の各画素の深度に基づいて、ステップS102で抽出した領域に写るユーザの実空間における歩行特性を解析する。
具体的には、制御部11は、上記のとおり、深度データを利用することにより、被写体の三次元分布を認識することができる。そこで、制御部11は、ステップS102で抽出した人物領域の深度を参照することにより、当該人物領域に写るユーザの各身体部位の実空間における位置関係を特定してもよい。
そして、制御部11は、各身体部位の実空間における位置関係から、当該ユーザの歩行特性の各項目に係る属性値(解析値)を算出してもよい。これにより、制御部11は、撮影画像3に写るユーザの実空間における歩行特性を示す解析データ40を取得することができ、次のステップS104に処理を進めることができる。
なお、人物領域において各身体部位の領域を特定する方法は、実施の形態に応じて適宜選択可能である。例えば、人物領域の抽出と同様に、各身体部位の形状に基づいて、パターン検出、図形要素検出等の画像解析を行うことによって、人物領域において各身体部位の領域を特定することができる。
また、歩行特性の各項目の解析方法は、実施の形態に応じて適宜選択可能である。例えば、以下のようにして、撮影画像3に写るユーザの歩行特性を解析し、各項目の解析値を算出することができる。
例えば、制御部11は、地面(かかと又はつま先)から頭までの距離を測定することで、ユーザの身長(解析値)を算出してもよい。また、例えば、制御部11は、一方の足のかかとから他方の足のつま先までの距離を測定することで、ユーザの歩幅(解析値)を算出してもよい。また、例えば、制御部11は、左右の足首間の水平方向の距離を測定することで、ユーザの歩隔(解析値)を算出してもよい。
また、例えば、制御部11は、少なくとも一方の足のつま先から地面までの距離を継続的に測定することで、つま先の上がり方に係る解析値を算出してもよい。また、例えば、制御部11は、少なくとも一方の足のかかとから地面までの距離を継続的に測定することで、かかとの上がり方に係る解析値を算出してもよい。また、例えば、制御部11は、単位時間当たりの歩数を測定することで、ケーデンス(解析値)を算出してもよい。
また、例えば、制御部11は、地面に垂直な直線に対する上半身の傾きを測定することで、身体の傾き(解析値)を算出してもよい。また、例えば、制御部11は、地面に垂直な直線に対する身体の左右方向の傾きを継続的に測定することで、体躯の側方動揺に係る解析値を算出してもよい。また、例えば、制御部11は、地面に垂直な直線に対する骨盤の左右方向の傾きを測定することで、骨盤の側方傾斜に係る解析値を算出してもよい。
また、例えば、制御部11は、少なくとも一方の足における大腿部と下腿部との間にできる膝を頂点とした角度を測定することで、膝関節の曲がり角度(解析値)を算出してもよい。また、例えば、制御部11は、地面に垂直な直線に対する腕の角度を測定することで、腕振り角度(解析値)を算出してもよい。
また、例えば、制御部11は、各歩行補助器具の形状に基づいて、パターン検出、図形要素検出等の画像解析を人物領域において行うことで、歩行補助器具の検知を行ってもよい。歩行補助器具を検知できた場合には、制御部11は、歩行補助器具を有することを示すように、解析データ40の歩行補助器具の有無に係る解析値を設定する。一方、歩行補助器具を検知できなかった場合には、制御部11は、歩行補助器具を有さないことを示すように、解析データ40の歩行補助器具の有無に係る解析値を設定する。また、制御部11は、右側と左側とに分けて各解析値を算出し、算出した各解析値の比を求めることで、各左右比の解析値を取得してもよい。
なお、歩行特性の解析に利用する身体部位が撮影画像3に写らず、対象の項目に係る解析値を算出できない場合がある。この場合、制御部11は、当該解析値の算出できなかった歩行特性の項目を、解析不能として取り扱い、以下のステップS104及びS106で比較する対象から除外する。また、ステップS102において、複数人のユーザが抽出されている場合には、本ステップS103では、制御部11は、ユーザ毎に歩行特性の解析を行う。そして、制御部11は、ユーザ毎に解析データ40を取得する。
(ステップS104)
図7に戻り、次のステップS104では、制御部11は、ユーザ特定部34として機能し、ステップS103で取得した解析データ40を、記憶部12に記憶されている歩行特性データ121と照合する。具体的には、制御部11は、解析データ40の示す歩行特性の解析値と歩行特性データ121の示す歩行特性の現在値とを項目毎に比較し、解析データ40がいずれかの個人の歩行特性データ121に適合するか否かを判定する。
図7に戻り、次のステップS104では、制御部11は、ユーザ特定部34として機能し、ステップS103で取得した解析データ40を、記憶部12に記憶されている歩行特性データ121と照合する。具体的には、制御部11は、解析データ40の示す歩行特性の解析値と歩行特性データ121の示す歩行特性の現在値とを項目毎に比較し、解析データ40がいずれかの個人の歩行特性データ121に適合するか否かを判定する。
この比較において、一致すると評価可能な項目が所定数以上存在する場合には、制御部11は、ステップS103で取得した解析データ40は記憶部12に記憶されている歩行特性データ121に適合すると判定する。そして、制御部11は、ステップS102で抽出したユーザは当該適合する歩行特性データ121の示す人物であると特定して、次のステップS105に処理を進める。
一方、歩行特性の比較において、一致すると評価可能な項目が所定数以上存在しない場合には、制御部11は、解析データ40は歩行特性データ121に適合しないと判定する。そして、制御部11は、ステップS102で抽出したユーザを特定不能として取り扱い、次のステップS105に処理を進める。
ここで、各項目の比較に関して、解析値と現在値とを比較する方法は、実施の形態に応じて適宜選択可能である。例えば、各値が単一の数値で表されている場合には、解析データ40の示す解析値と歩行特性データ121の示す現在値との差(絶対値)が閾値以内であるときに、制御部11は、解析データ40及び歩行特性データ121において対象項目における解析値と現在値とが一致すると評価可能である。
他方、解析データ40の示す解析値と歩行特性データ121の示す現在値との差が閾値を超えているときには、制御部11は、解析データ40及び歩行特性データ121において対象項目における解析値と現在値とは一致しないと評価可能である。各値が配列で表現されている場合及び各値が周期及び最大値(極大値)の2つの数値で表現されている場合についても、制御部11は、各値が単一の数値で表されている場合とほぼ同様に処理することが可能である。
なお、記憶部12には、複数件の歩行特性データ121が記憶されている場合がある。この場合、制御部11は、記憶部12に記憶されている複数件の歩行特性データ121を順に解析データ40と照合し、解析データ40に適合する歩行特性データ121を特定する。解析データ40に適合する歩行特性データ121が複数件存在する場合には、制御部11は、最も適合する歩行特性データ121を解析データ40に適合するデータとして採用する。一方、全ての歩行特性データ121が解析データ40と適合しない場合には、制御部11は、ステップS102で抽出したユーザを特定不能として取り扱い、次のステップS105に処理を進める。
また、ステップS102において複数人のユーザが抽出されている場合には、本ステップS104において、制御部11は、解析データ40と歩行特性データ121との照合をユーザ毎に行う。これにより、制御部11は、ステップS102で抽出したユーザ毎に人物の特定を行う。
(ステップS105)
ステップS105では、制御部11は、ステップS104においてユーザを特定することができたか否か、換言すると、解析データ40に適合する歩行特性データ121が存在したか否かを判定する。ステップS104においてユーザを特定することができた場合には、制御部11は、次のステップS106に処理を進める。一方、ステップS104においてユーザを特定できなかった場合には、制御部11は、ステップS106及びS107の処理を省略して、本動作例に係る処理を終了する。
ステップS105では、制御部11は、ステップS104においてユーザを特定することができたか否か、換言すると、解析データ40に適合する歩行特性データ121が存在したか否かを判定する。ステップS104においてユーザを特定することができた場合には、制御部11は、次のステップS106に処理を進める。一方、ステップS104においてユーザを特定できなかった場合には、制御部11は、ステップS106及びS107の処理を省略して、本動作例に係る処理を終了する。
なお、ステップS102においてユーザが複数人抽出された場合には、抽出されたユーザ全てについて人物を特定できなかったときに限り、制御部11は、ユーザを特定不能として、本動作例に係る処理を終了する。一方、少なくとも一部のユーザについて人物を特定できた場合には、制御部11は、人物を特定できたユーザについて、次のステップS106に処理を進める。
(ステップS106)
ステップS106では、制御部11は、体調特定部33として機能し、ステップS103で取得した解析データ40と、ステップS104で特定したユーザの歩行特性データ121と、を比較する。具体的には、制御部11は、解析データ40の示す歩行特性の解析値と歩行特性データ121の示す歩行特性の正常値とを項目毎に比較し、ユーザの歩行特性に所定条件を満たす変化が生じているか否かを判定する。そして、制御部11は、当該判定の結果に基づいて、撮影画像3に写るユーザの体調を特定し、次のステップS107に処理を進める。
ステップS106では、制御部11は、体調特定部33として機能し、ステップS103で取得した解析データ40と、ステップS104で特定したユーザの歩行特性データ121と、を比較する。具体的には、制御部11は、解析データ40の示す歩行特性の解析値と歩行特性データ121の示す歩行特性の正常値とを項目毎に比較し、ユーザの歩行特性に所定条件を満たす変化が生じているか否かを判定する。そして、制御部11は、当該判定の結果に基づいて、撮影画像3に写るユーザの体調を特定し、次のステップS107に処理を進める。
なお、歩行特性の変化とユーザの体調との関係は、実施の形態に応じて適宜設定することができる。例えば、以下(a)〜(f)のようにユーザの体調変化を検出することができる。
(a)歩隔に基づく体調変化の検出
例えば、小脳性若しくは内耳性の疾患による平衡障害又は感覚障害をきたす糖尿病性等の末梢神経障害が原因で歩隔が大きくなることが知られている。これに対応して、歩隔の増加量に関して所定条件が設定されても良い。
例えば、小脳性若しくは内耳性の疾患による平衡障害又は感覚障害をきたす糖尿病性等の末梢神経障害が原因で歩隔が大きくなることが知られている。これに対応して、歩隔の増加量に関して所定条件が設定されても良い。
この場合、例えば、制御部11は、解析データ40に含まれる歩隔の解析値が歩行特性データ121に含まれる歩隔の正常値よりも閾値以上に大きいときに、ユーザの歩行特性に所定条件を満たす変化が生じていると判定する。そして、これに応じて、制御部11は、上記各障害による健康状態の悪化を検出し、これらの要因によって、ユーザの体調は悪い状態であると特定する。
一方、そうでないときには、制御部11は、ユーザの歩行特性に所定条件を満たす変化は生じていないと判定する。そして、これに応じて、制御部11は、健康状態の良好(正常)を検出し、ユーザの体調は良い状態であると特定する。
(b)歩幅に基づく体調変化の検出
また、例えば、加齢、疲労、疼痛、疾患等が原因で歩幅が小さくなることが知られている。これに対応して、例えば、歩幅の低下量に関して所定条件が設定されてもよい。
また、例えば、加齢、疲労、疼痛、疾患等が原因で歩幅が小さくなることが知られている。これに対応して、例えば、歩幅の低下量に関して所定条件が設定されてもよい。
この場合、例えば、制御部11は、解析データ40に含まれる歩幅の解析値が歩行特性データ121に含まれる歩幅の正常値よりも閾値以上に小さいときに、ユーザの歩行特性に所定条件を満たす変化が生じていると判定する。そして、これに応じて、制御部11は、加齢、疲労、疼痛、疾患等の健康状態の悪化を検出し、これらの要因によって、ユーザの体調は悪い状態であると特定する。
一方、そうでないときには、制御部11は、ユーザの歩行特性に所定条件を満たす変化は生じていないと判定する。そして、これに応じて、制御部11は、健康状態の良好(正常)を検出し、ユーザの体調は良い状態であると特定する。
(c)歩幅の左右比に基づく体調変化の検出
また、例えば、一方の下肢に疼痛がある場合に、できるだけ疼痛から逃れようとして、疼痛のある下肢と疼痛のない下肢とで歩行の距離が相違し、歩行のリズムが変化することが知られている。これに対応して、例えば、歩幅の左右比の変化量に関して所定条件が設定されても良い。
また、例えば、一方の下肢に疼痛がある場合に、できるだけ疼痛から逃れようとして、疼痛のある下肢と疼痛のない下肢とで歩行の距離が相違し、歩行のリズムが変化することが知られている。これに対応して、例えば、歩幅の左右比の変化量に関して所定条件が設定されても良い。
この場合、例えば、制御部11は、解析データ40に含まれる歩幅の左右比の解析値が歩行特性データ121に含まれる歩幅の左右比の正常値よりも閾値以上にずれているときに、ユーザの歩行特性に所定条件を満たす変化が生じていると判定する。そして、これに応じて、制御部11は、一方の下肢(歩幅の小さい方の下肢)に疼痛が生じていることを検出し、これらの要因によって、ユーザの体調は悪い状態であると特定する。
一方、そうでないときには、制御部11は、ユーザの歩行特性に所定条件を満たす変化は生じていないと判定する。そして、これに応じて、制御部11は、健康状態の良好(正常)を検出し、ユーザの体調は良い状態であると特定する。
(d)膝関節の曲がり角度に基づく体調変化の検出
また、例えば、腰帯筋等の障害により動揺性歩行が生じている場合には、膝の伸展が制限されることが知られている。これに対応して、例えば、膝関節の曲がり角度の変化量に関して所定条件が設定されても良い。
また、例えば、腰帯筋等の障害により動揺性歩行が生じている場合には、膝の伸展が制限されることが知られている。これに対応して、例えば、膝関節の曲がり角度の変化量に関して所定条件が設定されても良い。
この場合、例えば、制御部11は、解析データ40に含まれる膝関節の曲がり角度の解析値が歩行特性データ121に含まれる膝関節の曲がり角度の正常値よりも閾値以上に小さいときに、ユーザの歩王特性に所定条件を満たす変化が生じていると判定する。そして、これに応じて、制御部11は、腰帯筋等の障害による健康状態の悪化を検出し、これらの要因によって、ユーザの体調は悪い状態であると特定する。
一方、そうでないときには、制御部11は、ユーザの歩行特性に所定条件を満たす変化は生じていないと判定する。そして、これに応じて、制御部11は、健康状態の良好(正常)を検出し、ユーザの体調は良い状態であると特定する。
(e)つま先の上がり方に基づく体調変化の検出
また、例えば、疲労、筋力の低下等が原因でつま先の上がりが小さくなることが知られている。これに対応して、例えば、つま先の上がり方の変化量に関して所定条件が設定されてもよい。
また、例えば、疲労、筋力の低下等が原因でつま先の上がりが小さくなることが知られている。これに対応して、例えば、つま先の上がり方の変化量に関して所定条件が設定されてもよい。
この場合、例えば、制御部11は、解析データ40に含まれるつま先の上がり方の解析値が歩行特性データ121に含まれるつま先の上がり方の正常値よりも閾値以上に小さいときに、ユーザの歩行特性に所定条件を満たす変化が生じていると判定する。そして、これに応じて、制御部11は、疲労、筋力の低下等の健康状態の悪化を検出し、これらの要因によって、ユーザの体調は悪い状態であると特定する。
一方、そうでないときには、制御部11は、ユーザの歩行特性に所定条件を満たす変化は生じていないと判定する。そして、これに応じて、制御部11は、健康状態の良好(正常)を検出し、ユーザの体調は良い状態であると特定する。
(f)身体の傾き等に基づく体調変化の検出
また、例えば、パーキンソン病等の多系統委縮症の疑いがある場合には、前傾姿勢になる、小刻みに身体が震える、歩行時の腕の振りが少なくなる、すくみ足歩行になる、加速歩行になる等の症状が現れることが知られている。これに対応して、例えば、身体の傾きの変化量に関して所定条件が設定されてもよい。
また、例えば、パーキンソン病等の多系統委縮症の疑いがある場合には、前傾姿勢になる、小刻みに身体が震える、歩行時の腕の振りが少なくなる、すくみ足歩行になる、加速歩行になる等の症状が現れることが知られている。これに対応して、例えば、身体の傾きの変化量に関して所定条件が設定されてもよい。
この場合、例えば、制御部11は、解析データ40に含まれる身体の傾きの解析値が歩行特性データ121に含まれる身体の傾きの正常値よりも閾値以上に傾いているときに、ユーザの歩行特性に所定条件を満たす変化が生じていると判定する。そして、これに応じて、制御部11は、パーキンソン病等の多系統委縮症の疑いを検出し、これらの要因によって、ユーザの体調は悪い状態であると特定する。
一方、そうでないときには、制御部11は、ユーザの歩行特性に所定条件を満たす変化は生じていないと判定する。そして、これに応じて、制御部11は、健康状態の良好(正常)を検出し、ユーザの体調は良い状態であると特定する。なお、そのほかの症状に関しては、そのほかの項目を利用することで判定することができる。例えば、体幹の側方動揺に基づいて身体が小刻みに震えているか否かを判定することができる。
(g)その他
本実施形態では、制御部11は、上記の(a)〜(f)の少なくともいずれかの方法を採用することで、ユーザの歩行特性に所定条件を満たす変化が生じているか否かを判定し、その判定結果に基づいて、ユーザの体調を特定する。ただし、歩行特性の変化を判定する方法は、上記の(a)〜(f)に記載の方法に限定される訳ではなく、実施の形態に応じて適宜選択可能である。また、上記の(a)〜(f)では、体調の悪化を検出するための条件が設定されているが、設定可能な条件は、このような例に限定されず、体調の回復を検出するためのものであってもよい。なお、上記の(a)〜(f)の条件における閾値は適宜設定することが可能である。
本実施形態では、制御部11は、上記の(a)〜(f)の少なくともいずれかの方法を採用することで、ユーザの歩行特性に所定条件を満たす変化が生じているか否かを判定し、その判定結果に基づいて、ユーザの体調を特定する。ただし、歩行特性の変化を判定する方法は、上記の(a)〜(f)に記載の方法に限定される訳ではなく、実施の形態に応じて適宜選択可能である。また、上記の(a)〜(f)では、体調の悪化を検出するための条件が設定されているが、設定可能な条件は、このような例に限定されず、体調の回復を検出するためのものであってもよい。なお、上記の(a)〜(f)の条件における閾値は適宜設定することが可能である。
なお、制御部11は、ユーザの体調の悪化を検出した場合に、通知部として機能し、撮影画像3に写るユーザの体調の悪化を検出したことに応じて、当該ユーザの体調の悪化を知らせるための報知を行ってもよい。なお、制御部11が当該報知を行う手段は、実施の形態に応じて適宜選択可能である。
例えば、体調検出装置1が病院等の施設で利用される場合、当該体調検出装置1は、外部インタフェース15を介して、ナースコールシステム等の設備と接続することができる。この場合、制御部11は、当該ナースコールシステム等の設備と連携して、ユーザの体調の悪化を検出したことを知らせるための報知を行ってもよい。すなわち、制御部11は、外部インタフェース15を介して、当該ナースコールシステムを制御してもよい。そして、制御部11は、ユーザの体調の悪化を知らせるための報知として、当該ナースコールシステムによる呼び出しを行ってもよい。ユーザの体調が悪化したことを当該ユーザの見守りを行う看護師等に適切に知らせることができる。
また、例えば、制御部11は、体調検出装置1に接続されるスピーカ14から所定の音声を出力することにより、ユーザの体調の悪化を検出したことを知らせるための報知を行ってもよい。このスピーカ14がカメラ2の周辺に配置されている場合、このような報知をスピーカ14で行うことにより、撮影範囲に居るユーザに対して、当該ユーザ自身の体調の悪化を検出したことを知らせることができる。
また、例えば、制御部11は、タッチパネルディスプレイ13上に、ユーザの体調の悪化を検出したことを知らせるための画面を表示させてもよい。また、例えば、制御部11は、電子メール、ショートメッセージサービス、プッシュ通知等を利用して、このような報知を行ってもよい。このような報知を行う場合には、通知先となるユーザ端末の電子メールアドレス、電話番号等は記憶部12に予め登録されていてもよく、制御部11は、この予め登録されている電子メールアドレス、電話番号等を利用して、当該ユーザ自身の体調の悪化を検出したことを知らせるための報知を行ってもよい。
(ステップS107)
ステップS107では、制御部11は、歩行特性データ121の現在値の更新処理を実行する。具体的には、制御部11は、ステップS104で特定したユーザの歩行特性データ121に含まれる歩行特性の各項目の現在値を、ステップS103で取得した解析データ40に含まれる歩行特性の各項目の解析値に置き換える。これによって、記憶部12は、ステップS104で特定したユーザの歩行特性データ121を更新する。
ステップS107では、制御部11は、歩行特性データ121の現在値の更新処理を実行する。具体的には、制御部11は、ステップS104で特定したユーザの歩行特性データ121に含まれる歩行特性の各項目の現在値を、ステップS103で取得した解析データ40に含まれる歩行特性の各項目の解析値に置き換える。これによって、記憶部12は、ステップS104で特定したユーザの歩行特性データ121を更新する。
本ステップS107の処理が完了すると、制御部11は、本動作例に係る処理を終了する。体調検出に係る処理を繰り返す場合には、制御部11は、再度ステップS101から処理を実行する。なお、ステップS103において解析不能であった項目については、制御部11は、現在値の更新を行わず、元の歩行特性データ121に含まれる現在値を維持する。
なお、本ステップS107において歩行特性データ121を更新する際に、所定条件を満たす変化の生じた項目を歩行特性データ121に記録してもよい。ステップS101〜ステップS107の一連の処理を繰り返し実行し、継続的にユーザの体調を検出する場合、近接する処理の範囲では、同じような結果が得られる可能性が高い。そのため、ステップS106で所定条件を満たす変化が生じたと判定された項目は、次回以降の処理でも、所定条件を満たす変化が生じていると判定される可能性が高い。そのため、所定条件を満たす変化の生じた項目を歩行特性データ121に記録しておき、次回以降のステップS106における比較処理を省略してもよい。
(作用・効果)
以上のように、本実施形態に係る体調検出装置1は、ユーザの歩行特性を解析するために、各画素の深度を示す深度データを撮影画像3と共に取得する。そして、この深度データを利用することにより、体調検出装置1は、カメラ2に対するユーザの移動方向とは無関係に、当該ユーザの実空間上の状態を解析することができる。よって、本実施形態によれば、カメラ2の設置場所に依存することなく、ユーザの実空間上の状態を解析可能であるため、比較的に容易に導入することができ、ユーザの歩行特性を十分に抽出した上で、当該ユーザの体調を検出することができる。
以上のように、本実施形態に係る体調検出装置1は、ユーザの歩行特性を解析するために、各画素の深度を示す深度データを撮影画像3と共に取得する。そして、この深度データを利用することにより、体調検出装置1は、カメラ2に対するユーザの移動方向とは無関係に、当該ユーザの実空間上の状態を解析することができる。よって、本実施形態によれば、カメラ2の設置場所に依存することなく、ユーザの実空間上の状態を解析可能であるため、比較的に容易に導入することができ、ユーザの歩行特性を十分に抽出した上で、当該ユーザの体調を検出することができる。
より詳細には、二次元画像において撮影方向の奥行きを特定するのは困難である。そのため、二次元画像を用いてユーザの歩行特性を解析する場合に、例えば、ユーザを側面から撮影したときには、ユーザの歩隔を解析するのは困難である。しかしながら、本実施形態によれば、撮影画像3と共に、各画素の深度を示す深度データが取得される。そのため、ユーザを側面から撮影しても、被写体の奥行きを特定可能であり、ユーザの歩隔を解析することができる。したがって、本実施形態によれば、カメラ2の撮影方向によらず、撮影画像3に写るユーザの実空間における歩行特性を安定して解析することができ、これによって、当該ユーザの体調を検出することができる。
また、本実施形態では、ユーザの体調を検出する他に、ユーザの歩行特性に基づいて、撮影画像3に写るユーザの特定が行われている。そのため、複数のユーザを体調検出の処理対象とする場合に、ユーザの体調検出の処理に付随して、当該ユーザを識別する処理を行うことができる。すなわち、本実施形態によれば、顔認証等のユーザを識別するための手段を別途設けることなく、体調検出の処理対象となるユーザを識別することができる。
また、人間の歩行特性は時間経過に伴って変化し得る。そのため、ユーザ識別処理と体調検出処理とを同一のデータ(値)を用いて実行し続けた場合には、いずれかの処理で不具合が生じる可能性が高い。
すなわち、歩行特性データ121をユーザの識別処理に適合させた場合には、当該ユーザの歩行特性の変化に対応するように、歩行特性データ121に含まれる各項目の属性値を変化させることになる。そのため、この場合には、ユーザの健康状態の基準となる情報を得ることができず、ユーザの体調を検出することができなくなってしまう。
一方、歩行特性データ121をユーザの体調検出処理に適合させた場合には、ユーザの健康状態の基準を示すように、歩行特性データ121に含まれる各項目の属性値を変更せずに維持し続けることになる。そのため、この場合には、時間経過に伴うユーザの歩行特性の変化に対応することができず、ユーザの識別ができなくなってしまう。
これに対して、本実施形態では、歩行特性データ121は、歩行特性の各項目の属性値として、体調の検出に利用する正常値とユーザの識別に利用する現在値との2種類の属性値を含んでいる。そのため、本実施形態によれば、ユーザの識別処理に利用する属性値とユーザの体調検出処理に利用する属性値とを切り分けており、同一の値を両処理で併用し続けることを回避することができるため、上記処理の不具合が生じるのを防止することができる。
また、本実施形態では、ステップS104でユーザの識別が成功したときの解析データ40を利用して、歩行特性データ121に含まれる現在値を更新する。そのため、歩行特性の各項目の現在値を取得するための手段を別途設けることなく、時間経過に伴う歩行特性の変化に対応するように、ユーザの識別に利用する現在値を更新することができる。
なお、本実施形態に係る体調検出装置1は、カメラ2により得られる撮影画像3を利用してユーザの体調を検出する。そのため、カメラ2を設置可能な場所であれば、どのような場所でも、ユーザの体調を検出する対象範囲にすることができる。例えば、カメラ2を施設のエントランス、部屋、廊下等に設置することで、これらの場所をユーザの体調検出を行う場所にすることができる。
すなわち、情報処理装置(体調検出装置1)とカメラ2とで構成される本実施形態に係る体調検出システムを導入する作業は、このカメラ2を設置する作業に他ならない。ここで、カメラ2は、深度センサ21を含んでおり、三次元の情報を取得可能であるため、カメラ2の設置場所及び撮影方向を厳密に決定しなくてもよい。そのため、本実施形態に係る体調検出システムは、非常に容易に導入することができる。
§4 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
(1)体調変化の予兆を検出
上記実施形態では、ステップS106において、制御部11は、解析データ40の示す歩行特性の解析値と歩行特性データ121の示す歩行特性の正常値との間に所定条件を満たす差が存在する場合に、対象のユーザの体調の変化を検出している。そのため、解析値と正常値との間に所定条件を満たす差が存在しない場合には、制御部11は、対象のユーザの体調の変化を検出せず、対象のユーザの体調は良好であると特定する。
上記実施形態では、ステップS106において、制御部11は、解析データ40の示す歩行特性の解析値と歩行特性データ121の示す歩行特性の正常値との間に所定条件を満たす差が存在する場合に、対象のユーザの体調の変化を検出している。そのため、解析値と正常値との間に所定条件を満たす差が存在しない場合には、制御部11は、対象のユーザの体調の変化を検出せず、対象のユーザの体調は良好であると特定する。
しかしながら、ユーザの体調の変化は、段階的に起きる場合がある。これに対応するため、制御部11は、ステップS106の体調変化の検出処理と共に、対象変化の予兆があるか否かを判定してもよい。これは、ステップS101〜S107の一連の処理を繰り返すことで実現できる。
すなわち、制御部11は、ステップS101〜S107の一連の処理を繰り返すことで、ユーザの体調検出の処理を継続的に繰り返し実行する。そうすると、制御部11は、ステップS103で解析データ40が繰り返し取得されるのに応じて、解析データ40と歩行特性データ121とを比較することで、ユーザの歩行特性に所定条件を満たす変化が生じているか否かを判定するステップS106の処理を繰り返し実行することになる。
ここで、上記のように、ユーザの歩行特性に所定条件を満たす変化が生じていると判定した場合には、ユーザの体調の変化を検出することができる。一方、ユーザの歩行特性に所定条件を満たす変化が生じていないと判定している間には、制御部11は、繰り返し取得される解析データ40が、ユーザの歩行特性の所定条件を満たす変化が生じていると判定される方向に、変化しているか否かを更に判定する。そして、制御部11は、繰り返し取得される解析データ40が、ユーザの歩行特性に所定条件を満たす変化が生じていると判定される方向に、変化していると判定した場合には、当該ユーザの体調変化の予兆を検出することができる。
例えば、上記(a)の例では、解析データ40に含まれる歩幅の解析値が歩行特性データ121に含まれる歩幅の正常値よりも閾値以上小さいことで、制御部11は、ユーザの体調の変化を検出する。そのため、この場合、制御部11は、繰り返し取得される各解析データ40に含まれる歩幅の解析値が歩行特性データ121に含まれる歩幅の正常値よりも閾値以上小さくはなっていないときに、当該解析値が徐々に小さくなっているか否かを判定する。そして、制御部11は、繰り返し取得される各解析データ40に含まれる歩幅の解析値が徐々に小さくなっているとき、換言すると、歩幅の正常値よりも閾値以上小さくなるように歩幅の解析値が変動しているときに、当該ユーザの体調変化の予兆を検出する。一方、取得される歩幅の解析値がこのような傾向にない場合には、制御部11は、当該ユーザに体調変化の予兆はないと判定する。
本変形例によれば、制御部11は、繰り返し実行されるユーザの体調検出処理において、解析データの変更傾向を把握し、ユーザの体調変化の予兆を検出する。これによって、ユーザの体調に変化が生じる事前にその予兆を把握することができる。すなわち、本変形例によれば、ユーザの体調の変化を段階的に把握することができる。
(2)異なる項目の利用
また、上記実施形態では、ユーザの識別処理に利用する歩行特性の項目と体調検出に利用する歩行特性の項目とは共通である。しかしながら、ユーザの識別処理に利用する歩行特性の項目と体調検出に利用する歩行特性の項目とは共通でなくてもよく、その一部又は全部が異なっていてもよい。例えば、上記実施形態では、歩行特性に含まれる複数の項目のうち、歩幅、歩隔等の項目を体調検出に利用している。そこで、このような体調検出に利用している項目を除き、体調検出に利用しない項目に基づいて、ユーザの識別を行ってもよい。
また、上記実施形態では、ユーザの識別処理に利用する歩行特性の項目と体調検出に利用する歩行特性の項目とは共通である。しかしながら、ユーザの識別処理に利用する歩行特性の項目と体調検出に利用する歩行特性の項目とは共通でなくてもよく、その一部又は全部が異なっていてもよい。例えば、上記実施形態では、歩行特性に含まれる複数の項目のうち、歩幅、歩隔等の項目を体調検出に利用している。そこで、このような体調検出に利用している項目を除き、体調検出に利用しない項目に基づいて、ユーザの識別を行ってもよい。
すなわち、制御部11は、ステップS104において、歩行特性データ121に含まれる複数の項目のうち少なくともいずれかの項目に関して、解析データ40と歩行特性データ121とを比較することで、撮影画像3に写るユーザの識別を行ってもよい。そして、制御部11は、ステップS106では、ステップS104で利用した項目とは異なる1つ以上の項目に関して、解析データ40と歩行特性データ121とを比較することで、撮影画像3に写るユーザの体調を検出してもよい。
なお、この場合、共通の項目を利用しないため、歩行特性データ121は、正常値及び現在値の2種類の属性値を含まなくてもよい。また、制御部11は、ステップS107の更新処理を省略してもよいし、ステップS107の更新処理の対象をユーザの識別に利用する項目に限定してもよい。ただし、ステップS107の更新処理を省略する場合、比較的に変化の生じにくい項目をユーザの識別に利用する項目に採用するのが好ましい。
上記のとおり、人間の歩行特性は、時間経過につれて変化し得る。そのため、同一の項目で同一の値を両処理に併用し続けると、ユーザの識別処理及び体調検出処理のいずれかの処理で不具合が生じる可能性が高い。これに対して、本変形例では、ユーザの識別処理に利用する歩行特性の項目とユーザの体調検出処理に利用する歩行特性の項目とを切り分けている。したがって、同一の項目で同一の値を両処理に併用し続けることで生じる不具合を回避することができる。
(3)前景領域の利用
また、上記実施形態では、制御部11(歩行特性解析部32)は、ステップS102において、パターン検出等の画像処理によって撮影画像3からユーザの写る人物領域を抽出している。ただし、撮影画像3から人物領域を抽出する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択可能である。例えば、制御部11は、前景領域を利用して、人物領域を検索する範囲を絞ってもよい。
また、上記実施形態では、制御部11(歩行特性解析部32)は、ステップS102において、パターン検出等の画像処理によって撮影画像3からユーザの写る人物領域を抽出している。ただし、撮影画像3から人物領域を抽出する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択可能である。例えば、制御部11は、前景領域を利用して、人物領域を検索する範囲を絞ってもよい。
この場合、制御部11は、上記ステップS102において、ステップS101で取得した撮影画像3の背景として設定された背景画像と撮影画像3との差分から、撮影画像3の前景領域を抽出する。ここで、背景画像は、前景領域を抽出するために利用されるデータであり、背景となる対象の深度を含んで設定される。背景画像を作成する方法は、実施の形態に応じて、適宜、設定されてよい。例えば、制御部11は、カメラ2による撮影を開始したときに得られる数フレーム分の撮影画像の平均を算出することで、背景画像を作成してもよい。このとき、深度データも含んで撮影画像の平均が算出されることで、深度データを含む背景画像を作成することができる。
このように抽出される前景領域は、背景画像から変化の生じている領域を示す。そのため、撮影画像3に歩行動作を行っている人物(ユーザ)が写っている場合には、当該ユーザの写る領域が前景領域として抽出される。そこで、制御部11は、ステップS102において、パターン検出、図形要素検出等の画像解析を前景領域内で実行することによって、ユーザの写る領域を抽出してもよい。
これにより、ユーザを検出する撮影画像3内の領域を限定することができる。すなわち、パターンマッチング等の画像解析の対象となる領域を、撮影画像3内全域とするのではなく、前景領域内に制限することができる。ここで、前景領域を抽出するための処理は、撮影画像3と背景画像との差分を計算する処理に過ぎない。そのため、本実施形態によれば、制御部11(体調検出装置1)は、高度な画像処理を利用せずに、ユーザを検出する範囲を絞ることができる。よって、当該変形例によれば、ステップS102における処理の負荷を低減することができる。
なお、制御部11が前景領域を抽出する方法は、上記のような方法に限定されなくてもよく、例えば、背景差分法を用いて背景と前景とを分離してもよい。背景差分法として、例えば、上記のような背景画像と入力画像(撮影画像3)との差分から背景と前景とを分離する方法、異なる3枚の画像を用いて背景と前景とを分離する方法、及び統計的モデルを適用することで背景と前景とを分離する方法を挙げることができる。前景領域を抽出する方法は、特に限定されなくてよく、実施の形態に応じて、適宜、選択されてよい。
1…体調検出装置、
2…カメラ、21…深度センサ、
3…撮影画像、5…プログラム、6…記憶媒体、
11…制御部、12…記憶部、13…タッチパネルディスプレイ、
14…スピーカ、15…外部インタフェース、16…通信インタフェース、
17…ドライブ、
31…画像取得部、32…歩行特性解析部、33…体調特定部、34…ユーザ特定部、
40…解析データ、121…歩行特性データ
2…カメラ、21…深度センサ、
3…撮影画像、5…プログラム、6…記憶媒体、
11…制御部、12…記憶部、13…タッチパネルディスプレイ、
14…スピーカ、15…外部インタフェース、16…通信インタフェース、
17…ドライブ、
31…画像取得部、32…歩行特性解析部、33…体調特定部、34…ユーザ特定部、
40…解析データ、121…歩行特性データ
Claims (9)
- ユーザの実空間における歩行特性を示す歩行特性データを記憶する記憶部と、
前記ユーザの歩行動作を撮影するために設置された撮影装置によって撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得する画像取得部と、
前記撮影画像内で前記ユーザの写る領域を抽出し、前記深度データにより示される前記撮影画像内の各画素の深度に基づいて、当該領域に写る前記ユーザの実空間における歩行動作を解析することで、前記撮影画像に写る前記ユーザの実空間における歩行特性を示す解析データを取得する歩行特性解析部と、
前記歩行特性データの示す歩行特性及び取得した前記解析データの示す歩行特性を比較することによって、前記ユーザの歩行特性に所定条件を満たす変化が生じているか否かを判定し、当該判定の結果に基づいて、前記撮影画像に写るユーザの体調を特定する体調特定部と、
を備える、
体調検出装置。 - 前記体調特定部は、
前記解析データが繰り返し取得されるのに応じて、取得される前記解析データと前記歩行特性データとを比較することで、前記ユーザの歩行特性に所定条件を満たす変化が生じているか否かを繰り返し判定し、
前記ユーザの歩行特性に所定条件を満たす変化が生じていないと判定している間には、前記繰り返し取得される解析データが、前記ユーザの歩行特性に所定条件を満たす変化が生じていると判定される方向に、変化しているか否かを更に判定し、前記繰り返し取得される解析データが、前記ユーザの歩行特性に所定条件を満たす変化が生じていると判定される方向に、変化していると判定した場合に、前記ユーザの体調変化の予兆を検出する、
請求項1に記載の体調検出装置。 - 前記記憶部は、前記歩行特性データを個人毎に記憶し、
前記各個人の歩行特性データの示す歩行特性と取得した前記解析データの示す歩行特性とを比較することによって、取得した前記解析データがいずれかの個人の前記歩行特性データに適合するか否かを判定し、当該いずれかの個人の前記歩行特性データに前記解析データが適合した場合には、前記撮影画像に写るユーザは当該適合した歩行特性データの示す人物であると特定するユーザ特定部を更に備える、
請求項1又は2に記載の体調検出装置。 - 前記記憶部に記憶される前記歩行特性データは前記ユーザの歩行特定の正常値と現在値とを含み、
前記歩行特性解析部により取得される解析データは前記歩行特性の解析値を含み、
前記ユーザ特定部は、前記歩行特性データに含まれる現在値と前記解析データに含まれる解析値とを比較することで、前記撮影画像に写るユーザの特定を行い、
前記体調特定部は、前記歩行特性データに含まれる正常値と前記解析データに含まれる解析値とを比較することで、前記ユーザの体調の特定を行う、
請求項3に記載の体調検出装置。 - 前記記憶部は、前記ユーザ特定部により特定したユーザの歩行特性データに含まれる歩行特性の現在値を前記解析データの解析値に置き換えることで、前記特定したユーザの歩行特性データに含まれる歩行特性の現在値を更新する、
請求項4に記載の体調検出装置。 - 前記歩行特性は複数の項目で構成され、
前記ユーザ特定部は、前記歩行特性に含まれる複数の項目のうちの少なくともいずれかの項目において、取得した前記解析データと前記歩行特性データとを比較することで、前記撮影画像に写るユーザの特定を行い、
前記体調特定部は、前記ユーザ特定部の利用した項目とは異なる1つ以上の項目において、前記解析データと前記歩行特性データとを比較することで、前記ユーザの体調の特定を行う、
請求項3に記載の体調検出装置。 - 前記歩行特性解析部は、前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を前記ユーザの写る領域として抽出し、前記深度データを参照することで当該前景領域内の各画素の深度を特定し、特定した当該前景領域内の各画素の深度に基づいて、当該前景領域に写る前記ユーザの実空間における歩行動作を解析する、
請求項1から6のいずれか1項に記載の体調検出装置。 - ユーザの実空間における歩行特性を示す歩行特性データを記憶する記憶部を備えるコンピュータが、
前記ユーザの歩行動作を撮影するために設置された撮影装置によって撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、
前記撮影画像内で前記ユーザの写る領域を抽出するステップと、
前記深度データにより示される前記撮影画像内の各画素の深度に基づいて、当該領域に写る前記ユーザの実空間における歩行動作を解析することで、前記撮影画像に写る前記ユーザの実空間における歩行特性を示す解析データを取得するステップと、
前記歩行特性データの示す歩行特性及び取得した前記解析データの示す歩行特性を比較することによって、前記ユーザの歩行特性に所定条件を満たす変化が生じているか否かを判定するステップと、
当該判定の結果に基づいて、前記撮影画像に写るユーザの体調を特定するステップと、
を実行する体調検出方法。 - ユーザの実空間における歩行特性を示す歩行特性データを記憶する記憶部を備えるコンピュータに、
前記ユーザの歩行動作を撮影するために設置された撮影装置によって撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、
前記撮影画像内で前記ユーザの写る領域を抽出するステップと、
前記深度データにより示される前記撮影画像内の各画素の深度に基づいて、当該領域に写る前記ユーザの実空間における歩行動作を解析することで、前記撮影画像に写る前記ユーザの実空間における歩行特性を示す解析データを取得するステップと、
前記歩行特性データの示す歩行特性及び取得した前記解析データの示す歩行特性を比較することによって、前記ユーザの歩行特性に所定条件を満たす変化が生じているか否かを判定するステップと、
当該判定の結果に基づいて、前記撮影画像に写るユーザの体調を特定するステップと、
を実行させるための体調検出プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014170789A JP2017205134A (ja) | 2014-08-25 | 2014-08-25 | 体調検出装置、体調検出方法及び体調検出プログラム |
PCT/JP2015/064255 WO2016031313A1 (ja) | 2014-08-25 | 2015-05-19 | 体調検出装置、体調検出方法及び体調検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014170789A JP2017205134A (ja) | 2014-08-25 | 2014-08-25 | 体調検出装置、体調検出方法及び体調検出プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017205134A true JP2017205134A (ja) | 2017-11-24 |
Family
ID=55399219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014170789A Pending JP2017205134A (ja) | 2014-08-25 | 2014-08-25 | 体調検出装置、体調検出方法及び体調検出プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2017205134A (ja) |
WO (1) | WO2016031313A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019139288A (ja) * | 2018-02-06 | 2019-08-22 | 日本電気株式会社 | 情報処理装置 |
WO2020161947A1 (ja) * | 2019-02-05 | 2020-08-13 | 株式会社日立製作所 | 身体健康状態映像分析装置、方法並びにシステム |
WO2022071427A1 (ja) * | 2020-09-29 | 2022-04-07 | 田辺三菱製薬株式会社 | 神経筋疾患評価システム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6558820B2 (ja) * | 2016-03-28 | 2019-08-14 | Necソリューションイノベータ株式会社 | 計測装置、計測方法、及びプログラム |
EP3437557B1 (en) * | 2016-03-31 | 2020-12-02 | NEC Solution Innovators, Ltd. | Gait analyzing device, gait analyzing method, and computer-readable recording medium |
JP7041869B2 (ja) * | 2017-10-03 | 2022-03-25 | マツダ株式会社 | 活性度推定装置 |
WO2020170299A1 (ja) * | 2019-02-18 | 2020-08-27 | 三菱電機株式会社 | 疲労判定装置、疲労判定方法、および疲労判定プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003290175A (ja) * | 2002-03-29 | 2003-10-14 | Sony Corp | 体調検出装置およびプログラム |
JP2006136430A (ja) * | 2004-11-10 | 2006-06-01 | Kyushu Institute Of Technology | 評価関数生成方法及び個人識別装置並びに個人識別方法 |
JP2010026235A (ja) * | 2008-07-18 | 2010-02-04 | Panasonic Electric Works Co Ltd | カメラアングル調整装置 |
JP5478928B2 (ja) * | 2009-03-31 | 2014-04-23 | 綜合警備保障株式会社 | 人物同定装置、人物同定方法、及び人物同定プログラム |
JP6236862B2 (ja) * | 2012-05-18 | 2017-11-29 | 花王株式会社 | 老年障害リスクの算出方法 |
-
2014
- 2014-08-25 JP JP2014170789A patent/JP2017205134A/ja active Pending
-
2015
- 2015-05-19 WO PCT/JP2015/064255 patent/WO2016031313A1/ja active Application Filing
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019139288A (ja) * | 2018-02-06 | 2019-08-22 | 日本電気株式会社 | 情報処理装置 |
JP7059663B2 (ja) | 2018-02-06 | 2022-04-26 | 日本電気株式会社 | 情報処理装置 |
WO2020161947A1 (ja) * | 2019-02-05 | 2020-08-13 | 株式会社日立製作所 | 身体健康状態映像分析装置、方法並びにシステム |
JP2020124367A (ja) * | 2019-02-05 | 2020-08-20 | 株式会社日立製作所 | 身体健康状態映像分析装置、方法並びにシステム |
CN113271848A (zh) * | 2019-02-05 | 2021-08-17 | 株式会社日立制作所 | 身体健康状态影像分析装置、方法以及*** |
JP7169213B2 (ja) | 2019-02-05 | 2022-11-10 | 株式会社日立製作所 | 身体健康状態映像分析装置、方法並びにシステム |
CN113271848B (zh) * | 2019-02-05 | 2024-01-02 | 株式会社日立制作所 | 身体健康状态影像分析装置、方法以及*** |
WO2022071427A1 (ja) * | 2020-09-29 | 2022-04-07 | 田辺三菱製薬株式会社 | 神経筋疾患評価システム |
Also Published As
Publication number | Publication date |
---|---|
WO2016031313A1 (ja) | 2016-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016031313A1 (ja) | 体調検出装置、体調検出方法及び体調検出プログラム | |
JP6534499B1 (ja) | 監視装置、監視システム、及び、監視方法 | |
Dikovski et al. | Evaluation of different feature sets for gait recognition using skeletal data from Kinect | |
JP6334925B2 (ja) | 動作情報処理装置及び方法 | |
KR101118654B1 (ko) | 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법 | |
JP5898199B2 (ja) | 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム | |
WO2016031314A1 (ja) | 個人識別装置、個人識別方法、及び、個人識別プログラム | |
JP6662532B2 (ja) | 歩行分析装置、歩行分析方法、及びプログラム | |
Wang et al. | Home monitoring musculo-skeletal disorders with a single 3d sensor | |
KR102291039B1 (ko) | 사용자 맞춤형 운동 서비스 제공 방법 및 장치 | |
JP6737261B2 (ja) | バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラム | |
KR20200134502A (ko) | 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템 | |
KR20170064101A (ko) | 깊이 이미지를 이용한 행동 패턴 분석 시스템 및 방법 | |
JP2009211122A (ja) | 画像処理装置およびオブジェクト推定プログラム。 | |
Nouredanesh et al. | Chasing feet in the wild: a proposed egocentric motion-aware gait assessment tool | |
Nguyen et al. | Extracting silhouette-based characteristics for human gait analysis using one camera | |
US10796449B2 (en) | Measurement device, measurement method, and computer readable recording medium | |
KR20160035497A (ko) | 스켈레톤 추출정보를 이용한 동작분석 기반의 체형분석 시스템 | |
JP2009301242A (ja) | 頭部候補抽出方法、頭部候補抽出装置、頭部候補抽出プログラムおよびそのプログラムを記録した記録媒体 | |
JP6737262B2 (ja) | 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム | |
JP2018161258A (ja) | 認知機能評価支援装置、認知機能評価支援方法及びプログラム | |
JP2009189671A (ja) | 歩行周期検出方法、歩行周期検出装置、および歩行周期検出プログラム | |
JP2012190280A (ja) | 行動認識装置、行動認識方法及びプログラム | |
JP6565468B2 (ja) | 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム | |
Oluwadare | Gait analysis on a smart floor for health monitoring |