JP2020087040A - 特定姿勢検出装置 - Google Patents
特定姿勢検出装置 Download PDFInfo
- Publication number
- JP2020087040A JP2020087040A JP2018221581A JP2018221581A JP2020087040A JP 2020087040 A JP2020087040 A JP 2020087040A JP 2018221581 A JP2018221581 A JP 2018221581A JP 2018221581 A JP2018221581 A JP 2018221581A JP 2020087040 A JP2020087040 A JP 2020087040A
- Authority
- JP
- Japan
- Prior art keywords
- posture
- bed
- unit
- detection
- sitting position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 210000004197 pelvis Anatomy 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 210000000988 bone and bone Anatomy 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 45
- 230000033001 locomotion Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000002243 precursor Substances 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000449 premovement Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】 離床の事前動作である端座位の姿勢を検知する特定姿勢検出装置を提供する。【解決手段】 病室内を撮影するカメラ１と、カメラの撮像映像からベッドのエリアを検出するベッド検出部３と、カメラ１の撮像映像から検出した人物の姿勢を推定する姿勢推定部４と、ベッドエリアの検出結果及び姿勢推定結果の学習サンプルを基に、端座位検出のためのパラメータを決定する学習部５と、ベッド検出部３の検出情報及び姿勢推定部４の推定情報を基に、学習部５が決定したパラメータを使用して患者の端座位を検出する端座位検出部６とを有し、姿勢推定部４は撮像した人物の画像から少なくとも首及び骨盤の左右端部の３点の骨格の座標情報から姿勢を推定する。【選択図】 図１
Description
本発明は、カメラの撮像映像により患者を見守り、患者の離床事故の発生を防止するために離床前の姿勢を検知する特定姿勢検出装置に関する。
近年、病院や高齢者施設で転倒による事故が多発している。この転倒による事故を防ぐために、離床する事前の状態を検出する方法が検討されている。
例えば、特許文献１では、画像全体の動きから患者の輪郭を把握して起き上がり動作を推定した。
例えば、特許文献１では、画像全体の動きから患者の輪郭を把握して起き上がり動作を推定した。
井上円・安井俊之・田口亮・梅崎太造：「患者みまもり機能の自働化に向けたベッド位置の検出」，電学論C, Vol.138, No.6, pp.670-677 (2018)
Z. Cao, T. Simon, S. E. Wei, & Y. Sheikh : "Realtime multi-person 2d pose estimation using part affinity fields", In IEEE Conference on Computer Vision and Pattern Recognition, Vol.1, No.2 p.7 (2017)
上記特許文献１の技術は、少ない演算量でベッド上での患者の起き上がり動作を検出できた。しかしながら、起き上がり動作が全て離床に繋がるわけでは無いため、離床動作の前兆を把握するには、他の動作或いは姿勢の検出が必要であった。
この離床の前兆となる動作或いは姿勢を検討した結果、離床動作はベッド上の患者がまずベッドから足を出し、ベッドに腰掛ける端座位の姿勢をとることが判った。
この離床の前兆となる動作或いは姿勢を検討した結果、離床動作はベッド上の患者がまずベッドから足を出し、ベッドに腰掛ける端座位の姿勢をとることが判った。
そこで、本発明はこのような問題点に鑑み、離床の事前動作である端座位の姿勢を検知する特定姿勢検出装置を提供することを目的としている。
上記課題を解決する為に、請求項１の発明に係る特定姿勢検出装置は、室内を撮影するカメラと、カメラの撮像映像からベッドのエリアを検出するベッド検出部と、カメラの撮像映像から検出した人物の姿勢を推定する姿勢推定部と、ベッドエリアの検出結果及び姿勢推定結果の学習サンプルを基に、端座位検出のためのパラメータを決定する学習部と、ベッド検出部の検出情報及び姿勢推定部の推定情報を基に、学習部が決定したパラメータを使用して患者の端座位を検出する端座位検出部とを有することを特とする。
この構成によれば、検出したベッドエリア情報と推定した姿勢情報とを基に端座位を検出、即ちベッド上の患者がベッドから足を出してベッドに腰掛けた状態を検出するため、立ち上がって離床する事前の姿勢を確実に検知できる。そのため、患者の離床を事前に通知することが可能となるし、この姿勢を検出すること無く離床する人物を検知しても、それは患者ではないと判断でき、看護師の離床動作を患者の離床と誤検知するのを防止できる。
この構成によれば、検出したベッドエリア情報と推定した姿勢情報とを基に端座位を検出、即ちベッド上の患者がベッドから足を出してベッドに腰掛けた状態を検出するため、立ち上がって離床する事前の姿勢を確実に検知できる。そのため、患者の離床を事前に通知することが可能となるし、この姿勢を検出すること無く離床する人物を検知しても、それは患者ではないと判断でき、看護師の離床動作を患者の離床と誤検知するのを防止できる。
請求項２の発明は、請求項１に記載の構成において、姿勢推定部は、撮像した人物の画像から、少なくとも首、右骨盤及び左骨盤の３点の骨格の座標情報を入手し、その座標情報から姿勢を推定することを特徴とする。
この構成によれば、少なくとも３点の座標情報から姿勢を推定することで、少ない演算量で推定できるし、骨格情報を基に推定することで誤検出を削減できる。
この構成によれば、少なくとも３点の座標情報から姿勢を推定することで、少ない演算量で推定できるし、骨格情報を基に推定することで誤検出を削減できる。
請求項３の発明は、請求項１又は２に記載の構成において、端座位検出部は、４層ニューラルネットワークを用いて端座位を検出することを特徴とする。
この構成によれば、端座位の姿勢を高精度で検出できる。
この構成によれば、端座位の姿勢を高精度で検出できる。
本発明によれば、検出したベッドエリア情報と推定した姿勢情報とを基に端座位を検出、即ちベッド上の患者がベッドから足を出してベッドに腰掛けた状態を検出するため、立ち上がって離床する事前の姿勢を確実に検知できる。そのため、患者の離床を事前に通知することが可能となるし、この姿勢を検出すること無く離床する人物を検知しても、それは患者ではないと判断でき、看護師の離床動作を患者の離床と誤検知するのを防止できる。
以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。図１は本発明に係る特定姿勢検出装置の一例を示すブロック図である。
１はカメラ、２はカメラの撮像画像を一時的に保持する画像保存部、３はカメラ１の撮像画像からベッドのエリアを検出するベッド検出部、４はカメラ１の撮像画像から検出した人物の姿勢を推定する姿勢推定部、５は学習データを蓄積した学習部、６は端座位を検出する端座位検出部である。
尚、画像保存部２、ベッド検出部３、姿勢推定部４、学習部５、端座位検出部６は動作プログラムをインストールしたＣＰＵ或いはＤＳＰにより一体に構成できるし、パーソナルコンピュータにより実行できる。
１はカメラ、２はカメラの撮像画像を一時的に保持する画像保存部、３はカメラ１の撮像画像からベッドのエリアを検出するベッド検出部、４はカメラ１の撮像画像から検出した人物の姿勢を推定する姿勢推定部、５は学習データを蓄積した学習部、６は端座位を検出する端座位検出部である。
尚、画像保存部２、ベッド検出部３、姿勢推定部４、学習部５、端座位検出部６は動作プログラムをインストールしたＣＰＵ或いはＤＳＰにより一体に構成できるし、パーソナルコンピュータにより実行できる。
カメラ１は、病院の患者や被介護者等の見守り対象者（以下、単に「患者」とする。）を撮像するために患者の居る病室等の部屋の上部に設置され、ベッドを含む部屋全体が撮像される。
画像保存部２は、例えばＲＡＭで構成され、カメラ１で撮影された画像（画像フレーム）が後段のベッド検出部３或いは姿勢推定部４で画像処理が行われるまで一次記憶される。
ベッド検出部３は、カメラ１の撮像画像からベッドエリアを把握する。手法としては、例えば特許文献２のベッドエリア把握手法が利用できるし、非特許文献１の機械学習によるベッド位置の推定手法を用いることができる。
姿勢推定部４は、カメラ１の撮像画像から人物を検出してその人物の端座位を推定する。端座位の推定は、上半身の特定部位の位置から推定が成され、首、右骨盤及び左骨盤の３点の位置情報を入手し、姿勢が推定される。
骨格の位置情報は、例えば骨格の位置情報を推定する非特許文献２の手法を使用して入手することができる。
例として、ベッド上で起き上がった人物を撮像した画像に対する姿勢推定結果を図２に示す。図２では、入手したベッド上の人物Ｆの体の首Ｐ１、右骨盤Ｐ２、左骨盤Ｐ３の３点の位置を示し、首と右骨盤を結ぶ線、首と左骨盤を結ぶ線を白の破線で示している。尚、図２に示す黒の破線は、ベッド検出部３が検出したベッドエリアを示している。
骨格の位置情報は、例えば骨格の位置情報を推定する非特許文献２の手法を使用して入手することができる。
例として、ベッド上で起き上がった人物を撮像した画像に対する姿勢推定結果を図２に示す。図２では、入手したベッド上の人物Ｆの体の首Ｐ１、右骨盤Ｐ２、左骨盤Ｐ３の３点の位置を示し、首と右骨盤を結ぶ線、首と左骨盤を結ぶ線を白の破線で示している。尚、図２に示す黒の破線は、ベッド検出部３が検出したベッドエリアを示している。
学習部５は、ベッド検出部３の手法によりベッド位置を変更した様々な状態でベッドエリアを検出した検出結果、及び姿勢推定部４の手法により様々な姿勢を推定した姿勢推定結果から成る学習サンプルを、正例と負例に分類して保存し、これらの学習データを基に識別器のパラメータを決定する。
例えば端座位の学習サンプルの正例と負例の分類の一例を図３に示している。図３（ａ）は離床シーンの様々なパターンを示し、図３（ｂ）はこの様々なパターンを端座位（正例），端座位以外（負例）として分類した状態を示している。こうした学習により端座位を判断するための識別手段が構築される。
例えば端座位の学習サンプルの正例と負例の分類の一例を図３に示している。図３（ａ）は離床シーンの様々なパターンを示し、図３（ｂ）はこの様々なパターンを端座位（正例），端座位以外（負例）として分類した状態を示している。こうした学習により端座位を判断するための識別手段が構築される。
端座位検出部６は、４層ニューラルネットワークを用いて画像から検出した人物が離床前のベッド隅部での端座位状態にあるか判定する。図４は４層ニューラルネットワークの概略を示し、Ｌ１は入力層、Ｌ２は第１中間層、Ｌ３は第２中間層、Ｌ４は出力層である。
入力層Ｌ１はベッド検出部３が検出したベッドエリア情報であるベッド４隅の座標情報と、姿勢推定部４が推定した骨格３点の座標情報が入力される。第１中間層Ｌ２、第２中間層Ｌ３では、学習部５の情報を基に生成された重みが使用されて演算される。
出力層Ｌ４では、ノード数２の２クラス分類問題としてsoftmax関数を用いて尤度が算されて出力され、ベッドに腰掛けた端座位にあるか判定される。この判定により、例えば図２に示すような、ベッドの隅に人物が腰掛けている状態が端座位状態にあると判定され、端座位が検出される。
尚、識別器は、ベッド検出に例えばSVMや部分空間法、人物の姿勢検出に例えばAdaBoostなど様々な手法が適応できる。
入力層Ｌ１はベッド検出部３が検出したベッドエリア情報であるベッド４隅の座標情報と、姿勢推定部４が推定した骨格３点の座標情報が入力される。第１中間層Ｌ２、第２中間層Ｌ３では、学習部５の情報を基に生成された重みが使用されて演算される。
出力層Ｌ４では、ノード数２の２クラス分類問題としてsoftmax関数を用いて尤度が算されて出力され、ベッドに腰掛けた端座位にあるか判定される。この判定により、例えば図２に示すような、ベッドの隅に人物が腰掛けている状態が端座位状態にあると判定され、端座位が検出される。
尚、識別器は、ベッド検出に例えばSVMや部分空間法、人物の姿勢検出に例えばAdaBoostなど様々な手法が適応できる。
このように、検出したベッドエリア情報と推定した姿勢情報とを基に端座位を検出、即ちベッド上の患者がベッドから足を出してベッドに腰掛けた状態を検出するため、立ち上がって離床する事前の姿勢を確実に検知できる。そのため、患者の離床を事前に通知することが可能となるし、この姿勢を検出すること無く離床する人物を検知しても、それは患者ではないと判断でき、看護師の離床動作を患者の離床と誤検知するのを防止できる。
また、首、右骨盤、左骨盤の３点の座標情報から姿勢を推定することで、少ない演算量で推定できるし、骨格情報を基に推定するため誤検出を削減できる。更に４層ニューラルネットワークを使用して端座位を判定するため、端座位の姿勢を高精度で検出できる。
また、首、右骨盤、左骨盤の３点の座標情報から姿勢を推定することで、少ない演算量で推定できるし、骨格情報を基に推定するため誤検出を削減できる。更に４層ニューラルネットワークを使用して端座位を判定するため、端座位の姿勢を高精度で検出できる。
尚、上記実施形態では、首、右骨盤、左骨盤の３点の座標情報を基に姿勢を推定しているが、例えば頭部の座標を加えて４点の骨格情報を基に推定しても良いし、更に他の部位の座標を加えて姿勢を推定しても良い。
１・・カメラ、２・・画像保存部、３・・ベッド検出部、４・・姿勢推定部、５・・学習部、６・・端座位検出部。
Claims (3)
- 室内を撮影するカメラと、
前記カメラの撮像映像からベッドのエリアを検出するベッド検出部と、
前記カメラの撮像映像から検出した人物の姿勢を推定する姿勢推定部と、
ベッドエリアの検出結果及び姿勢推定結果の学習サンプルを基に、端座位検出のためのパラメータを決定する学習部と、
前記ベッド検出部の検出情報及び前記姿勢推定部の推定情報を基に、前記学習部が決定したパラメータを使用して患者の端座位を検出する端座位検出部とを有することを特徴とする特定姿勢検出装置。 - 前記姿勢推定部は、撮像した人物の画像から、少なくとも首、右骨盤及び左骨盤の３点の骨格の座標情報を入手し、その座標情報から姿勢を推定することを特徴とする請求項１記載の特定姿勢検出装置。
- 前記端座位検出部は、４層ニューラルネットワークを用いて端座位を検出することを特徴とする請求項１又は２記載の特定姿勢検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018221581A JP2020087040A (ja) | 2018-11-27 | 2018-11-27 | 特定姿勢検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018221581A JP2020087040A (ja) | 2018-11-27 | 2018-11-27 | 特定姿勢検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020087040A true JP2020087040A (ja) | 2020-06-04 |
Family
ID=70908301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018221581A Pending JP2020087040A (ja) | 2018-11-27 | 2018-11-27 | 特定姿勢検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020087040A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022074886A1 (ja) * | 2020-10-05 | 2022-04-14 | 株式会社島津製作所 | 姿勢検出装置、姿勢検出方法および寝相判定方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015138460A (ja) * | 2014-01-23 | 2015-07-30 | 富士通株式会社 | 状態認識方法及び状態認識装置 |
| JP2017041079A (ja) * | 2015-08-19 | 2017-02-23 | アイホン株式会社 | 動作認識装置 |
-
2018
- 2018-11-27 JP JP2018221581A patent/JP2020087040A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015138460A (ja) * | 2014-01-23 | 2015-07-30 | 富士通株式会社 | 状態認識方法及び状態認識装置 |
| JP2017041079A (ja) * | 2015-08-19 | 2017-02-23 | アイホン株式会社 | 動作認識装置 |
Non-Patent Citations (2)
| Title |
|---|
| 一原 賢吾 他: "姿勢推定技術に基づく機械学習を活用した人物の不審動作認識手法の精度評価", 電子情報通信学会技術研究報告 ＶＯＬ．１１７ ＮＯ．４８５, vol. IMQ2017-41, IE2017-133, MVE2017-83, JPN6022038146, 1 March 2018 (2018-03-01), JP, pages 89 - 94, ISSN: 0005005354 * |
| 生田目 慎也 他: "病室における患者の起床・離床行動認識アルゴリズムの開発", ＳＳＩＩ２０１４ 第２０回画像センシングシンポジウム 講演論文集 ［ＣＤ−ＲＯＭ］, JPN6022038148, 11 June 2014 (2014-06-11), JP, pages 3 - 06, ISSN: 0004872284 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022074886A1 (ja) * | 2020-10-05 | 2022-04-14 | 株式会社島津製作所 | 姿勢検出装置、姿勢検出方法および寝相判定方法 |
| JP7468684B2 (ja) | 2020-10-05 | 2024-04-16 | 株式会社島津製作所 | 姿勢検出装置、姿勢検出方法および寝相判定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7463052B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| Zhang et al. | A viewpoint-independent statistical method for fall detection | |
| US10786183B2 (en) | Monitoring assistance system, control method thereof, and program | |
| JP6588978B2 (ja) | 人の向き及び／又は位置の自動検出のための装置、システム、及び方法 | |
| JP6428144B2 (ja) | エリア情報推定装置、エリア情報推定方法、および空気調和装置 | |
| US11298050B2 (en) | Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method | |
| US20220383653A1 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program | |
| JP6822328B2 (ja) | 見守り支援システム及びその制御方法 | |
| JPWO2018154709A1 (ja) | 動作学習装置、技能判別装置および技能判別システム | |
| Fieraru et al. | Learning complex 3D human self-contact | |
| JP2010123019A (ja) | 動作認識装置及び方法 | |
| JP2020135551A (ja) | 対象物認識装置、対象物認識方法、及び対象物認識プログラム | |
| JP2016157170A (ja) | 異常状態通知システム、異常状態通知プログラム、異常状態通知方法および異常状態通知装置 | |
| JP2020087040A (ja) | 特定姿勢検出装置 | |
| JP2017041079A (ja) | 動作認識装置 | |
| JP7463792B2 (ja) | 情報処理システム、情報処理装置及び情報処理方法 | |
| An et al. | Support vector machine algorithm for human fall recognition kinect-based skeletal data | |
| JP2018128800A (ja) | ベッド識別装置 | |
| CN113836991A (zh) | 动作识别***、动作识别方法及存储介质 | |
| CN114999108B (zh) | 基于影像处理的老年跌倒侦测方法 | |
| JP2022108129A (ja) | 特定動作検出装置 | |
| JPWO2021084687A5 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| Mikrut et al. | Combining pattern matching and optical flow methods in home care vision system | |
| TW201946028A (zh) | 姿態判斷方法、電子系統以及非暫態電腦可讀取記錄媒體 | |
| CN118176530A (zh) | 行动辨识方法、行动辨识装置以及行动辨识程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20181213 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210827 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230307 |