JP6277736B2 - 状態認識方法及び状態認識装置 - Google Patents
状態認識方法及び状態認識装置 Download PDFInfo
- Publication number
- JP6277736B2 JP6277736B2 JP2014010629A JP2014010629A JP6277736B2 JP 6277736 B2 JP6277736 B2 JP 6277736B2 JP 2014010629 A JP2014010629 A JP 2014010629A JP 2014010629 A JP2014010629 A JP 2014010629A JP 6277736 B2 JP6277736 B2 JP 6277736B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- target object
- detection target
- patient
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 93
- 238000001514 detection method Methods 0.000 claims description 177
- 230000007704 transition Effects 0.000 claims description 117
- 230000033001 locomotion Effects 0.000 claims description 50
- 230000009471 action Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 description 65
- 238000012545 processing Methods 0.000 description 32
- 238000003384 imaging method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000013480 data collection Methods 0.000 description 11
- 230000006399 behavior Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000474 nursing effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241000746998 Tragus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Description
図1は、第1実施形態における状態認識装置の機能構成例を示す図である。図1の例に示す状態認識装置10は、検出条件設定手段11と、映像データ取得手段12と、認識状態決定手段13と、状態認識手段14と、通知手段15とを有する。
ここで、上述した検出条件設定手段11の機能構成について具体的に説明する。図1の例において、検出条件設定手段11は、状態遷移設定手段21と、見え方設定手段22と、学習データ収集手段23と、学習データ生成手段24と、映り領域設定手段25とを有する。
次に、状態認識装置10のハードウェア構成例について、図を用いて説明する。図2は、状態認識装置のハードウェア構成例を示す図である。図2の例において、状態認識装置10は、入力装置41と、出力装置42と、ドライブ装置43と、補助記憶装置44と、主記憶装置45と、Central Processing Unit(CPU)46と、ネットワーク接続装置47とを有し、これらはシステムバスBで相互に接続されている。
次に、本実施形態における状態認識処理の一例についてフローチャートを用いて説明する。なお、以下の説明では、状態認識の前処理として行われる検出条件設定処理と、検出条件設定処理で得られた学習データを用いた状態認識処理とに分けて説明するが、これに限定されるものではない。また、検出条件設定処理は、事前に外部装置等で実施されていてもよい。
図3は、第1実施形態における検出条件設定処理の一例を示すフローチャートである。図3の例において、検出条件設定手段11の状態遷移設定手段21は、例えば認識対象の患者が取り得る状態・状態遷移を設定する(S01)。S01の処理において、状態遷移設定手段21は、例えば認識したい患者の状態や状態間の遷移関係を設定する。また、状態遷移設定手段21は、患者の動作について設定してもよい。
図4は、第1実施形態における状態認識処理の一例を示すフローチャートである。図4の例に示す状態認識処理は、カメラから撮影された映像データを所定フレーム数毎に実行してもよく、撮影された前後の画像フレームを用いて患者の動きを検出した場合にのみ実行してもよいが、これに限定されるものではない。
次に、本実施形態における状態遷移設定手段21の具体例について、図を用いて説明する。図5は、状態遷移の一例を示す図である。図5の例では、例えば患者が使用する病室のベッドの頭部上方に設置したカメラで撮影した場合の状態遷移を示している。
次に、本実施形態における見え方設定手段22の具体例について、図を用いて説明する。
図10は、各状態における学習データの収集例を示す図である。図10(A)は就床中の学習データの収集例を示し、図10(B)は座位の学習データの収集例を示し、図10(C)は端座位の学習データの収集例を示し、図10(D)は傍床の学習データの収集例を示している。
ここで、上述した切り出し領域61の一例について、図を用いて具体的に説明する。図11は、切り出し領域の一例を示す図である。図11(A)は就床中における患者70とベッド71の側面図を示し、図11(B)は患者70とベッド71の上面図を示し、図11(C)は切り出し領域61を示し、図11(D)は図11(C)の切り出し領域61の拡大図を示している。
次に、本実施形態における映り領域設定手段25の具体例について図を用いて説明する。図12は、映り領域設定手段における処理を説明するための図である。図12(A)は、左・傍床の状態のときに患者がいる3次元上の範囲を設定する処理を説明するための図を示し、図12(B)は、3次元上の範囲から画像上で患者が映る領域を取得する例を示している。
次に、本実施形態における認識状態決定手段13の具体例について、図を用いて説明する。認識状態決定手段13は、状態遷移関係データ31に基づき、ある状態(例えば、直前の状態)から遷移可能な状態(隣接状態)に関する情報に基づいて処理対象の状態(領域)を決定する。
次に、状態認識装置の第2実施形態について説明する。第2実施形態では、第1実施形態に示すように、患者(検出対象物体)の状態だけを認識するのではなく、患者の動作も認識する。なお、以下の説明において、同一の処理を行う構成等については、同一の名称及び符号を付するものとし、ここでの具体的な説明は省略する。
ここで、第2実施形態における状態認識装置80の検出条件設定手段11は、第1実施形態における状態認識装置10の検出条件設定手段11と同様の処理を行うため、ここでの具体的な説明は省略する。なお、検出条件設定手段11で通知条件を設定する場合には、例えば予め設定した動作のうち、ナースコールしたい動作を設定する。例えば、動きの早い患者で、一人で離床すると転倒してしまうことを自覚していない場合、離床動作が検出されてからナースコールして介護者が駆けつけたのでは遅くなる。したがって、このような患者の場合には、起床動作を設定し、離床する前段階の動作を設定することができるが、これに限定されるものではない。
(付記1)
状態認識装置が、
撮影領域内の検出対象物体の位置と、該位置に対応して前記検出対象物体が取り得る形状とを予め設定し、設定された前記位置に対する撮影領域毎に前記位置に対応する検出対象物体を識別するための画像データを取得し、
前記取得した前記検出対象物体の位置に対応する画像データを用いて撮影画像から前記検出対象物体を検出し、検出結果の遷移に基づいて前記検出対象物体の状態を認識することを特徴とする状態認識方法。
(付記2)
前記検出対象物体が取り得る状態を予め設定し、
設定された前記状態に対応させて前記位置に対する撮影領域毎に前記検出対象物体の画像データを学習することを特徴とする付記1に記載の状態認識方法。
(付記3)
前記検出対象物体が取り得る状態の遷移関係を予め設定し、
設定された前記状態の遷移関係に基づいて、前記撮影画像内から取得した状態に対して次に遷移する状態を決定し、前回の検出位置で前記検出対象物体が検出されなかった場合に、決定した次に遷移する状態に対応させた前記検出対象物体の検出を行うことを特徴とする付記1又は2に記載の状態認識方法。
(付記4)
前記撮影画像内から前記検出対象物体の状態が認識できなかった場合に、最後に認識した状態と前記状態の遷移関係とを用いて、次に遷移する状態を決定し、決定した前記状態に対応させた前記検出対象物体の認識を行うことを特徴とする付記3に記載の状態認識方法。
(付記5)
前記検出対象物体が取り得る動作を予め設定し、
前記撮影画像内に対して前記位置と前記取り得る形状とに基づいて前記検出対象物体を認識し、
前記認識した結果の遷移に基づいて前記検出対象物体の動作を認識することを特徴とする付記1乃至4の何れか1項に記載の状態認識方法。
(付記6)
連続して撮影された撮影画像から、前記検出対象物体の動作の始点となる状態を認識し、前記動作の始点となる状態を認識した後に、前記動作の終点となる状態を認識し、前記始点となる状態と前記終点となる状態とに基づいて、前記検出対象物体の動作を認識することを特徴とする付記5に記載の状態認識方法。
(付記7)
前記検出対象物体が取り得る動作の遷移関係を予め設定し、
設定された前記動作の遷移関係に基づいて、前記撮影画像内から取得した前記検出対象物体の動作に対して次に遷移する動作を決定し、決定した前記動作に対応させた前記検出対象物体の認識を行うことを特徴とする請求項5又は6に記載の状態認識方法。
(付記8)
前記位置及び前記検出対象物体を検出するための領域は、前記撮影画像中の基準に対応した検出対象物体の動きに合せて設定されることを特徴とする請求項1乃至7の何れか1項に記載の状態認識方法。
(付記9)
撮影領域内の検出対象物体の位置と、該位置に対応して前記検出対象物体が取り得る形状とを予め設定する検出条件設定手段と、
前記検出条件設定手段により設定された前記位置に対する撮影領域毎に前記位置に対応する検出対象物体を識別するための画像データを取得し、前記取得した前記検出対象物体の位置に対応する画像データを用いて撮影画像から前記検出対象物体を検出し、検出結果の遷移に基づいて前記検出対象物体の状態を認識する状態認識手段とを有することを特徴とする状態認識装置。
(付記10)
前記検出条件設定手段は、
前記検出対象物体が取り得る状態を予め設定し、
設定された前記状態に対応させて前記位置に対する撮影領域毎に前記検出対象物体の画像データを学習することを特徴とする付記9に記載の状態認識装置。
(付記11)
前記検出条件設定手段は、前記検出対象物体が取り得る状態の遷移関係を予め設定し、
前記状態認識手段は、設定された前記状態の遷移関係に基づいて、前記撮影画像内から取得した状態に対して次に遷移する状態を決定し、前回の検出位置で前記検出対象物体が検出されなかった場合に、決定した次に遷移する状態に対応させた前記検出対象物体の検出を行うことを特徴とする付記9又は10に記載の状態認識装置。
(付記12)
前記状態認識手段は、
前記撮影画像内から前記検出対象物体の状態が認識できなかった場合に、最後に認識した状態と前記状態の遷移関係とを用いて、次に遷移する状態を決定し、決定した前記状態に対応させた前記検出対象物体の認識を行うことを特徴とする付記11に記載の状態認識装置。
(付記13)
前記検出条件設定手段は、前記検出対象物体が取り得る動作を予め設定し、
前記状態認識手段は、前記撮影画像内に対して前記位置と前記取り得る形状とに基づいて前記検出対象物体を認識し、前記認識した結果の遷移に基づいて前記検出対象物体の動作を認識することを特徴とする付記9乃至12の何れか1項に記載の状態認識装置。
(付記14)
前記状態認識手段は、連続して撮影された撮影画像から、前記検出対象物体の動作の始点となる状態を認識し、前記動作の始点となる状態を認識した後に、前記動作の終点となる状態を認識し、前記始点となる状態と前記終点となる状態とに基づいて、前記検出対象物体の動作を認識することを特徴とする付記13に記載の状態認識装置。
(付記15)
前記検出条件設定手段は、前記検出対象物体が取り得る動作の遷移関係を予め設定し、
前記状態認識手段は、設定された前記動作の遷移関係に基づいて、前記撮影画像内から取得した前記検出対象物体の動作に対して次に遷移する動作を決定し、決定した前記動作に対応させた前記検出対象物体の認識を行うことを特徴とする付記13又は14に記載の状態認識装置。
(付記16)
前記位置及び前記検出対象物体を検出するための領域は、前記撮影画像中の基準に対応した検出対象物体の動きに合せて設定されることを特徴とする付記9乃至15の何れか1項に記載の状態認識装置。
(付記17)
撮影領域内の検出対象物体の位置と、該位置に対応して前記検出対象物体が取り得る形状とを予め設定し、設定された前記位置に対する撮影領域毎に前記位置に対応する検出対象物体を識別するための画像データを取得し、
前記取得した前記検出対象物体の位置に対応する画像データを用いて撮影画像から前記検出対象物体を検出し、検出結果の遷移に基づいて前記検出対象物体の状態を認識する、処理をコンピュータに実行させるための状態認識プログラム。
11 検出条件設定手段
12 映像データ取得手段
13 認識状態決定手段
14 状態認識手段
15 通知手段
21 状態遷移設定手段
22 見え方設定手段
23 学習データ収集手段
24 学習データ生成手段
25 映り領域設定手段
31 状態遷移関係データ
32 カメラ情報
33 映像データ
34 各状態の画像データ
35 各状態の学習データ
36 映り領域データ
41 入力装置
42 出力装置
43 ドライブ装置
44 補助記憶装置
45 主記憶装置
46 CPU
47 ネットワーク接続装置
48 記録媒体
50,60 画像
61 切り出し領域
70 患者(検出対象物体)
71 ベッド
72 カメラ
73 映り領域
74 重複領域
81 認識動作決定手段
82 動作認識手段
Claims (6)
- 状態認識装置が、
撮影領域内の検出対象物体の位置を予め設定し、
設定された前記位置に対応する検出対象物体を識別するための画像データを用いて、撮影画像から前記検出対象物体を検出し、
検出結果の遷移に基づいて前記検出対象物体の状態を認識する状態認識方法であって、
前記検出対象物体が取り得る状態の遷移関係を予め設定し、
設定された前記状態の遷移関係に基づいて、認識した前記検出対象物体の状態に対して、次に遷移する状態を決定し、前回の検出位置で前記検出対象物体が検出されなかった場合に、決定した次に遷移する状態に対応させた前記検出対象物体の検出を行う、
ことを特徴とする状態認識方法。 - 前記検出対象物体の状態が認識できなかった場合に、最後に認識した状態と前記状態の遷移関係とを用いて、次に遷移する状態を決定し、決定した前記状態に対応させた前記検出対象物体の状態の認識を行うことを特徴とする請求項1に記載の状態認識方法。
- 状態認識装置が、
撮影領域内の検出対象物体の位置を予め設定し、
設定された前記位置に対応する検出対象物体を識別するための画像データを用いて、撮影画像から前記検出対象物体を検出し、
検出結果の遷移に基づいて前記検出対象物体の状態を認識する状態認識方法であって、
連続して撮影された撮影画像から、前記検出対象物体の動作の始点となる状態を認識し、前記動作の始点となる状態を認識した後に、前記動作の終点となる状態を認識し、前記始点となる状態と前記終点となる状態とに基づいて、前記検出対象物体の動作を認識する、
ことを特徴とする状態認識方法。 - 前記検出対象物体が取り得る動作の遷移関係を予め設定し、
設定された前記動作の遷移関係に基づいて、前記撮影画像内から取得した前記検出対象物体の動作に対して次に遷移する動作を決定し、決定した前記動作に対応させた前記検出対象物体の状態の認識を行うことを特徴とする請求項3に記載の状態認識方法。 - 状態認識装置が、
撮影領域内の検出対象物体の位置を予め設定し、
設定された前記位置に対応する検出対象物体を識別するための画像データを用いて、撮影画像から前記検出対象物体を検出し、
検出結果の遷移に基づいて前記検出対象物体の状態を認識する状態認識方法であって、
前記位置及び前記検出対象物体を検出するための領域は、前記撮影画像中の基準に対応した検出対象物体の動きに合せて設定されることを特徴とする状態認識方法。 - 撮影領域内の検出対象物体の位置を予め設定し、
設定された前記位置に対応する検出対象物体を識別するための画像データを用いて、撮影画像から前記検出対象物体を検出し、
検出結果の遷移に基づいて前記検出対象物体の状態を認識する状態認識装置であって、
前記検出対象物体が取り得る状態の遷移関係を予め設定する設定手段と、
設定された前記状態の遷移関係に基づいて、認識した前記検出対象物体の状態に対して、次に遷移する状態を決定し、前回の検出位置で前記検出対象物体が検出されなかった場合に、決定した次に遷移する状態に対応させた前記検出対象物体の検出を行う検出手段と
を有することを特徴とする状態認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014010629A JP6277736B2 (ja) | 2014-01-23 | 2014-01-23 | 状態認識方法及び状態認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014010629A JP6277736B2 (ja) | 2014-01-23 | 2014-01-23 | 状態認識方法及び状態認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015138460A JP2015138460A (ja) | 2015-07-30 |
JP6277736B2 true JP6277736B2 (ja) | 2018-02-14 |
Family
ID=53769392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014010629A Active JP6277736B2 (ja) | 2014-01-23 | 2014-01-23 | 状態認識方法及び状態認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6277736B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018005413A (ja) | 2016-06-29 | 2018-01-11 | 富士通株式会社 | 状況特定装置、状況特定プログラム、及び状況特定方法 |
JP2018147311A (ja) * | 2017-03-07 | 2018-09-20 | オムロン株式会社 | 画像処理装置、追跡方法、および追跡プログラム |
JP6822326B2 (ja) * | 2017-06-23 | 2021-01-27 | オムロン株式会社 | 見守り支援システム及びその制御方法 |
JP6822328B2 (ja) * | 2017-06-27 | 2021-01-27 | オムロン株式会社 | 見守り支援システム及びその制御方法 |
JP2020087040A (ja) * | 2018-11-27 | 2020-06-04 | アイホン株式会社 | 特定姿勢検出装置 |
JP6847462B2 (ja) * | 2018-12-26 | 2021-03-24 | 公立大学法人秋田県立大学 | モニタリング装置及び これを用いた見守りシステム |
JPWO2020145130A1 (ja) * | 2019-01-11 | 2020-07-16 | ||
US12046128B2 (en) | 2020-03-31 | 2024-07-23 | Nec Corporation | Monitoring device, monitoring method, and recording medium |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008052626A (ja) * | 2006-08-28 | 2008-03-06 | Matsushita Electric Works Ltd | 浴室異常検知システム |
JP5528151B2 (ja) * | 2010-02-19 | 2014-06-25 | パナソニック株式会社 | 対象物追跡装置、対象物追跡方法、および対象物追跡プログラム |
-
2014
- 2014-01-23 JP JP2014010629A patent/JP6277736B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015138460A (ja) | 2015-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6277736B2 (ja) | 状態認識方法及び状態認識装置 | |
JP7229174B2 (ja) | 人識別システム及び方法 | |
JP6137425B2 (ja) | 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム | |
US9990540B2 (en) | Operation estimation apparatus, robot, and operation estimation method | |
JP6666488B2 (ja) | 画像抽出装置 | |
JP6717235B2 (ja) | 見守り支援システム及びその制御方法 | |
JP6570786B2 (ja) | 動作学習装置、技能判別装置および技能判別システム | |
JP2020524850A (ja) | 被検者識別システム及び方法 | |
JP2010244089A (ja) | 人物検出装置、人物検出方法、及び人物検出プログラム | |
JP6584717B2 (ja) | 顔向き推定装置および顔向き推定方法 | |
JP6248780B2 (ja) | 脈波検出装置、脈波検出方法及び脈波検出プログラム | |
US10304184B2 (en) | Non-transitory computer readable recording medium storing program for patient movement detection, detection method, and detection apparatus | |
JP2012084012A (ja) | 画像処理装置、その処理方法及びプログラム | |
JP2020502642A (ja) | 患者識別システムおよび方法 | |
EP2639743A2 (en) | Image processing device, image processing program, and image processing method | |
JP2021531539A (ja) | 個人識別システムおよび方法 | |
JP6822326B2 (ja) | 見守り支援システム及びその制御方法 | |
WO2019009377A1 (ja) | 見守り支援システム及びその制御方法 | |
JP7214437B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2021144359A (ja) | 学習装置、推定装置、学習方法、及びプログラム | |
JP2007048232A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
JP2017041079A (ja) | 動作認識装置 | |
JP2014191479A (ja) | 顔認識装置、撮像装置、制御方法、及びプログラム | |
CN110415486B (zh) | 姿态判断方法、电子***以及非暂态电脑可读取记录媒体 | |
JP5713655B2 (ja) | 映像処理装置、映像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161004 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6277736 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |