以下、図面に基づいて、本発明の実施形態について詳細に説明する。
図1に、状態検知装置の一実施形態を示す。図1に例示した状態検知装置10は、画像処理部12と、判別部13と、出力部14とを含んでいる。図1に例示した出力部14は、通知処理部15とスピーカ16とを含んでいる。
状態検知装置10は、例えば、状態検知の対象者Pが起居するベッド1に近接して配置されてもよい。状態検知装置10の画像処理部12には、カメラ2によって撮像された画像が入力される。なお、状態検知装置10は、カメラ2およびベッド1から離れた場所に設置されてもよい。
カメラ2は、図1に示すように、撮像のための光学系の光軸がベッド1の長手方向に一致するように配置することが望ましい。この場合に、カメラ2の撮像方向は、図1に符号Drで示すようになり、カメラ2は、ベッド1上の対象者を主に背後から撮像する。そして、このように配置されたカメラ2の撮像範囲R1は、ベッド1の対象者Pがベッド1上で起居する際の動作で移動する範囲とほぼ一致させることができる。なお、対象者Pがベッド1上で起居する際の動作には、この対象者Pが、ベッド1上で起き上がる動作や、ベッド1の端に移動する動作が含まれる。
カメラ2は、例えば、所定のフレームレートで上述した撮像範囲R1についての撮像を行う。撮像された各フレームの画像は、画像処理部12に順次に送られる。画像処理部12は、各フレームの画像の全てまたは一部に基づいて、上述した対象者Pの像の移動方向を検出する。画像処理部12は、例えば、次のようにして対象者Pの移動方向を検出する。
まず、画像処理部12は、個々の画像から、対象者Pの像を検出する。対象者Pの像の検出には、例えば、輪郭抽出技術や被写体認識技術など、様々な公知技術が適用される。次に、画像処理部12は、画像から検出された対象者Pの像の位置を比較することにより、対象者Pの移動方向を検出する。
画像処理部12によって、各画像について検出された対象者Pの移動方向は、判別部13に渡される。なお、画像処理部12は、対象者Pの像が検出されなかった画像については、例えば、対象者Pが撮像範囲に捉えられていない旨を判別部13に通知する。
判別部13は、新たな画像に対応して通知された移動方向と、対象者Pの過去の状態とに基づいて、対象者Pの現在の状態を判別する。判別部13による対象者Pの現在の状態を判別する処理については後述する。
判別部13によって判別された対象者Pの現在の状態を示す情報は、出力部14に含まれる通知処理部15に渡される。通知処理部15は、受け取った情報で示される状態が通知対象の状態であるか否かを判定する。通知対象の状態は、予め、通知処理部15に設定しておくことができる。そして、対象者Pの現在の状態が通知対象の状態と一致したときに、通知処理部15は、例えば、スピーカ16を介して音声メッセージあるいはアラーム音声を出力することにより、看護士あるいは介助者に対象者Pの状態を通知する。
次に、判別部13が、対象者Pの現在の状態を判別する処理について説明する。以下に説明する例では、判別部13は、対象者Pのベッド1上での姿勢あるいは対象者Pとベッド1との位置から、対象者Pの状態を複数種類に区別して判別する。
対象者Pの状態は、例えば、着床状態、起床状態、離床状態および不在状態のいずれかである。着床状態は、対象者Pがベッド1上に横になっている状態である。また、起床状態は、対象者Pがベッド1上で起き上がっている状態である。離床状態は、対象者Pがベッド1の端部にいる状態である。離床状態は、対象者Pがベッド1の端に腰掛けている状態、ベッド1にサイドレールが設置されている場合はこれを跨いでいる状態、およびベッド1の脇に立っている状態を含む。不在状態は、対象者Pがベッド1から離れている状態である。これらの4つの状態は、ベッド1上の対象者Pの動作の始点あるいは分岐点に対応している。したがって、これらの状態は、対象者Pを見守る上で、看護士あるいは介助者に通知する状態として適している。
図2に、対象者Pの状態と対象者Pの像の移動方向との関係を説明する図を示す。図2(A),(C),(E)は、図1を用いて説明したカメラ2による撮像で得られた画像の例である。また、図2(B),(D),(F)は、図2(A),(C),(E)に示した各画像が撮像された際に対象者Pがとっている姿勢の例である。なお、図2(B),(D),(F)において、カメラ2の撮像方向は符号Drで示される。
図2(A),(C),(E)に示した例では、撮像範囲R1の内側に検知領域R2が設けられている。図2(A),(C),(E)の例では、検知領域R2は、太い実線で囲まれた台形の領域である。そして、この検知領域R2は、図2において点線で示した境界線BL,BRにより、3つの領域に分けられている。以下の説明では、検知領域R2のうち、境界線BLと境界線BRとに挟まれた矩形の領域を中央部と称する。また、検知領域R2のうち、境界線BLよりも左側の領域を左端部、境界線BRよりも右側の領域を右端部とそれぞれ称する。
図2(B)は、対象者Pが着床状態である例を示している。着床状態では、図2(A)に示したように、対象者Pの像は撮像範囲R1の中には現れない。なお、対象者Pの像を含まない画像は、対象者Pが不在状態である場合にも、カメラ2によって取得される。したがって、図2(A)に示したように、対象者Pの像が含まれない画像が得られた場合に推定される対象者Pの状態は、着床状態と不在状態とのいずれかである。
一方、図2(D)は、対象者Pがベッド1上で起き上がろうとしている場面を表している。図2(D)に示す矢印は、ベッド1上の対象者Pの移動方向を示している。このとき、図2(C)に示したように、対象者Pの像は検知領域R2の中央部に含まれている。そして、画像処理部12は、対象者Pが起き上がろうとしている過程で撮像された画像から、図2(C)の符号V1に示すように、画面の下から上に向かう移動方向を検出する。
また、図2(F)は、対象者Pがベッド1の端に腰掛けた状態から立ち上がろうとしている場面を表している。このとき、図2(E)に示したように、対象者Pの像は、検知領域R2の左側の領域に含まれている。ここで、ベッド1上に起き上がっていた対象者Pがベッドの端に腰掛けた状態に移行するまでの間に、対象者Pの像は、検知領域R2の中央部分からベッド1の端に対応する左端部に移動する。また、ベッド1に腰掛けた状態から対象者Pが立ち上がろうとする際には、対象者Pは、体を前に傾ける動作を行う場合が多い。したがって、図2(E)に示した画像の前後に撮像された画像から、画像処理部12は、図2(E)の符号V2に示すように、画面の右から左へ向かう移動方向を検出する。
図2に示した例から分かるように、対象者Pがベッド1上で姿勢を変えていく過程と、対象者Pとベッド1との位置関係が変化する過程は、互いに関連している。つまり、着床状態の対象者Pが不在状態になる過程や、逆に、不在状態だった対象者Pが着床状態になるまでの過程は、いくつかの途中の状態を経由する状態遷移として捉えることができる。
そして、例えば、対象者Pの状態が着床状態から起床状態に遷移する間に、画像処理部12は、図2(C)に示したように、検知領域R2内で対象者Pの像について上のほうへ向かう移動方向V1を検出する。逆に、対象者Pの状態が起床状態から着床状態に遷移する間に、画像処理部12は、図2(C)の例とは逆に、対象者Pの像について、検知領域R2の内部から検知領域R2の下側の境界を越えて検知領域R2の外部へ向かう移動方向を検出する。また、対象者Pの状態が起床状態から離床状態に遷移する間に、画像処理部12は、図2(E)に示したように、対象者Pの像について、検知領域R2の中央部から左端部あるいは右端部に向かう移動方向V2を検出する。逆に、対象者Pの状態が離床状態から起床状態に遷移する間に、画像処理部12は、図2(E)の例とは逆に、対象者Pの像について、検知領域R2の左端部あるいは右端部から中央部に向かう移動方向を検出する。一方、対象者Pの状態が離床状態から不在状態に遷移する間に、画像処理部12は、対象者Pの像について、検知領域R2の左端部あるいは右端部から検知領域R2の対応する側の境界を超えて検知領域R2の外部に向かう移動方向を検出する。そして、対象者Pの状態が不在状態から離床状態に遷移する間に、画像処理部12は、対象者Pの像について、検知領域R2の外部から検知領域R2の左端部あるいは右端部に向かう移動方向を検出する。なお、対象者Pがベッド1の端に腰掛けた位置の付近で横になる場合もある。このように、対象者Pの状態が離床状態から着床状態に遷移する間に、画像処理部12は、対象者Pの像について、検知領域R2の左端部あるいは右端部から検知領域R2の下側の境界を越えて検知領域R2の外部に向かう移動方向を検出する。
このように、上述した4つの状態間の状態遷移と、画像処理部12が検出する対象者Pの移動方向には相関関係がある。したがって、対象者Pの現在の状態は、対象者Pについて既に特定されている過去の状態と対象者Pの像の移動方向との組み合わせに基づいて一意に特定可能である。
判別部13は、上述した相関関係を利用して、対象者Pの過去の状態と新たに検出された移動方向との組み合わせに基づいて、対象者Pの現在の状態を判別する。過去の状態と対象者Pの移動方向とを組み合わせた判断基準のセットは、例えば、各状態について、判別部13内に予め設定しておくことができる。
図3に、過去の状態ごとの判断基準の例を示す。図3に示した判断基準は、上述した状態遷移と検出される移動方向との対応関係を表にまとめたものである。
図3に示した例では、対象者Pの現在の状態として起床状態を判別する判断基準は2通りである。1つは、「過去の状態が着床状態である」ことと「検知領域R2の下側の境界を越えて上向きに検知領域R2内へ向かう移動方向が検出された」ことの組み合わせである。もう一つは、「過去の状態が離床状態である」ことと「検知領域R2の左端部あるいは右端部から検知領域R2の中央部へ向かう移動方向が検出された」ことの組み合わせである。
同様に、図3に示した例では、対象者Pの現在の状態として着床状態を判別する判断基準も2通りである。1つは、「過去の状態が起床状態である」ことと「検知領域R2の下側の境界を越えて下向きに検知領域R2の外部へ向かう移動方向が検出された」ことの組み合わせである。もう一つは、「過去の状態が離床状態である」ことと「検知領域R2の下側の境界を越えて下向きに検知領域R2の外部へ向かう移動方向が検出された」ことの組み合わせである。
また、図3に示した例では、対象者Pの現在の状態として離床状態を判別する判断基準も2通りである。1つは、「過去の状態が起床状態である」ことと「検知領域R2の中央部から左端部あるいは右端部に向かう移動方向が検出された」ことの組み合わせである。もう一つは、「過去の状態が不在状態である」ことと「検知領域R2の外部から検知領域R2の左端部あるいは右端部に向かう移動方向が検出された」ことの組み合わせである。
一方、図3に示した例では、対象者Pの現在の状態として不在状態を判別する判断基準は、「過去の状態が離床状態である」ことと「検知領域R2の左端部あるいは右端部から検知領域R2の外部へ向かう移動方向が検出された」ことの組み合わせである。
判別部13の判別処理に、過去の状態と対象者Pの像の移動方向とを組み合わせた判断基準を用いることにより、次のような例で、誤った判別結果の出力を避けることができる。
画像処理部12は、例えば、対象者P以外の物体の移動に応じて、検知領域R2の中央部から左端部あるいは右端部へ向かう移動方向を検出する可能性がある。このような検出結果は、カーテンが揺れた場合や、他の人物がベッド1付近を通る動作などに伴って、画像処理部12から得られる。この場合に、検出された移動方向は、対象者が離床状態となる際に検出される移動方向に一致している。しかし、対象者Pの過去の状態が着床状態であったことは、離床状態を判別するための条件を満たしていない。したがって、移動方向と過去の状態とを組み合わせた判断基準を採用した判別部13によれば、上述した例について、対象者Pの状態が誤って離床状態と判別されることはない。
また、図3に例示した判断基準のセットでは、対象者Pが起床状態および離床状態であることを判別する際に用いる判断基準に含まれる移動方向が、過去の状態ごとに明らかに異なっている。
例えば、起床状態の判別に用いられる判断基準のうち、過去の状態が着床状態である場合に組み合わせられる移動方向は画像の下から上に向かう方向である。これに対して、起床状態の判別に用いられる判断基準のうち、過去の状態が離床状態である場合に組み合わせられる移動方向は画像の左右方向である。このように、明確に異なる移動方向を、対応する過去の状態の種類と組み合わせた判断基準を用いることにより、判別部13は、対象者Pの現在の状態をより正確に判別することができる。つまり、図3に例示した判断基準のセットを適用した判別部13によれば、起床状態と離床状態とをより正確に判別することができる。
このように、移動方向と過去の状態とを組み合わせた判断基準を判別部13の判別処理に適用することにより、対象者Pの現在の状態が誤って判別される確率を低減することができる。つまり、移動方向と過去の状態とを組み合わせた判断基準を用いることにより、判別部13は、対象者Pの状態を、高い精度で確実に判別することができる。
そして、判別部13によって得られた対象者Pの現在の状態を示す情報を、出力部14によって出力することにより、看護士や介助者など、対象者のケアを担当する人々に正確な情報を通知することができる。
このように、本件開示の状態検知装置によれば、対象者Pの状態を高い精度で確実に検知することができる。そして、対象者Pの状態を正確な判別を可能としたことにより、対象者Pについて誤って異常な状態である旨を通知してしまうこと、すなわち、誤検知を低減することができる。つまり、本件開示の状態検知装置によれば、誤検知を低減することにより、対象者のケアを担当する人々を無用に煩わせる事態の発生を防ぐことができる。これにより、対象者のケアを担当する人々の作業負担を軽減することができる。
また、図1に例示した状態検知装置10は、例えば、プロセッサとメモリとを含む小規模のコンピュータシステムを用いて実現可能である。また、図1に開示した状態検知装置10に画像を入力するカメラ2の撮像方向は、ベッド1の長手方向であるので、カメラ2は、例えば、ベッド1のヘッドボードや壁などに取り付けられる。このような場所に設置されたカメラ2は、対象者Pおよび看護士あるいは介助者の動作の邪魔になりにくい。しかも、このように設置されたカメラ2によれば、ベッド1上で対象者Pが移動する範囲を漏れなく撮像することが可能であるので、他のカメラの設置を必要としない。したがって、本件開示の状態検知装置10を導入するために、病室あるいは居室に新たに配置される機器は、小規模である。小規模のコンピュータシステムを用いて実現された状態検知装置10は、例えば、上述したカメラ2とともに、ベッド1のヘッドボード内への埋め込みが可能な程度に小型化することも可能である。
更に、ベッド1の長手方向を撮像方向とするカメラ2によって撮像された画像では、例えば、対象者Pが起き上がる動作と、対象者Pがベッド1の端に移動する動作とに応じて、対象者Pの像が明らかに異なる方向に移動する。このような画像に基づいて、画像処理部12は、対象者Pの様々な動作に対応して、明確に異なる移動方向を検出することができる。
また、上述した着床状態、起床状態、離床状態および不在状態間の状態遷移について状態遷移図を作成することもできる。そして、判別部13は、この状態遷移図に基づいて、判別処理を行ってもよい。
図4に、対象者に関する状態遷移図の例を示す。図4に例示した状態遷移図では、着床状態、起床状態、離床状態および不在状態の4つの状態間で想定される遷移は、符号T1〜T7を付した矢印によって示されている。
図4に符号T1を付して示した状態遷移T1は、対象者Pの状態が着床状態から起床状態に向かう遷移を示している。この状態遷移T1の条件は、この対象者Pの像について、検知領域R2の下側の境界を越えて上向きに検知領域R2内へ向かう移動方向が、画像処理部12によって検出されることである。
また、図4に符号T2を付して示した状態遷移T2は、対象者Pの状態が離床状態から起床状態に向かう遷移を示している。この状態遷移T2の条件は、この対象者Pの像について、検知領域R2の左端部あるいは右端部から中央部へ向かう移動方向が、画像処理部12によって検出されることである。
一方、図4に符号T3を付して示した状態遷移T3は、対象者Pの状態が起床状態から着床状態に向かう遷移を示している。この状態遷移T3の条件は、この対象者Pの像について、検知領域R2の下側の境界を越えて下向きに検知領域R2の外部に向かう移動方向が、画像処理部12によって検出されることである。
また、図4に符号T4を付して示した状態遷移T4は、対象者Pの状態が離床状態から着床状態に向かう遷移を示している。この状態遷移T4の条件は、この対象者Pの像について、検知領域R2の下側の境界を越えて下向きに検知領域R2の外部に向かう移動方向が、画像処理部12によって検出されることである。
また、図4に符号T5を付して示した状態遷移T5は、対象者Pの状態が起床状態から離床状態に向かう遷移を示している。この状態遷移T5の条件は、この対象者Pの像について、検知領域R2の中央部から左端部あるいは右端部に向かう移動方向が、画像処理部12によって検出されることである。なお、対象者Pが離床する際に降りる側が限定されている場合には、離床が可能な側に対応する検知領域R2の範囲に向かう移動方向の検出を、状態遷移T5の条件とすることもできる。例えば、ベッド1の右側にサイドレールなどが設置されていれば、設置されていない左側に対応する検知領域R2の左端部に向かう移動方向の検出を、選択的に、状態遷移T5の条件とすることができる。
また、図4に符号T6を付して示した状態遷移T6は、対象者Pの状態が不在状態から離床状態に向かう遷移を示している。この状態遷移T6の条件は、この対象者Pの像について、検知領域R2の外部から検知領域R2の左端部あるいは右端部に向かう移動方向が、画像処理部12によって検出されることである。
そして、図4に符号T7を付して示した状態遷移T7は、対象者Pの状態が離床状態から不在状態に向かう遷移を示している。この状態遷移T7の条件は、この対象者Pの像について、検知領域R2の左端部あるいは右端部から外部に向かう移動方向が、画像処理部12によって検出されることである。
図4に例示した状態遷移図は、図3に例示した判断基準のセットと同等である。判別部13は、この状態遷移図に従って、過去の状態からの状態遷移に対応する条件に基づいて、対象者Pの現在の状態を判別する。
図4に例示した4つの状態のうち、起床状態および離床状態は、それぞれベッド1上の対象者Pの動作の分岐点に対応している。そして、起床状態を始点とする状態遷移T3,T5に対応する条件で示される移動方向は明確に異なる。同様に、離床状態を始点とする状態遷移T2,T7に対応する条件で示される移動方向も明確に異なる。
したがって、判別部13は、過去の状態が対象者Pの動作の分岐点に相当する場合に、明確に異なる移動方向のどちらが画像処理部12によって検出されたかによって、過去の状態を始点とする状態遷移のどちらが発生したかを判別することができる。
例えば、対象者Pの過去の状態が起床状態のときに、画像処理部12により、検知領域R2の中央部から左端部あるいは右端部に向かう移動方向が検出された場合に、判別部13は、上述した状態遷移T5が発生したと判断する。この場合に、判別部13は、対象者Pの現在の状態として離床状態を判別する。一方、対象者Pの過去の状態が起床状態のときに、検知領域R2の下側の境界を越えて下向きに検知領域R2の外部に向かう移動方向が検出された場合に、判別部13は、上述した状態遷移T3が発生したと判断する。この場合に、判別部13は、対象者Pの現在の状態として着床状態を判別する。
このようにして、判別部13は、状態遷移図を辿って対象者Pの現在の状態を判別する。このような判別部13は、過去の状態ごとに異なる基準として、当該過去の状態を始点とする状態遷移に対応する対象者Pの移動方向が検出されるか否かを用いる判別部の一例である。そして、このような判別部13は、過去の状態を始点とする少なくとも一つの状態遷移それぞれに対応する対象者Pの移動方向が検出されるか否かに基づいて、これらの状態遷移のどれが発生したかを確実に判断することができる。また、この判断結果に基づいて、判別部13は、対象者Pの現在の状態を確実に判別することができる。
次に、図1に例示した状態検知装置10により、どのようにして、ベッド1上の対象者Pの状態を見守り、看護士や介助者への通知を行うかについて説明する。
図5に、状態検知装置の動作を表す流れ図を示す。
ステップ301で、判別部13に対して、対象者Pの初期状態を設定する処理と、通知処理部15に対して、通知対象の状態を設定する処理が行われる。ステップ301で設定された対象者Pの初期状態は、過去の状態として、判別部13の内部に保持される。また、通知対象の状態は、通知処理部15内部に保持される。
次に、カメラ2によって画像が取得されるごとに(ステップ302)、画像処理部12は、対象者Pの像の検出を行う(ステップ303)。なお、画像処理部12は、カメラ2によって所定数のフレームの画像が撮像されるごとに1フレームの画像を受け取って、対象者Pの検出を行ってもよい。次いで、ステップ304で、画像処理部12は、対象者Pの像の検出が成功したか否かを判定する。
新たに取得された画像の検知領域R2から対象者Pの像を検出した場合に(ステップ304の肯定判定)、画像処理部12は、更に、対象者Pの像の移動方向を検出する(ステップ305)。画像処理部12は、例えば、新たなフレームの画像と直前のフレームの画像との比較に基づいて、対象者Pの像の移動方向を検出してもよい。また、新たな画像とそれに先立って取得された複数の画像とに基づいて、対象者Pの像の移動方向を検出することもできる。
ステップ305で、画像処理部12により検出された移動方向は、判別部13に渡される。一方、ステップ304の否定判定の場合に、画像処理部12は、対象者Pの像の検出に失敗した旨を判別部13に通知する。
ステップ307で、判別部13は、画像処理部12から受け取った検出結果と判別部13の内部に保持された過去の状態と上述した状態遷移図とに基づいて、対象者Pの現在の状態を判別する。このとき、判別部13は、内部に保持された過去の状態を始点とする状態遷移の条件と、画像処理部12から受け取った検出結果とを照合することにより、その状態遷移が起こったか否かを判断することができる。例えば、過去の状態として着床状態が判別部13に保持されている場合に、判別部13は、画像処理部12から受け取った検出結果と、図4に示した状態遷移T1の条件とを照合する。そして、画像処理部12から状態遷移T1の条件と一致する移動方向を受け取っている場合に、判別部13は、対象者Pの現在の状態は起床状態であると判別する。一方、画像処理部12から受け取った移動方向と状態遷移T1の条件とが一致しない場合に、判別部13は、対象者Pの現在の状態は過去の状態と同じ着床状態であると判別する。
次いで、判別部13は、ステップ307で得られた現在の状態が過去の状態から変化しているか否かを判定する(ステップ308)。そして、判別部13は、状態変化があったと判定した場合に(ステップ308の肯定判定)、現在の状態を、出力部14の通知処理部15に通知する。
通知処理部15は、判別部13から通知された対象者Pの現在の状態が、ステップ301で通知処理部15の内部に保持された通知対象の状態と一致するか否かを判定する(ステップ309)。対象者Pの現在の状態と、通知対象の状態とが一致しない場合に(ステップ309の否定判定)、通知処理部15は、対象者Pの現在の状態を通知する処理は行わない。そして、この場合に、判別部13は、以降の処理で過去の状態として用いるために、対象者Pの現在の状態を内部に保持する(ステップ310)。その後、処理は、ステップ302に戻って、新たに撮像された画像についての処理が開始される。
一方、判別部13から通知された対象者Pの現在の状態と、通知対象の状態とが一致する場合に(ステップ309の肯定判定)、通知処理部15は、対象者Pの現在の状態を示す情報を通知する処理を行う(ステップ311)。このとき、図1に例示した通知処理部15は、スピーカ16を介して予め通知処理部15の内部に設定されていた音声メッセージやアラーム音声などを出力する。なお、スピーカ16を介した音声出力を行う代わりに、通知処理部15は、ナースコールシステムなどの既存の通知システムを利用して、対象者Pの状態が通知対象の状態に移行した旨の通知を出力してもよい。
上述したようにして、本件開示の状態検知方法に従って、ベッド1上の対象者Pの現在の状態を判別し、この判別結果を出力することができる。なお、図5に示した流れ図において、ステップ302は、対象者Pを撮像して得られた画像を入力する手順の一例である。また、ステップ303〜ステップ306は、対象者Pの移動方向を検出する手順の一例である。そして、ステップ307およびステップ310は、対象者Pの現在の状態を判別する手順の一例である。また、ステップ308〜ステップ309およびステップ311は、対象者Pの現在の状態を示す情報を出力する手順の一例である。
次に、本件開示の状態検知装置の様々な実施形態について説明する。
図6に、本件開示の状態検知装置の別実施形態を示す。なお、図6に示した構成要素のうち、図1に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
図6に示す状態検知装置20は、カメラインタフェース(IF:Interface)21と、ナースコールインタフェース(IF)23と、プロセッサ24と、メモリ25とを含んでいる。プロセッサ24と、カメラIF21と、ナースコールIF23と、メモリ25とは、バスを介して接続されている。また、カメラIF21は、カメラ2に接続されている。ナースコールIF23は、ナースコールシステム4に接続されている。
図6に示したメモリ25には、画像認識プログラム26と状態判別プログラム27と通知判定プログラム28とが格納されている。画像認識プログラム26を読み込んで、このプログラムに従って動作するプロセッサ24は、画像処理部12の別実施形態である。同様に、状態判別プログラム27を読み込んで、このプログラムに従って動作するプロセッサ24は、判別部13の別実施形態である。また、通知判定プログラム28を読み込んで、このプログラムに従って動作するプロセッサ24と通知IF23およびナースコールシステム4は、通知処理部15の別実施形態である。
図6に示した照明部3は、例えば、近赤外領域の赤外光によって、ベッド1上の対象者Pを照明する。なお、図6において、照明部3によって照明される範囲を符号R3で示した。照明部3によって照明される範囲R3は、カメラ2の撮像範囲を含んでいることが望ましい。カメラ2は、照明部3による照明光の波長を含む範囲に感度を有する。照明制御部5は、カメラ2による撮像に同期して照明部3による照明光を点滅させる。例えば、照明制御部5は、カメラ2によって奇数フレームの撮像が行われる際に照明光を点灯させとし、偶数フレームの撮像が行われる際には消灯させるように、照明部3を制御する。このようにして、1フレームおきに近赤外領域の光によって照明された対象者Pの画像を取得することができる。このようにして取得された画像は、カメラIF21を介してプロセッサ24に渡される。
上述したようにして、1フレームおきに近赤外領域の光によって照明された対象者Pの画像を受け取るようにした状態検知装置20は、夜間に対象者Pの状態を検知する際に有用である。以下、照明光の点滅を利用して、対象者Pの像を検出する処理および検出した対象者Pの像に基づいて、対象者Pの移動方向を検出する処理について説明する。
図7に、対象者Pの像を検出する処理を説明する図を示す。また、図8に、対象者Pの像を検出する処理を表す流れ図を示す。また、図9に、対象者の移動方向を検出する処理を説明する図を示す。
図7(A)に、照明部3による照明を点灯した状態でカメラ2によって撮像された画像の例を示す。また、図7(B)に、照明部3による照明を消灯した状態でカメラ2によって撮像された画像の例を示す。
ベッド1上の対象者Pは、ベッド1などの周囲の物体に比べて、照明部3に近い位置にいる。このため、図7(A)の例では、対象者Pの像の輝度は、図7(B)の例と比べて高くなっている。一方、ベッド1などの周囲の物体と照明部3との距離は、照明部3と対象者Pとの距離に比べて大きい。このため、対象者Pの図7(A)の例と図7(B)の例との間での輝度の変化と比較して、これらの物体の像の明るさの変化は少ない。
このため、照明を点灯して撮像した画像と照明を消灯して撮像した画像とを用いて作成した差分画像では、図7(C)に示すように、対象者Pの像は、それ以外の物体の像との明るさの差が強調されたものとなる。このような差分画像から、例えば、所定の閾値以上の明るさを持つ領域を抽出することにより、対象者Pの像を容易に抽出することができる。なお、図7(A)〜(C)においては、検知領域R2の境界を白線で示した。
図8に示した流れ図は、画像認識プログラム26のうち、対象者Pの像を検出する処理にかかわる手順を示している。図8に示した各ステップは、画像認識プログラム26を読み込んだプロセッサ24によって実行される。
ステップ321およびステップ322で、プロセッサ24は、カメラIF21を介して、照明を点灯した状態と消灯した状態でそれぞれ撮像された画像を取得する。次いで、プロセッサ24は、ステップ321,322で取得した2フレームの画像から、差分画像を生成する(ステップ323)。次に、プロセッサ24は、差分画像から明るさが所定の閾値以上である領域を抽出する(ステップ324)。
抽出した領域の面積が別の所定の閾値未満である場合に(ステップ325の否定判定)、プロセッサ24は、対象者Pの像の検出が失敗した旨を出力する(ステップ327)。この場合に、プロセッサ24は、状態判別プログラム27に基づいて、対象者Pの状態を判別する処理を開始する。
一方、抽出した領域の面積が別の所定の閾値以上である場合に(ステップ325の肯定判定)、プロセッサ24は、対象者Pの像の検出が成功した旨を出力する(ステップ326)。この場合に、プロセッサ24は、対象者Pの移動方向を検出する処理を開始する。
1フレームおきに照明された対象者Pの画像の入力を受ける場合に、状態検知装置20は、上述したステップ321からステップ327に示したように、対象者Pの像を簡略な処理によって検出することができる。
このようにして抽出された対象者Pの像について、次のような処理を行うことにより、対象者Pの移動方向を検出することができる。
図9(A),(C)は、ベッド1上で起き上がろうとしている際に、対象者Pがとりうる姿勢の例を表している。図9(B),(D)は、それぞれ、対象者Pが図9(A),(C)に示したような姿勢をとっているときに、カメラ2によって撮像される画像から生成される差分画像の例である。なお、図9(A)、(C)において矢印を付して示した範囲は、カメラ2の撮像範囲に含まれる検知領域R2の上下方向の範囲に対応する。また、図9(B),(D)の例では、対象者Pの像に網掛けを付して示した。
図9(A)は、対象者Pが頭をわずかに持ち上げた姿勢の例である。このときに、カメラ2による撮像画像から得られる差分画像には、図9(B)に示すように、検知領域R2内に、対象者Pの後頭部に対応する像の一部がわずかに含まれる。
図9(C)は、対象者Pが半ば起き上がった姿勢の例である。このときに、カメラ2による撮像画像から得られる差分画像には、図9(D)に示すように、検知領域R2内に、対象者Pの後頭部の像と、対象者Pの上半身に対応する像の一部が含まれる。
そして、対象者Pの移動方向は、例えば、各差分画像において対象者Pの像として検出された部分の重心の移動から求めることができる。例えば、図9(B)、(D)に示した差分画像が順に得られた場合に、プロセッサ24は、次のようにして、対象者Pの移動方向を求めればよい。まず、プロセッサ24は、各差分画像に基づいて、対象者Pの像に相当する部分の重心位置を求める。そして、図9(B)に示した差分画像から求めた重心位置から、図9(D)に示した差分画像から求めた重心位置に向かう移動方向を検出すればよい。このようにして、プロセッサ24は、図9(B),(D)に示した差分画像に基づいて、検知領域R2の下側の境界から検知領域R2に入る移動方向を検出する。
なお、上述したように、近赤外領域の照明光を用いる場合には、対象者Pの毛髪が黒色である場合などに、対象者Pの後頭部が差分画像にはっきり現れないこともある。しかし、後頭部に対応する像が検出されない場合でも、対象者Pの上半身の一部がカメラ2の撮像範囲に入ったときに、対象者Pの上半身の像が差分画像に現れる。そして、対象者Pの上半身の像を含む差分画像について、上述したような処理を行うことにより、プロセッサ24は、上半身の一部に対応する像の重心位置の移動から、対象者Pの移動方向を検出することができる。また、プロセッサ24は、対象者Pの像の位置の変化を検出する方法であれば、どのような方法でも、対象者Pの移動方向を検出する処理に利用してよい。
ところで、近赤外光は、人間の視覚では感知されにくい。しかも、図6に例示した照明部3およびカメラ2は、主として、対象者Pの背後から照明および撮像を行うので、対象者Pに監視されているという印象を持たせることなく、この対象者Pの状態を見守ることができる。
また、上述した差分画像を用いて対象者Pの像を検出する手法は、夜間の見守りのみならず、日中の見守りにおいても有用である。なぜなら、上述したようにして差分画像を生成する過程で、照明部3以外の光による物体の像はキャンセルされ、照明部3からの光による像だけを抜き出す事ができ、上述したような夜間の見守りの場合と同様の処理で対象者Pを抽出する事ができるからである。例えば、ベッド1の足元側を通る別の人物や仕切りのカーテンなどの対象者Pと紛らわしい物体の像は、差分画像を生成する過程で照明部3以外の光による像がキャンセルされ、かつ照明部3から距離が大きいため、照明部3の光による像は、対象者Pの像と容易に区別することができる明るさとなる。これにより、上述したような差分画像に基づいて対象者Pの像を検出する場合には、対象者P以外の人物の像の影響による誤検出を低減することができる。
なお、画像認識プログラム27は、例えば、上述した差分画像を用いて対象者Pの像を検出する手法と、可視光を用いて撮像された画像について被写体認識を行って対象者Pの像を検出する手法との両方を含むことも可能である。また、上述したカメラ2に代えて、遠赤外領域に感度を有するカメラを用いてもよい。この場合は、遠赤外線用のカメラを用いて取得した温度画像から、人間の体温に相当する温度の領域を抽出することによって、対象者Pの像を検出することができる。また、カメラ2の側で、上述したような差分画像を生成する処理を行ってもよい。この場合は、生成された差分画像が、カメラIF21を介してプロセッサ24に渡される。
次に、ベッド上の対象者Pを撮像して得られる画像から、更に、対象者Pの状態を判別する指標として有用な情報を抽出する方法について説明する。
図10に、対象者の体の向きを検出する処理を説明する図を示す。図10(A),(C)は、ベッド1上にいる対象者Pがとりうる姿勢の例を表している。図10(B),(D)は、それぞれ、対象者Pが図10(A),(C)に示した姿勢をとっているときに、カメラ2によって撮像される画像から生成される差分画像の例である。なお、図10(A)、(C)において矢印を付して示した範囲は、カメラ2の撮像範囲に含まれる検知領域R2の上下方向の範囲に対応する。また、図10(B),(D)の例では、対象者Pの像に網掛けを付して示した。
図10(A)は、対象者Pがベッド1上で起き上がった姿勢の例である。このときに、カメラ2による撮像画像から得られる差分画像には、図10(B)に示すように、検知領域R2中央部に、対象者Pの後頭部と上半身の背面に対応する像が含まれている。
図10(C)は、対象者Pがベッド1の端に腰掛けている姿勢の例である。このときに、カメラ2による撮像画像から得られる差分画像には、図10(D)に示すように、検知領域R2左側に、対象者Pの側頭部の像と、対象者Pの上半身の側面に対応する像の一部が含まれる。
図10(A)、(C)の比較から分かるように、対象者Pがベッド1上で起床しているときと、ベッド1の端に腰掛けているときとでは、体の向きが異なっている。そして、このような体の向きの違いは、図10(B),(D)に示す差分画像に含まれる対象者Pの上半身に対応する像の形状の違いとして反映されている。このような形状の違いは、例えば、上半身に対応する像の上下方向のサイズと左右方向のサイズの比によって表すことができる。なお、図10(B),(D)において、対象者Pの上半身に対応する像のうち、検知領域R2に含まれている部分の上下方向のサイズおよび左右方向のサイズを、それぞれ符号a、bで示す。
したがって、例えば、以下に示す3つの処理をプロセッサ24が実行することにより、差分画像に含まれている対象者Pの像の形状に基づいて、対象者Pの体の向きを検出することができる。
まず、プロセッサ24は、差分画像に含まれている対象者Pの像のうち、対象者Pの上半身に対応する部分について、上下方向および左右方向のサイズa,bを取得する。次いで、プロセッサ24は、例えば、上下方向のサイズaを左右方向のサイズbで除算して縦横比cを求める。次に、プロセッサ24は、この縦横比cと所定の閾値Thとを比較し、この比較結果に応じて、対象者Pの体の向きを判定する。例えば、縦横比cが所定の閾値Thよりも大きい場合に、プロセッサ24は、対象者Pはカメラ2に対して側面を向けていると判定することができる。この場合に、プロセッサ24は、対象者Pの体の向きは横向きであると判定する。逆に、縦横比cが所定の閾値Thよりも小さい場合に、プロセッサ24は、対象者Pはカメラ2に対して背中あるいは正面を向けている判定することができる。この場合に、プロセッサ24は、対象者Pの体の向きは正面であると判定する。なお、上述した閾値Thの値は、例えば、様々な対象者の正面向きの像について求めた縦横比と、様々な対象者の側面向きの像について求めた縦横比とに基づいて決定すればよい。また、上述したように、対象者Pの像の縦横比に基づいて、対象者の体の向きを判定する処理の対象は、上述した差分画像に限られない。例えば、プロセッサ24は、可視光を用いて撮像された画像から検出された対象者Pの像について、縦横比に基づいて対象者の体の向きを判定する処理を行うこともできる。
そして、上述したようにして得られた対象者Pの体の向きは、次のようにして、対象者Pの状態を判別する処理に利用することができる。
図10(A),(B)に示した例から分かるように、起床状態では、ベッド1上の対象者Pは正面向きである可能性が高い。したがって、起床状態に向かう状態遷移T1,T2を判定する条件に、対象者Pの体の向きが正面向きであることをアンド条件として追加することが望ましい。
一方、図10(C),(D)に示した例から分かるように、離床状態では、ベッド1上の対象者Pは横向きである可能性が高い。したがって、離床状態に向かう状態遷移T5,T6を判定する条件に、対象者Pの体の向きが横向きであることをアンド条件として追加することが望ましい。
図11に、体の向きを考慮した遷移条件の例を示す。図11に示した遷移条件は、図4に示した状態遷移図の説明で示した遷移条件に、上述したアンド条件を追加したものである。
図6に例示したメモリ25に格納された状態判別プログラム27は、図11に示したように、一部の状態遷移について体の向きの判定結果を条件に含む遷移条件を含むことができる。そして、このような遷移条件を含む状態判別プログラム27に従って動作するプロセッサ24は、対象者Pが起床状態であることや、対象者Pが離床状態であることをより高い精度で判別することができる。
更に、上述した判定処理で得られた対象者Pの体の向きを利用して、対象者Pの異常な移動を検出することも可能である。
例えば、対象者Pが起床状態から離床状態に向かう正常な過程では、次のような変化が観察される。画像に含まれる対象者Pの像が、検知領域R2の中央部から左端部あるいは右端部に移動するとともに、対象者Pの上半身に対応する像の縦横比が、正面向きに対応する値から横向きに対応する値に変化する。一方、次のような変化が検出された場合には、対象者Pの移動に異常があると推定することができる。例えば、縦横比が正面向きに対応する値を維持したまま、対象者Pの像が検知領域R2の外側へ向かって移動した場合には、対象者Pがベッド1から転落している可能性がある。
状態判別プログラム27は、例えば、離床状態からの状態遷移の有無を判断する手順の中に、対象者Pの上半身に対応する像の縦横比の変化と対象者Pの像の移動方向との間の矛盾を検出する手順を含むことができる。そして、このような状態判別プログラム27を実行するプロセッサ24は、上述したような矛盾を検出したときに、離床状態から不在状態への正常な状態遷移T7とは異なる異常な状態の変化を検出する。また、このようにして異常な状態の変化を検出したときに、プロセッサ24は、ナースコールIF23を介して、より緊急度の高い警報をナースコールシステム4に通知する。
ところで、本件開示の状態検知装置20は、図6に示した例のように、病室あるいは居室内に配置することもできるし、一部または全部をナースステーションなどに配置することもできる。
図12に、状態検知装置の別実施形態を示す。なお、図12に示した構成要素のうち、図6に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
図12に例示する状態検知装置は、病室あるいは居室に設置されるローカルユニット30と、ナースステーションに設置されるセンタユニット32とを含んでいる。ローカルユニット30は、図6に示したナースコールIF23に代えて、通知インタフェース(IF)31を有する。また、図6に示した通知判定プログラム28は、ローカルユニット30のメモリ25ではなく、センタユニット32のメモリ34に格納されている。
図12に例示したセンタユニット32は、上述した通知IF31に対応する通知インタフェース(IF)33と、メモリ34と、プロセッサ35と、ナースコールIF23と、データベースインタフェース(DBIF)36とを有する。プロセッサ35と、通知IF33と、メモリ34と、ナースコールIF23と、DBIF36とは、バスを介して互いに接続されている。センタユニット32のプロセッサ35は、ナースコールIF23を介してナースコールシステム4に接続されている。また、このプロセッサ35は、DBIF36を介して対象者情報データベース(DB)6に接続されている。
図12に例示した状態検知装置では、各病室に配置されたローカルユニット30からセンタユニット32に、各対象者Pの状態を含む情報が通知される。なお、図12に示したローカルユニット30に含まれる通知IF31は、対象者Pの現在の状態をセンタユニット32に通知する際に、ローカルユニット30の設置場所あるいは対象者Pの識別情報を付加する。以下では、通知IF31により、個々の対象者を識別する対象者IDとその対象者Pの状態を示す情報とがセンタユニット32に通知される場合について説明する。
また、対象者情報DB6は、各対象者について看護士あるいは介助者への通知が必要とされる状態を個別に設定する情報を含んでいる。また、メモリ34に格納される通知判定プログラムは、このような対象者対応の設定に基づいて、ナースコールシステム4への通知を行うか否かを判断する手順を含む。このような通知判定プログラムを読み込むことにより、プロセッサ35は、対象者対応の設定に基づいて、ナースコールシステム4への通知を制御することができる。
図13に、対象者対応の設定に基づく通知判定処理の例を表す流れ図を示す。図13に例示した流れ図に含まれる各ステップは、ローカルユニット30から通知を受け取るごとに、上述した通知判定プログラムに基づいて、プロセッサ35によって実行される。
ステップ331で、プロセッサ35は、通知IF33を介してローカルユニット30から対象者IDと当該対象者の現在の状態を示す情報を受け取る。次いで、プロセッサ35は、対象者IDに基づいて、対象者情報DB6を参照することにより、対象者IDに対応して格納された通知対象の状態を取得する(ステップ332)。次に、プロセッサ35は、通知対象の状態とステップ331で受け取った現在の状態を照合する(ステップ333)。
通知対象の状態と現在の状態とが一致する場合に(ステップ334の肯定判定)、プロセッサ35は、ナースコールIF23を介してナースコールシステム4に、対象者IDで示された対象者の現在の状態が通知対象の状態であることを通知する(ステップ335)。その後、プロセッサ35は、ステップ331で受け取った通知についての処理を終了する。
一方、通知対象の状態と現在の状態とが一致しない場合に(ステップ334の否定判定)、プロセッサ35は、ナースコールシステム4への通知は行わずに、ステップ331で受け取った通知についての処理を終了する。
このような処理を、センタユニット32のプロセッサ35が行うことにより、個々の対象者について異なる基準を適用して、ナースコールシステム4に対象者Pの状態を通知することができる。また、個々の対象者についての通知対象の状態は、対象者情報DB6に一括して格納されている。したがって、対象者情報DB6に格納された情報を操作することにより、対象者Pの状態を通知するか否かを判定する基準を、個々の対象者に対して必要とされるケアの内容に合わせて変更することが可能である。
また、対象者Pの現在の状態を判別する処理を、センタユニット32に分担することもできる。この場合に、状態判別プログラム27は、センタユニット32のメモリ34に格納される。また、ローカルユニット30のプロセッサ24は、画像認識プログラム26に基づく処理を行うことにより、対象者Pの移動方向と対象者Pの体の向きを検出する。そして、この対象者Pの移動方向と対象者Pの体の向きとを含む情報と対象者IDとが、通知IF31を介してセンタユニット32に通知される。状態判別プログラム27を読み込んだプロセッサ35は、通知IF33を介して受け取った対象者Pの移動方向および対象者Pの体の向きと過去の状態とに基づいて、対象者IDで示される対象者Pの現在の状態を判別する。
同様にして、対象者Pの移動方向および体の向きを検出する処理を、センタユニット32に分担することもできる。この場合に、各ローカルユニット30は、カメラ2によって撮像された画像をセンタユニット32に伝送する。そして、センタユニット32のプロセッサ35によって、各対象者を撮像した画像についての画像認識処理と、対象者の現在の状態を判別する処理と、対象者の現在の状態を出力する処理とが、一括して処理される。
また、センタユニット32は、クラウドサービスを利用して実現することも可能である。
なお、本件開示の状態検知装置に入力される画像は、ベッドの長手方向と交差する方向から撮像した画像でもよい。また、他のセンサの出力などを、本件開示の状態検知装置の判断基準に追加的に取り込むこともできる。例えば、ベッドの端部分などに設置した感圧センサによる加重の検出を、起床状態から離床状態への状態遷移の条件に一つに加えてもよい。これにより、対象者の離床状態を更に高い確度で検知することができる。
以上、図1〜図13を用いて説明した実施形態に関して、更に、以下の各項を開示する。
(付記1) ベッド上の対象者を撮像した画像を解析することにより、前記対象者の移動方向を検出する画像処理部と、
前記画像処理部によって検出された移動方向と前記対象者の過去の状態とに基づいて、前記対象者の現在の状態を判別する判別部と、
前記判別部によって得られた前記対象者の現在の状態を示す情報を出力する出力部と、
を備えたことを特徴とする状態検知装置。
(付記2) 付記1に記載の状態検知装置において、
前記過去の状態および前記現在の状態は、前記対象者が前記ベッド上に横たわっている着床状態と、前記対象者が前記ベッド上で上半身を起こしている起床状態と、前記対象者が前記ベッドの端の部分にいる離床状態と、前記対象者が前記ベッドから離れている不在状態とを含み、
前記判別部は、複数種類の前記過去の状態ごとに異なる基準を用いて、前記対象者の現在の状態を判別する
ことを特徴とする状態検知装置。
(付記3) 付記1または付記2に記載の状態検知装置において、
前記画像処理部は、前記画像に含まれる前記対象者の像の形状に基づいて、前記対象者の体の向きを判定し、
前記判別部は、前記画像処理部で得られる前記移動方向および前記対象者の体の向きと前記過去の状態とに基づいて、前記対象者の現在の状態を判別する
ことを特徴とする状態検知装置。
(付記4) 付記2に記載の状態検知装置において、
前記複数種類の前記過去の状態ごとに異なる基準は、当該過去の状態を始点とする状態遷移に対応する前記対象者の移動方向が検出されるか否かである
ことを特徴とする状態検知装置。
(付記5) 付記1乃至付記4のいずれか1に記載の状態検知装置において、
前記対象者を撮像した画像は、
前記対象者を、光軸を前記ベッドの長手方向に合わせて配置されたカメラによって撮像した画像である
ことを特徴とする状態検知装置。
(付記6) 付記1乃至付記4のいずれか1に記載の状態検知装置において、
前記対象者を撮像した画像は、
1フレームおきに近赤外領域の光によって照明された前記対象者を、光軸を前記ベッドの長手方向に合わせて配置されたカメラによって撮像した画像から生成した差分画像である
ことを特徴とする状態検知装置。
(付記7) ベッド上の対象者を撮像した画像の入力を受け、
前記画像を解析することにより、前記対象者の移動方向を検出し、
前記検出された移動方向と前記対象者の過去の状態とに基づいて、前記対象者の現在の状態を判別し、
前記判別によって得られた前記対象者の現在の状態示す情報を出力する
ことを特徴とする状態検知方法。