JP6303779B2 - 見守り装置、プログラム及び見守り方法 - Google Patents

Description

本発明は、見守り対象者を見守る見守り装置、プログラム及び見守り方法に関する。

従来より、病院や介護施設等において、寝具上に横臥した患者や被介護者等（以下、見守り対象者と呼ぶ。）の動作を、撮像装置を用いて監視するシステムが知られている。このシステムでは、例えば、ベッドに就寝している患者を含むベッドの上の領域に見守り領域を設定し、カメラによりベッドの横方向から撮像した見守り領域に占める患者の画像領域の面積の変化に応じて、患者が行動をしていること判定するものが知られている。

看護師や介護士等は、このシステムを用いることで、見守り対象者に補助が必要な状態となったことを、離れた位置からでも把握することができる。

特開２０１１−５１７１号公報

従来のシステムでは、ベッド上の見守り対象者と、見守り対象者の看護や介護を行う看護師や介護師、見舞い客等のベッドの近傍を通る人と、を識別していない。このため従来のシステムでは、ベッドの近傍にいる人の動きを見守り対象者の動きと誤認識し、見守り対象者の動きを適切に取得することが困難である。

１つの側面では、見守り対象者の動きを適切に取得することを目的としている。

開示の技術は、対象者を撮影した撮影画像において、前記対象者の動きを監視する第一の領域における動きの頻度を示す動き頻度値と、前記第一の領域と隣接する第二の領域における動きの頻度を示す動き頻度値と、を算出する頻度値算出部と、
時間の経過に応じた前記第二の領域における動き頻度値の変動量に基づき、前記第一の領域の動き頻度値のうち、前記対象者の動きとして取得する動き頻度値から除外する動き頻度値を特定する特定部と、を有する。

上記各部は、上記各部を実現する処理、上記各処理を手順としてコンピュータにより実行させる方法、プログラムを記憶したコンピュータ読み取り可能な記憶媒体とすることもできる。

見守り対象者の動きを適切に取得することができる。

見守りシステムを説明する図である。 撮影画像における見守り対象者の状態と来床者の状態との組み合わせを説明する図である。 見守り対象者と来床者の動きと、ステートの遷移との対応を示す図である。 見守り領域が混在状態となる場合のステートの遷移を説明する図である。 第一の実施形態の見守りシステムの一例を示す図である。 解析装置のハードウェア構成を示す図である。 動き情報データベースの一例を示す図である。 第一の実施形態のステートテーブルの一例を示す図である。 動き量の算出を説明する図である。 第一の実施形態の解析装置の機能構成を説明する図である。 第一の実施形態の解析装置の動作を説明するフローチャートである。 見守り領域の動き情報がユーザインタフェース装置に表示された場合の画面の例を示す図である。 見守り領域の動き領域と監視領域の動き領域との連結について説明する図である。 第二の実施形態のステートテーブルの一例を示す図である。 第二の実施形態の解析装置の機能構成を説明する図である。 第二の実施形態の解析装置の動作を説明するフローチャートである。

以下に、図面を参照して見守りシステムについて説明する。図１は、見守りシステムを説明する図である。図１（ａ）は、撮像装置の配置を説明する図であり、図１（ｂ）は、見守り領域と監視領域を説明する図であり、図１（ｃ）は、撮影画像の一例を示す図である。

見守りシステム１００では、見守り対象者が横臥する寝具１１０の上方に撮像装置１２０が設置されている。寝具とは、例えば病院や介護施設等に配置されているベッドである。

以下に説明する各実施形態では、見守り対象者は、主にベッド上で時間を過ごすことから、ベッド上の領域を見守る対象である第一の領域とし、ベッドの両脇の領域を見守り対象者以外の者が往来する第二の領域とする。以下の説明では、第一の領域を見守り領域１０、第二の領域を監視領域２０と呼ぶ。見守り対象者以外の者とは、例えば見守り対象者の看護や介護を行う看護師等の医療従事者、見守り対象者を介護する介護師、見舞客、見守り対象者と同室の患者等が含まれる。以下の説明では、監視領域２０を往来する見守り対象者以外の者を来床者と呼ぶ。

撮像装置１２０は、見守り領域１０と監視領域２０とが含まれる画像が撮像できる高さに配置される。したがって、図１（ｃ）に示す撮影画像３０は、見守り領域１０と監視領域２０とを含む。

見守りシステム１００において、撮像装置１２０は、撮像装置１２０と通信が可能な見守り装置と接続されている。見守り装置は、撮影画像３０における見守り領域１０と監視領域２０とを解析し、見守り対象者の動きを示す情報を取得する。より具体的には、見守装置は、見守り領域１０における有体物の動きから、見守り対象者の動きと来床者の動きが混在している動きを特定して除外することで、見守り対象者のみの動きを示す情報を取得する。

見守りシステム１００では、見守り対象者単体の動きを示す情報を取得することで、例え見守り対象者以外の動きを見守り対象者の動きと誤認識することを抑制する。したがって、見守りシステム１００では、見守り対象者以外の動作を誤認識して、見守り対象者の介護や看護（以下、補助と呼ぶ）が必要であることを報知する、といった誤作動を低減できる。

尚、以下の説明では、有体物の動きを示す情報を、動き情報と呼ぶ。有体物とは、例えば見守り対象者や来床者を示す。見守り装置の詳細と、動き情報の詳細は後述する。

次に、撮影画像３０における見守り対象者の状態と来床者の状態との組み合わせについて説明する。

図２は、撮影画像における見守り対象者の状態と来床者の状態との組み合わせを説明する図である。見守り対象者の状態と来床者の状態との組み合わせは、例えば以下の７つのパターンとして示される。

パターン（１）は、見守り対象者が見守り領域１０内に不在である場合を示している。パターン（２）は、見守り対象者が見守り領域１０内におり、且つ来床者が監視領域２０内に不在である場合を示している。パターン（３）は、見守り対象者が見守り領域１０内におり、且つ来床者が監視領域２０を通る場合を示している。パターン（４）は、見守り対象者が見守り領域１０内におり、且つ来床者が監視領域２０内に留まる場合を示している。パターン（４）は、例えば来床者が見守り対象者と会話をしている場合や、来床者が見守り対象者を目視で観察している場合等の、監視領域２０内で来床者が見守り対象者の側に留まっている場合に該当する。

パターン（５）は、見守り領域１０内で来床者と見守り対象者とが重なっている場合を示している。パターン（５）は、例えば来床者が見守り対象者に接触し、介護又は看護等のケアを行っている可能性のある場合に該当する。パターン（６）は、見守り対象者の体の一部（手や足等）が見守り領域１０からはみ出し、監視領域２０にかかる場合を示している。パターン（６）は、例えば見守り対象者がベッドに座っている状態等が該当する。

パターン（７）は、来床者の体の一部が見守り領域１０内にかかる場合を示している。パターン（７）は、例えば来床者が身振り手振りを交えて見守り対象者と会話を行う場合等が該当する。

パターン（１）〜（４）においては、見守り領域１０内の有体物の動き情報が、見守り対象者の動き情報となる。また、パターン（６）においては、見守り領域１０と監視領域２０の両方における動き情報が、見守り対象者の動き情報となる。

これに対し、パターン（５）、（７）は、見守り領域１０内に見守り対象者の動きと来床者の動きが混在している状態である。以下の説明では、見守り領域１０内に見守り対象者の動きと来床者の動きが混在している状態を混在状態と呼ぶ。

混在状態は、来床者が見守り対象者の側で見守り対象者に関連する行動を行っている可能性が高い状態である。見守り対象者に関連する行動とは、例えば見守り対象者の看護や介護等を含む。この混在状態においては、来床者により見守り対象者に対する補助の必要性が判断されることが想定される。また、混在状態においては、見守り対象者に補助が必要となった場合、来床者が補助の要請（ナースコール等）を行うことが想定される。

よって、混在状態における見守り領域１０内の動き情報は、見守り対象者から離れた位置で、見守り対象者の補助の必要性の判断する際には不要な情報であり、補助の必要性の判断に用いる情報から除外されることが好ましい。

以上の観点から、以下に説明する各実施形態では、見守り領域１０における混在状態を特定し、混在状態における見守り領域１０内の動き情報を、取得すべき見守り対象者の動き情報から除外する。

以下に、図３を参照しても見守り対象者及び来床者の状態について説明する。以下の説明では、見守り対象者及び来床者の状態を示す状態情報をステートと呼ぶ。

以下に説明する各実施形態において、ステートは、ステート１、ステート２及びステート３の３種類とした。ステート１は、監視領域２０内に有体物の動きの変動がない状態とし、ステート２は、監視領域２０内の有体物の動きの変動量が少ない状態とし、ステート３は、監視領域２０内の有体物の動きの変動量が大きい状態とした。尚、監視領域２０内の有体物の動き及び動きの変動量の詳細は後述する。

図３は、見守り対象者と来床者の動きと、ステートの遷移との対応を示す図である。

図２に示すパターン（１）、（２）は、監視領域２０内に来床者がいないため、ステート１となる。パターン（３）は、来床者が見守り対象者の近傍を通る場合であり、ステートは、ステート１→ステート２→ステート１と遷移する。

パターン（４）は、来床者が見守り対象者と会話をしたり、目視で観察したりする場合であり、この場合のステートも、パターン（３）と同様にステート１→ステート２→ステート１と遷移する。パターン（６）は、監視領域２０に来床者が不在の状態から、見守り対象者の体の一部が監視領域２０に入る場合であり、ステートは、ステート１→ステート３と遷移する。

一方で、パターン（５）、（７）は、来床者が監視領域２０内に現れ、見守り対象者の側で動く場合であり、ステートは、ステート１→ステート２→ステート３→ステート２→ステート１と遷移する。すなわち、見守り領域１０が混在状態となる場合には、その直前と直後のステートがステート２となる。

そこで、以下に説明する各実施形態では、監視領域２０内の有体物の動きの変動量が大きい状態で、且つ直前のステートが２であった場合に、ステートはステート２からステート３へ遷移するものと定義した。また、本実施形態では、ステート３から遷移するステートはステート２であるものと定義した。したがって、例えばステート３の状態において、監視領域２０内の動きの変動がなかった場合（ステート１の状態）となった場合には、ステート３→ステート２とならず、ステート３が維持される。

図４は、見守り領域が混在状態となる場合のステートの遷移を説明する図である。図４（ａ）は、混在状態の１つであるパターン（５）に至る動作を説明する図であり、図４（ｂ）は、ステートの遷移を説明する図である。

パターン（５）に至る際は、図４（ａ）に示すように、見守り領域１０内に見守り対象者がおり且つ来床者がいないパターン（２）、来床者が監視領域２０内を通るパターン（３）、来床者が見守り対象者の側に留まるパターン（４）を経て、パターン（５）の状態となる。そして、来床者による見守り対象者と関連する動作が終了すると、再度パターン（４）、パターン（３）を経て、パターン（２）の状態に戻る。

したがって、この状態におけるステートは、図４（ｂ）に示すように、ステート１→ステート２→ステート３→ステート２→ステート１と遷移する。このとき、ステート３の開始時刻ｔａから終了時刻ｔｂまでが、混在状態として特定される。

（第一の実施形態）
以下に図面を参照して第一の実施形態について説明する。図５は、第一の実施形態の見守りシステムの一例を示す図である。

見守りシステム１００は、撮像装置１２０と、見守り装置の一例である解析装置２００と、を有しており、撮像装置１２０と解析装置２００とは、ネットワーク１４０等を介して接続される。尚、撮像装置１２０と解析装置２００とは、通信可能に接続されていれば良く、ネットワーク１４０を介していなくても良い。

撮像装置１２０は、例えば、病院の各病室や介護施設の各居室等において、寝具（ベッド）の傍らに設置される。本実施形態の撮像装置１２０は、例えば近赤外線カメラであり、病院の各病室や介護施設の各居室の寝具上に横臥した見守り対象者の動作を撮影する。撮像装置１２０により撮影された撮影画像は、解析装置２００に送信される。

本実施形態の解析装置２００は、動き情報データベース２１０、ステートテーブル２２０を有する。

動き情報データベース２１０は、撮像装置１２０により撮影された撮影画像と、見守り対象者の動き情報とが格納される。本実施形態において、動き情報データベース２１０とは、見守り対象者毎に設けられる。

ステートテーブル２２０は、ステートを判定する際に参照されるテーブルである。動き情報データベース２１０の詳細と、ステートテーブル２２０の詳細は、後述する。

尚、本実施形態の解析装置２００は、例えば、病院のナースステーションや介護施設の介護者用の執務室等に設置されたユーザインタフェース装置（図示せず）と接続されていても良い。この場合も解析装置２００から出力される動き情報がユーザインタフェース装置に表示されても良い。

図６は、解析装置のハードウェア構成を示す図である。解析装置２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ（Random Access Memory）２０３を備える。また、解析装置２００は、記憶部２０４、接続部２０５、通信部２０６を備える。尚、解析装置２００の各部は、バス２０７を介して相互に接続されている。

ＣＰＵ２０１は、記憶部２０４に格納された各種プログラムを実行するコンピュータである。

ＲＯＭ２０２は不揮発性メモリである。ＲＯＭ２０２は、記憶部２０４に格納された各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する。具体的には、ＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラムなどを格納する。

ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の主記憶装置である。ＲＡＭ２０３は、記憶部２０４に各種プログラムがＣＰＵ２０１によって実行される際に展開される、作業領域として機能する。

記憶部２０４は、解析装置２００にインストールされた各種プログラムや、プログラムを実行することで生成されるデータ等を格納する。接続部２０５は、例えばユーザインタフェース装置等と接続されても良い。通信部２０６は、撮像装置１２０との間で通信を行う。

以下に、図７を参照して本実施形態の動き情報データベース２１０について説明する。図７は、動き情報データベースの一例を示す図である。

本実施形態の動き情報データベース２１０は、情報の項目として、画像ＩＤ、画像ファイル、動き量、ステート、開始時刻、終了時刻を含む。本実施形態では、画像ＩＤと対応する動き量、ステート、開始時刻及び開始時間の項目の値を、見守り対象者の動き情報と呼ぶ。尚、動き情報には画像ＩＤと対応する画像ファイルが含まれても良い。

画像ＩＤは、撮影画像データを識別するための識別子を示す。画像ファイルは、所定の時間Ｔに撮影された複数フレームの撮影画像データ群を含むファイルを示す。例えば、フレーム周期を１０枚／秒とし、所定時間Ｔを１５秒とすると、画像ファイルには、１５０フレーム分の撮影画像が含まれることとなる。

動き量は、画像ファイルに格納された撮影画像データ群より抽出される。本実施形態の動き量は、撮影画像データにおける見守り領域１０内と監視領域２０内の両方から抽出される。

ステートは、後述するステート判定部２４６により判定されたステートを示す。開始時刻及び終了時刻は、各画像ファイル群の撮影を開始した時刻と終了した時刻とを示す。

次に、図８を参照して本実施形態のステートテーブル２２０について説明する。図８は、第一の実施形態のステートテーブルの一例を示す図である。

本実施形態のステートテーブル２２０は、ステートを判定する処理において参照される。本実施形態のステートテーブル２２０は、情報の項目として、監視領域２０の動きの変動量、直前のステート、現在のステートを有し、監視領域２０の動きの変動量と、直前のステートと現在のステートとの組み合わせと、が対応付けられている。

初めに、監視領域２０の動きの変動がない場合について説明する。本実施形態では、直前のステートが１又は２であり、且つ監視領域２０内の動きの変動がない場合に、現在のステートが１となる。

一方、監視領域２０の動き量の変動がない場合でも、直前のステートが３の場合には、現在のステートは３に維持される。これは、ステートの遷移の定義において、ステート３の直前直後のステートは２であることが定義されており、ステート３からステート１へは遷移しないからである。ステート３が維持される場合とは、例えば来床者が見守り対象者の介護や処置等を終えて、見守り対象者を静かに観察している状態等であり、来床者が見守り対象者に関わる動作を行っている最中である可能性がある場合である。

次に、監視領域２０の動きの変動量が小さい場合について説明する。監視領域２０の動きの変動量が小さい場合は、直前のステートが１乃至３の何れであっても、現在のステートは２となる。

次に、監視領域２０の動きの変動量が大きい場合について説明する。監視領域２０の動きの変動量が大きい場合は、ステート３となるが、ステート３の直前のステートは、２でなくてはならない。

したがって、監視領域２０の動きの変動量が大きく、且つ直前のステートが１の場合には、現在のステートは３に遷移せず、ステート１を維持する。この場合、監視領域２０における動きは、見守り領域１０からはみ出した見守り対象者の体の一部の動き（パターン（６）参照）と見なされる。

また、監視領域２０の動きの変動量が大きく、且つ直前のステートが２の場合には、現在のステートは３となる。さらに、監視領域２０の動きの変動量が大きく、且つ直前のステートが３の場合には、現在のステートは３を維持する。

次に、図９を参照し、本実施形態における動き量の算出について説明する。図９は、動き量の算出を説明する図である。図９では、監視領域２０内の動き量を算出する例を示したが、見守り領域１０内においても同様の処理により動き量が算出される。

図９（ａ）は、撮影画像３０に監視領域２０を所定の大きさのメッシュ状に分割した例を示す図である。図９（ｂ）は、時間Ｔの間の動き量の算出を説明する図である。

本実施形態では、時刻ｔ−１における監視領域２０における各メッシュと、時刻ｔにおける監視領域２０における各メッシュとの輝度差を算出し、輝度差が所定の閾値以上であるメッシュを１、輝度差が所定の閾値未満のメッシュを０として、二値化した二値画像を算出する。そして、本実施形態では、二値画像の監視領域において、値が１であるメッシュの領域を動きがある動き域とする。

図９（ｂ）の例では、監視領域２０における来床者の位置Ｐ１と、監視領域２０における来床者の位置Ｐ２とが異なっている。この場合、時刻ｔ−１から時刻ｔの間に、監視領域２０内で来床者が位置Ｐ１から位置Ｐ２まで動いたことを示している。よって、図９（ｂ）では、監視領域２０と監視領域２０の各メッシュの輝度差から得られた二値画像より、動き域Ｒ１が算出される。また、本実施形態では、続いて時刻ｔにおける監視領域２０と、時刻ｔ＋１における監視領域２０とにおいて、各メッシュの輝度差から得られた二値画像より、動き域Ｒ２（図示せず）として算出する。本実施形態では、動き域Ｒ１と動き域Ｒ２の両方において値が１のメッシュが、時刻ｔ−１から時刻ｔ＋１における動き領域となる。

より具体的には、本実施形態において、監視領域内の各メッシュ（ｘ，ｙ）の輝度値をｆ（ｘ，ｙ）とし、輝度差の閾値をＴＨとすると、二値画像は下式に基づいて求めることができる。

尚、ｆ'_１（ｘ，ｙ）は、時刻ｔ−１における撮影画像と時刻ｔにおける撮影画像から得られた二値画像であり、ｆ'_２（ｘ，ｙ）は、時刻ｔにおける撮影画像と時刻ｔ＋２における撮影画像から得られた二値画像である。よって、動き域Ｒ１は、ｆ'_１（ｘ，ｙ）＝１の領域であり、動き域Ｒ２は、ｆ'_２（ｘ，ｙ）＝１の領域となる。

続いて、本実施形態では、ｆ'_１（ｘ，ｙ）とｆ'_２（ｘ，ｙ）の論理積ｆ'ｍ（ｘ，ｙ）を算出する。論理積ｆ'ｍ（ｘ，ｙ）は、以下の式から求めることができる。

本実施形態では、論理積ｆ'ｍ（ｘ，ｙ）＝１となるメッシュの領域が、動き領域となる。すなわち、本実施形態の動き領域は、２つの連続する二値画像のいずれにおいても、輝度値が１となるメッシュで示される領域である。

次に本実施形態の動き量について説明する。

本実施形態では、時間Ｔの間に、監視領域２０内で動き領域と判定されたメッシュの輝度値を順次加算していく。本実施形態では、輝度値を加算した値を動き量と呼ぶ。

すなわち、本実施形態の動き量とは、各メッシュにおいて動き領域と判定された回数を示す値である。言い換えれば、本実施形態の動き量とは、監視領域２０内の各メッシュにおいて動きがあった頻度を示す動き頻度値である。本実施形態の動き量は、各メッシュにおいて動き領域と判定される回数が多いほど、大きくなる。すなわち、本実施形態では、動き量が大きいメッシュほど、有体物の動きの頻度が高いことを示す。

次に、本実施形態の動きの変動量について説明する。

本実施形態では、例えば動き領域において、動き量が所定の閾値ＴＨ１以上であるメッシュで示される領域を、動きの頻度が高い領域とする。また、本実施形態では、動き量が閾値ＴＨ１未満であるメッシュで示される領域を、動きの頻度が低い領域とする。そして、本実施形態では、動き領域における、動きの頻度が高い領域と動きの頻度が低い領域との割合を算出する。本実施形態では、この割合を、特徴量と呼ぶ。尚、本実施形態における動き量の閾値ＴＨ１は、予め設定されているものとした。

本実施形態の特徴量は、例えば動きの頻度が高い領域の面積と動きの頻度が低い領域の面積の比率で表されても良いし、動きの頻度が高い領域のメッシュの数と、動きの頻度が低い領域のメッシュの数との比率で表されても良い。本実施形態では、動き領域における特徴量の変化を、動きの変動量と呼ぶ。

次に、本実施形態の解析装置２００の機能について説明する。図１０は、第一の実施形態の解析装置の機能構成を説明する図である。

本実施形態の解析装置２００は、ＣＰＵ２０１が解析プログラム２４０を実行することで、後述する各部の処理を実現する。

本実施形態の解析装置２００は、撮影画像取得部２４１、領域識別部２４２、動き領域算出部２４３、動き量算出部２４４、変動量算出部２４５、ステート判定部２４６、直前ステート保持部２４７、状態判定部２４８、出力部２４９を有する。

本実施形態の撮影画像取得部２４１は、撮像装置１２０が撮影した撮影画像を取得し、動き情報データベース２１０へ格納する。本実施形態の撮影画像取得部２４１は、撮像装置１２０により、時間Ｔの間に撮影された複数フレームの撮影画像データ群を１つの画像ファイルとして、画像ＩＤを付与し、動き情報データベース２１０へ格納する。

本実施形態の領域識別部２４２は、撮像画像における見守り領域１０と、監視領域２０とを識別する。本実施形態では、撮像装置１２０が設置された状態において、撮影画像３０における見守り領域１０と、監視領域２０とが領域識別部２４２に設定されている。

本実施形態の動き領域算出部２４３は、見守り領域１０及び監視領域２０における動き領域を算出する。本実施形態の動き量算出部２４４は、見守り領域１０及び監視領域２０における時間Ｔの動き量を算出する。また、本実施形態の動き量算出部２４４は、算出した動き量を、時間Ｔと対応付けて動き情報データベース２１０へ格納する。本実施形態の変動量算出部２４５は、監視領域２０における動きの変動量を算出する。

本実施形態における動き領域、動き量及び動きの変動量の算出は、図９で説明した通りである。

本実施形態のステート判定部２４６は、ステートテーブル２２０を参照し、変動量算出部２４５により算出された監視領域２０の動きの変動量と、直前ステート保持領域に保持された直前のステートとに基づき、現在のステートを判定する。また、ステート判定部２４６は、判定されたステートを動き情報データベース２１０へ格納する。

直前ステート保持部２４７は、ステート判定部２４６で判定されたステートを、直前ステート保持領域に格納し、直前のステートを更新する。本実施形態の直前ステート保持領域は、例えばＲＡＭ２０３に設けられていても良い。

本実施形態の状態判定部２４８は、判定されたステートに基づき、撮影画像における見守り対象者と来床者との状態が、来床者が見守り対象者に関わる動作を行っている状態か否かを判定する。出力部２４９は、状態判定部２４８による判定の結果に応じて、動き情報やステートを出力する。

以下に、図１１を参照して本実施形態の解析装置２００の動作を説明する。図１１は、第一の実施形態の解析装置の動作を説明するフローチャートである。

本実施形態の撮影画像取得部２４１は、撮像装置１２０から時間Ｔの間に撮影された画像ファイルを取得する（ステップＳ１１０１）。尚、本実施形態では、撮像装置１２０から画像ファイルを取得するものとしたが、これに限定されない。例えば、解析装置２００は、撮像装置１２０により撮影された撮影画像データを蓄積する撮影画像データベースを有し、撮影画像取得部２４１は、撮影画像データベースから画像ファイルを取得しても良い。また撮影画像データベースは、例えば解析装置２００と通信可能な外部装置に設けられていても良い。

続いて、解析装置２００は、領域識別部２４２により、撮影画像データにおける見守り領域１０と監視領域２０とを識別する（ステップＳ１１０２）。

解析装置２００は、領域を識別すると、各領域において、動き領域の算出、動き量の算出、動きの変動量の算出を行う。

具体的には、解析装置２００は、動き領域算出部２４３により、見守り領域１０の動き領域を算出する（ステップＳ１１０３）。次に解析装置２００は、動き量算出部２４４により、見守り領域１０の動き量（動き頻度値）を算出し（ステップＳ１１０４）、動き情報データベース２１０へ格納する。続いて解析装置２００は、変動量算出部２４５により、見守り領域１０における動きの変動量を算出する（ステップＳ１１０５）。本実施形態では、算出された見守り領域１０の動きの変動量も、動き情報データベース２１０に格納しても良い。

また、解析装置２００は、動き領域算出部２４３により、監視領域２０の動き領域を算出する（ステップＳ１１０６）。次に解析装置２００は、動き量算出部２４４により、時間Ｔにおける監視領域２０の動き量（動き頻度値）を算出する（ステップＳ１１０７）。尚、動き量算出部２４４は、例えば動き情報データベース２１０に、監視領域２０の動き量を格納しても良い。続いて解析装置２００は、変動量算出部２４５により、監視領域２０における動きの変動量を算出する（ステップＳ１１０８）。尚、変動量算出部２４５は、例えば動き情報データベース２１０に、監視領域２０の動きの変動量を格納しても良い。

本実施形態の解析装置２００は、ステップＳ１１０３からステップＳ１１０５までの処理と、ステップＳ１１０６からステップＳ１１０８までの処理を並列に実行しても良い。

続いて解析装置２００は、ステート判定部２４６により、ステートの判定を行う（ステップＳ１１０９）。以下に、ステートの判定について説明する。

本実施形態のステート判定部２４６は、変動量の大きさを判定する。本実施形態では、例えば変動量が所定の閾値ＴＨ２以上であった場合に、変動量が大きいと判定し、変動量が所定の閾値ＴＨ２未満であった場合に、変動量が小さいと判定し、変動量が０であったとき、動きなしと判定する。尚、変動量の閾値ＴＨ２は、予めステート判定部２４６に設定されているものとした。

次にステート判定部２４６は、ステートテーブル２２０と直前ステート保持領域を参照し、変動量の大きさの判定結果と、直前のステートとから、現在のステートを判定する。判定結果のステートは、動き情報データベース２１０に格納される。

続いて解析装置２００は、状態判定部２４８により、判定されたステートから、見守り領域１０内が混在状態か否かを判定する（ステップＳ１１１０）。本実施形態では、ステートが３である時間帯を混在状態と判定する。

ステップＳ１１１０において、混在状態であった場合、出力部２４９は、判定結果のステートを出力し（ステップＳ１１１１）、処理を終了する。尚、出力部２４９は、ステップＳ１１１１において、判定結果のステートと、このステートの開始時刻及び終了時刻とを対応付けたステート情報を出力しても良い。

ステップＳ１１１０において混在状態でなかった場合、出力部２４９は、動き情報データベース２１０に格納された動き情報（図７参照）を出力し（ステップＳ１１１２）、処理を終了する。

本実施形態の出力部２４９は、例えば解析装置２００と接続されたユーザインタフェース装置に対してステート情報や動き情報を出力し、表示させても良い。また本実施形態の出力部２４９は、解析装置２００の有する記憶部２０４や解析装置２００と接続される外部装置等へ、ステート情報や動き情報を出力しても良い。本実施形態において、出力された動き情報は、見守り領域１０における見守り対象者の動き情報として保管され、出力されたステート情報は、例えば来床者が見守り対象者の介護や処置等のケアを実施した動きを示す情報として保管されても良い。すなわち、本実施形態では、動き情報と、ステート情報とは、それぞれが区別されて保管される。

本実施形態では、動き情報とステート情報とを区別して管理することで、見守り領域１０における混在状態を特定し、混在状態における見守り領域１０の動き情報を取得対象の動き情報から除外することができ、見守り対象者の動きを適切に取得することができる。

以下に、本実施形態の解析装置２００におけるステートの判定について、図７、図８を参照して具体的に説明する。

以下では、図７において画像ファイルＩｍｇ３と対応するステートを判定する場合について説明する。

本実施形態の解析装置２００は、画像ファイルＩｍｇ２から算出された動き量Ｐ２と、
画像ファイルＩｍｇ３から抽出された動き量Ｐ３と、を算出し、動きの変動量を算出する。
画像ファイルＩｍｇ２は、開始時刻ｔ２から終了時刻ｔ３までの時間Ｔ１の間に取得されたものであり、画像ファイルＩｍｇ３は、開始時刻ｔ３から終了時刻ｔ４までの時間Ｔ２の間に取得されたものである。

したがって、ここで算出される動きの変動量は、時間Ｔ１における見守り領域１０の動きと、時間Ｔ２における見守り領域１０の動きの変動量である。

解析装置２００は、ステート判定部２４６により、動き量Ｐ２及び動き量Ｐ３から算出された動きの変動量が閾値ＴＨ２以上か否かを判定する。ここでは、変動量は閾値ＴＨ２以上とする。よって、ステート判定部２４６は、変動量が大きいと判定する。また、ステート判定部２４６は、直前ステート領域に保持された直前のステートを判定する。

こでは、ステート判定部２４６により算出される直前の時間Ｔ２のステートは２である。

したがって、ステート判定部２４６は、時間Ｔ３のステートを３と判定とする。

図１２は、見守り領域の動き情報がユーザインタフェース装置に表示された場合の画面の例を示す図である。

図１２に示す画面１２１では、例えば、横軸を時間とし、縦軸を日にちとして、動き情報の動き量を表示している。

本実施形態では、ステート３の時間帯を混在状態と判定するため、画面１２１では、ステート３と対応する時間帯は、動き量をマスクして表示させても良い。本実施形態では、ステート３の時間帯をマスクすることで、見守り領域１０が混在状態となった時間帯であることを可視化している。

本実施形態では、画面１２１に示すように、ステート３と判定された時間帯の動き情報をマスクすることで、例えば画面１２１を監視している医療従事者に対し、見守り対象者単体の動き情報を提供できる。尚、動き情報の表示形態は、例えば棒グラフのような形態としても良い。

（第二の実施形態）
以下に、図面を参照して第二の実施形態について説明する。第二の実施形態では、撮影画像３０において、見守り領域１０と監視領域２０との境界線を含む境界領域を設定し、境界領域と隣接する領域における動き量から、動き領域が見守り領域１０の動き領域と監視領域２０とにまたがっているか否かを判定する。そして本実施形態では、動き領域が見守り領域１０と監視領域２０とにまたがっていた場合に、混在状態であると判定する。

すなわち、本実施形態では、監視領域２０内の動きの変動量が大きく、且つ直前のステートが２であり、さらに動き領域が見守り領域１０と監視領域２０とにまたがっていた場合に、ステート３と判定する。

尚、以下の本実施形態の説明では、見守り領域１０と監視領域２０とに動き領域がまたがっていることを、見守り領域１０と監視領域２０において動き領域が連結している、と表現する。

本実施形態では、見守り領域１０と監視領域２０とにおける動き領域の連結の有無を判定することで、混在状態と判定する精度を向上させることができる。

図１３は、見守り領域の動き領域と監視領域の動き領域との連結について説明する図である。図１３（ａ）は、動き領域が連結しているか否かの判定を説明する図である。図１３（ｂ）、（ｃ）は、見守り対象者の状態と来床者の状態との組み合わせの例を示す図である。

本実施形態では、撮影画像３０において、見守り領域１０と監視領域２０との間の境界線４０を含む境界領域５０を設定する。そして、本実施形態では、動き領域に境界領域５０の一部が含まれる場合、動き領域に含まれる境界領域５０を領域Ｒ０とし、領域Ｒ０と隣接する領域Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６のそれぞれの動き量を算出する。

本実施形態では、領域Ｒ０〜Ｒ６が、以下に示す条件を満たすか否かに基づき、動き領域が見守り領域１０と監視領域２０とにおいて連結しているか否かを判定する。本実施形態では、領域Ｒ０〜Ｒ６が以下の条件１〜３を全て満たす場合に、見守り領域１０と監視領域２０とおいて動き領域が連結していると判定する。
＜条件＞
条件１：領域Ｒ０の動き量が所定の閾値ＴＨ３以上である。

条件２：領域Ｒ１、Ｒ２、Ｒ３の何れかの動き量が閾値ＴＨ３以上である。

条件３：領域Ｒ４、Ｒ５、Ｒ６の何れかの動き量が閾値ＴＨ３以上である。

例えば、見守り対象者の状態と来床者の状態が、図１３（ｂ）に示すパターン（５）である場合、来床者の体の一部は、見守り領域１０内に入っている。このような場合には、境界線４０の近傍において、見守り領域１０内の動き量と、監視領域２０内の動き量とがほぼ同じになる。すなわち、見守り領域１０と監視領域２０において動き領域が連結している場合、条件１〜３を満たす。

これに対し、見守り対象者の状態と来床者の状態が、図１３（ｃ）に示すように、守り領域１０と監視領域２０において動き領域が連結していない場合、境界線４０の近傍の見守り領域１０内の動きと監視領域２０内の動きは独立しているため、動き量が異なる。すなわち、見守り領域１０と監視領域２０において動き領域が連結していない場合、条件１〜３の全てを満たさない。

本実施形態では、以上のように、境界線４０の近傍における見守り領域１０内の動き量と、監視領域２０の動き量とに基づき、動き領域の連結の有無を判定する。したがって、本実施形態では、例えば来床者が監視領域２０内のみで大きな動きをしている状態を判定でき、この状態と、混在状態とを区別できる。

図１４は、第二の実施形態のステートテーブルの一例を示す図である。

本実施形態のステートテーブル２２０Ａは、情報の項目として、監視領域２０の動きの変動量、直前のステート、連結の有無、現在のステートを有する。

本実施形態のステートテーブル２２０Ａでは、監視領域２０の動きの変動がない場合及び動きの変動が小さい場合には、連結の有無は判断しない。本実施形態では、監視領域２０の動きの変動が大きい場合に、連結の有無を判定する。

本実施形態では、動きの変動量が大きく、動き領域が見守り領域１０と監視領域２０とで連結している場合に、混在状態であるステート３と判定される。

図１５は、第二の実施形態の解析装置の機能構成を説明する図である。本実施形態の解析装置２００Ａは、解析プログラム２４０Ａを実行することで、各部の機能を実現する。

本実施形態の解析装置２００Ａは、第一の実施形態の解析装置２００の有する各部に加え、連結有無判定部２５０を有する。

本実施形態の連結有無判定部２５０は、監視領域２０内の動きの変動量が閾値ＴＨ２以上であった場合に、見守り領域１０と監視領域２０とに、境界領域５０及び領域Ｒ０〜Ｒ６を設定し、動き領域の連結の有無を判定する。動き領域の連結の有無の判定は、図１３で説明した通りである。

以下に、図１６を参照して本実施形態の解析装置２００Ａの動作を説明する。図１６は、第二の実施形態の解析装置の動作を説明するフローチャートである。

図１６のステップＳ１６０１からステップＳ１６０８までの処理は、図１１のステップＳ１１０１からステップＳ１１０８までの処理と同様であるから、説明を省略する。

ステップＳ１６０８に続いて、解析装置２００Ａは、連結有無判定部２５０により、監視領域２０の動きの変動量が閾値ＴＨ２以上か否かを判定する（ステップＳ１６０９）。ステップＳ１６０９において、変動量が閾値ＴＨ２未満の場合、後述するステップＳ１６１１へ進む。

ステップＳ１６０９において、変動量が閾値ＴＨ２以上であった場合、連結有無判定部２５０は、見守り領域１０内の動き領域と、監視領域２０内の動き領域との連結の有無を判定する（ステップＳ１６１０）。

続いて、解析装置２００Ａは、ステート判定部２４６により、ステートの判定を行う（ステップＳ１６１１）。

本実施形態では、変動量が閾値ＴＨ２未満であった場合は、図１１のステップＳ１１０９と同様の処理によりステートを判定する。また、本実施形態では、変動量が閾値ＴＨ２以上であった場合、ステート判定部２４６は、ステップＳ１６１０における連結有無判定部２５０の判定結果と、直前ステート保持領域に保持された直前のステートと、ステートテーブル２２０Ａとを参照し、ステートを判定する。

より具体的には、ステート判定部２４６は、変動量が閾値ＴＨ２以上であり、直前のステートが２であり、且つ見守り領域１０の動き領域と監視領域２０の動き領域とが連結している場合に、ステート３と判定する。

ステップＳ１６１２からステップＳ１６１４までの処理は、図１１のステップＳ１１１０からステップＳ１１１２の処理と同様であるから、説明を省略する。

以上のように、本実施形態では、見守り領域１０と監視領域２０とにおける動き領域の連結の有無を用いて、混在状態を判定する。したがって、本実施形態によれば、見守り対象者の動きを適切に取得することができる。

開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
対象者を撮影した撮影画像において、前記対象者の動きを監視する第一の領域における動きの頻度を示す動き頻度値と、前記第一の領域と隣接する第二の領域における動きの頻度を示す動き頻度値と、を算出する頻度値算出部と、
時間の経過に応じた前記第二の領域における動き頻度値の変動量に基づき、前記第一の領域の動き頻度値のうち、前記対象者の動きとして取得する動き頻度値から除外する動き頻度値を特定する特定部と、を有する見守り装置。
（付記２）
前記第一の領域及び前記第二の領域において、前記動き頻度値が算出された動き領域が前記第一の領域及び前記第二の領域をまたがるか否かを判定する判定部を有し、
前記特定部は、
前記動き領域が前記第一の領域及び前記第二の領域をまたがる場合に、前記動き領域から算出された動き頻度値を、前記対象者の動きとして取得する動き頻度値から除外する付記１記載の見守り装置。
（付記３）
前記第一の領域の前記動き頻度値のうち、前記対象者の動きを示す動き頻度値を時系列に表示させる出力部を有する付記２記載の見守り装置。
（付記４）
前記動き頻度値は、
前記撮影画像に含まれる複数フレームの撮影画像から抽出した、各フレームにおける前記第一又は第二の領域において、有体物が動いた領域を示す動き領域と、
前記有体物の動きの開始から終了までの時刻と、
前記動き領域としてカウントされた回数とを含むも付記１乃至３の何れか一項に記載の見守り装置。
（付記５）
前記変動量は、
前記動き領域において、前記動き領域としてカウントされた回数が所定値以上の領域と、カウントされた回数が前記所定値未満の領域との割合の変化である付記４記載の見守り装置。
（付記６）
前記特定部は、
前記第二の領域における前記変動量が所定の閾値以上であり、且つ、前記変動量が算出された期間の直前の期間において算出された前記変動量が前記閾値未満であった場合に、
前記第一の領域の動き頻度値を前記対象者の動きとして取得する動き頻度値から除外する付記１乃至５の何れか一項に記載の見守り装置。
（付記７）
対象者を撮影した撮影画像において、前記対象者の動きを監視する第一の領域における動きの頻度を示す動き頻度値と、前記第一の領域と隣接する第二の領域における動きの頻度を示す動き頻度値と、を算出し、
時間の経過に応じた前記第二の領域における動き頻度値の変化に基づき、前記第一の領域の動き頻度値のうち、前記対象者の動きとして取得する動き頻度値から除外する動き頻度値を特定する処理を、コンピュータに実行させることを特徴とするプログラム。
（付記８）
コンピュータによる見守り方法であって、
対象者を撮影した撮影画像において、前記対象者の動きを監視する第一の領域における動きの頻度を示す動き頻度値と、前記第一の領域と隣接する第二の領域における動きの頻度を示す動き頻度値と、を算出し、
時間の経過に応じた前記第二の領域における動き頻度値の変化に基づき、前記第一の領域の動き頻度値のうち、前記対象者の動きとして取得する動き頻度値から除外する動き頻度値を特定することを特徴とする見守り方法。

開示の技術は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１０ 見守り領域
２０ 監視領域
１００ 見守りシステム
２００ 解析装置
２１０ 動き情報データベース
２２０ ステートテーブル
２４０ 解析プログラム
２４３ 動き領域判定部
２４４ 動き量算出部
２４５ 変動量算出部
２４６ ステート判定部
２４８ 状態判定部

Claims (5)

1. 対象者を撮影した撮影画像において、前記対象者の動きを監視する第一の領域における動きの頻度を示す動き頻度値と、前記第一の領域と隣接する第二の領域における動きの頻度を示す動き頻度値と、を算出する頻度値算出部と、
   時間の経過に応じた前記第二の領域における動き頻度値の変動量に基づき、前記第一の領域の動き頻度値のうち、前記対象者の動きとして取得する動き頻度値から除外する動き頻度値を特定する特定部と、を有する見守り装置。
2. 前記第一の領域及び前記第二の領域において、前記動き頻度値が算出された動き領域が前記第一の領域及び前記第二の領域をまたがるか否かを判定する判定部を有し、
   前記特定部は、
   前記動き領域が前記第一の領域及び前記第二の領域をまたがる場合に、前記動き領域から算出された動き頻度値を、前記対象者の動きとして取得する動き頻度値から除外する請求項１記載の見守り装置。
3. 前記特定部は、
   前記第二の領域における前記変動量が所定の閾値以上であり、且つ、前記変動量が算出された期間の直前の期間において算出された前記変動量が前記閾値未満であった場合に、
   前記第一の領域の動き頻度値を前記対象者の動きとして取得する動き頻度値から除外する請求項１又は２の何れか一項に記載の見守り装置。
4. 対象者を撮影した撮影画像において、前記対象者の動きを監視する第一の領域における動きの頻度を示す動き頻度値と、前記第一の領域と隣接する第二の領域における動きの頻度を示す動き頻度値と、を算出し、
   時間の経過に応じた前記第二の領域における動き頻度値の変化に基づき、前記第一の領域の動き頻度値のうち、前記対象者の動きとして取得する動き頻度値から除外する動き頻度値を特定する処理を、コンピュータに実行させることを特徴とするプログラム。
5. コンピュータによる見守り方法であって、
   対象者を撮影した撮影画像において、前記対象者の動きを監視する第一の領域における動きの頻度を示す動き頻度値と、前記第一の領域と隣接する第二の領域における動きの頻度を示す動き頻度値と、を算出し、
   時間の経過に応じた前記第二の領域における動き頻度値の変化に基づき、前記第一の領域の動き頻度値のうち、前記対象者の動きとして取得する動き頻度値から除外する動き頻度値を特定することを特徴とする見守り方法。

Images