以下に、図面を参照して見守りシステムについて説明する。図1は、見守りシステムを説明する図である。図1(a)は、撮像装置の配置を説明する図であり、図1(b)は、見守り領域と監視領域を説明する図であり、図1(c)は、撮影画像の一例を示す図である。
見守りシステム100では、見守り対象者が横臥する寝具110の上方に撮像装置120が設置されている。寝具とは、例えば病院や介護施設等に配置されているベッドである。
以下に説明する各実施形態では、見守り対象者は、主にベッド上で時間を過ごすことから、ベッド上の領域を見守る対象である第一の領域とし、ベッドの両脇の領域を見守り対象者以外の者が往来する第二の領域とする。以下の説明では、第一の領域を見守り領域10、第二の領域を監視領域20と呼ぶ。見守り対象者以外の者とは、例えば見守り対象者の看護や介護を行う看護師等の医療従事者、見守り対象者を介護する介護師、見舞客、見守り対象者と同室の患者等が含まれる。以下の説明では、監視領域20を往来する見守り対象者以外の者を来床者と呼ぶ。
撮像装置120は、見守り領域10と監視領域20とが含まれる画像が撮像できる高さに配置される。したがって、図1(c)に示す撮影画像30は、見守り領域10と監視領域20とを含む。
見守りシステム100において、撮像装置120は、撮像装置120と通信が可能な見守り装置と接続されている。見守り装置は、撮影画像30における見守り領域10と監視領域20とを解析し、見守り対象者の動きを示す情報を取得する。より具体的には、見守装置は、見守り領域10における有体物の動きから、見守り対象者の動きと来床者の動きが混在している動きを特定して除外することで、見守り対象者のみの動きを示す情報を取得する。
見守りシステム100では、見守り対象者単体の動きを示す情報を取得することで、例え見守り対象者以外の動きを見守り対象者の動きと誤認識することを抑制する。したがって、見守りシステム100では、見守り対象者以外の動作を誤認識して、見守り対象者の介護や看護(以下、補助と呼ぶ)が必要であることを報知する、といった誤作動を低減できる。
尚、以下の説明では、有体物の動きを示す情報を、動き情報と呼ぶ。有体物とは、例えば見守り対象者や来床者を示す。見守り装置の詳細と、動き情報の詳細は後述する。
次に、撮影画像30における見守り対象者の状態と来床者の状態との組み合わせについて説明する。
図2は、撮影画像における見守り対象者の状態と来床者の状態との組み合わせを説明する図である。見守り対象者の状態と来床者の状態との組み合わせは、例えば以下の7つのパターンとして示される。
パターン(1)は、見守り対象者が見守り領域10内に不在である場合を示している。パターン(2)は、見守り対象者が見守り領域10内におり、且つ来床者が監視領域20内に不在である場合を示している。パターン(3)は、見守り対象者が見守り領域10内におり、且つ来床者が監視領域20を通る場合を示している。パターン(4)は、見守り対象者が見守り領域10内におり、且つ来床者が監視領域20内に留まる場合を示している。パターン(4)は、例えば来床者が見守り対象者と会話をしている場合や、来床者が見守り対象者を目視で観察している場合等の、監視領域20内で来床者が見守り対象者の側に留まっている場合に該当する。
パターン(5)は、見守り領域10内で来床者と見守り対象者とが重なっている場合を示している。パターン(5)は、例えば来床者が見守り対象者に接触し、介護又は看護等のケアを行っている可能性のある場合に該当する。パターン(6)は、見守り対象者の体の一部(手や足等)が見守り領域10からはみ出し、監視領域20にかかる場合を示している。パターン(6)は、例えば見守り対象者がベッドに座っている状態等が該当する。
パターン(7)は、来床者の体の一部が見守り領域10内にかかる場合を示している。パターン(7)は、例えば来床者が身振り手振りを交えて見守り対象者と会話を行う場合等が該当する。
パターン(1)〜(4)においては、見守り領域10内の有体物の動き情報が、見守り対象者の動き情報となる。また、パターン(6)においては、見守り領域10と監視領域20の両方における動き情報が、見守り対象者の動き情報となる。
これに対し、パターン(5)、(7)は、見守り領域10内に見守り対象者の動きと来床者の動きが混在している状態である。以下の説明では、見守り領域10内に見守り対象者の動きと来床者の動きが混在している状態を混在状態と呼ぶ。
混在状態は、来床者が見守り対象者の側で見守り対象者に関連する行動を行っている可能性が高い状態である。見守り対象者に関連する行動とは、例えば見守り対象者の看護や介護等を含む。この混在状態においては、来床者により見守り対象者に対する補助の必要性が判断されることが想定される。また、混在状態においては、見守り対象者に補助が必要となった場合、来床者が補助の要請(ナースコール等)を行うことが想定される。
よって、混在状態における見守り領域10内の動き情報は、見守り対象者から離れた位置で、見守り対象者の補助の必要性の判断する際には不要な情報であり、補助の必要性の判断に用いる情報から除外されることが好ましい。
以上の観点から、以下に説明する各実施形態では、見守り領域10における混在状態を特定し、混在状態における見守り領域10内の動き情報を、取得すべき見守り対象者の動き情報から除外する。
以下に、図3を参照しても見守り対象者及び来床者の状態について説明する。以下の説明では、見守り対象者及び来床者の状態を示す状態情報をステートと呼ぶ。
以下に説明する各実施形態において、ステートは、ステート1、ステート2及びステート3の3種類とした。ステート1は、監視領域20内に有体物の動きの変動がない状態とし、ステート2は、監視領域20内の有体物の動きの変動量が少ない状態とし、ステート3は、監視領域20内の有体物の動きの変動量が大きい状態とした。尚、監視領域20内の有体物の動き及び動きの変動量の詳細は後述する。
図3は、見守り対象者と来床者の動きと、ステートの遷移との対応を示す図である。
図2に示すパターン(1)、(2)は、監視領域20内に来床者がいないため、ステート1となる。パターン(3)は、来床者が見守り対象者の近傍を通る場合であり、ステートは、ステート1→ステート2→ステート1と遷移する。
パターン(4)は、来床者が見守り対象者と会話をしたり、目視で観察したりする場合であり、この場合のステートも、パターン(3)と同様にステート1→ステート2→ステート1と遷移する。パターン(6)は、監視領域20に来床者が不在の状態から、見守り対象者の体の一部が監視領域20に入る場合であり、ステートは、ステート1→ステート3と遷移する。
一方で、パターン(5)、(7)は、来床者が監視領域20内に現れ、見守り対象者の側で動く場合であり、ステートは、ステート1→ステート2→ステート3→ステート2→ステート1と遷移する。すなわち、見守り領域10が混在状態となる場合には、その直前と直後のステートがステート2となる。
そこで、以下に説明する各実施形態では、監視領域20内の有体物の動きの変動量が大きい状態で、且つ直前のステートが2であった場合に、ステートはステート2からステート3へ遷移するものと定義した。また、本実施形態では、ステート3から遷移するステートはステート2であるものと定義した。したがって、例えばステート3の状態において、監視領域20内の動きの変動がなかった場合(ステート1の状態)となった場合には、ステート3→ステート2とならず、ステート3が維持される。
図4は、見守り領域が混在状態となる場合のステートの遷移を説明する図である。図4(a)は、混在状態の1つであるパターン(5)に至る動作を説明する図であり、図4(b)は、ステートの遷移を説明する図である。
パターン(5)に至る際は、図4(a)に示すように、見守り領域10内に見守り対象者がおり且つ来床者がいないパターン(2)、来床者が監視領域20内を通るパターン(3)、来床者が見守り対象者の側に留まるパターン(4)を経て、パターン(5)の状態となる。そして、来床者による見守り対象者と関連する動作が終了すると、再度パターン(4)、パターン(3)を経て、パターン(2)の状態に戻る。
したがって、この状態におけるステートは、図4(b)に示すように、ステート1→ステート2→ステート3→ステート2→ステート1と遷移する。このとき、ステート3の開始時刻taから終了時刻tbまでが、混在状態として特定される。
(第一の実施形態)
以下に図面を参照して第一の実施形態について説明する。図5は、第一の実施形態の見守りシステムの一例を示す図である。
見守りシステム100は、撮像装置120と、見守り装置の一例である解析装置200と、を有しており、撮像装置120と解析装置200とは、ネットワーク140等を介して接続される。尚、撮像装置120と解析装置200とは、通信可能に接続されていれば良く、ネットワーク140を介していなくても良い。
撮像装置120は、例えば、病院の各病室や介護施設の各居室等において、寝具(ベッド)の傍らに設置される。本実施形態の撮像装置120は、例えば近赤外線カメラであり、病院の各病室や介護施設の各居室の寝具上に横臥した見守り対象者の動作を撮影する。撮像装置120により撮影された撮影画像は、解析装置200に送信される。
本実施形態の解析装置200は、動き情報データベース210、ステートテーブル220を有する。
動き情報データベース210は、撮像装置120により撮影された撮影画像と、見守り対象者の動き情報とが格納される。本実施形態において、動き情報データベース210とは、見守り対象者毎に設けられる。
ステートテーブル220は、ステートを判定する際に参照されるテーブルである。動き情報データベース210の詳細と、ステートテーブル220の詳細は、後述する。
尚、本実施形態の解析装置200は、例えば、病院のナースステーションや介護施設の介護者用の執務室等に設置されたユーザインタフェース装置(図示せず)と接続されていても良い。この場合も解析装置200から出力される動き情報がユーザインタフェース装置に表示されても良い。
図6は、解析装置のハードウェア構成を示す図である。解析装置200は、CPU201、ROM202、RAM(Random Access Memory)203を備える。また、解析装置200は、記憶部204、接続部205、通信部206を備える。尚、解析装置200の各部は、バス207を介して相互に接続されている。
CPU201は、記憶部204に格納された各種プログラムを実行するコンピュータである。
ROM202は不揮発性メモリである。ROM202は、記憶部204に格納された各種プログラムをCPU201が実行するために必要な各種プログラム、データ等を格納する。具体的には、BIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラムなどを格納する。
RAM203は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の主記憶装置である。RAM203は、記憶部204に各種プログラムがCPU201によって実行される際に展開される、作業領域として機能する。
記憶部204は、解析装置200にインストールされた各種プログラムや、プログラムを実行することで生成されるデータ等を格納する。接続部205は、例えばユーザインタフェース装置等と接続されても良い。通信部206は、撮像装置120との間で通信を行う。
以下に、図7を参照して本実施形態の動き情報データベース210について説明する。図7は、動き情報データベースの一例を示す図である。
本実施形態の動き情報データベース210は、情報の項目として、画像ID、画像ファイル、動き量、ステート、開始時刻、終了時刻を含む。本実施形態では、画像IDと対応する動き量、ステート、開始時刻及び開始時間の項目の値を、見守り対象者の動き情報と呼ぶ。尚、動き情報には画像IDと対応する画像ファイルが含まれても良い。
画像IDは、撮影画像データを識別するための識別子を示す。画像ファイルは、所定の時間Tに撮影された複数フレームの撮影画像データ群を含むファイルを示す。例えば、フレーム周期を10枚/秒とし、所定時間Tを15秒とすると、画像ファイルには、150フレーム分の撮影画像が含まれることとなる。
動き量は、画像ファイルに格納された撮影画像データ群より抽出される。本実施形態の動き量は、撮影画像データにおける見守り領域10内と監視領域20内の両方から抽出される。
ステートは、後述するステート判定部246により判定されたステートを示す。開始時刻及び終了時刻は、各画像ファイル群の撮影を開始した時刻と終了した時刻とを示す。
次に、図8を参照して本実施形態のステートテーブル220について説明する。図8は、第一の実施形態のステートテーブルの一例を示す図である。
本実施形態のステートテーブル220は、ステートを判定する処理において参照される。本実施形態のステートテーブル220は、情報の項目として、監視領域20の動きの変動量、直前のステート、現在のステートを有し、監視領域20の動きの変動量と、直前のステートと現在のステートとの組み合わせと、が対応付けられている。
初めに、監視領域20の動きの変動がない場合について説明する。本実施形態では、直前のステートが1又は2であり、且つ監視領域20内の動きの変動がない場合に、現在のステートが1となる。
一方、監視領域20の動き量の変動がない場合でも、直前のステートが3の場合には、現在のステートは3に維持される。これは、ステートの遷移の定義において、ステート3の直前直後のステートは2であることが定義されており、ステート3からステート1へは遷移しないからである。ステート3が維持される場合とは、例えば来床者が見守り対象者の介護や処置等を終えて、見守り対象者を静かに観察している状態等であり、来床者が見守り対象者に関わる動作を行っている最中である可能性がある場合である。
次に、監視領域20の動きの変動量が小さい場合について説明する。監視領域20の動きの変動量が小さい場合は、直前のステートが1乃至3の何れであっても、現在のステートは2となる。
次に、監視領域20の動きの変動量が大きい場合について説明する。監視領域20の動きの変動量が大きい場合は、ステート3となるが、ステート3の直前のステートは、2でなくてはならない。
したがって、監視領域20の動きの変動量が大きく、且つ直前のステートが1の場合には、現在のステートは3に遷移せず、ステート1を維持する。この場合、監視領域20における動きは、見守り領域10からはみ出した見守り対象者の体の一部の動き(パターン(6)参照)と見なされる。
また、監視領域20の動きの変動量が大きく、且つ直前のステートが2の場合には、現在のステートは3となる。さらに、監視領域20の動きの変動量が大きく、且つ直前のステートが3の場合には、現在のステートは3を維持する。
次に、図9を参照し、本実施形態における動き量の算出について説明する。図9は、動き量の算出を説明する図である。図9では、監視領域20内の動き量を算出する例を示したが、見守り領域10内においても同様の処理により動き量が算出される。
図9(a)は、撮影画像30に監視領域20を所定の大きさのメッシュ状に分割した例を示す図である。図9(b)は、時間Tの間の動き量の算出を説明する図である。
本実施形態では、時刻t−1における監視領域20における各メッシュと、時刻tにおける監視領域20における各メッシュとの輝度差を算出し、輝度差が所定の閾値以上であるメッシュを1、輝度差が所定の閾値未満のメッシュを0として、二値化した二値画像を算出する。そして、本実施形態では、二値画像の監視領域において、値が1であるメッシュの領域を動きがある動き域とする。
図9(b)の例では、監視領域20における来床者の位置P1と、監視領域20における来床者の位置P2とが異なっている。この場合、時刻t−1から時刻tの間に、監視領域20内で来床者が位置P1から位置P2まで動いたことを示している。よって、図9(b)では、監視領域20と監視領域20の各メッシュの輝度差から得られた二値画像より、動き域R1が算出される。また、本実施形態では、続いて時刻tにおける監視領域20と、時刻t+1における監視領域20とにおいて、各メッシュの輝度差から得られた二値画像より、動き域R2(図示せず)として算出する。本実施形態では、動き域R1と動き域R2の両方において値が1のメッシュが、時刻t−1から時刻t+1における動き領域となる。
より具体的には、本実施形態において、監視領域内の各メッシュ(x,y)の輝度値をf(x,y)とし、輝度差の閾値をTHとすると、二値画像は下式に基づいて求めることができる。
尚、f'1(x,y)は、時刻t−1における撮影画像と時刻tにおける撮影画像から得られた二値画像であり、f'2(x,y)は、時刻tにおける撮影画像と時刻t+2における撮影画像から得られた二値画像である。よって、動き域R1は、f'1(x,y)=1の領域であり、動き域R2は、f'2(x,y)=1の領域となる。
続いて、本実施形態では、f'1(x,y)とf'2(x,y)の論理積f'm(x,y)を算出する。論理積f'm(x,y)は、以下の式から求めることができる。
本実施形態では、論理積f'm(x,y)=1となるメッシュの領域が、動き領域となる。すなわち、本実施形態の動き領域は、2つの連続する二値画像のいずれにおいても、輝度値が1となるメッシュで示される領域である。
次に本実施形態の動き量について説明する。
本実施形態では、時間Tの間に、監視領域20内で動き領域と判定されたメッシュの輝度値を順次加算していく。本実施形態では、輝度値を加算した値を動き量と呼ぶ。
すなわち、本実施形態の動き量とは、各メッシュにおいて動き領域と判定された回数を示す値である。言い換えれば、本実施形態の動き量とは、監視領域20内の各メッシュにおいて動きがあった頻度を示す動き頻度値である。本実施形態の動き量は、各メッシュにおいて動き領域と判定される回数が多いほど、大きくなる。すなわち、本実施形態では、動き量が大きいメッシュほど、有体物の動きの頻度が高いことを示す。
次に、本実施形態の動きの変動量について説明する。
本実施形態では、例えば動き領域において、動き量が所定の閾値TH1以上であるメッシュで示される領域を、動きの頻度が高い領域とする。また、本実施形態では、動き量が閾値TH1未満であるメッシュで示される領域を、動きの頻度が低い領域とする。そして、本実施形態では、動き領域における、動きの頻度が高い領域と動きの頻度が低い領域との割合を算出する。本実施形態では、この割合を、特徴量と呼ぶ。尚、本実施形態における動き量の閾値TH1は、予め設定されているものとした。
本実施形態の特徴量は、例えば動きの頻度が高い領域の面積と動きの頻度が低い領域の面積の比率で表されても良いし、動きの頻度が高い領域のメッシュの数と、動きの頻度が低い領域のメッシュの数との比率で表されても良い。本実施形態では、動き領域における特徴量の変化を、動きの変動量と呼ぶ。
次に、本実施形態の解析装置200の機能について説明する。図10は、第一の実施形態の解析装置の機能構成を説明する図である。
本実施形態の解析装置200は、CPU201が解析プログラム240を実行することで、後述する各部の処理を実現する。
本実施形態の解析装置200は、撮影画像取得部241、領域識別部242、動き領域算出部243、動き量算出部244、変動量算出部245、ステート判定部246、直前ステート保持部247、状態判定部248、出力部249を有する。
本実施形態の撮影画像取得部241は、撮像装置120が撮影した撮影画像を取得し、動き情報データベース210へ格納する。本実施形態の撮影画像取得部241は、撮像装置120により、時間Tの間に撮影された複数フレームの撮影画像データ群を1つの画像ファイルとして、画像IDを付与し、動き情報データベース210へ格納する。
本実施形態の領域識別部242は、撮像画像における見守り領域10と、監視領域20とを識別する。本実施形態では、撮像装置120が設置された状態において、撮影画像30における見守り領域10と、監視領域20とが領域識別部242に設定されている。
本実施形態の動き領域算出部243は、見守り領域10及び監視領域20における動き領域を算出する。本実施形態の動き量算出部244は、見守り領域10及び監視領域20における時間Tの動き量を算出する。また、本実施形態の動き量算出部244は、算出した動き量を、時間Tと対応付けて動き情報データベース210へ格納する。本実施形態の変動量算出部245は、監視領域20における動きの変動量を算出する。
本実施形態における動き領域、動き量及び動きの変動量の算出は、図9で説明した通りである。
本実施形態のステート判定部246は、ステートテーブル220を参照し、変動量算出部245により算出された監視領域20の動きの変動量と、直前ステート保持領域に保持された直前のステートとに基づき、現在のステートを判定する。また、ステート判定部246は、判定されたステートを動き情報データベース210へ格納する。
直前ステート保持部247は、ステート判定部246で判定されたステートを、直前ステート保持領域に格納し、直前のステートを更新する。本実施形態の直前ステート保持領域は、例えばRAM203に設けられていても良い。
本実施形態の状態判定部248は、判定されたステートに基づき、撮影画像における見守り対象者と来床者との状態が、来床者が見守り対象者に関わる動作を行っている状態か否かを判定する。出力部249は、状態判定部248による判定の結果に応じて、動き情報やステートを出力する。
以下に、図11を参照して本実施形態の解析装置200の動作を説明する。図11は、第一の実施形態の解析装置の動作を説明するフローチャートである。
本実施形態の撮影画像取得部241は、撮像装置120から時間Tの間に撮影された画像ファイルを取得する(ステップS1101)。尚、本実施形態では、撮像装置120から画像ファイルを取得するものとしたが、これに限定されない。例えば、解析装置200は、撮像装置120により撮影された撮影画像データを蓄積する撮影画像データベースを有し、撮影画像取得部241は、撮影画像データベースから画像ファイルを取得しても良い。また撮影画像データベースは、例えば解析装置200と通信可能な外部装置に設けられていても良い。
続いて、解析装置200は、領域識別部242により、撮影画像データにおける見守り領域10と監視領域20とを識別する(ステップS1102)。
解析装置200は、領域を識別すると、各領域において、動き領域の算出、動き量の算出、動きの変動量の算出を行う。
具体的には、解析装置200は、動き領域算出部243により、見守り領域10の動き領域を算出する(ステップS1103)。次に解析装置200は、動き量算出部244により、見守り領域10の動き量(動き頻度値)を算出し(ステップS1104)、動き情報データベース210へ格納する。続いて解析装置200は、変動量算出部245により、見守り領域10における動きの変動量を算出する(ステップS1105)。本実施形態では、算出された見守り領域10の動きの変動量も、動き情報データベース210に格納しても良い。
また、解析装置200は、動き領域算出部243により、監視領域20の動き領域を算出する(ステップS1106)。次に解析装置200は、動き量算出部244により、時間Tにおける監視領域20の動き量(動き頻度値)を算出する(ステップS1107)。尚、動き量算出部244は、例えば動き情報データベース210に、監視領域20の動き量を格納しても良い。続いて解析装置200は、変動量算出部245により、監視領域20における動きの変動量を算出する(ステップS1108)。尚、変動量算出部245は、例えば動き情報データベース210に、監視領域20の動きの変動量を格納しても良い。
本実施形態の解析装置200は、ステップS1103からステップS1105までの処理と、ステップS1106からステップS1108までの処理を並列に実行しても良い。
続いて解析装置200は、ステート判定部246により、ステートの判定を行う(ステップS1109)。以下に、ステートの判定について説明する。
本実施形態のステート判定部246は、変動量の大きさを判定する。本実施形態では、例えば変動量が所定の閾値TH2以上であった場合に、変動量が大きいと判定し、変動量が所定の閾値TH2未満であった場合に、変動量が小さいと判定し、変動量が0であったとき、動きなしと判定する。尚、変動量の閾値TH2は、予めステート判定部246に設定されているものとした。
次にステート判定部246は、ステートテーブル220と直前ステート保持領域を参照し、変動量の大きさの判定結果と、直前のステートとから、現在のステートを判定する。判定結果のステートは、動き情報データベース210に格納される。
続いて解析装置200は、状態判定部248により、判定されたステートから、見守り領域10内が混在状態か否かを判定する(ステップS1110)。本実施形態では、ステートが3である時間帯を混在状態と判定する。
ステップS1110において、混在状態であった場合、出力部249は、判定結果のステートを出力し(ステップS1111)、処理を終了する。尚、出力部249は、ステップS1111において、判定結果のステートと、このステートの開始時刻及び終了時刻とを対応付けたステート情報を出力しても良い。
ステップS1110において混在状態でなかった場合、出力部249は、動き情報データベース210に格納された動き情報(図7参照)を出力し(ステップS1112)、処理を終了する。
本実施形態の出力部249は、例えば解析装置200と接続されたユーザインタフェース装置に対してステート情報や動き情報を出力し、表示させても良い。また本実施形態の出力部249は、解析装置200の有する記憶部204や解析装置200と接続される外部装置等へ、ステート情報や動き情報を出力しても良い。本実施形態において、出力された動き情報は、見守り領域10における見守り対象者の動き情報として保管され、出力されたステート情報は、例えば来床者が見守り対象者の介護や処置等のケアを実施した動きを示す情報として保管されても良い。すなわち、本実施形態では、動き情報と、ステート情報とは、それぞれが区別されて保管される。
本実施形態では、動き情報とステート情報とを区別して管理することで、見守り領域10における混在状態を特定し、混在状態における見守り領域10の動き情報を取得対象の動き情報から除外することができ、見守り対象者の動きを適切に取得することができる。
以下に、本実施形態の解析装置200におけるステートの判定について、図7、図8を参照して具体的に説明する。
以下では、図7において画像ファイルImg3と対応するステートを判定する場合について説明する。
本実施形態の解析装置200は、画像ファイルImg2から算出された動き量P2と、
画像ファイルImg3から抽出された動き量P3と、を算出し、動きの変動量を算出する。
画像ファイルImg2は、開始時刻t2から終了時刻t3までの時間T1の間に取得されたものであり、画像ファイルImg3は、開始時刻t3から終了時刻t4までの時間T2の間に取得されたものである。
したがって、ここで算出される動きの変動量は、時間T1における見守り領域10の動きと、時間T2における見守り領域10の動きの変動量である。
解析装置200は、ステート判定部246により、動き量P2及び動き量P3から算出された動きの変動量が閾値TH2以上か否かを判定する。ここでは、変動量は閾値TH2以上とする。よって、ステート判定部246は、変動量が大きいと判定する。また、ステート判定部246は、直前ステート領域に保持された直前のステートを判定する。
こでは、ステート判定部246により算出される直前の時間T2のステートは2である。
したがって、ステート判定部246は、時間T3のステートを3と判定とする。
図12は、見守り領域の動き情報がユーザインタフェース装置に表示された場合の画面の例を示す図である。
図12に示す画面121では、例えば、横軸を時間とし、縦軸を日にちとして、動き情報の動き量を表示している。
本実施形態では、ステート3の時間帯を混在状態と判定するため、画面121では、ステート3と対応する時間帯は、動き量をマスクして表示させても良い。本実施形態では、ステート3の時間帯をマスクすることで、見守り領域10が混在状態となった時間帯であることを可視化している。
本実施形態では、画面121に示すように、ステート3と判定された時間帯の動き情報をマスクすることで、例えば画面121を監視している医療従事者に対し、見守り対象者単体の動き情報を提供できる。尚、動き情報の表示形態は、例えば棒グラフのような形態としても良い。
(第二の実施形態)
以下に、図面を参照して第二の実施形態について説明する。第二の実施形態では、撮影画像30において、見守り領域10と監視領域20との境界線を含む境界領域を設定し、境界領域と隣接する領域における動き量から、動き領域が見守り領域10の動き領域と監視領域20とにまたがっているか否かを判定する。そして本実施形態では、動き領域が見守り領域10と監視領域20とにまたがっていた場合に、混在状態であると判定する。
すなわち、本実施形態では、監視領域20内の動きの変動量が大きく、且つ直前のステートが2であり、さらに動き領域が見守り領域10と監視領域20とにまたがっていた場合に、ステート3と判定する。
尚、以下の本実施形態の説明では、見守り領域10と監視領域20とに動き領域がまたがっていることを、見守り領域10と監視領域20において動き領域が連結している、と表現する。
本実施形態では、見守り領域10と監視領域20とにおける動き領域の連結の有無を判定することで、混在状態と判定する精度を向上させることができる。
図13は、見守り領域の動き領域と監視領域の動き領域との連結について説明する図である。図13(a)は、動き領域が連結しているか否かの判定を説明する図である。図13(b)、(c)は、見守り対象者の状態と来床者の状態との組み合わせの例を示す図である。
本実施形態では、撮影画像30において、見守り領域10と監視領域20との間の境界線40を含む境界領域50を設定する。そして、本実施形態では、動き領域に境界領域50の一部が含まれる場合、動き領域に含まれる境界領域50を領域R0とし、領域R0と隣接する領域R1、R2、R3、R4、R5、R6のそれぞれの動き量を算出する。
本実施形態では、領域R0〜R6が、以下に示す条件を満たすか否かに基づき、動き領域が見守り領域10と監視領域20とにおいて連結しているか否かを判定する。本実施形態では、領域R0〜R6が以下の条件1〜3を全て満たす場合に、見守り領域10と監視領域20とおいて動き領域が連結していると判定する。
<条件>
条件1:領域R0の動き量が所定の閾値TH3以上である。
条件2:領域R1、R2、R3の何れかの動き量が閾値TH3以上である。
条件3:領域R4、R5、R6の何れかの動き量が閾値TH3以上である。
例えば、見守り対象者の状態と来床者の状態が、図13(b)に示すパターン(5)である場合、来床者の体の一部は、見守り領域10内に入っている。このような場合には、境界線40の近傍において、見守り領域10内の動き量と、監視領域20内の動き量とがほぼ同じになる。すなわち、見守り領域10と監視領域20において動き領域が連結している場合、条件1〜3を満たす。
これに対し、見守り対象者の状態と来床者の状態が、図13(c)に示すように、守り領域10と監視領域20において動き領域が連結していない場合、境界線40の近傍の見守り領域10内の動きと監視領域20内の動きは独立しているため、動き量が異なる。すなわち、見守り領域10と監視領域20において動き領域が連結していない場合、条件1〜3の全てを満たさない。
本実施形態では、以上のように、境界線40の近傍における見守り領域10内の動き量と、監視領域20の動き量とに基づき、動き領域の連結の有無を判定する。したがって、本実施形態では、例えば来床者が監視領域20内のみで大きな動きをしている状態を判定でき、この状態と、混在状態とを区別できる。
図14は、第二の実施形態のステートテーブルの一例を示す図である。
本実施形態のステートテーブル220Aは、情報の項目として、監視領域20の動きの変動量、直前のステート、連結の有無、現在のステートを有する。
本実施形態のステートテーブル220Aでは、監視領域20の動きの変動がない場合及び動きの変動が小さい場合には、連結の有無は判断しない。本実施形態では、監視領域20の動きの変動が大きい場合に、連結の有無を判定する。
本実施形態では、動きの変動量が大きく、動き領域が見守り領域10と監視領域20とで連結している場合に、混在状態であるステート3と判定される。
図15は、第二の実施形態の解析装置の機能構成を説明する図である。本実施形態の解析装置200Aは、解析プログラム240Aを実行することで、各部の機能を実現する。
本実施形態の解析装置200Aは、第一の実施形態の解析装置200の有する各部に加え、連結有無判定部250を有する。
本実施形態の連結有無判定部250は、監視領域20内の動きの変動量が閾値TH2以上であった場合に、見守り領域10と監視領域20とに、境界領域50及び領域R0〜R6を設定し、動き領域の連結の有無を判定する。動き領域の連結の有無の判定は、図13で説明した通りである。
以下に、図16を参照して本実施形態の解析装置200Aの動作を説明する。図16は、第二の実施形態の解析装置の動作を説明するフローチャートである。
図16のステップS1601からステップS1608までの処理は、図11のステップS1101からステップS1108までの処理と同様であるから、説明を省略する。
ステップS1608に続いて、解析装置200Aは、連結有無判定部250により、監視領域20の動きの変動量が閾値TH2以上か否かを判定する(ステップS1609)。ステップS1609において、変動量が閾値TH2未満の場合、後述するステップS1611へ進む。
ステップS1609において、変動量が閾値TH2以上であった場合、連結有無判定部250は、見守り領域10内の動き領域と、監視領域20内の動き領域との連結の有無を判定する(ステップS1610)。
続いて、解析装置200Aは、ステート判定部246により、ステートの判定を行う(ステップS1611)。
本実施形態では、変動量が閾値TH2未満であった場合は、図11のステップS1109と同様の処理によりステートを判定する。また、本実施形態では、変動量が閾値TH2以上であった場合、ステート判定部246は、ステップS1610における連結有無判定部250の判定結果と、直前ステート保持領域に保持された直前のステートと、ステートテーブル220Aとを参照し、ステートを判定する。
より具体的には、ステート判定部246は、変動量が閾値TH2以上であり、直前のステートが2であり、且つ見守り領域10の動き領域と監視領域20の動き領域とが連結している場合に、ステート3と判定する。
ステップS1612からステップS1614までの処理は、図11のステップS1110からステップS1112の処理と同様であるから、説明を省略する。
以上のように、本実施形態では、見守り領域10と監視領域20とにおける動き領域の連結の有無を用いて、混在状態を判定する。したがって、本実施形態によれば、見守り対象者の動きを適切に取得することができる。
開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
対象者を撮影した撮影画像において、前記対象者の動きを監視する第一の領域における動きの頻度を示す動き頻度値と、前記第一の領域と隣接する第二の領域における動きの頻度を示す動き頻度値と、を算出する頻度値算出部と、
時間の経過に応じた前記第二の領域における動き頻度値の変動量に基づき、前記第一の領域の動き頻度値のうち、前記対象者の動きとして取得する動き頻度値から除外する動き頻度値を特定する特定部と、を有する見守り装置。
(付記2)
前記第一の領域及び前記第二の領域において、前記動き頻度値が算出された動き領域が前記第一の領域及び前記第二の領域をまたがるか否かを判定する判定部を有し、
前記特定部は、
前記動き領域が前記第一の領域及び前記第二の領域をまたがる場合に、前記動き領域から算出された動き頻度値を、前記対象者の動きとして取得する動き頻度値から除外する付記1記載の見守り装置。
(付記3)
前記第一の領域の前記動き頻度値のうち、前記対象者の動きを示す動き頻度値を時系列に表示させる出力部を有する付記2記載の見守り装置。
(付記4)
前記動き頻度値は、
前記撮影画像に含まれる複数フレームの撮影画像から抽出した、各フレームにおける前記第一又は第二の領域において、有体物が動いた領域を示す動き領域と、
前記有体物の動きの開始から終了までの時刻と、
前記動き領域としてカウントされた回数とを含むも付記1乃至3の何れか一項に記載の見守り装置。
(付記5)
前記変動量は、
前記動き領域において、前記動き領域としてカウントされた回数が所定値以上の領域と、カウントされた回数が前記所定値未満の領域との割合の変化である付記4記載の見守り装置。
(付記6)
前記特定部は、
前記第二の領域における前記変動量が所定の閾値以上であり、且つ、前記変動量が算出された期間の直前の期間において算出された前記変動量が前記閾値未満であった場合に、
前記第一の領域の動き頻度値を前記対象者の動きとして取得する動き頻度値から除外する付記1乃至5の何れか一項に記載の見守り装置。
(付記7)
対象者を撮影した撮影画像において、前記対象者の動きを監視する第一の領域における動きの頻度を示す動き頻度値と、前記第一の領域と隣接する第二の領域における動きの頻度を示す動き頻度値と、を算出し、
時間の経過に応じた前記第二の領域における動き頻度値の変化に基づき、前記第一の領域の動き頻度値のうち、前記対象者の動きとして取得する動き頻度値から除外する動き頻度値を特定する処理を、コンピュータに実行させることを特徴とするプログラム。
(付記8)
コンピュータによる見守り方法であって、
対象者を撮影した撮影画像において、前記対象者の動きを監視する第一の領域における動きの頻度を示す動き頻度値と、前記第一の領域と隣接する第二の領域における動きの頻度を示す動き頻度値と、を算出し、
時間の経過に応じた前記第二の領域における動き頻度値の変化に基づき、前記第一の領域の動き頻度値のうち、前記対象者の動きとして取得する動き頻度値から除外する動き頻度値を特定することを特徴とする見守り方法。
開示の技術は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。