JP6413310B2 - 見守り装置、表示方法及びプログラム - Google Patents

Description

本発明は、見守り装置、表示方法及びプログラムに関する。

従来より、病院や介護施設等において、寝具上に横臥した患者や被介護者等（「見守り対象者」と称す）の動作を、撮像装置を用いて監視する見守りシステムが知られている。見守りシステムを用いれば、看護師や介護士等（「補助者」と称す）は、見守り対象者の動作により補助が必要な状態になったことを、離れた位置からでも把握することができる。しかしながら、このような見守りシステムの場合、補助者はモニタの前で撮影画像を常時監視しておく必要があり、補助者にとっての負担が大きい。

一方で、複数の撮影画像から特定の撮影画像を検知して表示する画像処理技術が知られている。このような画像処理技術を上記見守りシステムに適用すれば、見守り対象者の動作により特定の状態（補助者による補助が必要な状態）になった際の撮影画像のみを、補助者に対して報知することができるようになると考えられる。

特開２００９−１４０１７５号公報

しかしながら、見守り対象者の日常生活動作は様々であり、同じ見守り対象者であっても、リハビリの進行状態や投薬の状態等によって変化する。このため、補助者による補助が必要な状態は、見守り対象者ごとに日々変化し、複数の撮影画像から、補助者による補助が必要な状態を撮影した特定の撮影画像のみを精度よく検知することは容易ではない。日々状態が変化する中で、特定の撮影画像を精度よく検知するためには、見守り対象者ごとの日常生活動作に応じた撮影画像を、蓄積しておく必要があるからである。

一方で、見守りシステムにおいて誤検知が頻繁に発生したのでは、補助者は報知された撮影画像を頻繁に確認する必要があり、補助者の負担が軽減されない。

一つの側面では、見守りシステムにおいて補助者の負担を低減させることを目的としている。

一態様によれば、対象者を撮影することで得られた撮影画像から、該対象者の動作を示す特徴量を算出する算出部と、前記算出部により算出された特徴量を、前記対象者について既に登録されている他の撮影画像から算出された特徴量との類似度に応じたパラメータと対応付けて、前記対象者ごとにデータベースに登録する登録部と、前記パラメータに基づいて前記撮影画像を表示するか否かを判定し、表示すると判定した場合に、前記撮影画像を表示させる表示制御部とを有する。

見守りシステムにおいて補助者の負担を低減させることができる。

見守りシステムの一例を示す図である。 解析装置のハードウェア構成を示す図である。 撮影画像データベースに格納される撮影画像情報の一例を示した図である。 撮影画像より抽出される第１及び第２の特徴量を説明するための図である。 撮影画像より抽出される第３の特徴量を説明するための図である。 解析装置の機能構成を示す図である。 解析装置により実行される撮影画像解析処理の概要を説明するための図である。 解析装置により実行される撮影画像解析処理のフローチャートである。 解析装置により実行される登録処理のフローチャートである。 解析装置により実行される表示処理のフローチャートである。 解析装置により実行される行動結果取得処理のフローチャートである。 解析装置により実行される重み変更処理のフローチャートである。 解析装置により実行される表示処理の他のフローチャートである。 ダイジェスト画像の抽出方法及び表示方法を説明するための図である。 解析装置により実行される表示処理の他のフローチャートである。 解析装置により実行される行動結果取得処理の他のフローチャートである。

以下、実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
はじめに、第１の実施形態における見守りシステムについて説明する。図１は、見守りシステムの一例を示す図である。

見守りシステム１００は、撮像部１１０と、見守り装置の一例である解析装置１２０と、ユーザインタフェース装置１３０とを有しており、撮像部１１０と解析装置１２０とは、ネットワーク１４０を介して接続される。撮像部１１０は、例えば、病院の各病室や介護施設の各居室等において、寝具（ベット）の傍らに設置される。また、ユーザインタフェース装置１３０は、例えば、病院のナースステーションや介護施設の介護者用の執務室等に設置される。

撮像部１１０は、近赤外線カメラであり、病院の各病室や介護施設の各居室の寝具上に横臥した患者や被介護者等（「見守り対象者」と称す）の動作を撮影する。撮像部１１０により撮影された撮影画像は、ネットワーク１４０を介して解析装置１２０に送信される。

解析装置１２０は、撮像部１１０により撮影された撮影画像を処理し、撮影画像データベース１２１（以下、データベースをＤＢと略す）に格納されている撮影画像情報に撮影画像を登録する。また、解析装置１２０は、撮影画像をユーザインタフェース装置１３０を表示するための制御を行う。更に、解析装置１２０は、ユーザインタフェース装置１３０に撮影画像を表示した場合の、看護師や介護士等（「補助者」と称す）による見守り対象者に対する補助の有無を判定し、判定結果に応じて撮影画像ＤＢ１２１に格納された撮影画像情報を更新する。なお、解析装置１２０には、解析プログラム１２２がインストールされており、解析装置１２０におけるこれらの処理は、解析装置１２０が解析プログラム１２２を実行することで実現する。

ユーザインタフェース装置１３０は、撮影画像を表示するとともに、補助者による見守り対象者に対する補助の有無の入力を受け付ける。ユーザインタフェース装置１３０は、入力された補助者による補助の有無を、補助者の行動結果に関する情報として、解析装置１２０に送信する。

図２は、解析装置のハードウェア構成を示す図である。図２に示すように、解析装置１２０は、ＣＰＵ２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を備える。また、解析装置１２０は、記憶部２０４、接続部２０５、通信部２０６を備える。なお、解析装置１２０の各部は、バス２０７を介して相互に接続されている。

ＣＰＵ２０１は、記憶部２０４に格納された各種プログラムを実行するコンピュータである。

ＲＯＭ２０２は不揮発性メモリである。ＲＯＭ２０２は、記憶部２０４に格納された各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する。具体的には、ＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラムなどを格納する。

ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の主記憶装置である。ＲＡＭ２０３は、記憶部２０４に各種プログラムがＣＰＵ２０１によって実行される際に展開される、作業領域として機能する。

記憶部２０４は、解析装置１２０にインストールされた各種プログラムや、プログラムを実行することで生成されるデータ等を格納する。接続部２０５は、ユーザインタフェース装置１３０と接続され、ユーザインタフェース装置１３０との間で、データの送受信を行う。通信部２０６は、ネットワーク１４０を介して撮像部１１０との間で通信を行う。

次に、解析装置１２０の撮影画像ＤＢ１２１に格納される撮影画像情報について説明する。図３は、撮影画像ＤＢに格納される撮影画像情報の一例を示した図である。なお、撮影画像ＤＢ１２１には、見守り対象者ごとに撮影画像情報が格納されており、図３は、そのうちの"患者ＩＤ"＝"ＡＡＡＡ"の見守り対象者の撮影画像情報の一例を示す図である。

図３に示すように、撮影画像情報３００は情報の項目として、"画像ＩＤ"、"画像ファイル"、"特徴量"、"重みパラメータ"、"カウンタ値"を含む。"画像ＩＤ"には、撮影画像情報３００に登録される撮影画像を識別するための識別子が格納される。

"画像ファイル"には、撮影画像ファイルが格納される。なお、ここでいう撮影画像ファイルは、後述する体動時間の間に撮影された複数フレームの撮影画像群を含むファイルである。例えば、フレーム周期を３０枚／秒とし、体動時間を５秒とすると、撮影画像ファイルには、１５０フレーム分の撮影画像が含まれることとなる。

"特徴量"には、"画像ファイル"に格納された各撮影画像ファイルより抽出される特徴量が格納される。なお、撮影画像情報３００には、特徴量として、体動の大きさ、体動領域、体動時間が含まれる。各特徴量についての詳細な説明は後述する。

"重みパラメータ"には、各特徴量により表される見守り対象者の動作が、補助者による補助が必要な動作である度合いを示す値が格納される。なお、補助者による補助が必要な動作とは、通常は起こりにくい動作や普段とは異なる動作を指す。また、通常は起こりにくい動作や普段とは異なる動作とは、例えば、夜間時間帯において、就床→睡眠→起床といった一般的な生活リズムの中で、見守り対象者が暴れている、起きているといった動作を指す。反対に通常起こり得る動作や普段の動作とは、見守り対象者が寝返りをするといった動作を指す。これらの動作は、体動の大きさ、体動領域、体動時間の組み合わせにより表現することができる。

"カウンタ値"には、撮影画像情報３００に格納された各撮影画像ファイルが利用された頻度を示す値が格納される。

次に、撮影画像より抽出される第１及び第２の特徴量である、体動の大きさ及び体動領域について説明する。図４は、撮影画像より抽出される第１及び第２の特徴量を説明するための図であり、体動の大きさと体動領域とを具体的に示した図である。

図４（ａ）は、各時刻において撮影された見守り対象者の撮影画像を示している。図４（ａ）の例では、時刻＝ｔ−１において両腕を八の字に開いていた見守り対象者が、時刻＝ｔにおいては、右腕を体の前まで動かしている。更に、時刻＝ｔ＋１においては、右腕を左腕の近くまで動かし、時刻＝ｔ＋２においては、右腕を元の位置に戻している。

図４（ｂ）は、連続する２つの時刻において撮影された見守り対象者の撮影画像内の各画素の輝度差を算出し、輝度差が所定の閾値以上の画素を１、輝度差が所定の閾値未満の画素を０として二値化した二値画像を示している。なお、二値化した部位をわかりやすくするために、図４（ｂ）の例では、見守り対象者を点線で表している。

図４（ｂ）において黒塗りされた領域Ａ（ｔ−１）は、時刻＝ｔ−１において撮影された撮影画像と、時刻＝ｔにおいて撮影された撮影画像との輝度差が所定の閾値以上の領域である。また、領域Ａ（ｔ）は、時刻＝ｔにおいて撮影された撮影画像と、時刻＝ｔ＋１において撮影された撮影画像との輝度差が所定の閾値以上の領域である。更に、領域Ａ（ｔ＋１）は、時刻＝ｔ＋１において撮影された撮影画像と、時刻＝ｔ＋２において撮影された撮影画像との輝度差が所定の閾値以上の領域である。

なお、撮影画像内の各画素（ｘ，ｙ）の輝度値をｆ（ｘ，ｙ）とし、所定の閾値をＴＨとすると、二値画像は下式に基づいて求めることができる。

このうち、領域Ａ（ｔ−１）は、ｆ'_１（ｘ，ｙ）＝１の領域であり、領域Ａ（ｔ）は、ｆ'_２（ｘ，ｙ）＝１の領域であり、領域Ａ（ｔ＋１）は、ｆ'_３（ｘ，ｙ）＝１の領域である。

図４（ｃ）は、２つの連続する二値画像のいずれにおいても、輝度値が１となる画素の領域を示している。図４（ｃ）において黒塗りされた領域Ｂ（ｔ）は、領域Ａ（ｔ−１）と領域Ａ（ｔ）との間の重複領域を示している。また、黒塗りされた領域Ｂ（ｔ＋１）は、領域Ａ（ｔ）と領域Ａ（ｔ＋１）との間の重複領域を示している。

つまり、領域Ｂ（ｔ）、領域Ｂ（ｔ＋１）は下式により表すことができる。

本実施形態では、領域Ｂ（ｔ）を、時刻＝ｔにおける「体動領域」と称し、領域Ｂ（ｔ＋１）を、時刻＝ｔ＋１における「体動領域」と称す。

また、本実施形態では、領域Ｂ（ｔ）の重心位置と、領域Ｂ（ｔ＋１）の重心位置との間の距離Ｌ（ｔ）を、時刻＝ｔから時刻＝ｔ＋１までの間の「体動の大きさ」と称す。

次に、撮影画像より抽出される第３の特徴量である、体動時間について説明する。図５は、撮影画像より抽出される第３の特徴量を説明するための図であり、体動時間を具体的に示した図である。

図５において、横軸は時刻を縦軸は各時刻における体動の大きさを示している。なお、図５では、一例として、時刻＝ｔから時刻＝ｔ＋１までの間の体動の大きさ（Ｌ（ｔ））を点線で明示している。

図５に示すように、体動時間は、体動の大きさが所定の閾値より大きくなった時点を開始点とし、開始点以降に、体動の大きさが最初に所定の閾値になった時点を終了点とした場合の、開始点と終了点との間の時間である。

なお、本実施形態において、撮影画像ファイルに含まれる各フレームの撮影画像に基づいて抽出され、撮影画像情報３００に格納される特徴量のうち、「体動の大きさ」は、体動時間における平均の体動の大きさである。また、「体動領域」は、体動時間における平均の体動領域である。つまり、特徴量Ｖは、１体動単位で求めるものとする。

次に、解析装置１２０の機能構成について説明する。図６は、解析装置１２０の機能構成を示す図である。解析装置１２０は、ＣＰＵ２０１が解析プログラム１２２を実行することで、後述する各部の機能を実現する。なお、本実施形態において、解析装置１２０の撮影画像ＤＢ１２１は、例えば記憶部２０４に設けられる。

図６に示すように、解析装置１２０は、撮影画像取得部６０１、特徴量算出部６０２、登録部６０３、初期重み管理部６０４、表示制御部６０５、行動結果取得部６０６、重み管理部６０７を有する。

撮影画像取得部６０１は、撮像部１１０において見守り対象者を撮影することで得られた撮影画像を撮像部１１０より取得する。

特徴量算出部６０２は、撮影画像取得部６０１において取得された撮影画像より、見守り対象者の動作を示す特徴量を１体動単位で算出する。

登録部６０３は、特徴量算出部６０２において抽出された特徴量に基づいて、撮影画像ＤＢ１２１に格納された撮影画像情報３００への撮影画像の登録可否を判定し、登録可能と判定した場合に、撮影画像を撮影画像情報３００に登録する。

初期重み管理部６０４は、登録部６０３により新たに登録された撮影画像の特徴量と、既に登録されている撮影画像の特徴量との類似度を算出する。また算出した類似度に応じた重みパラメータを導出し、導出した重みパラメータを、新たに登録された撮影画像の重みパラメータとして撮影画像情報３００に格納する。

表示制御部６０５は、ユーザインタフェース装置１３０に撮影画像を表示するための制御を行う。具体的には、初期重み管理部６０４において導出された重みパラメータに基づいて、撮影画像をユーザインタフェース装置１３０に表示するか否かを判定し、表示すると判定した場合に、撮影画像をユーザインタフェース装置１３０に表示する。

行動結果取得部６０６は、ユーザインタフェース装置１３０に撮影画像が表示されたことに対して入力された、補助者の行動結果に関する情報を取得する。具体的には、ユーザインタフェース装置１３０に表示された撮影画像を見ることで、補助者が、見守り対象者を補助する必要があると判断する。そして、判断結果をユーザインタフェース装置１３０に入力した場合に、判断結果を補助者の行動結果に関する情報として取得し、重み管理部６０７に通知する。

重み管理部６０７は、行動結果取得部６０６より補助者の行動結果に関する情報が通知された場合に、撮影画像ＤＢ１２１の撮影画像情報３００に格納されている撮影画像の重みパラメータを変更する。また、重み管理部６０７は、撮影画像の重みパラメータを変更したことに伴って、撮影画像情報３００に格納されている撮影画像のカウント値を変更する。

次に、解析装置１２０により実行される撮影画像解析処理の流れについて説明する。はじめに、解析装置１２０により実行される撮影画像解析処理の概要について説明する。図７は、解析装置１２０により実行される撮影画像解析処理の概要を説明するための図である。

図７に示すように、撮影画像取得部６０１が、１体動分の撮影画像７００（"撮影画像ファイル"＝"Ｉｍａｇ＿ｎ"）を取得すると、特徴量算出部６０２が、撮影画像７００より特徴量Ｖ_ｎ＝（ｆ_ｎ１，ｆ_ｎ２，ｆ_ｎ３）を算出する。

算出された特徴量Ｖ_ｎ＝（ｆ_ｎ１，ｆ_ｎ２，ｆ_ｎ３）に基づいて、登録部６０３では、撮影画像７００の撮影画像情報３００への登録可否を判定する。算出された特徴量Ｖ_ｎに含まれるｆ_ｎ１，ｆ_ｎ２，ｆ_ｎ３がいずれも所定の閾値以上であると判定した場合には、撮影画像７００の撮影画像情報３００への登録が可能であると判定する。

ここで、所定の閾値は、見守り対象者の睡眠時や覚醒時に関係なく発生する微小な動作（一時的に手足を動かす動作や、呼吸に伴う動作）を排除する値であるとし、３つの閾値が設定されているものとする。

撮影画像７００の撮影画像情報３００への登録が可能であると判定すると、登録部６０３は、"画像ＩＤ"＝"０００ｎ"として、"撮影画像ファイル"＝"Ｉｍａｇ＿ｎ"の撮影画像７００を撮影画像情報３００に登録する。また、登録部６０３は、算出された特徴量Ｖ_ｎを、撮影画像ファイルと対応付けて格納する。

更に、初期重み管理部６０４は、撮影画像７００の特徴量Ｖ_ｎと、既に撮影画像情報３００に登録されている各撮影画像の特徴量との類似度を算出する。例えば、撮影画像７００（"撮影画像ファイル"＝"Ｉｍａｇ＿ｎ"）の特徴量Ｖ_ｎと、"撮影画像ファイル"＝"Ｉｍａｇ＿１"の撮影画像の特徴量Ｖ_１との類似度Ｓ（Ｖ_ｎ，Ｖ_１）は、下式に基づいて算出する。

初期重み管理部６０４では、同様に、特徴量Ｖ_ｎと特徴量Ｖ_２との類似度Ｓ（Ｖ_ｎ，Ｖ_２）、特徴量Ｖ_ｎと特徴量Ｖ_３との類似度Ｓ（Ｖ_ｎ，Ｖ_３）、・・・を算出する。初期重み管理部６０４では、更に、算出した類似度の中から所定の閾値以上の類似度を抽出し、抽出した類似度が算出された際の撮影画像に対応付けて格納されている重みパラメータのうち、最も大きい重みパラメータを選択する。

更に、初期重み管理部６０４では、選択した重みパラメータを撮影画像７００の重みパラメータＷ_ｎとして撮影画像情報３００に格納する。なお、初期重み管理部６０４では、算出した類似度の中に所定の閾値以上の類似度がなかった場合には、撮影画像７００の重みパラメータとして１を撮影画像情報３００に格納する。

初期重み管理部６０４により、撮影画像情報３００に撮影画像７００の重みパラメータが格納されると、表示制御部６０５では、格納された重みパラメータに基づいて、撮影画像７００をユーザインタフェース装置１３０に表示するか否かを判定する。

具体的には、初期重み管理部６０４により格納された重みパラメータが１であった場合、または、初期重み管理部６０４により格納された重みパラメータが所定の閾値以上であった場合、撮影画像７００をユーザインタフェース装置１３０に表示すると判定する。

換言すると、重みパラメータが１より大きく所定の閾値未満であった場合、表示制御部６０５では、撮影画像７００をユーザインタフェース装置１３０に表示しないと判定する。なお、重みパラメータが１の場合に撮影画像７００を表示するのは、過去に発生していない新たな動作であるため、補助が必要な動作であるか否かを補助者に判断してもらうためである。

表示画面７１０は、ユーザインタフェース装置１３０に撮影画像７００を表示した様子を示している。表示画面７１０には、表示制御部６０５により表示可能と判定された撮影画像７００に加え、補助者の行動結果を入力するためのボタンが配されている。

"対応する"ボタン７１１は、表示画面７１０に表示された撮影画像７００を見ることで、見守り対象者が特定の動作（補助者による補助が必要な動作）を行ったと判断した場合に、見守り対象者により押圧されるボタンである。

一方、"様子見"ボタン７１２は、表示画面７１０に表示された撮影画像７００を見ることで、見守り対象者が特定の動作を行っていない（補助者による補助が不必要な動作である）と判断した場合に、見守り対象者により押圧されるボタンである。

行動結果取得部６０６では、表示画面７１０に撮影画像７００が表示されたことに対して、補助者がボタン７１１とボタン７１２のいずれを押圧したかを判定する。行動結果取得部６０６により、ボタン７１２が押圧されたと判定された場合には、撮影画像情報３００は変更されない。

一方、行動結果取得部６０６により、ボタン７１１が押圧されたと判定された場合には、重み管理部６０７が、撮影画像情報３００に格納された重みパラメータを変更する。具体的には、撮影画像７００に対応付けられた重みパラメータＷ_ｎをインクリメントする。これにより、撮影画像７００に対応付けられた重みパラメータは、Ｗ_ｎ＋１となる。

重み管理部６０７では、撮影画像７００の特徴量Ｖ_ｎと、既に撮影画像情報３００に登録されている各撮影画像の特徴量との類似度を算出する（なお、撮影画像７００を登録する際に算出した類似度を保持している場合には、ここでの再計算は不要である）。そして、算出した類似度のうち、所定の閾値以上の類似度が算出された撮影画像と対応付けられている重みパラメータをインクリメントする。

図７の例では、"撮影画像ファイル"＝"Ｉｍａｇ＿２"の重みパラメータと、"撮影画像ファイル"＝"Ｉｍａｇ＿５"の重みパラメータをインクリメントする。

なお、重み管理部６０７では、重みパラメータを更新した場合、対応するカウンタ値を初期値に戻す。また、重み管理部６０７では、更新されなかった重みパラメータに対応するカウンタ値を、１デクリメントする。重み管理部６０７では、カウンタ値がゼロになった場合に、対応する撮影画像を撮影画像情報３００が削除する。

次に、解析装置１２０により実行される撮影画像解析処理の詳細な流れについて説明する。図８は、解析装置１２０により実行される撮影画像解析処理のフローチャートである。

ステップＳ８０１において、撮影画像取得部６０１は撮影画像７００を取得する。ステップＳ８０２において、特徴量算出部６０２は、取得した撮影画像７００より特徴量を算出する。

ステップＳ８０３において、登録部６０３は、取得した撮影画像７００を撮影画像情報３００に登録する登録処理を行う。また、初期重み管理部６０４は、抽出した特徴量に基づいて、撮影画像７００を登録する際に、撮影画像７００と対応付けて撮影画像情報３００に格納する重みパラメータを導出する。また、初期重み管理部６０４は、導出した重みパラメータを、撮影画像７００に対応付けて格納する。

ステップＳ８０４において、表示制御部６０５は、ステップＳ８０３において登録された撮影画像の重みパラメータに応じて、撮影画像７００をユーザインタフェース装置１３０に表示する表示処理を行う。

ステップＳ８０５において、行動結果取得部６０６は、ユーザインタフェース装置１３０に撮影画像が表示されたことに対して入力された、補助者の行動結果に関する情報を取得する行動結果取得処理を行う。

ステップＳ８０６において、重み管理部６０７は、ステップＳ８０５において取得された補助者の行動結果に関する情報に応じて、撮影画像情報３００に登録された撮影画像７００の重みパラメータを変更する変更処理を行う。

ステップＳ８０７において、撮影画像取得部６０１は、撮影終了指示が入力されたか否かを判定し、撮影終了指示が入力されていないと判定した場合には、ステップＳ８０１に戻る。一方、撮影終了指示が入力されたと判定した場合には、撮影画像解析処理を終了する。

次に、登録処理（ステップＳ８０３）の詳細について説明する。図９は、解析装置１２０により実行される登録処理のフローチャートである。

ステップＳ９０１において、登録部６０３は、処理対象である撮影画像７００より抽出された特徴量ｆ_ｎ１、ｆ_ｎ２、ｆ_ｎ３がいずれも、所定の閾値以上であるか否かを判定する。ステップＳ９０１において、特徴量ｆ_ｎ１、ｆ_ｎ２、ｆ_ｎ３のいずれかが、所定の閾値未満であると判定した場合には、ステップＳ９０８に進む。ステップＳ９０８において、登録部６０３は、撮影画像７００を撮影画像情報３００に登録しないと判断する。

一方、ステップＳ９０１において、特徴量ｆ_ｎ１、ｆ_ｎ２、ｆ_ｎ３のいずれも所定の閾値以上であると判定した場合には、ステップＳ９０２に進む。

ステップＳ９０２において、初期重み管理部６０４は、撮影画像７００の重みパラメータに、デフォルト値である１を代入する。

ステップＳ９０３において、初期重み管理部６０４は、撮影画像７００の特徴量Ｖ_ｎと、撮影画像情報３００に既に登録されている各撮影画像の特徴量Ｖ_１、Ｖ_２、Ｖ_３、・・・との類似度を算出する。

ステップＳ９０４において、初期重み管理部６０４は、ステップＳ９０３において算出された類似度Ｓ（Ｖ_ｎ，Ｖ_１）、Ｓ（Ｖ_ｎ，Ｖ_２）、Ｓ（Ｖ_ｎ，Ｖ_３）、・・・のうち、最大の類似度が所定の閾値未満であるか否かを判定する。

ステップＳ９０４において、最大の類似度が所定の閾値未満であると判定した場合には、ステップＳ９０７に進む。一方、ステップＳ９０４において、最大の類似度が所定の閾値以上であると判定した場合には、ステップＳ９０５に進む。

ステップＳ９０５において、初期重み管理部６０４は、類似度が所定の閾値以上となる撮影画像のうち、最大の重みパラメータを撮影画像情報３００より取得する。ステップＳ９０６において、初期重み管理部６０４は、ステップＳ９０５において取得した重みパラメータを、撮影画像７００の重みパラメータに代入する。

ステップＳ９０７において、登録部６０３は、撮影画像７００を、ステップＳ９０２にまたはステップＳ９０６において代入された重みパラメータ並びにステップＳ８０２において算出した特徴量とともに、撮影画像情報３００に格納する。なお、このとき登録部６０３では、カウンタ値に初期値を格納する。

次に、表示処理（ステップＳ８０４）の詳細について説明する。図１０は、解析装置１２０により実行される表示処理のフローチャートである。

ステップＳ１００１において、表示制御部６０５は、撮影画像７００の重みパラメータが１であるか否かを判定する。ステップＳ１００１において、撮影画像７００の重みパラメータが１であると判定した場合には、ステップＳ１００３に進む。

一方、ステップＳ１００１において、撮影画像７００の重みパラメータが１ではないと判定した場合には、ステップＳ１００２に進む。ステップＳ１００２において、表示制御部６０５は、撮影画像７００の重みパラメータが所定の閾値以上であるか否かを判定する。

ステップＳ１００２において、撮影画像７００の重みパラメータが所定の閾値以上であると判定した場合には、ステップＳ１００３に進む。

ステップＳ１００３において、表示制御部６０５は、撮影画像７００をユーザインタフェース装置１３０に表示するよう制御する。

一方、ステップＳ１００２において、撮影画像７００の重みパラメータが所定の閾値未満であると判定した場合には、ステップＳ１００４に進む。ステップＳ１００４において、表示制御部６０５は、撮影画像７００をユーザインタフェース装置１３０に表示しないと判断する。

このように、表示制御部６０５では、重みパラメータがデフォルト値（＝１）であった場合、または、所定の閾値以上であった場合に、撮影画像７００をユーザインタフェース装置１３０に表示する。一方、それ以外の場合には、ユーザインタフェース装置１３０には表示しない。

次に、行動結果取得処理（ステップＳ８０５）の詳細について説明する。図１１は、解析装置１２０により実行される行動結果取得処理のフローチャートである。

ステップＳ１１０１において、行動結果取得部６０６は、撮影画像７００がユーザインタフェース装置１３０に表示されてから、所定時間が経過したか否かを判定する。ステップＳ１１０１において、所定時間が経過していないと判定した場合には、ステップＳ１１０２に進む。

ステップＳ１１０２において、行動結果取得部６０６は、表示画面７１０のボタン７１１またはボタン７１２が押圧されたか否かを判定する。ステップＳ１１０２において、いずれのボタンも押圧されていないと判定された場合には、ステップＳ１１０１に戻る。

ステップＳ１１０１において、所定時間内にいずれのボタンも押圧されなかったと判定された場合には、ステップＳ１１０６に進む。ステップＳ１１０６において、行動結果取得部６０６は、撮影画像７００により示される見守り対象者の動作が、補助者による補助が必要な動作ではなかったと判定する。

一方、ステップＳ１１０２において、表示画面７１０のボタン７１１またはボタン７１２のいずれかが押圧されたと判定された場合には、ステップＳ１１０３に進む。

ステップＳ１１０３において、行動結果取得部６０６は、表示画面７１０のいずれのボタンが押圧されたかを識別する。識別した結果、押圧されたボタンがボタン７１１であった場合には、ステップＳ１１０４からステップＳ１１０５へと進む。ステップＳ１１０５において、行動結果取得部６０６は、撮影画像７００により示される見守り対象者の動作が、補助者による補助が必要な動作であると判定する。

一方、識別した結果、押圧されたボタンがボタン７１２であった場合には、ステップＳ１１０４からステップＳ１１０６へと進む。ステップＳ１１０６において、行動結果取得部６０６は、撮影画像７００により示される見守り対象者の動作が、補助者による補助が必要な動作ではないと判定する。

次に、重み変更処理（ステップＳ８０６）の詳細について説明する。図１２は、解析装置１２０による重み変更処理のフローチャートである。

ステップＳ１２０１において、重み管理部６０７は、行動結果取得部６０６により、撮影画像７００により示される見守り対象者の動作が、補助者による補助が必要な動作であると判定されたか、不要な動作であると判定されたかを判定する。

ステップＳ１２０１において、不要な動作であると判定されたと判定した場合には、図８のステップＳ８０７に戻る。一方、ステップＳ１２０１において、必要な動作であると判定されたと判定した場合には、ステップＳ１２０２に進む。

ステップＳ１２０２において、重み管理部６０７は、撮影画像情報３００に格納された撮影画像７００の重みパラメータをインクリメントする。

ステップＳ１２０３において、重み管理部６０７は、撮影画像７００の特徴量Ｖ_ｎと、撮影画像情報３００に既に登録されている各撮影画像の特徴量Ｖ_１、Ｖ_２、Ｖ_３、・・・との類似度を算出する。

ステップＳ１２０４において、重み管理部６０７は、ステップＳ１２０３において算出した類似度のうち、所定の閾値以上の類似度が算出された撮影画像と対応付けられているカウンタ値を初期値に戻す。

ステップＳ１２０５において、重み管理部６０７は、ステップＳ１２０３において算出した類似度のうち、所定の閾値以上の類似度が算出された撮影画像と対応付けられている重みパラメータをインクリメントする。

更に、ステップＳ１２０６において、重み管理部６０７は、ステップＳ１２０３において算出した類似度のうち、所定の閾値未満の類似度が算出された撮影画像と対応付けられているカウンタ値をデクリメントする。

ステップＳ１２０７において、重み管理部６０７は、撮影画像情報３００内において、カウンタ値が１未満の撮影画像があるか否かを判定する。ステップＳ１２０７において、カウンタ値が１未満の撮影画像があると判定した場合には、カウンタ値が１未満の撮影画像を、撮影画像情報３００から削除したうえで、図８のステップＳ８０７に戻る。

一方、ステップＳ１２０７において、カウンタ値が１未満の撮影画像がないと判定した場合には、図８のステップＳ８０７に戻る。

以上の説明から明らかなように、解析装置１２０では、見守り対象者を撮影することで得られた撮影画像から、見守り対象者の動作を表す特徴量を抽出し、抽出した特徴量に応じて導出した重みパラメータを、撮影画像と対応付けて見守り対象者ごとに管理する。また、解析装置１２０では、導出した重みパラメータに基づいて、撮影画像を補助者に表示するか否かを判定し、表示すると判定した場合に、補助者に表示する。

このように、補助が必要な動作であると過去に補助者が判定した判定結果を反映した重みパラメータに基づいて、新たに取得した撮影画像を補助者に表示するか否かを判定するため、補助者による補助が必要な動作を精度よく検知し表示することができる。つまり、見守り対象者ごとの日常生活動作の違いに応じた表示を行うことができる。

更に、解析装置１２０では、表示した撮影画像に応じて、補助者が見守り対象者を補助する必要があるか否かについて判定した結果をフィードバックし、撮影画像の重みパラメータに反映する。

これにより、見守り対象者の日常生活動作が変化した場合であっても、補助者による補助が必要な動作を精度よく検知することができる。つまり、補助者が感覚的に捉えていた判定基準を動的に反映させることができる。

この結果、見守りシステムにおいて誤検知を抑えることが可能となり、補助者の負担を低減させることができる。

［第２の実施形態］
第２の実施形態において、解析装置１２０は、取得した撮影画像に含まれる複数フレームの撮影画像から、所定の条件を満たす撮影画像を、ダイジェスト画像としてユーザインタフェース装置１３０に表示する。

図１３は、第２の実施形態における表示処理のフローチャートである。なお、図１３に示すフローチャートの各工程のうち、図１０に示すフローチャートの各工程と同じ工程については、同じ参照番号を付すこととし、ここでは説明を省略する。

ステップＳ１３０１において、表示制御部６０５は、撮影画像７００に含まれる全てのフレームを取得する。

ステップＳ１３０２において、表示制御部６０５は、ステップＳ１３０１において取得された全フレームについて、連続する２つの時刻において撮影された２つのフレームの撮影画像内の各画素の輝度値の差分値（輝度差）を算出し、輝度差の合計値を算出する。

ステップＳ１３０３において、表示制御部６０５は、輝度差の合計値が大きいフレームを、所定数抽出する。

ステップＳ１３０４において、表示制御部６０５は、体動開始時のフレームと、ステップＳ１３０３において抽出された所定数のフレームとを、ダイジェスト画像としてユーザインタフェース装置１３０に表示する。

図１４は、ダイジェスト画像の抽出方法及び表示方法を説明するための図である。図１４（ａ）において、横軸は時刻を示しており、縦軸は撮影画像７００に含まれる全フレームについて連続する２つの時刻において撮影された２つのフレームの撮影画像内の各画素の輝度差の合計値を算出した結果を示している。輝度差が大きいということは、連続する２つの時刻間において、見守り対象者が大きく動作したことを示している。

図１４（ａ）において、丸印１４０１は体動開始時の時刻を示している。丸印１４０２〜１４０４は、撮影画像７００と同じ体動時間内において撮影されたフレームであって、見守り対象者が大きく動作した時刻を示している。

表示制御部６０５では、体動開始時のフレームに加え、丸印１４０２〜１４０４により特定される時刻に撮影されたフレームをダイジェスト画像として表示画面に表示する。図１４（ｂ）は、ダイジェスト画像を表示した表示画面の一例を示している。図１４（ｂ）において、領域１４１１には体動開始時のフレームが表示される。また、領域１４１２〜１４１４には、丸印１４０２〜１４０４により特定される時刻に撮影されたフレームが表示される。

また、領域１４２０には、撮影画像取得部６０１が取得した撮影画像がリアルタイムで表示される。

なお、ダイジェスト画像を表示する際に、体動開始時のフレームを含めたのは、体動が開始したときの見守り対象者の状態を把握することができるためである。例えば、寝具から足がでている状態から見守り対象者が大きな動作を行った場合、体動開始時のフレームが含まれていないと、補助者は、動作によって足が寝具から出たのかどうかを判断することができない。このため、室温が高いなどの周辺環境が原因で動作をしたのか、別のことが原因で動作をしたのかを判断することができない。

これに対して、体動開始時のフレームをダイジェスト画像に含めれることで、補助者は、動作の経緯等を、直感的に把握することができる。

以上の説明から明らかなように、解析装置１２０では、導出した重みパラメータに基づいて表示すると判定した場合に、判定した撮影画像に含まれる全てのクレームではなく、判定した撮影画像から抽出したフレームを表示する。

これにより、補助が必要な動作か否かを補助者が判断するのに有効な撮影画像を表示することが可能となる。この結果、補助者は、見守り対象者の動作の全体像を、短時間で把握することができる。

なお、上記説明では、同一の体動時間内に含まれる複数のフレームの中から、所定の条件を満たすフレームを抽出してダイジェスト画像として表示することとしたが、例えば、過去の撮影画像のダイジェスト画像を合わせて表示するようにしてもよい。

図１５は、解析装置１２０により実行される表示処理の他のフローチャートである。なお、図１５に示すフローチャートの各工程のうち、図１３に示すフローチャートの各工程と同じ工程については、同じ参照番号を付すこととし、ここでは説明を省略する。

図１５に示すように、ステップＳ１５０１において、表示制御部６０５は、補助が必要な動作であると過去に補助者が判断した複数の撮影画像それぞれに対して、現在時刻との時間差に応じた重みづけを行う。更に、表示制御部６０５は、現在時刻の撮影画像との類似度を算出し、最も類似度が高い過去の撮影画像を抽出する。

ステップＳ１５０２〜ステップＳ１５０４において、表示制御部６０５は、ステップＳ１３０２〜ステップＳ１３０４と同様の処理により、抽出した過去の撮影画像より、ダイジェスト画像のフレームを抽出する。そして、現在時刻の撮影画像のダイジェスト画像のフレームと並列して表示する。これにより、補助者は、見守り対象者の動作を、より的確に判断することができる。

［第３の実施形態］
第３の実施形態において、解析装置１２０は、見守り対象者に対して補助者による補助が行われたか否かを、撮影画像に基づいて判定する。

図１６は、第３の実施形態における行動結果取得処理のフローチャートである。なお、図１６に示すフローチャートの各工程のうち、図１１に示すフローチャートの各工程と同じ工程については、同じ参照番号を付すこととし、ここでは説明を省略する。

ステップＳ１６０２において、行動結果取得部６０６は、撮影画像７００が表示画面７１０に表示されてから所定時間、撮影画像取得部６０１において取得した撮影画像を行動結果取得部６０６が取得する。

ステップＳ１６０３において、行動結果取得部６０６は、ステップＳ１６０２において取得した撮影画像に基づいて、体動領域を算出する。

ステップＳ１６０４において、行動結果取得部６０６は、体動領域に変化があるか否かを判定し、変化がないと判定した場合には、ステップＳ１１０１に戻る。一方、体動領域に変化があると判定した場合には、ステップＳ１１０５に進み、行動結果取得部６０６は、補助者が補助を行ったと判断し補助が必要な動作であったと判定する。

このように、補助者が補助を行ったか否かを、撮影画像に基づいて判断することで、撮影画像が表示されるたびに補助者がボタン７１１または７１２を押圧する手間を省くことができる。

［第４の実施形態］
上記第１の実施形態では、カウンタ値に応じて、撮影画像を撮影画像情報３００から削除したが、重みパラメータに応じて、撮影画像を撮影画像情報３００から削除するようにしてもよい。具体的には、一定時間重みパラメータが更新されなかった場合に、重みパラメータをデクリメントしていき、重みパラメータが１未満になった場合に、撮影画像を撮影画像情報３００から削除するようにしてもよい。

また、上記第１の実施形態では、表示された撮影画像に対して、補助者は補助が必要な動作か否かを判断しボタン７１１または７１２のいずれかを押圧しなければならなかったが、判断の保留を示すボタンを設置してもよい。これにより、補助者は、見守り対象者の様子をしばらく見てから、判断することができるようになる。

また、上記第１の実施形態では、撮影画像情報３００の情報の項目として、"画像ＩＤ"、"画像ファイル"、"特徴量"、"重みパラメータ"、"カウンタ値"を含むものとしたが、更に、体動領域を示す座標または部位を含めてもよい。

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
対象者を撮影することで得られた撮影画像から、該対象者の動作を示す特徴量を算出する算出部と、
前記算出部により算出された特徴量を、前記対象者について既に登録されている他の撮影画像から算出された特徴量との類似度に応じたパラメータと対応付けて、前記対象者ごとにデータベースに登録する登録部と、
前記パラメータに基づいて前記撮影画像を表示するか否かを判定し、表示すると判定した場合に、前記撮影画像を表示させる表示制御部と
を有することを特徴とする見守り装置。
（付記２）
前記特徴量は、
前記対象者の各領域のうち、体動した領域の大きさを示す体動領域と、
前記対象者の体動の大きさと、
前記対象者の体動の開始から終了までを示す体動時間と
を含むことを特徴とする付記１に記載の見守り装置。
（付記３）
前記パラメータに基づく表示するか否かの判定に応じて前記撮影画像を表示した場合の、前記対象者を補助する補助者による補助の有無を判定し、判定結果に応じて前記パラメータを変更する変更部を更に有することを特徴とする付記１または２に記載の見守り装置。
（付記４）
前記登録部は、前記類似度が所定の閾値以上であった場合、前記類似度が算出された前記他の撮影画像に対応付けられているパラメータを、前記算出部により算出された特徴量に対応付けて登録することを特徴とする付記１乃至付記３のいずれかの付記に記載の見守り装置。
（付記５）
前記登録部は、前記類似度が所定の閾値未満であった場合、予め定められた値をパラメータとして、前記算出部により算出された特徴量に対応付けて登録することを特徴とする付記１乃至４のいずれかの付記に記載の見守り装置。
（付記６）
前記表示制御部は、
既に登録されている他の撮影画像から、前記パラメータに基づいて表示すると判定された前記撮影画像と類似する撮影画像を抽出し、該抽出した撮影画像に含まれる複数フレームの撮影画像から抽出したフレームを、更に表示させることを特徴とする付記１に記載の見守り装置。
（付記７）
前記表示制御部は、
前記パラメータに基づいて表示すると判定された前記撮影画像に含まれる複数フレームの撮影画像から抽出したフレームを表示させることを特徴とする付記１乃至６のいずれかの付記に記載の見守り装置。
（付記８）
前記変更部は、前記撮影画像を表示することで前記補助者が前記対象者を補助した場合、該撮影画像のパラメータを変更することを特徴とする付記３に記載の見守り装置。
（付記９）
前記変更部は、前記類似度が所定の閾値以上であった場合、該所定の閾値以上の類似度が算出された前記他の撮影画像に対応付けられているパラメータを変更することを特徴とする付記３に記載の見守り装置。
（付記１０）
前記登録部は、前記変更部による前記パラメータの変更に応じて、該パラメータと関連付けられたカウンタ値を変動させることを特徴とする付記３に記載の見守り装置。
（付記１１）
前記登録部は、前記カウンタ値の変動に応じて、該カウンタ値に関連付けられた撮影画像、特徴量及びパラメータを、削除することを特徴とする付記１０に記載の見守り装置。
（付記１２）
前記登録部は、前記変更部による前記パラメータの変更が一定時間行われなかった場合に、前記パラメータを変動させ、前記パラメータの変動に応じて、前記パラメータに関連付けられた撮影画像、特徴量及びパラメータを削除することを特徴とする付記３に記載の見守り装置。
（付記１３）
対象者を撮影することで得られた撮影画像から、該対象者の動作を示す特徴量を算出し、
算出された前記特徴量を、前記対象者について既に登録されている他の撮影画像から算出された特徴量との類似度に応じたパラメータと対応付けて、前記対象者ごとにデータベースに登録し、
前記パラメータに基づいて前記撮影画像を表示するか否かを判定し、表示すると判定した場合に、前記撮影画像を表示させる、
処理を、コンピュータに実行させることを特徴とするプログラム。
（付記１４）
コンピュータによる表示方法であって、該コンピュータが、
対象者を撮影することで得られた撮影画像から、該対象者の動作を示す特徴量を算出し、
算出された前記特徴量を、前記対象者について既に登録されている他の撮影画像から算出された特徴量との類似度に応じたパラメータと対応付けて、前記対象者ごとにデータベースに登録し、
前記パラメータに基づいて前記撮影画像を表示するか否かを判定し、表示すると判定した場合に、前記撮影画像を表示させる、
ことを特徴とする表示方法。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：見守りシステム
１１０ ：撮像部
１２０ ：解析装置
１２１ ：撮影画像ＤＢ
１２２ ：解析プログラム
１３０ ：ユーザインタフェース装置
１４０ ：ネットワーク
３００ ：撮影画像情報
６０１ ：撮影画像取得部
６０２ ：特徴量算出部
６０３ ：登録部
６０４ ：初期重み管理部
６０５ ：表示制御部
６０６ ：行動結果取得部
６０７ ：重み管理部

Claims (7)

1. 対象者を撮影することで得られた撮影画像から、該対象者の動作を示す特徴量を算出する算出部と、
   前記算出部により算出された特徴量を、前記対象者について既に登録されている他の撮影画像から算出された特徴量との類似度に応じたパラメータと対応付けて、前記対象者ごとにデータベースに登録する登録部と、
   前記パラメータに基づいて前記撮影画像を表示するか否かを判定し、表示すると判定した場合に、前記撮影画像を表示させる表示制御部と
   を有することを特徴とする見守り装置。
2. 前記特徴量は、
   前記対象者の各領域のうち、体動した領域の大きさを示す体動領域と、
   前記対象者の体動の大きさと、
   前記対象者の体動の開始から終了までを示す体動時間と
   を含むことを特徴とする請求項１に記載の見守り装置。
3. 前記パラメータに基づく表示するか否かの判定に応じて前記撮影画像を表示した場合の、前記対象者を補助する補助者による補助の有無を判定し、判定結果に応じて前記パラメータを変更する変更部を更に有することを特徴とする請求項１または２に記載の見守り装置。
4. 前記表示制御部は、
   既に登録されている他の撮影画像から、前記パラメータに基づいて表示すると判定された前記撮影画像と類似する撮影画像を抽出し、該抽出した撮影画像に含まれる複数フレームの撮影画像から抽出したフレームを、更に表示させることを特徴とする請求項１乃至３のいずれか１項に記載の見守り装置。
5. 前記表示制御部は、
   前記パラメータに基づいて表示すると判定された前記撮影画像に含まれる複数フレームの撮影画像から抽出したフレームを表示させることを特徴とする請求項１乃至４のいずれか１項に記載の見守り装置。
6. 対象者を撮影することで得られた撮影画像から、該対象者の動作を示す特徴量を算出し、
   算出された前記特徴量を、前記対象者について既に登録されている他の撮影画像から算出された特徴量との類似度に応じたパラメータと対応付けて、前記対象者ごとにデータベースに登録し、
   前記パラメータに基づいて前記撮影画像を表示するか否かを判定し、表示すると判定した場合に、前記撮影画像を表示させる、
   処理を、コンピュータに実行させることを特徴とするプログラム。
7. コンピュータによる表示方法であって、該コンピュータが、
   対象者を撮影することで得られた撮影画像から、該対象者の動作を示す特徴量を算出し、
   算出された前記特徴量を、前記対象者について既に登録されている他の撮影画像から算出された特徴量との類似度に応じたパラメータと対応付けて、前記対象者ごとにデータベースに登録し、
   前記パラメータに基づいて前記撮影画像を表示するか否かを判定し、表示すると判定した場合に、前記撮影画像を表示させる、
   ことを特徴とする表示方法。

Images