JP2021065617A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】対象者の行動の検知精度を向上させる画像処理装置および画像処理プログラムを提供する。【解決手段】対象者の行動を監視する介護システムで使用される画像処理装置である。画像取得部４５１、検出部４５２、記憶部４１０、行動推定部４５４、および出力部４５５を有する。画像取得部は、画像を取得する。検出部は、画像に基づいて移動体を含む検知領域を検出することで、移動体を検出する。記憶部は、検出部により検出された検知領域を記憶する。行動推定部は、検出部によって移動体が検出されている場合は、検出部によって検出された検知領域において移動体の行動を推定する一方で、検出部によって移動体が検出されない場合は、記憶部に記憶された検知領域において移動体の行動を推定する。行動推定部で推定された移動体の行動が所定の行動である場合に、行動に関する情報を出力する。【選択図】図３

Description

本発明は、画像処理装置および画像処理プログラムに関する。

我が国は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善、および医療水準の向上等により、長寿命化が顕著となっている。このため、出生率の低下と相まって、高齢化率が高い高齢化社会になっている。このような高齢化社会では、病気、怪我、および加齢等により、介護や看護等を必要とする要介護者および要看護者等（以下、「対象者」と称する）の増加が想定される。

対象者は、病院や、老人福祉施設等の施設に入所し、看護や介護を受ける。このような施設では、対象者が、例えばベッドからの転落や歩行中の転倒等によって怪我を負ったり、ベッドから抜け出して徘徊したりする等の事態が生じ得る。このような事態に対し、可及的速やかに対応する必要がある。また、このような事態を放置しておくとさらに重大な事態に発展してしまう可能性もある。このため、施設では、看護師や介護士等（以下、「看護師等」という）は、定期的に巡視することによってその安否や様子を確認している。

しかしながら、対象者の増加数に対し看護師等の増加数が追い付かずに、看護業界や介護業界は、慢性的に人手不足になっている。さらに、日勤の時間帯に較べ、準夜勤や夜勤の時間帯では、看護師等の人数が減るため、一人当たりの業務負荷が増大するので、業務負荷の軽減が要請される。このような人手不足や看護師等の負担を軽減するため、看護業務や介護業務を補完する技術が求められている。このため、近年では、対象者を監視（モニター）する監視装置が研究、開発されている。

ところが、監視装置は、対象者を監視する装置であるが、対象者の居場所に対象者ではない者が居ると誤検知する可能性がある。例えば、清掃者等が対象者の居場所に居る場合等である。この誤検知によって安否確認を促す発報が行われると、例えば、看護師等の監視者が発報のあった対象者の居場所に駆けつけたり、発報をリセットしたりする等の無駄な手間が生じてしまうおそれがある。

これに関連して、下記特許文献１には、被監視者を監視する被監視者監視装置において、被監視者以外の者の行動による誤検知を回避するため、看護師等の指示により、検知機能を一時的に停止する機能を設けることが開示されている。

国際公開第２０１６／１５２４２８号

しかし、特許文献１の技術では、被監視者以外の者の行動による誤検知を回避することはできるが、被監視者の行動の検知精度そのものを向上させることはできない。

本発明は、上述した課題に鑑みてなされたものである。したがって、本発明の目的は、対象者の行動の検知精度を向上させる画像処理装置および画像処理プログラムを提供することを目的とする。

本発明の上記課題は、以下の手段によって解決される。

（１）対象者の行動を監視する介護システムで使用される画像処理装置であって、画像を取得する画像取得部と、前記画像に基づいて移動体を含む領域を検出することで、前記移動体を検出する検出部と、前記検出部により検出された前記移動体に対応して設定された検知領域を記憶する記憶部と、前記検出部によって前記移動体が検出されている場合は、前記検出部によって検出された前記検知領域において前記移動体の行動を推定する一方で、前記検出部によって前記移動体が検出されない場合は、前記記憶部に記憶された前記検知領域において前記移動体の行動を推定する行動推定部と、前記行動推定部で推定された前記移動体の行動が所定の行動である場合に、前記行動に関する情報を出力する出力部と、を有する、画像処理装置。

（２）前記検知領域において、前記移動体の、人の体に関する特徴点位置を推定して前記移動体の姿勢を推定する姿勢推定部をさらに有し、前記行動推定部は、前記姿勢推定部によって推定された前記移動体の姿勢に基づいて、前記検知領域における前記移動体の行動を推定する、上記（１）に記載の画像処理装置。

（３）前記出力部は、前記移動体の行動が前記所定の行動である場合に、前記行動に関する情報を、前記対象者を介護する介護者の端末装置に送信する、上記（１）または（２）に記載の画像処理装置。

（４）前記行動推定部は、前記検知領域と、推定された前記特徴点位置との重なりに基づいて、前記移動体の行動を推定し、前記出力部は、前記行動推定部による前記移動体の行動の推定結果に基づいて、前記移動体の行動に関する情報を出力するか否かを決定する、上記（２）に記載の画像処理装置。

（５）前記行動推定部は、前記検出部によって前記移動体が検出されなくなった場合に、前記移動体が検出されなくなる前の所定期間の前記検知領域における前記姿勢推定部の推定結果に基づいて、前記移動体の行動を推定し、前記出力部は、前記行動推定部による前記移動体の行動の推定結果に基づいて、前記移動体の行動に関する情報を出力するか否かを決定する、上記（２）に記載の画像処理装置。

（６）前記行動推定部は、前記所定期間の前記検知領域における前記姿勢推定部の推定結果が立位である場合に、前記移動体の行動が、前記移動体の行動に関する情報を出力する必要のない特定行動であると推定し、前記出力部は、前記移動体の行動が前記特定行動である場合に、前記移動体の行動に関する情報を出力しない、上記（５）に記載の画像処理装置。

（７）対象者の行動を監視する介護システムで使用される画像処理プログラムであって、画像を取得するステップ（ａ）と、前記画像に基づいて移動体を含む領域を検出することで、前記移動体を検出するステップ（ｂ）と、検出された前記移動体に対応して設定された検知領域を記憶部に記憶するステップ（ｃ）と、前記移動体が検出されている場合は、検出された前記検知領域において前記移動体の行動を推定する一方で、前記移動体が検出されない場合は、前記記憶部に記憶された前記検知領域において前記移動体の行動を推定するステップ（ｄ）と、推定された前記移動体の行動が所定の行動である場合に、前記行動に関する情報を出力するステップ（ｅ）と、を含む処理をコンピューターに実行させるための画像処理プログラム。

本発明によれば、対象者が検出されない場合に、記憶部に記憶された検知領域において、移動体の行動を推定するので、対象者の退出判定の精度を向上させることができる。したがって、対象者の退出判定時に、転倒や転落等のイベント通知を行う必要のある所定の行動を失報するリスクを低減できる。

一実施形態に係る演算装置を含む画像処理システムの概略構成を示す図である。 図１に示す演算装置の構成を例示する概略ブロック図である。 図２に示す制御部の機能を示すブロック図である。 図１に示す撮影装置による撮影画像の例を説明するための説明図である。 人の特徴点の例を示す説明図である。 図３に示す姿勢推定部により推定された特徴点の例を示す説明図である。 図２に示す演算装置の制御方法の主要な処理手順を説明するためのフローチャートである。 対象者を含む撮影画像の例を説明するための説明図である。 図７における対象者の行動を推定する処理（ステップＳ１０５）の手順を説明するためのサブルーチン・フローチャートである。 退出に関する条件の適用例を説明するための説明図である。

以下、図面を参照して、本発明の実施形態について説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

＜画像処理システム１０＞
図１は、一実施形態に係る演算装置を含む画像処理システム１０の概略構成を示す図である。

画像処理システム１０は、撮影装置１００、通信ネットワーク２００、携帯端末３００、および演算装置４００を有する。演算装置４００は、通信ネットワーク２００により撮影装置１００および携帯端末３００と相互に通信可能に接続される。

＜撮影装置１００＞
撮影装置１００は、例えば近赤外線カメラにより構成され、所定の位置に設置されることで、当該所定の位置を視点として俯瞰される撮影領域を撮影する。以下、撮影装置１００により撮影された画像を「撮影画像６００」（図４参照）という。すなわち、撮影装置１００は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｅｖｉｃｅ）により近赤外線を撮影領域に向けて照射し、撮影領域内の物体により反射される近赤外線の反射光をＣＭＯＳ（Ｃｏｍｐｌｅｍｅｍｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーにより受光することで撮影領域を撮影し得る。撮影画像６００は近赤外線の反射率を各画素とするモノクロ画像であり得る。所定の位置は、例えば対象者５００の居室の天井である。撮影領域は、例えば居室の床全体を含む３次元の領域である。撮影装置１００は、例えば１５ｆｐｓ〜３０ｆｐｓのフレームレートの動画として撮影領域を撮影する。撮影画像６００には動画と静止画とを含む。撮影装置１００は、撮影画像６００を演算装置４００等に送信する。

また、撮影装置１００は、例えばセンサーボックスに含まれる近赤外線カメラでありうる。センサーボックスは、近赤外線カメラおよび体動センサー等を備える箱状の装置である。この場合、演算装置４００の機能の一部または全部をセンサーボックスが有するように構成し得る。体動センサーは、ベッドに対してマイクロ波を送受信して対象者５００の体動（例えば呼吸動）によって生じたマイクロ波のドップラーシフトを検出するドップラーシフト方式のセンサーである。

＜通信ネットワーク２００＞
通信ネットワーク２００には、イーサネット（登録商標）等の有線通信規格によるネットワークインターフェースを使用し得る。通信ネットワーク２００には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線通信規格によるネットワークインターフェースを使用してもよい。通信ネットワーク２００には、アクセスポイント２１０が設けられ、携帯端末３００と、撮影装置１００および演算装置４００とを無線通信ネットワークにより通信可能に接続する。

＜携帯端末３００＞
携帯端末３００は、対象者５００の行動に関する情報を演算装置４００から受信し、画面に表示したり、アラームを鳴らしたりすることにより、対象者５００の行動を看護師等に報知する。携帯端末３００は、例えばスマートフォンにより構成され得る。なお、携帯端末３００は、撮影装置１００から撮影画像６００を受信して表示できるように構成されてもよい。

＜演算装置４００＞
演算装置４００は、対象者５００の行動を監視する介護システムで使用される画像処理装置である。演算装置４００は、撮影装置１００により撮影された撮影画像６００を、撮影装置１００から受信し、撮影画像６００に含まれる人（対象者５００）の行動に関する情報を携帯端末（介護者の端末装置）３００に送信する。なお、介護システムは、介護、看護、支援等を含むケアに用いられるシステムである。

図２は、図１に示す演算装置４００の構成を例示する概略ブロック図である。演算装置４００は、記憶部４１０、表示部４２０、入力部４３０、通信部４４０、および制御部４５０を有する。これらの構成要素は、バス４６０を介して相互に接続される。

記憶部４１０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され得る。ＲＡＭは、制御部４５０の作業領域として一時的にプログラムやデータを記憶する。ＲＯＭは、予め各種プログラムや各種データを格納する。ＳＳＤは、オペレーションシステムを含む各種プログラムおよび各種データを格納する。本実施形態では、後述する人物領域５１０の位置および大きさを特定するデータが格納される。

表示部４２０は、例えば液晶ディスプレイであり、各種情報を表示する。また、入力部４３０は、例えばタッチパネルや各種キーにより構成される。入力部４３０は、各種操作、入力のために使用される。

通信部４４０は、外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４等の規格によるネットワークインターフェースが用いられ得る。その他、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、４Ｇ等の無線通信インターフェースが用いられ得る。通信部１４０は、撮影装置１００から撮影画像６００を受信する。また、通信部４４０は、後述する制御部４５０の行動推定部４５４で推定された、対象者５００の行動に関する情報を携帯端末３００に送信する。

制御部４５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成され、画像処理プログラムにしたがって演算装置４００の各部の制御および演算処理を行う。以下、制御部４５０の機能の詳細について説明する。

図３は、図２に示す制御部４５０の機能を示すブロック図である。制御部４５０は、画像取得部４５１、領域検出部（検出部）４５２、姿勢推定部４５３、行動推定部４５４、および出力部４５５を有する。

画像取得部４５１は、撮影装置１００から通信部４４０を通じて撮影画像６００を取得する。取得した撮影画像６００は、領域検出部４５２に送信される。

図４は、図１に示す撮影装置１００による撮影画像６００の例を説明するための説明図である。撮影画像６００には、対象者５００、ベッド７００、および内扉７２０を含む複数の物体が含まれている。内扉７２０は、例えばスライド式の扉であり、居室の外側と内側とを仕切る。領域検出部４５２は、撮影画像６００から、人物領域５１０と物体領域７１０を検出する。人物領域５１０は、撮影画像６００における対象者５００を含む矩形（太線の枠で表示）内の領域であり、物体領域７１０は、人物以外の特定の物体（例えば、椅子）を含む矩形（破線で表示）内の領域である。

領域検出部４５２は、撮影画像６００上で物体（オブジェクト）が存在する領域を物体存在領域として検出し、検出した物体存在領域に含まれる物体の所定のカテゴリーごとの信頼度スコアを算出する。信頼度スコアは、対象物体に関する尤度である。領域検出部４５２は、Ｆａｓｔｅｒ Ｒ−ＣＮＮ等のＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いた公知の技術により信頼度スコアを算出し得る。

所定のカテゴリーは、例えば、人物、椅子、および機具とし得る。領域検出部４５２は、人物のカテゴリーの信頼度スコアが最も高い物体存在領域を人物領域５１０として検出する。すなわち、領域検出部４５２は、物体（移動体）としての対象者５００を検出する検出部として機能する。同様に、所定の物体のカテゴリーの信頼度スコアが最も高い物体存在領域を、当該信頼度スコアが最も高いカテゴリーの物体領域７１０（例えば、椅子の物体領域）として検出する。

あるいは、人物領域５１０の検出方法としては、検出対象の撮影画像６００と、撮影装置１００によって予め抽出された、撮影領域の背景画像との差分を抽出する背景差分法が使用され得る。また、検出対象の撮影画像６００と、過去の撮影画像の平均との差分を抽出するフレーム間（時間）差分法等が使用され得る。

領域検出部４５２によって検出された人物領域５１０および物体領域７１０は、記憶部４１０に記憶される。

携帯端末３００は、撮影装置１００から受信した複数フレームの撮影画像６００に基づく動画を再生し、演算装置４００から受信した人物領域５１０を示す矩形（枠）を人物領域５１０に対応するディスプレイ上の位置に表示する。

姿勢推定部４５３は、人物領域５１０から対象者５００の姿勢を推定する。より具体的には、姿勢推定部４５３は、人物領域５１０から対象者５００の人の体に関する特徴点５２０（以下、「特徴点５２０」とも称する）を推定し、特徴点５２０の推定結果に基づいて対象者５００の姿勢を推定する。

図５は、人の特徴点の例を示す説明図である。図５においては、特徴点５２０の位置が白抜きの丸により示されている。なお、特徴点５２０間を結ぶ黒い太線は骨を示している。図５の例においては、特徴点５２０の相対的位置により、対象者５００が立位で両腕を広げている姿勢が認識できる。特徴点５２０には、例えば、頭、首、肩、肘、手、腰、腿、膝、および足の特徴点５２０が含まれる。特徴点５２０には、上記以外の特徴点５２０が含まれてもよく、上記のいずれかが含まれなくてもよい。姿勢推定部４５３は、人物領域５１０から特徴点５２０を検出するための辞書が反映されたＤＮＮにより、人物領域５１０から対象者５００の特徴点５２０を推定し得る。例えば、姿勢推定部４５３は、ＤｅｅｐＰｏｓｅ等のＤＮＮを用いた公知の技術により特徴点５２０を推定し得る。ＤｅｅｐＰｏｓｅについては、公知の文献（Alexander Toshev, et al. “DeepPose: Human Pose Estimation via Deep Neural Networks”, in CVPR, 2014）に詳細が記載されている。

図６は、図３に示す姿勢推定部４５３により推定された特徴点５２０の例を示す説明図である。図６の例においては、特徴点５２０を人物領域５１０に重畳させて示している。

また、姿勢推定部４５３は、特徴点５２０の推定結果に基づいて、対象者５００の姿勢を推定する。例えば、姿勢推定部４５３は、隠れマルコフモデルを用いて、推定された特徴点５２０から尤もらしい対象者５００の姿勢を算出する。

人の姿勢を認識する他の方法としては、例えば、予め決められた姿勢モデルと各特徴点位置との距離が最小となるものをその姿勢とする方法、姿勢を特徴量として学習し、当該学習結果を用いて姿勢認識する方法等が挙げられる。

行動推定部４５４は、姿勢推定部４５３で推定された対象者５００の姿勢に基づいて、対象者５００の行動を推定する。より具体的には、行動推定部４５４は、特徴点５２０の位置と物体領域７１０の位置関係と、に基づいて対象者５００の行動を推定する。行動には、例えば、ベッド７００から起き上がったという行動（起床）、ベッド７００から離れたという行動（離床）、ベッド７００から落ちたという行動（転落）、床面等に倒れ込む行動（転倒）、歩行等が含まれる。

また、本実施形態では、行動には、居室の外、すなわち撮影領域外へ出る行動（退出）が含まれる。退出には、例えば、外出やトイレに行く場合等が含まれる。行動推定部４５４は、対象者５００が退出したか否かを判定する機能を有する。この機能は、設定により有効または無効を選択できる。以下、この機能を有効に設定した場合について説明する。

対象者５００が退出した場合、対象者５００は撮影領域外に出ているため、領域検出部４５２は、人物領域５１０を検出できなくなる。すなわち、領域検出部４５２は、対象者５００を検出できなくなる。一方、例えば、対象者５００が居室のベッド７００で毛布に包まっている場合も、領域検出部４５２は、対象者５００を検出できない。したがって、領域検出部４５２による対象者５００の検出の有無のみで、対象者５００の退出を判定することは困難である。

そこで、本実施形態では、領域検出部４５２によって対象者５００が検出されなくなった場合に、記憶部４１０に記憶されている、対象者５００が検出されなくなる前の人物領域５１０における姿勢推定部４５３の推定結果に基づいて、対象者５００の行動を推定し、対象者５００の退出を判定する。対象者５００の退出を判定する具体的な方法については後述する。

また、対象者５００が居室から退出したことにより、領域検出部４５２によって対象者５００が検出されなくなった場合、撮影画像６００には現実の対象者５００の姿は映らなくなる。ここで、対象者５００が検出されなくなった場合とは、対象者５００の一部または全部が撮影画像６００内に存在しなくなることにより、領域検出部４５２で、人物領域５１０が検出されなくなった場合である。実施形態では、領域検出部４５２によって対象者５００が検出されなくなった場合、記憶部４１０に記憶されている、対象者５００が検出されなくなる前の人物領域５１０を、演算装置４００の表示部４２０や、携帯端末３００の画面に表示させるように制御する。

出力部４５５は、行動推定部４５４による対象者５００の行動の推定結果に基づいて、対象者５００の行動に関する情報を出力するか否かを決定する。より具体的には、出力部４５５は、例えば、対象者５００の行動が所定の行動である場合、対象者５００の行動に関する情報を携帯端末３００へ送信（イベント通知）する。所定の行動には、起床、離床、転落、および転倒が含まれる。一方、退出は、所定の行動に含まれず、携帯端末３００へ送信する必要のない行動（以下、「特定行動」という）とされる。出力部４５５は、対象者５００の行動が特定行動である場合、対象者５００の行動に関する情報を携帯端末３００へ送信しない。なお、本実施形態では、特定行動として退出を例示して説明するが、特定行動は退出に限定されない。例えば、特定行動には、対象者５００が居室内のトイレに入る行動が含まれる。この場合も、退出と同様に領域検出部４５２で人物領域５１０が検出されなくなる。

＜演算装置４００の制御方法＞
図７は、本実施形態における演算装置４００の制御方法の主要な処理手順を説明するためのフローチャートである。また、図８は、対象者５００を含む撮影画像６００の例を説明するための説明図である。また、図９は、図７における対象者の行動を推定する処理（ステップＳ１０５）の手順を説明するためのサブルーチン・フローチャートである。図７および図９に示す各処理は、制御部４５０のＣＰＵが画像処理プログラムを実行することにより実現される。

以下では、図４に示す対象者５００がベッド７００を離れ、歩いて内扉７２０へ向かう場合について想定する。

まず、撮影画像６００の画像データを取得する（ステップＳ１０１）。画像取得部４５１は、撮影装置１００により上記フレームレートで撮影された画像データを順に取得する。例えば、対象者５００が内扉７２０の前に到達し、内扉７２０を開けた場合、図８に示すように、画像取得部４５１は、居室の外へ通じる出入口の前にいる対象者５００を含む撮影画像６１０を取得する。図８において、グレーの領域Ｄ１は、出入口を通じて撮影される居室の外側の空間を示している。

次に、画像データに基づいて人物領域を検出する（ステップＳ１０２）。領域検出部４５２は、各々の撮影画像６１０について、物体存在領域ごとの人物の信頼度スコアを算出し、人物のカテゴリーの信頼度スコアが最も高い物体存在領域を人物領域５１１として検出し、対象者５００を検出する。人物領域５１１は、検知領域を構成する。なお、検知領域は、対象者５００（移動体）と対応して設定され、人物領域５１１と同じ領域であってもよいし、人物領域５１１を含む、異なる大きさの領域であってもよい。例えば、検知領域は、ニューラルネットワークの学習によって推定された人物領域５１１よりも大きい領域であってもよいし、矩形以外の形状であってもよい。

次に、人物領域５１１を記憶する（ステップＳ１０３）。記憶部４１０は、人物領域５１１を特定するデータ（例えば、人物領域５１１が矩形である場合は、その起点および終点の座標）を記憶する
次に、対象者５００の姿勢を推定する（ステップＳ１０４）。姿勢推定部４５３は、人物領域５１１において、対象者５００の特徴点５２０の位置を推定して対象者５００の姿勢を推定する。姿勢推定部４５３は、例えば、画像取得部４５１によって取得された各々の撮影画像６１０について、対象者５００の姿勢を推定し、推定結果を記憶部４１０に記憶させる。図８に示す例では、姿勢推定部４５３は、特徴点５２０の各々の位置関係から、対象者５００が立位の姿勢にあると推定する。

次に、対象者５００の行動を推定する（ステップＳ１０５）。図９に示すように、対象者５００が検出されているか否かを判断する（ステップＳ２０１）。行動推定部４５４は、対象者５００が検出されている場合（ステップＳ２０１）、姿勢推定部４５３で推定された対象者５００の姿勢に基づいて、対象者５００の行動を推定する（ステップＳ２０２）。例えば、行動推定部４５４は、図４に示すように対象者５００がベッド７００に座っている状態から、図８に示すように居室の出入口の前に到達するまでの間に、対象者５００が離床し、歩行したと推定する。制御部４５０は、対象者５００の行動を推定する処理を終了し、図７における動作に関する情報を出力する処理（Ｓ１０６）に移行する。

一方、対象者５００は、撮影領域外に出ると、領域検出部４５２によって検出できなくなる。行動推定部４５４は、領域検出部４５２によって対象者５００が検出されなくなった場合（ステップＳ２０１：ＮＯ）、対象者５００が検出されなくなる前の人物領域５１１における姿勢推定部４５３の推定結果に基づいて、対象者５００の行動を推定する。具体的な手順は以下のとおりである。

退出に関する条件を判定する（ステップＳ２０３）。退出に関する条件は、例えば、対象者５００の姿勢に関して、対象者５００の退出を肯定的に示す事項、または示唆する事項であり得る。各々の退出に関する条件は、異なる観点から対象者５００の退出を示すことが好ましい。対象者５００の退出を示す、異なる事項に基づいて、対象者５００の退出を判定することにより、退出判定の精度が向上する。退出に関する条件の具体例については後述する。

次に、退出に関する条件を全て満たしているか否かを判断する（ステップＳ２０４）。退出に関する条件を全て満たしている場合（ステップＳ２０４：ＹＥＳ）、行動推定部４５４は、対象者５００が退出したと判定する（ステップＳ２０５）。一方、退出に関する条件の少なくともいずれかを満たしていない場合（ステップＳ２０４：ＮＯ）、行動推定部４５４は、対象者５００が退出していないと判定する（ステップＳ２０６）。

次に、判定結果を記憶する（ステップＳ２０７）。行動推定部４５４は、対象者５００の退出判定の結果を記憶４１０に保存する。

再び、図７に戻り、行動に関する情報を出力する（ステップＳ１０６）。出力部４５５は、対象者５００の行動が上記所定の行動である場合、対象者５００の行動に関する情報を携帯端末３００へ送信する。また、ステップＳ２０６で対象者５００が退出していないと判定した場合についても、物陰で対象者５００が転倒または転落したりしている可能性もあるので、対象者５００の行動に関する情報を携帯端末３００へ送信する。一方、出力部４５５は、対象者５００の行動が退出等の特定行動である場合、対象者５００の行動に関する情報を送信しない。

例えば、対象者５００が離床し、内扉７２０まで歩行で接近し、内扉７２０の前に立って内扉７２０を開き、出入口から外へ退出する場合、対象者５００が離床した時点で、出力部４５５は対象者５００が離床した旨を携帯端末３００へ送信する。一方、対象者５００の退出については、携帯端末３００へは送信されない。

＜退出に関する条件＞
対象者５００が居室から退出し、撮影領域外に出ると、領域検出部４５２は、対象者５００を検出できなくなる。したがって、対象者５００が検出されなくなることが、対象者５００の退出の条件となる。すなわち、行動推定部４５４は、領域検出部４５２が対象者５００を「見失った」ことを前提条件として判定する。

対象者５００が居室から退出した場合、通常、居室を離れる何かの目的があるので、居室にすぐに戻ってくることはないと考えられる。したがって、対象者５００は、退出してから、ある程度の時間にわたり検出されないことが予想される。したがって、対象者５００が居室から退出した場合、下記の条件１を満たす。

（条件１）対象者５００が検出されない状態が所定の第１期間にわたり継続している。第１期間は、フレーム数に換算した場合、上記フレームレートの値によって変わり得るが、例えば２０フレーム以上に相当する期間であり得る。なお、この値は、本実施形態で想定している特定の実施環境において精度の高い退出判定を行うことができたときの値であり、実施環境に応じて適宜変更され得る。また、以下に示す各条件において例示される値についても同様である。

また、本実施形態では、対象者５００が居室から退出し、対象者５００が検出されなくなった場合、例えば、対象者５００が検出されなくなる直前の人矩形がそのままの状態で維持される。したがって、上記条件１は、対象者５００が検出されなくなってから、人矩形が第１期間にわたって動かない、ということもできる。

また、対象者５００が内扉７２０を開くために内扉７２０の前に立ってから、領域検出部４５２によって検出されなくなる直前までの期間では、対象者５００は立位の姿勢である。したがって、対象者５００が居室から退出した場合、下記の条件２を満たす。

（条件２）対象者５００が領域検出部４５２によって検出されなくなる、すなわち人矩形が動かなくなる前の所定の第２期間（所定期間）にわたり対象者５００が立位の姿勢である。第２期間は、フレーム数に換算すると、例えば５フレーム程度に相当する期間であり得る。

上述の条件１および条件２により、対象者５００が第１期間にわたり検出されず、対象者５００が検出されなくなる前の第２期間にわたり立位の姿勢であったことが確認できる。これらの条件に加えて、対象者５００が検出されなくなった撮影領域における位置を確認することで、対象者５００の退出判定をより高精度に行える。すなわち、対象者５００が居室から退出した場合、下記の条件３を満たす。

（条件３）居室領域外の特徴点５２０の個数が所定数以上である。所定数は、例えばフレーム平均で８以上であり得る。居室領域外の特徴点５２０の個数は、例えば、次のように算出され得る。対象者５００が検出されないので、記憶部４１０に記憶されている、対象者５００が検出されなくなる前の人物領域５１１に基づいて対象者５００の特徴点５２０の位置が推定される（図８を参照）。行動推定部４５４は、人物領域５１１における対象者５００の特徴点５２０の位置を解析し、居室領域外（図８に示す例では、領域Ｄ１）にある特徴点５２０の数を算出する。すなわち、行動推定部４５４は、人物領域５１１と、推定された特徴点５２０の位置との重なりに基づいて、対象者５００の退出の条件を判定する。

また、居室領域外の特徴点５２０の個数に関する上記条件に加えて、撮影画像の中心点（図８の撮影画像６１０の例では、符号８００の位置）から居室外領域の特徴点５２０までの距離に関する条件を課すことができる。例えば、上記中心点から居室外の領域Ｄ１内の特徴点５２０への距離（図８の撮影画像６１０の例では、破線８１０で示す距離）の最小値が所定長以上であることを条件とし得る。所定長は、例えば撮影画像のサイズが１２８０×９６０（フルサイズ）である場合、３７７以上であり得る。

また、対象者５００は、居室から退出するとき立位であるはずなので、下記の条件４を満たす。

（条件４）領域検出部４５２によって対象者５００が検出されない間、すなわち人矩形が動かない間は、対象者５００の姿勢は立位のままである。

また、センサーボックスが、領域検出部４５２と同等の、人物を検出する機能を有する場合、対象者５００について、領域検出部４５２によって検出された人物領域５１１と、センサーボックスによって検出された人物領域（以下、「ＳＢ人物領域」という）とを比較することで、退出判定の精度をさらに向上できる。

すなわち、対象者５００が居室から退出した場合、例えば、上記の条件１に対応する条件として、下記の条件５を満たす。

（条件５）センサーボックスの撮影画像についても、対象者５００が検出されない状態が所定の第３期間にわたり継続している。第３期間は、フレーム数に換算した場合、上記フレームレートの値によって変わり得るが、例えば２０フレーム以上に相当する期間であり得る。

センサーボックスは、撮影画像から人シルエットを検出し、人シルエットに基づいて対象者５００を検出する。人シルエットは、例えば、撮影時刻が前後する画像（フレーム）の差分を抽出する時間差分法により差分が相対的に大きい画素の範囲を抽出することで検出され得る。 また、人物領域５１１とＳＢ人物領域との一致の度合いを確認することもできる。例えば、人物領域５１１とＳＢ人物領域とが一致する度合いが所定の閾値以上であるかを判定する。一致の度合いは、例えばＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）によって評価できる。ＩｏＵは、共通集合の面積／和集合の面積で定義される。本実施形態では、ＩｏＵは、人物領域５１１とＳＢ人物領域との共通領域を、人物領域５１１とＳＢ人物領域との和の領域で除した値となる。すなわち、対象者５００が居室から退出した場合、下記の条件６を満たす。

（条件６）人物領域５１１とＳＢ人物領域とのＩｏＵの平均が所定の閾値以上である。所定の閾値は、例えば０．３程度であり得る。

図１０は、退出に関する条件の適用例を説明するための説明図である。図１０に示す例では、条件１〜６について判定する場合を例示しているが、このような場合に限定されず、求められる判定精度に応じて、条件を適宜省略したり、新しい条件を追加したりすることができる。例えば、判定精度を維持する見地から、少なくとも条件１〜３について判定を実施することが好ましい。条件４については省略することができる。条件５および６については、センサーボックスの構成に応じて、判定実施の可否を選択し得る。

図１０に示すように、画像取得部４５１によって撮影画像がフレーム１〜５０まで取得され、対象者５００が、フレーム２７以降において領域検出部４５２によって検出されず、フレーム２９以降においてセンサーボックスによっても検出されないことを想定する。

条件１について、フレーム２７〜フレーム５０（マスが黒色に塗られているフレーム）において対象者５００が検出されていないことが示されている。図１０に示す例では、この期間は、２４フレーム（≧２０フレーム）であるので、条件１は満たされている。

条件２について、対象者５００が検出されなくなる前のフレーム２２〜フレーム２６（マスがグレーに塗られているフレーム）は立位の姿勢であることが示されている。図１０に示す例では、この期間は、５フレームであるので、条件２も満たされている。

条件３、４、および６については、フレーム２９〜フレーム５０において、各条件の判定を行うことが示されている（それぞれ斜線、星印、「●」で示されている）。

条件５について、フレーム２９〜フレーム５０（「〇」で示されている）において対象者５００が検出されていないことが示されている。図１０に示す例では、この期間は、２２フレーム（≧２０フレーム）であるので、条件５は満たされている。

以上で説明した本実施形態の画像処理装置４００は、下記の効果を奏する。

記憶部４１０に人物領域５１１が記憶された状態で、領域検出部４５２によって対象者５００が検出されない場合に、記憶部４１０に記憶された人物領域５１１において、対象者５００の行動を推定するので、対象者５００の退出判定の精度を向上させることができる。したがって、対象者５００の退出判定時に、転倒や転落等のイベント通知を行う必要のある所定の行動を失報するリスクを低減できる。

本発明は、上述した実施形態のみに限定されるものではなく、特許請求の範囲内において、種々改変することができる。

例えば、画像処理プログラムは、ＵＳＢメモリー、フレキシブルディスク、ＣＤ−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、メモリーやストレージ等に転送され記憶される。また、この画像処理プログラムは、例えば、単独のアプリケーションソフトとして提供されてもよいし、サーバーの一機能としてその各装置のソフトウェアに組み込んでもよい。

また、実施形態において画像処理プログラムにより実行される処理の一部または全部を回路等のハードウェアに置き換えて実行されうる。

１０ 画像処理システム、
１００ 撮影装置、
２００ 通信ネットワーク、
２１０ アクセスポイント、
３００ 携帯端末、
４００ 演算装置、
４１０ 記憶部、
４２０ 表示部、
４３０ 入力部、
４４０ 通信部、
４５０ 制御部、
４５１ 画像取得部、
４５２ 領域検出部、
４５３ 姿勢推定部、
４５４ 行動推定部、
４５５ 出力部、
５００ 対象者、
５１０，５１１ 人物領域、
５２０ 特徴点、
６００，６１０ 撮影画像、
７００ ベッド、
７１０ 物体領域。

Claims (7)

1. 対象者の行動を監視する介護システムで使用される画像処理装置であって、
   画像を取得する画像取得部と、
   前記画像に基づいて移動体を含む領域を検出することで、前記移動体を検出する検出部と、
   前記検出部により検出された前記移動体に対応して設定された検知領域を記憶する記憶部と、
   前記検出部によって前記移動体が検出されている場合は、前記検出部によって検出された前記検知領域において前記移動体の行動を推定する一方で、前記検出部によって前記移動体が検出されない場合は、前記記憶部に記憶された前記検知領域において前記移動体の行動を推定する行動推定部と、
   前記行動推定部で推定された前記移動体の行動が所定の行動である場合に、前記行動に関する情報を出力する出力部と、を有する、画像処理装置。
2. 前記検知領域において、前記移動体の、人の体に関する特徴点を推定して前記移動体の姿勢を推定する姿勢推定部をさらに有し、
   前記行動推定部は、前記姿勢推定部によって推定された前記移動体の姿勢に基づいて、前記検知領域における前記移動体の行動を推定する、請求項１に記載の画像処理装置。
3. 前記出力部は、
   前記移動体の行動が前記所定の行動である場合に、前記行動に関する情報を、前記対象者を介護する介護者の端末装置に送信する、請求項１または２に記載の画像処理装置。
4. 前記行動推定部は、
   前記検知領域と、推定された前記特徴点位置との重なりに基づいて、前記移動体の行動を推定し、
   前記出力部は、
   前記行動推定部による前記移動体の行動の推定結果に基づいて、前記移動体の行動に関する情報を出力するか否かを決定する、請求項２に記載の画像処理装置。
5. 前記行動推定部は、
   前記検出部によって前記移動体が検出されなくなった場合に、前記移動体が検出されなくなる前の所定期間の前記検知領域における前記姿勢推定部の推定結果に基づいて、前記移動体の行動を推定し、
   前記出力部は、
   前記行動推定部による前記移動体の行動の推定結果に基づいて、前記移動体の行動に関する情報を出力するか否かを決定する、請求項２に記載の画像処理装置。
6. 前記行動推定部は、
   前記所定期間の前記検知領域における前記姿勢推定部の推定結果が立位である場合に、前記移動体の行動が、前記移動体の行動に関する情報を出力する必要のない特定行動であると推定し、
   前記出力部は、
   前記移動体の行動が前記特定行動である場合に、前記移動体の行動に関する情報を出力しない、請求項５に記載の画像処理装置。
7. 対象者の行動を監視する介護システムで使用される画像処理プログラムであって、
   画像を取得するステップ（ａ）と、
   前記画像に基づいて移動体を含む領域を検出することで、前記移動体を検出するステップ（ｂ）と、
   検出された前記移動体に対応して設定された検知領域を記憶部に記憶するステップ（ｃ）と、
   前記移動体が検出されている場合は、検出された前記検知領域において前記移動体の行動を推定する一方で、前記移動体が検出されない場合は、前記記憶部に記憶された前記検知領域において前記移動体の行動を推定するステップ（ｄ）と、
   推定された前記移動体の行動が所定の行動である場合に、前記行動に関する情報を出力するステップ（ｅ）と、を含む処理をコンピューターに実行させるための画像処理プログラム。

Images