JP2020086819A - 画像処理プログラムおよび画像処理装置 - Google Patents

Abstract

【課題】人物の行動を高精度に推定可能な画像処理プログラムを提供する。【解決手段】撮影された画像を取得する手順（ａ）と、取得された画像から、人物を含む人物領域と、所定の物体を含む物体領域と、を検出する手順（ｂ）と、検出された前記人物領域に基づいて人物の関節点の位置を推定する手順（ｃ）と、推定された関節点の位置と、手順（ｂ）において検出された物体領域と、に基づいて人物の行動を推定する手順（ｄ）と、をコンピューターに実行させる。【選択図】図６

Description

本発明は、画像処理プログラムおよび画像処理装置に関する。

我が国は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善、および医療水準の向上等により、長寿命化が顕著となっている。このため、出生率の低下と相まって、高齢化率が高い高齢化社会になっている。このような高齢化社会では、病気、怪我、および加齢などにより、介護等の対応を必要とする要介護者等の増加が想定される。

要介護者等は、病院や老人福祉施設などの施設において、歩行中に転倒したり、ベッドから転落して怪我をするおそれがある。そのため、要介護者等がこのような状態になったときに介護士や看護師等のスタッフがすぐに駆けつけられるようにするために、撮影画像から要介護者等の行動を検出するためのシステムの開発が進められている。

撮影された画像から人物の行動を検出する技術に関連し、下記特許文献１には、次の技術が開示されている。撮影した画像において、ベッド等の物体を含む物体領域と他の領域との境界を予め設定し、画像内における人物領域を検出し、当該境界と人物領域との重なり幅に応じて、人物の起床等の行動を判別する。

特許第６１１９９３８号公報

しかし、特許文献１に開示された技術は、人物の姿勢等が考慮されないため、単にベッド近辺に立ったに過ぎないような行動を入床等として誤検出することを抑制できない。また、固定された物体との関係に基づいて人物の行動を検出するため、移動する物体との関係で人物の行動を検出することに対応できない。このため、人物の行動の検出精度をさらに向上させることが比較的困難であるという問題がある。

本発明は、このような問題を解決するためになされたものである。すなわち、人物の行動を高精度に推定可能な画像処理プログラムおよび画像処理装置を提供することを目的とする。

本発明の上記課題は、以下の手段によって解決される。

（１）撮影された画像を取得する手順（ａ）と、前記手順（ａ）において取得された前記画像から、人物を含む人物領域と、所定の物体を含む物体領域と、を検出する手順（ｂ）と、前記手順（ｂ）において検出された前記人物領域に基づいて前記人物の関節点の位置を推定する手順（ｃ）と、前記手順（ｃ）において推定された前記関節点の位置と、前記手順（ｂ）において検出された前記物体領域と、に基づいて前記人物の行動を推定する手順（ｄ）と、を有する処理をコンピューターに実行させる画像処理プログラム。

（２）前記処理は、前記手順（ｃ）において推定された前記関節点の位置に基づいて前記人物の姿勢を推定する手順（ｅ）をさらに有し、前記手順（ｄ）は、前記手順（ｃ）において推定された前記関節点の位置と、前記手順（ｅ）において推定された前記姿勢と、前記手順（ｂ）において検出された前記物体領域と、に基づいて前記人物の行動を推定する、上記（１）に記載の画像処理プログラム。

（３）前記手順（ｂ）は、前記画像から前記人物領域および前記物体領域を検出するための辞書が反映されたニューラルネットワークにより、前記画像から、前記人物領域と前記物体領域とを検出する、上記（１）または（２）に記載の画像処理プログラム。

（４）前記手順（ｂ）は、前記画像から前記人物領域を検出する手順（ｂ１）と、前記手順（ｂ１）において検出された前記人物領域を包含し、前記画像より小さく、前記人物領域より大きい領域として設定された候補領域から、前記人物領域および前記物体領域を検出する手順（ｂ２）と、を有する、上記（１）〜（３）のいずれかに記載の画像処理プログラム。

（５）前記手順（ｄ）は、前記手順（ｃ）において推定された前記関節点の位置の中の所定の関節点の位置と、前記手順（ｂ）において検出された前記物体領域との位置関係に基づいて前記行動を推定する、上記（１）に記載の画像処理プログラム。

（６）前記手順（ｄ）は、前記手順（ｃ）において推定された前記関節点の位置と、前記手順（ｂ）において検出された前記物体領域との関係の、時間の経過に伴う変化に基づいて前記行動を推定する、上記（１）に記載の画像処理プログラム。

（７）前記手順（ｄ）は、前記手順（ｃ）において推定された前記関節点の位置と、前記手順（ｅ）において推定された前記姿勢と、前記手順（ｂ）において検出された前記物体領域との関係の、時間の経過に伴う変化に基づいて前記行動を推定する、上記（２）に記載の画像処理プログラム。

（８）前記処理は、前記手順（ｄ）において推定された前記行動が所定の行動である場合に発報部に発報させるための情報を出力する手順（ｆ）をさらに有する、上記（１）〜（７）のいずれかに記載の画像処理プログラム。

（９）撮影された画像を取得する取得部と、取得された前記画像から、人物を含む人物領域と、所定の物体を含む物体領域と、を検出する検出部と、検出された前記人物領域に基づいて人物の関節点の位置を推定する関節点推定部と、推定された前記関節点の位置と、検出された前記物体領域と、に基づいて人物の行動を推定する行動推定部と、を有する画像処理装置。

撮影した画像から人物を含む人物領域と所定の物体を含む物体領域を検出し、人物領域から推定した関節点の位置と物体領域とに基づいて人物の行動を推定する。これにより、人物の行動を高精度に推定できる。

画像処理システムの概略構成を示す図である。 検出部のハードウェア構成を示すブロック図である。 制御部の機能ブロック図である。 所定の関節点の位置と物体領域に基づいて対象者の行動が推定される例を説明するための説明図である。 携帯端末のハードウェア構成を示すブロック図である。 検出部の動作を示すフローチャートである。 制御部の機能ブロック図である。 検出部の動作を示すフローチャートである。 時間的に前後する撮影画像において、それぞれ対象者の関節点の位置と物体領域が検出された状態を示す図である。 検出部の動作を示すフローチャートである。 領域検出部の機能ブロック図である。 候補領域を説明するための説明図である。 検出部の動作を示すフローチャートである。

以下、図面を参照して、本発明の実施形態に係る画像処理プログラムおよび画像処理装置について説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

（第１実施形態）
[全体構成]
図１は、画像処理システム１０の概略構成を示す図である。

画像処理システム１０は、検出部１００、通信ネットワーク２００、および携帯端末３００を含む。検出部１００は、通信ネットワーク２００によりアクセスポイント２１０を介して携帯端末３００と相互に通信可能に接続される。検出部１００は、画像処理装置を構成する。検出部１００は、１つの一体化された装置でも、分離配置される複数の装置でもあり得る。なお、通信ネットワーク２００を介して検出部１００および携帯端末３００と相互に通信可能なサーバー（図示せず）を設け、検出部１００の機能の一部を当該サーバーが実施するようにしてもよい。携帯端末３００は、発報部を構成する。

検出部１００は、対象者５００の居室の天井等に配設される。対象者５００は、例えば、スタッフ等により介護または看護を必要とする者である。検出部１００は、所定の観察領域を撮影することで、画像（以下、単に「撮影画像１３１」（図４、図１１参照）と称する）を取得し、撮影画像１３１に含まれる対象者５００を人物として検出する。後述するように、検出部１００は、撮影画像１３１上で物体（オブジェクト）が存在する領域（以下、「物体存在領域」と称する）を検出する。検出部１００は、物体存在領域のうち、物体のカテゴリーが人物であると推定された物体存在領域（以下、「人物領域５２０」（図１１参照）と称する）を検出することで、人物である対象者５００を検出する。検出部１００は、物体存在領域のうち、物体のカテゴリーが所定の物体と推定された物体存在領域（以下、「物体領域８１０」（図４、図１１参照）と称する）をカテゴリーごとの物体領域８１０として検出する。所定の物体には、固定された物体と動く物体が含まれる。所定の物体のカテゴリーには、例えば、椅子、ベッド、車椅子、および歩行器が含まれる。検出部１００は、人物領域５２０から関節点５１０（図４参照）の位置を検出する。関節点５１０の位置は、例えば、撮影画像１３１における各関節点５１０の座標である。検出部１００は、関節点５１０の位置と物体領域８１０とに基づいて、対象者５００の行動を推定する。行動には、例えば、椅子に座ったという行動、ベッドに座ったという行動、床に座ったという行動、ベッドから起き上がったという行動（起床）、ベッドから離れたという行動（離床）、ベッドから落ちたという行動（転落）、および床面等に倒れ込む行動（転倒）が含まれる。検出部１００は、推定した行動が所定の行動である場合に、携帯端末３００へ対象者５００に関するイベントが発生した旨を通知するイベント通知を送信する。所定の行動には、ベッドから起き上がったという行動（起床）、ベッドから離れたという行動（離床）、ベッドから落ちたという行動（転落）、および床面等に倒れ込んだという行動（転倒）が含まれる。イベントとは、対象者５００に関する検出部１００が認識した状態の変化であって、例えば、起床、離床、転倒、転落、および微体動異常等のスタッフに発報（報知）を行うべき事象である。

検出部１００は、ディープニューラルネットワーク（以下、「ＤＮＮ」と称する）を用いて、対象者５００の行動を推定し得る。ＤＮＮによる対象物体の検出方法としては、例えば、Ｆａｔｅｒ Ｒ−ＣＮＮ、Ｆａｓｔ Ｒ−ＣＮＮ、およびＲ−ＣＮＮといった公知の方法が挙げられる。なお、検出部１００は、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等のＤＮＮ以外の機械学習を利用して対象者５００の行動を推定してもよい。

携帯端末３００は、対象者５００に対して介護および看護を含むケアを行うスタッフ等に携帯される。

[検出部１００]
図２は、検出部１００のハードウェア構成を示すブロック図である。図２の例に示すように、検出部１００は、制御部１１０、通信部１２０、カメラ１３０、および体動センサー１４０を備え、これらはバスによって、相互に接続されている。

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリにより構成され、プログラムに従って検出部１００の各部の制御および演算処理を行う。制御部１１０の機能の詳細については後述する。

通信部１２０は、通信ネットワーク２００を介して、携帯端末３００等と通信するためのインターフェース回路（例えばＬＡＮカード等）である。

カメラ１３０は、例えば、対象者５００の居室の天井、または壁の上部に配置され、所定の観察領域として対象者５００のベッド７００を含む領域を撮影し、撮影画像（画像データ）を出力する。撮影画像には対象者５００、および上述した所定の物体を含む画像が含まれる。撮影画像１３１には、静止画および動画が含まれる。カメラ１３０は近赤外線カメラであるが、これに換えて可視光カメラを用いてもよく、これらを併用してもよい。

図３は、制御部１１０の機能ブロック図である。制御部１１０は、取得部１１１、領域検出部（検出部）１１２、関節点推定部１１３、行動推定部１１５、発報情報出力部１１６として機能する。

取得部１１１は、カメラ１３０から撮影画像１３１を取得する。なお、取得部１１１は、カメラ１３０以外の、通信部１２０を介して検出部１００と接続された他のカメラ（図示せず）により撮影された撮影画像１３１を、当該他のカメラから受信することで撮影画像１３１を取得してもよい。

領域検出部１１２は、撮影画像１３１から、人物領域５２０と物体領域８１０を検出する。領域検出部１１２は、撮影画像１３１上で物体（オブジェクト）が存在する領域を物体存在領域として検出し、検出した物体存在領域に含まれる物体のカテゴリーごとの信頼度スコアを算出する。領域検出部１１２は、人物のカテゴリーの信頼度スコアが最も高い物体存在領域を人物領域５２０として検出する。同様に、所定の物体のカテゴリーの信頼度スコアが最も高い物体存在領域を、当該信頼度スコアが最も高いカテゴリーの物体領域８１０（例えば、椅子の物体領域）として検出する。

領域検出部１１２は、撮影画像１３１から人物領域５２０および物体領域８１０を検出するための辞書（パラメーター）が反映されたＤＮＮにより、撮影画像１３１から人物領域と物体領域を検出し得る。

関節点推定部１１３は、人物領域に基づいて対象者７０の関節点５１０を推定する。関節点推定部１１３は、人物領域５２０から関節点５１０を検出するための辞書が反映されたＤＮＮにより、人物領域５２０から対象者７０の関節点５１０を推定し得る。

行動推定部１１５は、所定の関節点５１０の位置と物体領域８１０とに基づいて、対象者７０の行動を推定する。

図４は、所定の関節点５１０ａ、５１０ｂの位置と物体領域８１０に基づいて対象者５００の行動が推定される例を説明するための説明図である。

図４の例においては、椅子８００が、椅子のカテゴリーの所定の物体として領域検出部１１２に検出され、物体領域８１０が一点鎖線の枠内の領域として表示されている。対象者５００の関節点５１０のうち、腰の関節点５１０ａ、５１０ｂの位置が椅子のカテゴリーの物体領域８１０の内部に含まれている。このような、腰の関節点５１０ａ、５１０ｂの位置と椅子のカテゴリーの物体領域８１０との位置的関係は、対象者５００が、椅子８００に座ったという行動をしたときに生じる。従って、この場合、行動推定部１１５は、対象者５００が、椅子８００に座ったという行動をしたと推定する。このように、行動推定部１１５は、所定の関節点５１０の位置と物体領域８１０の位置関係に基づいて対象者５００の行動を推定する。所定の関節点５１０は、腰の関節点５１０ａ、５１０ｂに限定されない。例えば、所定の関節点５１０を全身の関節点（すべての関節点）５１０とし、所定の関節点５１０が、所定の物体であるベッド７００の物体領域７１０の内部に含まれるようになった場合、対象者５００がベッド７００に入ったという行動をしたと推定し得る。

発報情報出力部１１６は、行動推定部１１５により推定された行動が所定の行動である場合に、携帯端末３００へ対象者５００に関するイベントが発生した旨を通知するイベント通知を送信する。

[携帯端末３００]
図５は、携帯端末３００のハードウェア構成を示すブロック図である。携帯端末３００は、制御部３１０、無線通信部３２０、表示部３３０、入力部３４０、および音声入出力部３５０を備え、これらはバスにより相互に接続される。これらの構成要素の基本構成は、検出部１００の対応する構成要素と同様であるため、重複する説明は省略する。携帯端末３００は、例えば、タブレット型コンピューター、スマートフォンまたは携帯電話等の、持ち運び可能な通信端末機器によって構成できる。

無線通信部３２０は、Ｇ４、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格を用いた無線通信を検出部１００等の装置との間で行う。検出部１００等の装置との無線通信は、アクセスポイント２１０を経由して、または直接的に行われる。無線通信部３２０は、検出部１００からイベント通知を受信する。

表示部３３０、および入力部３４０は、タッチパネルであり、液晶等で構成される表示部３３０の表示面に、入力部３４０としてのタッチセンサーを重畳させたものである。表示部３３０、入力部３４０によって、スタッフ等に対して、各種情報や各種指示が表示される。表示部３３０は、イベント通知に含まれるイベントの内容を携帯端末３００において表示する。このように、検出部１００から送信されたイベント通知に含まれるイベントの内容が携帯端末３００で表示されることにより、イベントの内容がスタッフ等へ発報される。イベント通知は、対象者５００の所定の行動を携帯端末３００にスタッフ等へ発報させるための情報を構成する。入力部３４０は、イベントへの対応の受諾の応答の入力等の各種の操作を受け付ける。

音声入出力部３５０は、例えばスピーカーとマイクであり、無線通信部３２０を介して他のスタッフ端末との間でスタッフ等による音声通話を可能にする。なお、検出部１００が音声入出力部を備える場合、音声入出力部３５０は、無線通信部３２０を介して検出部１００との間で音声通話を可能にし得る。

図６は、検出部１００の動作を示すフローチャートである。本フローチャートは、プログラムに従い、制御部１１０により実行される。

制御部１１０は、カメラ１３０により撮影画像１３１を取得する（Ｓ１０１）。

制御部１１０は、撮影画像１３１から人物領域５２０と物体領域８１０を検出する（Ｓ１０２）。

制御部１１０は、人物領域５２０に基づいて対象者５００の関節点５１０の位置を推定する（Ｓ１０３）。

制御部１１０は、関節点５１０の位置と、物体領域８１０との位置関係に基づいて、対象者５００である人物の行動を推定する（Ｓ１０４）。

（第２実施形態）
第２実施形態について説明する。本実施形態と第１実施形態とで異なる点は次の点である。第１実施形態は、関節点５１０の位置と、物体領域８１０との位置関係に基づいて、対象者５００の行動を推定する。一方、本実施形態は、関節点５１０の位置から対象者５００の姿勢を推定し、対象者５００の関節点５１０の位置、対象者５００の姿勢、および物体領域８１０に基づいて対象者５００の行動を推定する点である。これ以外の点に関しては、本実施形態は第１実施形態と同様であるため、重複となる説明は省略または簡略化する。

図７は、制御部１１の機能ブロック図である。制御部１１は、取得部１１１、領域検出部１１２、関節点推定部１１３、姿勢推定部１１４、行動推定部１１５、発報情報出力部１１６として機能する。

取得部１１１は撮影画像１３１を取得し、領域検出部１１２は、撮影画像１３１から人物領域５２０と物体領域８１０を検出する。関節点推定部１１３は、人物領域５２０から関節点５１０を推定する。

姿勢推定部１１４は、関節点推定部１１３により検出された関節点５１０の位置に基づいて対象者５００の姿勢を推定する。姿勢には、例えば、立位、座位、および臥位が含まれる。姿勢推定部１１４は、関節点５１０の位置から人物の姿勢を検出するための辞書が反映されたＤＮＮにより、関節点５１０の位置から対象者５００の姿勢を推定し得る。具体的には、ＤＮＮにより、関節点５１０に基づいて、姿勢クラスの確率として、立位が５％、座位が８７％、臥位が８％と推定された場合、確率が最も高い「座位」が、対象者５００の姿勢として推定される。

行動推定部１１５は、物体領域８１０、対象者５００の関節点５１０の位置、および対象者５００の姿勢から対象者５００の行動を推定する。行動推定部１１５は、例えば、対象者５００の関節点５１０のうち、腰の関節点５１０ａ、５１０ｂ（図４参照）の位置が椅子８００のカテゴリーの物体領域８１０の内部に含まれ、かつ、姿勢が座位の姿勢になった場合に、対象者５００が、椅子８００に座ったという行動をしたと推定する。このように、行動推定部１１５は、所定の関節点５１０の位置と物体領域８１０の位置関係と、姿勢とに基づいて対象者５００の行動を推定する。例えば、撮影画像１３１上で、対象者５００が立位の姿勢で、腰の関節点５１０ａ、５１０ｂの位置が椅子８００のカテゴリーの物体領域８１０の内部に含まれる可能性もないとは言えない。このような場合に、第１実施形態では、対象者５００が椅子８００に座ったという行動をしたと誤検出される。一方、本実施形態によればこのような誤検出を抑制できる。

図８は、検出部１００の動作を示すフローチャートである。

制御部１１０は、撮影画像１３１を取得し（Ｓ２０１）、撮影画像１３１から人物領域５２０と物体領域８１０を検出する（Ｓ２０２）。

制御部１１０は、人物領域５２０に基づいて対象者５００の関節点５１０の位置を推定する（Ｓ２０３）。

制御部１１０は、関節点５１０の位置に基づいて、対象者５００の姿勢を推定する（Ｓ２０４）。

制御部１１０は、対象者５００の所定の関節点５１０の位置と物体領域の関係と、対象者５００の姿勢とに基づいて、対象者５００の行動を推定する（Ｓ２０５）。

（第３実施形態）
第３実施形態について説明する。本実施形態と第１実施形態とで異なる点は次の点である。第１実施形態は、撮影画像１３１のフレームごとに、関節点５１０の位置と、物体領域８１０とに基づいて、対象者５００の行動を推定する。一方、本実施形態は、撮影画像１３１の複数のフレームからそれぞれ検出された関節点５１０の位置および物体領域８１０に基づいて、関節点５１０と物体領域８１０の時間の経過に伴う変化から、対象者５００の行動を推定する点である。これ以外の点に関しては、本実施形態は第１実施形態と同様であるため、重複となる説明は省略または簡略化する。

図９は、時間的に前後する撮影画像１３１において、それぞれ対象者５００の関節点５１０の位置と物体領域８１０が検出された状態を示す図である。図９のＡは、対象者５００が立位の姿勢で、椅子８００の方向を向いて歩行している状態が撮影された撮影画像１３１である。図９のＢは、図９のＡの撮影画像１３１のフレームより時間的に後のフレームの撮影画像１３１であり、対象者５００が椅子８００の座面上で座位の姿勢にある状態が撮影された撮影画像１３１である。

図９のＡの撮影画像１３１においては、椅子８００が所定の物体として検出されたことで、物体領域８１０が椅子８００を囲む一点鎖線の矩形で表示されている。また、対象者５００が人物領域５２０として検出され、人物領域５２０から関節点５１０の位置が推定されたことで、関節点５１０の位置が表示されている。

一方、図９のＢの撮影画像１３１においては、対象者５００が椅子８００の座面上に座ることで、対象者５００に椅子８００が隠れてしまい、椅子８００の画像が撮影画像１３１上に現れなくなることで、椅子８００が物体領域８１０として検出されなくなっている。これにより、物体領域８１０が表示されていない。従って、図９のＢの撮影画像１３１のみによって、対象者５００の行動を推定すると、対象者５００が椅子８００に座っているという正確な行動を推定できない。なお、この場合、対象者５００が床の上に座る行動（床座位）をしたという、誤った推定がされ得る。

本実施形態においては、撮影画像１３１の複数のフレームからそれぞれ検出された関節点５１０の位置および物体領域８１０に基づいて、関節点５１０の位置と物体領域の時間の経過に伴う変化から、対象者５００の行動を推定する。具体的には、検出されていた所定の物体（例えば、椅子８００）が撮影画像１３１上に現れなくなることで物体領域８１０が消滅した場合、当該物体領域８１０が対象者５００等により隠れたと推定して、消滅する前のフレームの撮影画像１３１において検出されていた所定の物体の物体領域８１０を、消滅した後のフレームの撮影画像１３１における物体領域８１０として適用する。これにより、例えば、図９のＡの撮影画像１３１における椅子８００の物体領域８１０が図のＢの撮影画像１３１における物体領域８１０として適用される。従って、図９のＢの撮影画像１３１において、対象者５００の関節点５１０のうち所定の関節点５１０である腰の関節点５１０ａ、５１０ｂが椅子８００の物体領域８１０の内部に含まれた状態となるため、対象者５００が椅子８００に座ったという行動が正確に検出される。

本実施形態は、第２実施形態のように、関節点５１０の位置から対象者５００の姿勢を推定し、対象者５００の関節点５１０の位置、対象者５００の姿勢、および物体領域８１０に基づいて対象者５００の行動を推定する場合に好適に適用される。例えば、時間的に比較的隣接する複数のフレームにおいて、時間的に前のフレームの撮影画像１３１に基づいて対象者５００の関節点５１０から立位の姿勢が推定され、後のフレームの撮影画像１３１に基づいて対象者５００の関節点５１０から座位の姿勢が推定されたとする。そして、両方のフレームの撮影画像１３１において、椅子８００等の物体領域８１０が検出されていないとする。この場合は、椅子８００等の物体領域８１０が対象者５００等により隠れたとは推定されないため、対象者５００が床上で転倒したという行動を適切に検出し得る。

図１０は、検出部１００の動作を示すフローチャートである。

制御部１１０は、撮影画像１３１を取得し（Ｓ３０１）、撮影画像１３１から人物領域５２０と物体領域８１０を検出する（Ｓ３０２）。

制御部１１０は、人物領域５２０に基づいて対象者５００の関節点５１０の位置を推定する（Ｓ３０３）。

制御部１１０は、対象者５００の所定の関節点５１０の位置と物体領域８１０の時間の経過に伴う変化に基づいて、対象者５００の行動を推定する（Ｓ３０４）。

（第４実施形態）
第４実施形態について説明する。本実施形態と第１実施形態とで異なる点は次の点である。第１実施形態は、撮影画像１３１全体から人物領域５２０と物体領域８１０を検出する。一方、本実施形態は、撮影画像１３１全体から人物領域５２０を検出し、人物領域５２０に基づいて、人物領域５２０を含み、人物領域５２０より大きい候補領域５３０（図１２参照）を設定し、候補領域５３０から物体領域８１０を検出する点である。これ以外の点に関しては、本実施形態は第１実施形態と同様であるため、重複となる説明は省略または簡略化する。

図１１は、領域検出部２１２の機能ブロック図である。領域検出部２１２は、候補領域設定部２１２ａと詳細領域検出部２１２ｂを有する。図１２は、候補領域５３０を説明するための説明図である。

候補領域設定部２１２ａは、撮影画像１３１から人物領域５２０を検出し、人物領域５２０に基づいて候補領域５３０を設定する。候補領域設定部２１２ａは、撮影画像１３１から人物領域５２０を検出するための辞書が反映されたＤＮＮにより、撮影画像１３１から人物領域５２０を検出し得る。

候補領域設定部２１２ａは、人物領域５２０を包含し、撮影画像１３１より小さく、人物領域５２０より大きい領域として候補領域５３０を設定する。候補領域５３０は、例えば、人物領域５２０の重心を中心とする、所定の大きさおよび所定のアスペクト比を有する矩形領域とし得る。所定の大きさおよび所定のアスペクト比は、実験により任意の適当な値に設定し得る。

詳細領域検出部２１２ｂは、候補領域５３０から人物領域５２０および物体領域８１０を検出する。詳細領域検出部２１２ｂは、候補領域５３０（撮影画像の一部）から人物領域５２０および物体領域８１０を検出するための辞書が反映されたＤＮＮにより、候補領域５３０から人物領域５２０および物体領域８１０を検出し得る。候補領域５３０は撮影画像１３１よりも小さいため、物体領域８１０の検出範囲を縮小できる。これにより、人物領域５２０および物体領域８１０の検出に要するトータルの検出時間を短縮できる。なお、物体領域８１０の検出範囲が候補領域５３０に限定されるため、物体領域８１０として検出される所定の物体は、人物領域５２０に比較的近いもののみとなる。

なお、詳細領域検出部２１２ｂは、物体領域８１０のみを検出するようにしてもよい。この場合、人物領域５２０は、候補領域設定部２１２aによる人物領域５２０の検出結果を利用し得る。

図１３は、検出部１００の動作を示すフローチャートである。

制御部１１０は、撮影画像１３１を取得し（Ｓ４０１）、撮影画像１３１から人物領域５２０を検出する（Ｓ４０２）。

制御部１１０は、人物領域５２０に基づいて候補領域５３０を設定する（Ｓ４０３）。

制御部１１０は、候補領域５３０から人物領域５２０と物体領域８１０を検出する（Ｓ４０４）。

制御部１１０は、人物領域５２０に基づいて、対象者５００の関節点５１０の位置を推定する（Ｓ４０５）。

制御部１１０は、関節点５１０の位置と物体領域８１０に基づいて、対象者５００の行動を推定する（Ｓ４０６）。

（変形例）
上述した実施形態では、対象者５００が介護または看護が必要な者等で、対象者５００の居室の天井等に配設された検出部１００のカメラ１３０により撮影された撮影画像１３１に基づいて対象者５００の行動を検出する。そして、検出された行動が所定の行動の場合にイベント通知を携帯端末３００へ送信することで、イベントの発生を発報する。

一方、本変形例では、カメラ１３０をコンビニエンスストアの天井等に配設し、カメラ１３０による撮影画像１３１に基づいて、コンビニエンスストア等の客の行動を検出する。この場合、人物領域５２０は顧客の画像を含む領域として検出され、物体領域８１０は、商品棚に陳列された所定の商品をそれぞれ含む領域として検出される。そして、対象者５００である顧客の行動として、例えば、５番棚の最上段に置かれた酒類を手に取る行動、５番棚の第２段に置かれたシャンプーを手に取る行動、および５番棚に向かって立ち止まっている行動等が検出される。このような対象者５００の行動は、マーケティング情報として、商品の配置替えや、棚のレイアウト変更等に利用され得る。

本発明に係る実施形態は、以下の効果を奏する。

撮影した画像から人物を含む人物領域と所定の物体を含む物体領域を検出し、人物領域から推定した関節点の位置と物体領域とに基づいて人物の行動を推定する。これにより、人物の行動を高精度に推定できる。

さらに、推定された関節点の位置に基づいて人物の姿勢を推定し、関節点の位置と、姿勢と、物体領域と、に基づいて人物の行動を推定する。これにより、人物の行動をさらに高精度に推定できる。

さらに、画像から人物領域および物体領域を検出するための辞書が反映されたニューラルネットワークにより、画像から人物領域と物体領域とを検出する。これにより、簡単かつ高速に人物の行動を推定できるとともに、推定精度をさらに向上できる。

さらに、画像から人物領域を検出し、当該人物領域を包含し、当該画像より小さく、当該人物領域より大きい領域として候補領域を設定し、候補領域から、人物領域および物体領域を検出する。これにより、候補領域の検出範囲を縮小することで、高速かつ高精度に人物の行動を推定できる。

さらに、推定された関節点の位置の中の所定の関節点の位置と、物体領域との位置関係に基づいて行動を推定する。これにより、より簡単かつ高精度に人物の行動を推定できる。

さらに、関節点の位置と、物体領域との関係の、時間の経過に伴う変化に基づいて人物の行動を推定する。これにより、所定の物体が人物に隠れるような場合であっても、高精度に人物の行動を推定できる。

さらに、関節点の位置と、姿勢と、物体領域との関係の、時間の経過に伴う変化に基づいて行動を推定する。これにより、時間的に隣接する撮影画像に基づく対象者の状態の変化を検出することで、転倒等の重要度の高い対象者の行動をより高精度に検出できる。

さらに、推定された行動が所定の行動である場合に発報部に発報させるための情報を出力する。これにより、イベント発生時等に簡単かつ速やかにイベントの発生を連絡できる。

以上に説明した画像処理システムの構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な画像処理システムが備える構成を排除するものではない。

例えば、検出部が有する機能の一部を、携帯端末が備えるようにしてもよい。

また、画像認識装置、撮影装置、および携帯端末は、それぞれ複数の装置により構成されてもよく、いずれか複数の装置が単一の装置として構成されてもよい。

また、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。

また、上述した実施形態においては、人物の行動を検出するものとして説明したが、行動の検出対象は動物であってもよい。

また、上述した画像処理システムにおける各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその検出部等の装置のソフトウエアに組み込まれてもよい。

１０ 画像処理システム、
１００ 検出部、
１１０ 制御部、
１１１ 画像取得部、
１１２ 領域検出部、
１１２ａ 候補領域設定部、
１１２ｂ 詳細領域検出部、
１１３ 関節点推定部、
１１４ 姿勢推定部、
１１５ 行動推定部、
１１６ 発報情報出力部、
１２０ 通信部、
１３０ カメラ、
１４０ 体動センサー、
２００ 通信ネットワーク、
２１０ アクセスポイント、
３００ 携帯端末、
５００ 対象者、
５１０ 関節点、
５１０ａ、５１０ｂ 所定の関節点、
７００ ベッド、
７１０ 物体領域、
８００ 椅子、
８１０ 物体領域。

Claims (9)

1. 撮影された画像を取得する手順（ａ）と、
   前記手順（ａ）において取得された前記画像から、人物を含む人物領域と、所定の物体を含む物体領域と、を検出する手順（ｂ）と、
   前記手順（ｂ）において検出された前記人物領域に基づいて前記人物の関節点の位置を推定する手順（ｃ）と、
   前記手順（ｃ）において推定された前記関節点の位置と、前記手順（ｂ）において検出された前記物体領域と、に基づいて前記人物の行動を推定する手順（ｄ）と、
   を有する処理をコンピューターに実行させる画像処理プログラム。
2. 前記処理は、前記手順（ｃ）において推定された前記関節点の位置に基づいて前記人物の姿勢を推定する手順（ｅ）をさらに有し、
   前記手順（ｄ）は、前記手順（ｃ）において推定された前記関節点の位置と、前記手順（ｅ）において推定された前記姿勢と、前記手順（ｂ）において検出された前記物体領域と、に基づいて前記人物の行動を推定する、請求項１に記載の画像処理プログラム。
3. 前記手順（ｂ）は、前記画像から前記人物領域および前記物体領域を検出するための辞書が反映されたニューラルネットワークにより、前記画像から、前記人物領域と前記物体領域とを検出する、請求項１または２に記載の画像処理プログラム。
4. 前記手順（ｂ）は、
   前記画像から前記人物領域を検出する手順（ｂ１）と、
   前記手順（ｂ１）において検出された前記人物領域を包含し、前記画像より小さく、前記人物領域より大きい領域として設定された候補領域から、前記人物領域および前記物体領域を検出する手順（ｂ２）と、
   を有する、請求項１〜３のいずれか一項に記載の画像処理プログラム。
5. 前記手順（ｄ）は、前記手順（ｃ）において推定された前記関節点の位置の中の所定の関節点の位置と、前記手順（ｂ）において検出された前記物体領域との位置関係に基づいて前記行動を推定する、請求項１に記載の画像処理プログラム。
6. 前記手順（ｄ）は、前記手順（ｃ）において推定された前記関節点の位置と、前記手順（ｂ）において検出された前記物体領域との関係の、時間の経過に伴う変化に基づいて前記行動を推定する、請求項１に記載の画像処理プログラム。
7. 前記手順（ｄ）は、前記手順（ｃ）において推定された前記関節点の位置と、前記手順（ｅ）において推定された前記姿勢と、前記手順（ｂ）において検出された前記物体領域との関係の、時間の経過に伴う変化に基づいて前記行動を推定する、請求項２に記載の画像処理プログラム。
8. 前記処理は、前記手順（ｄ）において推定された前記行動が所定の行動である場合に発報部に発報させるための情報を出力する手順（ｆ）をさらに有する、請求項１〜７のいずれか一項に記載の画像処理プログラム。
9. 撮影された画像を取得する取得部と、
   取得された前記画像から、人物を含む人物領域と、所定の物体を含む物体領域と、を検出する検出部と、
   検出された前記人物領域に基づいて人物の関節点の位置を推定する関節点推定部と、
   推定された前記関節点の位置と、検出された前記物体領域と、に基づいて人物の行動を推定する行動推定部と、
   を有する画像処理装置。