JP6870514B2 - 見守り支援システム及びその制御方法 - Google Patents

Description

本発明は、ベッド上の対象者の見守りを支援するための技術に関する。

ベッドからの転落事故などを未然に防ぐため、病院や介護施設などにおける患者の見守りを支援するシステムが知られている。特許文献１には、カメラで撮影した画像（撮影画像）から患者を検出し、その検出結果に基づいて患者の動作を判定し、その判定結果に応じた通知を行うシステムが提案されている。

特開２０１２−０７１００３号公報

上述のように、撮影画像から対象者を検出し、その検出結果を見守り支援に役立てるという試みは、従来からなされている。しかしながら、対象者が他者に直接的に見守られている場合には通知が不要であるにも拘わらず、特許文献１のように所定の動作に応じて通知を行う方法では、そのような不要な通知が行われることがある。そして、不要な通知の発生は、通知を確認するシステム利用者の負担増加につながる。さらに、所定の動作に応じて撮影画像を通知する方法では、不要な通知により、撮影画像に写っている他者のプライバシーを侵害することになりかねない。

本発明は、上記実情に鑑みなされたものであって、不要な通知を抑制することができ、システム利用者の負担軽減やプライバシー保護などの効果を得ることができる技術を提供することを目的とする。

上記目的を達成するために、本発明では、撮像装置により撮影された画像（撮影画像）の判定領域に基づいて、対象者が他者に見守られているか否かを判定し、対象者が他者に見守られていると判定した場合に通知を省略する、という方法を採用する。

具体的には、本発明の第一態様は、ベッド上の対象者の見守りを支援する見守り支援システムであって、撮像装置により撮影された画像を取得する画像取得部と、前記撮影された画像の一部の領域であり、且つ、前記ベッドを含む領域である判定領域の画像に基づいて、前記対象者が他者に見守られているか否かを判定する見守り判定部と、前記撮影された画像に基づいて、前記対象者の状態を判定する状態判定部と、前記状態判定部の判定結果に応じた通知を行う出力部と、を有し、前記出力部は、前記対象者が前記他者に見守られていると前記見守り判定部により判定された場合に、前記通知を省略することを特徴とする見守り支援システムを提供する。

この構成によれば、ベッドの領域とその周辺の領域とを撮影した画像から、対象者が他者に見守られているか否かが判定される。ここで、患者や要介護者などの対象者を、看護師や介護者などの他者が見守る場合を考える。この場合には、対象者はベッドにいる可能性が高く、他者はベッド周辺にいる可能性が高い。そのため、上記構成によれば、対象者が他者に見守られているか否かを高精度に判定することができる。そして、通知は、直接的に見守られていない対象者を間接的に見守るために必要であり、対象者が他者に直接的
に見守られている場合には不要である。上記構成によれば、対象者が他者に見守られていると判定された場合に、通知が省略される。これにより、不要な通知を抑制することができ、システム利用者の負担軽減やプライバシー保護などの効果を得ることができる。例えば、不要な通知をシステム利用者が確認するといった手間を省くことができる。また、見舞客などのシステムの利用に関与しない他者の画像が不必要に通知されることを抑制でき、他者のプライバシーを保護することができる。

前記見守り判定部は、前記判定領域に２人以上の人物が存在する場合に、前記対象者が前記他者に見守られていると判定するとよい。２人以上の人物の中に、対象者と、対象者を見守る他者とが含まれる可能性が高いからである。

前記見守り判定部は、前記ベッドに存在する第１の人物と、前記第１の人物の方を向いている第２の人物とが前記判定領域に存在する場合に、前記対象者が前記他者に見守られていると判定してもよい。ベッドに存在する第１の人物は対象者である可能性が高く、対象者（第１の人物）の方を向いている第２の人物は対象者を見守る人物である可能性が高いからである。

前記見守り判定部は、顔向きのベクトルと、前記第１の人物へ向かうベクトルとのなす角度が閾値以下である人物を、前記第１の人物の方を向いている前記第２の人物として決定するとよい。顔向きのベクトルと、第１の人物へ向かうベクトルとのなす角度が閾値以下である人物は、第１の人物の方を向いている可能性が高いからである。

前記見守り判定部は、見守られる動作を行っている人物と、見守る動作を行っている人物とが前記判定領域に存在する場合に、前記対象者が前記他者に見守られていると判定してもよい。見守られる動作を行っている人物は、他者に見守られている対象者である可能性が高く、見守る動作を行っている人物は、対象者を見守っている他者である可能性が高いからである。

なお、本発明は、上記構成ないし機能の少なくとも一部を有する見守り支援システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、見守り支援方法又は見守り支援システムの制御方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、不要な通知を抑制することができ、システム利用者の負担軽減やプライバシー保護などの効果を得ることができる。

図１は見守り支援システムのハードウェア構成および機能構成を模式的に示すブロック図である。 図２は撮像装置の設置例を示す図である。 図３Ａは撮影画像の例であり、図３Ｂと図３Ｄは見守り判定領域の例であり、図３Ｃは行動判定領域の例である。 図４は状態監視処理のフローチャートである。 図５は見守り判定処理のフローチャートである。 図６Ａと図６Ｂは撮影画像の例である。 図７は見守り判定処理（第１の変形例）のフローチャートである。 図８Ａと図８Ｂは撮影画像の例である。 図９は見守り判定処理（第２の変形例）のフローチャートである。

本発明は、ベッド上の対象者の見守りを支援するための技術に関する。この技術は、病院や介護施設などにおいて、患者や要介護者などの離床・起床行動を自動で検知し、危険な状態が発生した場合などに必要な通知を行うシステムに適用することができる。このシステムは、例えば、高齢者、認知症患者、子供などの見守り支援に好ましく利用することができる。

以下、図面を参照して本発明を実施するための好ましい形態の一例を説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

（システム構成）
図１と図２を参照して、本発明の実施形態に係る見守り支援システムの構成を説明する。図１は、見守り支援システム１のハードウェア構成および機能構成を模式的に示すブロック図であり、図２は、撮像装置の設置例を示す図である。

見守り支援システム１は、主なハードウェア構成として、撮像装置１０と情報処理装置１１を有している。撮像装置１０と情報処理装置１１の間は有線又は無線により接続されている。図１では、１つの撮像装置１０のみ示しているが、複数台の撮像装置１０を情報処理装置１１に接続してもよい。

撮像装置１０は、ベッド上の対象者を撮影して画像データを取り込むためのデバイスである。撮像装置１０としては、モノクロ又はカラーの可視光カメラ、赤外線カメラ、三次元カメラなどを用いることができる。本実施形態では、夜間でも（部屋内が暗い場合でも）対象者の見守りを可能とするため、赤外線ＬＥＤ照明１００と近赤外線カメラ１０１で構成される撮像装置１０を採用する。撮像装置１０は、図２に示すように、ベッド２０の頭側上方から足側に向かって、ベッド２０の全体を俯瞰するように設置される。撮像装置１０は所定の時間間隔（例えば、３０ｆｐｓ）で撮影を行い、その画像データは情報処理装置１１に順次取り込まれる。なお、撮像装置１０の向きは特に限定されない。ベッド２０の足側からの向きで撮像装置１０が設置されてもよいし、ベッド２０の側面側からの向きで撮像装置１０が設置されてもよい。

情報処理装置１１は、撮像装置１０から取り込まれる画像データをリアルタイムに分析し、ベッド２０上の対象者２１の起床状態や離床状態を自動で検知し、必要な場合に通知を行う機能を備える装置である。情報処理装置１１は、具体的な機能として、画像取得部１１０、検出部１１１、見守り判定部１１２、行動判定部１１３、出力部１１４、領域設定部１１５、記憶部１１６を有している。本実施形態の情報処理装置１１は、ＣＰＵ（プロセッサ）、メモリ、ストレージ（ＨＤＤ、ＳＳＤなど）、入力デバイス（キーボード、マウス、タッチパネルなど）、出力デバイス（ディスプレイ、スピーカなど）、通信インタフェースなどを具備する汎用のコンピュータにより構成され、上述した情報処理装置１１の各機能は、ストレージ又はメモリに格納されたプログラムをＣＰＵが実行することにより実現される。ただし、情報処理装置１１の構成はこの例に限られない。例えば、複数台のコンピュータによる分散コンピューティングを行ってもよいし、上記機能の一部をクラウドサーバにより実行してもよいし、上記機能の一部をＡＳＩＣやＦＰＧＡのような回路で実行してもよい。

画像取得部１１０は、撮像装置１０により撮影された画像（撮影画像）を取得する機能である。画像取得部１１０より入力された画像データは一時的にメモリ又はストレージに
記録され、検出部１１１、見守り判定部１１２、行動判定部１１３などの処理に供される。

検出部１１１は、画像取得部１１０により取得された撮影画像を分析し、当該撮影画像から、見守り対象者２１や他者（看護師や介護者など）を検出する。例えば、検出部１１１は、人物の人体又はその一部（頭部、顔、上半身など）を検出する。撮影画像から人体やその一部を検出する方法としてはいかなる方法を用いてもよい。例えば、古典的なＨａａｒ−ｌｉｋｅ特徴量やＨｏＧ特徴量を用いた識別器による手法や近年のＦａｓｔｅｒ Ｒ−ＣＮＮによる手法を用いた物体検出アルゴリズムを好ましく用いることができる。本実施形態の検出部１１１は、Ｈａａｒ−ｌｉｋｅ特徴量を用いた識別器により頭部（首より上の部分；例えば対象者２１の頭部２２）を検出し、検出結果として、頭部の位置（ｘ，ｙ）及びサイズ（縦横のピクセル数）を出力する。頭部の位置（ｘ，ｙ）は、例えば、頭部を囲む矩形枠の中心点の画像座標で表される。なお、本実施形態の検出部１１１は検出結果を画像座標系の位置・サイズで出力するが、検出部１１１が画像座標系を空間座標系に換算し、人物の空間座標系における３次元位置や３次元的なサイズを出力してもよい。

見守り判定部１１２は、画像取得部１１０により取得された撮影画像の一部の領域であり、且つ、ベッド２０を含む領域である見守り判定領域の画像に基づいて、対象者２１が他者に見守られているか否かを判定する機能である。本実施形態では、見守り判定部１１２は、見守り判定領域に対する検出部１１１の検出結果に基づいて、対象者２１が他者に見守られているか否かを判定する。見守り判定部１１２の処理（見守り判定処理）については後述する。

行動判定部１１３は、画像取得部１１０により取得された撮影画像に基づいて、対象者２１の状態や行動を判定する機能である。本実施形態では、行動判定部１１３は、撮影画像全体に対する検出部１１１の検出結果に基づいて、起床判定、離床判定などを行う。

出力部１１４は、行動判定部１１３の判定結果に応じた通知を行う機能である。本実施形態では、出力部１１４は、行動判定部１１３により対象者２１の起床動作ないし離床動作が検知された場合に、必要な通知を行う。出力部１１４は、対象者２１の動作の危険度合いに応じて、通知の要否（例えば、危険な状態の場合のみ通知を行う）、通知の内容（例えばメッセージの内容）、通知手段（例えば音声、メール、ブザー、警告灯）、通知先（例えば看護師、医師）、通知の頻度などを切り替えることができる。本実施形態では、出力部１１４は、対象者２１が他者に見守られていると見守り判定部１１２により判定された場合に、通知を省略する。

領域設定部１１５は、撮像装置１０により撮影される撮影画像に対し判定領域（見守り判定領域や行動判定領域）を設定する機能である。見守り支援システム１はベッド２０上の対象者２１の状態監視を目的とするため、撮影画像内のベッド２０の領域に基づき判定領域が設定される。判定領域の設定は、手動で行ってもよいし自動で行ってもよい。手動設定の場合、領域設定部１１５は、撮影画像内のベッド領域ないし判定領域そのものをユーザに入力させるためのユーザインタフェースを提供するとよい。自動設定の場合、領域設定部１１５は、物体認識処理により撮影画像からベッド領域を検出するとよい。

図３Ａは、撮影画像の例であり、図３Ｂは、図３Ａの撮影画像に対し設定された見守り判定領域の例である。図３Ｃは、図３Ａの撮影画像に対し設定された行動判定領域の例である。本実施形態では、領域設定部１１５は、ベッド領域３０を基準として、見守り判定領域Ａ０と行動判定領域Ａ１〜Ａ３を設定する。見守り判定領域Ａ０は、ベッド領域３０とその周辺からなる領域であり、対象者２１が他者に見守られている時に対象者２１と他
者が存在し得る範囲に対応する。行動判定領域Ａ１は、ベッド２０の頭側に設定される領域であり、就床時（対象者２１がベッド２０に寝ている時）に対象者２１の頭部２２が存在し得る範囲に対応する（以後、就床領域Ａ１と呼ぶ）。行動判定領域Ａ２は、ベッド２０の足側に設定される領域であり、起床時（対象者２１が上半身を起こした姿勢の時）に対象者２１の頭部２２が存在し得る範囲に対応する（以後、起床領域Ａ２と呼ぶ）。本実施形態において、ベッド領域３０に対する各判定領域Ａ０〜Ａ２の相対的な位置・サイズが予め決められており、ベッド領域３０が特定されれば各判定領域Ａ０〜Ａ２の範囲は計算で定まるものとする。行動判定領域Ａ３は、行動判定領域Ａ１、Ａ２以外の領域である。離床時（対象者２１がベッド２０から離れた状態の時）は、対象者２１の頭部２２は行動判定領域Ａ３内に存在する（以後、離床領域Ａ３と呼ぶ）。

本実施形態では、見守り判定部１１２は、見守り判定領域Ａ０に２つ以上の頭部の検出位置が属すか否かを判定する。そして、見守り判定部１１２は、見守り判定領域Ａ０に２つ以上の頭部の検出位置が属す場合に、対象者２１が他者に見守られていると判定し、そうでない場合に、対象者２１が他者に見守られていないと判定する。

また、本実施形態では、行動判定部１１３は、頭部の検出位置が行動判定領域Ａ１〜Ａ３のいずれに属するかを判定し、対象者２１の状態を分類する。ここでは、頭部が就床領域Ａ１内で検出された場合を「就床状態」、起床領域Ａ２内で検出された場合を「起床状態」、離床領域Ａ３内で検出された場合を「離床状態」と呼ぶ。そして、行動判定部１１３は、「就寝状態」から「起床状態」への状態変化を起床動作として検知し、「起床状態」から「離床状態」への状態変化を離床動作として検知する。

記憶部１１６は、見守り支援システム１が処理に用いる各種のデータを記憶する機能である。記憶部１１６には、少なくとも、起床判定、離床判定などで用いる各種パラメータ（閾値など）、判定領域の設定情報、過去複数フレームの画像データ又は検出結果（移動速度や移動方向の計算のため）を記憶するための記憶エリアが設けられる。

（状態監視処理）
図４を参照して本システムの状態監視処理の一例を説明する。図４の処理フローは、撮像装置１０から１フレームの画像が取り込まれる度に実行される。

まず、ステップＳ４０において、画像取得部１１０は、撮像装置１０から１フレームの撮影画像を取り込む。取得された撮影画像は記憶部１１６に一時的に記録される。

次に、ステップＳ４１において、検出部１１１は、ステップＳ４０で取得された撮影画像から頭部を検出する。検出された頭部の位置（ｘｙ座標）の情報は、ステップＳ４０で取得された撮影画像の撮影時刻の情報または当該撮影画像のフレーム番号に対応付けられて記憶部１１６に記録される。

そして、ステップＳ４２において、見守り判定部１１２は、ステップＳ４１の検出結果を用いて見守り判定処理を行う。

次に、ステップＳ４３において、ステップＳ４２の判定結果に応じて処理が切り替えられる。対象者２１が他者に見守られていると判定された場合には、ステップＳ４４へ処理が進められる。対象者２１が他者に見守られていると判定されなかった場合には、ステップＳ４４とステップＳ４５の処理が省略され、本フローチャートが終了される。

ステップＳ４４において、行動判定部１１３は、ステップＳ４１の検出結果を用いて、対象者２１の状態や行動を判定する。ステップＳ４５において、出力部１１４は、ステッ
プＳ４４の判定結果に応じた通知を行う。

（見守り判定処理）
図５と図６Ａと図６Ｂを参照して、ステップＳ４２の見守り判定処理の一例について説明する。図５は、見守り判定部１１２により実行される見守り判定処理のフローチャートであり、図６Ａと図６Ｂは、画像取得部１１０により取得された撮影画像の例である。

まず、ステップＳ５０において、見守り判定部１１２は、見守り判定領域Ａ０内で２つ以上の頭部が検出されたか否かを判定する。見守り判定領域Ａ０内で２つ以上の頭部が検出された場合には、ステップＳ５１へ処理が進められ、見守り判定領域Ａ０内で頭部が１つのみ検出された場合には、ステップＳ５２へ処理が進められる。

ステップＳ５１において、見守り判定部１１２は、対象者２１が他者に見守られていると判定する（見守りあり判定）。

ステップＳ５２において、見守り判定部１１２は、対象者２１が他者に見守られていないと判定する（見守りなし判定）。

ここで、図６Ａの撮影画像６０がステップＳ４０で取得された場合を考える。この場合には、ステップＳ４１において、見守り判定領域Ａ０内の頭部として、対象者２１の頭部６１のみが検出される。そのため、対象者２１が他者に見守られていないと判定され（ステップＳ５２）、対象者２１の状態や行動に応じて通知が行われる（ステップＳ４４とステップＳ４５）。

次に、図６Ｂの撮影画像６２がステップＳ４０で取得された場合を考える。この場合には、ステップＳ４１において、見守り判定領域Ａ０内の頭部として、対象者２１の頭部６１と、対象者２１を見守る他者の頭部６３とが検出される。そのため、対象者２１が他者に見守られていると判定され（ステップＳ５１）、ステップＳ４５の通知が省略される。

以上述べたように、本実施形態によれば、ベッドの領域とその周辺の領域とを撮影した画像から、対象者が他者に見守られているか否かが判定される。ここで、患者や要介護者などの対象者を、看護師や介護者などの他者が見守る場合を考える。この場合には、対象者はベッドにいる可能性が高く、他者はベッド周辺にいる可能性が高い。そのため、上記構成によれば、対象者が他者に見守られているか否かを高精度に判定することができる。

具体的には、見守り判定領域に２人以上の人物が存在する場合に限って、対象者が他者に見守られていると判定される。２人以上の人物の中に、対象者と、対象者を見守る他者とが含まれる可能性が高いため、この構成によれば、対象者が他者に見守られていることを高精度に検出することができる。さらに、撮影画像に２人以上の人物が写っている場合には、他者の状態が対象者の状態として誤検出されることがあるが、本実施形態では、そのような誤検出を抑制することもできる。

そして、通知は、直接的に見守られていない対象者を間接的に見守るために必要であり、対象者が他者に直接的に見守られている場合には不要である。本実施形態によれば、対象者が他者に見守られていると判定された場合に、通知が省略される。これにより、不要な通知を抑制することができ、システム利用者の負担軽減やプライバシー保護などの効果を得ることができる。例えば、不要な通知をシステム利用者が確認するといった手間を省くことができる。また、他者の画像が不必要に通知されることを抑制でき、他者のプライバシーを保護することができる。

＜その他＞
上記の実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態では、台形の見守り判定領域Ａ０（図３Ｂ）が設定される例を説明したが、見守り判定領域Ａ０の形状やサイズは特に限定されない。例えば、図３Ｄに示すように、六角形の見守り判定領域Ａ０が設定されてもよい。

また、見守り判定処理のフローチャートは図５のフローチャートに限られない。以下に、見守り判定処理の変形例について説明する。

（第１の変形例）
図７と図８Ａと図８Ｂを参照して、見守り判定処理の第１の変形例について説明する。図７は、見守り判定部１１２により実行される見守り判定処理のフローチャートであり、図８Ａと図８Ｂは、画像取得部１１０により取得された撮影画像の例である。

まず、ステップＳ７０において、見守り判定部１１２は、見守り判定領域Ａ０内で２つ以上の頭部が検出されたか否かを判定する。見守り判定領域Ａ０内で２つ以上の頭部が検出された場合には、ステップＳ７１へ処理が進められ、見守り判定領域Ａ０内で頭部が１つのみ検出された場合には、ステップＳ７５へ処理が進められる。

ステップＳ７１において、見守り判定部１１２は、画像取得部１１０により取得された撮影画像を用いて、当該撮影画像の見守り判定領域Ａ０から顔を検出する。基本的には、頭部が検出された領域で、顔が検出される。但し、後頭部などの領域では、顔が写っていないため、頭部は検出されるが、顔は検出されない。

次に、ステップＳ７２において、見守り判定部１１２は、ステップＳ７１で１つ以上の顔が検出されたか否かを判定する。１つ以上の顔が検出された場合には、ステップＳ７３へ処理が進められ、顔が１つも検出されなかった場合には、ステップＳ７５へ処理が進められる。

ステップＳ７３において、見守り判定部１１２は、ステップＳ４１とステップＳ７２の検出結果に基づいて、ベッド２０に存在する第１の人物と、第１の人物の方を向いている第２の人物とが見守り判定領域Ａ０に存在するか否かを判定する。ここで、第１の人物が第２の人物に見守られていると考えられるため、以後、第１の人物を「被見守り者」と記載し、第２の人物を「見守り者」と記載する。被見守り者と見守り者が存在する場合には、ステップＳ７４へ処理が進められ、そうでない場合には、ステップＳ７５へ処理が進められる。

ステップＳ７４において、見守り判定部１１２は、対象者２１が他者に見守られていると判定する（見守りあり判定）。

ステップＳ７５において、見守り判定部１１２は、対象者２１が他者に見守られていないと判定する（見守りなし判定）。

ここで、図８Ａの撮影画像８０がステップＳ４０で取得された場合を考える。この場合には、ステップＳ４１において、見守り判定領域Ａ０内の頭部として、対象者２１の頭部８１と、対象者２１を見守らない他者の頭部８２とが検出される。そして、ステップＳ７１において、他者の顔８３が検出される。

その後、ステップＳ７３において、以下の処理が行われる。まず、見守り判定部１１２
は、ベッド２０内で検出された頭部８１を、被見守り者の頭部として決定する。次に、見守り判定部１１２は、顔８３の向きのベクトル８４と、顔８３（頭部８２）から頭部８１へ向かうベクトル８５とを算出する。そして、見守り判定部１１２は、ベクトル８４とベクトル８５のなす角度θ１（≦１８０度）が閾値以下であるか否かを判定する。閾値は、被見守り者の方を向いているか否かを判定するための角度であり、例えば４５度である。

角度θ１が閾値（４５度）よりも大きいため、見守り判定部１１２は、顔８３の人物を、見守り者ではなく、被見守り者の方を向いていない人物として決定する。すなわち、見守り判定部１１２は、見守り判定領域Ａ０に被見守り者が存在するが、見守り判定領域Ａ０に見守り者が存在しないと判定する。そのため、対象者２１が他者に見守られていないと判定され（ステップＳ７５）、対象者２１の状態や行動に応じて通知が行われる（ステップＳ４４とステップＳ４５）。

次に、図８Ｂの撮影画像８６がステップＳ４０で取得された場合を考える。この場合には、ステップＳ４１において、見守り判定領域Ａ０内の頭部として、対象者２１の頭部８１と、対象者２１を見守る他者の頭部８７とが検出される。そして、ステップＳ７１において、他者の顔８８が検出される。

その後、ステップＳ７３において、以下の処理が行われる。まず、見守り判定部１１２は、ベッド２０内で検出された頭部８１を、被見守り者の頭部として決定する。次に、見守り判定部１１２は、顔８８の向きのベクトル８９と、顔８８（頭部８７）から頭部８１へ向かうベクトル９０とを算出する。そして、見守り判定部１１２は、ベクトル８９とベクトル９０のなす角度θ２（≦１８０度）が閾値以下であるか否かを判定する。

角度θ２は閾値（４５度）以下であるため、見守り判定部１１２は、顔８８の人物を、見守り者として決定する。すなわち、見守り判定部１１２は、見守り判定領域Ａ０に被見守り者と見守り者が存在すると判定する。そのため、対象者２１が他者に見守られていると判定され（ステップＳ７４）、ステップＳ４５の通知が省略される。

以上述べたように、第１の変形例によれば、ベッドに存在する被見守り者（第１の人物）と、被見守り者の方を向いている見守り者（第２の人物）とが見守り判定領域に存在する場合に限って、対象者が他者に見守られていると判定される。ベッドに存在する被見守り者は対象者である可能性が高く、対象者（被見守り者）の方を向いている見守り者は対象者を見守る人物である可能性が高い。そして、他者が対象者の傍にいたとしても、他者が対象者の方を向いていない場合には、他者が対象者を見守っているとは言いにくい。そのため、この構成によれば、対象者が他者に見守られているか否かをより高精度に判定することができる。

また、第１の変形例によれば、顔向きのベクトルと、被見守り者へ向かうベクトルとのなす角度が閾値以下である人物が、見守り者として決定される。顔向きのベクトルと、被見守り者へ向かうベクトルとのなす角度が閾値以下である人物は、被見守り者の方を向いている可能性が高い。そのため、この構成によれば、見守り者を高精度に検出することができる。

（第２の変形例）
図９を参照して、見守り判定処理の第２の変形例について説明する。図９は、見守り判定部１１２により実行される見守り判定処理のフローチャートである。

まず、ステップＳ９０において、見守り判定部１１２は、見守り判定領域Ａ０内で２つ以上の頭部が検出されたか否かを判定する。見守り判定領域Ａ０内で２つ以上の頭部が検
出された場合には、ステップＳ９１へ処理が進められ、見守り判定領域Ａ０内で頭部が１つのみ検出された場合には、ステップＳ９４へ処理が進められる。

ステップＳ９１において、見守り判定部１１２は、画像取得部１１０により取得された撮影画像を用いて、当該撮影画像の見守り判定領域Ａ０から、見守られる動作を行っている被見守り動作者と、見守る動作を行っている見守り動作者とを検出する。見守られる動作は、起床や就寝の被介助、食事の被介助、更衣の被介助などの動作であり、見守る動作は、起床や就寝の介助、食事の介助、更衣の介助などの動作である。被見守り動作者や見守り動作者は、例えば、ＨｏＧ特徴量を用いた識別器による手法やＦａｓｔｅｒ Ｒ−ＣＮＮによる手法を用いた物体検出アルゴリズムにより検出される。

次に、ステップＳ９２において、見守り判定部１１２は、ステップＳ９１で被見守り動作者と見守り動作者との両方が検出されたか否かを判定する。被見守り動作者と見守り動作者の両方が検出された場合には、ステップＳ９３へ処理が進められ、そうでない場合には、ステップＳ９４へ処理が進められる。

ステップＳ９３において、見守り判定部１１２は、対象者２１が他者に見守られていると判定する（見守りあり判定）。

ステップＳ９４において、見守り判定部１１２は、対象者２１が他者に見守られていないと判定する（見守りなし判定）。

以上述べたように、第２の変形例によれば、見守られる動作を行っている人物と、見守る動作を行っている人物とが見守り判定領域に存在する場合に限って、対象者が他者に見守られていると判定する。見守られる動作を行っている人物は、他者に見守られている対象者である可能性が高く、見守る動作を行っている人物は、対象者を見守っている他者である可能性が高い。そして、他者が対象者の傍にいたとしても、他者が見守る動作を行っていない場合には、他者が対象者を見守っているとは言いにくい。そのため、この構成によれば、対象者が他者に見守られているか否かをより高精度に判定することができる。

１：見守り支援システム １０：撮像装置 １１：情報処理装置
１１０：画像取得部 １１１：検出部 １１２：見守り判定部 １１３：行動判定部 １１４：出力部 １１５：領域設定部 １１６：記憶部
１００：赤外線ＬＥＤ照明 １０１：近赤外線カメラ ２０：ベッド ２１：対象者 ２２：頭部
３０：ベッド領域 Ａ０：見守り判定領域 Ａ１：就床領域（行動判定領域） Ａ２：起床領域（行動判定領域） Ａ３：離床領域（行動判定領域）
６０：撮影画像 ６１：頭部 ６２：撮影画像 ６３：頭部
８０：撮影画像 ８１：頭部 ８２：頭部 ８３：顔 ８４：ベクトル ８５：ベクトル ８６：撮影画像 ８７：頭部 ８８：顔 ８９：ベクトル ９０：ベクトル θ１：角度 θ２：角度

Claims (4)

1. ベッド上の対象者の見守りを支援する見守り支援システムであって、
   撮像装置により撮影された画像を取得する画像取得部と、
   前記撮影された画像の一部の領域であり、且つ、前記ベッドを含む領域である判定領域の画像に基づいて、前記対象者が他者に見守られているか否かを判定する見守り判定部と、
   前記撮影された画像に基づいて、前記対象者の状態を判定する状態判定部と、
   前記状態判定部の判定結果に応じた通知を行う出力部と、
   を有し、
   前記見守り判定部は、前記ベッドに存在する第１の人物と、前記第１の人物の方を向いている第２の人物とが前記判定領域に存在する場合に、前記対象者が前記他者に見守られていると判定し、
   前記出力部は、前記対象者が前記他者に見守られていると前記見守り判定部により判定された場合に、前記通知を省略する
   ことを特徴とする見守り支援システム。
2. 前記見守り判定部は、顔向きのベクトルと、前記第１の人物へ向かうベクトルとのなす角度が閾値以下である人物を、前記第１の人物の方を向いている前記第２の人物として決定する
   ことを特徴とする請求項１に記載の見守り支援システム。
3. ベッド上の対象者の見守りを支援する見守り支援システムの制御方法であって、
   撮像装置により撮影された画像を取得するステップと、
   前記撮影された画像の一部の領域であり、且つ、前記ベッドを含む領域である判定領域の画像に基づいて、前記対象者が他者に見守られているか否かを判定するステップと、
   前記撮影された画像に基づいて、前記対象者の状態を判定するステップと、
   前記対象者の状態の判定結果に応じた通知を行うステップと、
   を有し、
   前記ベッドに存在する第１の人物と、前記第１の人物の方を向いている第２の人物とが前記判定領域に存在する場合に、前記対象者が前記他者に見守られていると判定され、
   前記対象者が前記他者に見守られていると判定された場合に、前記通知が省略される
   ことを特徴とする見守り支援システムの制御方法。
4. 請求項３に記載の見守り支援システムの制御方法の各ステップをコンピュータに実行させるためのプログラム。

Images