JP6780641B2 - 画像解析装置、画像解析方法、及び、画像解析プログラム - Google Patents

Description

本発明は、画像解析装置、画像解析方法、及び、画像解析プログラムに関する。

近年、入院患者、施設入居者、要介護者等の見守り対象者の徘徊による事故が年々増加する傾向にある。このような事故を防止するため、室内に設置したカメラで見守り対象者を撮影し、撮影した画像を解析することで見守り対象者の離床を検知し、見守り対象者の離床が一定時間以上継続する場合に、警報を行う見守りシステムが開発されている。

例えば、特許文献１では、カメラによりベッド上の患者を撮影し、それにより得られた画像を画像処理することで患者の離床を検知する患者認識装置が提案されている。具体的には、この患者認識装置は、カメラにより撮像したカラー撮像映像を黒色等の着目色とそれ以外の色とで２値化し、２値化した画像において直目色で抽出された連結成分（エリア）をラベリングする。

そして、当該患者認識装置は、ラベリングしたエリアの大きさ及び形状に基づいて、当該エリアが人体の一部に該当するか否かを判定することで、人体の存在を認識する。これによって、当該患者認識装置は、人体の存在を認識しない状態が所定時間継続した場合に、患者の離床が所定時間以上継続していることを報知することができる。

特開２０１４−０２１６１９号公報

しかしながら、上記患者認識装置では、ラベリング処理により抽出されたエリアが人体の一部に該当するか否かの判定に基づいて、人体の存在を認識している。そのため、カメラの撮影範囲に見守り対象者以外の人物が存在する場合に、見守り対象者がベッドから離床しても、当該見守り対象者以外の人物が写るエリアに基づいて人体の存在の認識を継続してしまい、見守り対象者の離床を検知することができない可能性があった。

また、見守り対象者がベッドから離床した後にカメラの撮影範囲に見守り対象者以外の人物が進入した場合に、当該見守り対象者以外の人物が写るエリアに基づいて人体の存在を認識してしまい、見守り対象者が離床した時間の計測を停止してしまう可能性があった。

したがって、上記患者認識装置では、見守り対象者以外の人物を見守り対象者と誤り、見守り対象者がベッドから離床している時間を正確に計測できない可能性があった。そのため、上記患者認識装置では、見守り対象者が一定時間以上離床しているにも関わらず、見守り対象者の離床に関する警報が実行されない場合があるという問題点があった。

本発明は、一側面では、このような点を考慮してなされたものであり、見守り対象者の離床に関する警報を精度よく実行可能にする技術を提供することを目的とする。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の一側面に係る画像解析装置は、見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得する画像取得部と、取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出する前景抽出部と、抽出された前記前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド上に現れた前景領域が前記ベッドから所定距離以上離れた位置に移動したか否かを判定し、前記ベッド上に現れた前景領域が前記ベッドから所定距離以上離れた位置に移動したと判定した場合に、前記見守り対象者が前記ベッドから離床したことを検知する離床検知部と、前記見守り対象者が前記ベッドから離床したことを検知した後に取得された撮影画像について、抽出された前記前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド外に現れた前景領域が前記ベッド上に移動したか否かを判定し、前記ベッド外に現れた前景領域が前記ベッド上に移動したと判定した場合に、前記見守り対象者が前記ベッドに就床したことを検知する就床検知部と、前記見守り対象者の就床を検知する前に、前記見守り対象者の離床を検知してからの経過時間が一定時間を超えた場合に、当該見守り対象者が一定時間以上離床していることを知らせるための通知を行う通知部と、を備える。

上記構成によれば、見守り対象者のベッドにおける行動を見守るために設置された撮影装置により撮影された撮影画像が取得され、取得された撮影画像と当該撮影画像の背景に設定された背景画像との差分が算出される。これによって、取得された撮影画像において前景領域が抽出される。

ここで、上記構成では、撮影画像は、各画素の深度を示す深度データを含んでいる。各画素の深度は、各画素に写る被写体の深さを表現する。そのため、この深度データによれば、撮影装置の設置位置及び撮影方向に依存することなく、撮影画像に写る被写体の実空間上の位置を特定することができる。

また、前景領域は、背景画像から変化の生じた場所で抽出される。そのため、見守り対象者が何らかの行動を行った場合には、当該行動に起因して見守り対象者が移動した場所に、当該見守り対象者に対応する前景領域が抽出される。したがって、当該構成によれば、抽出された前景領域に含まれる各画素の深度を参照することで、抽出された前景領域とベッドとの実空間上の位置関係を特定することができ、この位置関係に基づいて見守り対象者の行動を解析することができる。

具体的に、見守り対象者がベッドから離床する場合には、見守り対象者の起き上がり等に際して前景領域がベッド上に現れ、そのような場所に現れた前景領域がベッドから離れる方向に移動すると想定される。これに対して、見守り対象者以外の人物は、撮影装置の撮影範囲に存在しても、このような動作を行うことはないと想定される。すなわち、見守り対象者以外の人物に対応する前景領域は、ベッド周囲で発生するに過ぎず、ベッド上で発生することはないと想定される。

そこで、上記構成に係る画像解析装置は、抽出された前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド上に現れた前景領域がベッドから所定距離以上離れた位置に移動したか否かを判定する。そして、上記構成に係る画像解析装置は、ベッド上に現れた前景領域がベッドから所定距離以上離れた位置に移動したと判定した場合に、見守り対象者がベッドから離床したことを検知する。これによって、撮影装置の撮影範囲に見守り対象者以外の人物が存在する場合であっても、上記のような問題が生じることはなく、見守り対象者の離床を適切に検知することができる。そのため、上記構成によれば、当該見守り対象者の離床を検知してからの経過時間の計測を正確に開始することができる。

また、見守り対象者がベッドに就床する場合には、ベッドから離れた見守り対象者が再びベッド周囲に戻ってくるのに際して、撮影画像のフレーム近傍等のベッド外の場所に前景領域が現れ、そのような場所に現れた前景領域がベッド上に移動すると想定される。これに対して、見守り対象者以外の人物は、このような動作を行うことはないと想定される。すなわち、見守り対象者以外の人物が撮影装置の撮影範囲に進入しても、当該見守り対象者以外の人物に対応する前景領域は、ベッド周囲を移動するに過ぎず、ベッド上には移動しないものと想定される。

そこで、上記構成に係る画像解析装置は、見守り対象者の離床を検知した後に取得された撮影画像について、抽出された前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド外に現れた前景領域がベッド上に移動したか否かを判定する。そして、上記構成に係る画像解析装置は、ベッド外に現れた前景領域がベッド上に移動したと判定した場合に、見守り対象者がベッドに就床したことを検知する。これによって、見守り対象者がベッドから離床した後に撮影装置の撮影範囲に見守り対象者以外の人物が進入しても、上記のような問題が生じることはなく、見守り対象者の就床を適切に検知することができる。そのため、上記構成によれば、当該見守り対象者の離床を検知してからの経過時間の計測を正確に停止することができる。

そして、上記構成では、見守り対象者の就床を検知する前に、見守り対象者の離床を検知してからの経過時間が一定時間を超えた場合に、当該見守り対象者が一定時間以上離床していることを知らせるための通知が行われる。すなわち、上記構成では、見守り対象者の離床と就床とを適切に検知可能な状況下で、当該見守り対象者の離床を検知してからの経過時間に基づいて、当該見守り対象者の離床に関する警報が実行される。したがって、上記構成によれば、見守り対象者以外の人物が存在することに起因する見守り対象者の離床に関する誤検知を防止することができ、これによって、見守り対象者の離床に関する警報を精度よく実行することができる。

なお、見守り対象者は、見守りの対象となる人物であり、例えば、入院患者、施設入居者、要介護者等である。また、見守り対象者の離床に関する通知の通知先及び通知方法は、実施の形態に応じて適宜選択することができる。例えば、当該通知は、見守り者に対して行われてもよい。見守り者は、見守り対象者の行動を見守る者である。見守り対象者が、入院患者、施設入居者、要介護者等である場合は、見守り者は、例えば、看護師、施設職員、介護者等である。

また、上記一側面に係る画像解析装置の別の形態として、前記就床検知部は、前記ベッド外に現れた前景領域がベッド側部に設けられた所定の領域内に移動した場合に、前記ベッド外に現れた前景領域が前記ベッド上に移動したと判定し、前記見守り対象者が前記ベッドに就床したことを検知してもよい。

離床した見守り対象者がベッドに戻り、ベッド上で端座位を行った場合には、ベッド外に現れた前景領域は、ベッド側部に移動するものと想定される。また、一般的には、見守り対象者以外の人物は、撮影装置の撮影範囲に進入することはあっても、見守り対象者のベッド上で端座位を行うことはないものと想定される。

そこで、当該構成に係る画像解析装置は、ベッド外に現れた前景領域がベッド側部に設けられた所定の領域内に移動した場合に、見守り対象者の就床を検知する。すなわち、当該構成に係る画像解析装置は、見守り対象者がベッド上で端座位を行ったことに基づいて、見守り対象者の就床を検知する。

したがって、当該構成によれば、見守り対象者以外の人物が行わないと想定される端座位の動作に基づいて見守り対象者の就床が検知される。そのため、当該見守り対象者の就床の検知精度を高めることができ、これによって、見守り対象者の離床に関する警報を精度よく実行することができるようになる。

また、上記一側面に係る画像解析装置の別の形態として、前記就床検知部は、前記ベッド外に現れた前景領域がベッド側部に設けられた所定の領域内に移動した場合に、更に、前記前景領域内において、前記見守り対象者の頭部が写る頭部領域と肩部が写る肩部領域とを推定してもよい。そして、前記就床検知部は、推定した当該頭部領域の重心が当該肩部領域の重心よりも前記ベッドの外側に位置するときに、前記ベッド外に現れた前景領域が前記ベッド上に移動したと判定し、前記見守り対象者が前記ベッドに就床したことを検知してもよい。

例えば、介護者等の見守り対象者以外の人物が、ベッド上の布団を整える等の作業をベッド側部の近傍で行う場合がある。このような場合、見守り対象者以外の人物の身体（特に、上半身）がベッド面の上方に位置し得るため、上記所定の領域の設定によっては、当該見守り対象者以外の人物に対応する前景領域が当該所定の領域内にベッド外から移動する可能性がある。

ただし、この場合、見守り対象者以外の人物はベッドの内側の方を向いている。これに対して、端座位を行う見守り対象者は、ベッドの外側の方を向いている。すなわち、ベッド近傍で作業を行う見守り対象者以外の人物はベッドの内側の方を向いているため、この人物の頭部の重心は肩部の重心よりもベッドの内側に位置する。一方、ベッド上で端座位を行う見守り対象者は、ベッドの外側の方を向いているため、見守り対象者の頭部の重心は肩部の重心よりもベッドの外側に位置する。

そこで、当該構成に係る画像解析装置は、ベッド外に現れた前景領域がベッド側部に設けられた所定の領域内に移動した場合に、更に、前景領域内において、見守り対象者の頭部が写る頭部領域と肩部が写る肩部領域とを推測する。そして、当該構成に係る画像解析装置は、推定した頭部領域の重心と肩部領域の重心との位置関係を判定し、頭部領域の重心が肩部領域の重心よりもベッドの外側に位置するときに、見守り対象者がベッドに就床したことを検知する。

したがって、当該構成によれば、ベッド近傍においてベッドの内側の方を向いて作業を行う見守り対象者以外の人物に起因して、見守り対象者の就床を誤検知してしまうことを防止することができる。そのため、当該構成によれば、見守り対象者の就床の検知精度を高めることができ、これによって、見守り対象者の離床に関する警報を精度よく実行することができるようになる。

また、上記一側面に係る画像解析装置の別の形態として、前記就床検知部は、前記ベッド外に現れた前景領域が、ベッド面直上の所定の高さよりも低い位置に移動した場合に、前記ベッド外に現れた前景領域が前記ベッド上に移動したと判定し、前記見守り対象者が前記ベッドに就床したことを検知してもよい。

離床した見守り対象者が再びベッド上で就寝した場合には、ベッド外に現れた前景領域は、ベッド面の直上で、かつ、所定の高さよりも低い位置に移動するものと想定される。また、一般的には、見守り対象者以外の人物は、撮影装置の撮影範囲に進入することはあっても、見守り対象者のベッドで就寝することはないと想定される。

そこで、当該構成に係る画像解析装置は、ベッド外に現れた前景領域がベッド面直上の所定の高さよりも低い位置に移動した場合に、当該見守り対象者の就床を検知する。すなわち、当該構成に係る画像解析装置は、見守り対象者がベッド上で就寝したことに基づいて、当該見守り対象者の就床を検知する。

したがって、当該構成によれば、見守り対象者以外の人物が行わないと想定される就寝行動に基づいて見守り対象者の就床が検知される。そのため、当該見守り対象者の就床の検知精度を高めることができ、これによって、見守り対象者の離床に関する警報を精度よく実行することができるようになる。

なお、上記各形態に係る画像解析装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、１又は複数の情報処理装置によって実現されてもよい。

例えば、本発明の一側面に係る画像解析方法は、コンピュータが、見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出するステップと、抽出された前記前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド上に現れた前景領域が前記ベッドから所定距離以上離れた位置に移動したか否かを判定し、前記ベッド上に現れた前景領域が前記ベッドから所定距離以上離れた位置に移動したと判定した場合に、前記見守り対象者が前記ベッドから離床したことを検知するステップと、前記見守り対象者が前記ベッドから離床したことを検知した後に取得された撮影画像について、抽出された前記前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド外に現れた前景領域が前記ベッド上に移動したか否かを判定し、前記ベッド外に現れた前景領域が前記ベッド上に移動したと判定した場合に、前記見守り対象者が前記ベッドに就床したことを検知するステップと、前記見守り対象者の就床を検知する前に、前記見守り対象者の離床を検知してからの経過時間が一定時間を超えた場合に、当該見守り対象者が一定時間以上離床していることを知らせるための通知を行うステップと、を実行する情報処理方法である。

また、例えば、本発明の一側面に係る画像解析プログラムは、コンピュータに、見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出するステップと、抽出された前記前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド上に現れた前景領域が前記ベッドから所定距離以上離れた位置に移動したか否かを判定し、前記ベッド上に現れた前景領域が前記ベッドから所定距離以上離れた位置に移動したと判定した場合に、前記見守り対象者が前記ベッドから離床したことを検知するステップと、前記見守り対象者が前記ベッドから離床したことを検知した後に取得された撮影画像について、抽出された前記前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド外に現れた前景領域が前記ベッド上に移動したか否かを判定し、前記ベッド外に現れた前景領域が前記ベッド上に移動したと判定した場合に、前記見守り対象者が前記ベッドに就床したことを検知するステップと、前記見守り対象者の就床を検知する前に、前記見守り対象者の離床を検知してからの経過時間が一定時間を超えた場合に、当該見守り対象者が一定時間以上離床していることを知らせるための通知を行うステップと、を実行させるためのプログラムである。

本発明によれば、見守り対象者の離床に関する警報を精度よく実行することができる。

図１は、本発明が適用される場面の一例を模式的に例示する。 図２は、実施の形態に係る画像解析装置のハードウェア構成を例示する。 図３は、実施の形態に係るカメラにより取得される深度と被写体との関係を例示する。 図４は、実施の形態に係る画像解析装置の機能構成を例示する。 図５は、実施の形態に係る画像解析装置における見守り対象者の見守りに関する処理手順を例示する。 図６は、実施の形態に係るカメラにより取得される撮影画像を例示する。 図７は、実施の形態に係る撮影画像内の座標関係を例示する。 図８は、実施の形態に係る撮影画像の任意の点（画素）とカメラとの実空間内での位置関係を例示する。 図９は、撮影画像に含まれる深度データに基づいて特定される撮影範囲内の被写体の三次元分布を例示する。 図１０は、撮影画像から抽出される前景領域の三次元分布を例示する。 図１１Ａは、見守り対象者がベッドから離床する際の動作を模式的に例示する。 図１１Ｂは、見守り対象者がベッドから離床する際の動作を模式的に例示する。 図１２Ａは、見守り対象者がベッドから離床する際に抽出される前景領域を模式的に例示する。 図１２Ｂは、見守り対象者がベッドから離床する際に抽出される前景領域を模式的に例示する。 図１３Ａは、見守り対象者が就床する際の動作を模式的に例示する。 図１３Ｂは、見守り対象者が就床する際の動作（端座位）を模式的に例示する。 図１３Ｃは、見守り対象者が就床する際の動作（就寝）を模式的に例示する。 図１４Ａは、見守り対象者が就床する際に抽出される前景領域を模式的に例示する。 図１４Ｂは、見守り対象者が就床する際に抽出される前景領域を模式的に例示する。 図１４Ｃは、見守り対象者が就床する際に抽出される前景領域を模式的に例示する。 図１５Ａは、見守り対象者以外の人物がベッドに向かって作業を行っている場面を模式的に例示する。 図１５Ｂは、見守り対象者がベッド上で端座位を行っている場面を模式的に例示する。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。

§１ 適用場面
まず、図１を用いて、本発明が適用される場面について説明する。図１は、本実施形態に係る画像解析装置１が用いられる場面を模式的に例示する。本実施形態に係る画像解析装置１は、カメラ２によって見守り対象者を撮影し、それにより得られた撮影画像３を画像解析することで、見守り対象者の行動を検知する情報処理装置である。そのため、本実施形態に係る画像解析装置１は、見守り対象者の見守りを行う場面で広く利用可能である。

具体的には、図１で例示されるように、見守り対象者のベッドにおける行動を見守るためにカメラ２が設置されており、画像解析装置１は、このカメラ２によって見守り対象者を撮影する。カメラ２は、本発明の「撮影装置」に相当する。また、見守り対象者は、見守りの対象となる人物であり、例えば、入院患者、施設入居者、要介護者である。

カメラ２は、撮影画像３内の各画素に対応する深度を取得可能に構成される。本実施形態では、カメラ２は、各画素の深度を取得可能なように、被写体の深度を測定する深度センサ（後述する深度センサ２１）を含んでいる。そのため、カメラ２により撮影される撮影画像３は、後述する図６に例示されるように、画素毎に得られる深度を示す深度データを含んでいる。この深度データの示す各画素の深度は、各画素に写る被写体の深さを表現する。そのため、この深度データによれば、カメラ２の設置位置及び撮影方向に依存することなく、撮影画像３に写る被写体の実空間上の位置を特定することができる。

なお、この撮影画像３は、撮影範囲（画角）内の被写体の深度を示すデータを含んでいればよく、例えば、撮影範囲内の被写体の深度が二次元状に分布したデータ（例えば、深度マップ）であってもよい。また、撮影画像３は、深度データとともに、ＲＧＢ画像を含んでもよい。更に、撮影画像３は、動画像であってもよいし、１又は複数枚の静止画像であってもよい。

本実施形態では、画像解析装置１は、このような撮影画像３をカメラ２から取得する。そして、画像解析装置１は、取得された撮影画像３と当該撮影画像３の背景に設定された背景画像（後述する背景画像４）との差分を算出することにより、撮影画像３内において前景領域を抽出する。すなわち、画像解析装置１は、いわゆる背景差分法に基づいて、撮影画像３の前景領域を抽出する。

この前景領域は、背景画像から変化の生じた場所で抽出される。そのため、見守り対象者が何らかの行動を行った場合には、当該行動に起因して見守り対象者が移動した場所に、当該見守り対象者に対応する前景領域が抽出される。例えば、図１に例示されるように、見守り対象者がベッド上で起き上がった場合には、ベッド面上の所定の高さの範囲に前景領域が現れる。すなわち、見守り対象者の行動に応じた場所に前景領域が現れる。そのため、抽出された前景領域とベッドとの実空間上の位置関係に基づいて、見守り対象者の行動を解析することができる。

具体的には、見守り対象者がベッドから離床する場合には、見守り対象者の起き上がり等に際して前景領域がベッド上に現れ、そのような場所に現れた前景領域がベッドから離れる方向に移動すると想定される。これに対して、見守り対象者以外の人物（以下、「第三者」とも記載する）は、カメラ２の撮影範囲に存在しても、このような動作を行うことはないと想定される。すなわち、一般的には、第三者に対応する前景領域は、ベッド周囲で発生するに過ぎず、ベッド上で発生することはないと想定される。

そこで、本実施形態に係る画像解析装置１は、撮影画像３から抽出された前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド上に現れた前景領域がベッドから所定距離以上離れた位置に移動したか否かを判定する。そして、本実施形態に係る画像解析装置１は、ベッド上に現れた前景領域がベッドから所定距離以上離れた位置に移動したと判定した場合に、見守り対象者がベッドから離床したことを検知する。したがって、本実施形態によれば、カメラ２の撮影範囲に第三者が存在する場合であっても、この第三者に対応する前景領域を見守り対象者に対応する前景領域と誤認識することなく、見守り対象者の離床を適切に検知することができる。そのため、本実施形態によれば、見守り対象者の離床を検知してからの経過時間の計測を正確に開始することができる。

また、見守り対象者がベッドに就床する場合には、ベッドから離床した見守り対象者がベッド近傍に戻るのに際して、ベッド外の場所で前景領域が抽出されると想定される。例えば、見守り対象者が離床に伴いカメラ２の撮影範囲から退出した場合には、見守り対象者が再びカメラ２の撮影範囲に進入するのに際して、撮影画像３のフレーム近傍で前景領域が抽出される。そして、見守り対象者がベッドに就床するのに際して、そのような場所に現れた前景領域はベッド上に移動すると想定される。これに対して、第三者は、カメラ２の撮影範囲に進入しても、見守り対象者のベッドに就床することはないと想定される。すなわち、第三者に対応する前景領域は、ベッド周囲を移動するに過ぎず、ベッド上には移動しないものと想定される。

そこで、本実施形態に係る画像解析装置１は、見守り対象者の離床を検知した後に取得された撮影画像３について、抽出された前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド外に現れた前景領域がベッド上に移動したか否かを判定する。そして、本実施形態に係る画像解析装置１は、ベッド外に現れた前景領域がベッド上に移動したと判定した場合に、見守り対象者がベッドに就床したことを検知する。したがって、本実施形態によれば、見守り対象者がベッドから離床した後にカメラ２の撮影範囲に第三者が進入しても、この第三者に対応する前景領域を見守り対象者に対応する前景領域と誤認識することなく、見守り対象者の就床を適切に検知することができる。そのため、本実施形態によれば、見守り対象者の離床を検知してからの経過時間の計測を正確に停止することができる。

そして、本実施形態に係る画像解析装置１は、見守り対象者の就床を検知する前に、見守り対象者の離床を検知してからの経過時間が一定時間を超えた場合に、当該見守り対象者が一定時間以上離床していることを知らせるための通知を行う。すなわち、本実施形態によれば、見守り対象者の離床と就床とを適切に検知可能な状況下で、当該見守り対象者の離床を検知してからの経過時間に基づく、当該見守り対象者の離床に関する警報を実行することができる。したがって、本実施形態によれば、カメラ２の撮影範囲に第三者が存在することに起因する見守り対象者の離床に関する誤検知を防止することができ、これによって、見守り対象者の離床に関する警報を精度よく実行することができる。

つまり、本実施形態では、画像解析装置１は、撮影画像３を継続的に取得し、継続的に取得される撮影画像３それぞれについて前景領域を抽出する。画像解析装置１は、この継続的に取得される撮影画像３に基づいて、まずは、見守り対象者の離床の検知判定の処理を実行する。この見守り対象者の離床の検知判定の処理は、見守り対象者の離床を検知するまで繰り返される。

そして、見守り対象者の離床を検知した後、画像解析装置１は、当該離床の検知判定の処理を停止し、見守り対象者の就床の検知判定の処理を開始する。すなわち、画像解析装置１は、見守り対象者の離床を検知した後に取得された撮影画像３に基づいて、見守り対象者の就床の検知判定の処理を実行する。この見守り対象者の就床の検知判定の処理は、見守り対象者の就床を検知するまで繰り返される。

また、この見守り対象者の就床の検知判定の処理を繰り返している間に、見守り対象者が離床してからの経過時間が一定時間を超えたか否かの判定処理が実行される。そして、本実施形態に係る画像解析装置１は、見守り対象者の就床を検知する前に、見守り対象者が離床してからの経過時間が一定時間を超えた場合に、上記見守り対象者が一定時間以上離床していることを知らせるための通知処理を実行する。

これによって、本実施形態によれば、見守りを行う空間（ベッド）に見守り対象者が一定時間以上不在である場合に、見守り対象者が一定時間以上不在であることを、当該見守り対象者の見守りを行う見守り者等に知らせることができる。したがって、本実施形態に係る画像解析装置１によれば、見守り対象者がベッドから長時間離床している状態を放置するのを防止することができ、当該見守り対象者の見守りを適切に行うことができる。

なお、図１では、カメラ２は、ベッドのフットボード側から見守り対象者を撮影するように配置されている。しかしながら、カメラ２の設置位置は、このような例に限定されなくてもよく、見守り対象者のベッドにおける行動を撮影可能であれば、いかなる場所に配置されてもよい。

また、画像解析装置１の配置場所は、カメラ２から撮影画像３を取得可能であれば、実施の形態に応じて適宜決定可能である。例えば、画像解析装置１は、図１に例示されるように、カメラ２に近接するように配置されてもよい。また、画像解析装置１は、ネットワークを介してカメラ２と接続してもよく、当該カメラ２とは全く異なる場所に配置されてもよい。

§２ 構成例
＜ハードウェア構成＞
次に、図２を用いて、画像解析装置１のハードウェア構成を説明する。図２は、本実施形態に係る画像解析装置１のハードウェア構成を例示する。画像解析装置１は、図２に例示されるように、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む制御部１１、制御部１１で実行するプログラム５等を記憶する記憶部１２、画像の表示と入力を行うためのタッチパネルディスプレイ１３、音声を出力するためのスピーカ１４、外部装置と接続するための外部インタフェース１５、ネットワークを介して通信を行うための通信インタフェース１６、及び記憶媒体６に記憶されたプログラムを読み込むためのドライブ１７が電気的に接続されたコンピュータである。図２では、通信インタフェース及び外部インタフェースは、それぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載されている。

なお、画像解析装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ１３は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。また、例えば、スピーカ１４は省略されてもよい。また、例えば、スピーカ１４は、画像解析装置１の内部装置としてではなく、外部装置として画像解析装置１に接続されてもよい。また、画像解析装置１はカメラ２を内蔵してもよい。更に、画像解析装置１は、複数の外部インタフェース１５を備えてもよく、複数の外部装置と接続してもよい。

本実施形態では、カメラ２は、外部インタフェース１５を介して画像解析装置１に接続しており、見守り対象者を撮影するために設置されている。本実施形態に係るカメラ２は、被写体の深度を測定するための深度センサ２１を備えている。この深度センサ２１の種類及び測定方法は、実施の形態に応じて適宜選択されてよい。例えば、深度センサ２１として、ＴＯＦ（Time Of Flight）方式等のセンサを挙げることができる。

ただし、カメラ２の構成は、被写体の深度を取得可能であれば、このような例に限定されなくてもよく、実施の形態に応じて適宜選択可能である。例えば、カメラ２は、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。また、カメラ２は、深度センサ２１単体に置き換わってもよい。

なお、見守り対象者を撮影する場所は暗い可能性がある。そこで、撮影場所の明るさに影響されずに深度を取得可能なように、深度センサ２１は、赤外線の照射に基づいて深度を測定する赤外線深度センサであってもよい。このような赤外線深度センサを含む比較的安価な撮影装置として、例えば、マイクロソフト社のKinect、ＡＳＵＳ社のXtion、Occipital社のStructure Sensorを挙げることができる。

ここで、図３を用いて、本実施形態に係る深度センサ２１によって測定される深度を詳細に説明する。図３は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図３で例示されるように、被写体の深さは、例えば、カメラ２と対象物との直線の距離Ａで表現されてもよいし、カメラ２の被写体に対する水平軸から下ろした垂線の距離Ｂで表現されてもよい。

すなわち、本実施形態に係る深度は、距離Ａであってもよいし、距離Ｂであってもよい。本実施形態では、距離Ｂを深度として扱うことにする。ただし、距離Ａと距離Ｂとは、例えば、三平方の定理等を用いることで、互いに変換可能である。そのため、距離Ｂを用いた以降の説明は、そのまま、距離Ａに適用することが可能である。このような深度を利用することで、本実施形態に係る画像解析装置１は、実空間上における被写体の位置を特定することができる。

このカメラ２は、見守り対象者のベッドにおける行動を見守るために、ベッド周辺の領域を撮影可能なように設置される。例えば、上記のとおり、図１では、カメラ２は、ベッドのフットボード側から見守り対象者を撮影するように配置されている。ただし、本実施形態では、カメラ２は、このように被写体の深度を測定可能に構成される。そのため、本実施形態では、カメラ２の設置場所及び撮影方向に依存することなく、被写体の実空間上の位置を特定することができる。したがって、カメラ２の設置場所及び撮影方向は、比較的に自由に設定することができる。

また、本実施形態では、記憶部１２は、プログラム５を格納する。このプログラム５は、画像解析装置１に後述する見守り対象者の見守りに関する処理手順を実行させるためのプログラムであり、本発明の「画像解析プログラム」に相当する。このプログラム５は記憶媒体６に記録されていてもよい。

記憶媒体６は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体６は、本発明の「記憶媒体」に相当する。なお、図２は、記憶媒体６の一例として、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体６の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

なお、このような画像解析装置１は、例えば、提供されるサービス専用に設計された装置であってもよいし、ＰＣ（Personal Computer）、タブレット端末等の汎用の装置であってもよい。更に、画像解析装置１は、１又は複数のコンピュータにより実装されてもよい。

＜機能構成例＞
次に、図４を用いて、画像解析装置１の機能構成を説明する。図４は、本実施形態に係る画像解析装置１の機能構成を例示する。本実施形態では、画像解析装置１の制御部１１は、記憶部１２に記憶されたプログラム５をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム５をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、画像解析装置１は、画像取得部１１１、前景抽出部１１２、離床検知部１１３、就床検知部１１４及び通知部１１５を備えるコンピュータとして機能する。

画像取得部１１１は、カメラ２によって撮影された撮影画像３を取得する。カメラ２には深度センサ２１が含まれているため、取得される撮影画像３には、当該撮影画像３内の各画素の深度を示す深度データが含まれる。前景抽出部１１２は、取得された撮影画像３と当該撮影画像３の背景に設定された背景画像４との差分を算出することにより、取得された撮影画像３の前景領域を抽出する。すなわち、前景抽出部１１２は、いわゆる背景差分法に基づいて、背景から変化した領域である前景領域を撮影画像３において抽出する。

上記のとおり、前景領域は、背景画像４から変化の生じた場所で抽出される。そのため、見守り対象者が何らかの行動を行った場合には、当該行動に起因して見守り対象者が移動した場所に、当該見守り対象者に対応する前景領域が抽出される。そこで、離床検知部１１３は、抽出された前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド上に現れた前景領域が前記ベッドから所定距離以上離れた位置に移動したか否かを判定する。そして、離床検知部１１３は、当該ベッド上に現れた前景領域がベッドから所定距離以上離れた位置に移動したと判定した場合に、見守り対象者がベッドから離床したことを検知する。

また、就床検知部１１４は、見守り対象者がベッドから離床したことを検知した後に取得された撮影画像３について、抽出された前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド外に現れた前景領域がベッド上に移動したか否かを判定する。そして、就床検知部１１４は、当該ベッド外に現れた前景領域がベッド上に移動したと判定した場合に、見守り対象者がベッドに就床したことを検知する。

そして、通知部１１５は、見守り対象者の就床を検知する前に、見守り対象者の離床を検知してからの経過時間が一定時間を超えた場合に、見守り対象者が一定時間以上離床していることを知らせるための通知を行う。すなわち、通知部１１５は、見守り対象者の離床が一定時間以上継続していると認定される場合に、見守り対象者が一定時間以上離床していることを知らせる警報を実行する。

なお、本実施形態では、これらの機能がいずれも汎用のＣＰＵによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、画像解析装置１の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。各機能に関しては後述する動作例で詳細に説明する。

§３ 動作例
次に、図５を用いて、画像解析装置１の動作例を説明する。図５は、画像解析装置１による見守り対象者の見守りに関する処理手順を例示する。なお、以下で説明する見守り対象者の見守りに関する処理手順は、本発明の「画像解析方法」に相当する。ただし、以下で説明する見守り対象者の見守りに関する処理手順は一例に過ぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換及び追加が可能である。

（概要）
本実施形態では、制御部１１は、まず、ステップＳ１０１〜Ｓ１０４の処理によって、見守り対象者の離床を検知する判定処理を実行する。ステップＳ１０１〜Ｓ１０４の処理は、見守り対象者の離床を検知するまで繰り返される。見守り対象者の離床を検知すると、制御部１１は、次に、ステップＳ１０５〜Ｓ１０９の処理によって、見守り対象者の就床を検知する判定処理を実行しつつ、見守り対象者が離床してからの経過時間を判定する。そして、見守り対象者が離床してからの経過時間が一定時間を超える前に、見守り対象者の就床を検知した場合には、制御部１１は、本動作例に係る処理を終了する。一方、見守り対象者の就床を検知する前に、見守り対象者が離床してからの経過時間が一定時間を超えた場合には、ステップＳ１１０において、見守り対象者が一定時間以上離床していることを知らせるための通知を行う。以下、各処理について、詳細に説明する。

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、画像取得部１１１として機能し、カメラ２により撮影された撮影画像３を取得する。そして、撮影画像３を取得すると、制御部１１は、次のステップＳ１０２に処理を進める。

上記のとおり、本実施形態では、カメラ２は、深度センサ２１を備えている。そのため、本ステップＳ１０１において取得される撮影画像３には、各画素の深度を示す深度データが含まれている。制御部１１は、この深度データを含む撮影画像３として、例えば、図６で例示される撮影画像３を取得する。

図６は、深度データを含む撮影画像３の一例を示す。図６で例示される撮影画像３は、各画素の濃淡値が当該各画素の深度に応じて定められた画像である。黒色の画素ほど、カメラ２に近いことを示す。一方、白色の画素ほど、カメラ２から遠いことを示す。この撮影画像３は、深度画像と称されてもよい。制御部１１は、この深度データに基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部１１は、撮影画像３内の各画素の座標（二次元情報）と深度とから、当該各画素内に写る被写体の三次元空間（実空間）での位置を特定することができる。以下、図７及び図８を用いて、制御部１１が各画素の実空間上での位置を特定する計算例を示す。

図７は、撮影画像３内の座標関係を例示する。また、図８は、撮影画像３の任意の画素（点ｓ）とカメラ２との実空間内での位置関係を例示する。なお、図７の左右方向は、図８の紙面に垂直な方向に対応する。すなわち、図８で表れている撮影画像３の長さは、図７で例示される縦方向の長さ（Ｈピクセル）に対応する。また、図７で例示される横方向の長さ（Ｗピクセル）は、図８で表れていない撮影画像３の紙面垂直方向の長さに対応する。

図７で例示されるように、撮影画像３の任意の画素（点ｓ）の座標が（ｘ_s，ｙ_s）であるとし、カメラ２の横方向の画角がＶ_x、縦方向の画角がＶ_yであるとする。また、撮影画像３の横方向のピクセル数がＷであるとし、縦方向のピクセル数がＨであるとし、撮影画像３の中心点（画素）の座標が（０，０）であるとする。

制御部１１は、カメラ２の画角（Ｖ_x、Ｖ_y）を示す情報をカメラ２から取得することができる。ただし、カメラ２の画角（Ｖ_x、Ｖ_y）を示す情報を取得する方法はこのような例に限られず、制御部１１は、カメラ２の画角（Ｖ_x、Ｖ_y）を示す情報を、ユーザ入力に基づき取得してもよいし、予め設定されている設定値として取得してもよい。また、制御部１１は、撮影画像３から、点ｓの座標（ｘ_s，ｙ_s）及び撮影画像３のピクセル数（Ｗ×Ｈ）を取得することができる。更に、制御部１１は、撮影画像３に含まれる深度データを参照することによって、点ｓの深度Ｄｓを取得することができる。

制御部１１は、これらの情報を利用することで、当該各画素（点ｓ）の実空間上の位置を特定することができる。例えば、制御部１１は、以下の数１〜３で示される関係式に基づいて、図８に例示されるカメラ座標系におけるカメラ２から点ｓまでのベクトルＳ（Ｓ_x，Ｓ_y，Ｓ_z，１）の各値を算出することができる。これにより、撮影画像３内の二次元座標系における点ｓの位置とカメラ座標系における点ｓの位置とは相互に変換可能になる。

ただし、上記ベクトルＳは、カメラ２を中心とした三次元座標系のベクトルである。このカメラ２は、図８に例示されるように、水平方向に対して傾いている場合がある。すなわち、カメラ座標系は、三次元空間（実空間）のワールド座標系から傾いている場合がある。そのため、制御部１１は、カメラ２のロール角、ピッチ角（図８のα）及びヨー角を用いた射影変換を上記ベクトルＳに適用することによって、上記カメラ座標系のベクトルＳをワールド座標系のベクトルに変換し、ワールド座標系における点ｓの位置を算出してもよい。

なお、撮影画像３は、動画像であってもよいし、１又は複数枚の静止画像であってもよい。また、制御部１１は、このような撮影画像３を、カメラ２のビデオ信号に同期して取得してもよい。そして、制御部１１は、カメラ２と同期して取得した撮影画像３に対して、後述するステップＳ１０２〜Ｓ１０４までの処理を即座に実行してもよい。画像解析装置１は、このような動作を絶え間なく継続的に実行することにより、カメラ２の撮影範囲に存在する見守り対象者の離床をリアルタイムに検知することができる。以下では、このように継続的に取得される撮影画像３により見守り対象者の離床を検知する例を説明する。

（ステップＳ１０２）
図５に戻り、次のステップＳ１０２では、制御部１１は、前景抽出部１１２として機能し、ステップＳ１０１で取得された撮影画像３と当該撮影画像３の背景に設定された背景画像４との差分を算出することにより、当該撮影画像３の前景領域を抽出する。背景画像４は、背景差分法に基づいて撮影画像３において前景領域を抽出するために利用されるデータである。制御部１１は、例えば、当該見守り対象者の見守りを開始したとき等任意のタイミングに取得される撮影画像３によって、この背景画像４を作成することができる。

なお、撮影画像３により背景画像４を作成する方法は、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、カメラ２により得られる１フレーム分の撮影画像３をそのまま背景画像４に設定してもよい。また、例えば、制御部１１は、カメラ２により得られる数フレーム分の撮影画像３の平均を算出することで、背景画像４を作成してもよい。これによって、各画素の深度を示す深度データを含む背景画像４を生成することができる。

本ステップＳ１０２では、制御部１１は、このように作成される背景画像４とステップＳ１０１で取得した撮影画像３との差分を算出することにより、ステップＳ１０１で取得した撮影画像３において前景領域を抽出する。例えば、制御部１１は、図９及び図１０で例示されるように、撮影画像３において前景領域を抽出することができる。

図９は、撮影画像３に含まれる深度データに基づいて特定される撮影範囲内の各画素（被写体）の三次元分布を例示する。図１０は、図９で例示した被写体のうち撮影画像３から抽出される前景領域の三次元分布を例示する。上記のとおり、深度データに基づいて、撮影画像３の各画素の三次元空間（実空間）上の位置を特定することができる。そのため、制御部１１は、撮影画像３内の位置と深度とにより各画素を三次元空間内でプロットすることで、図６で例示される撮影画像３から、図９で例示される三次元分布を作成することができる。また、背景画像４も、撮影画像３と同様に、深度データを含んでいる。そのため、制御部１１は、背景画像４についても、図９で例示されるような各画素の三次元分布を特定することができる。

そこで、制御部１１は、撮影画像３及び背景画像４の対応する画素の深度を比較する。そして、制御部１１は、撮影画像３と背景画像４とで深度の相違する画素を前景領域として抽出する。これによって、制御部１１は、図１０で例示されるような前景領域を抽出することができる。ステップＳ１０１で取得した撮影画像３において前景領域を抽出すると、制御部１１は、次のステップＳ１０３に処理を進める。

（ステップＳ１０３）
図５に戻り、次のステップＳ１０３では、制御部１１は、離床検知部１１３として機能し、見守り対象者の離床を検知する判定処理を実行する。すなわち、制御部１１は、ステップＳ１０２で抽出された前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド上に現れた前景領域がベッドから所定距離以上離れた位置に移動したか否かを判定する。

そして、本ステップＳ１０３において、ベッド上に現れた前景領域がベッドから所定距離以上離れた位置に移動したと判定できた場合には、制御部１１は、見守り対象者の離床を検知した上で、次のステップＳ１０４に処理を進める。一方、そのような判定ができなかった場合には、制御部１１は、見守り対象者の離床を検知することなく、次のステップＳ１０４に処理を進める。

ここで、図１１Ａ、図１１Ｂ、図１２Ａ及び図１２Ｂを用いて、本ステップＳ１０３において、見守り対象者の離床を検知する判定処理を具体的に説明する。図１１Ａは、見守り対象者が離床する際にベッドから起き上がった場面を模式的に例示する。図１１Ｂは、見守り対象者がベッドから所定距離ＨＡ以上離れた位置に移動した場面を模式的に例示する。図１２Ａは、図１１Ａの場面の際に抽出される前景領域の位置を模式的に例示する。また、図１２Ｂは、図１１Ｂの場面の際に抽出される前景領域の位置を模式的に例示する。なお、以下では、説明の便宜のため、ベッドのヘッドボードとフットボードとを結ぶ方向を「前後方向」と称し、ベッド側部（サイドフレーム）間を結ぶ方向を「左右方向」と称し、ベッドの鉛直方向を「上下方向」と称する。

ベッドから離床する際には、まず、見守り対象者は、ベッドから立ち上がるため、ベッド上で身体を動かす。例えば、図１１Ａに例示されるように、見守り対象者は、上半身を起こす動作をベッド上で行う。そして、見守り対象者は、ベッド側部において立ち上がり、図１１Ｂに例示されるようにベッドから離れる方向に移動する。

そのため、見守り対象者の離床を検知するまで繰り返されるステップＳ１０１〜Ｓ１０４の一連の処理において、繰り返し実行される上記ステップＳ１０１では、結果的に、このような見守り対象者の一連の動作を撮影した撮影画像３の画像群が取得される。そして、上記ステップＳ１０２では、この画像群に含まれる最初の方の撮影画像３において、図１２Ａに例示されるように、見守り対象者に対応する前景領域がベッド面ＳＵの上方で抽出される。一方、この画像群に含まれる最後の方の撮影画像３では、図１２Ｂに例示されるように、見守り対象者がベッドから離れるに従って、この見守り対象者に対応する前景領域もベッドから離れた位置で抽出されるようになる。

そこで、本実施形態では、制御部１１は、次のようにして、見守り対象者の離床を検知する。すなわち、制御部１１は、まず、ベッド上に現れる前景領域を捕捉する。具体的には、ステップＳ１０２において、図１２Ａに例示されるように、ベッド面ＳＵの上方で前景領域が抽出された場合に、制御部１１は、本ステップＳ１０３において、見守り対象者の離床を検知しないが、この前景領域をトラッキングの対象とする。ベッド面ＳＵの範囲は、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。これによって、制御部１１は、これ以降のステップＳ１０１で繰り返し取得される撮影画像３の画像群において、同一の対象（見守り対象者）の写る前景領域を追跡することができる。

そして、制御部１１は、トラッキングしている前景領域とベッドとの間の距離を算出し、算出した距離が所定距離ＨＡ以上であるか否かを判定する。前景領域とベッドとの間の距離は公知の方法により適宜算出可能である。トラッキングしている前景領域とベッドとの間の距離が所定距離ＨＡ以上ではない場合には、制御部１１は、見守り対象者の離床を検知せず、その前景領域のトラッキングを継続する。一方、トラッキングしている前景領域とベッドとの間の距離が所定距離ＨＡ以上である場合には、制御部１１は、ベッド上に現れた前景領域がベッドから所定距離ＨＡ以上離れた位置に移動したと判定し、見守り対象者の離床を検知する。

なお、見守り対象者がベッド上で起き上がった場合には、ベッド面ＳＵから所定の高さ以上の位置で前景領域が抽出され得る。そのため、制御部１１は、ベッド面ＳＵから所定の高さ以上に現れた前景領域に限りトラッキングの対象としてもよい。この所定の高さは、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。この所定の高さの値は、見守り対象者が離床する際にベッド上で発生し得る前景領域の高さに基づいて適宜設定されてよい。

この場合、制御部１１は、前景領域に含まれる任意の点の位置を前景領域の位置として取り扱ってもよい。例えば、制御部１１は、以下の数４の式で算出される前景領域の重心の位置を前景領域の位置として取り扱ってもよい。以下、その他の場面における前景領域の位置についても同様である。

なお、ｗは、任意の画素（点ｓ）の実空間内における横方向の長さを示す。また、ｈは、任意の画素（点ｓ）の実空間内における縦方向の長さを示す。ｗ及びｈは、後述する数５及び数６によりそれぞれ算出することができる。ここで、Ｍは、前景領域Ｆに含まれる画素（点ｓ）のベクトルＳの面積平均である。すなわち、Ｍは、前景領域の実空間内での平均の位置を示す。そのため、このＭにより示される位置を前景領域の重心の位置として取り扱うことができる。

また、制御部１１は、ベッド面ＳＵの上方に所定範囲の捕捉領域を設け、この捕捉領域に現れた前景領域に限りトラッキングの対象としてもよい。この場合、この捕捉領域の前後方向、左右方向及び上下方向それぞれの長さは、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。上記と同様に、この捕捉領域は、見守り対象者が離床する際にベッド上で発生し得る前景領域を適切に捕捉可能に適宜設定される。

また、見守り対象者の離床を検知する基準となる所定距離ＨＡの値は、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。更に、図１２Ｂは、ベッドの左右方向の両側に見守り対象者が離床可能な場面を例示している。しかしながら、見守り対象者の離床を検知する方向は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。例えば、見守り対象者が離床可能な方向は、図１２Ｂで例示されるような二方向ではなく、一方向に限られてもよい。また、例えば、制御部１１は、前景領域とベッドとの前後方向の距離に基づいて、見守り対象者の離床を検知してもよい。

また、ステップＳ１０２で抽出される前景領域は、人物以外の物体（例えば、カーテン等）に対応する可能性がある。そこで、このような人物以外の物体に対応する前景領域をステップＳ１０３の処理の対象から排除すべく、制御部１１は、ステップＳ１０２で抽出された前景領域が見守り対象者等の人物の写る領域であるか否かを判定する処理を行ってもよい。例えば、このような判定処理は次のように行うことができる。

すなわち、ステップＳ１０２で抽出された前景領域が見守り対象者等の人物の写る領域である場合、この前景領域の形状は、その人物の形状に対応する。そのため、制御部１１は、パターンマッチング等の画像処理によって、ステップＳ１０２で抽出された前景領域の形状が見守り対象者等の人物に対応するか否かを判定してもよい。そして、パターンマッチングの結果、制御部１１は、人物の形状に対応しない前景領域をステップＳ１０３の処理対象から除外し、人物の形状に対応する前景領域をステップＳ１０３の処理対象としてもよい。

また、ステップＳ１０２で抽出された前景領域が見守り対象者等の人物の写る領域である場合、この前景領域の面積は、その人物の大きさに対応する。そのため、制御部１１は、前景領域の面積が所定の面積範囲に含まれるか否かを判定してもよい。この所定の面積範囲は、見守り対象者の写る前景領域の面積として取り得る値をカバーするように設定される。そして、制御部１１は、所定の面積範囲に含まれない面積の前景領域をステップＳ１０３の処理対象から除外し、所定の面積範囲に含まれる面積の前景領域をステップＳ１０３の処理対象としてもよい。

このとき、前景領域の面積は、前景領域に含まれる画素数により与えられてもよい。ただし、カメラ２から被写体が遠ざかるほど、撮影画像３内の被写体の像は小さくなり、カメラ２に被写体が近づくほど、撮影画像３内の被写体の像は大きくなる。撮影画像３内に写る被写体の深度は被写体の表面に対して取得されるが、その撮影画像３の各画素に対応する被写体の表面部分の面積は各画素間で一致するとは限らない。

そこで、制御部１１は、被写体の遠近による影響を除外するために、本ステップＳ１０３において、各画素の深度を利用して、抽出した前景領域の実空間における面積を算出してもよい。前景領域の実空間における面積は、例えば、次のようにして算出することができる。すなわち、制御部１１は、まず、以下の数５及び数６の関係式に基づいて、図７及び図８に例示される任意の点ｓ（１画素）の実空間内における横方向の長さｗ及び／又は縦方向の長さｈをそれぞれ算出する。

続いて、制御部１１は、このように算出されるｗの２乗、ｈの２乗、又はｗとｈとの積によって、深度Ｄｓにおける１画素の実空間内での面積を算出する。そして、制御部１１は、前景領域に含まれる各画素の実空間内での面積の総和を求めることで、前景領域の実空間における面積を算出する。これにより、被写体の遠近の影響を除外した上で、前景領域の面積を求めることができる。以下、その他の場面における前景領域の面積についても同様である。

なお、このような面積は、深度データのノイズ、見守り対象者以外の物体の動き、等によって、大きく変化してしまう場合がある。これに対応するため、制御部１１は、数フレーム分の面積の平均を利用してもよい。また、制御部１１は、処理対象のフレームにおける該当領域の面積と当該処理対象のフレームよりも過去の数フレームにおける当該該当領域の面積の平均との差が所定範囲を超える場合、当該該当領域を処理対象から除外してもよい。

本実施形態では、以上の処理によって、見守り対象者の離床を検知することができる。ただし、見守り対象者の離床を検知する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜変更されてよい。

（ステップＳ１０４）
図５に戻り、次のステップＳ１０４では、制御部１１は、ステップＳ１０３において見守り対象者のベッドからの離床を検知したか否かを判定する。ステップＳ１０３において見守り対象者のベッドからの離床を検知しなかった場合には、制御部１１は、ステップＳ１０１に処理を戻す。すなわち、制御部１１は、見守り対象者の離床を検知するまで、見守り対象者の離床を検知する判定処理（ステップＳ１０１〜Ｓ１０４）を繰り返す。

一方、ステップＳ１０３において見守り対象者のベッドからの離床を検知した場合には、制御部１１は、次のステップＳ１０５に処理を進める。すなわち、見守り対象者の離床を検知すると、制御部１１は、見守り対象者の就床を検知する判定処理及び見守り対象者の離床してからの経過時間（以下、「離床経過時間」とも記載する）が一定時間を超えたか否かを判定する処理の実行を開始する。このとき、制御部１１は、後述するステップＳ１０９の処理において離床経過時間を特定するため、タイマを起動し、離床経過時間をこのタイマにより計測してもよい。また、制御部１１は、見守り対象者の離床を検知した時刻を保持してもよい。

（ステップＳ１０５及びステップＳ１０６）
次のステップＳ１０５では、制御部１１は、画像取得部１１１として機能し、上記ステップＳ１０１と同様に、カメラ２より撮影画像３を取得する。そして、撮影画像３を取得した後、ステップＳ１０６では、制御部１１は、前景抽出部１１２として機能し、上記ステップＳ１０２と同様に、撮影画像３と背景画像４との差分を算出することで、当該撮影画像３の前景領域を抽出する。

上記のとおり、ステップＳ１０５〜Ｓ１０９の処理は、見守り対象者の就床を検知する判定処理及び離床経過時間が一定時間を超えたか否かを判定する処理に対応する。このステップＳ１０５〜Ｓ１０９の処理は、見守り対象者の就床を検知する又は離床経過時間が一定時間を超えるまで実行される。そのため、見守り対象者の就床を検知する又は離床経過時間が一定時間を超えるまで、上記ステップＳ１０１及びステップＳ１０２と同様に、本ステップＳ１０５及びステップＳ１０６の処理は繰り返し実行される。すなわち、見守り対象者の就床を検知する又は離床経過時間が一定時間を超えるまで、ステップＳ１０５により撮影画像３が継続的に取得され、ステップＳ１０６により、継続的に取得される撮影画像３の前景領域が抽出される。

（ステップＳ１０７）
次のステップＳ１０７では、制御部１１は、就床検知部１１４として機能し、見守り対象者の離床を検知した後に取得された撮影画像３について、見守り対象者の就床を検知する判定処理を実行する。すなわち、制御部１１は、ステップＳ１０６により抽出された前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド外に現れた前景領域がベッド上に移動したか否かを判定する。

そして、本ステップＳ１０７において、ベッド外に現れた前景領域がベッド上に移動したと判定できた場合には、制御部１１は、見守り対象者の就床を検知した上で、次のステップＳ１０８に処理を進める。一方、そのような判定ができなかった場合には、制御部１１は、見守り対象者の就床を検知することなく、次のステップＳ１０８に処理を進める。

ここで、図１３Ａ〜図１３Ｃ及び図１４Ａ〜図１４Ｃを用いて、本ステップＳ１０７において、見守り対象者の就床を検知する判定処理を具体的に説明する。図１３Ａは、ベッドから離床した見守り対象者がベッド付近に戻ってきた場面を模式的に例示する。図１３Ｂは、見守り対象者が就床する際に端座位を行っている場面を模式的に例示する。図１３Ｃは、見守り対象者がベッド上で就寝した場面を模式的に例示する。図１４Ａ〜図１４Ｃはそれぞれ、図１３Ａ〜図１３Ｃそれぞれの場面の際に抽出される前景領域の位置を模式的に例示する。

ベッドに就床する際には、まず、見守り対象者は、図１３Ａに例示されるように、ベッドから離れた位置からベッドに近付く方向に移動する。そして、見守り対象者は、図１３Ｂに例示されるようにベッド側部において端座位を行い、図１３Ｃに例示されるようにベッド上で就寝する。又は、見守り対象者は、図１３Ｂに例示される端座位を省略して、図１３Ｃに例示されるようにベッド上で就寝する。

そのため、見守り対象者の就床を検知するまでには、繰り返し実行される上記ステップＳ１０５では、結果的に、見守り対象者が端座位を行った上で就寝する又は端座位を行うことなく就寝する一連の動作を撮影した撮影画像３の画像群が取得され得る。そして、上記ステップＳ１０６では、この画像群に含まれる最初の方の撮影画像３において、図１４Ａに例示されるように、見守り対象者に対応する前景領域がベッド外で抽出される。この前景領域は、ベッド周辺を移動し、最終的にはベッド近傍に近付く。

その後、見守り対象者が端座位を行った場合には、その見守り対象者に対応する前景領域はベッド側部で一時的に停止する。すなわち、上記ステップＳ１０６では、見守り対象者が端座位を行っている間に取得された撮影画像３において、図１４Ｂに例示されるように、見守り対象者に対応する前景領域がベッド側部で抽出される。

一方、見守り対象者が、端座位を行うことなく、ベッド上で就寝した場合には、ベッド近傍に近付いた前景領域は、そのままベッド上に移動する。すなわち、上記ステップＳ１０６では、見守り対象者が就寝したときに取得された撮影画像３において、図１４Ｃに例示されるように、見守り対象者に対応する前景領域がベッド面ＳＵ直上の比較的に低い位置で抽出される。

そこで、本実施形態では、この端座位及び就寝姿勢の２つの状態に基づいて、見守り対象者の就床を検知する。すなわち、制御部１１は、ベッド外に現れた前景領域がベッド側部に設けられた所定の領域ＤＢに移動するか又はベッド面ＳＵ直上の所定の高さＨＣよりも低い位置に移動した場合に、見守り対象者の就床を検知する。

（１）端座位に基づく就床検知
第一に、端座位に基づいて就床を検知する方法を説明する。上記のとおり、端座位に基づいて就床を検知するまでには、図１４Ａに例示されるようにベッド外に前景領域が現れる。そして、そのベッド外に現れた前景領域が、図１４Ｂに例示されるようにベッド側部に移動する。

そのため、制御部１１は、次のようにして、見守り対象者の就床を検知することができる。すなわち、制御部１１は、まず、ベッド外に現れる前景領域を捕捉する。具体的には、ステップＳ１０６において、図１４Ａに例示されるように、ベッド外に前景領域が抽出された場合に、制御部１１は、本ステップＳ１０７において、見守り対象者の就床を検知しないが、この前景領域をトラッキングの対象とする。これによって、制御部１１は、これ以降のステップＳ１０５で繰り返し取得される撮影画像３の画像群において、同一の対象（見守り対象者）の写る前景領域を追跡することができる。

そして、制御部１１は、トラッキングしている前景領域がベッド側部に設けられた所定の領域ＤＢ内に移動したか否かを判定する。この所定の領域ＤＢは、見守り対象者がベッド側部で端座位を行ったときに前景領域が抽出される場所に適宜設定される。

この判定の結果、トラッキングしている前景領域が所定の領域ＤＢ内に移動していない場合には、制御部１１は、見守り対象者の就床を検知せず、その前景領域のトラッキングを継続する。一方、トラッキングしている前景領域が所定の領域ＤＢ内に移動した場合には、制御部１１は、ベッド外に現れた前景領域がベッド上に移動したと判定し、見守り対象者の就床を検知する。

なお、上記ステップＳ１０３と同様に、制御部１１は、前景領域の形状及び／又は面積に基づいて、処理対象とする前景領域を限定してもよい。更に、ベッド外に現れた前景領域を捕捉する領域は、ベッド外の領域であればよく、実施形態に応じて適宜設定されてよい。

また、トラッキングしている領域が所定の領域ＤＢ内に移動したか否かの判定は、図１４Ｂに例示されるように前景領域の重心に基づいて行われてもよい。この前景領域の重心は、上記数４によって、算出可能である。この場合、所定の領域ＤＢは、見守り対象者がベッド側部で端座位を行った時に抽出される前景領域の重心が存在し得る範囲を含むように適宜設定される。なお、トラッキングしている領域が所定の領域ＤＢ内に移動したか否かの判定は、前景領域の全体に基づいて行われてもよいし、前景領域の一部に基づいて行われてもよい。所定の領域ＤＢは、判定の対象とする前景領域の基準に応じて適宜設定される。

また、図１４Ｂでは、所定の領域ＤＢは、左右方向の各ベッド側部に設定されている。しかしながら、いずれか一方のベッド側部で、所定の領域ＤＢの設定が省略されてもよい。すなわち、制御部１１は、所定の領域ＤＢは、いずれか一方のベッド側部にのみ設定されてもよい。更に、図１４Ｂでは、２つの所定の領域ＤＢが左右方向に離間して設けられている。しかしながら、所定の領域ＤＢの設定方法はこのような例に限定されなくてもよく、この２つの所定の領域ＤＢを左右方向で連結することで、左右方向に延びる１つの所定の領域ＤＢが設定されてもよい。加えて、このような所定の領域ＤＢは、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。

また、見守り対象者がベッド側部で端座位を行っている間は、その見守り対象者に対応する前景領域はベッド側部で継続的に抽出される。そのため、制御部１１は、ベッド外に現れた前景領域が一定時間以上継続して所定の領域ＤＢ内に留まっている場合に、ベッド外に現れた前景領域がベッド上に移動したと判定し、見守り対象者の就床を検知してもよい。これによって、何らかの物体がベッド側部を通過したような場合に、見守り対象者の就床を誤検知してしまうのを防止することができる。なお、見守り対象者の就床を検知する基準となる閾値（一定時間）は、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。

（２）就寝姿勢に基づく就床検知
第二に、就寝姿勢に基づいて就床を検知する方法を説明する。上記のとおり、就寝姿勢に基づいて就床を検知するまでには、図１４Ａに例示されるようにベッド外に前景領域が現れる。そして、そのベッド外に現れた前景領域が、図１４Ｃに例示されるように、ベッド面ＳＵ直上の比較的に低い位置に移動する。

そのため、制御部１１は、次のようにして、見守り対象者の就床を検知することができる。すなわち、制御部１１は、まず、上記と同様に、ステップＳ１０６において、図１４Ａに例示されるように、ベッド外に前景領域が抽出された場合に、制御部１１は、本ステップＳ１０７において、この前景領域をトラッキングの対象とする。これによって、制御部１１は、これ以降のステップＳ１０５で繰り返し取得される撮影画像３の画像群において、同一の対象（見守り対象者）の写る前景領域を追跡することができる。

そして、制御部１１は、トラッキングしている前景領域がベッド面ＳＵ直上の所定の高さＨＣよりも低い位置に移動したか否かを判定する。この所定の高さＨＣの値は、見守り対象者がベッド面ＳＵ上で就寝したときに抽出される前景領域の高さよりも高くなるように適宜設定される。

この判定の結果、トラッキングしている前景領域がベッド面ＳＵ直上の所定の高さＨＣよりも低い位置に移動していない場合には、制御部１１は、見守り対象者の就床を検知せず、その前景領域のトラッキングを継続する。一方、トラッキングしている前景領域がベッド面ＳＵ直上の所定の高さＨＣよりも低い位置に移動した場合には、制御部１１は、ベッド外に現れた前景領域がベッド上に移動したと判定し、見守り対象者の就床を検知する。

なお、上記と同様に、制御部１１は、前景領域の形状及び／又は面積に基づいて、処理対象とする前景領域を限定してもよい。更に、ベッド外に現れた前景領域を捕捉する領域は、ベッド外の領域であればよく、実施形態に応じて適宜設定されてよい。

また、トラッキングしている領域がベッド面ＳＵ直上の所定の高さＨＣよりも低い位置に移動したか否かの判定は、上記と同様に、前景領域の重心に基づいて行われてもよいし、前景領域の全体に基づいて行われてもよいし、前景領域の一部に基づいて行われてもよい。所定の高さＨＣは、判定の対象とする前景領域の基準に応じて適宜設定される。この所定の高さＨＣは、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。

（３）その他
本実施形態では、制御部１１は、上記２つの判定処理によって、見守り対象者の就床を検知することができる。ただし、見守り対象者の就床を検知する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜変更されてよい。例えば、制御部１１は、上記２つの判定処理のうちいずれかを省略してもよい。また、例えば、制御部１１は、上記２つの判定処理以外の処理によって、見守り対象者の就床を検知してもよい。

（ステップＳ１０８）
図５に戻り、次のステップＳ１０８では、制御部１１は、ステップＳ１０７において見守り対象者がベッドに就床したことを検知したか否かを判定する。ステップＳ１０７において見守り対象者の就床を検知しなかった場合には、制御部１１は、次のステップＳ１０９に処理を進める。

一方、ステップＳ１０７において見守り対象者の就床を検知した場合には、制御部１１は、本動作例に係る処理を終了する。このとき、制御部１１は、見守り対象者の離床を検知してから見守り対象者の就床を検知するまでの離床時間を特定し、この離床時間を記憶部１２等に記録してもよい。離床時間を特定する方法は、実施の形態に応じて適宜選択されてよい。例えば、離床経過時間をタイマにより計測している場合には、制御部１１は、この時点でタイマのカウントを停止し、当該タイマを参照することで、この離床時間を特定することができる。また、例えば、見守り対象者の離床を検知した時刻を保持している場合には、制御部１１は、見守り対象者の離床を検知した時刻とこの処理の時点の時刻との差分を算出することで、離床時間を特定することができる。

なお、この場合には、見守り対象者はベッドに就床している。そのため、見守り対象者が再び離床するのに備えて、制御部１１は、再びステップＳ１０１から処理を開始してもよい。すなわち、制御部１１は、見守り対象者の離床を検知する判定処理から開始することで、見守り対象者の見守りを継続してもよい。

（ステップＳ１０９）
次のステップＳ１０９では、制御部１１は、上記ステップＳ１０３により見守り対象者の離床を検知してからの離床経過時間が一定時間を超えたか否かを判定する。この判定の結果、離床経過時間が一定時間を超えていない場合には、制御部１１は、ステップＳ１０５に処理を戻す。すなわち、見守り対象者の就床を検知する又は離床経過時間が一定時間を超えるまで、見守り対象者の就床を検知する判定処理及び離床経過時間が一定時間を超えたか否かを判定する処理を繰り返す。

一方、離床経過時間が一定時間を超えている場合には、制御部１１は、次のステップＳ１１０に処理を進める。ここで、後述するステップＳ１１０では、見守り対象者が一定時間以上離床していることを知らせる警報が行われる。すなわち、この分岐の基準となる閾値（一定時間）は、当該警報を行う離床経過時間を規定する。この閾値（一定時間）は、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。

なお、この時点における離床経過時間は適宜特定することができる。例えば、離床経過時間をタイマにより計測している場合には、制御部１１は、この時点でタイマを参照することで、この時点における離床検知時間を特定することができる。また、例えば、見守り対象者の離床を検知した時刻を保持している場合には、制御部１１は、見守り対象者の離床を検知した時刻とこの処理の時点の時刻との差分を算出することで、この時点における離床検知時間を特定することができる。

また、本ステップＳ１０９の処理は、任意のタイミングで実行されてもよい。例えば、本ステップＳ１０９の処理は、ステップＳ１０５〜Ｓ１０８の処理とは別に、実行されてもよい。本ステップＳ１０９の処理が上記ステップＳ１０８の処理よりも前に実行される場合、上記ステップＳ１０８において見守り対象者の就床が検知されていないと判定されたときには、制御部１１は、ステップＳ１０５に処理を戻す。

（ステップＳ１１０）
次のステップＳ１１０では、制御部１１は、通知部１１５として機能し、見守り対象者が一定時間以上離床していることを知らせるための通知を行う。すなわち、制御部１１は、上記ステップＳ１０７において見守り対象者の就床を検知する前に、上記ステップＳ１０９において離床経過時間が一定時間を超えたと判定した場合に、見守り対象者が一定時間以上不在であることを知らせる警報を実行する。

なお、通知先及び通知方法は、実施の形態に応じて適宜選択することができる。制御部１１は、例えば、見守り対象者以外の第三者、特に、見守り対象者の行動を見守る見守り者に当該通知を行ってもよい。見守り対象者が、入院患者、施設入居者、要介護者等である場合、見守り者は、例えば、看護師、施設職員、介護者等である。また、制御部１１は、見守り対象者自身に当該通知を行ってもよい。

例えば、本実施形態に係る画像解析装置１が病院等の施設で利用される場合、当該画像解析装置１は、外部インタフェース１５を介して、ナースコールシステム等の設備と接続することができる。この場合、制御部１１は、当該ナースコールシステム等の設備と連携して、見守り対象者が一定時間以上離床していることを知らせるための通知を行ってもよい。すなわち、制御部１１は、外部インタフェース１５を介して、当該ナースコールシステムを制御してもよい。そして、制御部１１は、見守り対象者が一定時間以上離床していることを知らせるための通知として、当該ナースコールシステムによる呼び出しを行ってもよい。これによって、見守り対象者が一定時間以上ベッドから離れていることを当該見守り対象者の見守りを行う看護師等に適切に知らせることができる。

また、例えば、制御部１１は、タッチパネルディスプレイ１３による画面表示によって、見守り対象者が一定時間以上離床していることを知らせるための通知を行ってもよい。また、例えば、制御部１１は、画像解析装置１に接続されるスピーカ１４から所定の音声を出力することにより、見守り対象者が一定時間以上離床していることを知らせるための通知を行ってもよい。このタッチパネルディスプレイ１３及びスピーカ１４をそれぞれ見守り者の居室に設置することで、見守り対象者が一定時間以上ベッドから離れていることを当該見守り者に適切に知らせることができる。

また、例えば、制御部１１は、電子メール、ショートメッセージサービス、プッシュ通知等を利用して、見守り対象者が一定時間以上離床していることを知らせるための通知を行ってもよい。このような通知を行う場合には、通知先となるユーザ端末の電子メールアドレス、電話番号等は記憶部１２に予め登録されていてもよい。そして、制御部１１は、この予め登録されている電子メールアドレス、電話番号等を利用して、見守り対象者が一定時間以上離床していることを知らせるための通知を行ってもよい。

本実施形態では、制御部１１は、このような通知を行った後に、本動作例に係る処理が終了する。ただし、このように処理を終了した場合には、上記ステップＳ１０８で見守り対象者の就床を検知して処理を終了した場合とは異なり、見守り対象者の就床が検知されていない。すなわち、見守り対象者は離床したままベッドに戻っていない。そのため、この場合には、制御部１１は、見守り対象者の就床を検知するまで、ステップＳ１０５〜Ｓ１１０の処理を繰り返してもよい。このとき、制御部１１は、離床経過時間を新たに計測し始めるため、これまでの処理で計測した離床経過時間をリセットしてもよい。

（作用・効果）
以上のように、本実施形態に係る画像解析装置１は、まず、ステップＳ１０１〜Ｓ１０４の処理によって、見守り対象者の離床を検知する判定処理を実行する。次に、見守り対象者の離床を検知した後には、画像解析装置１は、見守り対象者の就床を検知する判定処理及び離床経過時間が一定時間を超えたか否かを判定する処理を実行する。そして、見守り対象者の就床を検知する前に、離床経過時間が一定時間を超えた場合には、画像解析装置１は、ステップＳ１１０の処理によって、見守り対象者が一定時間以上離床していることを知らせるための通知を行う。

ここで、本実施形態に係る画像解析装置１は、上記ステップＳ１０３において、図１１Ａ及び図１１Ｂに例示される見守り対象者の一連の動作に伴い抽出される前景領域の変動に基づいて、見守り対象者の離床を検知している。そのため、本実施形態によれば、カメラ２の撮影範囲に第三者が存在する場合であっても、この第三者に対応する前景領域を見守り対象者に対応する前景領域と誤認識することなく、見守り対象者の離床を適切に検知することができる。

同様に、本実施形態に係る画像解析装置１は、上記ステップＳ１０７において、図１３Ａ〜図１３Ｃに例示される見守り対象者の一連の動作に伴い抽出される前景領域の変動に基づいて、見守り対象者の就床を検知している。そのため、本実施形態によれば、見守り対象者がベッドから離床した後にカメラ２の撮影範囲に第三者が進入しても、この第三者に対応する前景領域を見守り対象者に対応する前景領域と誤認識することなく、見守り対象者の就床を適切に検知することができる。

したがって、本実施形態によれば、カメラ２の撮影範囲に第三者が存在することに起因する見守り対象者の離床及び就床の誤検知を防止し、当該見守り対象者の離床及び就床をそれぞれ適切に検知することができる。そのため、本実施形態によれば、見守り対象者の離床に関する警報を精度よく実行することができる。

特に、本実施形態では、制御部１１は、上記ステップＳ１０７において、見守り対象者がベッド上で端座位又は就寝する際の前景領域の変動に基づいて、当該見守り対象者の就床を検知する。見守り対象者以外の第三者は、カメラ２の撮影範囲に進入することはあっても、ベッド上で端座位又は就寝することはないと想定される。したがって、本実施形態によれば、見守り対象者以外の人物が行わないと想定される動作に基づいて見守り対象者の就床が検知される。そのため、本実施形態によれば、見守り対象者の就床の検知精度を高めることができ、これによって、見守り対象者の離床に関する警報を精度よく実行することができるようになる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

例えば、上記実施形態では、ステップＳ１０７において、制御部１１は、ベッド側部に所定の領域ＤＢを設定する。そして、制御部１１は、見守り対象者がベッド側部で端座位を行う際の一連の動作に伴い変動する前景領域が当該所定の領域ＤＢ内に進入することに基づいて、当該見守り対象者の就床を検知している。この検知方法では、次のような問題が生じる可能性がある。

すなわち、介護者等の第三者が、例えば、ベッドメイキング等の作業をベッド側部の近傍で行う場合がある。このような場合、この第三者の身体がベッド面ＳＵの上方に位置し得るため、所定の領域ＤＢの設定範囲によっては、第三者に対応する前景領域がこの所定の領域ＤＢ内にベッド外から移動する可能性がある。すなわち、見守り対象者以外の第三者の上記動作を見守り対象者の就床の動作と誤検知してしまう可能性がある。

ここで、図１５Ａ及び図１５Ｂを用いて、ベッド側部の近傍で第三者が作業を行う場面と見守り対象者が端座位を行う場面とを比較する。図１５Ａは、第三者がベッドに向かって作業を行っている場面を模式的に例示する。また、図１５Ｂは、見守り対象者がベッド上で端座位を行っている場面を模式的に例示する。

図１５Ａ及び図１５Ｂに例示されるように、所定の領域ＤＢをよりベッドの外側に配置した場合には、見守り対象者が端座位を行う際に抽出される前景領域の他、第三者がベッド側部近傍で作業を行う際に抽出される前景領域が所定の領域ＤＢ内に進入し得る。そのため、このように所定の領域ＤＢの範囲を設定した場合には、見守り対象者以外の第三者の動作を見守り対象者の就床の動作と誤検知してしまう可能性がある。

しかしながら、図１５Ａで例示されるように、このようなベッドメイキング等の作業を行う第三者は、一般的には、ベッドの内側を向いていると想定される。そのため、この第三者の頭部の重心は肩部の重心よりもベッドの内側に位置する。一方、図１５Ｂで例示されるように、ベッド側部で端座位を行う見守り対象者は、一般的には、ベッドの外側を向いていると想定される。そのため、この見守り対象者の頭部の重心は肩部の重心よりもベッドの内側に位置する。

そこで、制御部１１は、上記ステップＳ１０７において、トラッキングしている前景領域が所定の領域ＤＢ内に移動した場合に、更に、このトラッキングしている前景領域内において、頭部の写る頭部領域と肩部の写る肩部領域とを推測してもよい。このような領域推定は、例えば、パターンマッチング等の公知の画像処理によって行うことができる。

そして、制御部１１は、推定した頭部領域の重心と肩部領域の重心との位置関係を判定してもよい。頭部領域の重心及び肩部領域の重心は、上記数４の計算によって、算出することができる。当該判定の結果、制御部１１は、頭部領域の重心が肩部領域の重心よりもベッドの外側に位置する場合に、見守り対象者がベッドに就床したことを検知する。一方、頭部領域の重心が肩部領域の重心よりもベッドの内側に位置する場合、制御部１１は、見守り対象者の就床を検知せずに、処理を継続する。この頭部領域の重心が肩部領域の重心よりもベッドの内側に位置する状態が一定時間以上継続する場合には、トラッキングしている前景領域は見守り対象者以外の第三者に対応する可能性があるため、制御部１１は、この前景領域のトラッキングを解消してもよい。

当該変形例によれば、ベッド近傍においてベッドの内側の方を向いて作業を行う見守り対象者以外の人物に起因して、見守り対象者の就床を誤検知してしまうことを防止することができる。そのため、当該変形例によれば、見守り対象者の就床の検知精度を高めることができ、これによって、見守り対象者の離床に関する警報を精度よく実行することができるようになる。

また、上記実施形態に係る画像解析装置１は、例えば、ベッド上での起き上がり等、見守り対象者の離床及び就床以外の行動を検知してもよい。画像解析装置１は、見守り対象者に対応する前景領域とベッド（例えば、ベッド面ＳＵ）との位置関係に基づいて、見守り対象者の行動を検知することができる。例えば、画像解析装置１は、ベッド面ＳＵ直上で所定の高さよりも高い位置に前景領域が現れた場合に、見守り対象者のベッド上での起き上がりを検知してもよい。これによって、見守り対象者のベッドにおける種々の行動を検知することができ、画像解析装置１による見守り対象者の見守りを充実させることができる。また、この場合、画像解析装置１が、見守り対象者の行動の検知処理を開始してから、例えば、数時間以上、見守り対象者のいずれの行動も検知しないとき、当該見守り対象者に異常が発生している可能性がある。そのため、画像解析装置１は、所定時間以上の間、見守り対象者の起き上がり等の動作が検知されない場合、そのことを知らせるための通知を行ってもよい。

１…画像解析装置、
２…カメラ、２１…深度センサ、
３…撮影画像、４…背景画像、
５…プログラム、６…記憶媒体、
１１…制御部、１２…記憶部、１３…タッチパネルディスプレイ、
１４…スピーカ、１５…外部インタフェース、１６…通信インタフェース、
１７…ドライブ、
１１１…画像取得部、１１２…前景抽出部、１１３…離床検知部、
１１４…就床検知部、１１５…通知部

Claims (4)

1. 見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得する画像取得部と、
   取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出する前景抽出部と、
   抽出された前記前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド上に現れた前景領域が前記ベッドから所定距離以上離れた位置に移動したか否かを判定し、前記ベッド上に現れた前景領域が前記ベッドから所定距離以上離れた位置に移動したと判定した場合に、前記見守り対象者が前記ベッドから離床したことを検知する離床検知部と、
   前記見守り対象者が前記ベッドから離床したことを検知した後に取得された撮影画像について、抽出された前記前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド外に現れた前景領域が前記ベッド上に移動したか否かを判定し、前記ベッド外に現れた前景領域が前記ベッド上に移動したと判定した場合に、前記見守り対象者が前記ベッドに就床したことを検知する就床検知部と、
   前記見守り対象者の就床を検知する前に、前記見守り対象者の離床を検知してからの経過時間が一定時間を超えた場合に、当該見守り対象者が一定時間以上離床していることを知らせるための通知を行う通知部と、
   を備え、
   前記就床検知部は、前記ベッド外に現れた前景領域がベッド側部に設けられた所定の領域内に移動した場合に、更に、前記前景領域内において、前記見守り対象者の頭部が写る頭部領域と肩部が写る肩部領域とを推定し、推定した当該頭部領域の重心が当該肩部領域の重心よりも前記ベッドの外側に位置するときに、前記ベッド外に現れた前景領域が前記ベッド上に移動したと判定し、前記見守り対象者が前記ベッドに就床したことを検知する、
   画像解析装置。
2. 前記就床検知部は、前記ベッド外に現れた前景領域が、ベッド面直上の所定の高さよりも低い位置に移動した場合に、前記ベッド外に現れた前景領域が前記ベッド上に移動したと判定し、前記見守り対象者が前記ベッドに就床したことを検知する、
   請求項１に記載の画像解析装置。
3. コンピュータが、
   見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、
   取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出するステップと、
   抽出された前記前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド上に現れた前景領域が前記ベッドから所定距離以上離れた位置に移動したか否かを判定し、前記ベッド上に現れた前景領域が前記ベッドから所定距離以上離れた位置に移動したと判定した場合に、前記見守り対象者が前記ベッドから離床したことを検知するステップと、
   前記見守り対象者が前記ベッドから離床したことを検知した後に取得された撮影画像について、抽出された前記前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド外に現れた前景領域が前記ベッド上に移動したか否かを判定し、前記ベッド外に現れた前景領域が前記ベッド上に移動したと判定した場合に、前記見守り対象者が前記ベッドに就床したことを検知するステップと、
   前記見守り対象者の就床を検知する前に、前記見守り対象者の離床を検知してからの経過時間が一定時間を超えた場合に、当該見守り対象者が一定時間以上離床していることを知らせるための通知を行うステップと、
   を実行し、
   前記就床したことを検知するステップでは、前記コンピュータは、前記ベッド外に現れた前景領域がベッド側部に設けられた所定の領域内に移動した場合に、更に、前記前景領域内において、前記見守り対象者の頭部が写る頭部領域と肩部が写る肩部領域とを推定し、推定した当該頭部領域の重心が当該肩部領域の重心よりも前記ベッドの外側に位置するときに、前記ベッド外に現れた前景領域が前記ベッド上に移動したと判定し、前記見守り対象者が前記ベッドに就床したことを検知する、
   画像解析方法。
4. コンピュータに、
   見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、
   取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出するステップと、
   抽出された前記前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド上に現れた前景領域が前記ベッドから所定距離以上離れた位置に移動したか否かを判定し、前記ベッド上に現れた前景領域が前記ベッドから所定距離以上離れた位置に移動したと判定した場合に、前記見守り対象者が前記ベッドから離床したことを検知するステップと、
   前記見守り対象者が前記ベッドから離床したことを検知した後に取得された撮影画像について、抽出された前記前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド外に現れた前景領域が前記ベッド上に移動したか否かを判定し、前記ベッド外に現れた前景領域が前記ベッド上に移動したと判定した場合に、前記見守り対象者が前記ベッドに就床したことを検知するステップと、
   前記見守り対象者の就床を検知する前に、前記見守り対象者の離床を検知してからの経過時間が一定時間を超えた場合に、当該見守り対象者が一定時間以上離床していることを知らせるための通知を行うステップと、
   を実行させ、
   前記就床したことを検知するステップでは、前記コンピュータに、前記ベッド外に現れた前景領域がベッド側部に設けられた所定の領域内に移動した場合に、更に、前記前景領域内において、前記見守り対象者の頭部が写る頭部領域と肩部が写る肩部領域とを推定させ、推定した当該頭部領域の重心が当該肩部領域の重心よりも前記ベッドの外側に位置するときに、前記ベッド外に現れた前景領域が前記ベッド上に移動したと判定させて、前記見守り対象者が前記ベッドに就床したことを検知させる、
   ための画像解析プログラム。