以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。
§1 適用場面
まず、図1を用いて、本発明が適用される場面について説明する。図1は、本実施形態に係る画像解析装置1が用いられる場面を模式的に例示する。本実施形態に係る画像解析装置1は、カメラ2によって見守り対象者を撮影し、それにより得られた撮影画像3を画像解析することで、見守り対象者の行動を検知する情報処理装置である。そのため、本実施形態に係る画像解析装置1は、見守り対象者の見守りを行う場面で広く利用可能である。
具体的には、図1で例示されるように、見守り対象者のベッドにおける行動を見守るためにカメラ2が設置されており、画像解析装置1は、このカメラ2によって見守り対象者を撮影する。カメラ2は、本発明の「撮影装置」に相当する。また、見守り対象者は、見守りの対象となる人物であり、例えば、入院患者、施設入居者、要介護者である。
カメラ2は、撮影画像3内の各画素に対応する深度を取得可能に構成される。本実施形態では、カメラ2は、各画素の深度を取得可能なように、被写体の深度を測定する深度センサ(後述する深度センサ21)を含んでいる。そのため、カメラ2により撮影される撮影画像3は、後述する図6に例示されるように、画素毎に得られる深度を示す深度データを含んでいる。この深度データの示す各画素の深度は、各画素に写る被写体の深さを表現する。そのため、この深度データによれば、カメラ2の設置位置及び撮影方向に依存することなく、撮影画像3に写る被写体の実空間上の位置を特定することができる。
なお、この撮影画像3は、撮影範囲(画角)内の被写体の深度を示すデータを含んでいればよく、例えば、撮影範囲内の被写体の深度が二次元状に分布したデータ(例えば、深度マップ)であってもよい。また、撮影画像3は、深度データとともに、RGB画像を含んでもよい。更に、撮影画像3は、動画像であってもよいし、1又は複数枚の静止画像であってもよい。
本実施形態では、画像解析装置1は、このような撮影画像3をカメラ2から取得する。そして、画像解析装置1は、取得された撮影画像3と当該撮影画像3の背景に設定された背景画像(後述する背景画像4)との差分を算出することにより、撮影画像3内において前景領域を抽出する。すなわち、画像解析装置1は、いわゆる背景差分法に基づいて、撮影画像3の前景領域を抽出する。
この前景領域は、背景画像から変化の生じた場所で抽出される。そのため、見守り対象者が何らかの行動を行った場合には、当該行動に起因して見守り対象者が移動した場所に、当該見守り対象者に対応する前景領域が抽出される。例えば、図1に例示されるように、見守り対象者がベッド上で起き上がった場合には、ベッド面上の所定の高さの範囲に前景領域が現れる。すなわち、見守り対象者の行動に応じた場所に前景領域が現れる。そのため、抽出された前景領域とベッドとの実空間上の位置関係に基づいて、見守り対象者の行動を解析することができる。
具体的には、見守り対象者がベッドから離床する場合には、見守り対象者の起き上がり等に際して前景領域がベッド上に現れ、そのような場所に現れた前景領域がベッドから離れる方向に移動すると想定される。これに対して、見守り対象者以外の人物(以下、「第三者」とも記載する)は、カメラ2の撮影範囲に存在しても、このような動作を行うことはないと想定される。すなわち、一般的には、第三者に対応する前景領域は、ベッド周囲で発生するに過ぎず、ベッド上で発生することはないと想定される。
そこで、本実施形態に係る画像解析装置1は、撮影画像3から抽出された前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド上に現れた前景領域がベッドから所定距離以上離れた位置に移動したか否かを判定する。そして、本実施形態に係る画像解析装置1は、ベッド上に現れた前景領域がベッドから所定距離以上離れた位置に移動したと判定した場合に、見守り対象者がベッドから離床したことを検知する。したがって、本実施形態によれば、カメラ2の撮影範囲に第三者が存在する場合であっても、この第三者に対応する前景領域を見守り対象者に対応する前景領域と誤認識することなく、見守り対象者の離床を適切に検知することができる。そのため、本実施形態によれば、見守り対象者の離床を検知してからの経過時間の計測を正確に開始することができる。
また、見守り対象者がベッドに就床する場合には、ベッドから離床した見守り対象者がベッド近傍に戻るのに際して、ベッド外の場所で前景領域が抽出されると想定される。例えば、見守り対象者が離床に伴いカメラ2の撮影範囲から退出した場合には、見守り対象者が再びカメラ2の撮影範囲に進入するのに際して、撮影画像3のフレーム近傍で前景領域が抽出される。そして、見守り対象者がベッドに就床するのに際して、そのような場所に現れた前景領域はベッド上に移動すると想定される。これに対して、第三者は、カメラ2の撮影範囲に進入しても、見守り対象者のベッドに就床することはないと想定される。すなわち、第三者に対応する前景領域は、ベッド周囲を移動するに過ぎず、ベッド上には移動しないものと想定される。
そこで、本実施形態に係る画像解析装置1は、見守り対象者の離床を検知した後に取得された撮影画像3について、抽出された前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド外に現れた前景領域がベッド上に移動したか否かを判定する。そして、本実施形態に係る画像解析装置1は、ベッド外に現れた前景領域がベッド上に移動したと判定した場合に、見守り対象者がベッドに就床したことを検知する。したがって、本実施形態によれば、見守り対象者がベッドから離床した後にカメラ2の撮影範囲に第三者が進入しても、この第三者に対応する前景領域を見守り対象者に対応する前景領域と誤認識することなく、見守り対象者の就床を適切に検知することができる。そのため、本実施形態によれば、見守り対象者の離床を検知してからの経過時間の計測を正確に停止することができる。
そして、本実施形態に係る画像解析装置1は、見守り対象者の就床を検知する前に、見守り対象者の離床を検知してからの経過時間が一定時間を超えた場合に、当該見守り対象者が一定時間以上離床していることを知らせるための通知を行う。すなわち、本実施形態によれば、見守り対象者の離床と就床とを適切に検知可能な状況下で、当該見守り対象者の離床を検知してからの経過時間に基づく、当該見守り対象者の離床に関する警報を実行することができる。したがって、本実施形態によれば、カメラ2の撮影範囲に第三者が存在することに起因する見守り対象者の離床に関する誤検知を防止することができ、これによって、見守り対象者の離床に関する警報を精度よく実行することができる。
つまり、本実施形態では、画像解析装置1は、撮影画像3を継続的に取得し、継続的に取得される撮影画像3それぞれについて前景領域を抽出する。画像解析装置1は、この継続的に取得される撮影画像3に基づいて、まずは、見守り対象者の離床の検知判定の処理を実行する。この見守り対象者の離床の検知判定の処理は、見守り対象者の離床を検知するまで繰り返される。
そして、見守り対象者の離床を検知した後、画像解析装置1は、当該離床の検知判定の処理を停止し、見守り対象者の就床の検知判定の処理を開始する。すなわち、画像解析装置1は、見守り対象者の離床を検知した後に取得された撮影画像3に基づいて、見守り対象者の就床の検知判定の処理を実行する。この見守り対象者の就床の検知判定の処理は、見守り対象者の就床を検知するまで繰り返される。
また、この見守り対象者の就床の検知判定の処理を繰り返している間に、見守り対象者が離床してからの経過時間が一定時間を超えたか否かの判定処理が実行される。そして、本実施形態に係る画像解析装置1は、見守り対象者の就床を検知する前に、見守り対象者が離床してからの経過時間が一定時間を超えた場合に、上記見守り対象者が一定時間以上離床していることを知らせるための通知処理を実行する。
これによって、本実施形態によれば、見守りを行う空間(ベッド)に見守り対象者が一定時間以上不在である場合に、見守り対象者が一定時間以上不在であることを、当該見守り対象者の見守りを行う見守り者等に知らせることができる。したがって、本実施形態に係る画像解析装置1によれば、見守り対象者がベッドから長時間離床している状態を放置するのを防止することができ、当該見守り対象者の見守りを適切に行うことができる。
なお、図1では、カメラ2は、ベッドのフットボード側から見守り対象者を撮影するように配置されている。しかしながら、カメラ2の設置位置は、このような例に限定されなくてもよく、見守り対象者のベッドにおける行動を撮影可能であれば、いかなる場所に配置されてもよい。
また、画像解析装置1の配置場所は、カメラ2から撮影画像3を取得可能であれば、実施の形態に応じて適宜決定可能である。例えば、画像解析装置1は、図1に例示されるように、カメラ2に近接するように配置されてもよい。また、画像解析装置1は、ネットワークを介してカメラ2と接続してもよく、当該カメラ2とは全く異なる場所に配置されてもよい。
§2 構成例
<ハードウェア構成>
次に、図2を用いて、画像解析装置1のハードウェア構成を説明する。図2は、本実施形態に係る画像解析装置1のハードウェア構成を例示する。画像解析装置1は、図2に例示されるように、CPU、RAM(Random Access Memory)、ROM(Read Only Memory)等を含む制御部11、制御部11で実行するプログラム5等を記憶する記憶部12、画像の表示と入力を行うためのタッチパネルディスプレイ13、音声を出力するためのスピーカ14、外部装置と接続するための外部インタフェース15、ネットワークを介して通信を行うための通信インタフェース16、及び記憶媒体6に記憶されたプログラムを読み込むためのドライブ17が電気的に接続されたコンピュータである。図2では、通信インタフェース及び外部インタフェースは、それぞれ、「通信I/F」及び「外部I/F」と記載されている。
なお、画像解析装置1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部11は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ13は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。また、例えば、スピーカ14は省略されてもよい。また、例えば、スピーカ14は、画像解析装置1の内部装置としてではなく、外部装置として画像解析装置1に接続されてもよい。また、画像解析装置1はカメラ2を内蔵してもよい。更に、画像解析装置1は、複数の外部インタフェース15を備えてもよく、複数の外部装置と接続してもよい。
本実施形態では、カメラ2は、外部インタフェース15を介して画像解析装置1に接続しており、見守り対象者を撮影するために設置されている。本実施形態に係るカメラ2は、被写体の深度を測定するための深度センサ21を備えている。この深度センサ21の種類及び測定方法は、実施の形態に応じて適宜選択されてよい。例えば、深度センサ21として、TOF(Time Of Flight)方式等のセンサを挙げることができる。
ただし、カメラ2の構成は、被写体の深度を取得可能であれば、このような例に限定されなくてもよく、実施の形態に応じて適宜選択可能である。例えば、カメラ2は、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。また、カメラ2は、深度センサ21単体に置き換わってもよい。
なお、見守り対象者を撮影する場所は暗い可能性がある。そこで、撮影場所の明るさに影響されずに深度を取得可能なように、深度センサ21は、赤外線の照射に基づいて深度を測定する赤外線深度センサであってもよい。このような赤外線深度センサを含む比較的安価な撮影装置として、例えば、マイクロソフト社のKinect、ASUS社のXtion、Occipital社のStructure Sensorを挙げることができる。
ここで、図3を用いて、本実施形態に係る深度センサ21によって測定される深度を詳細に説明する。図3は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図3で例示されるように、被写体の深さは、例えば、カメラ2と対象物との直線の距離Aで表現されてもよいし、カメラ2の被写体に対する水平軸から下ろした垂線の距離Bで表現されてもよい。
すなわち、本実施形態に係る深度は、距離Aであってもよいし、距離Bであってもよい。本実施形態では、距離Bを深度として扱うことにする。ただし、距離Aと距離Bとは、例えば、三平方の定理等を用いることで、互いに変換可能である。そのため、距離Bを用いた以降の説明は、そのまま、距離Aに適用することが可能である。このような深度を利用することで、本実施形態に係る画像解析装置1は、実空間上における被写体の位置を特定することができる。
このカメラ2は、見守り対象者のベッドにおける行動を見守るために、ベッド周辺の領域を撮影可能なように設置される。例えば、上記のとおり、図1では、カメラ2は、ベッドのフットボード側から見守り対象者を撮影するように配置されている。ただし、本実施形態では、カメラ2は、このように被写体の深度を測定可能に構成される。そのため、本実施形態では、カメラ2の設置場所及び撮影方向に依存することなく、被写体の実空間上の位置を特定することができる。したがって、カメラ2の設置場所及び撮影方向は、比較的に自由に設定することができる。
また、本実施形態では、記憶部12は、プログラム5を格納する。このプログラム5は、画像解析装置1に後述する見守り対象者の見守りに関する処理手順を実行させるためのプログラムであり、本発明の「画像解析プログラム」に相当する。このプログラム5は記憶媒体6に記録されていてもよい。
記憶媒体6は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体6は、本発明の「記憶媒体」に相当する。なお、図2は、記憶媒体6の一例として、CD(Compact Disk)、DVD(Digital Versatile Disk)等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体6の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
なお、このような画像解析装置1は、例えば、提供されるサービス専用に設計された装置であってもよいし、PC(Personal Computer)、タブレット端末等の汎用の装置であってもよい。更に、画像解析装置1は、1又は複数のコンピュータにより実装されてもよい。
<機能構成例>
次に、図4を用いて、画像解析装置1の機能構成を説明する。図4は、本実施形態に係る画像解析装置1の機能構成を例示する。本実施形態では、画像解析装置1の制御部11は、記憶部12に記憶されたプログラム5をRAMに展開する。そして、制御部11は、RAMに展開されたプログラム5をCPUにより解釈及び実行して、各構成要素を制御する。これにより、画像解析装置1は、画像取得部111、前景抽出部112、離床検知部113、就床検知部114及び通知部115を備えるコンピュータとして機能する。
画像取得部111は、カメラ2によって撮影された撮影画像3を取得する。カメラ2には深度センサ21が含まれているため、取得される撮影画像3には、当該撮影画像3内の各画素の深度を示す深度データが含まれる。前景抽出部112は、取得された撮影画像3と当該撮影画像3の背景に設定された背景画像4との差分を算出することにより、取得された撮影画像3の前景領域を抽出する。すなわち、前景抽出部112は、いわゆる背景差分法に基づいて、背景から変化した領域である前景領域を撮影画像3において抽出する。
上記のとおり、前景領域は、背景画像4から変化の生じた場所で抽出される。そのため、見守り対象者が何らかの行動を行った場合には、当該行動に起因して見守り対象者が移動した場所に、当該見守り対象者に対応する前景領域が抽出される。そこで、離床検知部113は、抽出された前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド上に現れた前景領域が前記ベッドから所定距離以上離れた位置に移動したか否かを判定する。そして、離床検知部113は、当該ベッド上に現れた前景領域がベッドから所定距離以上離れた位置に移動したと判定した場合に、見守り対象者がベッドから離床したことを検知する。
また、就床検知部114は、見守り対象者がベッドから離床したことを検知した後に取得された撮影画像3について、抽出された前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド外に現れた前景領域がベッド上に移動したか否かを判定する。そして、就床検知部114は、当該ベッド外に現れた前景領域がベッド上に移動したと判定した場合に、見守り対象者がベッドに就床したことを検知する。
そして、通知部115は、見守り対象者の就床を検知する前に、見守り対象者の離床を検知してからの経過時間が一定時間を超えた場合に、見守り対象者が一定時間以上離床していることを知らせるための通知を行う。すなわち、通知部115は、見守り対象者の離床が一定時間以上継続していると認定される場合に、見守り対象者が一定時間以上離床していることを知らせる警報を実行する。
なお、本実施形態では、これらの機能がいずれも汎用のCPUによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、画像解析装置1の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。各機能に関しては後述する動作例で詳細に説明する。
§3 動作例
次に、図5を用いて、画像解析装置1の動作例を説明する。図5は、画像解析装置1による見守り対象者の見守りに関する処理手順を例示する。なお、以下で説明する見守り対象者の見守りに関する処理手順は、本発明の「画像解析方法」に相当する。ただし、以下で説明する見守り対象者の見守りに関する処理手順は一例に過ぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換及び追加が可能である。
(概要)
本実施形態では、制御部11は、まず、ステップS101〜S104の処理によって、見守り対象者の離床を検知する判定処理を実行する。ステップS101〜S104の処理は、見守り対象者の離床を検知するまで繰り返される。見守り対象者の離床を検知すると、制御部11は、次に、ステップS105〜S109の処理によって、見守り対象者の就床を検知する判定処理を実行しつつ、見守り対象者が離床してからの経過時間を判定する。そして、見守り対象者が離床してからの経過時間が一定時間を超える前に、見守り対象者の就床を検知した場合には、制御部11は、本動作例に係る処理を終了する。一方、見守り対象者の就床を検知する前に、見守り対象者が離床してからの経過時間が一定時間を超えた場合には、ステップS110において、見守り対象者が一定時間以上離床していることを知らせるための通知を行う。以下、各処理について、詳細に説明する。
(ステップS101)
ステップS101では、制御部11は、画像取得部111として機能し、カメラ2により撮影された撮影画像3を取得する。そして、撮影画像3を取得すると、制御部11は、次のステップS102に処理を進める。
上記のとおり、本実施形態では、カメラ2は、深度センサ21を備えている。そのため、本ステップS101において取得される撮影画像3には、各画素の深度を示す深度データが含まれている。制御部11は、この深度データを含む撮影画像3として、例えば、図6で例示される撮影画像3を取得する。
図6は、深度データを含む撮影画像3の一例を示す。図6で例示される撮影画像3は、各画素の濃淡値が当該各画素の深度に応じて定められた画像である。黒色の画素ほど、カメラ2に近いことを示す。一方、白色の画素ほど、カメラ2から遠いことを示す。この撮影画像3は、深度画像と称されてもよい。制御部11は、この深度データに基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部11は、撮影画像3内の各画素の座標(二次元情報)と深度とから、当該各画素内に写る被写体の三次元空間(実空間)での位置を特定することができる。以下、図7及び図8を用いて、制御部11が各画素の実空間上での位置を特定する計算例を示す。
図7は、撮影画像3内の座標関係を例示する。また、図8は、撮影画像3の任意の画素(点s)とカメラ2との実空間内での位置関係を例示する。なお、図7の左右方向は、図8の紙面に垂直な方向に対応する。すなわち、図8で表れている撮影画像3の長さは、図7で例示される縦方向の長さ(Hピクセル)に対応する。また、図7で例示される横方向の長さ(Wピクセル)は、図8で表れていない撮影画像3の紙面垂直方向の長さに対応する。
図7で例示されるように、撮影画像3の任意の画素(点s)の座標が(xs,ys)であるとし、カメラ2の横方向の画角がVx、縦方向の画角がVyであるとする。また、撮影画像3の横方向のピクセル数がWであるとし、縦方向のピクセル数がHであるとし、撮影画像3の中心点(画素)の座標が(0,0)であるとする。
制御部11は、カメラ2の画角(Vx、Vy)を示す情報をカメラ2から取得することができる。ただし、カメラ2の画角(Vx、Vy)を示す情報を取得する方法はこのような例に限られず、制御部11は、カメラ2の画角(Vx、Vy)を示す情報を、ユーザ入力に基づき取得してもよいし、予め設定されている設定値として取得してもよい。また、制御部11は、撮影画像3から、点sの座標(xs,ys)及び撮影画像3のピクセル数(W×H)を取得することができる。更に、制御部11は、撮影画像3に含まれる深度データを参照することによって、点sの深度Dsを取得することができる。
制御部11は、これらの情報を利用することで、当該各画素(点s)の実空間上の位置を特定することができる。例えば、制御部11は、以下の数1〜3で示される関係式に基づいて、図8に例示されるカメラ座標系におけるカメラ2から点sまでのベクトルS(Sx,Sy,Sz,1)の各値を算出することができる。これにより、撮影画像3内の二次元座標系における点sの位置とカメラ座標系における点sの位置とは相互に変換可能になる。
ただし、上記ベクトルSは、カメラ2を中心とした三次元座標系のベクトルである。このカメラ2は、図8に例示されるように、水平方向に対して傾いている場合がある。すなわち、カメラ座標系は、三次元空間(実空間)のワールド座標系から傾いている場合がある。そのため、制御部11は、カメラ2のロール角、ピッチ角(図8のα)及びヨー角を用いた射影変換を上記ベクトルSに適用することによって、上記カメラ座標系のベクトルSをワールド座標系のベクトルに変換し、ワールド座標系における点sの位置を算出してもよい。
なお、撮影画像3は、動画像であってもよいし、1又は複数枚の静止画像であってもよい。また、制御部11は、このような撮影画像3を、カメラ2のビデオ信号に同期して取得してもよい。そして、制御部11は、カメラ2と同期して取得した撮影画像3に対して、後述するステップS102〜S104までの処理を即座に実行してもよい。画像解析装置1は、このような動作を絶え間なく継続的に実行することにより、カメラ2の撮影範囲に存在する見守り対象者の離床をリアルタイムに検知することができる。以下では、このように継続的に取得される撮影画像3により見守り対象者の離床を検知する例を説明する。
(ステップS102)
図5に戻り、次のステップS102では、制御部11は、前景抽出部112として機能し、ステップS101で取得された撮影画像3と当該撮影画像3の背景に設定された背景画像4との差分を算出することにより、当該撮影画像3の前景領域を抽出する。背景画像4は、背景差分法に基づいて撮影画像3において前景領域を抽出するために利用されるデータである。制御部11は、例えば、当該見守り対象者の見守りを開始したとき等任意のタイミングに取得される撮影画像3によって、この背景画像4を作成することができる。
なお、撮影画像3により背景画像4を作成する方法は、実施の形態に応じて適宜選択されてよい。例えば、制御部11は、カメラ2により得られる1フレーム分の撮影画像3をそのまま背景画像4に設定してもよい。また、例えば、制御部11は、カメラ2により得られる数フレーム分の撮影画像3の平均を算出することで、背景画像4を作成してもよい。これによって、各画素の深度を示す深度データを含む背景画像4を生成することができる。
本ステップS102では、制御部11は、このように作成される背景画像4とステップS101で取得した撮影画像3との差分を算出することにより、ステップS101で取得した撮影画像3において前景領域を抽出する。例えば、制御部11は、図9及び図10で例示されるように、撮影画像3において前景領域を抽出することができる。
図9は、撮影画像3に含まれる深度データに基づいて特定される撮影範囲内の各画素(被写体)の三次元分布を例示する。図10は、図9で例示した被写体のうち撮影画像3から抽出される前景領域の三次元分布を例示する。上記のとおり、深度データに基づいて、撮影画像3の各画素の三次元空間(実空間)上の位置を特定することができる。そのため、制御部11は、撮影画像3内の位置と深度とにより各画素を三次元空間内でプロットすることで、図6で例示される撮影画像3から、図9で例示される三次元分布を作成することができる。また、背景画像4も、撮影画像3と同様に、深度データを含んでいる。そのため、制御部11は、背景画像4についても、図9で例示されるような各画素の三次元分布を特定することができる。
そこで、制御部11は、撮影画像3及び背景画像4の対応する画素の深度を比較する。そして、制御部11は、撮影画像3と背景画像4とで深度の相違する画素を前景領域として抽出する。これによって、制御部11は、図10で例示されるような前景領域を抽出することができる。ステップS101で取得した撮影画像3において前景領域を抽出すると、制御部11は、次のステップS103に処理を進める。
(ステップS103)
図5に戻り、次のステップS103では、制御部11は、離床検知部113として機能し、見守り対象者の離床を検知する判定処理を実行する。すなわち、制御部11は、ステップS102で抽出された前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド上に現れた前景領域がベッドから所定距離以上離れた位置に移動したか否かを判定する。
そして、本ステップS103において、ベッド上に現れた前景領域がベッドから所定距離以上離れた位置に移動したと判定できた場合には、制御部11は、見守り対象者の離床を検知した上で、次のステップS104に処理を進める。一方、そのような判定ができなかった場合には、制御部11は、見守り対象者の離床を検知することなく、次のステップS104に処理を進める。
ここで、図11A、図11B、図12A及び図12Bを用いて、本ステップS103において、見守り対象者の離床を検知する判定処理を具体的に説明する。図11Aは、見守り対象者が離床する際にベッドから起き上がった場面を模式的に例示する。図11Bは、見守り対象者がベッドから所定距離HA以上離れた位置に移動した場面を模式的に例示する。図12Aは、図11Aの場面の際に抽出される前景領域の位置を模式的に例示する。また、図12Bは、図11Bの場面の際に抽出される前景領域の位置を模式的に例示する。なお、以下では、説明の便宜のため、ベッドのヘッドボードとフットボードとを結ぶ方向を「前後方向」と称し、ベッド側部(サイドフレーム)間を結ぶ方向を「左右方向」と称し、ベッドの鉛直方向を「上下方向」と称する。
ベッドから離床する際には、まず、見守り対象者は、ベッドから立ち上がるため、ベッド上で身体を動かす。例えば、図11Aに例示されるように、見守り対象者は、上半身を起こす動作をベッド上で行う。そして、見守り対象者は、ベッド側部において立ち上がり、図11Bに例示されるようにベッドから離れる方向に移動する。
そのため、見守り対象者の離床を検知するまで繰り返されるステップS101〜S104の一連の処理において、繰り返し実行される上記ステップS101では、結果的に、このような見守り対象者の一連の動作を撮影した撮影画像3の画像群が取得される。そして、上記ステップS102では、この画像群に含まれる最初の方の撮影画像3において、図12Aに例示されるように、見守り対象者に対応する前景領域がベッド面SUの上方で抽出される。一方、この画像群に含まれる最後の方の撮影画像3では、図12Bに例示されるように、見守り対象者がベッドから離れるに従って、この見守り対象者に対応する前景領域もベッドから離れた位置で抽出されるようになる。
そこで、本実施形態では、制御部11は、次のようにして、見守り対象者の離床を検知する。すなわち、制御部11は、まず、ベッド上に現れる前景領域を捕捉する。具体的には、ステップS102において、図12Aに例示されるように、ベッド面SUの上方で前景領域が抽出された場合に、制御部11は、本ステップS103において、見守り対象者の離床を検知しないが、この前景領域をトラッキングの対象とする。ベッド面SUの範囲は、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。これによって、制御部11は、これ以降のステップS101で繰り返し取得される撮影画像3の画像群において、同一の対象(見守り対象者)の写る前景領域を追跡することができる。
そして、制御部11は、トラッキングしている前景領域とベッドとの間の距離を算出し、算出した距離が所定距離HA以上であるか否かを判定する。前景領域とベッドとの間の距離は公知の方法により適宜算出可能である。トラッキングしている前景領域とベッドとの間の距離が所定距離HA以上ではない場合には、制御部11は、見守り対象者の離床を検知せず、その前景領域のトラッキングを継続する。一方、トラッキングしている前景領域とベッドとの間の距離が所定距離HA以上である場合には、制御部11は、ベッド上に現れた前景領域がベッドから所定距離HA以上離れた位置に移動したと判定し、見守り対象者の離床を検知する。
なお、見守り対象者がベッド上で起き上がった場合には、ベッド面SUから所定の高さ以上の位置で前景領域が抽出され得る。そのため、制御部11は、ベッド面SUから所定の高さ以上に現れた前景領域に限りトラッキングの対象としてもよい。この所定の高さは、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。この所定の高さの値は、見守り対象者が離床する際にベッド上で発生し得る前景領域の高さに基づいて適宜設定されてよい。
この場合、制御部11は、前景領域に含まれる任意の点の位置を前景領域の位置として取り扱ってもよい。例えば、制御部11は、以下の数4の式で算出される前景領域の重心の位置を前景領域の位置として取り扱ってもよい。以下、その他の場面における前景領域の位置についても同様である。
なお、wは、任意の画素(点s)の実空間内における横方向の長さを示す。また、hは、任意の画素(点s)の実空間内における縦方向の長さを示す。w及びhは、後述する数5及び数6によりそれぞれ算出することができる。ここで、Mは、前景領域Fに含まれる画素(点s)のベクトルSの面積平均である。すなわち、Mは、前景領域の実空間内での平均の位置を示す。そのため、このMにより示される位置を前景領域の重心の位置として取り扱うことができる。
また、制御部11は、ベッド面SUの上方に所定範囲の捕捉領域を設け、この捕捉領域に現れた前景領域に限りトラッキングの対象としてもよい。この場合、この捕捉領域の前後方向、左右方向及び上下方向それぞれの長さは、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。上記と同様に、この捕捉領域は、見守り対象者が離床する際にベッド上で発生し得る前景領域を適切に捕捉可能に適宜設定される。
また、見守り対象者の離床を検知する基準となる所定距離HAの値は、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。更に、図12Bは、ベッドの左右方向の両側に見守り対象者が離床可能な場面を例示している。しかしながら、見守り対象者の離床を検知する方向は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。例えば、見守り対象者が離床可能な方向は、図12Bで例示されるような二方向ではなく、一方向に限られてもよい。また、例えば、制御部11は、前景領域とベッドとの前後方向の距離に基づいて、見守り対象者の離床を検知してもよい。
また、ステップS102で抽出される前景領域は、人物以外の物体(例えば、カーテン等)に対応する可能性がある。そこで、このような人物以外の物体に対応する前景領域をステップS103の処理の対象から排除すべく、制御部11は、ステップS102で抽出された前景領域が見守り対象者等の人物の写る領域であるか否かを判定する処理を行ってもよい。例えば、このような判定処理は次のように行うことができる。
すなわち、ステップS102で抽出された前景領域が見守り対象者等の人物の写る領域である場合、この前景領域の形状は、その人物の形状に対応する。そのため、制御部11は、パターンマッチング等の画像処理によって、ステップS102で抽出された前景領域の形状が見守り対象者等の人物に対応するか否かを判定してもよい。そして、パターンマッチングの結果、制御部11は、人物の形状に対応しない前景領域をステップS103の処理対象から除外し、人物の形状に対応する前景領域をステップS103の処理対象としてもよい。
また、ステップS102で抽出された前景領域が見守り対象者等の人物の写る領域である場合、この前景領域の面積は、その人物の大きさに対応する。そのため、制御部11は、前景領域の面積が所定の面積範囲に含まれるか否かを判定してもよい。この所定の面積範囲は、見守り対象者の写る前景領域の面積として取り得る値をカバーするように設定される。そして、制御部11は、所定の面積範囲に含まれない面積の前景領域をステップS103の処理対象から除外し、所定の面積範囲に含まれる面積の前景領域をステップS103の処理対象としてもよい。
このとき、前景領域の面積は、前景領域に含まれる画素数により与えられてもよい。ただし、カメラ2から被写体が遠ざかるほど、撮影画像3内の被写体の像は小さくなり、カメラ2に被写体が近づくほど、撮影画像3内の被写体の像は大きくなる。撮影画像3内に写る被写体の深度は被写体の表面に対して取得されるが、その撮影画像3の各画素に対応する被写体の表面部分の面積は各画素間で一致するとは限らない。
そこで、制御部11は、被写体の遠近による影響を除外するために、本ステップS103において、各画素の深度を利用して、抽出した前景領域の実空間における面積を算出してもよい。前景領域の実空間における面積は、例えば、次のようにして算出することができる。すなわち、制御部11は、まず、以下の数5及び数6の関係式に基づいて、図7及び図8に例示される任意の点s(1画素)の実空間内における横方向の長さw及び/又は縦方向の長さhをそれぞれ算出する。
続いて、制御部11は、このように算出されるwの2乗、hの2乗、又はwとhとの積によって、深度Dsにおける1画素の実空間内での面積を算出する。そして、制御部11は、前景領域に含まれる各画素の実空間内での面積の総和を求めることで、前景領域の実空間における面積を算出する。これにより、被写体の遠近の影響を除外した上で、前景領域の面積を求めることができる。以下、その他の場面における前景領域の面積についても同様である。
なお、このような面積は、深度データのノイズ、見守り対象者以外の物体の動き、等によって、大きく変化してしまう場合がある。これに対応するため、制御部11は、数フレーム分の面積の平均を利用してもよい。また、制御部11は、処理対象のフレームにおける該当領域の面積と当該処理対象のフレームよりも過去の数フレームにおける当該該当領域の面積の平均との差が所定範囲を超える場合、当該該当領域を処理対象から除外してもよい。
本実施形態では、以上の処理によって、見守り対象者の離床を検知することができる。ただし、見守り対象者の離床を検知する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜変更されてよい。
(ステップS104)
図5に戻り、次のステップS104では、制御部11は、ステップS103において見守り対象者のベッドからの離床を検知したか否かを判定する。ステップS103において見守り対象者のベッドからの離床を検知しなかった場合には、制御部11は、ステップS101に処理を戻す。すなわち、制御部11は、見守り対象者の離床を検知するまで、見守り対象者の離床を検知する判定処理(ステップS101〜S104)を繰り返す。
一方、ステップS103において見守り対象者のベッドからの離床を検知した場合には、制御部11は、次のステップS105に処理を進める。すなわち、見守り対象者の離床を検知すると、制御部11は、見守り対象者の就床を検知する判定処理及び見守り対象者の離床してからの経過時間(以下、「離床経過時間」とも記載する)が一定時間を超えたか否かを判定する処理の実行を開始する。このとき、制御部11は、後述するステップS109の処理において離床経過時間を特定するため、タイマを起動し、離床経過時間をこのタイマにより計測してもよい。また、制御部11は、見守り対象者の離床を検知した時刻を保持してもよい。
(ステップS105及びステップS106)
次のステップS105では、制御部11は、画像取得部111として機能し、上記ステップS101と同様に、カメラ2より撮影画像3を取得する。そして、撮影画像3を取得した後、ステップS106では、制御部11は、前景抽出部112として機能し、上記ステップS102と同様に、撮影画像3と背景画像4との差分を算出することで、当該撮影画像3の前景領域を抽出する。
上記のとおり、ステップS105〜S109の処理は、見守り対象者の就床を検知する判定処理及び離床経過時間が一定時間を超えたか否かを判定する処理に対応する。このステップS105〜S109の処理は、見守り対象者の就床を検知する又は離床経過時間が一定時間を超えるまで実行される。そのため、見守り対象者の就床を検知する又は離床経過時間が一定時間を超えるまで、上記ステップS101及びステップS102と同様に、本ステップS105及びステップS106の処理は繰り返し実行される。すなわち、見守り対象者の就床を検知する又は離床経過時間が一定時間を超えるまで、ステップS105により撮影画像3が継続的に取得され、ステップS106により、継続的に取得される撮影画像3の前景領域が抽出される。
(ステップS107)
次のステップS107では、制御部11は、就床検知部114として機能し、見守り対象者の離床を検知した後に取得された撮影画像3について、見守り対象者の就床を検知する判定処理を実行する。すなわち、制御部11は、ステップS106により抽出された前景領域に含まれる各画素の深度を参照することで、実空間上で、ベッド外に現れた前景領域がベッド上に移動したか否かを判定する。
そして、本ステップS107において、ベッド外に現れた前景領域がベッド上に移動したと判定できた場合には、制御部11は、見守り対象者の就床を検知した上で、次のステップS108に処理を進める。一方、そのような判定ができなかった場合には、制御部11は、見守り対象者の就床を検知することなく、次のステップS108に処理を進める。
ここで、図13A〜図13C及び図14A〜図14Cを用いて、本ステップS107において、見守り対象者の就床を検知する判定処理を具体的に説明する。図13Aは、ベッドから離床した見守り対象者がベッド付近に戻ってきた場面を模式的に例示する。図13Bは、見守り対象者が就床する際に端座位を行っている場面を模式的に例示する。図13Cは、見守り対象者がベッド上で就寝した場面を模式的に例示する。図14A〜図14Cはそれぞれ、図13A〜図13Cそれぞれの場面の際に抽出される前景領域の位置を模式的に例示する。
ベッドに就床する際には、まず、見守り対象者は、図13Aに例示されるように、ベッドから離れた位置からベッドに近付く方向に移動する。そして、見守り対象者は、図13Bに例示されるようにベッド側部において端座位を行い、図13Cに例示されるようにベッド上で就寝する。又は、見守り対象者は、図13Bに例示される端座位を省略して、図13Cに例示されるようにベッド上で就寝する。
そのため、見守り対象者の就床を検知するまでには、繰り返し実行される上記ステップS105では、結果的に、見守り対象者が端座位を行った上で就寝する又は端座位を行うことなく就寝する一連の動作を撮影した撮影画像3の画像群が取得され得る。そして、上記ステップS106では、この画像群に含まれる最初の方の撮影画像3において、図14Aに例示されるように、見守り対象者に対応する前景領域がベッド外で抽出される。この前景領域は、ベッド周辺を移動し、最終的にはベッド近傍に近付く。
その後、見守り対象者が端座位を行った場合には、その見守り対象者に対応する前景領域はベッド側部で一時的に停止する。すなわち、上記ステップS106では、見守り対象者が端座位を行っている間に取得された撮影画像3において、図14Bに例示されるように、見守り対象者に対応する前景領域がベッド側部で抽出される。
一方、見守り対象者が、端座位を行うことなく、ベッド上で就寝した場合には、ベッド近傍に近付いた前景領域は、そのままベッド上に移動する。すなわち、上記ステップS106では、見守り対象者が就寝したときに取得された撮影画像3において、図14Cに例示されるように、見守り対象者に対応する前景領域がベッド面SU直上の比較的に低い位置で抽出される。
そこで、本実施形態では、この端座位及び就寝姿勢の2つの状態に基づいて、見守り対象者の就床を検知する。すなわち、制御部11は、ベッド外に現れた前景領域がベッド側部に設けられた所定の領域DBに移動するか又はベッド面SU直上の所定の高さHCよりも低い位置に移動した場合に、見守り対象者の就床を検知する。
(1)端座位に基づく就床検知
第一に、端座位に基づいて就床を検知する方法を説明する。上記のとおり、端座位に基づいて就床を検知するまでには、図14Aに例示されるようにベッド外に前景領域が現れる。そして、そのベッド外に現れた前景領域が、図14Bに例示されるようにベッド側部に移動する。
そのため、制御部11は、次のようにして、見守り対象者の就床を検知することができる。すなわち、制御部11は、まず、ベッド外に現れる前景領域を捕捉する。具体的には、ステップS106において、図14Aに例示されるように、ベッド外に前景領域が抽出された場合に、制御部11は、本ステップS107において、見守り対象者の就床を検知しないが、この前景領域をトラッキングの対象とする。これによって、制御部11は、これ以降のステップS105で繰り返し取得される撮影画像3の画像群において、同一の対象(見守り対象者)の写る前景領域を追跡することができる。
そして、制御部11は、トラッキングしている前景領域がベッド側部に設けられた所定の領域DB内に移動したか否かを判定する。この所定の領域DBは、見守り対象者がベッド側部で端座位を行ったときに前景領域が抽出される場所に適宜設定される。
この判定の結果、トラッキングしている前景領域が所定の領域DB内に移動していない場合には、制御部11は、見守り対象者の就床を検知せず、その前景領域のトラッキングを継続する。一方、トラッキングしている前景領域が所定の領域DB内に移動した場合には、制御部11は、ベッド外に現れた前景領域がベッド上に移動したと判定し、見守り対象者の就床を検知する。
なお、上記ステップS103と同様に、制御部11は、前景領域の形状及び/又は面積に基づいて、処理対象とする前景領域を限定してもよい。更に、ベッド外に現れた前景領域を捕捉する領域は、ベッド外の領域であればよく、実施形態に応じて適宜設定されてよい。
また、トラッキングしている領域が所定の領域DB内に移動したか否かの判定は、図14Bに例示されるように前景領域の重心に基づいて行われてもよい。この前景領域の重心は、上記数4によって、算出可能である。この場合、所定の領域DBは、見守り対象者がベッド側部で端座位を行った時に抽出される前景領域の重心が存在し得る範囲を含むように適宜設定される。なお、トラッキングしている領域が所定の領域DB内に移動したか否かの判定は、前景領域の全体に基づいて行われてもよいし、前景領域の一部に基づいて行われてもよい。所定の領域DBは、判定の対象とする前景領域の基準に応じて適宜設定される。
また、図14Bでは、所定の領域DBは、左右方向の各ベッド側部に設定されている。しかしながら、いずれか一方のベッド側部で、所定の領域DBの設定が省略されてもよい。すなわち、制御部11は、所定の領域DBは、いずれか一方のベッド側部にのみ設定されてもよい。更に、図14Bでは、2つの所定の領域DBが左右方向に離間して設けられている。しかしながら、所定の領域DBの設定方法はこのような例に限定されなくてもよく、この2つの所定の領域DBを左右方向で連結することで、左右方向に延びる1つの所定の領域DBが設定されてもよい。加えて、このような所定の領域DBは、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。
また、見守り対象者がベッド側部で端座位を行っている間は、その見守り対象者に対応する前景領域はベッド側部で継続的に抽出される。そのため、制御部11は、ベッド外に現れた前景領域が一定時間以上継続して所定の領域DB内に留まっている場合に、ベッド外に現れた前景領域がベッド上に移動したと判定し、見守り対象者の就床を検知してもよい。これによって、何らかの物体がベッド側部を通過したような場合に、見守り対象者の就床を誤検知してしまうのを防止することができる。なお、見守り対象者の就床を検知する基準となる閾値(一定時間)は、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。
(2)就寝姿勢に基づく就床検知
第二に、就寝姿勢に基づいて就床を検知する方法を説明する。上記のとおり、就寝姿勢に基づいて就床を検知するまでには、図14Aに例示されるようにベッド外に前景領域が現れる。そして、そのベッド外に現れた前景領域が、図14Cに例示されるように、ベッド面SU直上の比較的に低い位置に移動する。
そのため、制御部11は、次のようにして、見守り対象者の就床を検知することができる。すなわち、制御部11は、まず、上記と同様に、ステップS106において、図14Aに例示されるように、ベッド外に前景領域が抽出された場合に、制御部11は、本ステップS107において、この前景領域をトラッキングの対象とする。これによって、制御部11は、これ以降のステップS105で繰り返し取得される撮影画像3の画像群において、同一の対象(見守り対象者)の写る前景領域を追跡することができる。
そして、制御部11は、トラッキングしている前景領域がベッド面SU直上の所定の高さHCよりも低い位置に移動したか否かを判定する。この所定の高さHCの値は、見守り対象者がベッド面SU上で就寝したときに抽出される前景領域の高さよりも高くなるように適宜設定される。
この判定の結果、トラッキングしている前景領域がベッド面SU直上の所定の高さHCよりも低い位置に移動していない場合には、制御部11は、見守り対象者の就床を検知せず、その前景領域のトラッキングを継続する。一方、トラッキングしている前景領域がベッド面SU直上の所定の高さHCよりも低い位置に移動した場合には、制御部11は、ベッド外に現れた前景領域がベッド上に移動したと判定し、見守り対象者の就床を検知する。
なお、上記と同様に、制御部11は、前景領域の形状及び/又は面積に基づいて、処理対象とする前景領域を限定してもよい。更に、ベッド外に現れた前景領域を捕捉する領域は、ベッド外の領域であればよく、実施形態に応じて適宜設定されてよい。
また、トラッキングしている領域がベッド面SU直上の所定の高さHCよりも低い位置に移動したか否かの判定は、上記と同様に、前景領域の重心に基づいて行われてもよいし、前景領域の全体に基づいて行われてもよいし、前景領域の一部に基づいて行われてもよい。所定の高さHCは、判定の対象とする前景領域の基準に応じて適宜設定される。この所定の高さHCは、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。
(3)その他
本実施形態では、制御部11は、上記2つの判定処理によって、見守り対象者の就床を検知することができる。ただし、見守り対象者の就床を検知する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜変更されてよい。例えば、制御部11は、上記2つの判定処理のうちいずれかを省略してもよい。また、例えば、制御部11は、上記2つの判定処理以外の処理によって、見守り対象者の就床を検知してもよい。
(ステップS108)
図5に戻り、次のステップS108では、制御部11は、ステップS107において見守り対象者がベッドに就床したことを検知したか否かを判定する。ステップS107において見守り対象者の就床を検知しなかった場合には、制御部11は、次のステップS109に処理を進める。
一方、ステップS107において見守り対象者の就床を検知した場合には、制御部11は、本動作例に係る処理を終了する。このとき、制御部11は、見守り対象者の離床を検知してから見守り対象者の就床を検知するまでの離床時間を特定し、この離床時間を記憶部12等に記録してもよい。離床時間を特定する方法は、実施の形態に応じて適宜選択されてよい。例えば、離床経過時間をタイマにより計測している場合には、制御部11は、この時点でタイマのカウントを停止し、当該タイマを参照することで、この離床時間を特定することができる。また、例えば、見守り対象者の離床を検知した時刻を保持している場合には、制御部11は、見守り対象者の離床を検知した時刻とこの処理の時点の時刻との差分を算出することで、離床時間を特定することができる。
なお、この場合には、見守り対象者はベッドに就床している。そのため、見守り対象者が再び離床するのに備えて、制御部11は、再びステップS101から処理を開始してもよい。すなわち、制御部11は、見守り対象者の離床を検知する判定処理から開始することで、見守り対象者の見守りを継続してもよい。
(ステップS109)
次のステップS109では、制御部11は、上記ステップS103により見守り対象者の離床を検知してからの離床経過時間が一定時間を超えたか否かを判定する。この判定の結果、離床経過時間が一定時間を超えていない場合には、制御部11は、ステップS105に処理を戻す。すなわち、見守り対象者の就床を検知する又は離床経過時間が一定時間を超えるまで、見守り対象者の就床を検知する判定処理及び離床経過時間が一定時間を超えたか否かを判定する処理を繰り返す。
一方、離床経過時間が一定時間を超えている場合には、制御部11は、次のステップS110に処理を進める。ここで、後述するステップS110では、見守り対象者が一定時間以上離床していることを知らせる警報が行われる。すなわち、この分岐の基準となる閾値(一定時間)は、当該警報を行う離床経過時間を規定する。この閾値(一定時間)は、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。
なお、この時点における離床経過時間は適宜特定することができる。例えば、離床経過時間をタイマにより計測している場合には、制御部11は、この時点でタイマを参照することで、この時点における離床検知時間を特定することができる。また、例えば、見守り対象者の離床を検知した時刻を保持している場合には、制御部11は、見守り対象者の離床を検知した時刻とこの処理の時点の時刻との差分を算出することで、この時点における離床検知時間を特定することができる。
また、本ステップS109の処理は、任意のタイミングで実行されてもよい。例えば、本ステップS109の処理は、ステップS105〜S108の処理とは別に、実行されてもよい。本ステップS109の処理が上記ステップS108の処理よりも前に実行される場合、上記ステップS108において見守り対象者の就床が検知されていないと判定されたときには、制御部11は、ステップS105に処理を戻す。
(ステップS110)
次のステップS110では、制御部11は、通知部115として機能し、見守り対象者が一定時間以上離床していることを知らせるための通知を行う。すなわち、制御部11は、上記ステップS107において見守り対象者の就床を検知する前に、上記ステップS109において離床経過時間が一定時間を超えたと判定した場合に、見守り対象者が一定時間以上不在であることを知らせる警報を実行する。
なお、通知先及び通知方法は、実施の形態に応じて適宜選択することができる。制御部11は、例えば、見守り対象者以外の第三者、特に、見守り対象者の行動を見守る見守り者に当該通知を行ってもよい。見守り対象者が、入院患者、施設入居者、要介護者等である場合、見守り者は、例えば、看護師、施設職員、介護者等である。また、制御部11は、見守り対象者自身に当該通知を行ってもよい。
例えば、本実施形態に係る画像解析装置1が病院等の施設で利用される場合、当該画像解析装置1は、外部インタフェース15を介して、ナースコールシステム等の設備と接続することができる。この場合、制御部11は、当該ナースコールシステム等の設備と連携して、見守り対象者が一定時間以上離床していることを知らせるための通知を行ってもよい。すなわち、制御部11は、外部インタフェース15を介して、当該ナースコールシステムを制御してもよい。そして、制御部11は、見守り対象者が一定時間以上離床していることを知らせるための通知として、当該ナースコールシステムによる呼び出しを行ってもよい。これによって、見守り対象者が一定時間以上ベッドから離れていることを当該見守り対象者の見守りを行う看護師等に適切に知らせることができる。
また、例えば、制御部11は、タッチパネルディスプレイ13による画面表示によって、見守り対象者が一定時間以上離床していることを知らせるための通知を行ってもよい。また、例えば、制御部11は、画像解析装置1に接続されるスピーカ14から所定の音声を出力することにより、見守り対象者が一定時間以上離床していることを知らせるための通知を行ってもよい。このタッチパネルディスプレイ13及びスピーカ14をそれぞれ見守り者の居室に設置することで、見守り対象者が一定時間以上ベッドから離れていることを当該見守り者に適切に知らせることができる。
また、例えば、制御部11は、電子メール、ショートメッセージサービス、プッシュ通知等を利用して、見守り対象者が一定時間以上離床していることを知らせるための通知を行ってもよい。このような通知を行う場合には、通知先となるユーザ端末の電子メールアドレス、電話番号等は記憶部12に予め登録されていてもよい。そして、制御部11は、この予め登録されている電子メールアドレス、電話番号等を利用して、見守り対象者が一定時間以上離床していることを知らせるための通知を行ってもよい。
本実施形態では、制御部11は、このような通知を行った後に、本動作例に係る処理が終了する。ただし、このように処理を終了した場合には、上記ステップS108で見守り対象者の就床を検知して処理を終了した場合とは異なり、見守り対象者の就床が検知されていない。すなわち、見守り対象者は離床したままベッドに戻っていない。そのため、この場合には、制御部11は、見守り対象者の就床を検知するまで、ステップS105〜S110の処理を繰り返してもよい。このとき、制御部11は、離床経過時間を新たに計測し始めるため、これまでの処理で計測した離床経過時間をリセットしてもよい。
(作用・効果)
以上のように、本実施形態に係る画像解析装置1は、まず、ステップS101〜S104の処理によって、見守り対象者の離床を検知する判定処理を実行する。次に、見守り対象者の離床を検知した後には、画像解析装置1は、見守り対象者の就床を検知する判定処理及び離床経過時間が一定時間を超えたか否かを判定する処理を実行する。そして、見守り対象者の就床を検知する前に、離床経過時間が一定時間を超えた場合には、画像解析装置1は、ステップS110の処理によって、見守り対象者が一定時間以上離床していることを知らせるための通知を行う。
ここで、本実施形態に係る画像解析装置1は、上記ステップS103において、図11A及び図11Bに例示される見守り対象者の一連の動作に伴い抽出される前景領域の変動に基づいて、見守り対象者の離床を検知している。そのため、本実施形態によれば、カメラ2の撮影範囲に第三者が存在する場合であっても、この第三者に対応する前景領域を見守り対象者に対応する前景領域と誤認識することなく、見守り対象者の離床を適切に検知することができる。
同様に、本実施形態に係る画像解析装置1は、上記ステップS107において、図13A〜図13Cに例示される見守り対象者の一連の動作に伴い抽出される前景領域の変動に基づいて、見守り対象者の就床を検知している。そのため、本実施形態によれば、見守り対象者がベッドから離床した後にカメラ2の撮影範囲に第三者が進入しても、この第三者に対応する前景領域を見守り対象者に対応する前景領域と誤認識することなく、見守り対象者の就床を適切に検知することができる。
したがって、本実施形態によれば、カメラ2の撮影範囲に第三者が存在することに起因する見守り対象者の離床及び就床の誤検知を防止し、当該見守り対象者の離床及び就床をそれぞれ適切に検知することができる。そのため、本実施形態によれば、見守り対象者の離床に関する警報を精度よく実行することができる。
特に、本実施形態では、制御部11は、上記ステップS107において、見守り対象者がベッド上で端座位又は就寝する際の前景領域の変動に基づいて、当該見守り対象者の就床を検知する。見守り対象者以外の第三者は、カメラ2の撮影範囲に進入することはあっても、ベッド上で端座位又は就寝することはないと想定される。したがって、本実施形態によれば、見守り対象者以外の人物が行わないと想定される動作に基づいて見守り対象者の就床が検知される。そのため、本実施形態によれば、見守り対象者の就床の検知精度を高めることができ、これによって、見守り対象者の離床に関する警報を精度よく実行することができるようになる。
§4 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
例えば、上記実施形態では、ステップS107において、制御部11は、ベッド側部に所定の領域DBを設定する。そして、制御部11は、見守り対象者がベッド側部で端座位を行う際の一連の動作に伴い変動する前景領域が当該所定の領域DB内に進入することに基づいて、当該見守り対象者の就床を検知している。この検知方法では、次のような問題が生じる可能性がある。
すなわち、介護者等の第三者が、例えば、ベッドメイキング等の作業をベッド側部の近傍で行う場合がある。このような場合、この第三者の身体がベッド面SUの上方に位置し得るため、所定の領域DBの設定範囲によっては、第三者に対応する前景領域がこの所定の領域DB内にベッド外から移動する可能性がある。すなわち、見守り対象者以外の第三者の上記動作を見守り対象者の就床の動作と誤検知してしまう可能性がある。
ここで、図15A及び図15Bを用いて、ベッド側部の近傍で第三者が作業を行う場面と見守り対象者が端座位を行う場面とを比較する。図15Aは、第三者がベッドに向かって作業を行っている場面を模式的に例示する。また、図15Bは、見守り対象者がベッド上で端座位を行っている場面を模式的に例示する。
図15A及び図15Bに例示されるように、所定の領域DBをよりベッドの外側に配置した場合には、見守り対象者が端座位を行う際に抽出される前景領域の他、第三者がベッド側部近傍で作業を行う際に抽出される前景領域が所定の領域DB内に進入し得る。そのため、このように所定の領域DBの範囲を設定した場合には、見守り対象者以外の第三者の動作を見守り対象者の就床の動作と誤検知してしまう可能性がある。
しかしながら、図15Aで例示されるように、このようなベッドメイキング等の作業を行う第三者は、一般的には、ベッドの内側を向いていると想定される。そのため、この第三者の頭部の重心は肩部の重心よりもベッドの内側に位置する。一方、図15Bで例示されるように、ベッド側部で端座位を行う見守り対象者は、一般的には、ベッドの外側を向いていると想定される。そのため、この見守り対象者の頭部の重心は肩部の重心よりもベッドの内側に位置する。
そこで、制御部11は、上記ステップS107において、トラッキングしている前景領域が所定の領域DB内に移動した場合に、更に、このトラッキングしている前景領域内において、頭部の写る頭部領域と肩部の写る肩部領域とを推測してもよい。このような領域推定は、例えば、パターンマッチング等の公知の画像処理によって行うことができる。
そして、制御部11は、推定した頭部領域の重心と肩部領域の重心との位置関係を判定してもよい。頭部領域の重心及び肩部領域の重心は、上記数4の計算によって、算出することができる。当該判定の結果、制御部11は、頭部領域の重心が肩部領域の重心よりもベッドの外側に位置する場合に、見守り対象者がベッドに就床したことを検知する。一方、頭部領域の重心が肩部領域の重心よりもベッドの内側に位置する場合、制御部11は、見守り対象者の就床を検知せずに、処理を継続する。この頭部領域の重心が肩部領域の重心よりもベッドの内側に位置する状態が一定時間以上継続する場合には、トラッキングしている前景領域は見守り対象者以外の第三者に対応する可能性があるため、制御部11は、この前景領域のトラッキングを解消してもよい。
当該変形例によれば、ベッド近傍においてベッドの内側の方を向いて作業を行う見守り対象者以外の人物に起因して、見守り対象者の就床を誤検知してしまうことを防止することができる。そのため、当該変形例によれば、見守り対象者の就床の検知精度を高めることができ、これによって、見守り対象者の離床に関する警報を精度よく実行することができるようになる。
また、上記実施形態に係る画像解析装置1は、例えば、ベッド上での起き上がり等、見守り対象者の離床及び就床以外の行動を検知してもよい。画像解析装置1は、見守り対象者に対応する前景領域とベッド(例えば、ベッド面SU)との位置関係に基づいて、見守り対象者の行動を検知することができる。例えば、画像解析装置1は、ベッド面SU直上で所定の高さよりも高い位置に前景領域が現れた場合に、見守り対象者のベッド上での起き上がりを検知してもよい。これによって、見守り対象者のベッドにおける種々の行動を検知することができ、画像解析装置1による見守り対象者の見守りを充実させることができる。また、この場合、画像解析装置1が、見守り対象者の行動の検知処理を開始してから、例えば、数時間以上、見守り対象者のいずれの行動も検知しないとき、当該見守り対象者に異常が発生している可能性がある。そのため、画像解析装置1は、所定時間以上の間、見守り対象者の起き上がり等の動作が検知されない場合、そのことを知らせるための通知を行ってもよい。