以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
本被監視者監視装置は、監視対象である被監視者における、予め設定された所定の行動を検知する行動検知部と、前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備えるものである。そして、上記被監視者監視装置は、前記被監視者を、前記被監視者の上方から撮像した画像から頭部を検出する頭部検出部をさらに備え、前記行動検知部は、一態様として、前記頭部検出部で検出した前記被監視者の頭部に基づいて前記被監視者における所定の行動を検知する。このような被監視者監視装置は、1個の機器として、一体に構成されて実現されて良く、また、システムとして、複数の機器で実現されて良い。そして、被監視者監視装置が複数の機器で実現される場合に、前記行動検知部は、これら複数の機器のうちのいずれに実装されて良い。一例として、ここでは、前記被監視者監視装置がシステムとして複数の機器で実現されている場合について、前記被監視者監視装置の実施形態を説明する。なお、前記被監視者監視装置が1個の機器として一体に構成されて実現される場合についても、以下の説明と同様に、前記被監視者監視装置を構成できる。また、一例として、ここでは、前記行動検知部が前記頭部検出部および前記通知部と共に後述のセンサ装置SUに実装される場合について、説明するが、このシステムのうちの他の装置、例えば後述の管理サーバ装置SV、固定端末装置SPあるいは携帯端末装置TAに実装される場合についても、以下の説明と同様に、前記被監視者監視装置を構成できる。
(第1実施形態)
図1は、実施形態における被監視者監視システムの構成を示す図である。図2は、第1実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。図3は、実施形態の被監視者監視システムにおけるセンサ装置の配設の様子を示す図である。
前記被監視者監視装置をシステムとして実現したその一例の第1実施形態における被監視者監視システムMSaは、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者)Ob(Ob−1〜Ob−4)における、予め設定された所定の行動を検知して前記被監視者Obを監視するものであり、例えば、図1に示すように、1または複数のセンサ装置SUa(SUa−1〜SUa−4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA−1、TA−2)とを備え、これらは、有線や無線で、LAN(Local Area Network)、電話網およびデータ通信網等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWには、通信信号を中継する例えばリピーター、ブリッジ、ルーターおよびクロスコネクト等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SUa−1〜SUa−4、管理サーバ装置SV、固定端末装置SPおよび複数の携帯端末装置TA−1、TA−2は、アクセスポイントAPを含む無線LAN(例えばIEEE802.11規格に従ったLAN等)NWによって互いに通信可能に接続されている。
被監視者監視システムMSaは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者)Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視システムMSaは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視システムMSは、複数の被監視者Obが入居する複数の居室RMや、ナースステーション等の複数の部屋を備える介護施設の建物に配設されている。
センサ装置SUaは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能を備え、被監視者Obを検知してその検知結果を管理サーバ装置SVへ送信する装置である。このようなセンサ装置SUaは、例えば、図2に示すように、センサ部1と、音入出力部2と、制御処理部3と、通信インターフェース部(通信IF部)4と、記憶部5とを備える。
センサ部1は、制御処理部3に接続され、制御処理部3の制御に従って、被監視者Obにおける予め設定された所定の諸量を検出する装置である。前記所定の諸量は、被監視者Obにおける検出すべき所定の行動に応じて適宜に決定される。本実施形態では、前記所定の行動は、被監視者Obの起床、離床、転倒および微体動異常である。これらを検出するために、センサ部1は、例えば、ドップラセンサ11と、カメラ12とを備える。
ドップラセンサ11は、送信波を送信し、物体で反射した前記送信波の反射波を受信し、前記送信波と前記反射波とに基づいてドップラ周波数成分のドップラ信号を出力する体動センサであり、前記ドップラ信号を制御処理部3へ出力する。前記送信波は、超音波やマイクロ波等であって良いが、本実施形態では、マイクロ波である。マイクロ波は、着衣を透過して被監視者Obの体表で反射できるため、被監視者Obが衣服を着ていても体表の動きを検知でき、好ましい。
カメラ12は、制御処理部3に接続され、制御処理部3の制御に従って、画像(画像データ)を生成する装置である。カメラ12は、監視すべき監視対象である被監視者Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室RM)を監視可能に配置され、前記所在空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像(画像データ)を生成し、前記撮像対象の画像を制御処理部3へ出力する。
本実施形態では、図3に示すように、被監視者Ob全体を撮像できる蓋然性が高いことから、カメラ12が、被監視者Obの横臥する例えばベッド等の寝具BTにおける、被監視者Obの頭部が位置すると予定されている予め設定された頭部予定位置(通常、枕の配設位置)の直上から撮像対象を撮像できるように、センサ装置SUは、配設される。センサ装置SUは、前記センサ部1のドップラセンサ11によって、被監視者Obの上方から測定したドップラ信号を取得し、前記センサ部1のカメラ12によって、被監視者Obを、被監視者Obの上方から撮像した画像、好ましくは前記頭部予定位置の直上から撮像した画像を取得する。なお、図5を用いて後述するように、寝具BT上には、枕PIが置かれ、絵柄PTを含む布団BDが掛けられ、被監視者Obの居室RMには、ごみ箱WBおよび洗面器BAが置かれているが、図3には、これらの図示が省略されている。
このようなカメラ12は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Obを監視できるように、本実施形態では、赤外光の画像を生成する装置である。このようなカメラ12は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データを生成する画像処理部等を備えるデジタル赤外線カメラである。カメラ12の結像光学系は、本実施形態では、その配設された居室RM全体を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。
音入出力部2は、制御処理部3に接続され、外部の音を取得してセンサ装置SUに入力するための回路であって、制御処理部3の制御に従って音を表す電気信号に応じた音を生成して出力するための回路である。音入出力部2は、例えば、音の音響振動を電気信号に変換するマイクロホン等と、音の電気信号を音の音響振動に変換するスピーカ等とを備えて構成される。音入出力部2は、外部の音を表す電気信号を制御処理部3へ出力し、また、制御処理部3から入力された電気信号を音の音響振動に変換して出力する。
通信IF部4は、制御処理部3に接続され、制御処理部3の制御に従って通信を行うための通信回路である。通信IF部4は、制御処理部3から入力された転送すべきデータを収容した通信信号を、この被監視者監視システムMSaのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。通信IF部4は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータを制御処理部3が処理可能な形式のデータに変換して制御処理部3へ出力する。なお、通信IF部4は、さらに、例えば、Bluetooth(登録商標)規格、IrDA(Infrared Data Asscoiation)規格およびUSB(Universal Serial Bus)規格等の規格を用い、外部機器との間でデータの入出力を行うインターフェース回路を備えても良い。
記憶部5は、制御処理部3に接続され、制御処理部3の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、被監視者Obに対する監視に関する情報処理を実行する監視処理プログラム等の制御処理プログラムが含まれる。前記監視処理プログラムには、センサ部1の出力に基づいて被監視者Obの頭部を検出する頭部検出処理プログラム、センサ部1の出力に基づいて被監視者Obにおける所定の行動を検知する行動検知処理プログラム、前記行動検知プログラムで検知した前記所定の行動を外部に通知する通知処理プログラム、カメラ12で撮像した動画を、その動画を要求した固定端末装置SPや携帯端末装置TAへストリーミングで配信するストリーミング処理プログラム、および、音入出力部2等を用いることで固定端末装置SPや携帯端末装置TAとの間で音声通話を行うナースコール処理プログラム等が含まれる。そして、前記頭部検出処理プログラムには、センサ部1のカメラ12によって取得した画像から被監視者Obの人体領域として動体領域を抽出する動体抽出プログラム、前記動体抽出プログラムで抽出した動体領域に基づいて、略円形状の領域を円形状領域として抽出する円形状領域抽出プログラム、前記動体抽出プログラムで抽出した動体領域に基づいて、赤外光に対して所定の反射率以下の領域を低反射率領域として抽出する低反射率領域抽出プログラム、および、前記円形状領域抽出プログラムで抽出した円形状領域および前記低反射率領域抽出プログラムで抽出した低反射率領域に基づいて頭部の領域を選定して前記頭部を検出する頭部選定プログラム等が含まれる。行動検知処理プログラムは、一態様として、前記頭部検出処理プログラムで検出した被監視者Obの頭部に基づいて被監視者Obにおける所定の行動を検知する。前記各種の所定のデータには、これら各プログラムを実行する上で必要なデータや、被監視者Obを監視する上で必要なデータ等が含まれる。記憶部5は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、記憶部5は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部3のワーキングメモリとなるRAM(Random Access Memory)等を含む。
制御処理部3は、センサ装置SUaの各部を当該各部の機能に応じてそれぞれ制御し、センサ部1によって被監視者Obにおける予め設定された所定の諸量を検出し、この検出した前記所定の諸量に基づいて被監視者Obにおける所定の行動を検知して通知するための回路である。制御処理部3は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部3は、前記制御処理プログラムが実行されることによって、制御部31、頭部検出処理部32、行動検知処理部33、通知処理部34、ストリーミング処理部35およびナースコール処理部36を機能的に備える。
制御部31は、センサ装置SUaの各部を当該各部の機能に応じてそれぞれ制御し、センサ装置SUの全体制御を司るものである。
頭部検出処理部32は、センサ部1の出力に基づいて被監視者Obの頭部を検出するものである。より具体的には、頭部検出処理部32は、センサ部1のカメラ12で取得した、被監視者Obの上方から撮像した画像に基づいて被監視者Obの頭部を検出する。このために、頭部検出処理部32は、機能的に、動体抽出部321、円形状領域抽出部322、低反射率領域抽出部323および頭部選定部324を備える。
動体抽出部321は、センサ部1のカメラ12で取得した画像から例えば背景差分法やフレーム間差分法等の手法を用いることで被監視者Obの人体領域として動体領域を抽出するものである。前記背景差分法では、予め背景画像が求められて前記各種の所定のデータの1つとして記憶部5に予め記憶され、カメラ12によって生成された画像と前記背景画像との差分画像から動体の有無が判定され、この判定の結果、動体がある場合にはこの動体の領域が動体領域とされる。前記フレーム差分法では、カメラ12によって生成された、現在のフレームの画像と過去のフレーム(例えば1つ前のフレーム)の画像との差分画像から動体の有無が判定され、この判定の結果、動体がある場合にはこの動体の領域が動体領域とされる。動体抽出部321は、この抽出した動体領域を、後述の第1態様の動作では円形状領域抽出部322へ通知する一方、後述の第2態様の動作では低反射率領域抽出部323へ通知する。
円形状領域抽出部322は、センサ部1のカメラ12で取得した画像に基づいて、略円形状の領域を円形状領域として抽出するものである。上方から撮像した画像では、頭部は、略円形状に写るので、円形状領域を抽出することで前記頭部の候補となる領域(頭部候補領域)が抽出される。例えば、円形状領域抽出部322は、円形状を抽出するハフ変換を用いることで、センサ部1のカメラ12で取得した画像から円形状領域を抽出する。また例えば、頭部の形状パターンに対応する円形状の形状パターンが予め用意されて前記各種の所定のデータの1つとして記憶部5に予め記憶され、円形状領域抽出部322は、この記憶部5に予め記憶された前記円形状の形状パターンを、センサ部1のカメラ12で取得した画像からパターンマッチングを用いることで探索し、この円形状の形状パターンにマッチングする領域を前記円形状領域として抽出する。より具体的には、第1態様の動作では、円形状領域抽出部322は、動体抽出部321で抽出した動体領域から、例えば前記ハフ変換の手法や前記パターンマッチングの手法等によって円形状領域を抽出し、この抽出した円形状領域を低反射率領域抽出部323へ通知する。また、第2態様の動作では、円形状領域抽出部322は、後述するように低反射率領域抽出部323で抽出した低反射率領域から、例えば前記ハフ変換の手法や前記パターンマッチングの手法等によって円形状領域を抽出し、この抽出した円形状領域を頭部選定部324へ通知する。
低反射率領域抽出部323は、センサ部1のカメラ12で取得した画像に基づいて、赤外光に対して所定の反射率以下の領域を低反射率領域として抽出するものである。頭部は、赤外光に対し比較的低反射率であるので、低反射率領域を抽出することで前記頭部候補領域が抽出される。頭部は、赤外光に対し例えば9%、10%および11%等の低反射率であるので、例えば50%、好ましくは30%、さらに好ましくは10%等が閾値とされ、低反射率領域抽出部323は、センサ部1のカメラ12で取得した画像から前記閾値以下の領域を低反射率領域として抽出する。より具体的には、第1態様の動作では、低反射率領域抽出部323は、円形状領域抽出部322で抽出した円形状領域から、前記閾値以下の領域を低反射率領域として抽出し、この抽出した低反射率領域を頭部選定部324へ通知する。また、第2態様の動作では、低反射率領域抽出部323は、動体抽出部321で抽出した動体領域から、前記前記閾値以下の領域を低反射率領域として抽出し、この抽出した低反射率領域を円形状領域抽出部322へ通知する。
頭部選定部324は、前記円形状領域抽出部322で抽出した円形状領域および前記低反射率領域抽出部323で抽出した低反射率領域に基づいて頭部の領域を選定して前記頭部を検出するものである。より具体的には、第1態様の動作では、頭部選定部324は、低反射率領域抽出部323で抽出した低反射率領域に基づいて頭部の領域を選定して前記頭部を検出し、この検出した頭部(頭部領域)を行動検知処理部33へ通知する。本実施形態では、頭部選定部324は、デフォルトの閾値から所定値ずつ変化させることで低反射率領域が1個になるまで低反射率領域抽出部323に低反射率領域を抽出させ、この1個の低反射率領域を頭部(頭部領域)として選定して前記頭部を検出する。また、第2態様の動作では、頭部選定部324は、円形状領域抽出部322で抽出した円形状領域に基づいて頭部の領域を選定して前記頭部を検出し、この検出した頭部(頭部領域)を行動検知処理部33へ通知する。本実施形態では、頭部選定部324は、円形状領域抽出部322で抽出される円形状領域が1個になるまで、デフォルトの閾値から所定値ずつ変化させることで低反射率領域抽出部323に低反射率領域を抽出させ、この1個の円形状領域を頭部(頭部領域)として選定して前記頭部を検出する。
行動検知処理部33は、センサ部1の出力に基づいて被監視者Obにおける、予め設定された所定の行動を検知するものである。本実施形態では、上述したように、前記所定の行動は、被監視者Obの起床、離床、転倒および微体動異常であり、行動検知処理部33は、センサ部1の出力に基づいて被監視者Obにおける起床、離床、転倒および微体動異常を検知結果として検知し、その検知結果を通知処理部34へ通知する。例えば、行動検知処理部33は、頭部検出処理部32で検出した頭部(頭部領域)の高さ(大きさ)から被監視者Obの姿勢(例えば立位、座位および横臥等)を判定し、この検出した頭部の位置を検出し、これら判定、検出した被監視者Obの姿勢および位置に基づいて前記起床、離床および転倒の別を判定する。例えば、前記頭部(頭部領域)の高さ(大きさ)が寝具BT上に相当する高さ(大きさ)であり、前記頭部(頭部領域)の位置が寝具BT内である場合には、被監視者Obが寝具BTで横臥、すなわち、寝ていると、行動検知処理部33は、判定できる。また例えば、前記頭部(頭部領域)の高さ(大きさ)が座位に相当する高さ(大きさ)であり、前記頭部(頭部領域)の位置が寝具BT内である場合には、被監視者Obが起床したと、行動検知処理部33は、判定できる。また例えば、前記頭部(頭部領域)の高さ(大きさ)が立位に相当する高さ(大きさ)であり、前記頭部(頭部領域)の位置が寝具BT外である場合には、被監視者Obが離床したと、行動検知処理部33は、判定できる。また例えば、前記頭部(頭部領域)の高さ(大きさ)が床上に相当する高さ(大きさ)であり、前記頭部(頭部領域)の位置が寝具BT外である場合には、被監視者Obが転倒したと、行動検知処理部33は、判定できる。なお、記憶部5には、前記各種の所定のデータの1つとして、画像上での寝具BTの領域が予め記憶される。また、頭部(頭部領域)の高さは、被監視者Obの上方から画像を取得しているので、頭部(頭部領域)の大きさ(例えば横長、縦長、面積等)から求めることができる。また例えば、行動検知処理部33は、センサ部1のドップラセンサ11によって被監視者Obの呼吸動作に伴う胸部の体動(胸部の上下動)を検出し、その胸部の体動における周期の乱れや予め設定された閾値以下である前記胸部の体動における振幅を検知すると、前記微体動異常であると判定する。
通知処理部34は、行動検知処理部33で検知した前記所定の行動(本実施形態では、起床、離床、転倒および微体動異常)を外部に通知するものである。より具体的には、通知処理部34は、検知した前記所定の行動(状態、状況)を表す情報(検知行動情報(本実施形態では起床、離床、転倒および微体動異常のうちの1または複数を表す情報))、前記所定の行動が検知された被監視者Obを特定し識別するための識別子情報(前記被監視者Obを検知しているセンサ装置SUaを特定し識別するための識別子情報)、および、前記所定の行動の検知に用いられた画像等を収容した通信信号(監視情報通信信号)を生成し、通信IF部4で管理サーバ装置SVへ送信する。
ストリーミング処理部35は、ネットワークNWおよび通信IF部4を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、センサ部1のカメラ12で生成した動画(例えばライブの動画)をストリーミング再生で通信IF部4およびネットワークNWを介して配信するものである。
ナースコール処理部36は、被監視者Obからナースコールを受け付ける図略のナースコール押しボタンスイッチでその入力操作を受け付けた場合に、通信IF部4およびネットワークNWを介して、固定端末装置SPまたは携帯端末装置TAとの間で音声通話を可能にするものである。
図1には、一例として、4個の第1ないし第4センサ装置SUa−1〜SUa−4が示されており、第1センサ装置SUa−1は、被監視者Obの一人であるAさんOb−1の居室RM−1(不図示)に配設され、第2センサ装置SUa−2は、被監視者Obの一人であるBさんOb−2の居室RM−2(不図示)に配設され、第3センサ装置SUa−3は、被監視者Obの一人であるCさんOb−3の居室RM−3(不図示)に配設され、そして、第4センサ装置SUa−4は、被監視者Obの一人であるDさんOb−4の居室RM−4(不図示)に配設されている。
なお、本実施形態では、カメラ12は、画像取得部の一例に相当し、頭部検出処理部32は、頭部検出装置の一例に相当する。すなわち、センサ装置SUaは、頭部検出装置を備えている。
管理サーバ装置SVは、ネットワークNWを介して他の装置SUa、SP、TAと通信する通信機能を備え、センサ装置SUaから被監視者Obに関する検知結果および前記被監視者Obの画像を受信して被監視者Obに対する監視に関する情報(監視情報)を管理する機器である。管理サーバ装置SVは、センサ装置SUaから被監視者Obに関する前記検知結果および前記被監視者Obの画像を受信すると、被監視者Obに対する監視に関する前記監視情報を記憶(記録)し、そして、被監視者Obに対する監視に関する前記監視情報を収容した通信信号(監視情報通信信号)を固定端末装置SPおよび携帯端末装置TAに送信する。また、管理サーバ装置SVは、クライアント(本実施形態では固定端末装置SPおよび携帯端末装置TA等)の要求に応じたデータを前記クライアントに提供する。このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。
固定端末装置SPは、ネットワークNWを介して他の装置SUa、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、センサ装置SUaで得られた検知結果や画像を表示したり等することによって、被監視者監視システムMSのユーザインターフェース(UI)として機能する機器である。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。
携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUaと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUaに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUaで得られた前記検知結果や画像を表示したり等することによって、被監視者Obに対する監視に関する前記監視情報を受け付けて表示する機器である。このような携帯端末装置TAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。
次に、本実施形態の動作について説明する。このような構成の被監視者監視システムMSaでは、各装置SUa、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。また、センサ装置SUaでは、その制御処理プログラムの実行によって、制御処理部3には、制御部31、頭部検出処理部32、行動検知処理部33、通知処理部34、ストリーミング処理部35およびナースコール処理部36が機能的に構成され、頭部検出処理部32には、動体抽出部321、円形状領域抽出部322、低反射率領域抽出部323および頭部選定部324が機能的に構成される。
そして、上記構成の被監視者監視システムMSaは、大略、次の動作によって、各被監視者Obそれぞれを監視している。センサ装置SUaは、所定のサンプリング周期でセンサ部1のドップラセンサ11の出力をサンプリングするとともにカメラ12で画像を取得し、行動検知処理部33によって、このサンプリングおよび取得したドップラセンサ11の出力およびカメラ12の画像に基づいて被監視者Obにおける所定の行動(状態、状況)を判定し、この判定の結果、被監視者Obが予め設定された前記所定の行動(例えば、本実施形態では起床、離床、転倒および微体動異常等)であると判定すると、通知処理部34によって、被監視者Obの状態として判定された判定結果を表す判定結果情報や被監視者Obの静止画の画像データ等の監視情報を収容した通信信号(監視情報通信信号)をネットワークNWを介して管理サーバ装置SVへ送信する。なお、起床、離床および転倒を検知するための頭部を検出する動作(頭部検出動作)は、後に詳述する。
管理サーバ装置SVは、前記監視情報通信信号をネットワークNWを介してセンサ装置SUaから受信すると、この監視情報通信信号に収容された判定結果情報や静止画の画像データ等の監視情報をその記憶部に記憶(記録)する。そして、管理サーバ装置SVは、これら判定結果情報や静止画の画像データ等の監視情報を収容した監視情報通信信号を端末装置(本実施形態では固定端末装置SPおよび携帯端末装置TA)へ送信する。これによって被監視者Obの状態(状況)が端末装置SP、TAを介して例えば看護師や介護士等の監視者に報知される。
固定端末装置SPおよび携帯端末装置TAは、前記監視情報通信信号をネットワークNWを介して管理サーバ装置SVから受信すると、この監視情報通信信号に収容された前記監視情報を表示する。このような動作によって、被監視者監視システムMSは、各センサ装置SUa、管理サーバ装置SV、固定端末装置SPおよび携帯端末装置TAによって、大略、各被監視者Obを検知して各被監視者Obを監視している。
次に、被監視者監視システムMSaにおける、頭部検出動作について、説明する。図4は、第1実施形態の被監視者監視システムにおけるセンサ装置の第1態様の動作を示すフローチャートである。図5は、第1実施形態の被監視者監視システムにおけるセンサ装置によって取得される画像の一例を説明するための図である。図6は、布団の絵柄を示す図である。図7は、第1実施形態の被監視者監視システムにおけるセンサ装置の第2態様の動作を示すフローチャートである。本実施形態におけるセンサ装置SUaは、例えば、図4に示す第1態様の動作によって頭部(頭部領域)を検出し、また例えば、図7に示す第2態様の動作によって頭部(頭部領域)を検出している。以下、前記第1態様の動作をまず説明し、次に、前記第2態様の動作について説明する。
まず、第1態様の動作について説明する。センサ装置SUaは、各サンプリングタイミングにおいて、センサ部1のドップラセンサ11の出力をサンプリングするとともにカメラ12で画像を取得するごとに、次のように動作することで、被監視者Obの頭部(頭部領域)を検出し、被監視者Obにおける所定の行動を検知している。
図4において、まず、制御処理部3は、センサ部1のドップラセンサ11からドップラ信号を取得し、センサ部1のカメラ12から画像(1フレーム分の画像)を取得する(S11)。カメラ12によって、例えば、図5に示す画像が取得される。この一例の図5に示す画像には、体幹BDおよび略円形状の頭部HDから成る被監視者Obだけでなく、寝具BT、寝具BT上の略円形状の枕PI、寝具BTに掛けられた布団BD、略円形状のごみ箱WBおよび略円形状の洗面器BAが写っている。布団BDは、円形状の絵柄PTを持ち、前記円形状の絵柄PTが前記画像に写っている。このような図5に示す画像に対し、略円形状の領域を抽出する処理だけで頭部HDを検出する場合では、頭部HDが検出されるだけでなく、枕PI、絵柄PT、ごみ箱WBおよび洗面器BAが頭部HDとして誤検出されてしまう虞がある。布団BDの絵柄PTは、図5に示す円形状だけではなく、例えば図6に示す形状も頭部HDとして誤検出されてしまう虞がある。この図6には、八角形(多角形の代表例)、V字状のギザギザで囲まれた略円形状、放射状に8個の三角形で囲まれた略円形状(太陽を模した形状)、放射状に複数の花弁で囲まれた3個の略円形状(花柄を模した3個の形状)、三角形および四角形が図示されている。三角形や四角形は、布団BDの歪みに伴ってその形状が歪むので、略円形状と誤検出される虞がある。このような誤検出を低減するために、本実施形態では、次のように前記画像が処理される。なお、これら枕PI、絵柄PT、ごみ箱WBおよび洗面器BAにおける赤外光に対する反射率は、その材質等により、大略、頭部における赤外光に対する反射率よりも高い(大きい)。
図4に戻って、次に、制御処理部3は、頭部検出処理部32の動体抽出部321によって、このカメラ12によって取得した画像から、例えば背景差分法やフレーム間差分法等の手法を用いることで被監視者Obの人体領域として動体領域を抽出する動体領域抽出処理を実行し、前記動体領域が抽出されたか否かを判定する(S12)。この判定の結果、前記動体領域が抽出されなかった場合(No)には、制御処理部3は、このタイミングでの処理を終了し、一方、前記動体領域が抽出された場合(Yes)には、制御処理部3は、動体抽出部321によって抽出した前記動体領域を動体抽出部321から円形状領域抽出部322へ通知し、次の処理S13を実行する。
この処理S13では、制御処理部3は、頭部検出処理部32の円形状領域抽出部322によって、動体抽出部321で抽出された動体領域から、例えばハフ変換やパターンマッチング等の手法を用いることで略円形状の領域(円形状領域)を抽出する円形状領域抽出処理を実行し、前記円形状領域が抽出されたか否かを判定する。この判定の結果、前記円形状領域が抽出されなかった場合(No)には、制御処理部3は、このタイミングでの処理を終了し、一方、前記円形状領域が抽出された場合(Yes)には、制御処理部3は、円形状領域抽出部322によって抽出した前記円形状領域を円形状領域抽出部322から低反射率領域抽出部323および頭部選定部324へ通知し、次の処理S14を実行する。
この処理S14では、制御処理部3は、頭部検出処理部32の頭部選定部324によって、円形状領域抽出部322で抽出した円形状領域が複数か否かを判定する。この判定の結果、前記円形状領域が複数ではない場合、すなわち、前記円形状領域が1個である場合(No)には、制御処理部3は、頭部選定部324によって、前記処理S13で抽出した前記円形状領域が頭部(頭部領域)であると選定し、頭部選定部324によって選定された頭部(頭部領域)を頭部検出処理部32から行動検知処理部33へ通知し、次の処理S15を実行する。一方、前記判定の結果、前記円形状領域が複数である場合(Yes)には、制御処理部3は、前記処理S13で抽出した複数の前記円形状領域の中に頭部(頭部領域)ではない物体も抽出されているとし、次の処理S17を実行する。
この処理S17では、制御処理部3は、頭部検出処理部32の低反射率領域抽出部323によって、前記処理S13で円形状領域抽出部322によって抽出した円形状領域から、前記閾値以下の領域を低反射率領域として抽出する低反射率領域抽出処理を実行し、次の処理S18を実行する。
この処理S18では、制御処理部3は、頭部検出処理部32の頭部選定部324によって、低反射率領域抽出部323で抽出した低反射率領域が1個か否かを判定する。この判定の結果、前記低反射率領域が1個である場合(Yes)には、制御処理部3は、頭部選定部324によって、前記処理S17で抽出した前記低反射率領域が頭部(頭部領域)であると選定し、頭部選定部324によって選定された頭部(頭部領域)を頭部検出処理部32から行動検知処理部33へ通知し、次の処理S15を実行する。一方、前記判定の結果、前記低反射率領域が1個ではない場合、すなわち、前記低反射率領域が複数である場合(No)には、制御処理部3は、前記処理S17で抽出した複数の前記低反射率領域の中に頭部(頭部領域)ではない物体も抽出されているとし、頭部選定部324によって、デフォルトの閾値(例えば50%や30%や10%等)から所定値(例えば0.5%や0.2%等)を減算することで前記閾値を再設定し(S19)、処理を処理S17に戻す。したがって、制御処理部3は、頭部選定部324によって前記デフォルトの閾値から所定値ずつ変化させることで、処理S17における低反射率領域抽出部323による低反射率領域抽出処理の実行によって円形状領域であって低反射率領域が1個になるまで、処理S17ないし処理S19を繰り返す。
例えば、上述の図5に示す画像では、枕PIや布団BDがずれることによって、また、ごみ箱WBや洗面器BAが動かされることによって、上述の処理S12および処理S13によって、頭部HDだけでなく、枕PI、絵柄PT、ごみ箱WBおよび洗面器BAも円形状領域として抽出される。仮に、絵柄PTが頭部(頭部領域)として誤検出されると、布団BDがずれ落ちた場合に、被監視者Obの転倒転落と誤検知されてしまう。しかしながら、本実施形態では、これら複数の円形状領域に対し、処理S14の実行を介して、処理S17ないし処理S19が実行される。ここで、これら枕PI、絵柄PT、ごみ箱WBおよび洗面器BAは、その素材(例えば布製、金属製、金属コーディング、プラスチック製および籐製等)により、赤外光に対する反射率が頭部における赤外光に対する反射率よりも大略高い(大きい)ので、処理S17ないし処理S19の実行によって、低反射率領域から除かれ、頭部HDのみが低反射率領域として残る。このように赤外光に対する反射率を考慮することで、頭部HDをより精度良く検出できる。
図4に戻って、処理S15では、上述の各処理S11〜S14、S17〜S19によって、頭部(頭部領域)が検出されたので、制御処理部3は、行動検知処理部33によって、センサ部1の出力に基づいて被監視者Obにおける、予め設定された所定の行動を検知する行動検知処理を実行し、前記所定の行動を検知したか否かを判定する。より具体的には、行動検知処理部33は、前記行動検知処理の一態様として、頭部検出処理部32で検出した頭部(頭部領域)の高さ(大きさ)から被監視者Obの姿勢(例えば立位、座位および横臥等)を判定し、この検出した頭部の位置を検出し、これら判定、検出した被監視者Obの姿勢および位置に基づいて前記起床、離床および転倒の別を判定する。行動検知処理部33は、前記行動検知処理の他の一態様として、センサ部1のドップラセンサ11によって被監視者Obの呼吸動作に伴う胸部の体動(胸部の上下動)を検出し、微体動異常の有無を判定する。この判定の結果、前記所定の行動が検知されなかった場合(No)には、制御処理部3は、このタイミングでの処理を終了し、一方、前記所定の行動(本実施形態では、起床、離床、転倒および微体動異常のうちの少なくとも1つ)が検知された場合(Yes)には、制御処理部3は、処理S15で検知した前記所定の行動を通知処理部34へ通知し、次の処理S16を実行する。
この処理S16では、行動検知処理部33から被監視者Obにおける前記所定の行動が通知されると、通知処理部34は、その旨を上述の監視情報通信信号によって管理サーバ装置SVへ通知し、このタイミングでの処理を終了する。
次に、第2態様の動作について説明する。センサ装置SUaは、各サンプリングタイミングにおいて、センサ部1のドップラセンサ11の出力をサンプリングするとともにカメラ12で画像を取得するごとに、次のように動作することで、被監視者Obの頭部(頭部領域)を検出し、被監視者Obにおける所定の行動を検知している。
図7において、まず、制御処理部3は、上述の処理S11と同様に、センサ部1のドップラセンサ11からドップラ信号を取得し、センサ部1のカメラ12から画像(1フレーム分の画像)を取得する(S21)。
次に、制御処理部3は、上述の処理S12と同様に、頭部検出処理部32の動体抽出部321によって、前記動体領域抽出処理を実行し、前記動体領域が抽出されたか否かを判定する(S22)。この判定の結果、前記動体領域が抽出されなかった場合(No)には、制御処理部3は、このタイミングでの処理を終了し、一方、前記動体領域が抽出された場合(Yes)には、制御処理部3は、動体抽出部321によって抽出した前記動体領域を動体抽出部321から低反射率領域抽出部323へ通知し、次の処理S23を実行する。
この処理S23では、制御処理部3は、頭部検出処理部32の低反射率領域抽出部323によって、前記処理S22で動体抽出部321によって抽出した動体領域から、前記閾値以下の領域を低反射率領域として抽出する低反射率領域抽出処理を実行し、低反射率領域抽出部323によって抽出した前記低反射率領域を低反射率領域抽出部323から円形状領域抽出部322へ通知し、次の処理S24を実行する。
この処理S24では、制御処理部3は、頭部検出処理部32の円形状領域抽出部322によって、低反射率領域抽出部323で抽出された低反射率領域から、例えばハフ変換やパターンマッチング等の手法を用いることで略円形状の領域(円形状領域)を抽出する円形状領域抽出処理を実行し、前記円形状領域が抽出されたか否かを判定する。この判定の結果、前記円形状領域が抽出されなかった場合(No)には、制御処理部3は、このタイミングでの処理を終了し、一方、前記円形状領域が抽出された場合(Yes)には、制御処理部3は、円形状領域抽出部322によって抽出した前記円形状領域を円形状領域抽出部322から頭部選定部324へ通知し、次の処理S25を実行する。
この処理S25では、制御処理部3は、頭部検出処理部32の頭部選定部324によって、円形状領域抽出部322で抽出した円形状領域が1個か否かを判定する。この判定の結果、前記円形状領域が1個である場合(Yes)には、制御処理部3は、頭部選定部324によって、前記処理S24で抽出した前記円形状領域が頭部(頭部領域)であると選定し、頭部選定部324によって選定された頭部(頭部領域)を頭部検出処理部32から行動検知処理部33へ通知し、次の処理S26を実行する。一方、前記判定の結果、前記円形状領域が1個ではない場合、すなわち、前記円形状領域が複数である場合(No)には、制御処理部3は、前記処理S24で抽出した複数の前記円形状領域の中に頭部(頭部領域)ではない物体も抽出されているとし、頭部選定部324によって、デフォルトの閾値(例えば50%や30%や10%等)から所定値(例えば0.5%や0.2%等)を減算することで前記閾値を再設定し(S28)、処理を処理S23に戻す。したがって、制御処理部3は、頭部選定部324によって前記デフォルトの閾値から所定値ずつ変化させることで、処理S23における低反射率領域抽出部323による低反射率領域抽出処理の実行によって低反射率領域であって円形状領域が1個になるまで、処理S23〜S25、S28を繰り返す。
一方、処理S26では、上述の各処理S21〜S25、S28によって、頭部(頭部領域)が検出されたので、制御処理部3は、上述の処理S15と同様に、前記行動検知処理を実行し、前記所定の行動を検知したか否かを判定する。この判定の結果、前記所定の行動が検知されなかった場合(No)には、制御処理部3は、このタイミングでの処理を終了し、一方、前記所定の行動(本実施形態では、起床、離床、転倒および微体動異常のうちの少なくとも1つ)が検知された場合(Yes)には、制御処理部3は、処理S26で検知した前記所定の行動を通知処理部34へ通知し、次の処理S27を実行する。
この処理S27では、行動検知処理部33から被監視者Obにおける前記所定の行動が通知されると、通知処理部34は、上述の処理S16と同様に、その旨を上述の監視情報通信信号によって管理サーバ装置SVへ通知し、このタイミングでの処理を終了する。
以上説明したように、被監視者監視装置の一例である被監視者監視システムMSaならびに頭部検出装置および頭部検出方法を用いたその一例のセンサ装置SUaは、略円形状だけでなく赤外光に対する反射率も考慮して頭部HDを検出するので、被監視者Obを上方から撮像した画像に基づき被監視者Obの頭部HDをより精度良く検出できる。この結果、上記被監視者監視システムMSaおよびセンサ装置SUaは、被監視者Obにおける所定の行動をより精度良く検知できる。
また、上記被監視者監視システムMSaおよびセンサ装置SUaは、上述の第1態様の動作において、円形状領域抽出部322で抽出した円形状領域を頭部領域の候補として絞り込み、この絞り込んだ候補から赤外光に対する反射率を考慮して頭部HDを検出するので、カメラ12で取得した画像全体から低反射率領域を抽出する場合に比べて、単に反射率の低いものを誤検出することを低減できる。
また、上記被監視者監視システムMSaおよびセンサ装置SUaは、上述の第2態様の動作において、低反射率領域抽出部323で抽出した低反射率領域を頭部領域の候補として絞り込み、この絞り込んだ候補から略円形状を考慮して頭部HDを検出するので、カメラ12で取得した画像全体から略円形状の円形状領域を抽出する場合に比べて、情報処理量を低減できる。
なお、上述の実施形態において、頭部ではない頭部に近似するものの誤検出をより低減するために、頭部ではない頭部に近似するものに所定のマーカーが付与されても良い。この場合では、頭部検出装置の一例であるセンサ装置SUaの頭部検出処理部32は、図2に破線で示すように、画像取得部の一例であるセンサ部1のカメラ12で取得した前記画像に基づいて、所定のマーカーを検出するマーカー検出部325を機能的にさらに備え、頭部選定部324は、円形状領域抽出部322で抽出した円形状領域、低反射率領域抽出部323で抽出した低反射率領域およびマーカー検出部325で検出したマーカーに基づいて頭部の領域を選定して前記頭部を検出する。このようなセンサ装置SUaは、さらにマーカーも考慮するので、さらに精度良く被監視者Obの頭部を検出できる。
より具体的には、頭部選定部324は、円形状領域抽出部322で抽出した円形状領域および低反射率領域抽出部323で抽出した低反射率領域からマーカー検出部325で検出したマーカーを持つ領域を除いた残余の前記円形状領域および前記低反射率領域に基づいて頭部の領域を選定して前記頭部を検出する。この場合、例えば、上述の処理S12において、動体抽出部321で抽出した動体領域から、マーカー検出部325で検出したマーカーを持つ領域を除いた残余の前記動体領域に対し、上述の以降の各処理S13〜S19が実行される。また例えば、上述の処理S13において、円形状領域抽出部322で抽出された円形状領域から、マーカー検出部325で検出したマーカーを持つ領域を除いた残余の前記円形状領域に対し、上述の以降の各処理S14〜S19が実行される。また例えば、上述の処理S17において、低反射率領域抽出部323で抽出された低反射率領域から、マーカー検出部325で検出したマーカーを持つ領域を除いた残余の前記低反射率領域に対し、上述の以降の各処理S15〜S19が実行される。また例えば、上述の処理S22において、動体抽出部321で抽出した動体領域から、マーカー検出部325で検出したマーカーを持つ領域を除いた残余の前記動体領域に対し、上述の以降の各処理S23〜S28が実行される。また例えば、上述の処理S23において、低反射率領域抽出部323で抽出された低反射率領域から、マーカー検出部325で検出したマーカーを持つ領域を除いた残余の前記低反射率領域に対し、上述の以降の各処理S23〜S28が実行される。また例えば、上述の処理S24において、円形状領域抽出部322で抽出された円形状領域から、マーカー検出部325で検出したマーカーを持つ領域を除いた残余の前記円形状領域に対し、上述の以降の各処理S23〜S28が実行される。頭部ではない頭部に近似するものにマーカーを付与することで、このようなセンサ装置SUaは、前記マーカーを持つ前記円形状領域および前記低反射率領域を除くことで、円形状領域抽出部322で抽出した円形状領域および低反射率領域抽出部323で抽出した低反射率領域から頭部ではない前記ものを除くことができ、より精度良く被監視者Obの頭部を検出できる。
このようなマーカーは、好ましくは、特定の形状を持つマーカーである。例えば、ごみ箱WBの縁やベッド等の寝具BTの縁に、例えば矩形形状や円弧形状等のマーカーが貼付される。このようなセンサ装置SUaは、特定の形状を持つマーカーを用いることで、マーカー検出部325での誤検出を低減できる。また好ましくは、前記マーカーは、赤外光でのみ識別可能なマーカーである。この赤外光のみで識別可能な前記マーカーは、好ましくは、赤外光に対する頭部の反射率よりも高い反射率(例えば50%以上の反射率)で赤外光を反射する素材、前記素材で形成されたシール(例えば金属シールや木材シール等)、赤外光に対する頭部の反射率よりも高い反射率(例えば50%以上の反射率)で赤外光を反射する顔料(赤外線反射顔料)で形成された所定の形状、および、生地の織の密度の相違で形成された所定の形状のうちの1または複数の組合せである。例えば、布団BDや枕PIが高い反射率で赤外光を反射する前記素材で作成されることで、布団BDや枕PIにマーカーが付与される(布団BD自体や枕PI自体がマーカーとなる)。また例えば、綿や麻等の天然素材とポリエステル等の化学繊維素材とでは赤外光に対する反射率が異なるため、天然素材(または化学繊維素材)で作成された布団BDや枕PIに、化学繊維素材(または天然素材)の糸を縫い込むことで、布団BDや枕PIにマーカーが付与される。また例えば、織の密度で赤外光に対する反射率が異なるため、織の粗い生地(または織の密な生地)で作成された布団BDや枕PIに、織の密な所定形状の生地(または織の粗い生地)を縫い込むことで、布団BDや枕PIにマーカーが付与される。このようなセンサ装置SUaは、赤外光のみで識別可能なマーカーを用いることで、マーカー検出部325での誤検出を低減できる。マーカーを可視できないので、上記センサ装置SUは、被監視者監視システムMSaに用いられる場合に、被監視者Obにマーカーの存在を認識させることなくマーカーによる違和感を与えることがない。
次に、別の実施形態について説明する。
(第2実施形態)
図8は、第2実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。
前記被監視者監視装置をシステムとして実現したその一例の第2実施形態における被監視者監視システムMSbは、第1実施形態における被監視者監視システムMSaと同様に、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者)Ob(Ob−1〜Ob−4)における、予め設定された所定の行動を検知して前記被監視者Obを監視するものであり、例えば、1または複数のセンサ装置SUb(SUb−1〜SUb−4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA−1、TA−2)とを備える。すなわち、第2実施形態における被監視者監視システムMSbは、センサ装置SUaに代え、センサ装置SUbを備える点を除き、第1実施形態における被監視者監視システムMSaと同様である。このため、管理サーバ装置SV、固定端末装置SPおよび携帯端末装置TAの説明を省略する。
センサ装置SUbは、センサ装置SUaと同様に、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能を備え、被監視者Obを検知してその検知結果を管理サーバ装置SVへ送信する装置である。このようなセンサ装置SUbは、例えば、図8に示すように、センサ部1と、音入出力部2と、制御処理部6と、通信インターフェース部(通信IF部)4と、記憶部7とを備える。すなわち、センサ装置SUbは、制御処理部3に代え制御処理部6を備え、記憶部5に代え記憶部7を備える点を除き、センサ装置SUaと同様である。このため、センサ部1、音入出力部2および通信IF部4の説明を省略する。
記憶部7は、制御処理部6に接続され、制御処理部6の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、被監視者Obに対する監視に関する情報処理を実行する監視処理プログラム等の制御処理プログラムが含まれる。前記監視処理プログラムには、センサ部1の出力に基づいて被監視者Obの頭部を検出する頭部検出処理プログラム、センサ部1の出力に基づいて被監視者Obにおける所定の行動を検知する行動検知処理プログラム、前記行動検知プログラムで検知した前記所定の行動を外部に通知する通知処理プログラム、カメラ12で撮像した動画を、その動画を要求した固定端末装置SPや携帯端末装置TAへストリーミングで配信するストリーミング処理プログラム、および、音入出力部2等を用いることで固定端末装置SPや携帯端末装置TAとの間で音声通話を行うナースコール処理プログラム等が含まれる。そして、前記頭部検出処理プログラムには、センサ部1のカメラ12によって取得した画像から被監視者Obの人体領域として動体領域を抽出する動体抽出プログラム、前記動体抽出プログラムで抽出した動体領域に基づいて、略円形状の領域を円形状領域として抽出する円形状領域抽出プログラム、前記動体抽出プログラムで抽出した動体領域に基づいて、所定のマーカーを検出するマーカー検出プログラム、および、前記円形状領域抽出プログラムで抽出した円形状領域および前記マーカー検出プログラムで抽出したマーカーに基づいて頭部の領域を選定して前記頭部を検出する頭部選定プログラム等が含まれる。行動検知処理プログラムは、一態様として、前記頭部検出処理プログラムで検出した被監視者Obの頭部に基づいて被監視者Obにおける所定の行動を検知する。前記各種の所定のデータには、これら各プログラムを実行する上で必要なデータや、被監視者Obを監視する上で必要なデータ等が含まれる。記憶部7は、例えば不揮発性の記憶素子であるROMや書き換え可能な不揮発性の記憶素子であるEEPROM等を備える。そして、記憶部7は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部3のワーキングメモリとなるRAM等を含む。
制御処理部6は、センサ装置SUbの各部を当該各部の機能に応じてそれぞれ制御し、センサ部1によって被監視者Obにおける予め設定された所定の諸量を検出し、この検出した前記所定の諸量に基づいて被監視者Obにおける所定の行動を検知して通知するための回路である。制御処理部6は、例えば、CPUおよびその周辺回路を備えて構成される。制御処理部6は、前記制御処理プログラムが実行されることによって、制御部61、頭部検出処理部62、行動検知処理部63、通知処理部64、ストリーミング処理部65およびナースコール処理部66を機能的に備える。これら制御処理部6における制御部61、行動検知処理部63、通知処理部64、ストリーミング処理部65およびナースコール処理部66は、それぞれ、第1実施形態の制御処理部3における制御部31、行動検知処理部33、通知処理部34、ストリーミング処理部35およびナースコール処理部36と同様であるので、その説明を省略する。
頭部検出処理部62は、頭部検出処理部32と同様に、センサ部1の出力に基づいて被監視者Obの頭部を検出するものである。より具体的には、頭部検出処理部62は、センサ部1のカメラ12で取得した、被監視者Obの上方から撮像した画像に基づいて被監視者Obの頭部を検出する。このために、頭部検出処理部62は、機能的に、動体抽出部621、円形状領域抽出部632、マーカー検出部623および頭部選定部624を備える。
体動抽出部621は、動体抽出部321と同様に、センサ部1のカメラ12で取得した画像から例えば背景差分法やフレーム間差分法等の手法を用いることで被監視者Obの人体領域として動体領域を抽出するものである。動体抽出部621は、この抽出した動体領域を、後述の第1態様の動作では円形状領域抽出部622へ通知する一方、後述の第2態様の動作ではマーカー検出部623へ通知する。
円形状領域抽出部622は、円形状領域抽出部322と同様に、センサ部1のカメラ12で取得した画像に基づいて、略円形状の領域を円形状領域として抽出するものである。より具体的には、第1態様の動作では、円形状領域抽出部622は、動体抽出部621で抽出した動体領域から、例えば前記ハフ変換の手法や前記パターンマッチングの手法等によって円形状領域を抽出し、この抽出した円形状領域をマーカー検出部623へ通知する。また、第2態様の動作では、円形状領域抽出部322は、後述するようにマーカー検出部623で検出したマーカーの領域を除く残余の体動領域から、例えば前記ハフ変換の手法や前記パターンマッチングの手法等によって円形状領域を抽出し、この抽出した円形状領域を頭部選定部624へ通知する。
マーカー検出部623は、センサ部1のカメラ12で取得した画像に基づいて、所定のマーカーを検出するものである。前記所定のマーカーは、上述と同様に、頭部ではない頭部に近似するものの誤検出をより低減するために、頭部ではない頭部に近似するものに付与され、好ましくは、特定の形状を持つマーカーであり、また好ましくは、赤外光でのみ識別可能なマーカーである。より具体的には、第1態様の動作では、マーカー検出部623は、円形状領域抽出部622で抽出した円形状領域から、前記所定のマーカーを検出し、円形状領域抽出部622で抽出した前記円形状領域からこの検出したマーカーを持つ円形状領域を除く残余の円形状領域を頭部選定部624へ通知する。また、第2態様の動作では、マーカー検出部623は、動体抽出部621で抽出した動体領域から、前記所定のマーカーを検出し、動体抽出部621で抽出した動体領域からこの検出したマーカーを持つ体動領域を除く残余の体動領域を円形状領域抽出部622へ通知する。
頭部選定部624は、前記円形状領域抽出部622で抽出した円形状領域および前記マーカー検出部623で抽出した所定のマーカーに基づいて頭部の領域を選定して前記頭部を検出するものである。より具体的には、第1態様の動作では、頭部選定部624は、マーカー検出部623で検出したマーカーに基づいて頭部の領域を選定して前記頭部を検出し、この検出した頭部(頭部領域)を行動検知処理部63へ通知する。また、第2態様の動作では、頭部選定部624は、円形状領域抽出部622で抽出した円形状領域に基づいて頭部の領域を選定して前記頭部を検出し、この検出した頭部(頭部領域)を行動検知処理部63へ通知する。
このような構成の被監視者監視システムMSbでは、各装置SUb、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。また、センサ装置SUbでは、その制御処理プログラムの実行によって、制御処理部6には、制御部61、頭部検出処理部62、行動検知処理部63、通知処理部64、ストリーミング処理部65およびナースコール処理部66が機能的に構成され、頭部検出処理部62には、動体抽出部621、円形状領域抽出部622、低反射率領域抽出部623および頭部選定部624が機能的に構成される。そして、上記構成の被監視者監視システムMSbは、センサ装置SUbが後述のように動作する点を除き、上述した被監視者監視システムMSaと同様に動作するので、その説明を省略する。
次に、被監視者監視システムMSbにおける、頭部検出動作について、説明する。図9は、第2実施形態の被監視者監視システムにおけるセンサ装置の第1態様の動作を示すフローチャートである。図10は、第2実施形態の被監視者監視システムにおけるセンサ装置の第2態様の動作を示すフローチャートである。本実施形態におけるセンサ装置SUbは、例えば、図9に示す第1態様の動作によって頭部(頭部領域)を検出し、また例えば、図10に示す第2態様の動作によって頭部(頭部領域)を検出している。以下、前記第1態様の動作をまず説明し、次に、前記第2態様の動作について説明する。
まず、第1態様の動作について説明する。センサ装置SUbは、各サンプリングタイミングにおいて、センサ部1のドップラセンサ11の出力をサンプリングするとともにカメラ12で画像を取得するごとに、次のように動作することで、被監視者Obの頭部(頭部領域)を検出し、被監視者Obにおける所定の行動を検知している。
図9において、まず、制御処理部6は、上述の処理S11と同様に、センサ部1のドップラセンサ11からドップラ信号を取得し、センサ部1のカメラ12から画像(1フレーム分の画像)を取得する(S31)。
次に、制御処理部6は、上述の処理S12と同様に、頭部検出処理部62の動体抽出部621によって、前記動体領域抽出処理を実行し、前記動体領域が抽出されたか否かを判定する(S32)。この判定の結果、前記動体領域が抽出されなかった場合(No)には、制御処理部6は、このタイミングでの処理を終了し、一方、前記動体領域が抽出された場合(Yes)には、制御処理部6は、動体抽出部621によって抽出した前記動体領域を動体抽出部621から円形状領域抽出部622へ通知し、次の処理S33を実行する。
この処理S33では、制御処理部6は、頭部検出処理部62の円形状領域抽出部622によって、動体抽出部321で抽出された動体領域から、例えばハフ変換やパターンマッチング等の手法を用いることで略円形状の領域(円形状領域)を抽出する円形状領域抽出処理を実行し、前記円形状領域が抽出されたか否かを判定する。この判定の結果、前記円形状領域が抽出されなかった場合(No)には、制御処理部6は、このタイミングでの処理を終了し、一方、前記円形状領域が抽出された場合(Yes)には、制御処理部6は、円形状領域抽出部622によって抽出した前記円形状領域を円形状領域抽出部622からマーカー検出部623および頭部選定部624へ通知し、次の処理S34を実行する。
この処理S34では、制御処理部6は、頭部検出処理部62の頭部選定部624によって、円形状領域抽出部622で抽出した円形状領域が複数か否かを判定する。この判定の結果、前記円形状領域が複数ではない場合、すなわち、前記円形状領域が1個である場合(No)には、制御処理部6は、頭部選定部624によって、前記処理S33で抽出した前記円形状領域が頭部(頭部領域)であると選定し、頭部選定部624によって選定された頭部(頭部領域)を頭部検出処理部62から行動検知処理部63へ通知し、次の処理S35を実行する。一方、前記判定の結果、前記円形状領域が複数である場合(Yes)には、制御処理部6は、前記処理S33で抽出した複数の前記円形状領域の中に頭部(頭部領域)ではない物体も抽出されているとし、次の処理S37を実行する。
この処理S37では、制御処理部6は、頭部検出処理部62のマーカー検出部623によって、円形状領域抽出部622によって抽出した前記円形状領域から所定のマーカーを検出し、円形状領域抽出部622で抽出した前記円形状領域からこの検出したマーカーを持つ円形状領域を除く残余の円形状領域を頭部選定部624へ通知し、頭部選定部624によってマーカー検出部623によって除かれた残余の前記円形状領域を頭部の領域として選定して前記頭部を検出し、この検出した頭部(頭部領域)を行動検知処理部63へ通知し、次の処理S35を実行する。なお、制御処理部6は、マーカー検出部623によって除かれた残余の前記円形状領域を頭部の領域としてマーカー検出部623から行動検知処理部63へ通知してもよい。
この処理S35では、上述の各処理S31〜S34、S37によって、頭部(頭部領域)が検出されたので、制御処理部6は、上述の処理S15と同様に、行動検知処理部63によって、センサ部1の出力に基づいて被監視者Obにおける、予め設定された所定の行動を検知する行動検知処理を実行し、前記所定の行動を検知したか否かを判定する。この判定の結果、前記所定の行動が検知されなかった場合(No)には、制御処理部6は、このタイミングでの処理を終了し、一方、前記所定の行動(本実施形態では、起床、離床、転倒および微体動異常のうちの少なくとも1つ)が検知された場合(Yes)には、制御処理部6は、処理S35で検知した前記所定の行動を通知処理部64へ通知し、次の処理S36を実行する。
この処理S36では、行動検知処理部63から被監視者Obにおける前記所定の行動が通知されると、通知処理部64は、その旨を上述の監視情報通信信号によって管理サーバ装置SVへ通知し、このタイミングでの処理を終了する。
次に、第2態様の動作について説明する。センサ装置SUbは、各サンプリングタイミングにおいて、センサ部1のドップラセンサ11の出力をサンプリングするとともにカメラ12で画像を取得するごとに、次のように動作することで、被監視者Obの頭部(頭部領域)を検出し、被監視者Obにおける所定の行動を検知している。
図10において、まず、制御処理部6は、上述の処理S11と同様に、センサ部1のドップラセンサ11からドップラ信号を取得し、センサ部1のカメラ12から画像(1フレーム分の画像)を取得する(S41)。
次に、制御処理部6は、上述の処理S12と同様に、頭部検出処理部62の動体抽出部621によって、前記動体領域抽出処理を実行し、前記動体領域が抽出されたか否かを判定する(S42)。この判定の結果、前記動体領域が抽出されなかった場合(No)には、制御処理部6は、このタイミングでの処理を終了し、一方、前記動体領域が抽出された場合(Yes)には、制御処理部6は、動体抽出部621によって抽出した前記動体領域を動体抽出部621からマーカー検出部623へ通知し、次の処理S43を実行する。
この処理S43では、制御処理部6は、頭部検出処理部62のマーカー検出部623によって、体動抽出部621によって抽出した前記体動領域から所定のマーカーを検出し、体動抽出部621で抽出した前記体動領域からこの検出したマーカーを持つ体動領域を除く残余の体動領域を円形状領域抽出部622へ通知し、次の処理S44を実行する。
この処理S44では、制御処理部6は、頭部検出処理部62の円形状領域抽出部622によって、マーカー検出部623によってマーカーを持つ体動領域を除いた前記残余の体動領域から、例えばハフ変換やパターンマッチング等の手法を用いることで略円形状の領域(円形状領域)を抽出する円形状領域抽出処理を実行し、前記円形状領域が抽出されたか否かを判定する。この判定の結果、前記円形状領域が抽出されなかった場合(No)には、制御処理部6は、このタイミングでの処理を終了し、一方、前記円形状領域が抽出された場合(Yes)には、制御処理部6は、円形状領域抽出部622によって抽出した前記円形状領域を円形状領域抽出部622から頭部選定部624へ通知し、頭部選定部624によって円形状領域抽出部622によって抽出した前記円形状領域を頭部の領域として選定して前記頭部を検出し、この検出した頭部(頭部領域)を行動検知処理部63へ通知し、次の処理S45を実行する。なお、制御処理部6は、円形状領域抽出部622によって抽出した前記円形状領域を頭部の領域として円形状領域抽出部622から行動検知処理部63へ通知してもよい。
この処理S45では、上述の各処理S41〜S44によって、頭部(頭部領域)が検出されたので、制御処理部6は、上述の処理S15と同様に、行動検知処理部63によって、センサ部1の出力に基づいて被監視者Obにおける、予め設定された所定の行動を検知する行動検知処理を実行し、前記所定の行動を検知したか否かを判定する。この判定の結果、前記所定の行動が検知されなかった場合(No)には、制御処理部6は、このタイミングでの処理を終了し、一方、前記所定の行動(本実施形態では、起床、離床、転倒および微体動異常のうちの少なくとも1つ)が検知された場合(Yes)には、制御処理部6は、処理S45で検知した前記所定の行動を通知処理部64へ通知し、次の処理S46を実行する。
この処理S46では、行動検知処理部63から被監視者Obにおける前記所定の行動が通知されると、通知処理部64は、その旨を上述の監視情報通信信号によって管理サーバ装置SVへ通知し、このタイミングでの処理を終了する。
以上説明したように、被監視者監視装置の一例である被監視者監視システムMSbならびに頭部検出装置および頭部検出方法を用いたその一例のセンサ装置SUbは、略円形状だけでなくマーカーも考慮して頭部HDを検出するので、被監視者Obを上方から撮像した画像に基づき被監視者Obの頭部HDをより精度良く検出できる。この結果、上記被監視者監視システムMSbおよびセンサ装置SUbは、被監視者Obにおける所定の行動をより精度良く検知できる。
また、上記被監視者監視システムMSbおよびセンサ装置SUbは、上述の第1態様の動作において、円形状領域抽出部622で抽出した円形状領域を頭部領域の候補として絞り込み、この絞り込んだ候補から前記マーカーを持つ前記円形状領域を除くことで、円形状領域抽出部622で抽出した円形状領域から頭部ではない前記ものを除くことができ、より精度良く被監視者Obの頭部HDを検出できる。
また、上記被監視者監視システムMSbおよびセンサ装置SUbは、上述の第2態様の動作において、体動抽出部621で抽出した体動領域からマーカーを持つ体動領域を除くことで体動領域を絞り込み、この絞り込んだ体動領域から略円形状を考慮して頭部HDを検出するので、カメラ12で取得した画像全体から略円形状の円形状領域を抽出する場合に比べて、情報処理量を低減できる。
また、これら上述の実施形態において、寝具BT上は、安全であるという考えから、円形状領域が寝具BTの領域内で検出された場合には、この円形状領域が処理S15、処理S26、処理S35および処理S45それぞれでの前記行動検知処理の対象から除外されても良い。
また、これら上述の実施形態では、センサ装置SUa、SUbが前記行動検知部および前記通知部を備えたが、前記行動検知部および前記通知部は、管理サーバ装置SVに備えられても良く、また、固定端末装置SPに備えられても良く、また、携帯端末装置TAに備えられても良い。このような場合、センサ装置SUa、SUbからネットワークNWを介して被監視者Obの上方から撮像した画像およびドップラ信号を収容した通信信号を受信して取得する通信インターフェース等が、画像取得部の一例および測距部の一部の一例に相当することになる。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。