以下、図面を参照して、本発明の1または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
本実施形態における被監視者監視支援システムは、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者)Obを監視する際に、その監視を支援するシステムである。本実施形態では、被監視者監視支援システムは、被監視者Obに対応して設けられ、被監視者Obに関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されて前記センサ装置から受信したイベントを管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備える。前記センサ装置は、画像を生成する撮像部と、前記所定のイベントを検知する第1アルゴリズムで、前記撮像部で生成された画像に基づいて前記所定のイベントを検知する第1検知処理部と、前記第1検知処理部で前記所定のイベントを検知しなかった場合に、前記所定のイベントを検知する、前記第1アルゴリズムと異なる第2アルゴリズムで、前記撮像部で生成された画像に基づいて前記所定のイベントを検知する必要性を判定する必要性判定部と、前記必要性判定部で前記所定のイベントの検知が必要であると判定された場合に、前記所定のイベントを検知させるために前記撮像部で生成された画像を前記中央処理装置へ送信する画像送信部とを備える。前記センサ装置は、1対1で被監視者Obを監視して良く、1対多で複数の被監視者Obを監視して良く、前記被監視者監視支援システムは、1対1で被監視者Obを監視するセンサ装置のみで構成されて良く、1対多で複数の被監視者Obを監視するセンサ装置のみで構成されて良く、1対1で被監視者Obを監視するセンサ装置、および、1対多で複数の被監視者Obを監視するセンサ装置の混在で構成されて良い。前記中央処理装置は、前記所定のイベントを検知させるために画像を前記センサ装置から受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知する第2検知処理部と、前記第2検知処理部で前記所定のイベントを検知した場合に、前記検知した所定のイベントを、前記所定のイベントを検知させるために画像を送信した前記センサ装置で検知されたイベントの通知を受ける端末装置へ通知する通知処理部とを備える。前記第2検知処理部は、前記第2アルゴリズムで、前記受信した画像に基づいて前記所定のイベントを検知して良い。前記端末装置は、1種類の装置であって良いが、本実施形態態では、前記端末装置は、固定端末装置と携帯端末装置との2種類の装置である。これら固定端末装置と携帯端末装置との主な相違は、固定端末装置が固定的に運用される一方、携帯端末装置が例えば看護師や介護士等の監視者(サービス提供者、ユーザ)に携行されて運用される点であり、これら固定端末装置と携帯端末装置とは、略同様である。このような被監視者監視支援システムについて、前記所定のイベント(事象)の一例として、被監視者Obにおける、予め設定された所定の行動およびナースコールを挙げ、前記中央処理装置の一例として管理サーバ装置SVを挙げ、以下、より具体的に説明する。
図1は、実施形態における被監視者監視支援システムの構成を示す図である。図2は、前記被監視者監視支援システムにおけるセンサ装置の構成を示す図である。図3は、前記被監視者監視支援システムにおける管理サーバ装置の構成を示す図である。図4は、前記管理サーバ装置に記憶される監視情報テーブルの構成を示す図である。図5は、前記管理サーバ装置に記憶される装置間情報テーブルの構成を示す図である。図5Aは、通知先対応関係情報テーブルを示し、図5Bは、通信アドレス対応関係情報テーブルを示す。図6は、前記管理サーバ装置に記憶されるセンサ情報テーブルの構成を示す図である。
実施形態における被監視者監視支援システムMSは、被監視者Obの監視を支援するシステムであり、例えば、図1に示すように、1または複数のセンサ装置SU(SU-1~SU-3)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA-1、TA-2)と、構内交換機(PBX、Private branch exchange)CXとを備え、これらは、有線や無線で、LAN(Local Area Network)等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWは、通信信号を中継する例えばリピーター、ブリッジおよびルーター等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SU-1~SU-3、管理サーバ装置SV、固定端末装置SP、複数の携帯端末装置TA-1、TA-2および構内交換機CXは、L2スイッチの集線装置(ハブ、HUB)LSおよびアクセスポイントAPを含む有線および無線の混在したLAN(例えばIEEE802.11規格に従ったLAN等)NWによって互いに通信可能に接続されている。より詳しくは、複数のセンサ装置SU-1~SU-3、管理サーバ装置SV、固定端末装置SPおよび構内交換機CXは、集線装置LSに接続され、複数の携帯端末装置TA-1、TA-2は、アクセスポイントAPを介して集線装置LSに接続されている。そして、ネットワークNWは、TCP(Transmission control protocol)およびIP(Internet protocol)等のインターネットプロトコル群が用いられることによっていわゆるイントラネットを構成する。
構内交換機(回線切換機)CXは、ネットワークNWに接続され、携帯端末装置TA同士における発信、着信および通話等の内線電話の制御を行って前記携帯端末装置TA同士の内線電話を実施し、そして、例えば固定電話網や携帯電話網等の公衆電話網PNを介して例えば固定電話機や携帯電話機等の外線電話機TLに接続され、外線電話機TLと携帯端末装置TAとの間における発信、着信および通話等の外線電話の制御を行って外線電話機TLと携帯端末装置TAとの間における外線電話を実施するものである。構内交換機CXは、例えば、デジタル交換機や、IP-PBX(Internet Protocol Private Branch eXchange)等である。
被監視者監視支援システムMSは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者)Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視支援システムMSは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視支援システムMSは、複数の被監視者Obが入居する複数の居室RMや、ナースステーション等の複数の部屋を備える介護施設の建物に配設されている。
センサ装置SUは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能等を備え、被監視者Obにおける所定の行動を前記所定のイベントの一例として検知してその検知結果を管理サーバ装置SVへ送信し、ナースコールを受け付けて前記所定のイベントの他の一例として検知してその旨を管理サーバ装置SVへ送信し、端末装置SP、TAとの間で音声通話を行い、そして、動画を含む画像を生成して端末装置SP、TAへ動画を配信する装置である。
図1には、一例として、3個の第1ないし第3センサ装置SU-1~SU-3が示されており、第1センサ装置SU-1は、被監視者Obの一人であるAさんOb-1の居室RM-1(不図示)に配設され、第2センサ装置SU-2は、被監視者Obの一人であるBさんOb-2の居室RM-2(不図示)に配設され、第3センサ装置SU-3は、被監視者Obの一人であるCさんOb-3および被監視者Obの一人であるDさんOb-4の居室RM-3(不図示)に配設されている。すなわち、本実施形態では、第1センサ装置SU-1は、1対1で被監視者のAさんOb-1を監視し、第2センサ装置SU-2は、1対1で被監視者のBさんOb-2を監視し、第3センサ装置SU-3は、1対多で被監視者のCさんOb-3およびDさんOb-4を監視している。
このようなセンサ装置SUは、例えば、図2に示すように、撮像部11と、音入出力部12と、ナースコール受付操作部13と、センサ側制御処理部(SU制御処理部)14と、センサ側通信インターフェース部(SU通信IF部)15と、センサ側記憶部(SU記憶部)16とを備える。
撮像部11は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、画像(画像データ)を生成する装置である。前記画像には、静止画(静止画データ)および動画(動画データ)が含まれる。撮像部11は、監視すべき監視対象である被監視者Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室(部屋)RM)を監視可能に配置され、前記所在空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像(画像データ)を生成し、前記撮像対象の画像(対象画像)をSU制御処理部14へ出力する。好ましくは、センサ装置SUが1対1で被監視者Obを監視する場合、監視対象の被監視者Ob全体を撮像できる蓋然性が高いことから、撮像部11は、被監視者Obが横臥する寝具(例えばベッド等)における、被監視者Obの頭部が位置すると予定されている予め設定された頭部予定位置(通常、枕の配設位置)の直上から撮像対象を撮像できるように配設される。また好ましくは、センサ装置SUが1対多で複数の被監視者Obを監視する場合、監視対象の複数の被監視者Ob全体を撮像できる蓋然性が高いことから、撮像部11は、居室(部屋)RM全体を上方から下方へ撮像対象を撮像できるように、例えば天井面上の略中央位置、あるいは、互いに隣接する2側壁面および天井面から成るコーナ位置等に配設される。センサ装置SUは、この撮像部11によって、被監視者Obを、被監視者Obの上方から撮像した画像、好ましくは前記頭部予定位置の直上から前記撮像対象を俯瞰した画像、また好ましくは斜め上方から前記撮像対象を俯瞰した画像を取得する。
そして、本実施形態では、後述するように、第1および第2アルゴリズムで被監視者Obにおける所定の行動を撮像部11で生成した画像に基づいて検知するために、撮像部11は、互いに異なる複数の解像度で前記画像を生成できるように構成されている。例えば、撮像部11は、第1解像度で画像を生成し、前記第1解像度の画像から画素を間引くことによって前記第1解像度より低解像度の第2解像度の画像を生成する。また例えば、撮像部11は、第2解像度で画像を生成し、前記第2解像度の画像から画素を補間することによって前記第2解像度より高解像度の第1解像度の画像を生成する。また例えば、撮像部11は、第2解像度で時系列な複数の画像を生成し、前記第2解像度での複数の画像から高解像度化処理(超解像技術)によって前記第2解像度より高解像度の第1解像度の1つの画像を生成する。
このような撮像部11は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Obを監視できるように、本実施形態では、赤外線の画像を生成する装置である。このような撮像部11は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するエリアイメージセンサ、および、エリアイメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データを生成する画像処理部等を備えるデジタル赤外線カメラである。撮像部11の前記結像光学系は、本実施形態では、その配設された居室RM全体を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。
音入出力部12は、音を入出力する回路である。すなわち、音入出力部12は、SU制御処理部14に接続され、SU制御処理部14の制御に従って音を表す電気信号に応じた音を生成して出力するための回路であって、外部の音を取得してセンサ装置SUに入力するための回路である。音入出力部12は、例えば、音の電気信号(音データ)を音の機械振動信号(音響信号)に変換するスピーカ等と、可聴領域の音の機械振動信号を電気信号に変換するマイクロフォン等とを備えて構成される。音入出力部12は、外部の音を表す電気信号をSU制御処理部14へ出力し、また、SU制御処理部14から入力された電気信号を音の機械振動信号に変換して出力する。
ナースコール受付操作部13は、SU制御処理部14に接続され、ナースコールを当該センサ装置SUに入力するための例えば押しボタン式スイッチ等のスイッチ回路である。なお、ナースコール受付操作部13は、有線でSU制御処理部14に接続されて良く、また、例えばBluetooth(登録商標)規格等の近距離無線通信でSU制御処理部14に接続されて良い。
SU通信IF部15は、SU制御処理部14に接続され、SU制御処理部14の制御に従って通信を行うための通信回路である。SU通信IF部15は、SU制御処理部14から入力された転送すべきデータを収容した通信信号を、この被監視者監視システムMSのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。SU通信IF部15は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをSU制御処理部14が処理可能な形式のデータに変換してSU制御処理部14へ出力する。SU通信IF部15は、例えば、IEEE802.11規格等に従った通信インターフェース回路を備えて構成される。
SU記憶部16は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、センサ装置SUの各部11~13、15、16を当該各部の機能に応じてそれぞれ制御するSU制御プログラムや、被監視者Obに対する監視に関する所定の情報処理を実行するSU監視処理プログラム等の制御処理プログラムが含まれる。前記SU監視処理プログラムには、被監視者Obにおける所定の行動を前記所定のイベントの一例として第1アルゴリズムで、撮像部11で生成された画像に基づいて検知してその検知結果を管理サーバ装置SVを介して所定の端末装置SP、TAへ通知する第1検知処理プログラムや、前記第1検知処理プログラムで前記所定の行動を検知しなかった場合に、前記所定の行動を前記所定のイベントの一例として検知する、前記第1アルゴリズムと異なる第2アルゴリズムで、撮像部11で生成された画像に基づいて前記所定の行動を検知する必要性を判定する必要性判定プログラムと、前記必要性判定プログラムで前記所定の行動の検知が必要であると判定された場合に、前記所定の行動を前記所定のイベントの一例として検知させるために撮像部11で生成された画像を管理サーバ装置SVへ送信する画像送信プログラムと、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として管理サーバ装置SVへ通知し、音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うナースコール処理プログラムや、撮像部11で生成した動画を、その動画を要求した端末装置SP、TAへストリーミングで配信するストリーミング処理プログラム等が含まれる。前記各種の所定のデータには、自機の、センサ装置SUを特定し識別するための識別子であるセンサ装置識別子(センサID)、および、管理サーバ装置SVの通信アドレス等の、各プログラムを実行する上で必要なデータ等が含まれる。SU記憶部16は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、SU記憶部16は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるSU制御処理部14のワーキングメモリとなるRAM(Random Access Memory)等を含む。
SU制御処理部14は、センサ装置SUの各部11~13、15、16を当該各部の機能に応じてそれぞれ制御し、被監視者Obに関わる所定のイベント(事象)を、管理サーバ装置SVへ通知するための回路である。より具体的には、本実施形態では、SU制御処理部14は、被監視者Obにおける所定の行動を前記所定のイベントの一例として第1アルゴリズムで、撮像部11で生成された画像に基づいて検知してその検知結果を管理サーバ装置SVへ通知(報知、送信)し、前記第1アルゴリズムで前記所定の行動を検知しなかった場合に、前記所定の行動を前記所定のイベントの一例として検知する、前記第1アルゴリズムと異なる第2アルゴリズムで、撮像部11で生成された画像に基づいて前記所定の行動を検知する必要性を判定し、その結果、前記所定の行動の検知が必要であると判定された場合に、前記所定の行動を前記所定のイベントの一例として検知させるために撮像部11で生成された画像を管理サーバ装置SVへ送信し、ナースコールを受け付けてそのナースコールを前記所定のイベントの他の一例として管理サーバ装置SVへ通知(報知、送信)し、端末装置SP、TAとの間で音声通話を行い、動画を含む画像を生成して端末装置SP、TAへ動画を配信する。SU制御処理部14は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。SU制御処理部14は、前記制御処理プログラムが実行されることによって、センサ側制御部(SU制御部)141、センサ側検知処理部(SU検知処理部)142、必要性判定部143、画像送信部144、ナースコール処理部145およびストリーミング処理部146を機能的に備える。
SU制御部141は、センサ装置SUの各部を当該各部の機能に応じてそれぞれ制御し、センサ装置SUの全体制御を司るものである。
SU検知処理部142は、被監視者Obにおける、予め設定された所定の行動を、前記所定のイベントの一例として第1アルゴリズムで、撮像部11で生成された画像に基づいて検知してその検知結果を管理サーバ装置SVへ通知するものである。より具体的には、本実施形態では、前記所定のイベントに一例として含まれる前記所定の行動は、例えば、被監視者Obが起きた起床、被監視者Obが寝具から離れた離床、被監視者Obが寝具から落ちた転落、被監視者Obが倒れた転倒、および、被監視者Obが苦しんで手足を動かしてもがくもがきの5つの行動である。そして、本実施形態では、前記起床、離床、転落および転倒は、第1アルゴリズムで検知され、前記もがきは、第2アルゴリズムで検知される。例えば、SU検知処理部142は、前記第1アルゴリズムとして、撮像部11で撮像した対象画像に基づいて被監視者Obの頭部を検出し、この検出した被監視者Obの頭部における大きさの時間変化に基づいて被監視者Obの起床、離床、転倒および転落を検知する。より詳しくは、まず、寝具BDの所在領域、および、第1ないし第3閾値Th1~Th3が前記各種の所定のデータの1つとして予めSU記憶部16に記憶される。前記第1閾値Th1は、寝具BDの所在領域内における横臥姿勢の頭部の大きさと座位姿勢の頭部の大きさとを識別するための閾値である。前記第2閾値Th2は、寝具BDの所在領域を除く居室RM内における立位姿勢の頭部の大きさであるか否かを識別するための閾値である。前記第3閾値Th3は、寝具BDの所在領域を除く居室RM内における横臥姿勢の頭部の大きさであるか否かを識別するための閾値である。そして、SU検知処理部142は、対象画像から例えば背景差分法やフレーム差分法によって被監視者Obの人物の領域として動体領域を抽出し、この抽出した動体領域から、例えば円形や楕円形のハフ変換によって、また例えば予め用意された頭部のモデルを用いたパターンマッチングによって、また例えば頭部検出用に学習したニューラルネットワークによって、被監視者Obの頭部領域を抽出し、この抽出した頭部の位置および大きさから起床、離床、転倒および転落を検知する。例えば、SU検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域内であって、前記抽出した頭部の大きさが前記第1閾値Th1を用いることによって横臥姿勢の大きさから座位姿勢の大きさへ時間変化した場合には、起床と判定し、前記起床を検知する。例えば、SU検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域内から寝具の所在領域外へ時間変化した場合であって、前記抽出した頭部の大きさが前記第2閾値Th2を用いることによって或る大きさから立位姿勢の大きさへ時間変化した場合には、離床と判定し、前記離床を検知する。例えば、SU検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域内から寝具BDの所在領域外へ変化した場合であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転落と判定し、前記転落を検知する。例えば、SU検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域を除く居室RM内であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転倒と判定し、前記転倒を検知する。
なお、センサ装置SUが1対多で複数の被監視者Obを監視する場合には、SU検知処理部142は、対象画像から背景差分法によって複数の被監視者Obにおける人物の各領域として複数の動体領域を抽出し、複数の動体領域それぞれにラベル(識別符号)をそれぞれ付ける。SU検知処理部142は、対象画像から背景差分法によって動体領域を抽出するたびに、対象画像上で最も近い位置同士の動体領域に同一のラベルを付ける。そして、SU検知処理部142は、ラベル付けされた各動体領域それぞれに対し、上述の各処理を実施し、前記起床、離床、転落および転倒を検知する。
このように前記所定の行動を検知すると、SU検知処理部142は、被監視者Obに関わる所定のイベント(事象)の内容を表すイベント情報(事象情報)を収容した、前記イベントを通知するための第1イベント通知通信信号をSU通信IF部15で管理サーバ装置SVへ通知する。より詳しくは、SU検知処理部142は、自機のセンサID、前記イベントの内容を表すイベント情報、前記所定の行動の検知に用いられた対象画像を収容した通信信号(第1イベント通知通信信号)を、SU通信IF部15を介して管理サーバ装置SVへ送信する。前記イベント情報は、本実施形態では、起床、離床、転落、転倒およびナースコール(NC)のうちの1または複数であり、ここでは、SU検知処理部142は、検知した起床、離床、転落および転倒のうちの1または複数を前記イベント情報として第1イベント通知通信信号に収容する。前記画像は、静止画および動画のうちの少なくとも一方であって良く、本実施形態では、後述するように、まず、静止画が報知され、ユーザの要求に応じて動画が配信される。なお、まず、動画が配信されても良く、また、静止画および動画が送信され、画面分割で静止画および動画が端末装置SP、TAに表示されても良い。
必要性判定部143は、SU検知処理部142で前記所定の行動を前記所定のイベントの一例として検知しなかった場合に、被監視者Obにおける所定の行動を前記所定のイベントの一例として検知する、前記第1アルゴリズムと異なる第2アルゴリズムで、撮像部11で生成された画像に基づいて前記所定の行動を検知する必要性を判定するものである。より具体的には、必要性判定部143は、被監視者Obに前記所定のイベントが生じていると判定される第1条件を満たさないが、被監視者Obに前記所定のイベントが生じていないと判定される第2条件も満たさない第3条件を満たすか否かによって、前記所定のイベントを検知する必要性を判定する。本実施形態では、前記所定のイベントの一例として前記所定の行動が挙げられているので、必要性判定部143は、被監視者Obに前記所定の行動のうちの転落および転倒が生じていると判定される第1条件を満たさないが、被監視者Obに前記転落および転倒が生じていないと判定される第2条件も満たさない第3条件を満たすか否かによって、前記所定の行動のうちのもがきを検知する必要性を判定する。より詳しくは、まず、転落の判定に用いられる前記時間変化に対し、転落であるか否かを判定するための閾値(転落判定時間閾値)と、もがきの検知の必要性を判定するための閾値(第1必要性判定閾値)が設定され、転倒の判定に用いられる前記時間変化に対し、転落であるか否かを判定するための閾値(転倒判定時間閾値)と、もがきの検知の必要性を判定するための閾値(第2必要性判定閾値)が設定される。前記転落判定時間閾値および前記第1必要性判定閾値は、複数のサンプルから予め適宜に設定され、前記転落判定時間閾値は、前記第1必要性判定閾値より小さい値に設定される((前記転落判定時間閾値)<(前記第1必要性判定閾値))。前記転倒判定時間閾値および前記第2必要性判定閾値は、複数のサンプルから予め適宜に設定され、前記転倒判定時間閾値は、前記第2必要性判定閾値より小さい値に設定される((前記転倒判定時間閾値)<(前記第2必要性判定閾値))。したがって、SU検知処理部142は、前記抽出した頭部の位置が寝具BDの所在領域内から寝具BDの所在領域外へ変化した場合であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ変化するまでの時間(第1変化時間)が前記転落判定時間閾値以下である場合には、転落と判定し、前記転落を検知する。必要性判定部143は、前記第1変化時間が前記転落判定時間閾値より大きい(長い)場合であって、前記第1変化時間が前記第1必要性判定閾値以下である場合に、もがきの検知の必要性があると判定する。SU検知処理部142は、前記抽出した頭部の位置が寝具BDの所在領域を除く居室RM内であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ変化するまでの時間(第2変化時間)が前記転倒判定時間閾値以下である場合には、転倒と判定し、前記転倒を検知する。必要性判定部143は、前記第2変化時間が前記転倒判定時間閾値より大きい場合であって、前記第2変化時間が前記第2必要性判定閾値以下である場合に、もがきの検知の必要性があると判定する。そして、必要性判定部143は、前記第1変化時間が前記第1必要性判定閾値より大きい(長い)場合、および、前記第2変化時間が前記第2必要性判定閾値より大きい場合等の、もがきの検知の必要性がある場合を除く他の場合に、もがきの検知の必要性がないと判定する。
画像送信部144は、必要性判定部143で前記所定の行動(本実施形態ではもがき)の検知が必要であると判定された場合に、前記所定の行動を前記所定のイベントの一例として他の装置(本実施形態では管理サーバ装置SV)に検知させるために撮像部11で生成された画像を管理サーバ装置SVへ送信する。より具体的には、画像送信部144は、必要性判定部143で前記所定の行動の検知が必要であると判定された場合に、自機のセンサID、前記所定の行動を検知させる命令(指令)を表す情報、および、撮像部11で生成された画像を収容する通信信号(検知依頼通信信号)を生成し、前記生成した検知依頼通信信号を管理サーバ装置SVへ送信する。この検知依頼通信信号に収容される前記画像は、前記第2アルゴリズムでより詳細な解析処理を管理サーバ装置SVで実施するために、前記第1アルゴリズムで前記所定のイベントの一例として前記所定の行動の検知に用いられる画像の解像度よりも高い解像度の画像である。このため、画像送信部144は、必要性判定部143で前記所定の行動の検知が必要であると判定された場合に、前記第1アルゴリズムで前記所定の行動の検知に用いられる画像の解像度よりも高い解像度の画像を撮像部11に生成させる。そして、前記検知依頼通信信号に収容される前記画像は、静止画であって良いが、本実施形態では、管理サーバ装置SVにもがきを検知させるので、前記検知依頼通信信号に収容される前記画像は、所定の時間長の動画である。前記所定の時間長は、前記もがきの検知に必要な時間で適宜に予め設定され、例えば、3秒、5秒、10秒および15秒等の数秒から十数秒である。
ナースコール処理部145は、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として収容した第1イベント通知通信信号を管理サーバ装置SVへ通知し、音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うものである。より具体的には、ナースコール処理部143は、ナースコール受付操作部13が入力操作されると、自機のセンサIDおよび前記イベント情報としてナースコールを収容した第1イベント通知通信信号をSU通信IF部15を介して管理サーバ装置SVへ送信する。そして、ナースコール処理部143は、音入出力部12等を用い、端末装置SP、TAとの間で例えばVoIP(Voice over Internet Protocol)によって音声通話を行う。
ストリーミング処理部146は、通信IF部3を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、撮像部11で生成した動画(例えばライブの動画)をストリーミング再生でSU通信IF部15を介して配信するものである。
管理サーバ装置SVは、ネットワークNWを介して他の装置SU、TA、SPと通信する通信機能を備え、センサ装置SUから前記所定のイベントの通知を受けると、被監視者Obに対する監視に関する情報(監視情報(本実施形態では例えば前記所定のイベント(センサ装置SUで検知した所定の行動の種類やセンサ装置SUで受け付けたナースコール)、被監視者Obの画像(静止画および動画)、および、前記通知を受けた時刻等))を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知(再通知、再報知、送信)し、クライアント(本実施形態では端末装置SP、TA等)の要求に応じたデータを前記クライアントに提供し、被監視者監視システムMS全体を管理する装置である。そして、本実施形態では、管理サーバ装置SVは、前記所定のイベントを検知させるために画像をセンサ装置SUから受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知し、前記所定のイベントを検知した場合に、前記検知した所定のイベントを前記監視情報として管理し、前記検知した所定のイベントを、前記所定のイベントを検知させるために画像を送信した前記センサ装置SUで検知されたイベントの通知を受ける端末装置SP、TAへ通知する。このような管理サーバ装置SVは、例えば、図3に示すように、サーバ側通信インターフェース部(SV通信IF部)21と、サーバ側制御処理部(SV制御処理部)22と、サーバ側記憶部(SV記憶部)23とを備える。
SV通信IF部21は、SU通信IF部15と同様に、SV制御処理部22に接続され、SV制御処理部22の制御に従って通信を行うための通信回路である。SV通信IF部21は、例えば、IEEE802.11規格等に従った通信インターフェース回路を備えて構成される。
SV記憶部23は、SV制御処理部22に接続され、SV制御処理部22の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、管理サーバ装置SVの各部21、23を当該各部の機能に応じてそれぞれ制御するSV制御プログラムや、被監視者Obに対する監視に関する所定の情報処理を実行するSV監視処理プログラム等の制御処理プログラムが含まれる。前記SV監視処理プログラムには、センサ装置SUから前記所定のイベントの通知を受信すると被監視者Obに対する監視に関する監視情報を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知する監視処理プログラムや、前記所定のイベントを検知させるために画像をセンサ装置SUから受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知するSV検知処理プログラムや、前記SV検知処理プログラムで前記所定のイベントを検知した場合に、前記検知した所定のイベントを、前記所定のイベントを検知させるために画像を送信した前記センサ装置SUで検知されたイベントの通知を受ける端末装置SP、TAへ通知する通知処理プログラム等が含まれる。前記各種の所定のデータには、自機の、管理サーバ装置SVを特定し管理サーバ装置SVを識別するためのサーバ識別子(サーバID)や、被監視者Obの前記監視情報や、前記所定のイベントの通知先等の装置SU、SP、TA間の情報を表す装置間情報や、センサ装置SUに関するセンサ情報等の各プログラムを実行する上で必要なデータ等が含まれる。これら監視情報、装置間情報およびセンサ情報それぞれを記憶するために、SV記憶部23は、監視情報記憶部231、装置間情報記憶部232およびセンサ情報記憶部233を機能的に備える。
監視情報記憶部231は、各装置SU、SP、TAそれぞれとの間で送受信した被監視者Obの監視情報を記憶するものである。より具体的には、監視情報記憶部231には、本実施形態では、前記監視情報として、第1イベント通知通信信号および検知依頼通信信号等の通信信号に収容された各情報に基づいて、センサID、イベント情報(事象情報、本実施形態では起床、離床、転落、転倒、もがきおよびナースコール)、受信時刻、対象画像(静止画および動画)および対処の有無(対応の受付の有無)が互いに対応付けて記憶される。
この監視情報は、本実施形態では、テーブル形式で監視情報記憶部321に記憶されている。この監視情報を登録する監視情報テーブルMTは、例えば、図4に示すように、各装置SU、SP、TAから受信した通信信号に収容されたセンサIDを登録するセンサIDフィールド2311と、前記受信した通信信号に収容されたイベント情報または前記受信した通信信号に収容された画像に基づいて後述のように第2アルゴリズムで検知されたイベントを登録するイベントフィールド(イベントフィールド)2312と、前記受信した通信信号の受信時刻を登録する受信時刻フィールド2313と、前記受信した通信信号に収容された前記静止画または前記受信した通信信号に収容された画像に基づく静止画を登録する静止画フィールド2314と、ライブ動画の取得先として、前記受信した通信信号に収容されたセンサIDに対応するセンサ装置SUの通信アドレス(例えばIPアドレス等)を登録する動画フィールド2315と、前記受信した通信信号に収容されたイベント情報に対する対応の受付の有無を登録する対応フィールド2316とを備え、前記受信した通信信号ごと(各イベントごと)にレコードを備える。静止画フィールド2314には、例えば、静止画の画像データが登録されて良く、また例えば、静止画の画像データのファイル名が登録されて良い。対応フィールド2316には、前記受信した通信信号に収容されたイベント情報に対する対処(対応、処置、措置)する意思がある旨(“対応する”)を端末装置SP、TAで受け付けたか否かを表すフラグ(対応フラグ)が登録される。例えば、本実施形態では、対応フィールド2316には、前記受信した通信信号に収容されたイベント情報(イベントフィールド2312に登録されたイベント情報)に対処する意思がある旨(“対応する”)を端末装置SP、TAで受け付けたことを意味する対応フラグ「1」、あるいは、前記受信した通信信号に収容されたイベント情報に対処する意思がある旨(“対応する”)を端末装置SP、TAで受け付けていないことを意味する対応フラグ「0」が登録される。なお、デフォルトでは、対応フィールド2316には、未受付を意味する対応フラグ「0」が登録される。なお、第1イベント通知通信信号に、前記所定の行動を検知した検知時刻または前記ナースコールを受け付けたナースコール受付時刻が収容されている場合には、受信時刻に代え、前記検知時刻または前記ナースコール受付時刻が登録されても良い。
装置間情報記憶部232は、前記装置間情報として、本実施形態では、通知先対応関係および通信アドレス対応関係等を記憶するものである。前記通知先対応関係は、センサ装置SUから送信された第1イベント通知通信信号に収容された前記所定のイベント、および、検知依頼通信信号に収容された画像に基づいて検知された前記所定のイベント等の通知先(再通知先、再報知先、送信先)を示す、送信元であるセンサIDと通知先(再通知先)である端末IDとの対応関係である。前記端末IDは、端末装置SP、TAを特定し端末装置SP、TAを識別するための端末識別子である。前記通信アドレス対応関係は、各装置SU、SP、TAのID(センサID、端末ID)とその通信アドレスとの対応関係である。
これら通知先対応関係および通信アドレス対応関係は、それぞれ、本実施形態では、テーブル形式で装置間情報記憶部232に記憶されている。この通知先対応関係を登録する通知先対応関係情報テーブルATは、例えば、図5Aに示すように、送信元のセンサ装置SUのセンサIDを登録する送信元フィールド2321と、送信元フィールド2321に登録されたセンサIDに対応するセンサ装置SUから通知された通信信号による前記所定のイベントを通知する通知先の端末装置SP、TAにおける端末IDを登録する通知先フィールド2322とを備え、センサID(センサ装置SU)ごとにレコードを備える。前記通信アドレス対応関係を登録する通信アドレス対応関係情報テーブルDTは、例えば、図5Bに示すように、端末装置SP、TAの端末IDを登録する端末IDフィールド2323と、端末IDフィールド2323に登録された端末IDに対応する端末装置SP、TAの通信アドレスを登録する通信アドレスフィールド2324とを備え、端末ID(端末装置SP、TA)ごとにレコードを備える。
なお、センサID、サーバIDおよび端末IDそれぞれは、例えば所定の記号列から成るシリアル番号等であって良く、また例えば通信アドレスであって良い(この場合通信アドレス対応関係は省略できる)。
センサ情報記憶部233は、前記センサ情報を記憶するものである。本実施形態では、前記センサ情報は、センサ装置SUに関する情報であり、センサ装置SUのセンサIDと被監視者Obの被監視者名とを互いに対応付けた情報である。
このようなセンサ情報は、本実施形態では、テーブル形式でセンサ情報記憶部233に記憶される。より具体的には、センサ情報を登録するセンサ情報テーブルSTは、例えば、図6に示すように、センサIDを登録するセンサIDフィールド2331と、前記センサIDフィールド2331に登録されているセンサIDを持つセンサ装置SUの配設場所を登録する配設場所フィールド2332と、前記センサIDフィールド2331に登録されているセンサIDを持つセンサ装置SUによって監視される被監視者Ob(すなわち、前記センサIDフィールド2331に登録されているセンサIDを持つセンサ装置SUの配設場所に居る被監視者Ob)の被監視者名を登録する被監視者名フィールド2333と、前記センサIDフィールド2331に登録されているセンサIDを持つセンサ装置SU、その配設場所およびその被監視者Obに関する備考を登録する備考フィールド2334とを備え、センサID(すなわち、センサ装置SU)ごとにレコードを持つ。被監視者名フィールド2333には、センサ装置SUが1対1で被監視者Obを監視する場合、1つの被監視者名が登録され、センサ装置SUが1対多で複数の被監視者Obを監視する場合、複数の被監視者名が登録される。
SV制御処理部22は、管理サーバ装置SVの各部21、23を当該各部の機能に応じてそれぞれ制御し、センサ装置SUから前記所定のイベントの通知を受けると、被監視者Obに対する監視に関する監視情報を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知し、クライアントの要求に応じたデータを前記クライアントに提供し、被監視者監視支援システムMS全体を管理するための回路である。そして、本実施形態では、SV制御処理部22は、前記所定のイベントを検知させるために画像をセンサ装置SUから受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知し、前記所定のイベントを検知した場合に、前記検知した所定のイベントを前記監視情報として管理し、前記検知した所定のイベントを、前記所定のイベントを検知させるために画像を送信した前記センサ装置SUで検知されたイベントの通知を受ける端末装置SP、TAへ通知する。前記所定のイベントは、上述のように、本実施形態では前記センサ装置SUから受信した画像に基づいて第2アルゴリズムで検知されるもがきである。SV制御処理部22は、例えば、CPUおよびその周辺回路を備えて構成される。SV制御処理部22は、前記制御処理プログラムが実行されることによって、サーバ側制御部(SV制御部)221、監視処理部222、サーバ側検知処理部223(SV検知処理部)223および通知処理部224を機能的に備える。
SV制御部221は、管理サーバ装置SVの各部21、23を当該各部の機能に応じてそれぞれ制御し、管理サーバ装置SVの全体制御を司るものである。
監視処理部222は、センサ装置SUから前記所定のイベントの通知を受信すると被監視者Obに対する監視に関する監視情報を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知するものである。より具体的には、監視処理部222は、センサ装置SUから前記第1イベント通知通信信号を受信すると、この受信した第1イベント通知通信信号に収容された、被監視者Obに対する監視に関する監視情報を監視情報記憶部231に記憶(記録)する。監視処理部222は、この受信した第1イベント通知通信信号を送信したセンサ装置SUに対応する通知先(再通知先、転送先、送信先)を、装置間情報記憶部232に記憶された前記通知先対応関係から選定(検索)し、この選定結果に基づいて第2イベント通知通信信号を生成し、この生成した第2イベント通知通信信号をSV通信IF部21で送信する。この通知先の端末装置SP、TAの選定(検索処理)は、前記受信した第1イベント通知通信信号を送信したセンサ装置SUに対応するセンサID(前記第1イベント通知通信信号に収容されたセンサID)に基づいて実施される。前記第1イベント通知通信信号に収容されたイベント情報が前記所定の行動(起床、離床、転落および転倒のうちの1または複数)である場合には、前記第2イベント通知通信信号には、第1イベント通知通信信号に収容されたセンサID、イベント情報および対象画像、ならびに、動画のダウンロード先として、第1イベント通知通信信号に収容されたセンサIDを持つセンサ装置SUに対応する通信アドレスが収容される。この通信アドレスは、前記受信した第1イベント通知通信信号を送信したセンサ装置SUに対応するセンサIDに基づいて通信アドレス対応関係から選定(検索)される。前記第1イベント通知通信信号に収容されたイベント情報が前記ナースコールである場合には、前記第2イベント通知通信信号には、第1イベント通知通信信号に収容されたセンサIDおよびイベント情報が収容される。
SV検知処理部223は、前記所定のイベントを検知させるために画像をセンサ装置SUから受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知するものである。より具体的には、SV検知処理部223は、センサ装置SUから検知依頼通信信号を受信した場合に、この検知依頼通信信号に収容された画像に基づいて第2アルゴリズムで前記所定の行動(本実施形態ではもがき)を前記所定のイベントの一例として検知する。
本実施形態では、もがきは、時系列な複数の静止画において、被監視者Obの体幹が略定位置であって前記被監視者Obの体幹を中心に被監視者Obが略周期的に繰り返し移動(振動)しているか否かによって検知される。より詳しくは、SV検知処理部223は、検知依頼通信信号に収容された所定の時間長の動画における各フレームそれぞれについて、第2アルゴリズムとして、次のように各処理を実施することによって、もがきの有無を判定する。まず、SV検知処理部223は、フレームの画像から例えば背景差分法によって被監視者Obの人物領域を抽出する。次に、SV検知処理部223は、この抽出した人物領域における中心位置および輪郭それぞれを検出する。例えば、SV検知処理部223は、人物領域に外接する外接円を求め、この求めた外接円の中心を人物領域の中心位置として求める。また例えば、SV検知処理部223は、人物領域に外接する外接矩形を求め、この求めた外接矩形における対角線の交点を人物領域の中心位置として求める。一方、例えば、SV検知処理部223は、人物領域のエッジをエッジフィルタによって人物領域の輪郭として求める。そして、SV検知処理部223は、これら各フレームにおける各人物領域の各中心位置および各人物領域の各輪郭に基づいて被監視者Obのもがきの有無を判定する。例えば、SV検知処理部223は、これら各フレームにおける各人物領域の各中心位置が、前記各中心位置の平均位置に対し予め設定された所定の範囲内に存在する場合であって、これら各フレームにおける各人物領域の各輪郭の動きが略周期的に繰り返し移動(振動)している場合に、被監視者Obがもがいていると判定し、前記もがきを検知し、この場合を除く他の場合に、被監視者Obがもがいていないと判定する。
第2アルゴリズムの情報処理時間は、同性能の情報処理装置で情報処理した場合に、第1アルゴリズムの情報処理時間よりも長い。特に、上述のように、前記被監視者Obの体幹を中心に被監視者Obが略周期的に繰り返し移動(振動)しているか否かによってもがきを検知する場合、所定時間長の動画を解析する必要があるため、第2アルゴリズムの情報処理時間は、同性能の情報処理装置で情報処理した場合に、第1アルゴリズムの情報処理時間よりも長くなる。一方、管理サーバ装置SVは、コスト的に、センサ装置SUの情報処理部品よりも高性能な情報処理部品を用いることが可能であるため、あるいは、情報処理量的に、センサ装置SUの情報処理部品よりも高性能な情報処理部品を用いることが必要であるため、第2アルゴリズムの情報処理時間の短縮化が可能となる。
なお、センサ装置SUが1対多で複数の被監視者Obを監視する場合には、SV検知処理部223は、フレームの画像から例えば背景差分法によって被監視者Obの人物領域を抽出し、複数の人物領域それぞれにラベル(識別符号)をそれぞれ付ける。SV検知処理部223は、フレームの画像から背景差分法によって人物領域を抽出するたびに、フレームの画像上で最も近い位置同士の人物領域に同一のラベルを付ける。そして、SV検知処理部223は、ラベル付けされた各人物領域それぞれに対し、上述の各処理を実施し、前記もがきを検知する。
SV検知処理部223は、前記所定のイベント(本実施形態ではもがき)を検知した場合には、この受信した検知依頼通信信号に収容されたセンサID、前記検知した所定のイベント(本実施形態ではもがき)を表すイベント情報、前記受信した検知依頼通信信号の受信時刻、前記受信した検知依頼通信信号に収容された動画のうちのいずれかのフレームの画像、前記受信した検知依頼通信信号に収容されたセンサIDを持つセンサ装置SUに対応する通信アドレス、および、対応フラグ「0」を、監視情報テーブルMTに新たに追加したレコードにおける各フィールド2311~2316に登録する。これによって、SV検知処理部223は、被監視者Obの監視情報をSV記憶部23の監視情報記憶部231に記憶して管理する。なお、この処理は、SV検知処理部223から前記所定のイベント(本実施形態ではもがき)の検知の通知を監視処理部222が受けて、SV検知処理部223に代え監視処理部222によって実施されても良い。そして、SV検知処理部223は、前記所定のイベント(本実施形態ではもがき)を検知した旨を通知処理部224へ通知する。
通知処理部224は、SV検知処理部223で前記所定のイベント(本実施形態ではもがき)を検知した場合に、前記検知した所定のイベントを、前記所定のイベントを検知させるために画像を送信した前記センサ装置SUで検知されたイベントの通知を受ける端末装置SP、TAへ通知するものである。より具体的には、SV検知処理部223から、前記所定のイベント(本実施形態ではもがき)を検知した旨の通知を受けると、前記所定のイベント(本実施形態ではもがき)の検知に用いられた画像(本実施形態では動画)を収容した検知依頼通信信号を送信したセンサ装置SUに対応する通知先を、装置間情報記憶部232に記憶された前記通知先対応関係から選定(検索)し、この選定結果に基づいて第2イベント通知通信信号を生成し、この生成した第2イベント通知通信信号をSV通信IF部21で送信する。前記第2イベント通知通信信号には、前記検知依頼通信信号に収容されたセンサID、前記検知した所定のイベント(本実施形態ではもがき)を表すイベント情報、前記検知依頼通信信号に収容された動画のうちのいずれかのフレームの画像、ならびに、動画のダウンロード先として、前記検知依頼通信信号に収容されたセンサIDを持つセンサ装置SUに対応する通信アドレスが収容される。
なお、管理サーバ装置SVは、図3に破線で示すように、必要に応じて、さらに、SV制御処理部22に接続され例えば各種コマンドや各種データ等を入力するサーバ側入力部(SV入力部)24、SV入力部24で入力された各種コマンドや各種データおよび被監視者Obに対する監視に関する監視情報等を出力するサーバ側出力部(SV出力部)25、および、外部機器との間でデータの入出力を行うサーバ側インターフェース部(SVIF部)26等を備えても良い。
このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。
固定端末装置SPは、ネットワークNWを介して他の装置SU、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、センサ装置SUで得られた監視情報を表示したり等することによって、被監視者監視支援システムMSのユーザインターフェース(UI)として機能する機器である。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。
携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUで得られた前記監視情報を表示したり、センサ装置SUとの間で音声通話によってナースコールの応答や声かけしたり等するための機器である。
このような携帯端末装置TAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。
次に、本実施形態の動作について説明する。図7は、前記センサ装置の動作を示すフローチャートである。図8は、図7に示すフローチャートにおける検知依頼の処理の動作を示すフローチャートである。図9は、前記管理サーバ装置の動作を示すフローチャートである。図10は、図9に示すフローチャートにおける高度な行動検知の処理の動作を示すフローチャートである。
上記構成の被監視者監視支援システムMSでは、各装置SU、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。センサ装置SUでは、その制御処理プログラムの実行によって、SU制御処理部14には、SU制御部141、SU検知処理部142、必要性判定部143、画像送信部144、ナースコール処理部145およびストリーミング処理部146が機能的に構成される。管理サーバ装置SVでは、その制御処理プログラムの実行によって、SV制御処理部21には、SV制御部211、監視処理部222、SV検知処理部223および通知処理部224が機能的に構成される。
まず、センサ装置SUの動作について説明する。センサ装置SUは、各フレームごとに、あるいは、数フレームおきに、次のように動作することで、被監視者Obにおける所定の動作を検知し、また、ナースコールの受付の有無を判定している。
図7において、まず、センサ装置SUは、SU制御処理部14のSU制御部141によって、撮像部11から1フレーム分の画像(画像データ)を前記対象画像として取得する(S11)。
次に、センサ装置SUは、SU制御処理部14のSU検知処理部142によって、被監視者Obにおける所定の行動を前記所定のイベントの一例として第1アルゴリズムで検知する第1検知処理を前記処理S11で取得した対象画像に基づいて実行する(S12)。より具体的には、SU検知処理部142は、第1アルゴリズムにより、起床の成否を判定し、離床の成否を判定し、転落の成否を判定し、そして、転倒の成否を判定する。
次に、センサ装置SUは、SU検知処理部142によって、前記第1検知処理S12で被監視者Obにおける所定の行動が検知されたか否かを判定する。本実施形態では、SU検知処理部142は、前記第1検知処理S12で被監視者Obにおける起床、離床、転落および転倒のうちの少なくともいずれかが検知されたか否かを判定する。この判定の結果、前記所定の行動が検知されていない場合(No)には、センサ装置SUは、次に、処理S15を実行した後に、処理S16を実行し、一方、前記所定の行動が検知されている場合(Yes)には、センサ装置SUは、次の処理S14を実行した後に、処理S16を実行する。
この処理S14では、処理S12および処理S13で検知した所定の行動を管理サーバ装置SVを介して所定の端末装置SP、TAへ通知するために、センサ装置SUは、SU検知処理部142によって、前記所定のイベントとして前記所定の行動の検知に関する第1イベント通知通信信号を管理サーバ装置SVへ送信する。より具体的には、SU検知処理部142は、自機のセンサID、前記所定のイベント(ここでは、起床、離床、転落および転倒のうちの1または複数)および前記対象画像を収容した第1イベント通知通信信号を、SU通信IF部15を介して管理サーバ装置SVへ送信する。
前記処理S15では、センサ装置SUは、SU制御処理部14によって、必要性に応じて、前記第1アルゴリズムと異なる第2アルゴリズムで前記所定の行動の検知を管理サーバSVに依頼する検知依頼の処理を実行する。
この検知依頼の処理では、より具体的には、図8に示す各処理が実行される。図8において、まず、センサ装置SUは、必要性判定部143によって、被監視者Obにおける所定の行動を前記所定のイベントの一例として検知する、前記第1アルゴリズムと異なる第2アルゴリズムで、撮像部11で生成された画像に基づいて前記所定の行動を検知する必要性を判定する(S151)。本実施形態では、前記第2アルゴリズムで検知される前記所定の行動は、上述したように、被監視者Obにおけるもがきである。必要性判定部143は、まず、上述のように抽出した頭部の位置が寝具BDの所在領域内から寝具BDの所在領域外へ変化した場合であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ変化するまでの第1変化時間と前記転落判定時間閾値および前記第1必要性判定閾値それぞれとを比較し、そして、前記抽出した頭部の位置が寝具BDの所在領域を除く居室RM内であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ変化するまでの第2変化時間と前記転倒判定時間閾値および前記第2必要性判定閾値それぞれとを比較する。これら比較の結果、必要性判定部143は、前記第1変化時間が前記転落判定時間閾値より大きい(長い)場合であって、前記第1変化時間が前記第1必要性判定閾値以下である場合、または、前記第2変化時間が前記転倒判定時間閾値より大きい場合であって前記第2変化時間が前記第2必要性判定閾値以下である場合、もがきの検知の必要性があると判定し(Yes)、次に、画像送信部144によって処理S152を実行し、一方、前記第1変化時間が前記第1必要性判定閾値より大きい(長い)場合、および、前記第2変化時間が前記第2必要性判定閾値より大きい場合等の、前記もがきの検知の必要性があると判定される場合を除く他の場合、もがきの検知の必要性がないと判定(No)、本処理を終了する。
前記処理S152では、画像送信部144は、前記第1アルゴリズムで前記所定の行動の検知に用いられる画像の解像度よりも高い解像度の画像を撮像部11に生成させ、より高解像度な画像を取得する。本実施形態では、前記高解像度な画像は、動画であり、画像送信部144は、撮像部11により高解像度な所定の時間長の動画を生成させて取得する。
そして、この処理S152の次に、画像送信部144は、この高解像度な所定の時間長の動画に基づいて検知依頼通信信号を生成し、この生成した検知依頼通信信号を管理サーバ装置SVへ送信し(S153)、本処理を終了する。なお、画像送信部144は、例えば、所定の時間長の動画の生成後に1または複数の通信信号から成る検知依頼通信信号で前記動画を管理サーバ装置SVへ送信して良く、また例えば、監視の中断をより短くする観点から、所定の時間長の動画の生成中に適宜な時間間隔で生成した複数の通信信号から成る検知依頼通信信号で前記動画を管理サーバ装置SVへ送信して良い。
これら処理S152および処理S153の各処理を実行する間、被監視者Obの監視が中断する(予め設定された各フレームごとに、あるいは、数フレームおきに、図7に示す処理が実行できない)が、第2アルゴリズムで所定のイベント(本実施形態ではもがき)を検知する検知処理を実施しないので、画像の送信後に、直ちに、被監視者Obの監視が可能となる。特に、処理S152および処理S153の各処理を実行する第1実行時間が第2アルゴリズムによる検知処理を実行する第2実行時間より短い場合に効果的である。
前記処理S16では、センサ装置SUは、ナースコール処理部145によって、ナースコールを受け付けているか否かを判定する。すなわち、図7に示す処理S11ないし処理S14または処理S11ないし処理S15は、各フレームごとに、あるいは、数フレームおきに、繰り返し実行されるが、前回における処理S14または処理S15の実行から今般における処理S14または処理S15の実行までの間(前回における処理S14および処理S15の各実行と、今般における処理S14および処理S15の各実行との全ての組合せを含む)に、ナースコール受付操作部13が操作されたか否かが判定される。この判定の結果、ナースコール受付操作部13が操作されず、ナースコールを受け付けていない場合(No)には、センサ装置SUは、今回の本処理を終了し、一方、ナースコール受付操作部13が操作され、ナースコールを受け付けている場合(Yes)には、センサ装置SUは、次の処理S17を実行した後に、今回の本処理を終了する。
この処理S17では、処理S16でその受付が判明したナースコールを管理サーバ装置SVを介して所定の端末装置SP、TAへ通知するために、センサ装置SUは、ナースコール処理部145によって、前記所定のイベントとしてナースコールに関する第1イベント通知通信信号を管理サーバ装置SVへ送信する。より具体的には、ナースコール処理部145は、自機のセンサIDおよびナースコール受付情報を収容した第1イベント通知通信信号を、SU通信IF部15を介して管理サーバ装置SVへ送信する。
被監視者Obにおける所定の行動の検知やナースコールの受付それぞれに関し、センサ装置SUは、以上のように動作している。
次に、管理サーバ装置SVの動作について説明する。一方、図9において、管理サーバ装置SVは、SV制御処理部22のSV制御部221によって、SV通信IF部21で通信信号を受信したか否かを判定する(S21)。この判定の結果、通信信号を受信していない場合(No)には、管理サーバ装置SVは、処理をS21に戻し、前記判定の結果、通信信号を受信している場合(Yes)には、管理サーバ装置SVは、次の処理S22を実行する。すなわち、管理サーバ装置SVは、通信信号の受信を待ち受けている。
処理S22では、管理サーバ装置SVは、SV制御部221によって、この受信した通信信号の種類を判定する。この判定の結果、管理サーバ装置SVは、前記受信した通信信号が第1イベント通知通信信号である場合(第1イベント通知)には、処理S23を実行した後に処理S26を実行し、前記受信した通信信号が検知依頼通信信号である場合(検知依頼)には、処理S24を実行した後に処理S26を実行し、そして、前記受信した通信信号がこれら第1イベント通知通信信号および検知依頼通信信号のいずれでもではない場合(その他)には、処理S25を実行した後に処理S26を実行する。
前記処理S23では、管理サーバ装置SVは、SV制御処理部22の監視処理部222によって、処理S21でセンサ装置SUから受信した第1イベント通知通信信号を処理する。より具体的には、まず、監視処理部222は、処理S21でセンサ装置SUから受信した第1イベント通知通信信号に収容された、被監視者Obに対する監視に関する監視情報を監視情報記憶部231に記憶(記録)する。そして、監視処理部222は、処理S21で受信した第1イベント通知通信信号を送信したセンサ装置SUに対応する通知先を装置間情報記憶部232に記憶された前記通知先対応関係から選定(検索)する。次に、監視処理部222は、この選定した通知先の端末装置SP、TA宛に、前記処理S21で受信した第1イベント通知通信信号に起因した第2イベント通知通信信号を生成して送信する。
前記処理S24では、管理サーバ装置SVは、SV制御処理部22によって、処理S21でセンサ装置SUから受信した検知依頼通信信号を処理する高度な行動検知の処理を実行する。
この高度な行動検知の処理では、センサ装置SUで上述のように実施される行動の解析処理よりも詳細な解析処理が実施され、センサ装置SUにおける行動検知の情報処理よりも高度な情報処理によって行動が検知される。より具体的には、図10に示す各処理が実行される。図10において、まず、管理サーバ装置SVは、SV制御処理部22のSV検知処理部223によって第2検知処理を実行する。より具体的には、SV検知処理部223は、第2アルゴリズムにより、もがきの成否を判定する。より詳しくは、SV検知処理部223は、前記処理S21で受信した検知依頼通信信号に収容された所定の時間長の動画における各フレームそれぞれについて、第2アルゴリズムで、次の各処理を実施する。まず、SV検知処理部223は、フレームの画像から例えば背景差分法によって被監視者Obの人物領域を抽出する。次に、SV検知処理部223は、この抽出した人物領域における中心位置および輪郭それぞれを検出する。そして、SV検知処理部223は、これら各フレームにおける各人物領域の各中心位置および各人物領域の各輪郭に基づいて被監視者Obのもがきの有無を判定する。例えば、SV検知処理部223は、これら各フレームにおける各人物領域の各中心位置が、前記各中心位置の平均位置に対し予め設定された所定の範囲内に存在する場合であって、これら各フレームにおける各人物領域の各輪郭の動きが略周期的に繰り返し移動(振動)している場合に、被監視者Obがもがいていると判定し、前記もがきを検知し、この場合を除く他の場合に、被監視者Obがもがいていないと判定する。
次に、管理サーバ装置SVは、SV検知処理部223によって、前記第2検知処理S241で被監視者Obにおける所定の行動が検知されたか否かを判定する(S242)。本実施形態では、SV検知処理部142は、前記第2検知処理S241で被監視者Obのもがきが検知されたか否かを判定する。この判定の結果、前記所定の行動(ここではもがき)が検知されていない場合(No)には、本処理を終了し、一方、前記所定の行動(ここではもがき)が検知されている場合(Yes)には、センサ装置SUは、処理S243および処理S244それぞれを順次に実行した後に、本処理を終了する。
この処理S243では、管理サーバ装置SVは、SV検知処理部223によって、前記第2検知処理S241で検知した被監視者Obにおける所定の行動(ここではもがき)に関する監視情報をSV記憶部23の監視情報記憶部231に記憶する。より具体的には、本実施形態では、SV検知処理部223は、前記処理S21で受信した検知依頼通信信号に収容されたセンサID、前記検知した所定のイベント(ここではもがき)を表すイベント情報、前記受信した検知依頼通信信号の受信時刻、前記受信した検知依頼通信信号に収容された動画のうちのいずれかのフレームの画像、前記受信した検知依頼通信信号に収容されたセンサIDを持つセンサ装置SUに対応する通信アドレス、および、対応フラグ「0」を、監視情報テーブルMTに新たに追加したレコードにおける各フィールド2311~2316に登録する。これによって、SV検知処理部223は、被監視者Obの監視情報を監視情報記憶部231に記憶して管理する。
この処理S243の次に実行される処理S244では、管理サーバ装置SVは、通知処理部224によって、前記処理S241で検知した所定の行動(ここではもがき)を、これを検知させるために画像を送信した前記センサ装置SUで検知されたイベントの通知を受ける端末装置SP、TAへ通知する。より具体的には、知処理部224は、前記処理S21で受信した検知依頼通信信号を送信したセンサ装置SUに対応する通知先を、すなわち、前記検知依頼通信信号に収容されたセンサIDに対応する通知先を、装置間情報記憶部232に記憶された前記通知先対応関係から選定(検索)し、この選定結果に基づいて、前記処理S241で検知した所定の行動(ここではもがき)に関わる第2イベント通知通信信号を生成し、この生成した第2イベント通知通信信号をSV通信IF部21で送信する。
図9に戻って、前記処理S25では、管理サーバ装置SVは、SV制御処理部22によって、処理S21で受信した通信信号に応じた適宜な処理を実行する。
そして、これら処理S23ないし処理S25それぞれの後に実行される前記処理S26では、管理サーバ装置SVは、SV制御処理部22によって、その稼働が終了(停止)か否かを判定する。この判定の結果、稼働の終了(停止)である場合(Yes)には、管理サーバ装置SVは、本処理を終了し、一方、稼働の終了(停止)ではない場合(No)には、管理サーバ装置SVは、処理を処理S21に戻す。
なお、上述において、管理サーバ装置SVは、SV制御処理部22によって、処理S241で、第2検知処理結果を、処理S21で受信した検知依頼通信信号を送信した処理センサ装置SUへさらに返信し、センサ装置SUは、SU制御処理部14によって、検知依頼通信信号の送信後にその返信を管理サーバ装置SVから受信するまで、処理S15の実行をさらにスキップ(省略)しても良い。
センサ装置SUから受信した第1イベント通知通信信号および検知依頼通信信号等に関し、監視サーバ装置SVは、以上のように動作している。本実施形態では、被監視者Obに関わる所定のイベントは、予め規定され、本実施形態では、被監視者Obにおける所定の行動およびナースコールを含む。被監視者Obにおける所定の行動は、予め規定され、本実施形態では、起床、離床、転落、転倒およびもがきを含む。そして、本実施形態では、これら起床、離床、転落、転倒およびもがきのうちの起床、離床、転落および転倒(前記所定の行動のうちの一部)は、第1アルゴリズムでセンサ装置SUによって検知され、これら起床、離床、転落、転倒およびもがきのうちのもがき(前記所定の行動のうちの他部(または残部))は、センサ装置SUからその検知の依頼を受けた管理サーバ装置SVによって第2アルゴリズムで検知される。
一方、固定端末装置SPおよび携帯端末装置TAは、通信信号の受信を待ち受けており、前記第2イベント通知通信信号をネットワークNWを介して管理サーバ装置SVから受信すると、この第2イベント通知通信信号に収容されたセンサIDおよびイベント情報等の各情報を、このセンサIDを持つセンサ装置SUで監視されている被監視者Obの監視情報として記憶(記録)し、前記監視情報を表示する。
この被監視者Obの監視に関する前記監視情報を表示するための監視情報画面の一例が図11に示されている。この監視情報画面52は、例えば、図11に示すように、メニューバー領域511と、前記受信した第2イベント通知通信信号に収容されたセンサIDを持つセンサ装置SUの配設場所および前記センサIDを持つ前記センサ装置SUによって監視される被監視者Obの名前を表示する被監視者名領域521と、前記受信した第2イベント通知通信信号の受信時刻(または前記所定の行動の検知時刻)からの経過時間、および、前記受信した第2イベント通知通信信号に収容された前記イベント情報(前記所定の行動の検知結果)を表示する検知情報表示領域522と、前記受信した第2イベント通知通信信号に収容された画像(すなわち、前記センサIDを持つ前記センサ装置SUによって撮像された対象画像)(ここでは静止画)を表示する画像領域523と、「対応する」ボタン524と、「話す」ボタン525と、「LIVEを見る」ボタン526とを備え、タッチパネルに表示されている。
被監視者名領域521にセンサ装置SUの配設場所および被監視者Obの名前を表示するために、携帯端末装置TAには、管理サーバ装置SVから前記センサ情報が受信されて図6に示すセンサ情報テーブルSTと同様なテーブルが記憶され、前記受信した第2イベント通知通信信号に収容されたセンサIDを検索キーに、センサ装置SUの配設場所および被監視者Obの名前が前記テーブルから検索され、表示される。検知情報表示領域522には、前記受信した第2イベント通知通信信号に収容された前記検知結果(本実施形態では、入床、起床、離床、転倒およびもがきの各名称)がそのまま表示されても良いが、本実施形態では、前記検知結果を象徴的に表すアイコンで表示されている。このアイコンで表示するために、携帯端末装置TAには、各行動およびその行動を象徴的に表すアイコンが互いに対応付けられて予め記憶される。図11に示す例では、検知情報表示領域522には、起床を象徴的に表す起床アイコンが表示されている。「対応する」ボタン524は、監視情報画面52では、この監視情報画面52に表示された検知結果に対し例えば救命、看護、介護および介助等の所定の対応(対処、処置、措置)を実施する意思が当該携帯端末装置TAのユーザにある旨を、当該携帯端末装置TAに入力するためのボタンである。「話す」ボタン525は、音声通話を要求するためのボタンであって、前記センサIDの前記センサ装置SUと当該携帯端末装置TAとをネットワークNWを介して通話可能に接続する指示を入力するためのボタンである。「LIVEを見る」ボタン526は、ライブでの動画を要求するためのボタンであって、前記センサIDの前記センサ装置SUによって撮像される動画を表示させる指示を入力するためのボタンである。
そして、このような監視情報画面52の表示中に、携帯端末装置TAは、所定の入力操作を受け付けると、前記所定の入力操作の内容に応じた適宜な処理を実行し、本処理を終了し、そして、次の自機宛の通信信号を待ち受ける。
例えば、携帯端末装置TAは、「対応する」ボタン524の入力操作を受け付けると、まず、現在、監視情報画面52で表示されている被監視者Obの監視情報に、「対応する」を受け付けた旨を付して記憶する。そして、携帯端末装置TAは、監視情報画面52で表示されている被監視者Obの監視情報に対応するセンサID、イベント情報および「対応する」を受け付けた旨を表す情報(対応有意思情報)を収容した通信信号(対応有意思通知通信信号)を管理サーバ装置SVへ送信する。この対応有意思通知通信信号を受信した管理サーバ装置SVは、上述の図9に示す処理S25の一例として、まず、SV制御処理部22によって、監視情報記憶部231に記憶されている監視情報テーブルMTにおいて、前記受信した対応有意思通知通信信号に収容されているセンサIDおよびイベント情報それぞれをセンサIDフィールド2311およびイベントフィールド2312それぞれに登録し、かつ、対応フィールド2316に対応フラグ「0」を登録しているレコードの対応フィールド2316に、対応の受付を表す対応フラグ「1」を登録し、次に、前記受信した対応有意思通知通信信号に収容されたセンサID、イベント情報および対応有意思情報を収容した通信信号(対応有意思周知通信信号)を同報通信で端末装置SP、TAへ送信する。これによって、監視情報画面52で表示されている被監視者Obの監視情報に対応するセンサIDに関し、「対応する」を受け付けた旨が各端末装置SP、TA間で同期される。
また例えば、携帯端末装置TAは、「話す」ボタン525の入力操作を受け付けると、現在、監視情報画面52で表示されている被監視者Obを監視するセンサ装置SUへ、音声通話を要求する旨等の情報を収容した通信信号(通話要求通信信号)を送信し、これに応じたセンサ装置SUとネットワークNWを介して音声通話可能に接続する。これによって携帯端末装置TAとセンサ装置SUとの間で音声通話が可能となる。なお、携帯端末装置TAは、音声通話の終了の指示を入力するためのボタンである図略の「終了」ボタンの入力操作を受け付けると、監視情報画面52で表示されている被監視者Obを監視するセンサ装置SUへ、音声通話の終了を要求する旨等の情報を収容した通信信号(通話終了通信信号)を送信する。これによって携帯端末装置TAとセンサ装置SUとの間での音声通話が終了される。
また例えば、携帯端末装置TAは、「LIVEを見る」ボタン526の入力操作を受け付けると、現在、監視情報画面52で表示されている被監視者Obを監視するセンサ装置SUへ、ライブでの動画の配信を要求する旨等の情報を収容した通信信号(動画配信要求通信信号)を送信し、これに応じたセンサ装置SUとネットワークNWを介して動画のダウンロード可能に接続し、前記センサ装置SUからライブでの動画の配信を受け、この配信を受けた動画をストリーミング再生で表示する。このライブでの動画を表示する監視情報画面52では、画像領域523に動画が表示され、そして、「LIVEを見る」ボタン526に代え図略の「LIVE終了」ボタンが表示される。これによって携帯端末装置TAには、ライブでの動画が表示される。前記図略の「LIVE終了」ボタンは、動画の終了を要求するためのボタンであって、前記センサIDの前記センサ装置SUによって撮像される動画の配信を終了(停止)させ表示を終了(停止)させる指示を入力するためのボタンである。携帯端末装置TAは、「LIVE終了」ボタンの入力操作を受け付けると、現在、監視情報画面52で表示されている被監視者Obを監視するセンサ装置SUへ、動画配信の終了を要求する旨等の情報を収容した通信信号(動画配信終了通信信号)を送信し、静止画を表示する。これによって携帯端末装置TAは、ライブでの動画の表示を終了する。
このような動作によって、被監視者監視支援システムMSは、各センサ装置SU、管理サーバ装置SV、固定端末装置SPおよび携帯端末装置TAによって、大略、各被監視者Obにおける所定の行動を検知し、ナースコールを受け付けて、各被監視者Obの監視を支援している。
以上説明したように、実施形態におけるセンサ装置SU、これに実装されたセンサ装置SUの処理方法、および、被監視者監視支援システムMSは、第2アルゴリズムで所定のイベント(上述の例ではもがき)の検知が必要であると判定された場合に、第2アルゴリズムで前記所定のイベントを検知するのではなく、撮像部11で生成された画像を中央処理装置の一例である管理サーバ装置SVへ送信する。このため、画像の送信のために、SU検知処理部142の検知処理が中断しても、第2アルゴリズムで前記所定のイベントを検知する検知処理を実施しないので、画像の送信後に、直ちに、SU検知処理部142の検知処理が実施でき、監視の中断をより短時間にできる。特に、被監視者Obが複数であり、センサ装置SUが1対多で前記複数の被監視者Obを監視する場合、前記複数の被監視者Obのうちの1人が第2アルゴリズムで前記所定のイベントを検知する必要がある状態に陥っても、残余の被監視者Obに対する監視の中断も、より短時間にできる。また特に、同性能の情報処理装置で情報処理した際に、第2アルゴリズムの情報処理時間が第1アルゴリズムの情報処理時間よりも長い場合でも、センサ装置はSU、第2アルゴリズムで所定のイベントを検知する検知処理を実施しないので、第1アルゴリズムで所定のイベントを検知する検知処理を実施できる性能を持つ情報処理装置がセンサ装置SUに利用でき、より高い性能を持つ情報処理装置を必要としない。このため、その分、低コスト化が可能となる。
上記センサ装置SU、その処理方法および被監視者監視支援システムMSは、第1アルゴリズムで所定のイベント(上述の例では起床、離床、転落および転倒)の検知に用いられる画像の解像度よりも高い解像度の画像を管理サーバ装置SVへ送信する。このため、管理サーバ装置SVでは、前記所定のイベント(上述の例ではもがき)を検知するために、より詳細な解析処理が可能となる。したがって、前記所定のイベント(上述の例ではもがき)を検知する検知性能の向上が可能となり、検知可能なイベントの種類の増大が可能となる。
本実施形態における、中央処理装置の一例である管理サーバ装置SVおよび被監視者監視システムMSは、前記所定のイベント(上述の例ではもがき)を検知させるために画像をセンサ装置SUから受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知する。このため、上記管理サーバ装置SVおよび被監視者監視支援システムMSは、前記所定のイベントを検知する検知処理をセンサ装置SUとの間で役割分担でき、センサ装置SUでの監視の中断をより短時間にでき、したがって、適材適所の最適な被監視者監視支援システムMSが構築できる。
なお、上述の実施形態において、処理S151における検知の必要性があると判定する条件に、上述のように抽出された動体領域の体幹領域が、数十秒間、動かない条件が、さらに追加されても良い。前記体幹領域は、前記動体領域から、例えば予め用意された体幹のモデルを用いたパターンマッチングによって、また例えば体幹検出用に学習したニューラルネットワークによって、検出される。あるいは、前記動体領域の体幹領域が、数十秒間、動かない条件は、前記動体領域の中心位置が、数十秒間、予め設定された所定の範囲内に留まる条件であっても良い。
また、上述の実施形態において、処理S241の第2検知処理で被監視者Obのもがきが検知されたが、さらに、被監視者Obの失神が検知されても良い。この場合では、処理S241の第2検知処理において、被監視者Obの体幹が略定位置であって前記被監視者Obの体幹を中心に被監視者Obが略周期的に繰り返し移動(振動)していない場合に、さらに、被監視者Obの体幹が略定位置である時間(定位置時間)が、予め設定された時間(定位置判定時間閾値)以上であるか否かによって前記失神が検知される。より具体的には、前記動画の時間長は、前記もがきの検知に必要な時間よりも長い、前記失神の検知に必要な時間で適宜に予め設定され、SV検知処理部223は、上述のように、被監視者Obがもがいていないと判定した場合に、さらに、その後の各フレームそれぞれについて、各人物領域における各中心位置を検出し、これら各フレームにおける各人物領域の各中心位置が、前記各中心位置の平均位置に対し予め設定された所定の範囲内に、前記定位置判定時間閾値以上、存在するか否かを判定する。この判定の結果、前記各中心位置が前記定位置判定時間閾値以上存在する場合には、被監視者Obの失神と判定し、前記各中心位置が前記定位置判定時間閾値以上存在しない場合(前記各中心位置が前記定位置判定時間閾値未満で前記各中心位置の平均位置に対し前記所定の範囲を超えた場合)には、失神ではなく、被監視者Obの意図的な行動と判定する。
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
一態様にかかるセンサ装置は、監視対象である被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されて前記センサ装置から受信したイベントを管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備え、前記被監視者の監視を支援するための被監視者監視支援システムの前記センサ装置であって、画像を生成する撮像部と、前記所定のイベントを検知する第1アルゴリズムで、前記撮像部で生成された画像に基づいて前記所定のイベントを検知する第1検知処理部と、前記第1検知処理部で前記所定のイベントを検知しなかった場合に、前記所定のイベントを検知する、前記第1アルゴリズムと異なる第2アルゴリズムで、前記撮像部で生成された画像に基づいて前記所定のイベントを検知する必要性を判定する必要性判定部と、前記必要性判定部で前記所定のイベントの検知が必要であると判定された場合に、前記所定のイベントを検知させるために前記撮像部で生成された画像を前記中央処理装置へ送信する画像送信部とを備える。好ましくは、上述のセンサ装置において、前記被監視者は、複数であり、当該センサ装置は、1対多で前記複数の被監視者を監視する。好ましくは、上述のセンサ装置において、前記所定のイベントは、複数の種類を含み、前記第1および第2アルゴリズムは、異種類のイベントを検知する。好ましくは、上述のセンサ装置において、同性能の情報処理装置で情報処理した場合に、第2アルゴリズムの情報処理時間は、第1アルゴリズムの情報処理時間よりも長い。好ましくは、上述のセンサ装置において、前記画像送信部は、前記必要性判定部で前記所定のイベントの検知が必要であると判定された場合に、前記所定のイベントを検知させる命令(指令)を表す情報、および、前記撮像部で生成された画像を収容する通信信号(検知依頼通信信号)を生成し、前記生成した通信信号(検知依頼通信信号)を前記中央処理装置へ送信する。好ましくは、上述のセンサ装置において、前記画像は、所定の時間の動画である。
このようなセンサ装置は、第2アルゴリズムで所定のイベントの検知が必要であると判定された場合に、第2アルゴリズムで所定のイベントを検知するのではなく、撮像部で生成された画像を中央処理装置へ送信する。このため、画像の送信のために、第1検知処理部の検知処理が中断しても、第2アルゴリズムで所定のイベントを検知する検知処理を実施しないので、画像の送信後に、直ちに、第1検知処理部の検知処理が実施でき、監視の中断をより短時間にできる。特に、被監視者が複数であり、センサ装置が1対多で前記複数の被監視者を監視する場合、前記複数の被監視者のうちの1人が第2アルゴリズムで所定のイベントを検知する必要がある状態に陥っても、残余の被監視者に対する監視の中断も、より短時間にできる。また特に、同性能の情報処理装置で情報処理した際に、第2アルゴリズムの情報処理時間が第1アルゴリズムの情報処理時間よりも長い場合でも、センサ装置は、第2アルゴリズムで所定のイベントを検知する検知処理を実施しないので、第1アルゴリズムで所定のイベントを検知する検知処理を実施できる性能を持つ情報処理装置がセンサ装置に利用でき、より高い性能を持つ情報処理装置を必要としない。このため、その分、低コスト化が可能となる。
他の一態様では、上述のセンサ装置において、前記撮像部は、互いに異なる複数の解像度で前記画像を生成し、前記画像送信部は、前記第1アルゴリズムで前記所定のイベントの検知に用いられる画像の解像度よりも高い解像度の画像を前記中央処理装置へ送信する。好ましくは、上述のセンサ装置において、前記画像送信部は、前記必要性判定部で前記所定のイベントの検知が必要であると判定された場合に、前記第1アルゴリズムで前記所定のイベントの検知に用いられる画像の解像度よりも高い解像度の画像を前記撮像部に生成させ、前記生成させた高い解像度の画像を前記中央処理装置へ送信する。
このようなセンサ装置は、前記第1アルゴリズムで前記所定のイベントの検知に用いられる画像の解像度よりも高い解像度の画像を前記中央処理装置へ送信する。このため、中央処理装置では、前記所定のイベントを検知するために、より詳細な解析処理が可能となる。したがって、前記所定のイベントを検知する検知性能の向上が可能となり、検知可能なイベントの種類の増大が可能となる。
一態様にかかるセンサ装置の処理方法は、監視対象である被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されて前記センサ装置から受信したイベントを管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備え、前記被監視者の監視を支援するための被監視者監視支援システムの前記センサ装置の処理方法であって、画像を生成する撮像工程と、前記所定のイベントを検知する第1アルゴリズムで、前記撮像工程で生成された画像に基づいて前記所定のイベントを検知する検知処理工程と、前記検知処理工程で前記所定のイベントを検知しなかった場合に、前記所定のイベントを検知する、前記第1アルゴリズムと異なる第2アルゴリズムで、前記撮像工程で生成された画像に基づいて前記所定のイベントを検知する必要性を判定する必要性判定工程と、前記必要性判定工程で前記所定のイベントの検知が必要であると判定された場合に、前記所定のイベントを検知させるために前記撮像工程で生成された画像を前記中央処理装置へ送信する画像送信工程とを備える。
このようなセンサ装置の処理方法は、第2アルゴリズムで所定のイベントの検知が必要であると判定された場合に、第2アルゴリズムで所定のイベントを検知するのではなく、撮像工程で生成された画像を中央処理装置へ送信する。このため、画像の送信のために、第1検知処理工程の検知処理が中断しても、第2アルゴリズムで所定のイベントを検知する検知処理を実施しないので、画像の送信後に、直ちに、第1検知処理工程の検知処理が実施でき、監視の中断をより短時間にできる。特に、被監視者が複数であり、センサ装置が1対多で前記複数の被監視者を監視する場合、前記複数の被監視者のうちの1人が第2アルゴリズムで所定のイベントを検知する必要がある状態に陥っても、残余の被監視者に対する監視の中断も、より短時間にできる。また特に、同性能の情報処理装置で情報処理した際に、第2アルゴリズムの情報処理時間が第1アルゴリズムの情報処理時間よりも長い場合でも、センサ装置は、第2アルゴリズムで所定のイベントを検知する検知処理を実施しないので、第1アルゴリズムで所定のイベントを検知する検知処理を実施できる性能を持つ情報処理装置がセンサ装置に利用でき、より高い性能を持つ情報処理装置を必要としない。このため、その分、低コスト化が可能となる。
他の一態様にかかる中央処理装置は、監視対象である被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されて前記センサ装置から受信したイベントを管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備え、前記被監視者の監視を支援するための被監視者監視支援システムの前記中央処理装置であって、前記所定のイベントを検知させるために画像を前記センサ装置から受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知する第2検知処理部と、前記第2検知処理部で前記所定のイベントを検知した場合に、前記検知した所定のイベントを、前記所定のイベントを検知させるために画像を送信した前記センサ装置で検知されたイベントの通知を受ける端末装置へ通知する通知処理部とを備える。好ましくは、上述の中央処理装置において、前記被監視者監視支援システムのセンサ装置は、これら上述のいずれかのセンサ装置である。
このような中央処理装置は、前記所定のイベントを検知させるために画像を前記センサ装置から受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知する。このため、上記中央処理装置は、前記所定のイベントを検知する検知処理をセンサ装置との間で役割分担でき、センサ装置での監視の中断をより短時間にでき、したがって、適材適所の最適な被監視者監視支援システムが構築できる。
他の一態様にかかる被監視者監視支援システムは、監視対象である被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されて前記センサ装置から受信したイベントを管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備え、前記被監視者の監視を支援するための被監視者監視支援システムであって、前記センサ装置は、これら上述のいずれかのセンサ装置であり、前記中央処理装置は、請求項3に記載の中央処理装置であり、前記第2検知処理部は、前記第2アルゴリズムで、前記受信した画像に基づいて前記所定のイベントを検知する。
このような被監視者監視支援システムは、センサ装置が第1アルゴリズムで所定のイベントを検知し、中央処理装置が第2アルゴリズムで所定のイベントを検知する。このため、上記被監視者監視支援システムは、前記所定のイベントを検知する検知処理をセンサ装置と中央処理装置との間で役割分担でき、センサ装置での監視の中断をより短時間にでき、したがって、適材適所の最適な被監視者監視支援システムが構築できる。
この出願は、2017年10月13日に出願された日本国特許出願特願2017-199066を基礎とするものであり、その内容は、本願に含まれるものである。
本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。