JP6417670B2

JP6417670B2 - 監視装置、監視システム、監視方法、監視プログラム、および監視プログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP6417670B2
Application number: JP2014031444A
Authority: JP
Inventors: 田中　純一; 純一田中; 冨実二相田
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2014-02-21
Filing date: 2014-02-21
Publication date: 2018-11-07
Anticipated expiration: 2034-02-21
Also published as: EP3110144A1; CN106416237A; US10674941B2; EP3110144A4; JP2015156603A; WO2015125701A1; CN106416237B; US20170215770A1; EP3110144B1

Description

本発明は、監視装置、監視システム、監視方法、監視プログラム、および監視プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

高齢者などの介護を必要とする居住者に生じた異常状態を自動的に検知するための技術が知られている。たとえば、特許文献１（特開２０００−２８５２２３号公報）の転倒検知装置は、居住者を側方から撮像する壁面カメラと、居住者を上方から撮像する天井カメラとを備える。画像処理手段が、カメラにより撮像された撮像映像を用いて居住者から壁面カメラまでの距離及び居住者の高さ情報を算出する。高さ補正手段が、居住者の高さ情報について居住者から壁面カメラまでの距離の違いにより生じる誤差を補正する。判断手段が、補正により得られた居住者の高さ情報の時間あたりの変化に基づいて居住者の転倒動作を検知する。

特開２０００−２８５２２３号公報

しかしながら、特許文献１の装置では、居住者がベッドに寝るような行動をした場合にも、居住者の高さ情報の時間あたりの変化に基づいて居住者が転倒したと判断してしまう。

さらに、居住者が実際に転倒した場合だけでなく、居住者が転倒する可能性が発生した場合も検知できることが望ましい。事前に転倒可能性を知ることによって、居住者の転倒を防止できるからである。

それゆえに、本発明の目的は、監視領域にベッドが設置されている場合でも、監視対象者の転倒に関する動作状態、すなわち転倒状態または転倒する可能性のある状態を検知することができる監視装置、監視システム、監視方法、監視プログラム、および監視プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することである。

本発明の監視装置は、監視領域の上方に設けられた第１の画像センサで監視領域を撮像することによって得られる上方撮像データと、監視領域の側方に設けられた第２の画像センサで監視領域を撮像することによって得られる側方撮像データに基づいて、監視対象者の水平方向の位置と鉛直方向の最も高い位置を特定する位置特定部と、水平方向の位置と鉛直方向の最も高い位置に基づいて、監視対象者の転倒に関する動作状態を判断する動作判断部とを備える。

好ましくは、動作判断部は、監視対象者の水平方向の位置が第１の領域に含まれ、かつ監視対象者の鉛直方向の最も高い位置が第１の所定値以下の場合に、監視対象者が臥位状態であると判断する。

好ましくは、動作判断部は、監視対象者の水平方向の位置がベッドが第１の領域に含まれ、かつ監視対象者の鉛直方向の最も高い位置が第１の所定値を超える場合に、監視対象者が座位状態であると判断する。

好ましくは、動作判断部は、監視対象者の水平方向の位置が第１の領域の周辺の領域である第２の領域に含まれ、かつ監視対象者の鉛直方向の最も高い位置が第１の所定値以上の場合に、監視対象者が端座位状態であると判断する。

好ましくは、監視領域は、前記監視対象者が居住する空間であり、第１の領域はベッドが設置された領域である。

好ましくは、位置特定部は、上方撮像データから、監視対象者の水平方向の長さを算出する。動作判断部は、監視対象者の水平方向の位置が第２の領域に含まれ、かつ監視対象者の鉛直方向の最も高い位置が第１の所定値以下で、かつ監視対象者の水平方向の長さが第２の所定値以上のときに、監視対象者がベッドから転落した状態であると判断する。

好ましくは、動作判断部は、監視対象者の水平方向の位置が第１の領域および第２の領域の両方を除く領域である第３の領域に含まれ、かつ監視対象者の鉛直方向の最も高い位置が第１の所定値以下の場合に、監視対象者が転倒状態であると判断する。

好ましくは、動作判断部は、監視対象者の水平方向の位置が第３の領域に含まれ、かつ監視対象者の鉛直方向の最も高い位置が第１の所定値を超える場合に、監視対象者が立位状態であると判断する。

好ましくは、位置特定部は、側方撮像データに基づいて、監視対象者の鉛直方向の最も低い位置を特定する。動作判断部は、監視対象者の鉛直方向の最も低い位置が第３の所定値以上の場合に、監視対象者がベッドが設置された領域に存在すると判断する。

好ましくは、位置特定部は、第１の画像センサで監視領域を撮像することによって得られる上方撮像データから、監視領域に存在する人の数を特定し、特定した人の数が１個の場合に限り、監視対象者の水平方向の位置と鉛直方向の最も高い位置を特定する。

本発明の監視システムは、監視領域の上方に設けられた第１の画像センサと、監視領域の側方に設けられた第２の画像センサと、第１の画像センサで監視領域を撮像することによって得られる上方撮像データと、第２の画像センサで監視領域を撮像することによって得られる側方撮像データに基づいて、監視対象者の水平方向の位置と鉛直方向の最も高い位置を特定する位置特定部と、水平方向の位置と鉛直方向の最も高い位置に基づいて、監視対象者の転倒に関する動作状態を判断する動作判断部とを備える。

本発明の監視方法は、監視領域の上方に設けられた第１の画像センサで監視領域を撮像することによって得られる上方撮像データと、監視領域の側方に設けられた第２の画像センサで監視領域を撮像することによって得られる側方撮像データに基づいて、監視対象者の水平方向の位置と鉛直方向の最も高い位置を特定するステップと、水平方向の位置と鉛直方向の最も高い位置に基づいて、監視対象者の転倒に関する動作状態を判断するステップとを備える。

本発明の監視プログラムは、コンピュータを、監視領域の上方に設けられた第１の画像センサで監視領域を撮像することによって得られる上方撮像データと、監視領域の側方に設けられた第２の画像センサで監視領域を撮像することによって得られる側方撮像データに基づいて、監視対象者の水平方向の位置と鉛直方向の最も高い位置を特定する位置特定部と、水平方向の位置と鉛直方向の最も高い位置に基づいて、監視対象者の転倒に関する動作を判断する動作判断部として機能させる。

本発明の監視プログラムを記録したコンピュータ読み取り可能な記録媒体は、コンピュータを、監視領域の上方に設けられた第１の画像センサで監視領域を撮像することによって得られる上方撮像データと、監視領域の側方に設けられた第２の画像センサで監視領域を撮像することによって得られる側方撮像データに基づいて、監視対象者の水平方向の位置と鉛直方向の最も高い位置を特定する位置特定部と、水平方向の位置と鉛直方向の最も高い位置に基づいて、監視対象者の転倒に関する動作状態を判断する動作判断部として機能させる。

本発明によれば、監視領域にベッドが設置されている場合でも、監視対象者の転倒に関する動作状態を検知することができる。

第１の実施形態の監視システムの構成を表わす図である。監視領域を表わす立体図である。第１の赤外線画像を説明するための図である。第２の赤外線画像を説明するための図である。画像処理部の処理手順を表わすフローチャートである。第１の実施形態による監視対象者の動作判断手順を表わすフローチャートである。監視対象者が転倒状態の場合の監視領域の状態を表わす図である。監視領域が図７に示す状態のときの第２のラベリング画像データを表わす図である。監視対象者が立位状態の場合の監視領域の状態を表わす図である。監視領域が図９に示す状態のときの第２のラベリング画像データを表わす図である。監視対象者が臥位状態の場合の監視領域の状態を表わす図である。監視領域が図１１に示す状態のときの第２のラベリング画像データを表わす図である。監視対象者が座位状態の場合の監視領域の状態を表わす図である。監視領域が図１３に示す状態のときの第２のラベリング画像データを表わす図である。監視対象者が端座位状態の場合の監視領域の状態を表わす図である。監視領域が図１５に示す状態のときの第２のラベリング画像データを表わす図である。監視対象者が転落状態の場合の監視領域の状態を表わす図である。監視領域が図１７に示す状態のときの第２のラベリング画像データを表わす図である。監視領域が図１７に示す状態のときの第１のラベリング画像データを表わす図である。第２の実施形態による監視対象者の動作判断手順を表わすフローチャートである。監視対象者がベッド領域に存在するときの第２のラベリング画像データを表わす図である。

以下、本発明の実施の形態について図面を用いて説明する。
［第１の実施形態］
以下の説明で、監視対象者とは高齢者などの介護を必要とする居住者を意味し、監視領域とは、監視対象者が居住する空間を意味する。

図１は、第１の実施形態の監視システム１の構成を表わす図である。
図１に示すように、この監視システム１は、上方画像センサ２と、側方画像センサ３と、監視装置２０とを備える。監視装置２０は、位置特定部４と、動作判断部５と、表示部２１とを備える。

位置特定部４は、動作判断部５は、図示しないコンピュータが、監視プログラムを実行することによって実現される。言い換えると、監視プログラムは、コンピュータを位置特定部４および動作判断部５として機能させる。監視プログラムは、メモリカード、ＣＤＲＯＭ、ＤＶＤなどのコンピュータ読みとり可能な記録媒体に記録されて、コンピュータにインストールされる。

位置特定部４は、画像処理部９と、人数特定部６と、水平位置特定部７と、垂直位置特定部８と、水平長さ検出部１０とを備える。

上方画像センサ２は、監視領域を上方から撮像する。側方画像センサ３は、監視領域を側方から撮像する。本実施の形態では、上方画像センサ２および側方画像センサ３は、赤外線アレイセンサで構成されるものとして説明するが、可視カメラなどのその他のセンサで構成されるものであってもよい。

上方画像センサ２から出力される第１の赤外線画像データは、画像処理部９に送られる。側方画像センサ３から出力される第２の赤外線画像データは、画像処理部９に送られる。

赤外線画像データは、画素値が高いほど撮像した領域の温度が高く、画素値が低いほど、撮像した領域の温度が低いという特徴がある。人が存在する領域は、温度が高いため、人を撮像した領域の画素の値は高くなる。したがって、赤外線画像データから、画素値が高い領域を見つけることによって、人が存在する領域を特定することができる。

図２は、監視領域を表わす立体図である。
図２に示すように、監視領域の上方に上方画像センサ２が設置され、監視領域の側方に側方画像センサ３が設置される。

監視領域にはベッド９０が設けられている。ベッド９０が存在する領域を領域Ａとし、ベッド９０の周囲の領域を領域Ｂとする。たとえば、ベッド９０の縁から５０ｃｍまでの領域を領域Ｂとする。監視領域内で、領域Ａと領域Ｂを除く領域が領域Ｃである。

主として、監視対象者が領域Ｃで転倒状態であるか否かを判断するために、鉛直方向の基準値ＢＡ１が設定される。監視対象者の身体の最も高い点が基準値ＢＡ１以下の場合に、監視対象者が転倒状態であると判断される。また、後述の第２の実施形態において、監視対象者がベッドが存在する領域に存在するか否かを判断するために、鉛直方向の基準値ＢＡ３が設定される。また、監視対象者が領域Ｂで転倒状態の一種であるベッドからの転落状態であるか否かを判断するために、水平方向の基準値ＢＡ２が設定される。監視対象者の水平方向の長さが基準値ＢＡ２以上の場合に、監視対象者が転落状態であると判断される。

図３は、第１の赤外線画像を説明するための図である。第１の赤外線画像は、Ｘ方向に１６画素、Ｙ方向に１６画素から構成される。

領域Ａを撮像した部分を第１のブロック、領域Ｂを撮像した部分を第２のブロック、領域Ｃを撮像した部分を第３のブロックとする。

監視領域の基準値ＢＡ２は、第１の赤外線画像では画素間の所定の距離ＴＨ２で表わされる。

図４は、第２の赤外線画像を説明するための図である。第２の赤外線画像は、Ｘ方向に１６画素、Ｙ方向に１６画素から構成される。監視領域の基準値ＢＡ１は、第２の赤外線画像では、所定のＹ座標ＴＨ１で表わされる。監視領域の基準値ＢＡ３は、第２の赤外線画像では、所定のＹ座標ＴＨ３で表わされる。

図５は、画像処理部９の処理手順を表わすフローチャートである。
ステップＳ２０１において、画像処理部９は、上方画像センサ２から出力される第１の赤外線画像データに含まれる画素値が所定値以上の画素の値を「１」とし、画素値が所定値未満の画素の値を「０」とした第１の２値化画像データを生成する。

ステップＳ２０２において、画像処理部９は、第１の２値化赤外線画像データから、人が存在する領域の画素の値が「１」にラベリングし、人が存在しない領域の画素の値を「０」にラベリングした第１のラベリング画像データを生成する。すなわち、画像処理部９は、第１の２値化画像データの中で、値が「１」である画素が連続し、その連続する領域が一定の大きさ以上（すなわち、画素数が所定値以上）の場合に、その連続する領域の画素の値を「１」にラベリングする。また、画像処理部９は、第１の２値化赤外線画像データの中で、値が「１」である画素が連続するが、その連続する領域が一定の大きさ未満（すなわち、画素数が所定値以上）の場合に、その連続する領域の画素の値を「０」にラベリングする。また、画像処理部９は、第１の２値化画像データの中で、値が「１」である画素が、値が「１」である画素と隣接していない場合に、その値が「１」である画素の値を「０」にラベリングする。すなわち、画像処理部９は、第１の２値化画像データの中で、値が「０」である画素を「０」にラベリングする。

ステップＳ２０３において、画像処理部９は、側方画像センサ３から出力される第２の赤外線画像データに含まれる画素値が所定値以上の画素の値を「１」とし、画素値が所定値未満の画素の値を「０」とした第２の２値化画像データを生成する。

ステップＳ２０４において、画像処理部９は、第２の２値化赤外線画像データから、ステップＳ２０２と同様にして、人が存在する領域の画素の値が「１」にラベリングし、人が存在しない領域の画素の値を「０」にラベリングした第２のラベリング画像データを生成する。

人数特定部６は、第１のラベリング画像データに基づいて、監視領域内に存在する人の数を特定する。

水平位置特定部７は、第１のラベリング画像データに基づいて、監視対象者の水平方向の重心の位置を特定する。

垂直位置特定部８は、第１のラベリング画像データと第２のラベリング画像データに基づいて、監視対象者の最も高い位置を特定する。

水平長さ検出部１０は、第１のラベリング画像データに基づいて、監視対象者の水平方向の長さを検出する。

動作判断部５は、監視対象者の水平方向の重心の位置、監視対象者の最も高い位置、および監視対象者の水平方向の長さに基づいて、監視対象者の転倒に関する動作状態を判断する。ここで、転倒とは、歩行中躓きやよろめきによって転ぶことと、ベッドからの転落を含む。

動作判断部５は、転倒動作以外にも、立位状態、ベッドに座っている状態（座位状態）、ベッドの端に座っている状態（端座位状態）を判断する。これは、特に、監視対象者が歩行に困難があるような場合、監視対象者が座位状態および端座位状態にあるときは、監視対象者が近い将来、起き上がって転倒する可能性があり、注意する必要があるからである。

表示部２１は、動作判断部５によって判断された結果を表示する。監視対象者の監視に携わる者は、表示部２１に転倒状態が表示されたときには、たとえば監視領域に駆けつけて監視対象者の救助を行なう。また、監視対象者の監視に携わる者は、表示部２１に座位状態や端座位状態が表示されたときには、たとえば、監視領域に駆けつけ監視対象者に警告を与える。

図６は、第１の実施形態による監視対象者の動作判断手順を表わすフローチャートである。

ステップＳ１０１において、画像処理部９は、上方画像センサ２から出力される第１の赤外線画像データおよび側方画像センサ３から出力される第２の赤外線画像データから、図５に示す手順に従って画像処理を実行することによって、第１のラベリング画像データおよび第２のラベリング画像データを生成する。

ステップＳ１０２において、人数特定部６は、第１のラベリング画像データの中で「１」にラベリングされている連続領域の個数に基づいて、監視領域の人数を特定する。人数特定部６は、第１のラベリング画像データの中で「１」にラベリングされている連続領域がＮ個である場合に、監視領域にＮ人が存在すると判断する。

ステップＳ１０３において、人数特定部６は、監視領域に１人が存在する場合には、監視対象者のみが存在すると判断し、処理がステップＳ１０４に進む。人数特定部６は、監視領域に複数人が存在する場合には、監視対象者と監視対象者以外の人物（たとえば付き添い人など）が存在すると判断し、監視システム１による監視の必要性がないと判断し、処理が終了する。

ステップＳ１０４において、水平位置特定部７は、第１のラベリング画像データに基づいて、監視対象者の身体の重心の水平位置を特定する。水平位置特定部７は、監視対象者の身体の重心が、図２に示す領域Ｃ（ベッド領域およびベッド周辺領域の両方を除く領域）に含まれるか否かを判断する。すなわち、水平位置特定部７は、第１のラベリング画像データの中の「１」にラベリングされた領域の重心の画素が、領域Ｃに対応する図３に示す第３のブロックに含まれる場合に、監視対象者の重心が領域Ｃに含まれると判断する。水平位置特定部７は、第１のラベリング画像データの中の監視対象者を表わす「１」にラベリングされた領域の重心の画素が、図３に示す第３のブロックに含まれない場合に、監視対象者の重心が領域Ｃに含まれないと判断する。水平位置特定部７が、監視対象者が領域Ｃに含まれると判断した場合には、処理がステップＳ１０５に進み、監視対象者が領域Ｃに含まれないと判断した場合には、処理がステップＳ１０８に進む。

ステップＳ１０５において、垂直位置特定部８は、第２のラベリング画像データに基づいて、監視対象者の身体の最も高い点が、図２に示す基準値ＢＡ１以下か否かを判断する。すなわち、垂直位置特定部８は、第２のラベリング画像データの中の「１」にラベリングされた領域をステップＳ１０４で求めた身体の重心の画素の位置に基づいて補正する。これは、監視対象者が側方画像センサ３に近い位置に存在するほど、監視対象者が存在する領域のＹ座標が大きくなるため、監視対象者が水平方向のどの位置にいても、Ｙ座標が一定となるようにするためである。垂直位置特定部８は、第２のラベリング画像データの補正された「１」にラベリングされた領域の画素のＹ座標のうち、最大のＹ座標を特定する。垂直位置特定部８が、特定した最大のＹ座標ＹＭＡＸが、基準値ＢＡ１に対応する図３に示す所定値ＴＨ１以下と判断した場合には、処理がステップＳ１０６に進む。垂直位置特定部８が、特定した最大のＹ座標ＹＭＡＸが所定値ＴＨ１を超えると判断した場合には、処理がステップＳ１０７に進む。

ステップＳ１０６において、動作判断部５は、監視対象者が転倒状態であると判断する。

図７は、監視対象者が転倒状態の場合の監視領域の状態を表わす図である。図８は、監視領域が図７に示す状態のときの第２のラベリング画像データを表わす図である。第２のラベリング画像データの中の「１」にラベリングされた領域の画素のＹ座標の中の最大のＹ座標は「３」である。ここでは、所定値ＴＨ１が「７」に設定されているため、監視対象者が転倒状態であると判断される。

ステップＳ１０７において、動作判断部５は、監視対象者が立位状態であると判断する。

図９は、監視対象者が立位状態の場合の監視領域の状態を表わす図である。図１０は、監視領域が図９に示す状態のときの第２のラベリング画像データを表わす図である。第２のラベリング画像データの中の「１」にラベリングされた領域の画素のＹ座標の中の最大のＹ座標は「１２」である。ここでは、所定値ＴＨ１が「７」に設定されているため、監視対象者が立位状態であると判断される。

ステップＳ１０８において、水平位置特定部７は、第１のラベリング画像データに基づいて、監視対象者の身体の重心の水平位置を特定する。水平位置特定部７は、監視対象者の身体の重心が、図２に示す領域Ａ（ベッド領域）に含まれるか否かを判断する。すなわち、水平位置特定部７は、第１のラベリング画像データの中の監視対象者を表わす「１」にラベリングされた領域の重心の画素が、領域Ａに対応する図３に示す第１のブロックに含まれる場合に、監視対象者の重心が領域Ａに含まれると判断し、第１のラベリング画像データの中の「１」にラベリングされた領域の重心の画素が、図３に示す第１のブロックに含まれない場合に、監視対象者の重心が領域Ａに含まれないと判断する。水平位置特定部７が、監視対象者が領域Ａに含まれると判断した場合には、処理がステップＳ１０９に進み、監視対象者が領域Ａに含まれないと判断した場合には、処理がステップＳ１１２に進む。

ステップＳ１０９において、垂直位置特定部８は、第２のラベリング画像データに基づいて、監視対象者の身体の最も高い点が図２に示す基準値ＢＡ１以下か否かを判断する。すなわち、垂直位置特定部８は、第２のラベリング画像データの中の「１」にラベリングされた領域をステップＳ１０８で求めた身体の重心の画素の位置に基づいて補正する。垂直位置特定部８は、第２のラベリング画像データの補正された「１」にラベリングされた領域の画素のＹ座標のうち、最大のＹ座標を特定する。垂直位置特定部８が、特定した最大のＹ座標ＹＭＡＸが、基準値ＢＡ１に対応する図３に示す所定値ＴＨ１以下と判断した場合には、処理がステップＳ１１０に進む。垂直位置特定部８が、特定した最大のＹ座標ＹＭＡＸが所定値ＴＨ１を超えると判断した場合には、処理がステップＳ１１１に進む。

ステップＳ１１０において、動作判断部５は、監視対象者が臥位状態であると判断する。

図１１は、監視対象者が臥位状態の場合の監視領域の状態を表わす図である。図１２は、監視領域が図１１に示す状態のときの第２のラベリング画像データを表わす図である。第２のラベリング画像データの中の「１」にラベリングされた領域の画素のＹ座標の中の最大のＹ座標は「５」である。ここでは、所定値ＴＨ１が「５」に設定されているため、監視対象者が臥位状態であると判断される。

ステップＳ１１１において、動作判断部５は、監視対象者が座位状態であると判断する。

図１３は、監視対象者が座位状態の場合の監視領域の状態を表わす図である。図１４は、監視領域が図１３に示す状態のときの第２のラベリング画像データを表わす図である。第２のラベリング画像データの中の「１」にラベリングされた領域の画素のＹ座標の中の最大のＹ座標は「９」である。ここでは、所定値ＴＨ１が「７」に設定されているため、監視対象者が座位状態であると判断される。

ステップＳ１１２において、垂直位置特定部８は、第２のラベリング画像データに基づいて、監視対象者の身体の最も高い点が図２に示す基準値ＢＡ１以下か否かを判断する。すなわち、垂直位置特定部８は、第２のラベリング画像データの中の「１」にラベリングされた領域をステップＳ１０８で求めた身体の重心の画素の位置に基づいて補正する。垂直位置特定部８は、第２のラベリング画像データの補正された「１」にラベリングされた領域の画素のＹ座標のうち、最大のＹ座標を特定する。垂直位置特定部８が、特定した最大のＹ座標ＹＭＡＸが、基準値ＢＡ１に対応する図３に示す所定値ＴＨ１以下と判断した場合には、処理がステップＳ１１４に進む。垂直位置特定部８が、特定した最大のＹ座標ＹＭＡＸが所定値ＴＨ１を超えると判断した場合には、処理がステップＳ１１３に進む。

ステップＳ１１３において、動作判断部５は、監視対象者が端座位状態であると判断する。

図１５は、監視対象者が端座位状態の場合の監視領域の状態を表わす図である。図１６は、監視領域が図１５に示す状態のときの第２のラベリング画像データを表わす図である。第２のラベリング画像データの中の「１」にラベリングされた領域の画素のＹ座標の中の最大のＹ座標は「９」である。ここでは、所定値ＴＨ１が「７」に設定されているため、監視対象者が端座位状態であると判断される。

ステップＳ１１４において、水平長さ検出部１０は、第１のラベリング画像データに基づいて、監視対象者の水平方向の長さが基準値ＢＡ２以上であるか否かを判断する。すなわち、水平長さ検出部１０は、第１のラベリング画像データの中の「１」にラベリングされた領域の主軸の長さ（「１」にラベリングされた領域に描ける最大の長さの線の両端の画素間のユークリッド距離）Ｄを求める。水平長さ検出部１０は、主軸の長さＤが基準値ＢＡ２に対応する所定値ＴＨ２以上と判断した場合には、処理がステップＳ１１５に進み、所定値ＴＨ２未満と判断した場合には、処理が終了する。

ステップＳ１１５において、動作判断部５は、転倒状態の一種であるベッドからの転落状態であると判断する。

図１７は、監視対象者が転落状態の場合の監視領域の状態を表わす図である。図１８は、監視領域が図１７に示す状態のときの第２のラベリング画像データを表わす図である。第２のラベリング画像データの中の「１」にラベリングされた領域の画素のＹ座標の中の最大のＹ座標は「３」であり、所定値ＴＨ１（＝「７」）よりも小さい。

図１９は、監視領域が図１７に示す状態のときの第１のラベリング画像データを表わす図である。

第１のラベリング画像データの中の「１」にラベリングされた領域の主軸の長さＤは、６８^1/2であり、所定値ＴＨ２（＝「７」）以上ある。したがって、監視対象者が転落状態であると判断される。

以上のように、本実施の形態によれば、監視領域にベッドが設置されている場合に、監視対象者の転倒に関する動作状態、すなわち、監視対象者の転倒状態、または転倒する可能性のあるベッドでの座位状態およびベッドの端での座位状態を検知することができる。

［第２の実施形態］
第１の実施形態では、第１のラベリング画像を用いて、監視対象者が領域Ａ（ベッド領域）、領域Ｂ（ベッド周辺領域）、領域Ｃ（ベッド領域およびベッド周辺領域を除く領域）のいずれに存在するかを特定した。本実施の形態では、第２のラベリング画像を用いて、監視対象者がベッド領域に存在するか、あるいはベッド領域以外の領域に存在するかを判断する。本実施の形態では、監視対象者がベッド領域に存在するときには、監視対象者がベッド領域外に存在するときよりも、監視対象者の最低点は高くなり、かつ水平方向の長さも長くなるという特徴を用いる。

図２０は、第２の実施形態による監視対象者の動作判断手順を表わすフローチャートである。

ステップＳ２０１において、画像処理部９は、上方画像センサ２から出力される第１の赤外線画像データおよび側方画像センサ３から出力される第２の赤外線画像データから、図５に示す手順に従って画像処理を実行することによって、第１のラベリング画像データおよび第２のラベリング画像データを生成する。

ステップＳ２０２において、人数特定部６は、第１のラベリング画像データの中で「１」にラベリングされている連続領域の個数に基づいて、監視領域の人数を特定する。人数特定部６は、第１のラベリング画像データの中で「１」にラベリングされている連続領域がＮ個である場合に、監視領域にＮ人が存在すると判断する。

ステップＳ２０３において、人数特定部６は、監視領域に１人が存在する場合には、監視対象者のみが存在すると判断し、処理がステップＳ２０４に進む。人数特定部６は、監視領域に複数人が存在する場合には、監視対象者と監視対象者以外の人物（たとえば付き添い人など）が存在すると判断し、処理が終了する。

ステップＳ２０４において、水平位置特定部７は、第１のラベリング画像データに基づいて、監視対象者の身体の重心の水平位置を特定する。すなわち、水平位置特定部７は、第１のラベリング画像データの中の「１」にラベリングされた領域の重心の画素の位置を特定する。

ステップＳ２０５において、垂直位置特定部８は、第２のラベリング画像データに基づいて、監視対象者の身体の最も低い点を特定する。すなわち、垂直位置特定部８は、第２のラベリング画像データの中の「１」にラベリングされた領域をステップＳ２０４で求めた身体の重心の画素の位置に基づいて補正する。垂直位置特定部８は、第２のラベリング画像データの補正された「１」にラベリングされた領域の画素のＹ座標のうち、最小のＹ座標を特定する。

ステップＳ２０６において、垂直位置特定部８は、第２のラベリング画像データに基づいて、監視対象者の身体の最も低い点が、図２に示す基準値ＢＡ３以上か否かを判断する。すなわち、垂直位置特定部８は、特定した最小のＹ座標が、基準値ＢＡ３に対応する図３に示す所定値ＴＨ３以上と判断した場合には、監視対象者がベッド領域に存在する可能性があると判断して、処理がステップＳ２０７に進む。垂直位置特定部８が、補正した最小のＹ座標が所定値ＴＨ３未満と判断した場合には、処理がステップＳ２１２に進む。

図２１は、第２のラベリング画像データを表わす図である。第２のラベリング画像データの中の「１」にラベリングされた領域の画素のＹ座標の中の最小のＹ座標は「３」である。ここでは、所定値ＴＨ３が「２」に設定されているため、監視対象者がベッド領域に存在する可能性があると判断される。

ステップＳ２０７において、水平長さ検出部１０は、第１のラベリング画像データに基づいて、監視対象者の水平方向の長さが基準値ＢＡ２以上であるか否かを判断する。すなわち、水平長さ検出部１０は、第１のラベリング画像データの中の「１」にラベリングされた領域の主軸の長さ（「１」にラベリングされた領域に描ける最大の長さの線の両端の画素間のユークリッド距離）Ｄを求める。水平長さ検出部１０は、主軸の長さＤが基準値ＢＡ２に対応する所定値ＴＨ２以上と判断した場合には、処理がステップＳ２０８に進み、所定値ＴＨ２未満と判断した場合には、処理がステップＳ２１２に進む。

ステップＳ２０８において、監視対象者がベッド領域に存在すると判断する。
ステップＳ２０９において、垂直位置特定部８は、第２のラベリング画像データに基づいて、監視対象者の身体の最も高い点が図２に示す基準値ＢＡ１以下か否かを判断する。すなわち、垂直位置特定部８は、第２のラベリング画像データの中のステップＳ２０５で補正された「１」にラベリングされた領域の画素のＹ座標のうち、最大のＹ座標を特定する。垂直位置特定部８が、特定した最大のＹ座標ＹＭＡＸが、基準値ＢＡ１に対応する図３に示す所定値ＴＨ１以下と判断した場合には、処理がステップＳ２１０に進む。垂直位置特定部８が、特定した最大のＹ座標ＹＭＡＸが所定値ＴＨ１を超えると判断した場合には、処理がステップＳ２１１に進む。

ステップＳ２１０において、動作判断部５は、監視対象者が臥位状態であると判断する。

ステップＳ２１１において、動作判断部５は、監視対象者が座位状態であると判断する。

ステップＳ２１２において、監視対象者がベッド領域外に存在すると判断する。
ステップＳ２１３において、垂直位置特定部８は、第２のラベリング画像データに基づいて、監視対象者の身体の最も高い点が図２に示す基準値ＢＡ１以下か否かを判断する。すなわち、垂直位置特定部８は、第２のラベリング画像データの中のステップＳ２０５で補正された「１」にラベリングされた領域の画素のＹ座標のうち、最大のＹ座標を特定する。垂直位置特定部８が、特定した最大のＹ座標ＹＭＡＸが、基準値ＢＡ１に対応する図３に示す所定値ＴＨ１以下と判断した場合には、処理がステップＳ２１４に進む。垂直位置特定部８が、補正した最大のＹ座標ＹＭＡＸが所定値ＴＨ１を超えると判断した場合には、処理がステップＳ２１５に進む。

ステップＳ２１４において、動作判断部５は、監視対象者が転倒状態であると判断する。

ステップＳ２１５において、動作判断部５は、監視対象者が立位状態であると判断する。

以上のように、本実施の形態によれば、本実施の形態によれば、監視領域にベッドが設置されている場合に、ベッドが存在する領域が予め定められていなくても、監視対象者がベッドが存在する領域に存在するか否かを判断することができる。そして、ベッドが存在する領域での臥位状態または座位状態、ベッドが存在しない領域での転倒状態または立位状態を検知することができる。

なお、本実施の形態では、ステップＳ２０６でＹＥＳの後、ステップＳ２０７で、第１のラベリング画像データに基づいて、監視対象者の水平方向の長さが基準値ＢＡ２以上であるか否かを判断したが、このステップＳ２０７は省略してもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものでないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１監視システム、２上方画像センサ、３側方画像センサ、４位置特定部、５動作判断部、６人数特定部、７水平位置特定部、８垂直位置特定部、９画像処理部、１０水平長さ検出部、２０監視装置、２１表示部。

Claims

監視装置であって、
監視領域の上方に設けられた第１の画像センサで前記監視領域を撮像することによって得られる上方撮像データと、前記監視領域の側方に設けられた第２の画像センサで前記監視領域を撮像することによって得られる側方撮像データに基づいて、監視対象者の水平方向の位置と鉛直方向の最も高い位置を特定する位置特定部を備え、
前記監視領域は、水平方向について、第１の領域と、前記第１の領域の周辺の領域である第２の領域と、前記第１の領域および前記第２の領域を除く第３の領域に分割され、
前記監視装置は、さらに、
前記水平方向の位置が前記第１の領域、前記第２の領域、および前記第３の領域のうちのいずれに含まれるかということと、前記鉛直方向の最も高い位置とに基づいて、前記監視対象者の転倒に関する動作状態を判断する動作判断部を備えた監視装置。
前記動作判断部は、前記監視対象者の水平方向の位置が第１の領域に含まれ、かつ前記監視対象者の鉛直方向の最も高い位置が第１の所定値以下の場合に、前記監視対象者が臥位状態であると判断する、請求項１記載の監視装置。
前記動作判断部は、前記監視対象者の水平方向の位置が前記第１の領域に含まれ、かつ前記監視対象者の鉛直方向の最も高い位置が前記第１の所定値を超える場合に、前記監視対象者が座位状態であると判断する、請求項２記載の監視装置。
監視領域の上方に設けられた第１の画像センサで前記監視領域を撮像することによって得られる上方撮像データと、前記監視領域の側方に設けられた第２の画像センサで前記監視領域を撮像することによって得られる側方撮像データに基づいて、監視対象者の水平方向の位置と鉛直方向の最も高い位置を特定する位置特定部と、
前記水平方向の位置と前記鉛直方向の最も高い位置に基づいて、前記監視対象者の転倒に関する動作状態を判断する動作判断部とを備え、
前記動作判断部は、前記監視対象者の水平方向の位置が第１の領域に含まれ、かつ前記監視対象者の鉛直方向の最も高い位置が第１の所定値以下の場合に、前記監視対象者が臥位状態であると判断し、
前記動作判断部は、前記監視対象者の水平方向の位置が前記第１の領域の周辺の領域である第２の領域に含まれ、かつ前記監視対象者の鉛直方向の最も高い位置が第１の所定値以上の場合に、前記監視対象者が端座位状態であると判断する、監視装置。
前記監視領域は、前記監視対象者が居住する空間であり、前記第１の領域はベッドが設置された領域である、請求項４に記載の監視装置。
前記位置特定部は、前記上方撮像データから、監視対象者の水平方向の長さを算出し、
前記動作判断部は、前記監視対象者の水平方向の位置が前記第２の領域に含まれ、かつ前記監視対象者の鉛直方向の最も高い位置が前記第１の所定値以下で、かつ前記監視対象者の水平方向の長さが第２の所定値以上のときに、前記監視対象者が前記ベッドから転落した状態であると判断する、請求項５記載の監視装置。
前記動作判断部は、前記監視対象者の水平方向の位置が前記第１の領域および前記第２の領域の両方を除く領域である第３の領域に含まれ、かつ前記監視対象者の鉛直方向の最も高い位置が第１の所定値以下の場合に、前記監視対象者が転倒状態であると判断する、請求項４記載の監視装置。
前記動作判断部は、前記監視対象者の水平方向の位置が前記第３の領域に含まれ、かつ前記監視対象者の鉛直方向の最も高い位置が前記第１の所定値を超える場合に、前記監視対象者が立位状態であると判断する、請求項７記載の監視装置。
監視領域の上方に設けられた第１の画像センサで前記監視領域を撮像することによって得られる上方撮像データと、前記監視領域の側方に設けられた第２の画像センサで前記監視領域を撮像することによって得られる側方撮像データに基づいて、監視対象者の水平方向の位置と鉛直方向の最も高い位置を特定する位置特定部と、
前記水平方向の位置と前記鉛直方向の最も高い位置に基づいて、前記監視対象者の転倒に関する動作状態を判断する動作判断部とを備え、
前記位置特定部は、前記側方撮像データに基づいて、前記監視対象者の鉛直方向の最も低い位置を特定し、
前記動作判断部は、前記監視対象者の鉛直方向の最も低い位置が第３の所定値以上の場合に、前記監視対象者がベッドが設置された領域に存在すると判断する、監視装置。
監視領域の上方に設けられた第１の画像センサで前記監視領域を撮像することによって得られる上方撮像データと、前記監視領域の側方に設けられた第２の画像センサで前記監視領域を撮像することによって得られる側方撮像データに基づいて、監視対象者の水平方向の位置と鉛直方向の最も高い位置を特定する位置特定部と、
前記水平方向の位置と前記鉛直方向の最も高い位置に基づいて、前記監視対象者の転倒に関する動作状態を判断する動作判断部とを備え、
前記位置特定部は、前記第１の画像センサで前記監視領域を撮像することによって得られる上方撮像データから、前記監視領域に存在する人の数を特定し、前記特定した人の数が１個の場合に限り、前記監視対象者の水平方向の位置と鉛直方向の最も高い位置を特定する、監視装置。
監視システムであって、
監視領域の上方に設けられた第１の画像センサと、
前記監視領域の側方に設けられた第２の画像センサと、
前記第１の画像センサで前記監視領域を撮像することによって得られる上方撮像データと、前記第２の画像センサで前記監視領域を撮像することによって得られる側方撮像データに基づいて、監視対象者の水平方向の位置と鉛直方向の最も高い位置を特定する位置特定部とを備え、
前記監視領域は、水平方向について、第１の領域と、前記第１の領域の周辺の領域である第２の領域と、前記第１の領域および前記第２の領域を除く第３の領域に分割され、
前記監視システムは、さらに、
前記水平方向の位置が前記第１の領域、前記第２の領域、および前記第３の領域のうちのいずれに含まれるかということと、前記鉛直方向の最も高い位置とに基づいて、前記監視対象者の転倒に関する動作状態を判断する動作判断部とを備えた、監視システム。
監視方法であって、
監視領域の上方に設けられた第１の画像センサで前記監視領域を撮像することによって得られる上方撮像データと、前記監視領域の側方に設けられた第２の画像センサで前記監視領域を撮像することによって得られる側方撮像データに基づいて、監視対象者の水平方向の位置と鉛直方向の最も高い位置を特定するステップを備え、
前記監視領域は、水平方向について、第１の領域と、前記第１の領域の周辺の領域である第２の領域と、前記第１の領域および前記第２の領域を除く第３の領域に分割され、
前記監視方法は、さらに、
前記水平方向の位置が前記第１の領域、前記第２の領域、および前記第３の領域のうちのいずれに含まれるかということと、前記鉛直方向の最も高い位置とに基づいて、前記監視対象者の転倒に関する動作状態を判断するステップを備えた監視方法。
コンピュータを、
監視領域の上方に設けられた第１の画像センサで前記監視領域を撮像することによって得られる上方撮像データと、前記監視領域の側方に設けられた第２の画像センサで前記監視領域を撮像することによって得られる側方撮像データに基づいて、監視対象者の水平方向の位置と鉛直方向の最も高い位置を特定する位置特定部として機能させ、
前記監視領域は、水平方向について、第１の領域と、前記第１の領域の周辺の領域である第２の領域と、前記第１の領域および前記第２の領域を除く第３の領域に分割され、
前記コンピュータをさらに、
前記水平方向の位置が前記第１の領域、前記第２の領域、および前記第３の領域のうちのいずれに含まれるかということと、前記鉛直方向の最も高い位置とに基づいて、前記監視対象者の転倒に関する動作を判断する動作判断部として機能させるための監視プログラム。
コンピュータを、
監視領域の上方に設けられた第１の画像センサで前記監視領域を撮像することによって得られる上方撮像データと、前記監視領域の側方に設けられた第２の画像センサで前記監視領域を撮像することによって得られる側方撮像データに基づいて、監視対象者の水平方向の位置と鉛直方向の最も高い位置を特定する位置特定部として機能させ、
前記監視領域は、水平方向について、第１の領域と、前記第１の領域の周辺の領域である第２の領域と、前記第１の領域および前記第２の領域を除く第３の領域に分割され、
前記コンピュータをさらに、
前記水平方向の位置が前記第１の領域、前記第２の領域、および前記第３の領域のうちのいずれに含まれるかということと、前記鉛直方向の最も高い位置とに基づいて、前記監視対象者の転倒に関する動作状態を判断する動作判断部として機能させるための監視プログラムを記録したコンピュータ読み取り可能な記録媒体。