JP6847708B2 - ベッド位置特定装置 - Google Patents

Description

本発明は、見守り対象者の状態をカメラの撮像映像により見守る際に、撮像映像から人物が伏しているベッド位置を特定するベッド位置特定装置に関する。

病院をはじめ老人ホームや高齢者施設では、高齢者の転倒による事故が多発している。このような施設での転倒事故は、ベッドから起き上がって離床する際に発生する場合が多いため、ベッド上の患者等の見守り対象者を撮像するカメラを設置して見守るシステムがある。例えば、特許文献１では患者の頭部上方からベッド全体を撮像し、その映像から患者の起き上がり動作を判別した。

特許第６０４６５５９号公報

D. G. Lowe: "Distinctive Image Features from Scale-Invariant Keypoints", Inter-national Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004. C. Harris and M. Stephens: "A combined corner and edge detector." Alvey Vision Conference, pp. 147-152, 1988. N. Dalal, B. Triggs: "Histograms of Oriented Gradients for Human Detection" In IEEE Conference on Computer Vision and Pattern Recognition, vol.1, pp.886-893, 2005.

しかしながら、上記従来の人物の起き上がり等の動作を検出する技術は、撮像エリア全体の動き情報から人物の動作を検出するため、ベッド周囲の看護師や見舞人の動きなど、見守り対象者以外の人物の動きを見守り対象者の動きとして誤検知することがあった。

そこで、本発明はこのような問題点に鑑み、ベッド周囲の人物を見守り対象の人物と判断しないようカメラの撮像画像からベッドの位置を特定するベッド位置特定装置を提供することを特徴とする。

上記課題を解決する為に、請求項１の発明は、ベッドが配置された部屋全体を上方から撮像するカメラと、カメラの撮像画像全体を、ベッド領域を設定するための特定の形状及びサイズの枠により重複部を設けて複数に分割する画像分割部と、枠により生成される個々の小領域画像から画像特徴を抽出する特徴抽出部と、ベッドの有無で２クラスに分けた学習サンプルから抽出した画像特徴を記憶する学習部と、特徴抽出部が抽出した画像特徴と学習部の情報とを基にベッドの有無を判定する第１判定部と、第１判定部がベッド有りと判定した小領域画像に対して、当該小領域画像の全領域の平均輝度、及び小領域画像の周囲一定幅を削除した内部領域の平均輝度を算出する輝度算出部と、算出された全領域及び内部領域の２つの平均輝度情報を基にベッド有りを確定する第２判定部とを備え、第２判定部は、全領域の平均輝度が内部領域の平均輝度より低ければベッド有りを確定することを特徴とする。
この構成によれば、撮像画像におけるベッド位置を特定するため、見守りエリアを撮像エリア内の特定の領域に限定することが可能となり、ベッド周囲の人物の動きを排除でき誤検出を大きく削減することができる。加えて、画像特徴と輝度特徴の双方からベッド領域を判定するため、確実にベッド位置を特定できるし、輝度演算は特定の小領域画像に対してのみであるため、演算量を削減できる。

請求項２の発明は、請求項１に記載の構成において、小領域画像を生成する枠は、撮像画像内のベッドの大きさに対して１割程度大きいことを特徴とする。
この構成によれば、複数生成される小領域画像の何れかにベッド全体を含ませることが可能であり、その枠により生成された小領域画像を見守り対象者の動作判定領域として良好に使用できる。

本発明によれば、撮像画像内におけるベッド位置を特定するため、見守りエリアを特定した領域に限定することが可能となり、ベッド周囲の人物の動きを排除でき誤検出を大きく削減することができる。加えて、画像特徴と輝度特徴の双方からベッド領域を判定するため、確実にベッド位置を特定できるし、輝度演算は特定の小領域画像に対してのみであるため、演算量を削減できる。

本発明に係るベッド位置特定装置の一例を示すブロック図である。 画像分割処理の説明図であり、（ａ）は撮像するベッドの領域に対して十分大きな枠で分割する様子、（ｂ）はベッドより僅かに大きな枠で分割する様子、（ｃ）はベッドより僅かに小さな枠で分割する様子を示している。 小領域画像がベッド全体を含んでいる場合の全領域に対する輝度ヒストグラムを示し、（ａ）は算出対象の小領域画像、（ｂ）は算出した輝度ヒストグラムである。 図３の小領域画像に対して周囲一定幅を削除して生成した内部領域に対する輝度ヒストグラムを示し、（ａ）算出対象の内部領域、（ｂ）は算出した輝度ヒストグラムである。 小領域画像がベッドを含まない背景領域である場合の全領域に対する輝度ヒストグラムを示し、（ａ）は算出対象の小領域画像、（ｂ）は算出した輝度ヒストグラムである。 図５の小領域画像に対して周囲一定幅を削除して生成した内部領域に対する輝度ヒストグラムを示し、（ａ）算出対象の内部領域、（ｂ）は算出した輝度ヒストグラムである。

以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。図１は本発明に係るベッド位置特定装置の一例を示すブロック図であり、１は撮像素子を備えたカメラ、２はカメラ１の撮像画像を一時的に保持する画像保持部、３は撮像画像を複数の小領域画像に分割する画像分割部、４は小領域画像毎に画像特徴を抽出する特徴抽出部、５は画像特徴の学習データを蓄積した学習部、６は特徴抽出部４が抽出した画像特徴と学習部５のデータを基にベッドの有無を判定する第１判定部、７は第１判定部６がベッド有りと判定した小領域画像に対して全領域と周囲を除いた内部領域の平均輝度を算出する輝度算出部、８は輝度算出部７の算出結果を基にベッド有りを確定する第２判定部である。
尚、画像保持部２、画像分割部３、特徴抽出部４、学習部５、第１判定部６、輝度算出部７、第２判定部８は、動作プログラムをインストールしたＣＰＵ或いはＤＳＰにより一体に構成される。

カメラ１は、患者等の見守り対象者（以下、単に「患者」とする。）を撮像するために、患者の居る部屋の上部に配置されて部屋全体を撮像するよう設置されている。このようにカメラ１を配置することで、カメラ１を移動或いはカメラ１の角度を変更すること無く、部屋の何れの場所にベッドを移動してもベッド全体を撮像エリア内に納めることを可能としている。そして、カメラ１からは動画が出力されるが、この動画は所定間隔で連続出力される画像フレーム（静止画）により構成されている。

画像保持部２は、例えばＲＡＭで構成され、カメラ１が撮像した画像（画像フレーム）が後段の画像分割処理等実施されるまで一次保管される。

画像分割部３は、画像保持部２の画像、即ちカメラ１が出力する画像フレームを複数の小領域画像に分割する。このとき小領域画像を生成するために設定される枠は、好ましい形状とサイズがあり、運用開始時に設定される。
そのうち形状は、撮像されるベッドの形状で決定され、基本は縦長に配置されるようカメラ１が固定されるため、使用する枠も縦長の長方形が選択される。以下、この形状で説明する。

サイズに関しては、異なる複数種類のサイズの枠が用意されており、図２はサイズ異なる枠を使用した画像分割の概念を示している。図２（ａ）は撮像するベッドの領域に対して十分大きな枠で分割する様子、図２（ｂ）はベッドより僅かに大きな枠で分割する様子、図２（ｃ）はベッドより僅かに小さな枠で分割する様子を示して３種類の大きさの小領域に分割する様子を示している。

尚、小領域画像の生成は、カメラ１が出力する画像フレームに対して、重なり部を有して画像全域を分割するように枠が平行移動して、順次小領域画像を生成し、生成した小領域画像データが後段に出力され、出力された画像に対して順次画像処理が成される。

画像フレーム中のベッドサイズは、画像サイズに対して概ね一定に決定されるが、ベッドサイズはベッドとカメラとの間の距離により異なるため、図２のように複数種類のサイズを用意しておき、新たに設定することなく選択操作により簡易な操作で最適な枠サイズを選択可能としている。

その際、枠サイズの選択は、ベッドの位置が決定した際に撮像画像を基に選択され、撮像されるベッドに対して幅と高さに１割程度のマージンを持たせたサイズ或いはそれに近い枠が選択される。１割程度のマージンを設けることで、何れかの小領域画像がベッド全体或いはほぼ全体を含んだ画像となるため、その画像からベッドの捕捉が容易となる。また、その小領域自体をベッド領域としてその周囲を判断の対象外とすることで、患者の動作を認識する際に見守り対象の患者以外の周囲の人物を排除し易い。

特徴抽出部４は、小領域画像から画像特徴を抽出する。画像特徴は、例えば非特許文献１に開示されているＳＩＦＴや、コーナーを表現する例えば非特許文献２に開示されているようなＨａｒｒｉｓコーナー、または画像の勾配を表す例えば非特許文献３に開示されているようなＨＯＧ等が適用されて、物体の形状を表現する画像特徴が算出（抽出）される。
この抽出は、分割された各小領域画像に対して逐次的に実施される。

学習部５は、部屋の中の様々な場所にベッドを配置して上記配置状態のカメラ１により部屋全体を上方から撮像した複数の撮像画像と、ベッド無しの撮像画像とでクラス分けしたデータを基に算出した特徴量情報を記憶している。

第１判定部６は、ベッドと非ベッドの２クラスに分けた学習部５が記憶している学習サンプルと、特徴抽出部４が算出した特徴量とを用いて学習された強識別器によって構成された周知のアダブーストによる識別器を用いて、画像分割部３にて分割された小領域画像がベッドか否か（ベッドが有るか）の判定を行う。
尚、識別器はＳＶＭや部分空間法、ニューラルネットワークなど様々な手法が適応できる。

輝度算出部７は、第１判定部６がベッド有りと判定した小領域画像に対して、全領域に対する平均輝度と、内部領域に対する平均輝度を算出する。上述したように、画像分割部３において分割された小領域画像はベッドの大きさに１割程度のマージンを付加したサイズの枠を用いて生成されている。そこで、小領域画像の周囲１割を削除した領域を内部領域として、その内部領域に対して平均輝度を算出する。

図３，４は、小領域画像がベッド全体を含んでいる場合の輝度ヒストグラムを示し、図３は全領域、図４は内部領域を示している。何れも（ａ）は算出対象の小領域画像を示し、（ｂ）が算出した輝度ヒストグラムである。図４（ａ）に示す枠内が内部領域であり、内部領域に対するヒストグラムは全領域のヒストグラムに比べて暗い領域が減少する（低輝度領域のスコアが低い）ことがわかる。

ここで、比較対象としてベッドを含まない小領域画像に対して算出した輝度ヒストグラムを図５，６に示している。図５は小領域画像がベッドを含まない背景領域である場合の全領域に対する輝度ヒストグラムを示し、（ａ）は算出対象の小領域画像、（ｂ）は算出した輝度ヒストグラムである。図６は図５の小領域画像に対して周囲一定幅を削除して生成した内部領域に対する輝度ヒストグラムを示し、（ａ）算出対象の内部領域、（ｂ）は算出した輝度ヒストグラムである。
図５，６に示す様に、ベッドを含まない小領域画像の場合、小領域画像の全領域から得た輝度ヒストグラムに比べて、内部領域から得た輝度ヒストグラムは、外周周辺の高輝度の情報を含まない（高輝度領域のスコアが低い）ことがわかる。

第２判定部８は、輝度算出部７から得られた２つの平均輝度からベッド判定を行う。小領域画像の全領域領域と内部領域の平均輝度を比較し、全領域領域の平均輝度が、内部領域の平均輝度よりも低ければ分割領域がベッドであると判定する。
上述したように、処理対象の小領域画像がベッド領域に該当する場合、小領域画像の内部領域から得た輝度ヒストグラムは全領域から得た輝度ヒストグラムに比べて低輝度領域のスコアが低い。逆に、ベッドを含まない小領域画像の場合、小領域画像の内部領域から得た輝度ヒストグラムは全領域から得た輝度ヒストグラムに比べて高輝度領域のスコアが低い。このことから、小領域画像の全領域領域と内部領域の平均輝度を比較し、全領域領域の平均輝度が、内部領域の平均輝度よりも低ければその領域がベッドであると判定する。
そして、この判定された小領域画像の領域のみに対して、その後人物の動作判定が成される（詳述せず）。

このように、撮像画像内におけるベッド位置を特定するため、見守りエリアを撮像エリア内の特定の領域に限定することが可能となり、ベッド周囲の人物の動きを排除でき誤検出を大きく削減することができる。加えて、画像特徴と輝度特徴の双方からベッド領域を判定するため、確実にベッド位置を特定できるし、輝度演算は特定の小領域画像に対してのみであるため、演算量を削減できる。
更に、ベッドより１割程度大きい枠により小領域画像を生成することで、複数生成される小領域画像の何れかにベッド全体を含ませることが可能であり、その枠により生成された小領域画像を見守り対象者の動作判定領域として良好に使用できる。

尚、上記実施形態では、小領域画像を生成する枠のベッドサイズに対するマージンを１割程度としているが、画像フレーム内のベッドの大きさに対して同程度としても患者の動作判定は可能であるし、ベッドサイズより２割程度のマージンを設けても良い。マージンが大きいと、その分ベッド上の患者以外の周囲にいる人物も含めて見守り対象の人物と判断する確率は上昇するが、２割程度であればその確率も低く抑制できる。
但し、その場合は、内部領域の平均輝度を算出する際の周囲の削除量も２割程度と大きくするのが望ましい。
また、小領域画像の生成するための枠は、正方形であっても横長の形状としても良く、カメラ１の撮像画像にベッドが横向きに配置される場合は横長の枠を用意するのが好ましい。

１・・カメラ、２・・画像保持部、３・・画像分割部、４・・特徴抽出部、５・・学習部、６・・第１判定部、７・・輝度算出部、８・・第２判定部。

Claims (2)

1. ベッドが配置された部屋全体を上方から撮像するカメラと、
   前記カメラの撮像画像全体を、ベッド領域を設定するための特定の形状及びサイズの枠により重複部を設けて複数に分割する画像分割部と、
   前記枠により生成される個々の小領域画像から画像特徴を抽出する特徴抽出部と、
   ベッドの有無で２クラスに分けた学習サンプルから抽出した前記画像特徴を記憶する学習部と、
   前記特徴抽出部が抽出した前記画像特徴と前記学習部の情報とを基に前記ベッドの有無を判定する第１判定部と、
   前記第１判定部がベッド有りと判定した前記小領域画像に対して、当該小領域画像の全領域の平均輝度、及び前記小領域画像の周囲一定幅を削除した内部領域の平均輝度を算出する輝度算出部と、
   算出された前記全領域及び前記内部領域の２つの平均輝度情報を基にベッド有りを確定する第２判定部とを備え、
   前記第２判定部は、前記全領域の平均輝度が前記内部領域の平均輝度より低ければベッド有りを確定することを特徴とするベッド位置特定装置。
2. 前記小領域画像を生成する前記枠は、撮像画像内のベッドの大きさに対して１割程度大きいことを特徴とする請求項１記載のベッド位置特定装置。

Images