以下、実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
はじめに、ベッド領域の抽出に用いられる撮像装置の配置及び抽出するベッド領域について説明する。図1は、撮像装置の配置例を示す図である。
図1において、ベッド110は、病院や介護施設等において、見守り対象者が横臥する寝具である。なお、ベッド110の脚部にはキャスタ130が設けられている。このため、ベッド110の設置位置は簡単に変えることができる。キャスタ130には、更に、キャスタ130のロック状態を検出するベッド状態取得センサ131が取り付けられている。ベッド状態取得センサ131の出力は、ベッド110が移動状態にあるか固定状態にあるかの判定に用いられる。
撮像装置120は、ベッド110に横臥した見守り対象者を撮影する装置であり、ベッド110の上方に設置される。ベッド領域140は、撮像装置120により撮影された撮影画像に基づいて抽出する領域を示している。
次に、撮像装置120の撮影領域に含まれるベッド等の配置例について説明する。図2は、撮像装置の撮影領域に含まれるベッド等の配置例を示す図である。図2に示すように、撮像装置120の撮影領域には、ベッド110の他に様々な物体が存在する。
例えば、ベッド110上には、見守り対象者200のほか、見守り対象者200が利用する枕211、オーバーヘッドテーブル212、布団213が含まれる。また、ベッド110の周辺には、カーテン221や、椅子222が含まれる。更に、ベッド110の周辺には看護師や介護士等のケア実行者223がいる場合もある。
このように、ベッド110の他に様々な物体が存在する状況のもと、以下に説明するベッド領域抽出システムでは、撮影画像からベッド領域を抽出する。
図3は、ベッド領域抽出システムのシステム構成を示す図である。図3に示すように、ベッド領域抽出システム300は、撮像装置120、ベッド状態取得センサ131、ベッド領域抽出装置310を有する。
撮像装置120、ベッド状態取得センサ131は、図1を用いて説明したとおりであり、いずれも病室等のように、見守り対象者200が横臥しているベッド110が設置された場所に配置される。ベッド領域抽出装置310は、例えば、監視室等のように、見守り対象者200を監視するケア実行者223が常駐する場所に配置される。
なお、撮像装置120及びベッド状態取得センサ131と、ベッド領域抽出装置310とは、ネットワークを介して接続されている。
ベッド領域抽出装置310には、ベッド領域抽出プログラム320がインストールされている。また、ベッド領域抽出装置310には、フィルタリング条件情報データベース(以下、DBと略す)330及びベッド領域候補情報DB340が格納されている。
次に、ベッド領域抽出装置310のハードウェア構成について説明する。図4は、ベッド領域抽出装置のハードウェア構成を示す図である。図4に示すように、ベッド領域抽出装置310は、CPU401、ROM(Read Only Memory)402、RAM(Random Access Memory)403、記憶部404を備える。また、ベッド領域抽出装置310は、ユーザインタフェース部405、通信部406を備える。なお、ベッド領域抽出装置310の各部は、バス407を介して相互に接続されている。
CPU401は、記憶部404に格納された各種プログラム(例えば、ベッド領域抽出プログラム320)を実行するコンピュータである。
ROM402は不揮発性メモリである。ROM402は、記憶部404に格納された各種プログラムをCPU401が実行するために必要な各種プログラム、データ等を格納する。具体的には、BIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラムなどを格納する。
RAM403は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の主記憶装置である。RAM403は、記憶部404に格納された各種プログラムがCPU401によって実行される際に展開される、作業領域として機能する。
記憶部404は、ベッド領域抽出装置310にインストールされた各種プログラムのほか、プログラムを実行する際に用いるデータやプログラムを実行することで生成されるデータ等が記録されたDBを格納する。記憶部404が格納するDBには、例えば、フィルタリング条件情報DB330、ベッド領域候補情報DB340が含まれる。
ユーザインタフェース部405は、ベッド領域抽出装置310に対する各種操作を受け付ける。通信部406は、ベッド領域抽出装置310が撮像装置120やベッド状態取得センサ131との間で通信を行う際に用いられる。
次に、ベッド領域抽出装置310によるベッド領域抽出処理の基本原理について説明する。図5は、ベッド領域抽出処理の基本原理を説明する図である。図5に示すように、ベッド領域抽出装置310では、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を、4階層に分けて行う。
第1階層は、撮影画像から検出したエッジから、ベッド領域を形成しうる辺(線分)を抽出する。以下、ベッド領域を形成しうる辺(線分)を、「1辺候補」と称する。撮影画像から検出されるエッジには様々な線分が含まれているため、第1階層では、ベッド領域を形成しえない辺(線分)を排除し、1辺候補を抽出する。
具体的には、撮影画像から検出されるエッジのうち、所定の角度範囲に含まれないエッジや、動領域に位置するエッジ、直線性が不十分なエッジを排除する。なお、動領域とは、撮影画像に写し出される様々な物体のうち、所定フレーム数の間に動きがあった物体が写し出された領域をいう。ベッド領域抽出処理は、ベッド110が固定状態で実行されるため、動領域に含まれるエッジは、ベッド領域を形成しえない辺といえる。なお、静領域とは、撮影画像の動領域以外の領域であり、撮影画像に写し出される様々な物体のうち、所定フレーム数の間に動きがなかった物体が写し出された領域をいう。
第1階層で抽出された1辺候補は、所定の条件のもとで互いに組み合わされる。これにより2つの1辺候補により形成されるL字形状が生成される。以下、2つの1辺候補を組み合わせて生成されるL字形状を「2辺候補」と称する。生成された2辺候補は第2階層に入力される。
第2階層は、入力された2辺候補から、ベッド領域を形成しうる2辺候補を抽出する。1辺候補を組み合わせることで生成される2辺候補には様々な2辺候補が含まれるため、第2階層では、ベッド領域を形成しえない2辺候補を排除する。
具体的には、入力された2辺候補のうち、2辺のなす角度(交差するエッジの角度)が所定の角度範囲に含まれない2辺候補や、水平面を形成しない辺を含む2辺候補を排除する。なお、水平面とは、ベッド110が設置された床面に平行な面をいう。ベッド領域は、床面に平行な辺により形成されるため、床面に垂直な面を形成する辺が含まれる2辺候補は、ベッド領域を形成しえない2辺候補である。
第2階層で抽出された2辺候補は、所定の条件のもとで互いに組み合わされ、コの字形状が生成される。以下、2つの2辺候補を組み合わせて生成されるコの字形状を「3辺候補」と称する。生成された3辺候補は第3階層に入力される。
第3階層は、入力された3辺候補から、ベッド領域を形成しうる3辺候補を抽出する。2辺候補を組み合わせることで生成される3辺候補には様々な組み合わせの3辺候補が含まれるため、第3階層では、ベッド領域を形成しえない3辺候補を排除する。
具体的には、入力された3辺候補のうち、両端2辺のなす角度(交差するエッジの角度)が所定の角度範囲に含まれない3辺候補や、両端2辺の間の幅が所定の長さ未満の3辺候補を排除する。また、両端2辺の周辺での撮影画像の輝度分布が、所定の輝度分布を有していない3辺候補を排除する。
第3階層で抽出された3辺候補は、所定の条件のもとで互いに組み合わされ、矩形形状が生成される。以下、2つの3辺候補を組み合わせて生成される矩形形状を「4辺候補」と称する。生成された4辺候補は第4階層に入力される。
第4階層は、入力された4辺候補から、ベッド領域を形成しうる4辺候補を抽出する。3辺候補を組み合わせることで生成される4辺候補には様々な組み合わせの4辺候補が含まれるため、第4階層では、ベッド領域を形成しえない4辺候補を排除する。
具体的には、入力された4辺候補のうち、面積が所定の範囲に含まれない4辺候補や、縦横比が所定の範囲に含まれない4辺候補を排除する。また、撮影画像に含まれる見守り対象者200の顔の位置と4辺候補の位置との関係や、顔の向きに基づく縦横の関係と4辺候補の縦横比に基づく縦横の関係とから、ベッド領域を形成しえない4辺候補を排除する。これにより、第4階層からは、ベッド領域140と判定された4辺候補が出力される。
このように、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を、4階層に分けて行うことで、以下のような効果が得られる。
例えば、撮影画像から検出したエッジが100個であったとすると、100個のエッジから求められる4辺の組み合わせは、100C4=(100×99×98×97)/(4×3×2×1)=3921225通りとなる。このため、例えば、従来のように、検出したエッジから4辺の組み合わせを全て求め、それぞれの組み合わせについてパターンマッチングを行おうとすると、計算量が膨大になる。
これに対して、4階層に分け、それぞれの階層でベッド領域を形成しえない候補を排除することで、組み合わせの数を大幅に削減することができる。また、第4階層では、ベッド領域を形成しうる4辺候補を抽出することができるため、従来のようにパターンマッチングを行う必要がない。この結果、ベッド領域抽出装置310によれば、ベッド領域を抽出するにあたり、従来よりも大幅に計算量を削減することができる。
次に、ベッド領域抽出装置310が格納するDB(フィルタリング条件情報DB330、ベッド領域候補情報DB340)について説明する。
まず、フィルタリング条件情報DB330のフィルタリング条件情報について説明する。図6は、フィルタリング条件情報の一例を示す図である。フィルタリング条件情報600は、フィルタリング条件情報DB330に格納され、各階層で候補の絞り込みを行う(フィルタリングする)際の条件を規定する。
フィルタリング条件情報600には情報の項目として、"第1階層"、"第2階層"、"第3階層"、"第4階層"が含まれる。
"第1階層"には、抽出されたエッジから1辺候補を抽出するための条件が規定される。具体的には、抽出されたエッジの角度が所定の角度範囲内(θ1以上θ2未満)であること、エッジが静領域にあること、エッジの長さが所定の長さ以上(L1以上)であること、が規定されている。
"第2階層"には、入力された2辺候補からベッド領域を形成しうる2辺候補を抽出するための条件が規定される。具体的には、2辺候補の各辺のなす角度(交差するエッジの角度)が所定の角度範囲内(θ3以上θ4未満)であること、2辺候補の各辺がいずれも水平面を形成する水平成分であること、が規定されている。
"第3階層"には、入力された3辺候補からベッド領域を形成しうる3辺候補を抽出するための条件が規定される。具体的には、3辺候補の両端2辺のなす角度(交差するエッジの角度)が所定の角度範囲内(θ5以上θ6未満)であること、3辺候補の両端2辺の幅が所定の長さ以上(L2以上)であること、が規定されている。更に、3辺候補の両端2辺の周辺の撮影画像の輝度分布が、高輝度から低輝度に変化していること、が規定されている。
"第4階層"には、入力された4辺候補からベッド領域を形成しうる4辺候補を抽出するための条件が規定される。具体的には、4辺候補により規定される矩形領域(候補領域)の面積が所定の範囲内(S1以上S2未満)であること、4辺候補により規定される矩形領域の縦横比が所定の範囲内(R1以上R2未満)であること、が規定されている。また、撮影画像より抽出される見守り対象者200の顔の位置が、4辺候補により規定される矩形領域内の所定領域に含まれること、顔の向きに基づく縦横の関係が、4辺候補の縦横比に基づく縦横の関係と一致すること、が規定されている。
次に、ベッド領域候補情報DB340のベッド領域候補情報について説明する。図7は、ベッド領域候補情報の一例を示す図である。ベッド領域候補情報700は、ベッド領域候補情報DB340に格納され、各階層で絞り込まれた候補を記録する。
ベッド領域候補情報700には情報の項目として、"第1階層"、"第2階層"、"第3階層"、"第4階層"が含まれる。
"第1階層"には、第1階層において抽出された1辺候補の識別番号が記録される。図7の例は、第1階層に入力されたエッジのうち、識別番号=I1、I2、I3、I4、I5・・・のエッジが1辺候補として抽出されたことを示している。
"第2階層"には、第2階層において抽出された2辺候補が、1辺候補の識別番号の組み合わせとして記録される。図7の例は、識別番号=I1と識別番号I2の組み合わせからなる2辺候補が抽出されたことを示している。また、識別番号=I2と識別番号=I3の組み合わせからなる2辺候補、識別番号=I2と識別番号=I4の組み合わせからなる2辺候補等が抽出されたことを示している。
"第3階層"には、第3階層において抽出された3辺候補が、1辺候補の識別番号の組み合わせとして記録される。図7の例は、識別番号=I1、識別番号=I2、識別番号=I3の組み合わせからなる3辺候補、識別番号=I2、識別番号=I3、識別番号=I4の組み合わせからなる3辺候補等が抽出されたことを示している。
"第4階層"には、第4階層において抽出された4辺候補が、1辺候補の識別番号の組み合わせとして記録される。図7の例は、識別番号=I1、識別番号=I2、識別番号=I3、識別番号=I4の組み合わせからなる4辺候補が抽出されたことを示している。
次に、ベッド領域抽出プログラム320がCPU401により実行されることで、ベッド領域抽出装置310にて実現されるベッド領域抽出部の機能構成について説明する。図8は、ベッド領域抽出部の機能構成を示す図である。
図8に示すように、ベッド領域抽出部800は、画像取得部810、ベッド状態取得部820、第1階層処理部830、2辺組合せ部840、第2階層処理部850、3辺組合せ部860、第3階層処理部870、4辺組合せ部880、第4階層処理部890を含む。
画像取得部810は、撮像装置120が撮影領域を撮影することで得られた撮影画像を、通信部406を介して取得する。また、取得した撮影画像に対してエッジ処理を行い、エッジ(線型エッジ)を抽出する(つまり、画像取得部810は、エッジ検出部としても機能する)。
ベッド状態取得部820は、ベッド状態取得センサ131の出力信号を取得し、ベッド110のキャスタ130がロック状態にあるか否かを判定することで、ベッド110が移動状態にあるか固定状態にあるかを判定する。ロック状態にある場合には、ベッド110が固定状態にあると判定し、ロック状態が解除された場合には、ベッド110が移動状態にあると判定する。
第1階層処理部830は、1辺候補を抽出する(エッジを絞り込む絞込部として機能する)。第1階層処理部830は、静・動領域判定部831、エッジ角度判定部832、直線性判定部833を有する。静・動領域判定部831は、撮影画像の静領域と動領域とを判定する。エッジ角度判定部832は、第1階層に入力されたエッジのうち、静領域にあると判定されたエッジの角度が、所定の角度範囲内(θ1以上θ2未満)にあるか否かを判定し、所定の角度範囲内にないエッジを排除する。直線性判定部833は、エッジ角度判定部832において所定の角度範囲内にあると判定されたエッジのうち類似するエッジを統合し、統合後のエッジから、所定の長さ以上(L1以上)のエッジを1辺候補として抽出する。
2辺組合せ部840は、第1階層処理部830において抽出された1辺候補を所定の条件のもとで組み合わせる。具体的には、1辺候補の端部の位置が、他の1辺候補の端部の位置に対して所定の距離範囲内にある場合に、当該1辺候補と当該他の1辺候補とを組み合わせる。
第2階層処理部850は、2辺組合せ部840において組み合わされることで生成された2辺候補から、ベッド領域を形成しうる2辺候補を抽出する(2辺候補を絞り込む絞込部として機能する)。第2階層処理部850は、2辺角度判定部851、水平面判定部852を有する。
2辺角度判定部851は、2辺組合せ部840において組み合わされることで生成された2辺候補のうち、各辺のなす角度(交差するエッジの角度)が所定の角度範囲内(θ3以上θ4未満)にない2辺候補を排除する。水平面判定部852は、2辺角度判定部851において排除されなかった2辺候補のうち、各辺の少なくとも一方が水平面を形成していない2辺候補を排除する。なお、第2階層処理部850では、水平面判定部852により排除されなかった2辺候補を3辺組合せ部860に出力する。
3辺組合せ部860は、第2階層処理部850において抽出された2辺候補を所定の条件のもとで組み合わせる。具体的には、2辺候補の位置及び向きが、他の2辺候補の位置及び向きと所定の関係にある場合に、当該2辺候補と当該他の2辺候補とを組み合わせる。
第3階層処理部870は、3辺組合せ部860において組み合わされることで生成された3辺候補から、ベッド領域を形成しうる3辺候補を抽出する(3辺候補を絞り込む絞込部として機能する)。第3階層処理部870は、両端2辺角度・幅判定部871、輝度変化判定部872を有する。
両端2辺角度・幅判定部871は、3辺組合せ部860において組み合わされることで生成された3辺候補のうち、両端2辺のなす角度(交差するエッジの角度)が所定の角度範囲内(θ5以上θ6未満)にない3辺候補を排除する。また、両端2辺角度・幅判定部871は、両端2辺のなす角度(交差するエッジの角度)が所定の角度範囲内にある3辺候補のうち、両端2辺の幅が所定の長さ未満の(L2以上でない)3辺候補を排除する。
輝度変化判定部872は、両端2辺角度・幅判定部871において排除されなかった3辺候補のうち、両端2辺の周辺の輝度分布が、所定の輝度分布を有していない3辺候補を排除する。なお、第3階層処理部870では、輝度変化判定部872により排除されなかった3辺候補を4辺組合せ部880に出力する。
4辺組合せ部880は、第3階層処理部870において抽出された3辺候補を所定の条件のもとで組み合わせる。具体的には、3辺候補が撮影画像上で他の3辺候補よりも下側に位置していた場合であって、当該3辺候補の両端2辺の幅が、他の3辺候補の両端2辺の幅よりも大きい場合に、当該3辺候補と当該他の3辺候補とを組み合わせる。なお、4辺組合せ部880では、当該3辺候補の両端2辺が当該他の3辺候補の両端2辺と、それぞれ同じ線上にあることを条件に、当該3辺候補と当該他の3辺候補とを組み合わせるものとする。
第4階層処理部890は、4辺組合せ部880において組み合わされることで生成された4辺候補から、ベッド領域を形成しうる4辺候補を抽出する(4辺候補を絞り込む絞込部として機能する)。第4階層処理部890は、面積・縦横比判定部891、頭部位置・向き判定部892を有する。
面積・縦横比判定部891は、4辺組合せ部880において組み合わされることで生成された4辺候補のうち、面積が所定の範囲内(S1以上S2未満)にない4辺候補、縦横比が所定の範囲内(R1以上R2未満)にない4辺候補を排除する。
頭部位置・向き判定部892は、面積・縦横比判定部891において排除されなかった4辺候補のうち、撮影画像より抽出された見守り対象者200の顔の位置が、所定の領域に含まれない4辺候補を排除する。また、頭部位置・向き判定部892は、顔の位置が所定の領域に含まれる4辺候補のうち、顔の向きに基づく縦横の関係が縦横比に基づく縦横の関係と一致しない4辺候補を排除する。更に、頭部位置・向き判定部892は、顔の向きに基づく縦横の関係に対して、縦横比に基づく縦横の関係が一致する4辺候補をベッド領域と判定して出力する。なお、ベッド領域として出力される4辺候補の出力先は、ベッド領域抽出装置310内の記憶部404であっても、ベッド領域抽出装置310と接続された外部装置であってもよい。
次に、ベッド領域抽出部800によるベッド領域抽出処理について説明する。図9は、ベッド領域抽出処理のフローチャートである。ベッド領域抽出処理が開始すると、ステップS901において、ベッド状態取得部820は、ベッド状態取得センサ131からの出力信号を取得する。
ステップS902において、ベッド状態取得部820は、取得した出力信号に基づいて、ベッド110のキャスタ130がロック状態にあるか否かを判定する。ステップS902において、ロック状態にないと判定した場合には、ベッド110が移動状態にあると判定し、ステップS901に戻る。一方、ロック状態にあると判定した場合には、ベッド110が固定状態にあると判定し、ステップS903に進む。
ステップS903において、画像取得部810は撮影画像を取得し、静・動領域判定部831は、取得された撮影画像に基づいて静・動領域判定処理を実行する。ステップS904において、画像取得部810は、取得した撮影画像に対してエッジ処理を行い、エッジを抽出する。
ステップS905において、第1階層処理部830は第1階層処理を実行することで、1辺候補を抽出する。ステップS906において、2辺組合せ部840は、2辺候補の生成処理を実行することで、抽出された1辺候補に基づいて2辺候補を生成する。
ステップS907において、第2階層処理部850は第2階層処理を実行することで、2辺組合せ部840において生成された2辺候補から、ベッド領域140を形成しうる2辺候補を抽出する。ステップS908において、3辺組合せ部860は、3辺候補の生成処理を実行することで、抽出された2辺候補に基づいて3辺候補を生成する。
ステップS909において、第3階層処理部870は第3階層処理を実行することで、3辺組合せ部860において生成された3辺候補から、ベッド領域140を形成しうる3辺候補を抽出する。ステップS910において、4辺組合せ部880は、4辺候補の生成処理を実行することで、抽出された3辺候補に基づいて4辺候補を生成する。
ステップS911において、第4階層処理部890は第4階層処理を実行することで、4辺組合せ部880において生成された4辺候補から、ベッド領域140を形成しうる4辺候補を抽出する。
ステップS912において、第4階層処理部890は、第4階層処理を実行することで抽出した4辺候補を、ベッド領域として出力する。
次に、ベッド領域抽出処理の各工程(ステップS903、ステップS905〜S911)の詳細について更に説明する。
はじめに、静・動領域判定処理(ステップS903)について詳説する。図10は、静・動領域判定処理のフローチャートである。
ステップS1001において、静・動領域判定部831は、フレームカウンタnに1をセットする。ステップS1002において、画像取得部810は、nフレーム目の撮影画像を取得する。
ステップS1003において、画像取得部810は、(n−1)フレーム目の撮影画像があるか否かを判定する。ステップS1003において、(n−1)フレーム目の撮影画像がないと判定された場合には、ステップS1010に進む。ステップS1010では、フレームカウンタnをインクリメントして、ステップS1002に戻る。一方、ステップS1003において、(n−1)フレーム目の撮影画像があると判定された場合には、ステップS1004に進む。
ステップS1004において、静・動領域判定部831は、nフレーム目の撮影画像と(n−1)フレーム目の撮影画像との差分画像を算出する。ステップS1005において、静・動領域判定部831は、m枚の差分画像が蓄積されたか否かを判定する。
ステップS1005において、m枚の差分画像が蓄積されていないと判定された場合には、ステップS1010に進み、フレームカウンタnをインクリメントした後、ステップS1002に戻る。
一方、ステップS1005において、m枚の差分画像が蓄積されたと判定された場合には、ステップS1006に進む。ステップS1006において、静・動領域判定部831は、m枚の差分画像について各画素の輝度を累積することで、輝度累積画像を算出する。
ステップS1007において、静・動領域判定部831は輝度累積画像に含まれる各領域の輝度累積値が所定の条件を満たすか否かを判定する。具体的には、輝度累積値が所定の閾値以下であると判定された場合には、所定の条件を満たすと判定し、ステップS1008に進む。静止している物体は、フレームごとに輝度値が変わらないため、フレーム間の差分値がゼロとなり、輝度累積値もゼロとなる。このため、輝度累積値が所定の閾値以下である場合、当該領域は静領域と判定できる。
一方、輝度累積値が所定の閾値より大きいと判定された場合には、所定の条件を満たさないと判定し、ステップS1011に進む。動いている物体は、フレームごとに輝度値が変わるため、フレーム間の差分値がゼロとはならず、輝度累積値もゼロ以外の値となる。このため、輝度累積値が所定の閾値より大きい場合、当該領域は動領域と判定できる。
ステップS1008において、静・動領域判定部831は、所定の条件を満たすと判定した領域を静領域と判定する。また、ステップS1011において、静・動領域判定部831は、所定の条件を満たさないと判定した領域を動領域と判定する。
ステップS1009において、静・動領域判定部831は、nフレーム目の撮影画像と、各領域の判定結果とをエッジ角度判定部832に通知する。
次に、第1階層処理(ステップS905)について詳説する。図11は、第1階層処理のフローチャートである。
ステップS1101において、エッジ角度判定部832は、画像取得部810が取得したnフレーム目の撮影画像に対して、画像取得部810がエッジ処理を行うことで抽出されたエッジを順次取得する。
ステップS1102において、エッジ角度判定部832は、取得したエッジの位置が、静領域内にあるか動領域内にあるかを判定する。ステップS1102において、動領域内にあると判定した場合には、ステップS1107に進む。ステップS1107において、エッジ角度判定部832は、当該エッジを1辺候補から除外する。
このように動領域内にあるエッジを1辺候補から除外することで、例えば、ケア実行者223の一部をエッジとして検出したり、カーテン221の一部をエッジとして検出した場合でも、これらのエッジを1辺候補から除外することができる。
一方、ステップS1102において、取得したエッジの位置が、静領域内にあると判定した場合には、ステップS1103に進む。ステップS1103において、エッジ角度判定部832は、静領域内にあると判定したエッジの角度が、所定の角度範囲内(θ1以上θ2未満)にあるか否かを判定する。ステップS1103において、所定の角度範囲内にないと判定した場合には、ステップS1107に進む。ステップS1107において、エッジ角度判定部832は、当該エッジを1辺候補から除外する。
一方、ステップS1103において、所定の角度範囲内にあると判定した場合には、ステップS1104に進む。ステップS1104において、直線性判定部833は、所定の角度範囲内にあると判定されたエッジのうち、類似するエッジを統合する。これにより、例えば、ベッド110の端部に布団213がかかっており、ベッド110の端部の一部が遮蔽されていた場合であっても、遮蔽区間のエッジを補間することができる。なお、布団213等は凹凸があり、エッジの角度がばらばらとなるため、布団の一部として検出されたエッジが統合されて長さの長いエッジが生成されることはない。
ステップS1105において、直線性判定部833は、統合処理されたエッジの長さが、所定の長さ以上(L1以上)か否かを判定する。ステップS1105において、所定の長さ未満であると判定した場合には、ステップS1107に進む。ステップS1107において、直線性判定部833は、当該エッジを1辺候補から除外する。これにより、例えば、布団213の一部がエッジとして検出された場合であっても、これらのエッジを1辺候補から除外することができる。
一方、ステップS1105において、所定の長さ以上と判定した場合には、ステップS1106に進む。ステップS1106において、直線性判定部833は、所定の長さ以上と判定したエッジを1辺候補と判定する。
ステップS1108において、直線性判定部833は、1辺候補と判定したエッジの識別番号を、ベッド領域候補情報700の"第1階層"に記録する。
ステップS1109において、エッジ角度判定部832は、画像取得部810により抽出された全てのエッジについて第1階層処理を実行したか否かを判断する。ステップS1109において、第1階層処理を実行していないエッジがあると判断した場合には、ステップS1101に戻り、次のエッジについて同様の処理を行う。一方、ステップS1109において、全てのエッジについて第1階層処理を実行したと判断した場合には、第1階層処理を終了する。
次に、2辺候補の生成処理(ステップS906)について詳説する。図12は、2辺候補の生成処理のフローチャートである。
ステップS1201において、2辺組合せ部840は、ベッド領域候補情報700に記録された1辺候補を順次読み出す。ステップS1202において、2辺組合せ部840は、読み出した1辺候補の端部の撮影画像上の座標と、他の1辺候補の端部の撮影画像上の座標とを比較する。なお、他の1辺候補とは、ベッド領域候補情報700に記録された1辺候補のうち、読み出した1辺候補以外の全ての1辺候補を指す。
ステップS1203において、2辺組合せ部840は、読み出した1辺候補の端部が、他の1辺候補の端部から所定の距離以内にあるか否かを判定する。ステップS1203において、所定の距離以内にあると判定した場合には、ステップS1204に進む。ステップS1204において、2辺組合せ部840は、読み出した1辺候補と、他の1辺候補とが交差すると判定し、両者を組み合わせて2辺候補(L字形状)を生成した後、ステップS1205に進む。
一方、ステップS1203において、所定の距離以内にないと判定した場合には、直接、ステップS1205に進む。
ステップS1205において、2辺組合せ部840は、全ての1辺候補について判定を行ったか否かを判断する。ステップS1205において、判定を行っていない1辺候補があると判断した場合には、ステップS1201に戻り、次の1辺候補を読み出して同様の処理を行う。
一方、ステップS1205において、全ての1辺候補について判定を行ったと判断した場合には、ステップS1206に進む。ステップS1206において、2辺組合せ部840は、生成した2辺候補をベッド領域候補情報700の"第2階層"に記録する。
次に、第2階層処理(ステップS907)について詳説する。図13は、第2階層処理のフローチャートである。
ステップS1301において、水平面判定部852は、撮影画像に写し出された床面に対する水平成分と垂直成分とを取得する。
ステップS1302において、2辺角度判定部851は、ベッド領域候補情報700に記録された2辺候補を順次読み出す。
ステップS1303において、2辺角度判定部851は、読み出した2辺候補の各辺のなす角度(交差するエッジの角度)が所定の角度範囲内(θ3以上θ4未満)にあるか否かを判定する。ステップS1303において、所定の角度範囲内にないと判定した場合には、ステップS1307に進む。ステップS1307において、2辺角度判定部851は、読み出した2辺候補がベッド領域140を形成しえない2辺候補であると判定する。ステップS1308において、2辺角度判定部851は、読み出した2辺候補をベッド領域候補情報700から削除する。
一方、ステップS1303において、所定の角度範囲内にあると判定した場合には、ステップS1304に進む。
ステップS1304において、水平面判定部852は、所定の角度範囲内にあると判定した2辺候補の各辺と、床面に対する水平成分及び垂直成分とを比較する。ステップS1305において、水平面判定部852は、2辺候補の各辺が、いずれも水平成分であるか否かを判定する。
ステップS1305において、2辺候補の各辺のいずれか一方または両方が垂直成分であると判定した場合には、ステップS1307に進む。ステップS1307において、水平面判定部852は、読み出した2辺候補がベッド領域140を形成しえない2辺候補であると判定する。ステップS1308において、水平面判定部852は、読み出した2辺候補をベッド領域候補情報700から削除する。
一方、ステップS1305において、2辺候補の各辺が、いずれも水平成分であると判定した場合には、ステップS1306に進む。ステップS1306において、水平面判定部852は、読み出した2辺候補が、ベッド領域140を形成しうる2辺候補であると判定する。
ステップS1309において、2辺角度判定部851は、ベッド領域候補情報700に記録されている全ての2辺候補について、第2階層処理を実行したか否かを判断する。ステップS1309において、第2階層処理を実行していない2辺候補があると判断した場合には、ステップS1302に戻る。
一方、ステップS1309において、全ての2辺候補について第2階層処理を実行したと判断した場合には、第2階層処理を終了する。
図14は、水平成分と垂直成分を示す図である。撮影画像に写し出された床面に対する水平成分1401、1402、垂直成分1403は予め定義されていてもよいし、水平面判定部852がnフレーム目の撮影画像に基づいて算出してもよい。図14の例は、2辺候補1411、1412、1421、1422のうち、2辺候補1411、1412の各辺が、水平成分である場合を示している。また、2辺候補1421、1422の各辺は、一方が水平成分であり他方が垂直成分である場合を示している。
したがって、図14の例によれば、水平面判定部852は、2辺候補1421、1422を、ベッド領域候補情報700から削除する。これにより、例えば、壁やカーテン221の一部が2辺候補として抽出された場合であっても、当該2辺候補を、ベッド領域140を形成しえない2辺候補と判定して削除することができる。
次に、3辺候補の生成処理(ステップS908)について詳説する。図15は、3辺候補の生成処理のフローチャートである。
ステップS1501において、3辺組合せ部860は、ベッド領域候補情報700に記録されている2辺候補を順次読み出す。ステップS1502において、3辺組合せ部860は、読み出した2辺候補を、ベッド領域候補情報700に記録されている他の2辺候補と組み合わせる。なお、他の2辺候補とは、ベッド領域候補情報700に記録されている2辺候補のうち、読み出した2辺候補以外の全ての2辺候補を指す。
ステップS1503において、3辺組合せ部860は、ステップS1501において読み出した2辺候補の位置及び向きと、他の2辺候補の位置及び向きとが所定の条件を満たすか否かを判定する。
具体的には、読み出した2辺候補と他の2辺候補の位置及び向きが、コの字形状を形成する関係になっているか否かを判定する。コの字形状を形成する関係になっている場合には、所定の条件を満たすと判定する。一方、コの字形状を形成する関係になっていない場合には、所定の条件を満たさないと判定する。
ステップS1503において、所定の条件を満たさないと判定した場合には、ステップS1505に進む。一方、ステップS1503において、所定の条件を満たすと判定した場合には、ステップS1504に進む。
ステップS1504において、3辺組合せ部860は、所定の条件を満たすと判定した2辺候補(読み出した2辺候補と他の2辺候補)を組み合わせて3辺候補を生成し、ステップS1505に進む。
ステップS1505において、3辺組合せ部860は、ベッド領域候補情報700に記録されている全ての2辺候補について、同様の処理を実行したか否かを判断する。ステップS1505において、まだ処理を実行していない2辺候補があると判断した場合には、ステップS1501に戻る。
一方、全ての2辺候補について処理を実行したと判断した場合には、ステップS1506に進む。ステップS1506において、3辺組合せ部860は、ステップS1504において生成した3辺候補を、ベッド領域候補情報700の"第3階層"に記録する。
図16は、3辺候補の一例を示す図である。図16(a)は、読み出した2辺候補1601と他の2辺候補1602とが、コの字形状を形成する関係になっており、組み合わせることで3辺候補が生成可能であることを示している。
同様に、図16(b)も、読み出した2辺候補1611と他の2辺候補1612とが、コの字形状を形成する関係になっており、組み合わせることで3辺候補が生成可能であることを示している。
一方、図16(c)は、読み出した2辺候補1601と他の2辺候補1612とが、コの字形状を形成する関係になっておらず(互い違いの関係になっている)場合を示している。この場合、2辺候補1601と他の2辺候補1612とが組み合わされて3辺候補が生成されることはない。
このため、図16の例では、2辺候補1601と1602の組み合わせ、及び、2辺候補1611と1612の組み合わせが、それぞれ3辺候補としてベッド領域候補情報700に記録される。一方、2辺候補1601と1612の組み合わせは、ベッド領域候補情報700には記録されない。
次に、第3階層処理(ステップS909)について詳説する。図17は、第3階層処理のフローチャートである。
ステップS1701において、両端2辺角度・幅判定部871は、ベッド領域候補情報700に記録された3辺候補を順次読み出す。
ステップS1702において、両端2辺角度・幅判定部871は、ステップS1701において読み出した3辺候補の両端2辺のなす角度(交差するエッジの角度)を算出する。ステップS1703において、両端2辺角度・幅判定部871は、ステップS1702において算出した角度が、所定の角度範囲内(θ5以上θ6未満)にあるか否かを判定する。
ステップS1703において、所定の角度範囲内にないと判定した場合には、ステップS1709に進む。ステップS1709において、両端2辺角度・幅判定部871は、読み出した3辺候補がベッド領域140を形成しえない3辺候補であると判定する。ステップS1710において、両端2辺角度・幅判定部871は、読み出した3辺候補をベッド領域候補情報700から削除する。
一方、ステップS1703において、所定の角度範囲内にあると判定した場合には、ステップS1704に進む。ステップS1704において、両端2辺角度・幅判定部871は、3辺候補の両端2辺の幅を算出する。ステップS1705において、両端2辺角度・幅判定部871は、3辺候補の両端2辺の幅が、所定の長さ以上(L2以上)であるか否かを判定する。
ステップS1705において、所定の長さ未満であると判定した場合には、ステップS1709に進む。ステップS1709において、両端2辺角度・幅判定部871は、読み出した3辺候補がベッド領域140を形成しえない3辺候補であると判定する。ステップS1710において、両端2辺角度・幅判定部871は、読み出した3辺候補をベッド領域候補情報700から削除する。
一方、ステップS1705において、所定の長さ以上であると判定した場合には、ステップS1706に進む。ステップS1706において、輝度変化判定部872は、nフレーム目の撮影画像より、3辺候補の周辺の輝度情報を取得する。
ステップS1707において、輝度変化判定部872は、ステップS1706において取得した輝度情報に基づいて、3辺候補の両端2辺の周辺の輝度分布が所定の条件を満たすか否かを判定する。
ステップS1707において、輝度分布が所定の条件を満たさないと判定した場合には、ステップS1709に進む。ステップS1709において、輝度変化判定部872は、当該3辺候補がベッド領域140を形成しえない3辺候補であると判定する。ステップS1710において、輝度変化判定部872は、当該3辺候補をベッド領域候補情報700から削除する。
一方、ステップS1707において、輝度分布が所定の条件を満たすと判定した場合には、ステップS1708に進む。ステップS1708において、輝度変化判定部872は、当該3辺候補が、ベッド領域140を形成しうる3辺候補であると判定する。
ステップS1711において、両端2辺角度・幅判定部871は、全ての3辺候補について第3階層処理を実行したか否かを判断する。ステップS1711において、第3階層処理を実行していない3辺候補があると判断した場合には、ステップS1701に戻り、次の3辺候補を読み出す。
一方、ステップS1711において、全ての3辺候補について第3階層処理を実行したと判断した場合には、第3階層処理を終了する。
次に、第3階層処理(図17)のステップS1708において、輝度変化判定部872が判定する輝度分布について図18、図19を用いて説明する。図18、図19は、3辺候補周辺の輝度分布を説明する図である。
図18(a)に示すように、3辺候補1800は、両端2辺1801、1802と、両端2辺1801、1802の端部に接続された真ん中の1辺1803とを有する。なお、線分1810は、真ん中の1辺1803の中点を通り、真ん中の1辺1803に直交する線分である。輝度変化判定部872では、線分1810から矢印1821方向(辺1801の方向)に直線1820上を移動した場合のnフレーム目の撮影画像における輝度変化を検出する。また、輝度変化判定部872では、線分1810から矢印1822方向(辺1802の方向)に直線1820上を移動した場合のnフレーム目の撮影画像における輝度変化を検出する。
図18(b)、(c)、図19(a)、(b)は、輝度変化の一例を示す図である。このうち、図18(b)の例は、3辺候補1800の両端2辺1801、1802が、ベッド110の端部と一致していた場合の輝度変化を示している。ベッド110は輝度値が高いのに対して、床面は輝度値が低いため、図18(b)に示すように、線分1810の位置から矢印1821方向に移動した場合、輝度値は、辺1801の位置を境に、高輝度値から低輝度値へと変化する。同様に、線分1810の位置から矢印1822方向に移動した場合、輝度値は、辺1802の位置を境に、高輝度値から低輝度値へと変化する。
図18(c)の例は、3辺候補1800の両端2辺1801、1802が、枕211の端部と一致していた場合の輝度変化を示している。枕211は輝度値が高く、また、ベッド110も輝度値が高い。このため、図18(c)に示すように、線分1810の位置から矢印1821方向に移動しても、輝度値は、辺1801の位置の前後で変化しない(高輝度値のままである)。同様に、線分1810の位置から矢印1822方向に移動しても、輝度値は、辺1802の位置の前後で変化しない(高輝度値のままである)。
図19(a)の例は、3辺候補1800の両端2辺1801、1802のうち、一方が、椅子222の端部と一致し、他方がベッド110の端部と一致していた場合の輝度変化を示している。ベッド110及び椅子222は輝度値が高いのに対して、床面は輝度値が低い。このため、図19(a)に示すように、線分1810の位置から矢印1821方向に移動した場合、輝度値は、高輝度値から低輝度値へと変化した後、辺1801の位置を境に低輝度値から高輝度値へと変化する。一方、線分1810の位置から矢印1822方向に移動した場合、輝度値は、辺1802の位置を境に、高輝度値から低輝度値へと変化する。
図19(b)の例は、3辺候補1800の両端2辺1801、1802が、ベッド110の端部と一致しているが、ベッド110周辺の照度が充分でなかった場合の輝度変化を示している。ベッド110上の枕211の位置は輝度値が高いのに対して、ベッド110はやや輝度値が低く、床面は更に輝度値が低くなっている。このため、図19(b)に示すように線分1810の位置から矢印1821方向に移動した場合、輝度値は、(辺1801の位置とは無関係ではあるが)高輝度値から低輝度値へと変化する。同様に、線分1810の位置から矢印1822方向に移動した場合、輝度値は、(辺1802の位置とは無関係ではあるが)高輝度値から低輝度値へと変化する。
このように、図18(a)において規定された方向で、3辺候補の両端2辺の周辺の輝度変化を検出した場合、図18(b)、(c)、図19(a)、(b)の例から以下のことがわかる。
・3辺候補1800の両端2辺1801、1802が、ベッド110の端部と一致している場合、ベッド110周辺の照度に関わらず、両端2辺1801、1802の前後で、輝度値は高輝度値から低輝度値へと変化する。
・3辺候補1800の両端2辺1801、1802のうちの一方の辺または両方の辺が、ベッド110の端部と一致していない場合、両端2辺1801、1802の前後で、輝度値が高輝度値から低輝度値へと変化することはない。
したがって、輝度変化判定部872は、3辺候補の両端2辺の周辺の輝度分布の上記一様性に基づいて、3辺候補がベッド領域140を形成しうる3辺候補であるか否かを判定することができる。これにより、例えば、枕211の一部や椅子222の一部を3辺候補として抽出していた場合であっても、当該3辺候補をベッド領域140を形成しえない3辺候補と判定して削除することができる。
次に、4辺候補の生成処理(ステップS910)について詳説する。図20は、4辺候補の生成処理のフローチャートである。
ステップS2001において、4辺組合せ部880は、ベッド領域候補情報700に記録された3辺候補を順次読み出す。ステップS2002において、4辺組合せ部880は、読み出した3辺候補と、他の3辺候補とを組み合わせる。なお、他の3辺候補とは、ベッド領域候補情報700に記録された3辺候補のうち、読み出した3辺候補以外の全ての3辺候補を指す。4辺組合せ部880は、3辺候補(コの字形状)と他の3辺候補(コの字形状)の開口部が互いに向き合う位置関係にある場合に組み合わせる。
ステップS2003において、4辺組合せ部880は、組み合わせた際に撮影画像上において下側に位置する3辺候補の両端2辺の幅と、上側に位置する3辺候補の両端2辺の幅とを比較する。比較の結果、下側に位置する3辺候補の両端2辺の幅よりも上側に位置する3辺候補の両端2辺の幅の方が大きいと判定した場合には、ステップS2006に進む。
一方、下側に位置する3辺候補の両端2辺の幅の方が、上側に位置する3辺候補の両端2辺の幅よりも大きいと判定した場合には、ステップS2004に進む。ステップS2004において、4辺組合せ部880は、下側に位置する3辺候補の両端2辺と、上側に位置する3辺候補の両端2辺とが、それぞれ同じ線上に位置するか否かを判定する。
ステップS2004において、同じ線上に位置しないと判定した場合には、ステップS2006に進む。一方、同じ線上に位置すると判定した場合には、ステップS2005に進む。
ステップS2005において、4辺組合せ部880は、読み出した3辺候補と、他の3辺候補とを組み合わせて4辺候補を生成する。つまり、ステップS2003及びステップS2004の条件に合致する3辺候補の組み合わせにより4辺候補を生成して、合致しない3辺候補の組み合わせについては4辺候補を生成しない。
ステップS2006において、4辺組合せ部880は、ベッド領域候補情報700に記録されている全ての3辺候補について判定を行ったか否かを判断する。ステップS2006において、判定を行っていない3辺候補があると判断した場合には、ステップS2001に戻り、次の3辺候補を読み出す。
一方、ステップS2006において、全ての3辺候補について判定を行ったと判断した場合には、ステップS2007に進む。ステップS2007において、4辺組合せ部880は、ステップS2005において生成された4辺候補を、ベッド領域候補情報700の"第4階層"に記録する。
次に、4辺組合せ部880による4辺候補の生成処理の具体例について、図21を用いて説明する。図21は、3辺候補の組み合わせを説明する図である。図21(a)は、3辺候補2101と3辺候補2102とを組み合わせた場合を示している。
図21(a)の例では、下側に位置する3辺候補2102の両端2辺の幅Waが、上側に位置する3辺候補2101の両端2辺の幅Wbよりも大きい。また、下側に位置する3辺候補2102の両端2辺と、上側に位置する3辺候補2101の両端2辺とが、それぞれ同じ線上に位置している。このため、4辺組合せ部880では、3辺候補2101と3辺候補2102とを組み合わせて4辺候補を生成する。
一方、図21(b)は、3辺候補2111と3辺候補2112とを組み合わせた場合を示している。図21(b)の例では、下側に位置する3辺候補2112の両端2辺の幅Waよりも、上側に位置する3辺候補2111の両端2辺の幅Wbの方が大きい。ベッド領域140は長方形であるため、撮影画像上では、撮像装置120に近い方(撮影画像の下側)の幅が大きく、撮像装置120から遠い方(撮影画像の上側)の幅が小さくなる。したがって、下側に位置する3辺候補の両端2辺の幅よりも、上側に位置する3辺候補の両端2辺の幅の方が大きくなる3辺候補の組み合わせは、ベッド領域140を形成しえない。このため、4辺組合せ部880では、3辺候補2111と3辺候補2112との組み合わせによる4辺候補は生成しない。
図21(c)は、3辺候補2120と3辺候補2130とを組み合わせた場合を示してている。図21(c)の例では、下側に位置する3辺候補2120の両端2辺2121、2122の幅の方が、上側に位置する3辺候補2130の両端2辺2131、2132の幅よりも大きい。しかしながら、下側に位置する3辺候補2120の両端2辺2121、2122と、上側に位置する3辺候補2130の両端2辺2131、2132とは同じ線上に位置していない。このため、4辺組合せ部880では、3辺候補2120と3辺候補2130との組み合わせによる4辺候補は生成しない。
次に、第4階層処理(ステップS911)について詳説する。図22は、第4階層処理のフローチャートである。
ステップS2201において、面積・縦横比判定部891は、ベッド領域候補情報700に記録された4辺候補を順次読み出す。
ステップS2202において、面積・縦横比判定部891は、読み出した4辺候補により規定される矩形領域の面積を算出する。ステップS2203において、面積・縦横比判定部891は、ステップS2202において算出した面積が、所定の範囲内(S1以上S2未満)にあるか否かを判定する。
ステップS2202において所定の範囲にないと判定した場合には、ステップS2211に進む。ステップS2211において、面積・縦横比判定部891は、読み出した4辺候補が、ベッド領域140を形成しえない4辺候補であると判定する。更に、ステップS2212において、面積・縦横比判定部891は、読み出した4辺候補を、ベッド領域候補情報700から削除する。
一方、ステップS2203において所定の範囲に含まれると判定した場合には、ステップS2204に進む。ステップS2204において、面積・縦横比判定部891は、読み出した4辺候補により規定される矩形領域の縦横比を算出する。ステップS2205において、面積・縦横比判定部891は、ステップS2204において算出した縦横比が、所定の範囲内(R1以上R2未満)にあるか否かを判定する。
ステップS2205において所定の範囲内にないと判定した場合には、ステップS2211に進む。ステップS2211において、面積・縦横比判定部891は、読み出した4辺候補が、ベッド領域140を形成しえない4辺候補であると判定する。更に、ステップS2212において、面積・縦横比判定部891は、読み出した4辺候補を、ベッド領域候補情報700から削除する。
一方、ステップS2205において所定の範囲内にあると判定した場合には、ステップS2206に進む。ステップS2206において、頭部位置・向き判定部892は、nフレーム目の撮影画像より、見守り対象者200の顔を検出し、検出した顔の向き及び位置を算出する。
ステップS2207において、頭部位置・向き判定部892は、ステップS2206において検出した見守り対象者200の顔の向きが正しい向きか否かを判定する。見守り対象者200がベッド110に横臥している場合、撮像装置120に近い方(撮影画像の下側)に頭頂部が位置する。このため、ステップS2206において検出した顔が、撮影画像の下側に頭頂部が位置するように配置されていない場合には、当該検出した顔が、見守り対象者200以外の者の顔(例えば、ケア実行者223の顔)である可能性が高い。
したがって、ステップS2207において、顔の向きが正しい向きでないと判定した場合には、ステップS2206に戻り、再度、見守り対象者200の顔を検出する。一方、ステップS2207において、顔の向きが正しい向きであると判定した場合には、ステップS2208に進む。
ステップS2208において、頭部位置・向き判定部892は、読み出した4辺候補により規定される矩形領域内の所定の領域に、ステップS2206において検出した顔が位置しているか否かを判定する。読み出した4辺候補がベッド領域140と合致しているとすれば、見守り対象者200の顔は、4辺候補により規定される矩形領域の下側(撮像装置120に近い側)の領域に位置しているはずである。
ステップS2208において、所定の領域に位置していないと判定した場合には、ステップS2211に進む。ステップS2211において、頭部位置・向き判定部892は、読み出した4辺候補が、ベッド領域140を形成しえない4辺候補であると判定する。更に、ステップS2212において、頭部位置・向き判定部892は、読み出した4辺候補を、ベッド領域候補情報700から削除する。
一方、ステップS2208において、所定の領域に位置していると判定した場合には、ステップS2209に進む。ステップS2209において、頭部位置・向き判定部892は、ステップS2206において検出した顔の向きに基づく縦横の関係と、読み出した4辺候補により規定される矩形領域の縦横比に基づく縦横の関係とが一致しているか否かを判定する。ベッド領域140は長方形であるため、読み出した4辺候補がベッド領域140と合致しているとすれば、読み出した4辺候補の長辺に沿うように見守り対象者200の顔が向いているはずである。
ステップS2209において一致していないと判定した場合には、ステップS2211に進む。ステップS2211において、頭部位置・向き判定部892は、読み出した4辺候補が、ベッド領域140を形成しえない4辺候補であると判定する。更に、ステップS2212において、頭部位置・向き判定部892は、読み出した4辺候補を、ベッド領域候補情報700から削除する。
一方、ステップS2209において一致すると判定した場合には、ステップS2210に進む。ステップS2210において、頭部位置・向き判定部892は、読み出した4辺候補がベッド領域140を形成しうる4辺候補であると判定する。
ステップS2213において、面積・縦横比判定部891は、ベッド領域候補情報700に記録された全ての4辺候補について第4階層処理を実行したか否かを判断する。ステップS2213において、第4階層処理を実行していない4辺候補があると判断した場合には、ステップS2201に戻り、次の4辺候補について同様の処理を実行する。
一方、ステップS2213において、全ての4辺候補について第4階層処理を実行したと判断した場合には、ステップS2214に進む。ステップS2214において、頭部位置・向き判定部892は、ベッド領域候補情報700において削除されずに残っている4辺候補を、ベッド領域140として出力する。
次に、第4階層処理部890による第4階層処理の具体例について、図23、図24を用いて説明する。図23は、面積及び縦横比の異なる4辺候補の一例を示す図である。
図23(a)に示すように、第3階層処理において3辺候補2301〜2306が抽出された場合、4辺候補の生成処理では、図23(b−1)から(b−4)の組み合わせが4辺候補として生成される。
このうち、図23(b−1)に示す4辺候補は、面積が所定の範囲内(S1以上S2未満)にない。このため、面積・縦横比判定部891では、当該4辺候補はベッド領域140を形成しえない4辺候補であると判定する。また、図23(b−2)及び(b−4)に示す4辺候補は、縦横比が所定の範囲内(R1以上R2未満)にない。このため、面積・縦横比判定部891では、当該4辺候補はベッド領域140を形成しえない4辺候補であると判定する。
一方、図23(b−3)に示す4辺候補の面積及び縦横比は、ベッド領域140の面積及び縦横比と等しい。このため、面積・縦横比判定部891では、当該4辺候補はベッド領域140を形成しうる4辺候補であると判定する。
なお、図23(b−2)に示す4辺候補は、図2のオーバーヘッドテーブル212を示している。このように、第4階層処理部890によれば、ベッド領域140に存在する、ベッド領域140と誤検出されやすい4辺候補を、面積または縦横比を用いることでベッド領域140を形成しえない4辺候補であると判定することができる。この結果、誤検出されやすい4辺候補を、ベッド領域候補情報700から削除することができる。
図24は、顔の向き、位置、顔の向きと4辺候補の向きとの関係を示す図である。図24(a)は、見守り対象者200の正しい顔の向きと、見守り対象者200以外の者(例えば、ケア実行者223)の顔の向きとを示したものである。
上述したように、見守り対象者200がベッド110に横臥している場合、撮像装置120に近い方に頭頂部が位置する。このため、見守り対象者200の頭頂部は、撮影画像の下側に位置することになる。なお、見守り対象者200は、仰向けに(背中を下側にして)横臥する場合と、横向き(右肩または左肩を下側にして)横臥する場合とがある。このため、図24(a)の例では、見守り対象者200の正しい顔の向きとして、3種類の顔の向きが示されている。
一方、ベッド110に横臥している者以外の者の頭頂部は、撮影画像の上側に位置することとになる。つまり、見守り対象者200以外の者の顔の向きは、見守り対象者200の顔の向きとは異なる顔の向きとなる。図24(a)の例では、見守り対象者200以外の者が、撮像装置120方向を向いた場合を示している。
このように、見守り対象者200と見守り対象者200以外の者とでは、顔の向きが明らかに異なる。このため、頭部位置・向き判定部892では、撮影画像より検出した顔の向きを判定することで、検出した顔が見守り対象者200の顔か、見守り対象者200以外の者の顔かを判定することができる。
図24(b)は、4辺候補2400により規定される矩形領域のうち、見守り対象者200の顔が位置すべき領域2401を示している。上述したように、見守り対象者200がベッド110に横臥している場合、撮像装置120に近い方(撮影画像の下側)に頭頂部が位置する。このため、4辺候補2400により規定される矩形領域のうち、下側の領域が見守り対象者200の顔が位置すべき領域である。頭部位置・向き判定部892では、検出した見守り対象者200の顔が、領域2401内に位置しているか否かを判定することで、4辺候補2400がベッド領域140を形成しうる4辺候補であるか否かを判定することができる。
図24(c)、(d)は、4辺候補2410、2420により規定される矩形領域と、見守り対象者200の顔の位置との関係を示している。図24(c)に示すように、見守り対象者200の顔の一部が、4辺候補2410により規定される矩形領域からはみ出している場合、4辺候補2410はベッド領域140を形成しえない。このため、頭部位置・向き判定部892では、4辺候補2410をベッド領域候補情報700から削除する。
一方、図24(d)に示すように、見守り対象者200の顔が、4辺候補2430により規定される矩形領域の下側の領域に位置し、かつ、はみ出していない場合、4辺候補2420はベッド領域140を形成しうる。このため、頭部位置・向き判定部892では、4辺候補2420をベッド領域140と判定する。
図24(e)は、4辺候補2430により規定される矩形領域の縦横比に基づく縦横の関係と、見守り対象者の顔の向きに基づく縦横の関係とが一致しない場合を示している。図24(e)に示す4辺候補2430の場合、見守り対象者200の顔は、4辺候補2430により規定される矩形領域の下側に位置している。しかしながら、4辺候補2430により規定される矩形領域は、紙面の横方向が長く、紙面の縦方向が短い。一方、見守り対象者200は、撮影画像の下側に頭頂部を向けているため、実際のベッド110の縦方向は、撮影画像の下側から上側に向かう方向であるはずである。これに対して、4辺候補2430により規定される矩形領域の縦方向は、撮影画像の左側から右側に向かう方向となっている。
つまり、図24(e)の場合、4辺候補2430により規定される矩形領域の縦横比に基づく縦横の関係と、見守り対象者の顔の向きに基づく縦横の関係とは一致していない。このため、頭部位置・向き判定部892では、4辺候補2430がベッド領域140を形成しえない4辺候補であると判定し、ベッド領域候補情報700から削除する。
以上の説明から明らかなように、ベッド領域抽出装置310では、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を4階層に分け、各階層の条件に応じて候補を絞り込む。これにより、正確かつ効率的にベッド領域を特定できるようになる。
[第2の実施形態]
上記第1の実施形態では、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を4階層に分けた。これに対して、第2の実施形態では、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を3階層に分ける。以下、第2の実施形態の詳細について説明する。
はじめに、第2の実施形態におけるベッド領域抽出処理の基本原理について説明する。図25は、ベッド領域抽出処理の基本原理を説明する図である。図25に示すように、第2の実施形態では、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を、3階層に分けて行う。
第1階層は、上記第1の実施形態において説明した第1階層と同じであるため、ここでは説明を省略する。第1階層で抽出された1辺候補は、他の2つの1辺候補と所定の条件のもとで組み合わされる。これにより「3辺候補」が生成される。生成された3辺候補は第3階層に入力される。なお、第3階層以降の処理は、上記第1の実施形態において説明した第3階層以降の処理と同じであるため、ここでは説明を省略する。
このように、第2の実施形態では、上記第1の実施形態において説明したベッド領域抽出処理のうち、第2階層における処理を省略し、3階層によりベッド領域を抽出する。
次に、第2の実施形態におけるベッド領域抽出処理について説明する。図26は、ベッド領域抽出処理のフローチャートである。なお、上記第1の実施形態において図9を用いて説明したベッド領域抽出処理と同じ工程については同じ参照番号を付し、ここでは説明を省略する。
図9との相違点は、ステップS2601の3辺候補の生成処理である。第1階層処理部830において第1階層処理が実行されることで1辺候補が抽出されると、ステップS2601において、3辺組合せ部860は、抽出された複数の1辺候補から3つの1辺候補を順次取り出し、所定の条件のもとで3辺候補を生成する。また、生成した3辺候補をベッド領域候補情報700に記録する。これにより、第3階層処理部870は、ベッド領域候補情報700に記録された3辺候補を用いて、第3階層処理(ステップS909)を実行することができる。
このように、第2の実施形態におけるベッド領域抽出処理は、第1階層処理(ステップS905)、第3階層処理(ステップS909)、第4階層処理(ステップS911)を含んでおり、少なくとも、
・複数の撮影画像から、静止しているエッジを1辺候補として抽出する処理、
・1辺候補の組み合わせとして生成される3辺候補の両端2辺のなす角度(交差するエッジの角度)、両端2辺の幅に基づいて、3辺候補を絞り込む処理、
が含まれる。
次に、3辺候補の生成処理(ステップS2601)について詳説する。図27は、3辺候補の生成処理のフローチャートである。
ステップS2701において、3辺組合せ部860は、ベッド領域候補情報700に記録されている1辺候補を順次読み出す。ステップS2702において、3辺組合せ部860は、読み出した1辺候補に対して、他の1辺候補を更に2つ組み合わせて3辺候補を生成する。
ステップS2703において、3辺組合せ部860は、ステップS2702において組み合わされた3つの1辺候補の位置と向きとが、所定の条件を満たすか否かを判定する。なお、ここでいう所定の条件とは、例えば、以下のような条件が挙げられる。
・3つの1辺候補のうち、第1の1辺候補の端部の座標が、第2の1辺候補の端部の座標から所定の距離以内にあること、
・第2の1辺候補の他の端部の座標から、第3の1辺候補の端部の座標が所定の距離以内にあること、
・第1の1辺候補と第3の1辺候補が第2の1辺候補に対して同じ側に位置すること。
ステップS2703において所定の条件を満たさないと判定した場合には、ステップS2705に進む。一方、ステップS2703において所定の条件を満たすと判定した場合には、ステップS1504に進む。
ステップS1504において、3辺組合せ部860は、所定の条件を満たすと判定した3つの1辺候補を組み合わせて3辺候補を生成し、ステップS2705に進む。
ステップS2705において、3辺組合せ部860は、ベッド領域候補情報700に記録されている1辺候補を用いて生成可能なすべての組み合わせ(3つの1辺候補からなる全ての組み合わせ)に対して、判定を行ったか否かを判断する。
ステップS2705において、判定を行っていない組み合わせがあると判断した場合には、ステップS2701に戻る。一方、すべての組み合わせについて判定を行ったと判断した場合には、ステップS1506に進む。ステップS1506において、3辺組合せ部860は、所定の条件を満たすと判定した3つの1辺候補を組み合わせることで生成した3辺候補を、ベッド領域候補情報700の"第3階層"に記録する。
以上の説明から明らかなように、第2の実施形態に係るベッド領域抽出装置310では、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を3階層に分け、各階層の条件に応じて候補を絞り込む。これにより、正確かつ効率的にベッド領域を特定できるようになる。
[第3の実施形態]
上記第1及び第2の実施形態では、第3階層処理において抽出された3辺候補を組み合わせることで4辺候補を生成した。これに対して、第3の実施形態では、既知のベッドの形状(縦横比)を利用して、3辺候補から第4の辺を推定して4辺候補を生成する。以下、第3の実施形態の詳細について説明する。
はじめに、第3の実施形態におけるベッド領域抽出処理の基本原理について説明する。図28は、ベッド領域抽出処理の基本原理を説明する図である。図28に示す第1階層から第3階層は、上記第1の実施形態において図5を用いて説明した第1階層から第3階層と同じである。
第3階層において3辺候補が抽出されると、第4の辺推定部は、抽出された3辺候補ごとに、第4の辺を推定することで4辺候補を生成する。第4の辺を推定するにあたっては、既知のベッド110の形状(縦横比)を利用する。具体的には、3辺候補の両端2辺の幅がベッド110の幅と合致していると仮定し、既知のベッド110の形状(縦横比)から、3辺候補に対する第4の辺の位置及び長さを推定する。4辺組合せ部880では、推定した第4の辺と、3辺候補とを組み合わせて4辺候補を生成し、生成した4辺候補をベッド領域候補情報700の"第4階層"に記録する。
このように、第3の実施形態におけるベッド領域抽出装置310では、3辺候補を組み合わせる処理を省略することができ、簡単な処理で4辺候補を生成することが可能になる。
次に、第3の実施形態におけるベッド領域抽出部の機能構成について説明する。図29は、ベッド領域抽出部の機能構成を示す図である。なお、図29に示す各構成要素のうち、図8の機能構成において示した構成要素を同じ構成要素については、同じ参照番号を付すこととし、ここでは説明を省略する。
図8との相違点は、第4の辺推定部2901と、面積判定部2902と、ベッド形状情報DB2910である。第4の辺推定部2901は、第3階層処理部870において抽出された3辺候補から、第4の辺の位置及び長さを推定する。具体的には、3辺候補の両端2辺の幅と、ベッド形状情報DB2910に格納されたベッド110の縦横比とに基づいて、第4の辺の位置及び長さを推定する。更に、第4の辺推定部2901は、推定した第4の辺と3辺候補とに基づいて4辺候補を生成し、ベッド領域候補情報700に記録する。
面積判定部2902は、ベッド領域候補情報700に記録されている4辺候補のうち、面積が所定の範囲内(S1以上S2未満)に含まれない4辺候補を排除する。なお、第3の実施形態の場合、ベッド領域候補情報700に記録されている4辺候補は、いずれも、縦横比がベッド110の縦横比に合致しているため、縦横比の判定は行われない。
ベッド形状情報DB2910は、ベッド領域抽出システム300が設置される施設(病院や介護施設等)が有する複数のベッドそれぞれのベッド形状に関する情報を管理する。ベッド形状に関する情報には、ベッドの縦横比が含まれる。
図30は、ベッド形状情報の一例を示す図である。なお、ベッド形状情報3000は、ベッド領域抽出システム300が設置される施設ごとに生成され、ベッド形状情報DB2910に格納される。、
図30に示すベッド形状情報3000は、A病院のベッド形状情報であり、情報の項目として"病棟"、"部屋番号"、"ベッドID"、"縦横比"を含む。
"病棟"には、A病院の各病棟の名称が記録される。"部屋番号"には、各病棟の各部屋番号が記録される。"ベッドID"には、各部屋に設置されたベッドを識別するベッドIDが記録される。"縦横比"には、ベッドIDにより特定されるベッドの縦の長さと横の長さとの比率が記録される。
図30の例は、"病棟"=α病棟の"部屋番号"=101号室の各ベッドは、"縦横比"がH1:W1であることを示している。また、"部屋番号"=102号室の各ベッドは、"縦横比"がH2:W2であることを示している。
次に、第3の実施形態におけるベッド領域抽出処理について説明する。図31は、ベッド領域抽出処理のフローチャートである。なお、上記第1の実施形態において図9を用いて説明したベッド領域抽出処理と同じ工程については同じ参照番号を付し、ここでは説明を省略する。
図9との相違点は、ステップS3101の第4の辺の推定処理である。第3階層処理部870において第3階層処理が実行されることで3辺候補が抽出されると、ステップS3101において、第4の辺推定部2901は、ベッド形状情報3000に基づいて第4の辺の位置及び長さを推定する。また、推定した第4の辺と3辺候補とを組み合わせて4辺候補を生成し、ベッド領域候補情報700の"第4階層"に記録する。これにより、第4階層処理部890は、ベッド領域候補情報700に記録された4辺候補を用いて、第4階層処理(ステップS911)を実行することができる。
次に、第4の辺推定処理(ステップS3101)について詳説する。図32は、第4の辺の推定処理のフローチャートである。
ステップS3201において、第4の辺推定部2901は、ベッド領域候補情報700に記録されている3辺候補を順次読み出す。ステップS3202において、第4の辺推定部2901は、ベッド形状情報3000より、ベッド110の縦横比に関する情報を読み出す。
ステップS3203において、第4の辺推定部2901は、ステップS3201において読み出した3辺候補と、ステップS3202において読み出した縦横比に関する情報とに基づいて、読み出した3辺候補についての第4の辺を推定する。
具体的には、第4の辺推定部2901は、読み出した3辺候補の両端2辺の幅と、読み出した縦横比とから、生成しようとしている4辺候補の縦方向の長さを算出する。また、第4の辺推定部2901は、算出した長さにより特定される第4の辺の位置及び長さを算出する。更に、第4の辺推定部2901は、算出した第4の辺の位置及び長さと、3辺候補とを組み合わせることで4辺候補を生成する。
ステップS3204において、第4の辺推定部2901は、ベッド領域候補情報700に記録されている全ての3辺候補について、第4の辺を推定し4辺候補を生成したか否かを判断する。ステップS3204において、第4の辺を推定していない3辺候補があると判断した場合には、ステップS3201に戻り、次の3辺候補を読み出す。
一方、ステップS3204において全ての3辺候補について、4辺候補を生成したと判断した場合には、ステップS3205に進む。ステップS3205において、第4の辺推定部2901は、ステップS3203において生成した4辺候補を、ベッド領域候補情報700の"第4階層"に記録する。
以上の説明から明らかなように、第3の実施形態に係るベッド領域抽出装置310では、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を4階層に分け、各階層の条件に応じて候補を絞り込む。また、第3階層において絞り込まれた3辺候補から4辺候補を生成するにあたり、既知のベッド形状を利用して第4の辺を推定する。これにより、正確かつ効率的にベッド領域を特定できるようになる。
[第4の実施形態]
上記第3の実施形態では、ベッド領域抽出処理を4階層に分けたうえで、第3階層において絞り込まれた3辺候補から4辺候補を生成するにあたり、既知のベッド形状を利用して第4の辺を推定した。これに対して、第4の実施形態では、ベッド領域抽出処理を3階層に分けたうえで、第3階層において絞り込まれた3辺候補から4辺候補を生成するにあたり、既知のベッド形状を利用して第4の辺を推定する。以下、第4の実施形態について説明する。
図33は、ベッド領域抽出処理のフローチャートである。なお、上記第2の実施形態において図26を用いて説明したベッド領域抽出処理と同じ工程については同じ参照番号を付し、ここでは説明を省略する。
図26との相違点は、ステップS3101の第4の辺の推定処理である。第3階層処理部870において第3階層処理が実行されることで3辺候補が抽出されると、ステップS3101において、第4の辺推定部2901は、ベッド形状情報3000に基づいて第4の辺の位置及び長さを推定する。また、推定した第4の辺と3辺候補とを組み合わせて4辺候補を生成し、ベッド領域候補情報700の"第4階層"に記録する。これにより、第4階層処理部890は、ベッド領域候補情報700に記録された4辺候補を用いて、第4階層処理(ステップS911)を実行することができる。
以上の説明から明らかなように、第4の実施形態に係るベッド領域抽出装置310では、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を3階層に分け、各階層の条件に応じて候補を絞り込む。また、第3階層において絞り込まれた3辺候補から4辺候補を生成するにあたり、既知のベッド形状を利用して第4の辺を推定する。これにより、正確かつ効率的にベッド領域を特定できるようになる。
[第5の実施形態]
上記第1乃至第4の実施形態では、ベッド110が固定状態にあると判定された際に撮影されたnフレーム目の撮影画像に基づいて、ベッド領域抽出処理を1回実行するものとした。しかしながら、ベッド領域抽出処理の実行回数は1回に限定されず、ベッド110が固定状態にある間、毎フレーム、ベッド領域抽出処理を実行するようにしてもよい。あるいは、毎フレーム、ベッド領域抽出処理を実行し、ベッド領域として出力される4辺候補が収束した場合に、ベッド領域抽出処理を終了させるようにしてもよい。
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
コンピュータによるベッド領域抽出方法であって、該コンピュータが、
複数の画像から静止している線型エッジを検出し、
検出された前記線型エッジの組み合わせとして形成されるコの字形状における、該線型エッジの長さ及び交差する該線型エッジの角度に基づいて、ベッド領域候補を絞り込む、
ことを特徴とするベッド領域抽出方法。
(付記2)
前記複数の画像から検出される線型エッジは、角度及び長さが所定の条件を満たす線型エッジであることを特徴とする付記1に記載のベッド領域抽出方法。
(付記3)
検出された前記線型エッジの組み合わせとして形成されるL字形状に基づいて、前記ベッド領域候補を絞り込むことを特徴とする付記1に記載のベッド領域抽出方法。
(付記4)
検出された前記線型エッジの組み合わせとして形成されるL字形状における、該線型エッジの水平成分との比較の結果に基づいて、前記ベッド領域候補を絞り込むことを特徴とする付記3に記載のベッド領域抽出方法。
(付記5)
前記コの字形状の開口部が向き合う形で特定される候補領域で、囲われる領域の輝度の一様性及び面積に基づいて、前記ベッド領域候補を絞り込むことを特徴とする付記1または2に記載のベッド領域抽出方法。
(付記6)
前記候補領域は、前記開口部が向き合う前記コの字形状のそれぞれの両端2辺が、同じ線上に位置する場合に特定されることを特徴とする付記5に記載のベッド領域抽出方法。
(付記7)
前記候補領域は、前記開口部が向き合う前記コの字形状のうち、下側に位置する前記コの字形状の両端2辺の幅の方が、上側に位置する前記コの字形状の両端2辺の幅よりも大きい場合に特定されることを特徴とする付記6に記載のベッド領域抽出方法。
(付記8)
前記コの字形状と、ベッドの縦横比とに基づいて特定される候補領域で、囲われる領域の輝度の一様性及び面積に基づいて、前記ベッド領域候補を絞り込むことを特徴とする付記1または2に記載のベッド領域抽出方法。
(付記9)
前記画像に含まれる顔の向き及び位置と、前記候補領域の位置及び縦横比とに基づいて、前記ベッド領域候補を絞り込むことを特徴とする付記5乃至付記8のいずれかの付記に記載のベッド領域抽出方法。
(付記10)
複数の画像から静止している線型エッジを検出する検出部と、
検出された前記線型エッジの組み合わせとして形成されるコの字形状における、該線型エッジの長さ及び交差する該線型エッジの角度に基づいて、ベッド領域候補を絞り込む絞込部と
を有することを特徴とするベッド領域抽出装置。
(付記11)
複数の画像から静止している線型エッジを検出し、
検出された前記線型エッジの組み合わせとして形成されるコの字形状における、該線型エッジの長さ及び交差する該線型エッジの角度に基づいて、ベッド領域候補を絞り込む、
処理をコンピュータに実行させることを特徴とするベッド領域抽出プログラム。
本発明は、具体的に開示された実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。