JP6375920B2 - ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム - Google Patents

ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム Download PDF

Info

Publication number
JP6375920B2
JP6375920B2 JP2014250795A JP2014250795A JP6375920B2 JP 6375920 B2 JP6375920 B2 JP 6375920B2 JP 2014250795 A JP2014250795 A JP 2014250795A JP 2014250795 A JP2014250795 A JP 2014250795A JP 6375920 B2 JP6375920 B2 JP 6375920B2
Authority
JP
Japan
Prior art keywords
bed
candidates
candidate
area
bed area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014250795A
Other languages
English (en)
Other versions
JP2016112040A (ja
Inventor
康貴 岡田
康貴 岡田
村下 君孝
君孝 村下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014250795A priority Critical patent/JP6375920B2/ja
Priority to US14/875,240 priority patent/US9846817B2/en
Priority to CN201510741016.2A priority patent/CN105701494B/zh
Publication of JP2016112040A publication Critical patent/JP2016112040A/ja
Application granted granted Critical
Publication of JP6375920B2 publication Critical patent/JP6375920B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Invalid Beds And Related Equipment (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Alarm Systems (AREA)

Description

本発明は、ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラムに関する。
従来より、病院や介護施設等において、ベッド上に横臥した患者や被介護者等(「見守り対象者」と称す)の動作を、撮像装置を用いて監視するシステムが知られている。更に、このようなシステムを用いて見守り対象者を監視する際に、撮影画像に基づいてベッド領域を抽出する装置が知られている。
しかしながら、病院や介護施設等のベッドは設置位置が固定とは限られず、移動する場合もあることから、撮像装置とベッドとの位置関係を一意に決定することができない。このため、撮像装置とベッドとの位置関係によらずに、撮影画像からベッド領域を抽出することが求められる。
これに対して、例えば、(a)ベッド形状を利用したパターンマッチングを用いてベッド領域を抽出する方法や、(b)撮影領域の線分をベッドの上端、下端、左辺、右辺に分類し、各線分の平均からベッド領域を抽出する方法等がある。
特開2011−103037号公報 特開2005−327244号公報
Panachit Kittipanya-Ngam, Ong Soh Guat, Eng How Lung, "Bed Detection For Monitoring System In Hospital Wards", 34th Annual International Conference of the IEEE EMBS, San Diego, California USA, 28 August-1 September, 2012, p.5887-5890
しかしながら、上記(a)の方法では、線分が断片化し、ベッド以外の線分が大量に抽出されるため、計算量が膨大になる。また、上記(b)の方法では各線分の平均値を利用するため、ベッド領域を正確に抽出することができない。
一つの側面では、正確かつ効率的にベッド領域を特定できるようにすることを目的とする。
一態様によれば、コンピュータによるベッド領域抽出方法であって、該コンピュータが、複数の画像から静止している線型エッジを検出し、検出された前記線型エッジの組み合わせとして形成されるコの字形状における、該線型エッジの長さ及び交差する該線型エッジの角度に基づいて、ベッド領域候補を絞り込むことを特徴とする。
一態様によれば、正確かつ効率的にベッド領域を特定できるようになる。
撮像装置の配置例を示す図である。 撮像装置の撮影領域に含まれるベッド等の配置例を示す図である。 ベッド領域抽出システムのシステム構成を示す図である。 ベッド領域抽出装置のハードウェア構成を示す図である。 ベッド領域抽出処理の基本原理を説明する第1の図である。 フィルタリング条件情報の一例を示す図である。 ベッド領域候補情報の一例を示す図である。 ベッド領域抽出部の機能構成を示す第1の図である。 ベッド領域抽出処理の第1のフローチャートである。 静・動領域判定処理のフローチャートである。 第1階層処理のフローチャートである。 2辺候補の生成処理のフローチャートである。 第2階層処理のフローチャートである。 水平成分と垂直成分を示す図である。 3辺候補の生成処理の第1のフローチャートである。 3辺候補の一例を示す図である。 第3階層処理のフローチャートである。 3辺候補周辺の輝度分布を説明する第1の図である。 3辺候補周辺の輝度分布を説明する第2の図である。 4辺候補の生成処理のフローチャートである。 3辺候補の組み合わせを説明する図である。 第4階層処理のフローチャートである。 面積及び縦横比の異なる4辺候補の一例を示す図である。 顔の向き、位置、顔の向きと4辺候補の向きとの関係を示す図である。 ベッド領域抽出処理の基本原理を説明する第2の図である。 ベッド領域抽出処理の第2のフローチャートである。 3辺候補の生成処理の第2のフローチャートである。 ベッド領域抽出処理の基本原理を説明する第3の図である。 ベッド領域抽出部の機能構成を示す第2の図である。 ベッド形状情報の一例を示す図である。 ベッド領域抽出処理の第3のフローチャートである。 第4の辺の推定処理のフローチャートである。 ベッド領域抽出処理の第4のフローチャートである。
以下、実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
はじめに、ベッド領域の抽出に用いられる撮像装置の配置及び抽出するベッド領域について説明する。図1は、撮像装置の配置例を示す図である。
図1において、ベッド110は、病院や介護施設等において、見守り対象者が横臥する寝具である。なお、ベッド110の脚部にはキャスタ130が設けられている。このため、ベッド110の設置位置は簡単に変えることができる。キャスタ130には、更に、キャスタ130のロック状態を検出するベッド状態取得センサ131が取り付けられている。ベッド状態取得センサ131の出力は、ベッド110が移動状態にあるか固定状態にあるかの判定に用いられる。
撮像装置120は、ベッド110に横臥した見守り対象者を撮影する装置であり、ベッド110の上方に設置される。ベッド領域140は、撮像装置120により撮影された撮影画像に基づいて抽出する領域を示している。
次に、撮像装置120の撮影領域に含まれるベッド等の配置例について説明する。図2は、撮像装置の撮影領域に含まれるベッド等の配置例を示す図である。図2に示すように、撮像装置120の撮影領域には、ベッド110の他に様々な物体が存在する。
例えば、ベッド110上には、見守り対象者200のほか、見守り対象者200が利用する枕211、オーバーヘッドテーブル212、布団213が含まれる。また、ベッド110の周辺には、カーテン221や、椅子222が含まれる。更に、ベッド110の周辺には看護師や介護士等のケア実行者223がいる場合もある。
このように、ベッド110の他に様々な物体が存在する状況のもと、以下に説明するベッド領域抽出システムでは、撮影画像からベッド領域を抽出する。
図3は、ベッド領域抽出システムのシステム構成を示す図である。図3に示すように、ベッド領域抽出システム300は、撮像装置120、ベッド状態取得センサ131、ベッド領域抽出装置310を有する。
撮像装置120、ベッド状態取得センサ131は、図1を用いて説明したとおりであり、いずれも病室等のように、見守り対象者200が横臥しているベッド110が設置された場所に配置される。ベッド領域抽出装置310は、例えば、監視室等のように、見守り対象者200を監視するケア実行者223が常駐する場所に配置される。
なお、撮像装置120及びベッド状態取得センサ131と、ベッド領域抽出装置310とは、ネットワークを介して接続されている。
ベッド領域抽出装置310には、ベッド領域抽出プログラム320がインストールされている。また、ベッド領域抽出装置310には、フィルタリング条件情報データベース(以下、DBと略す)330及びベッド領域候補情報DB340が格納されている。
次に、ベッド領域抽出装置310のハードウェア構成について説明する。図4は、ベッド領域抽出装置のハードウェア構成を示す図である。図4に示すように、ベッド領域抽出装置310は、CPU401、ROM(Read Only Memory)402、RAM(Random Access Memory)403、記憶部404を備える。また、ベッド領域抽出装置310は、ユーザインタフェース部405、通信部406を備える。なお、ベッド領域抽出装置310の各部は、バス407を介して相互に接続されている。
CPU401は、記憶部404に格納された各種プログラム(例えば、ベッド領域抽出プログラム320)を実行するコンピュータである。
ROM402は不揮発性メモリである。ROM402は、記憶部404に格納された各種プログラムをCPU401が実行するために必要な各種プログラム、データ等を格納する。具体的には、BIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラムなどを格納する。
RAM403は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の主記憶装置である。RAM403は、記憶部404に格納された各種プログラムがCPU401によって実行される際に展開される、作業領域として機能する。
記憶部404は、ベッド領域抽出装置310にインストールされた各種プログラムのほか、プログラムを実行する際に用いるデータやプログラムを実行することで生成されるデータ等が記録されたDBを格納する。記憶部404が格納するDBには、例えば、フィルタリング条件情報DB330、ベッド領域候補情報DB340が含まれる。
ユーザインタフェース部405は、ベッド領域抽出装置310に対する各種操作を受け付ける。通信部406は、ベッド領域抽出装置310が撮像装置120やベッド状態取得センサ131との間で通信を行う際に用いられる。
次に、ベッド領域抽出装置310によるベッド領域抽出処理の基本原理について説明する。図5は、ベッド領域抽出処理の基本原理を説明する図である。図5に示すように、ベッド領域抽出装置310では、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を、4階層に分けて行う。
第1階層は、撮影画像から検出したエッジから、ベッド領域を形成しうる辺(線分)を抽出する。以下、ベッド領域を形成しうる辺(線分)を、「1辺候補」と称する。撮影画像から検出されるエッジには様々な線分が含まれているため、第1階層では、ベッド領域を形成しえない辺(線分)を排除し、1辺候補を抽出する。
具体的には、撮影画像から検出されるエッジのうち、所定の角度範囲に含まれないエッジや、動領域に位置するエッジ、直線性が不十分なエッジを排除する。なお、動領域とは、撮影画像に写し出される様々な物体のうち、所定フレーム数の間に動きがあった物体が写し出された領域をいう。ベッド領域抽出処理は、ベッド110が固定状態で実行されるため、動領域に含まれるエッジは、ベッド領域を形成しえない辺といえる。なお、静領域とは、撮影画像の動領域以外の領域であり、撮影画像に写し出される様々な物体のうち、所定フレーム数の間に動きがなかった物体が写し出された領域をいう。
第1階層で抽出された1辺候補は、所定の条件のもとで互いに組み合わされる。これにより2つの1辺候補により形成されるL字形状が生成される。以下、2つの1辺候補を組み合わせて生成されるL字形状を「2辺候補」と称する。生成された2辺候補は第2階層に入力される。
第2階層は、入力された2辺候補から、ベッド領域を形成しうる2辺候補を抽出する。1辺候補を組み合わせることで生成される2辺候補には様々な2辺候補が含まれるため、第2階層では、ベッド領域を形成しえない2辺候補を排除する。
具体的には、入力された2辺候補のうち、2辺のなす角度(交差するエッジの角度)が所定の角度範囲に含まれない2辺候補や、水平面を形成しない辺を含む2辺候補を排除する。なお、水平面とは、ベッド110が設置された床面に平行な面をいう。ベッド領域は、床面に平行な辺により形成されるため、床面に垂直な面を形成する辺が含まれる2辺候補は、ベッド領域を形成しえない2辺候補である。
第2階層で抽出された2辺候補は、所定の条件のもとで互いに組み合わされ、コの字形状が生成される。以下、2つの2辺候補を組み合わせて生成されるコの字形状を「3辺候補」と称する。生成された3辺候補は第3階層に入力される。
第3階層は、入力された3辺候補から、ベッド領域を形成しうる3辺候補を抽出する。2辺候補を組み合わせることで生成される3辺候補には様々な組み合わせの3辺候補が含まれるため、第3階層では、ベッド領域を形成しえない3辺候補を排除する。
具体的には、入力された3辺候補のうち、両端2辺のなす角度(交差するエッジの角度)が所定の角度範囲に含まれない3辺候補や、両端2辺の間の幅が所定の長さ未満の3辺候補を排除する。また、両端2辺の周辺での撮影画像の輝度分布が、所定の輝度分布を有していない3辺候補を排除する。
第3階層で抽出された3辺候補は、所定の条件のもとで互いに組み合わされ、矩形形状が生成される。以下、2つの3辺候補を組み合わせて生成される矩形形状を「4辺候補」と称する。生成された4辺候補は第4階層に入力される。
第4階層は、入力された4辺候補から、ベッド領域を形成しうる4辺候補を抽出する。3辺候補を組み合わせることで生成される4辺候補には様々な組み合わせの4辺候補が含まれるため、第4階層では、ベッド領域を形成しえない4辺候補を排除する。
具体的には、入力された4辺候補のうち、面積が所定の範囲に含まれない4辺候補や、縦横比が所定の範囲に含まれない4辺候補を排除する。また、撮影画像に含まれる見守り対象者200の顔の位置と4辺候補の位置との関係や、顔の向きに基づく縦横の関係と4辺候補の縦横比に基づく縦横の関係とから、ベッド領域を形成しえない4辺候補を排除する。これにより、第4階層からは、ベッド領域140と判定された4辺候補が出力される。
このように、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を、4階層に分けて行うことで、以下のような効果が得られる。
例えば、撮影画像から検出したエッジが100個であったとすると、100個のエッジから求められる4辺の組み合わせは、100C4=(100×99×98×97)/(4×3×2×1)=3921225通りとなる。このため、例えば、従来のように、検出したエッジから4辺の組み合わせを全て求め、それぞれの組み合わせについてパターンマッチングを行おうとすると、計算量が膨大になる。
これに対して、4階層に分け、それぞれの階層でベッド領域を形成しえない候補を排除することで、組み合わせの数を大幅に削減することができる。また、第4階層では、ベッド領域を形成しうる4辺候補を抽出することができるため、従来のようにパターンマッチングを行う必要がない。この結果、ベッド領域抽出装置310によれば、ベッド領域を抽出するにあたり、従来よりも大幅に計算量を削減することができる。
次に、ベッド領域抽出装置310が格納するDB(フィルタリング条件情報DB330、ベッド領域候補情報DB340)について説明する。
まず、フィルタリング条件情報DB330のフィルタリング条件情報について説明する。図6は、フィルタリング条件情報の一例を示す図である。フィルタリング条件情報600は、フィルタリング条件情報DB330に格納され、各階層で候補の絞り込みを行う(フィルタリングする)際の条件を規定する。
フィルタリング条件情報600には情報の項目として、"第1階層"、"第2階層"、"第3階層"、"第4階層"が含まれる。
"第1階層"には、抽出されたエッジから1辺候補を抽出するための条件が規定される。具体的には、抽出されたエッジの角度が所定の角度範囲内(θ以上θ未満)であること、エッジが静領域にあること、エッジの長さが所定の長さ以上(L以上)であること、が規定されている。
"第2階層"には、入力された2辺候補からベッド領域を形成しうる2辺候補を抽出するための条件が規定される。具体的には、2辺候補の各辺のなす角度(交差するエッジの角度)が所定の角度範囲内(θ以上θ未満)であること、2辺候補の各辺がいずれも水平面を形成する水平成分であること、が規定されている。
"第3階層"には、入力された3辺候補からベッド領域を形成しうる3辺候補を抽出するための条件が規定される。具体的には、3辺候補の両端2辺のなす角度(交差するエッジの角度)が所定の角度範囲内(θ以上θ未満)であること、3辺候補の両端2辺の幅が所定の長さ以上(L以上)であること、が規定されている。更に、3辺候補の両端2辺の周辺の撮影画像の輝度分布が、高輝度から低輝度に変化していること、が規定されている。
"第4階層"には、入力された4辺候補からベッド領域を形成しうる4辺候補を抽出するための条件が規定される。具体的には、4辺候補により規定される矩形領域(候補領域)の面積が所定の範囲内(S以上S未満)であること、4辺候補により規定される矩形領域の縦横比が所定の範囲内(R以上R未満)であること、が規定されている。また、撮影画像より抽出される見守り対象者200の顔の位置が、4辺候補により規定される矩形領域内の所定領域に含まれること、顔の向きに基づく縦横の関係が、4辺候補の縦横比に基づく縦横の関係と一致すること、が規定されている。
次に、ベッド領域候補情報DB340のベッド領域候補情報について説明する。図7は、ベッド領域候補情報の一例を示す図である。ベッド領域候補情報700は、ベッド領域候補情報DB340に格納され、各階層で絞り込まれた候補を記録する。
ベッド領域候補情報700には情報の項目として、"第1階層"、"第2階層"、"第3階層"、"第4階層"が含まれる。
"第1階層"には、第1階層において抽出された1辺候補の識別番号が記録される。図7の例は、第1階層に入力されたエッジのうち、識別番号=I、I、I、I、I・・・のエッジが1辺候補として抽出されたことを示している。
"第2階層"には、第2階層において抽出された2辺候補が、1辺候補の識別番号の組み合わせとして記録される。図7の例は、識別番号=Iと識別番号Iの組み合わせからなる2辺候補が抽出されたことを示している。また、識別番号=Iと識別番号=Iの組み合わせからなる2辺候補、識別番号=Iと識別番号=Iの組み合わせからなる2辺候補等が抽出されたことを示している。
"第3階層"には、第3階層において抽出された3辺候補が、1辺候補の識別番号の組み合わせとして記録される。図7の例は、識別番号=I、識別番号=I、識別番号=Iの組み合わせからなる3辺候補、識別番号=I、識別番号=I、識別番号=Iの組み合わせからなる3辺候補等が抽出されたことを示している。
"第4階層"には、第4階層において抽出された4辺候補が、1辺候補の識別番号の組み合わせとして記録される。図7の例は、識別番号=I、識別番号=I、識別番号=I、識別番号=Iの組み合わせからなる4辺候補が抽出されたことを示している。
次に、ベッド領域抽出プログラム320がCPU401により実行されることで、ベッド領域抽出装置310にて実現されるベッド領域抽出部の機能構成について説明する。図8は、ベッド領域抽出部の機能構成を示す図である。
図8に示すように、ベッド領域抽出部800は、画像取得部810、ベッド状態取得部820、第1階層処理部830、2辺組合せ部840、第2階層処理部850、3辺組合せ部860、第3階層処理部870、4辺組合せ部880、第4階層処理部890を含む。
画像取得部810は、撮像装置120が撮影領域を撮影することで得られた撮影画像を、通信部406を介して取得する。また、取得した撮影画像に対してエッジ処理を行い、エッジ(線型エッジ)を抽出する(つまり、画像取得部810は、エッジ検出部としても機能する)。
ベッド状態取得部820は、ベッド状態取得センサ131の出力信号を取得し、ベッド110のキャスタ130がロック状態にあるか否かを判定することで、ベッド110が移動状態にあるか固定状態にあるかを判定する。ロック状態にある場合には、ベッド110が固定状態にあると判定し、ロック状態が解除された場合には、ベッド110が移動状態にあると判定する。
第1階層処理部830は、1辺候補を抽出する(エッジを絞り込む絞込部として機能する)。第1階層処理部830は、静・動領域判定部831、エッジ角度判定部832、直線性判定部833を有する。静・動領域判定部831は、撮影画像の静領域と動領域とを判定する。エッジ角度判定部832は、第1階層に入力されたエッジのうち、静領域にあると判定されたエッジの角度が、所定の角度範囲内(θ以上θ未満)にあるか否かを判定し、所定の角度範囲内にないエッジを排除する。直線性判定部833は、エッジ角度判定部832において所定の角度範囲内にあると判定されたエッジのうち類似するエッジを統合し、統合後のエッジから、所定の長さ以上(L以上)のエッジを1辺候補として抽出する。
2辺組合せ部840は、第1階層処理部830において抽出された1辺候補を所定の条件のもとで組み合わせる。具体的には、1辺候補の端部の位置が、他の1辺候補の端部の位置に対して所定の距離範囲内にある場合に、当該1辺候補と当該他の1辺候補とを組み合わせる。
第2階層処理部850は、2辺組合せ部840において組み合わされることで生成された2辺候補から、ベッド領域を形成しうる2辺候補を抽出する(2辺候補を絞り込む絞込部として機能する)。第2階層処理部850は、2辺角度判定部851、水平面判定部852を有する。
2辺角度判定部851は、2辺組合せ部840において組み合わされることで生成された2辺候補のうち、各辺のなす角度(交差するエッジの角度)が所定の角度範囲内(θ以上θ未満)にない2辺候補を排除する。水平面判定部852は、2辺角度判定部851において排除されなかった2辺候補のうち、各辺の少なくとも一方が水平面を形成していない2辺候補を排除する。なお、第2階層処理部850では、水平面判定部852により排除されなかった2辺候補を3辺組合せ部860に出力する。
3辺組合せ部860は、第2階層処理部850において抽出された2辺候補を所定の条件のもとで組み合わせる。具体的には、2辺候補の位置及び向きが、他の2辺候補の位置及び向きと所定の関係にある場合に、当該2辺候補と当該他の2辺候補とを組み合わせる。
第3階層処理部870は、3辺組合せ部860において組み合わされることで生成された3辺候補から、ベッド領域を形成しうる3辺候補を抽出する(3辺候補を絞り込む絞込部として機能する)。第3階層処理部870は、両端2辺角度・幅判定部871、輝度変化判定部872を有する。
両端2辺角度・幅判定部871は、3辺組合せ部860において組み合わされることで生成された3辺候補のうち、両端2辺のなす角度(交差するエッジの角度)が所定の角度範囲内(θ以上θ未満)にない3辺候補を排除する。また、両端2辺角度・幅判定部871は、両端2辺のなす角度(交差するエッジの角度)が所定の角度範囲内にある3辺候補のうち、両端2辺の幅が所定の長さ未満の(L以上でない)3辺候補を排除する。
輝度変化判定部872は、両端2辺角度・幅判定部871において排除されなかった3辺候補のうち、両端2辺の周辺の輝度分布が、所定の輝度分布を有していない3辺候補を排除する。なお、第3階層処理部870では、輝度変化判定部872により排除されなかった3辺候補を4辺組合せ部880に出力する。
4辺組合せ部880は、第3階層処理部870において抽出された3辺候補を所定の条件のもとで組み合わせる。具体的には、3辺候補が撮影画像上で他の3辺候補よりも下側に位置していた場合であって、当該3辺候補の両端2辺の幅が、他の3辺候補の両端2辺の幅よりも大きい場合に、当該3辺候補と当該他の3辺候補とを組み合わせる。なお、4辺組合せ部880では、当該3辺候補の両端2辺が当該他の3辺候補の両端2辺と、それぞれ同じ線上にあることを条件に、当該3辺候補と当該他の3辺候補とを組み合わせるものとする。
第4階層処理部890は、4辺組合せ部880において組み合わされることで生成された4辺候補から、ベッド領域を形成しうる4辺候補を抽出する(4辺候補を絞り込む絞込部として機能する)。第4階層処理部890は、面積・縦横比判定部891、頭部位置・向き判定部892を有する。
面積・縦横比判定部891は、4辺組合せ部880において組み合わされることで生成された4辺候補のうち、面積が所定の範囲内(S以上S未満)にない4辺候補、縦横比が所定の範囲内(R以上R未満)にない4辺候補を排除する。
頭部位置・向き判定部892は、面積・縦横比判定部891において排除されなかった4辺候補のうち、撮影画像より抽出された見守り対象者200の顔の位置が、所定の領域に含まれない4辺候補を排除する。また、頭部位置・向き判定部892は、顔の位置が所定の領域に含まれる4辺候補のうち、顔の向きに基づく縦横の関係が縦横比に基づく縦横の関係と一致しない4辺候補を排除する。更に、頭部位置・向き判定部892は、顔の向きに基づく縦横の関係に対して、縦横比に基づく縦横の関係が一致する4辺候補をベッド領域と判定して出力する。なお、ベッド領域として出力される4辺候補の出力先は、ベッド領域抽出装置310内の記憶部404であっても、ベッド領域抽出装置310と接続された外部装置であってもよい。
次に、ベッド領域抽出部800によるベッド領域抽出処理について説明する。図9は、ベッド領域抽出処理のフローチャートである。ベッド領域抽出処理が開始すると、ステップS901において、ベッド状態取得部820は、ベッド状態取得センサ131からの出力信号を取得する。
ステップS902において、ベッド状態取得部820は、取得した出力信号に基づいて、ベッド110のキャスタ130がロック状態にあるか否かを判定する。ステップS902において、ロック状態にないと判定した場合には、ベッド110が移動状態にあると判定し、ステップS901に戻る。一方、ロック状態にあると判定した場合には、ベッド110が固定状態にあると判定し、ステップS903に進む。
ステップS903において、画像取得部810は撮影画像を取得し、静・動領域判定部831は、取得された撮影画像に基づいて静・動領域判定処理を実行する。ステップS904において、画像取得部810は、取得した撮影画像に対してエッジ処理を行い、エッジを抽出する。
ステップS905において、第1階層処理部830は第1階層処理を実行することで、1辺候補を抽出する。ステップS906において、2辺組合せ部840は、2辺候補の生成処理を実行することで、抽出された1辺候補に基づいて2辺候補を生成する。
ステップS907において、第2階層処理部850は第2階層処理を実行することで、2辺組合せ部840において生成された2辺候補から、ベッド領域140を形成しうる2辺候補を抽出する。ステップS908において、3辺組合せ部860は、3辺候補の生成処理を実行することで、抽出された2辺候補に基づいて3辺候補を生成する。
ステップS909において、第3階層処理部870は第3階層処理を実行することで、3辺組合せ部860において生成された3辺候補から、ベッド領域140を形成しうる3辺候補を抽出する。ステップS910において、4辺組合せ部880は、4辺候補の生成処理を実行することで、抽出された3辺候補に基づいて4辺候補を生成する。
ステップS911において、第4階層処理部890は第4階層処理を実行することで、4辺組合せ部880において生成された4辺候補から、ベッド領域140を形成しうる4辺候補を抽出する。
ステップS912において、第4階層処理部890は、第4階層処理を実行することで抽出した4辺候補を、ベッド領域として出力する。
次に、ベッド領域抽出処理の各工程(ステップS903、ステップS905〜S911)の詳細について更に説明する。
はじめに、静・動領域判定処理(ステップS903)について詳説する。図10は、静・動領域判定処理のフローチャートである。
ステップS1001において、静・動領域判定部831は、フレームカウンタnに1をセットする。ステップS1002において、画像取得部810は、nフレーム目の撮影画像を取得する。
ステップS1003において、画像取得部810は、(n−1)フレーム目の撮影画像があるか否かを判定する。ステップS1003において、(n−1)フレーム目の撮影画像がないと判定された場合には、ステップS1010に進む。ステップS1010では、フレームカウンタnをインクリメントして、ステップS1002に戻る。一方、ステップS1003において、(n−1)フレーム目の撮影画像があると判定された場合には、ステップS1004に進む。
ステップS1004において、静・動領域判定部831は、nフレーム目の撮影画像と(n−1)フレーム目の撮影画像との差分画像を算出する。ステップS1005において、静・動領域判定部831は、m枚の差分画像が蓄積されたか否かを判定する。
ステップS1005において、m枚の差分画像が蓄積されていないと判定された場合には、ステップS1010に進み、フレームカウンタnをインクリメントした後、ステップS1002に戻る。
一方、ステップS1005において、m枚の差分画像が蓄積されたと判定された場合には、ステップS1006に進む。ステップS1006において、静・動領域判定部831は、m枚の差分画像について各画素の輝度を累積することで、輝度累積画像を算出する。
ステップS1007において、静・動領域判定部831は輝度累積画像に含まれる各領域の輝度累積値が所定の条件を満たすか否かを判定する。具体的には、輝度累積値が所定の閾値以下であると判定された場合には、所定の条件を満たすと判定し、ステップS1008に進む。静止している物体は、フレームごとに輝度値が変わらないため、フレーム間の差分値がゼロとなり、輝度累積値もゼロとなる。このため、輝度累積値が所定の閾値以下である場合、当該領域は静領域と判定できる。
一方、輝度累積値が所定の閾値より大きいと判定された場合には、所定の条件を満たさないと判定し、ステップS1011に進む。動いている物体は、フレームごとに輝度値が変わるため、フレーム間の差分値がゼロとはならず、輝度累積値もゼロ以外の値となる。このため、輝度累積値が所定の閾値より大きい場合、当該領域は動領域と判定できる。
ステップS1008において、静・動領域判定部831は、所定の条件を満たすと判定した領域を静領域と判定する。また、ステップS1011において、静・動領域判定部831は、所定の条件を満たさないと判定した領域を動領域と判定する。
ステップS1009において、静・動領域判定部831は、nフレーム目の撮影画像と、各領域の判定結果とをエッジ角度判定部832に通知する。
次に、第1階層処理(ステップS905)について詳説する。図11は、第1階層処理のフローチャートである。
ステップS1101において、エッジ角度判定部832は、画像取得部810が取得したnフレーム目の撮影画像に対して、画像取得部810がエッジ処理を行うことで抽出されたエッジを順次取得する。
ステップS1102において、エッジ角度判定部832は、取得したエッジの位置が、静領域内にあるか動領域内にあるかを判定する。ステップS1102において、動領域内にあると判定した場合には、ステップS1107に進む。ステップS1107において、エッジ角度判定部832は、当該エッジを1辺候補から除外する。
このように動領域内にあるエッジを1辺候補から除外することで、例えば、ケア実行者223の一部をエッジとして検出したり、カーテン221の一部をエッジとして検出した場合でも、これらのエッジを1辺候補から除外することができる。
一方、ステップS1102において、取得したエッジの位置が、静領域内にあると判定した場合には、ステップS1103に進む。ステップS1103において、エッジ角度判定部832は、静領域内にあると判定したエッジの角度が、所定の角度範囲内(θ以上θ未満)にあるか否かを判定する。ステップS1103において、所定の角度範囲内にないと判定した場合には、ステップS1107に進む。ステップS1107において、エッジ角度判定部832は、当該エッジを1辺候補から除外する。
一方、ステップS1103において、所定の角度範囲内にあると判定した場合には、ステップS1104に進む。ステップS1104において、直線性判定部833は、所定の角度範囲内にあると判定されたエッジのうち、類似するエッジを統合する。これにより、例えば、ベッド110の端部に布団213がかかっており、ベッド110の端部の一部が遮蔽されていた場合であっても、遮蔽区間のエッジを補間することができる。なお、布団213等は凹凸があり、エッジの角度がばらばらとなるため、布団の一部として検出されたエッジが統合されて長さの長いエッジが生成されることはない。
ステップS1105において、直線性判定部833は、統合処理されたエッジの長さが、所定の長さ以上(L以上)か否かを判定する。ステップS1105において、所定の長さ未満であると判定した場合には、ステップS1107に進む。ステップS1107において、直線性判定部833は、当該エッジを1辺候補から除外する。これにより、例えば、布団213の一部がエッジとして検出された場合であっても、これらのエッジを1辺候補から除外することができる。
一方、ステップS1105において、所定の長さ以上と判定した場合には、ステップS1106に進む。ステップS1106において、直線性判定部833は、所定の長さ以上と判定したエッジを1辺候補と判定する。
ステップS1108において、直線性判定部833は、1辺候補と判定したエッジの識別番号を、ベッド領域候補情報700の"第1階層"に記録する。
ステップS1109において、エッジ角度判定部832は、画像取得部810により抽出された全てのエッジについて第1階層処理を実行したか否かを判断する。ステップS1109において、第1階層処理を実行していないエッジがあると判断した場合には、ステップS1101に戻り、次のエッジについて同様の処理を行う。一方、ステップS1109において、全てのエッジについて第1階層処理を実行したと判断した場合には、第1階層処理を終了する。
次に、2辺候補の生成処理(ステップS906)について詳説する。図12は、2辺候補の生成処理のフローチャートである。
ステップS1201において、2辺組合せ部840は、ベッド領域候補情報700に記録された1辺候補を順次読み出す。ステップS1202において、2辺組合せ部840は、読み出した1辺候補の端部の撮影画像上の座標と、他の1辺候補の端部の撮影画像上の座標とを比較する。なお、他の1辺候補とは、ベッド領域候補情報700に記録された1辺候補のうち、読み出した1辺候補以外の全ての1辺候補を指す。
ステップS1203において、2辺組合せ部840は、読み出した1辺候補の端部が、他の1辺候補の端部から所定の距離以内にあるか否かを判定する。ステップS1203において、所定の距離以内にあると判定した場合には、ステップS1204に進む。ステップS1204において、2辺組合せ部840は、読み出した1辺候補と、他の1辺候補とが交差すると判定し、両者を組み合わせて2辺候補(L字形状)を生成した後、ステップS1205に進む。
一方、ステップS1203において、所定の距離以内にないと判定した場合には、直接、ステップS1205に進む。
ステップS1205において、2辺組合せ部840は、全ての1辺候補について判定を行ったか否かを判断する。ステップS1205において、判定を行っていない1辺候補があると判断した場合には、ステップS1201に戻り、次の1辺候補を読み出して同様の処理を行う。
一方、ステップS1205において、全ての1辺候補について判定を行ったと判断した場合には、ステップS1206に進む。ステップS1206において、2辺組合せ部840は、生成した2辺候補をベッド領域候補情報700の"第2階層"に記録する。
次に、第2階層処理(ステップS907)について詳説する。図13は、第2階層処理のフローチャートである。
ステップS1301において、水平面判定部852は、撮影画像に写し出された床面に対する水平成分と垂直成分とを取得する。
ステップS1302において、2辺角度判定部851は、ベッド領域候補情報700に記録された2辺候補を順次読み出す。
ステップS1303において、2辺角度判定部851は、読み出した2辺候補の各辺のなす角度(交差するエッジの角度)が所定の角度範囲内(θ以上θ未満)にあるか否かを判定する。ステップS1303において、所定の角度範囲内にないと判定した場合には、ステップS1307に進む。ステップS1307において、2辺角度判定部851は、読み出した2辺候補がベッド領域140を形成しえない2辺候補であると判定する。ステップS1308において、2辺角度判定部851は、読み出した2辺候補をベッド領域候補情報700から削除する。
一方、ステップS1303において、所定の角度範囲内にあると判定した場合には、ステップS1304に進む。
ステップS1304において、水平面判定部852は、所定の角度範囲内にあると判定した2辺候補の各辺と、床面に対する水平成分及び垂直成分とを比較する。ステップS1305において、水平面判定部852は、2辺候補の各辺が、いずれも水平成分であるか否かを判定する。
ステップS1305において、2辺候補の各辺のいずれか一方または両方が垂直成分であると判定した場合には、ステップS1307に進む。ステップS1307において、水平面判定部852は、読み出した2辺候補がベッド領域140を形成しえない2辺候補であると判定する。ステップS1308において、水平面判定部852は、読み出した2辺候補をベッド領域候補情報700から削除する。
一方、ステップS1305において、2辺候補の各辺が、いずれも水平成分であると判定した場合には、ステップS1306に進む。ステップS1306において、水平面判定部852は、読み出した2辺候補が、ベッド領域140を形成しうる2辺候補であると判定する。
ステップS1309において、2辺角度判定部851は、ベッド領域候補情報700に記録されている全ての2辺候補について、第2階層処理を実行したか否かを判断する。ステップS1309において、第2階層処理を実行していない2辺候補があると判断した場合には、ステップS1302に戻る。
一方、ステップS1309において、全ての2辺候補について第2階層処理を実行したと判断した場合には、第2階層処理を終了する。
図14は、水平成分と垂直成分を示す図である。撮影画像に写し出された床面に対する水平成分1401、1402、垂直成分1403は予め定義されていてもよいし、水平面判定部852がnフレーム目の撮影画像に基づいて算出してもよい。図14の例は、2辺候補1411、1412、1421、1422のうち、2辺候補1411、1412の各辺が、水平成分である場合を示している。また、2辺候補1421、1422の各辺は、一方が水平成分であり他方が垂直成分である場合を示している。
したがって、図14の例によれば、水平面判定部852は、2辺候補1421、1422を、ベッド領域候補情報700から削除する。これにより、例えば、壁やカーテン221の一部が2辺候補として抽出された場合であっても、当該2辺候補を、ベッド領域140を形成しえない2辺候補と判定して削除することができる。
次に、3辺候補の生成処理(ステップS908)について詳説する。図15は、3辺候補の生成処理のフローチャートである。
ステップS1501において、3辺組合せ部860は、ベッド領域候補情報700に記録されている2辺候補を順次読み出す。ステップS1502において、3辺組合せ部860は、読み出した2辺候補を、ベッド領域候補情報700に記録されている他の2辺候補と組み合わせる。なお、他の2辺候補とは、ベッド領域候補情報700に記録されている2辺候補のうち、読み出した2辺候補以外の全ての2辺候補を指す。
ステップS1503において、3辺組合せ部860は、ステップS1501において読み出した2辺候補の位置及び向きと、他の2辺候補の位置及び向きとが所定の条件を満たすか否かを判定する。
具体的には、読み出した2辺候補と他の2辺候補の位置及び向きが、コの字形状を形成する関係になっているか否かを判定する。コの字形状を形成する関係になっている場合には、所定の条件を満たすと判定する。一方、コの字形状を形成する関係になっていない場合には、所定の条件を満たさないと判定する。
ステップS1503において、所定の条件を満たさないと判定した場合には、ステップS1505に進む。一方、ステップS1503において、所定の条件を満たすと判定した場合には、ステップS1504に進む。
ステップS1504において、3辺組合せ部860は、所定の条件を満たすと判定した2辺候補(読み出した2辺候補と他の2辺候補)を組み合わせて3辺候補を生成し、ステップS1505に進む。
ステップS1505において、3辺組合せ部860は、ベッド領域候補情報700に記録されている全ての2辺候補について、同様の処理を実行したか否かを判断する。ステップS1505において、まだ処理を実行していない2辺候補があると判断した場合には、ステップS1501に戻る。
一方、全ての2辺候補について処理を実行したと判断した場合には、ステップS1506に進む。ステップS1506において、3辺組合せ部860は、ステップS1504において生成した3辺候補を、ベッド領域候補情報700の"第3階層"に記録する。
図16は、3辺候補の一例を示す図である。図16(a)は、読み出した2辺候補1601と他の2辺候補1602とが、コの字形状を形成する関係になっており、組み合わせることで3辺候補が生成可能であることを示している。
同様に、図16(b)も、読み出した2辺候補1611と他の2辺候補1612とが、コの字形状を形成する関係になっており、組み合わせることで3辺候補が生成可能であることを示している。
一方、図16(c)は、読み出した2辺候補1601と他の2辺候補1612とが、コの字形状を形成する関係になっておらず(互い違いの関係になっている)場合を示している。この場合、2辺候補1601と他の2辺候補1612とが組み合わされて3辺候補が生成されることはない。
このため、図16の例では、2辺候補1601と1602の組み合わせ、及び、2辺候補1611と1612の組み合わせが、それぞれ3辺候補としてベッド領域候補情報700に記録される。一方、2辺候補1601と1612の組み合わせは、ベッド領域候補情報700には記録されない。
次に、第3階層処理(ステップS909)について詳説する。図17は、第3階層処理のフローチャートである。
ステップS1701において、両端2辺角度・幅判定部871は、ベッド領域候補情報700に記録された3辺候補を順次読み出す。
ステップS1702において、両端2辺角度・幅判定部871は、ステップS1701において読み出した3辺候補の両端2辺のなす角度(交差するエッジの角度)を算出する。ステップS1703において、両端2辺角度・幅判定部871は、ステップS1702において算出した角度が、所定の角度範囲内(θ以上θ未満)にあるか否かを判定する。
ステップS1703において、所定の角度範囲内にないと判定した場合には、ステップS1709に進む。ステップS1709において、両端2辺角度・幅判定部871は、読み出した3辺候補がベッド領域140を形成しえない3辺候補であると判定する。ステップS1710において、両端2辺角度・幅判定部871は、読み出した3辺候補をベッド領域候補情報700から削除する。
一方、ステップS1703において、所定の角度範囲内にあると判定した場合には、ステップS1704に進む。ステップS1704において、両端2辺角度・幅判定部871は、3辺候補の両端2辺の幅を算出する。ステップS1705において、両端2辺角度・幅判定部871は、3辺候補の両端2辺の幅が、所定の長さ以上(L以上)であるか否かを判定する。
ステップS1705において、所定の長さ未満であると判定した場合には、ステップS1709に進む。ステップS1709において、両端2辺角度・幅判定部871は、読み出した3辺候補がベッド領域140を形成しえない3辺候補であると判定する。ステップS1710において、両端2辺角度・幅判定部871は、読み出した3辺候補をベッド領域候補情報700から削除する。
一方、ステップS1705において、所定の長さ以上であると判定した場合には、ステップS1706に進む。ステップS1706において、輝度変化判定部872は、nフレーム目の撮影画像より、3辺候補の周辺の輝度情報を取得する。
ステップS1707において、輝度変化判定部872は、ステップS1706において取得した輝度情報に基づいて、3辺候補の両端2辺の周辺の輝度分布が所定の条件を満たすか否かを判定する。
ステップS1707において、輝度分布が所定の条件を満たさないと判定した場合には、ステップS1709に進む。ステップS1709において、輝度変化判定部872は、当該3辺候補がベッド領域140を形成しえない3辺候補であると判定する。ステップS1710において、輝度変化判定部872は、当該3辺候補をベッド領域候補情報700から削除する。
一方、ステップS1707において、輝度分布が所定の条件を満たすと判定した場合には、ステップS1708に進む。ステップS1708において、輝度変化判定部872は、当該3辺候補が、ベッド領域140を形成しうる3辺候補であると判定する。
ステップS1711において、両端2辺角度・幅判定部871は、全ての3辺候補について第3階層処理を実行したか否かを判断する。ステップS1711において、第3階層処理を実行していない3辺候補があると判断した場合には、ステップS1701に戻り、次の3辺候補を読み出す。
一方、ステップS1711において、全ての3辺候補について第3階層処理を実行したと判断した場合には、第3階層処理を終了する。
次に、第3階層処理(図17)のステップS1708において、輝度変化判定部872が判定する輝度分布について図18、図19を用いて説明する。図18、図19は、3辺候補周辺の輝度分布を説明する図である。
図18(a)に示すように、3辺候補1800は、両端2辺1801、1802と、両端2辺1801、1802の端部に接続された真ん中の1辺1803とを有する。なお、線分1810は、真ん中の1辺1803の中点を通り、真ん中の1辺1803に直交する線分である。輝度変化判定部872では、線分1810から矢印1821方向(辺1801の方向)に直線1820上を移動した場合のnフレーム目の撮影画像における輝度変化を検出する。また、輝度変化判定部872では、線分1810から矢印1822方向(辺1802の方向)に直線1820上を移動した場合のnフレーム目の撮影画像における輝度変化を検出する。
図18(b)、(c)、図19(a)、(b)は、輝度変化の一例を示す図である。このうち、図18(b)の例は、3辺候補1800の両端2辺1801、1802が、ベッド110の端部と一致していた場合の輝度変化を示している。ベッド110は輝度値が高いのに対して、床面は輝度値が低いため、図18(b)に示すように、線分1810の位置から矢印1821方向に移動した場合、輝度値は、辺1801の位置を境に、高輝度値から低輝度値へと変化する。同様に、線分1810の位置から矢印1822方向に移動した場合、輝度値は、辺1802の位置を境に、高輝度値から低輝度値へと変化する。
図18(c)の例は、3辺候補1800の両端2辺1801、1802が、枕211の端部と一致していた場合の輝度変化を示している。枕211は輝度値が高く、また、ベッド110も輝度値が高い。このため、図18(c)に示すように、線分1810の位置から矢印1821方向に移動しても、輝度値は、辺1801の位置の前後で変化しない(高輝度値のままである)。同様に、線分1810の位置から矢印1822方向に移動しても、輝度値は、辺1802の位置の前後で変化しない(高輝度値のままである)。
図19(a)の例は、3辺候補1800の両端2辺1801、1802のうち、一方が、椅子222の端部と一致し、他方がベッド110の端部と一致していた場合の輝度変化を示している。ベッド110及び椅子222は輝度値が高いのに対して、床面は輝度値が低い。このため、図19(a)に示すように、線分1810の位置から矢印1821方向に移動した場合、輝度値は、高輝度値から低輝度値へと変化した後、辺1801の位置を境に低輝度値から高輝度値へと変化する。一方、線分1810の位置から矢印1822方向に移動した場合、輝度値は、辺1802の位置を境に、高輝度値から低輝度値へと変化する。
図19(b)の例は、3辺候補1800の両端2辺1801、1802が、ベッド110の端部と一致しているが、ベッド110周辺の照度が充分でなかった場合の輝度変化を示している。ベッド110上の枕211の位置は輝度値が高いのに対して、ベッド110はやや輝度値が低く、床面は更に輝度値が低くなっている。このため、図19(b)に示すように線分1810の位置から矢印1821方向に移動した場合、輝度値は、(辺1801の位置とは無関係ではあるが)高輝度値から低輝度値へと変化する。同様に、線分1810の位置から矢印1822方向に移動した場合、輝度値は、(辺1802の位置とは無関係ではあるが)高輝度値から低輝度値へと変化する。
このように、図18(a)において規定された方向で、3辺候補の両端2辺の周辺の輝度変化を検出した場合、図18(b)、(c)、図19(a)、(b)の例から以下のことがわかる。
・3辺候補1800の両端2辺1801、1802が、ベッド110の端部と一致している場合、ベッド110周辺の照度に関わらず、両端2辺1801、1802の前後で、輝度値は高輝度値から低輝度値へと変化する。
・3辺候補1800の両端2辺1801、1802のうちの一方の辺または両方の辺が、ベッド110の端部と一致していない場合、両端2辺1801、1802の前後で、輝度値が高輝度値から低輝度値へと変化することはない。
したがって、輝度変化判定部872は、3辺候補の両端2辺の周辺の輝度分布の上記一様性に基づいて、3辺候補がベッド領域140を形成しうる3辺候補であるか否かを判定することができる。これにより、例えば、枕211の一部や椅子222の一部を3辺候補として抽出していた場合であっても、当該3辺候補をベッド領域140を形成しえない3辺候補と判定して削除することができる。
次に、4辺候補の生成処理(ステップS910)について詳説する。図20は、4辺候補の生成処理のフローチャートである。
ステップS2001において、4辺組合せ部880は、ベッド領域候補情報700に記録された3辺候補を順次読み出す。ステップS2002において、4辺組合せ部880は、読み出した3辺候補と、他の3辺候補とを組み合わせる。なお、他の3辺候補とは、ベッド領域候補情報700に記録された3辺候補のうち、読み出した3辺候補以外の全ての3辺候補を指す。4辺組合せ部880は、3辺候補(コの字形状)と他の3辺候補(コの字形状)の開口部が互いに向き合う位置関係にある場合に組み合わせる。
ステップS2003において、4辺組合せ部880は、組み合わせた際に撮影画像上において下側に位置する3辺候補の両端2辺の幅と、上側に位置する3辺候補の両端2辺の幅とを比較する。比較の結果、下側に位置する3辺候補の両端2辺の幅よりも上側に位置する3辺候補の両端2辺の幅の方が大きいと判定した場合には、ステップS2006に進む。
一方、下側に位置する3辺候補の両端2辺の幅の方が、上側に位置する3辺候補の両端2辺の幅よりも大きいと判定した場合には、ステップS2004に進む。ステップS2004において、4辺組合せ部880は、下側に位置する3辺候補の両端2辺と、上側に位置する3辺候補の両端2辺とが、それぞれ同じ線上に位置するか否かを判定する。
ステップS2004において、同じ線上に位置しないと判定した場合には、ステップS2006に進む。一方、同じ線上に位置すると判定した場合には、ステップS2005に進む。
ステップS2005において、4辺組合せ部880は、読み出した3辺候補と、他の3辺候補とを組み合わせて4辺候補を生成する。つまり、ステップS2003及びステップS2004の条件に合致する3辺候補の組み合わせにより4辺候補を生成して、合致しない3辺候補の組み合わせについては4辺候補を生成しない。
ステップS2006において、4辺組合せ部880は、ベッド領域候補情報700に記録されている全ての3辺候補について判定を行ったか否かを判断する。ステップS2006において、判定を行っていない3辺候補があると判断した場合には、ステップS2001に戻り、次の3辺候補を読み出す。
一方、ステップS2006において、全ての3辺候補について判定を行ったと判断した場合には、ステップS2007に進む。ステップS2007において、4辺組合せ部880は、ステップS2005において生成された4辺候補を、ベッド領域候補情報700の"第4階層"に記録する。
次に、4辺組合せ部880による4辺候補の生成処理の具体例について、図21を用いて説明する。図21は、3辺候補の組み合わせを説明する図である。図21(a)は、3辺候補2101と3辺候補2102とを組み合わせた場合を示している。
図21(a)の例では、下側に位置する3辺候補2102の両端2辺の幅Waが、上側に位置する3辺候補2101の両端2辺の幅Wbよりも大きい。また、下側に位置する3辺候補2102の両端2辺と、上側に位置する3辺候補2101の両端2辺とが、それぞれ同じ線上に位置している。このため、4辺組合せ部880では、3辺候補2101と3辺候補2102とを組み合わせて4辺候補を生成する。
一方、図21(b)は、3辺候補2111と3辺候補2112とを組み合わせた場合を示している。図21(b)の例では、下側に位置する3辺候補2112の両端2辺の幅Waよりも、上側に位置する3辺候補2111の両端2辺の幅Wbの方が大きい。ベッド領域140は長方形であるため、撮影画像上では、撮像装置120に近い方(撮影画像の下側)の幅が大きく、撮像装置120から遠い方(撮影画像の上側)の幅が小さくなる。したがって、下側に位置する3辺候補の両端2辺の幅よりも、上側に位置する3辺候補の両端2辺の幅の方が大きくなる3辺候補の組み合わせは、ベッド領域140を形成しえない。このため、4辺組合せ部880では、3辺候補2111と3辺候補2112との組み合わせによる4辺候補は生成しない。
図21(c)は、3辺候補2120と3辺候補2130とを組み合わせた場合を示してている。図21(c)の例では、下側に位置する3辺候補2120の両端2辺2121、2122の幅の方が、上側に位置する3辺候補2130の両端2辺2131、2132の幅よりも大きい。しかしながら、下側に位置する3辺候補2120の両端2辺2121、2122と、上側に位置する3辺候補2130の両端2辺2131、2132とは同じ線上に位置していない。このため、4辺組合せ部880では、3辺候補2120と3辺候補2130との組み合わせによる4辺候補は生成しない。
次に、第4階層処理(ステップS911)について詳説する。図22は、第4階層処理のフローチャートである。
ステップS2201において、面積・縦横比判定部891は、ベッド領域候補情報700に記録された4辺候補を順次読み出す。
ステップS2202において、面積・縦横比判定部891は、読み出した4辺候補により規定される矩形領域の面積を算出する。ステップS2203において、面積・縦横比判定部891は、ステップS2202において算出した面積が、所定の範囲内(S以上S未満)にあるか否かを判定する。
ステップS2202において所定の範囲にないと判定した場合には、ステップS2211に進む。ステップS2211において、面積・縦横比判定部891は、読み出した4辺候補が、ベッド領域140を形成しえない4辺候補であると判定する。更に、ステップS2212において、面積・縦横比判定部891は、読み出した4辺候補を、ベッド領域候補情報700から削除する。
一方、ステップS2203において所定の範囲に含まれると判定した場合には、ステップS2204に進む。ステップS2204において、面積・縦横比判定部891は、読み出した4辺候補により規定される矩形領域の縦横比を算出する。ステップS2205において、面積・縦横比判定部891は、ステップS2204において算出した縦横比が、所定の範囲内(R以上R未満)にあるか否かを判定する。
ステップS2205において所定の範囲内にないと判定した場合には、ステップS2211に進む。ステップS2211において、面積・縦横比判定部891は、読み出した4辺候補が、ベッド領域140を形成しえない4辺候補であると判定する。更に、ステップS2212において、面積・縦横比判定部891は、読み出した4辺候補を、ベッド領域候補情報700から削除する。
一方、ステップS2205において所定の範囲内にあると判定した場合には、ステップS2206に進む。ステップS2206において、頭部位置・向き判定部892は、nフレーム目の撮影画像より、見守り対象者200の顔を検出し、検出した顔の向き及び位置を算出する。
ステップS2207において、頭部位置・向き判定部892は、ステップS2206において検出した見守り対象者200の顔の向きが正しい向きか否かを判定する。見守り対象者200がベッド110に横臥している場合、撮像装置120に近い方(撮影画像の下側)に頭頂部が位置する。このため、ステップS2206において検出した顔が、撮影画像の下側に頭頂部が位置するように配置されていない場合には、当該検出した顔が、見守り対象者200以外の者の顔(例えば、ケア実行者223の顔)である可能性が高い。
したがって、ステップS2207において、顔の向きが正しい向きでないと判定した場合には、ステップS2206に戻り、再度、見守り対象者200の顔を検出する。一方、ステップS2207において、顔の向きが正しい向きであると判定した場合には、ステップS2208に進む。
ステップS2208において、頭部位置・向き判定部892は、読み出した4辺候補により規定される矩形領域内の所定の領域に、ステップS2206において検出した顔が位置しているか否かを判定する。読み出した4辺候補がベッド領域140と合致しているとすれば、見守り対象者200の顔は、4辺候補により規定される矩形領域の下側(撮像装置120に近い側)の領域に位置しているはずである。
ステップS2208において、所定の領域に位置していないと判定した場合には、ステップS2211に進む。ステップS2211において、頭部位置・向き判定部892は、読み出した4辺候補が、ベッド領域140を形成しえない4辺候補であると判定する。更に、ステップS2212において、頭部位置・向き判定部892は、読み出した4辺候補を、ベッド領域候補情報700から削除する。
一方、ステップS2208において、所定の領域に位置していると判定した場合には、ステップS2209に進む。ステップS2209において、頭部位置・向き判定部892は、ステップS2206において検出した顔の向きに基づく縦横の関係と、読み出した4辺候補により規定される矩形領域の縦横比に基づく縦横の関係とが一致しているか否かを判定する。ベッド領域140は長方形であるため、読み出した4辺候補がベッド領域140と合致しているとすれば、読み出した4辺候補の長辺に沿うように見守り対象者200の顔が向いているはずである。
ステップS2209において一致していないと判定した場合には、ステップS2211に進む。ステップS2211において、頭部位置・向き判定部892は、読み出した4辺候補が、ベッド領域140を形成しえない4辺候補であると判定する。更に、ステップS2212において、頭部位置・向き判定部892は、読み出した4辺候補を、ベッド領域候補情報700から削除する。
一方、ステップS2209において一致すると判定した場合には、ステップS2210に進む。ステップS2210において、頭部位置・向き判定部892は、読み出した4辺候補がベッド領域140を形成しうる4辺候補であると判定する。
ステップS2213において、面積・縦横比判定部891は、ベッド領域候補情報700に記録された全ての4辺候補について第4階層処理を実行したか否かを判断する。ステップS2213において、第4階層処理を実行していない4辺候補があると判断した場合には、ステップS2201に戻り、次の4辺候補について同様の処理を実行する。
一方、ステップS2213において、全ての4辺候補について第4階層処理を実行したと判断した場合には、ステップS2214に進む。ステップS2214において、頭部位置・向き判定部892は、ベッド領域候補情報700において削除されずに残っている4辺候補を、ベッド領域140として出力する。
次に、第4階層処理部890による第4階層処理の具体例について、図23、図24を用いて説明する。図23は、面積及び縦横比の異なる4辺候補の一例を示す図である。
図23(a)に示すように、第3階層処理において3辺候補2301〜2306が抽出された場合、4辺候補の生成処理では、図23(b−1)から(b−4)の組み合わせが4辺候補として生成される。
このうち、図23(b−1)に示す4辺候補は、面積が所定の範囲内(S以上S未満)にない。このため、面積・縦横比判定部891では、当該4辺候補はベッド領域140を形成しえない4辺候補であると判定する。また、図23(b−2)及び(b−4)に示す4辺候補は、縦横比が所定の範囲内(R以上R未満)にない。このため、面積・縦横比判定部891では、当該4辺候補はベッド領域140を形成しえない4辺候補であると判定する。
一方、図23(b−3)に示す4辺候補の面積及び縦横比は、ベッド領域140の面積及び縦横比と等しい。このため、面積・縦横比判定部891では、当該4辺候補はベッド領域140を形成しうる4辺候補であると判定する。
なお、図23(b−2)に示す4辺候補は、図2のオーバーヘッドテーブル212を示している。このように、第4階層処理部890によれば、ベッド領域140に存在する、ベッド領域140と誤検出されやすい4辺候補を、面積または縦横比を用いることでベッド領域140を形成しえない4辺候補であると判定することができる。この結果、誤検出されやすい4辺候補を、ベッド領域候補情報700から削除することができる。
図24は、顔の向き、位置、顔の向きと4辺候補の向きとの関係を示す図である。図24(a)は、見守り対象者200の正しい顔の向きと、見守り対象者200以外の者(例えば、ケア実行者223)の顔の向きとを示したものである。
上述したように、見守り対象者200がベッド110に横臥している場合、撮像装置120に近い方に頭頂部が位置する。このため、見守り対象者200の頭頂部は、撮影画像の下側に位置することになる。なお、見守り対象者200は、仰向けに(背中を下側にして)横臥する場合と、横向き(右肩または左肩を下側にして)横臥する場合とがある。このため、図24(a)の例では、見守り対象者200の正しい顔の向きとして、3種類の顔の向きが示されている。
一方、ベッド110に横臥している者以外の者の頭頂部は、撮影画像の上側に位置することとになる。つまり、見守り対象者200以外の者の顔の向きは、見守り対象者200の顔の向きとは異なる顔の向きとなる。図24(a)の例では、見守り対象者200以外の者が、撮像装置120方向を向いた場合を示している。
このように、見守り対象者200と見守り対象者200以外の者とでは、顔の向きが明らかに異なる。このため、頭部位置・向き判定部892では、撮影画像より検出した顔の向きを判定することで、検出した顔が見守り対象者200の顔か、見守り対象者200以外の者の顔かを判定することができる。
図24(b)は、4辺候補2400により規定される矩形領域のうち、見守り対象者200の顔が位置すべき領域2401を示している。上述したように、見守り対象者200がベッド110に横臥している場合、撮像装置120に近い方(撮影画像の下側)に頭頂部が位置する。このため、4辺候補2400により規定される矩形領域のうち、下側の領域が見守り対象者200の顔が位置すべき領域である。頭部位置・向き判定部892では、検出した見守り対象者200の顔が、領域2401内に位置しているか否かを判定することで、4辺候補2400がベッド領域140を形成しうる4辺候補であるか否かを判定することができる。
図24(c)、(d)は、4辺候補2410、2420により規定される矩形領域と、見守り対象者200の顔の位置との関係を示している。図24(c)に示すように、見守り対象者200の顔の一部が、4辺候補2410により規定される矩形領域からはみ出している場合、4辺候補2410はベッド領域140を形成しえない。このため、頭部位置・向き判定部892では、4辺候補2410をベッド領域候補情報700から削除する。
一方、図24(d)に示すように、見守り対象者200の顔が、4辺候補2430により規定される矩形領域の下側の領域に位置し、かつ、はみ出していない場合、4辺候補2420はベッド領域140を形成しうる。このため、頭部位置・向き判定部892では、4辺候補2420をベッド領域140と判定する。
図24(e)は、4辺候補2430により規定される矩形領域の縦横比に基づく縦横の関係と、見守り対象者の顔の向きに基づく縦横の関係とが一致しない場合を示している。図24(e)に示す4辺候補2430の場合、見守り対象者200の顔は、4辺候補2430により規定される矩形領域の下側に位置している。しかしながら、4辺候補2430により規定される矩形領域は、紙面の横方向が長く、紙面の縦方向が短い。一方、見守り対象者200は、撮影画像の下側に頭頂部を向けているため、実際のベッド110の縦方向は、撮影画像の下側から上側に向かう方向であるはずである。これに対して、4辺候補2430により規定される矩形領域の縦方向は、撮影画像の左側から右側に向かう方向となっている。
つまり、図24(e)の場合、4辺候補2430により規定される矩形領域の縦横比に基づく縦横の関係と、見守り対象者の顔の向きに基づく縦横の関係とは一致していない。このため、頭部位置・向き判定部892では、4辺候補2430がベッド領域140を形成しえない4辺候補であると判定し、ベッド領域候補情報700から削除する。
以上の説明から明らかなように、ベッド領域抽出装置310では、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を4階層に分け、各階層の条件に応じて候補を絞り込む。これにより、正確かつ効率的にベッド領域を特定できるようになる。
[第2の実施形態]
上記第1の実施形態では、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を4階層に分けた。これに対して、第2の実施形態では、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を3階層に分ける。以下、第2の実施形態の詳細について説明する。
はじめに、第2の実施形態におけるベッド領域抽出処理の基本原理について説明する。図25は、ベッド領域抽出処理の基本原理を説明する図である。図25に示すように、第2の実施形態では、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を、3階層に分けて行う。
第1階層は、上記第1の実施形態において説明した第1階層と同じであるため、ここでは説明を省略する。第1階層で抽出された1辺候補は、他の2つの1辺候補と所定の条件のもとで組み合わされる。これにより「3辺候補」が生成される。生成された3辺候補は第3階層に入力される。なお、第3階層以降の処理は、上記第1の実施形態において説明した第3階層以降の処理と同じであるため、ここでは説明を省略する。
このように、第2の実施形態では、上記第1の実施形態において説明したベッド領域抽出処理のうち、第2階層における処理を省略し、3階層によりベッド領域を抽出する。
次に、第2の実施形態におけるベッド領域抽出処理について説明する。図26は、ベッド領域抽出処理のフローチャートである。なお、上記第1の実施形態において図9を用いて説明したベッド領域抽出処理と同じ工程については同じ参照番号を付し、ここでは説明を省略する。
図9との相違点は、ステップS2601の3辺候補の生成処理である。第1階層処理部830において第1階層処理が実行されることで1辺候補が抽出されると、ステップS2601において、3辺組合せ部860は、抽出された複数の1辺候補から3つの1辺候補を順次取り出し、所定の条件のもとで3辺候補を生成する。また、生成した3辺候補をベッド領域候補情報700に記録する。これにより、第3階層処理部870は、ベッド領域候補情報700に記録された3辺候補を用いて、第3階層処理(ステップS909)を実行することができる。
このように、第2の実施形態におけるベッド領域抽出処理は、第1階層処理(ステップS905)、第3階層処理(ステップS909)、第4階層処理(ステップS911)を含んでおり、少なくとも、
・複数の撮影画像から、静止しているエッジを1辺候補として抽出する処理、
・1辺候補の組み合わせとして生成される3辺候補の両端2辺のなす角度(交差するエッジの角度)、両端2辺の幅に基づいて、3辺候補を絞り込む処理、
が含まれる。
次に、3辺候補の生成処理(ステップS2601)について詳説する。図27は、3辺候補の生成処理のフローチャートである。
ステップS2701において、3辺組合せ部860は、ベッド領域候補情報700に記録されている1辺候補を順次読み出す。ステップS2702において、3辺組合せ部860は、読み出した1辺候補に対して、他の1辺候補を更に2つ組み合わせて3辺候補を生成する。
ステップS2703において、3辺組合せ部860は、ステップS2702において組み合わされた3つの1辺候補の位置と向きとが、所定の条件を満たすか否かを判定する。なお、ここでいう所定の条件とは、例えば、以下のような条件が挙げられる。
・3つの1辺候補のうち、第1の1辺候補の端部の座標が、第2の1辺候補の端部の座標から所定の距離以内にあること、
・第2の1辺候補の他の端部の座標から、第3の1辺候補の端部の座標が所定の距離以内にあること、
・第1の1辺候補と第3の1辺候補が第2の1辺候補に対して同じ側に位置すること。
ステップS2703において所定の条件を満たさないと判定した場合には、ステップS2705に進む。一方、ステップS2703において所定の条件を満たすと判定した場合には、ステップS1504に進む。
ステップS1504において、3辺組合せ部860は、所定の条件を満たすと判定した3つの1辺候補を組み合わせて3辺候補を生成し、ステップS2705に進む。
ステップS2705において、3辺組合せ部860は、ベッド領域候補情報700に記録されている1辺候補を用いて生成可能なすべての組み合わせ(3つの1辺候補からなる全ての組み合わせ)に対して、判定を行ったか否かを判断する。
ステップS2705において、判定を行っていない組み合わせがあると判断した場合には、ステップS2701に戻る。一方、すべての組み合わせについて判定を行ったと判断した場合には、ステップS1506に進む。ステップS1506において、3辺組合せ部860は、所定の条件を満たすと判定した3つの1辺候補を組み合わせることで生成した3辺候補を、ベッド領域候補情報700の"第3階層"に記録する。
以上の説明から明らかなように、第2の実施形態に係るベッド領域抽出装置310では、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を3階層に分け、各階層の条件に応じて候補を絞り込む。これにより、正確かつ効率的にベッド領域を特定できるようになる。
[第3の実施形態]
上記第1及び第2の実施形態では、第3階層処理において抽出された3辺候補を組み合わせることで4辺候補を生成した。これに対して、第3の実施形態では、既知のベッドの形状(縦横比)を利用して、3辺候補から第4の辺を推定して4辺候補を生成する。以下、第3の実施形態の詳細について説明する。
はじめに、第3の実施形態におけるベッド領域抽出処理の基本原理について説明する。図28は、ベッド領域抽出処理の基本原理を説明する図である。図28に示す第1階層から第3階層は、上記第1の実施形態において図5を用いて説明した第1階層から第3階層と同じである。
第3階層において3辺候補が抽出されると、第4の辺推定部は、抽出された3辺候補ごとに、第4の辺を推定することで4辺候補を生成する。第4の辺を推定するにあたっては、既知のベッド110の形状(縦横比)を利用する。具体的には、3辺候補の両端2辺の幅がベッド110の幅と合致していると仮定し、既知のベッド110の形状(縦横比)から、3辺候補に対する第4の辺の位置及び長さを推定する。4辺組合せ部880では、推定した第4の辺と、3辺候補とを組み合わせて4辺候補を生成し、生成した4辺候補をベッド領域候補情報700の"第4階層"に記録する。
このように、第3の実施形態におけるベッド領域抽出装置310では、3辺候補を組み合わせる処理を省略することができ、簡単な処理で4辺候補を生成することが可能になる。
次に、第3の実施形態におけるベッド領域抽出部の機能構成について説明する。図29は、ベッド領域抽出部の機能構成を示す図である。なお、図29に示す各構成要素のうち、図8の機能構成において示した構成要素を同じ構成要素については、同じ参照番号を付すこととし、ここでは説明を省略する。
図8との相違点は、第4の辺推定部2901と、面積判定部2902と、ベッド形状情報DB2910である。第4の辺推定部2901は、第3階層処理部870において抽出された3辺候補から、第4の辺の位置及び長さを推定する。具体的には、3辺候補の両端2辺の幅と、ベッド形状情報DB2910に格納されたベッド110の縦横比とに基づいて、第4の辺の位置及び長さを推定する。更に、第4の辺推定部2901は、推定した第4の辺と3辺候補とに基づいて4辺候補を生成し、ベッド領域候補情報700に記録する。
面積判定部2902は、ベッド領域候補情報700に記録されている4辺候補のうち、面積が所定の範囲内(S以上S未満)に含まれない4辺候補を排除する。なお、第3の実施形態の場合、ベッド領域候補情報700に記録されている4辺候補は、いずれも、縦横比がベッド110の縦横比に合致しているため、縦横比の判定は行われない。
ベッド形状情報DB2910は、ベッド領域抽出システム300が設置される施設(病院や介護施設等)が有する複数のベッドそれぞれのベッド形状に関する情報を管理する。ベッド形状に関する情報には、ベッドの縦横比が含まれる。
図30は、ベッド形状情報の一例を示す図である。なお、ベッド形状情報3000は、ベッド領域抽出システム300が設置される施設ごとに生成され、ベッド形状情報DB2910に格納される。、
図30に示すベッド形状情報3000は、A病院のベッド形状情報であり、情報の項目として"病棟"、"部屋番号"、"ベッドID"、"縦横比"を含む。
"病棟"には、A病院の各病棟の名称が記録される。"部屋番号"には、各病棟の各部屋番号が記録される。"ベッドID"には、各部屋に設置されたベッドを識別するベッドIDが記録される。"縦横比"には、ベッドIDにより特定されるベッドの縦の長さと横の長さとの比率が記録される。
図30の例は、"病棟"=α病棟の"部屋番号"=101号室の各ベッドは、"縦横比"がH1:W1であることを示している。また、"部屋番号"=102号室の各ベッドは、"縦横比"がH2:W2であることを示している。
次に、第3の実施形態におけるベッド領域抽出処理について説明する。図31は、ベッド領域抽出処理のフローチャートである。なお、上記第1の実施形態において図9を用いて説明したベッド領域抽出処理と同じ工程については同じ参照番号を付し、ここでは説明を省略する。
図9との相違点は、ステップS3101の第4の辺の推定処理である。第3階層処理部870において第3階層処理が実行されることで3辺候補が抽出されると、ステップS3101において、第4の辺推定部2901は、ベッド形状情報3000に基づいて第4の辺の位置及び長さを推定する。また、推定した第4の辺と3辺候補とを組み合わせて4辺候補を生成し、ベッド領域候補情報700の"第4階層"に記録する。これにより、第4階層処理部890は、ベッド領域候補情報700に記録された4辺候補を用いて、第4階層処理(ステップS911)を実行することができる。
次に、第4の辺推定処理(ステップS3101)について詳説する。図32は、第4の辺の推定処理のフローチャートである。
ステップS3201において、第4の辺推定部2901は、ベッド領域候補情報700に記録されている3辺候補を順次読み出す。ステップS3202において、第4の辺推定部2901は、ベッド形状情報3000より、ベッド110の縦横比に関する情報を読み出す。
ステップS3203において、第4の辺推定部2901は、ステップS3201において読み出した3辺候補と、ステップS3202において読み出した縦横比に関する情報とに基づいて、読み出した3辺候補についての第4の辺を推定する。
具体的には、第4の辺推定部2901は、読み出した3辺候補の両端2辺の幅と、読み出した縦横比とから、生成しようとしている4辺候補の縦方向の長さを算出する。また、第4の辺推定部2901は、算出した長さにより特定される第4の辺の位置及び長さを算出する。更に、第4の辺推定部2901は、算出した第4の辺の位置及び長さと、3辺候補とを組み合わせることで4辺候補を生成する。
ステップS3204において、第4の辺推定部2901は、ベッド領域候補情報700に記録されている全ての3辺候補について、第4の辺を推定し4辺候補を生成したか否かを判断する。ステップS3204において、第4の辺を推定していない3辺候補があると判断した場合には、ステップS3201に戻り、次の3辺候補を読み出す。
一方、ステップS3204において全ての3辺候補について、4辺候補を生成したと判断した場合には、ステップS3205に進む。ステップS3205において、第4の辺推定部2901は、ステップS3203において生成した4辺候補を、ベッド領域候補情報700の"第4階層"に記録する。
以上の説明から明らかなように、第3の実施形態に係るベッド領域抽出装置310では、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を4階層に分け、各階層の条件に応じて候補を絞り込む。また、第3階層において絞り込まれた3辺候補から4辺候補を生成するにあたり、既知のベッド形状を利用して第4の辺を推定する。これにより、正確かつ効率的にベッド領域を特定できるようになる。
[第4の実施形態]
上記第3の実施形態では、ベッド領域抽出処理を4階層に分けたうえで、第3階層において絞り込まれた3辺候補から4辺候補を生成するにあたり、既知のベッド形状を利用して第4の辺を推定した。これに対して、第4の実施形態では、ベッド領域抽出処理を3階層に分けたうえで、第3階層において絞り込まれた3辺候補から4辺候補を生成するにあたり、既知のベッド形状を利用して第4の辺を推定する。以下、第4の実施形態について説明する。
図33は、ベッド領域抽出処理のフローチャートである。なお、上記第2の実施形態において図26を用いて説明したベッド領域抽出処理と同じ工程については同じ参照番号を付し、ここでは説明を省略する。
図26との相違点は、ステップS3101の第4の辺の推定処理である。第3階層処理部870において第3階層処理が実行されることで3辺候補が抽出されると、ステップS3101において、第4の辺推定部2901は、ベッド形状情報3000に基づいて第4の辺の位置及び長さを推定する。また、推定した第4の辺と3辺候補とを組み合わせて4辺候補を生成し、ベッド領域候補情報700の"第4階層"に記録する。これにより、第4階層処理部890は、ベッド領域候補情報700に記録された4辺候補を用いて、第4階層処理(ステップS911)を実行することができる。
以上の説明から明らかなように、第4の実施形態に係るベッド領域抽出装置310では、撮影画像から検出したエッジに基づいてベッド領域を抽出する処理を3階層に分け、各階層の条件に応じて候補を絞り込む。また、第3階層において絞り込まれた3辺候補から4辺候補を生成するにあたり、既知のベッド形状を利用して第4の辺を推定する。これにより、正確かつ効率的にベッド領域を特定できるようになる。
[第5の実施形態]
上記第1乃至第4の実施形態では、ベッド110が固定状態にあると判定された際に撮影されたnフレーム目の撮影画像に基づいて、ベッド領域抽出処理を1回実行するものとした。しかしながら、ベッド領域抽出処理の実行回数は1回に限定されず、ベッド110が固定状態にある間、毎フレーム、ベッド領域抽出処理を実行するようにしてもよい。あるいは、毎フレーム、ベッド領域抽出処理を実行し、ベッド領域として出力される4辺候補が収束した場合に、ベッド領域抽出処理を終了させるようにしてもよい。
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
コンピュータによるベッド領域抽出方法であって、該コンピュータが、
複数の画像から静止している線型エッジを検出し、
検出された前記線型エッジの組み合わせとして形成されるコの字形状における、該線型エッジの長さ及び交差する該線型エッジの角度に基づいて、ベッド領域候補を絞り込む、
ことを特徴とするベッド領域抽出方法。
(付記2)
前記複数の画像から検出される線型エッジは、角度及び長さが所定の条件を満たす線型エッジであることを特徴とする付記1に記載のベッド領域抽出方法。
(付記3)
検出された前記線型エッジの組み合わせとして形成されるL字形状に基づいて、前記ベッド領域候補を絞り込むことを特徴とする付記1に記載のベッド領域抽出方法。
(付記4)
検出された前記線型エッジの組み合わせとして形成されるL字形状における、該線型エッジの水平成分との比較の結果に基づいて、前記ベッド領域候補を絞り込むことを特徴とする付記3に記載のベッド領域抽出方法。
(付記5)
前記コの字形状の開口部が向き合う形で特定される候補領域で、囲われる領域の輝度の一様性及び面積に基づいて、前記ベッド領域候補を絞り込むことを特徴とする付記1または2に記載のベッド領域抽出方法。
(付記6)
前記候補領域は、前記開口部が向き合う前記コの字形状のそれぞれの両端2辺が、同じ線上に位置する場合に特定されることを特徴とする付記5に記載のベッド領域抽出方法。
(付記7)
前記候補領域は、前記開口部が向き合う前記コの字形状のうち、下側に位置する前記コの字形状の両端2辺の幅の方が、上側に位置する前記コの字形状の両端2辺の幅よりも大きい場合に特定されることを特徴とする付記6に記載のベッド領域抽出方法。
(付記8)
前記コの字形状と、ベッドの縦横比とに基づいて特定される候補領域で、囲われる領域の輝度の一様性及び面積に基づいて、前記ベッド領域候補を絞り込むことを特徴とする付記1または2に記載のベッド領域抽出方法。
(付記9)
前記画像に含まれる顔の向き及び位置と、前記候補領域の位置及び縦横比とに基づいて、前記ベッド領域候補を絞り込むことを特徴とする付記5乃至付記8のいずれかの付記に記載のベッド領域抽出方法。
(付記10)
複数の画像から静止している線型エッジを検出する検出部と、
検出された前記線型エッジの組み合わせとして形成されるコの字形状における、該線型エッジの長さ及び交差する該線型エッジの角度に基づいて、ベッド領域候補を絞り込む絞込部と
を有することを特徴とするベッド領域抽出装置。
(付記11)
複数の画像から静止している線型エッジを検出し、
検出された前記線型エッジの組み合わせとして形成されるコの字形状における、該線型エッジの長さ及び交差する該線型エッジの角度に基づいて、ベッド領域候補を絞り込む、
処理をコンピュータに実行させることを特徴とするベッド領域抽出プログラム。
本発明は、具体的に開示された実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
110 :ベッド
120 :撮像装置
130 :キャスタ
131 :ベッド状態取得センサ
140 :ベッド領域
300 :ベッド領域抽出システム
310 :ベッド領域抽出装置
320 :ベッド領域抽出プログラム
330 :フィルタリング条件情報DB
340 :ベッド領域候補情報DB
810 :画像取得部
820 :ベッド状態取得部
830 :第1階層処理部
840 :2辺組合せ部
850 :第2階層処理部
860 :3辺組合せ部
870 :第3階層処理部
880 :4辺組合せ部
890 :第4階層処理部
2901 :第4の辺推定部
2910 :ベッド形状情報DB

Claims (5)

  1. コンピュータによるベッド領域抽出方法であって、該コンピュータが、
    複数の画像から静止している線型エッジを検出し、
    検出された前記線型エッジの組み合わせとして形成されるコの字形状における、該線型エッジの長さ及び交差する該線型エッジの角度に基づいて、ベッド領域候補を絞り込む、
    ことを特徴とするベッド領域抽出方法。
  2. 前記コの字形状は、検出された前記線型エッジの組み合わせとして形成されるL字形状を、更に組み合わせることで形成されることを特徴とする請求項1に記載のベッド領域抽出方法。
  3. 前記コの字形状を形成する3辺のうちの両端の2辺の周辺の輝度分布、及び、前記コの字形状の開口部が向き合う形で特定される候補領域面積に基づいて、前記ベッド領域候補を絞り込むことを特徴とする請求項1または2に記載のベッド領域抽出方法。
  4. 複数の画像から静止している線型エッジを検出する検出部と、
    検出された前記線型エッジの組み合わせとして形成されるコの字形状における、該線型エッジの長さ及び交差する該線型エッジの角度に基づいて、ベッド領域候補を絞り込む絞込部と
    を有することを特徴とするベッド領域抽出装置。
  5. 複数の画像から静止している線型エッジを検出し、
    検出された前記線型エッジの組み合わせとして形成されるコの字形状における、該線型エッジの長さ及び交差する該線型エッジの角度に基づいて、ベッド領域候補を絞り込む、
    処理をコンピュータに実行させることを特徴とするベッド領域抽出プログラム。
JP2014250795A 2014-12-11 2014-12-11 ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム Active JP6375920B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014250795A JP6375920B2 (ja) 2014-12-11 2014-12-11 ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム
US14/875,240 US9846817B2 (en) 2014-12-11 2015-10-05 Bed area extraction method, bed area extraction apparatus, and recording medium
CN201510741016.2A CN105701494B (zh) 2014-12-11 2015-11-04 床区域提取方法和床区域提取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014250795A JP6375920B2 (ja) 2014-12-11 2014-12-11 ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム

Publications (2)

Publication Number Publication Date
JP2016112040A JP2016112040A (ja) 2016-06-23
JP6375920B2 true JP6375920B2 (ja) 2018-08-22

Family

ID=56111478

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014250795A Active JP6375920B2 (ja) 2014-12-11 2014-12-11 ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム

Country Status (3)

Country Link
US (1) US9846817B2 (ja)
JP (1) JP6375920B2 (ja)
CN (1) CN105701494B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6613828B2 (ja) * 2015-11-09 2019-12-04 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法
CN106137622A (zh) * 2016-08-08 2016-11-23 李伏林 全***医疗护理平台
JP6866182B2 (ja) * 2017-02-24 2021-04-28 アイホン株式会社 ベッド位置特定装置
JP6635074B2 (ja) 2017-03-02 2020-01-22 オムロン株式会社 見守り支援システム及びその制御方法
JP6406371B2 (ja) * 2017-03-02 2018-10-17 オムロン株式会社 見守り支援システム及びその制御方法
JP7039011B2 (ja) * 2018-02-23 2022-03-22 エイアイビューライフ株式会社 情報処理装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69635101T2 (de) * 1995-11-01 2006-06-01 Canon K.K. Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät
JP3774495B2 (ja) * 1995-11-01 2006-05-17 キヤノン株式会社 画像情報抽出装置および方法
JP2000111316A (ja) * 1998-10-06 2000-04-18 Technol Res Assoc Of Medical & Welfare Apparatus 画像計測認識装置及び一様領域検出装置
US7796801B2 (en) * 1999-08-26 2010-09-14 Nanogeometry Research Inc. Pattern inspection apparatus and method
US7310431B2 (en) * 2002-04-10 2007-12-18 Canesta, Inc. Optical methods for remotely measuring objects
WO2005059811A1 (en) 2003-12-16 2005-06-30 Canon Kabushiki Kaisha Pattern identification method, apparatus, and program
JP4827403B2 (ja) 2003-12-16 2011-11-30 キヤノン株式会社 パターン識別方法及びその装置、そのプログラム
JP5049975B2 (ja) * 2006-09-01 2012-10-17 株式会社森精機製作所 3次元モデルデータ生成方法及び3次元モデルデータ生成装置
JP5227639B2 (ja) * 2008-04-04 2013-07-03 富士フイルム株式会社 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
JP5036624B2 (ja) * 2008-05-20 2012-09-26 株式会社キーエンス 監視エリア設定装置
JP5227888B2 (ja) * 2009-05-21 2013-07-03 富士フイルム株式会社 人物追跡方法、人物追跡装置および人物追跡プログラム
JP5300694B2 (ja) 2009-11-10 2013-09-25 株式会社東芝 検出装置
JP5771778B2 (ja) * 2010-06-30 2015-09-02 パナソニックIpマネジメント株式会社 監視装置、プログラム
JP2012198700A (ja) * 2011-03-18 2012-10-18 Toshiba Corp 光検出装置、及び光検出装置を備える紙葉類処理装置
US20140139616A1 (en) * 2012-01-27 2014-05-22 Intouch Technologies, Inc. Enhanced Diagnostics for a Telepresence Robot

Also Published As

Publication number Publication date
JP2016112040A (ja) 2016-06-23
US9846817B2 (en) 2017-12-19
US20160171337A1 (en) 2016-06-16
CN105701494B (zh) 2020-01-21
CN105701494A (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
JP6375920B2 (ja) ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム
CA2680435C (en) Video fingerprinting
EP2401686B1 (en) Video segmentation
Lin et al. Detection of frame duplication forgery in videos based on spatial and temporal analysis
KR101492180B1 (ko) 비디오 분석
TWI537842B (zh) 人流計數系統
US20110141319A1 (en) Image capturing apparatus and image processing apparatus
Sowmya et al. A survey on video forgery detection
KR101484844B1 (ko) 실시간 영상에 프라이버시 마스킹 툴을 제공하는 장치 및 방법
CN103348380B (zh) 差异区域检测***和差异区域检测方法
US8411902B2 (en) Providing a visual indication of the content of a video by analyzing a likely user intent
JP2009075802A (ja) 人物行動検索装置
Sharma et al. An ontology of digital video forensics: Classification, research gaps & datasets
Singh et al. Optical flow and prediction residual based hybrid forensic system for inter-frame tampering detection
CA3147418A1 (en) Living body detection method and system for human face by using two long-baseline cameras
Li et al. Video copy-move forgery detection and localization based on structural similarity
US9916857B2 (en) Techniques to extract ENF signals from video image sequences exploiting the rolling shutter mechanism; and a new video synchronization approach by matching the ENF signals extracted from soundtracks and image sequences
JP2022117996A (ja) 情報処理装置、データ生成方法、及びプログラム
JP6720618B2 (ja) 情報処理システム、情報処理方法及びプログラム
Sitara et al. Differentiating synthetic and optical zooming for passive video forgery detection: An anti-forensic perspective
JP2007102341A (ja) 自動計数装置
JP4751886B2 (ja) 画像判定方法
JP6485978B2 (ja) 画像処理装置および画像処理システム
CN105141968B (zh) 一种视频同源copy-move篡改检测方法及***
JP2007329788A (ja) 画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180709

R150 Certificate of patent or registration of utility model

Ref document number: 6375920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150