JP6504156B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
JP6504156B2
JP6504156B2 JP2016508564A JP2016508564A JP6504156B2 JP 6504156 B2 JP6504156 B2 JP 6504156B2 JP 2016508564 A JP2016508564 A JP 2016508564A JP 2016508564 A JP2016508564 A JP 2016508564A JP 6504156 B2 JP6504156 B2 JP 6504156B2
Authority
JP
Japan
Prior art keywords
bed
range
designated
user
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016508564A
Other languages
English (en)
Other versions
JPWO2015141268A1 (ja
Inventor
松本 修一
修一 松本
猛 村井
猛 村井
上辻 雅義
雅義 上辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Precision Co Ltd
Original Assignee
Noritsu Precision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Precision Co Ltd filed Critical Noritsu Precision Co Ltd
Publication of JPWO2015141268A1 publication Critical patent/JPWO2015141268A1/ja
Application granted granted Critical
Publication of JP6504156B2 publication Critical patent/JP6504156B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1115Monitoring leaving of a patient support, e.g. a bed or a wheelchair
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/002Monitoring the patient using a local or closed circuit, e.g. in a room or building
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435Displaying user selection data, e.g. icons in a graphical user interface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0476Cameras to detect unsafe condition, e.g. video cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • A61B5/1117Fall detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychology (AREA)
  • Alarm Systems (AREA)
  • Invalid Beds And Related Equipment (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)

Description

本発明は、情報処理装置、情報処理方法、及び、プログラムに関する。
室内斜め上方から室内下方に向けて撮影された画像の境界辺を通過して、床面領域からベッド領域への人体移動を検知することで、入床事象を判断し、ベッド領域から床面領域への人体移動を検知することで、離床事象を判断する技術がある(特許文献1)。
また、ベッドに寝ている患者が起床挙動を行ったことを判定するための見守り領域を、ベッドに就寝している患者を含むベッドの直上の領域に設定して、ベッドの横方向から見守り領域を含む撮影画像の見守り領域に占める患者と思われる画像領域の大きさを示す変動値が、患者がベッドに寝ている状態でカメラから得られた撮影画像の見守り領域に占める患者と思われる画像領域の大きさを示す初期値未満である場合に、患者が起床挙動を行っていると判断する技術がある(特許文献2)。
特開2002−230533号公報 特開2011−005171号公報
近年、入院患者、施設入居者、要介護者等の見守り対象者がベッドから転倒、転落する事故、及び、認知症患者の徘徊による事故が年々増加する傾向にある。このような事故を防止する方法として、例えば、特許文献1及び2で例示されるような、室内に設置した撮影装置(カメラ)で見守り対象者を撮影し、撮影した画像を解析することで、起き上がり、端座位、離床等の見守り対象者の行動を検知する見守りシステムが開発されている。
このような見守りシステムによって見守り対象者のベッドにおける行動を見守る場合、見守りシステムは、例えば、見守り対象者とベッドとの相対的な位置関係に基づいて見守り対象者の各行動を検知する。そのため、見守りを行う環境(以下、「見守り環境」とも称する)が変化することにより、撮影装置とベッドとの位置関係が変わってしまうと、見守りシステムは、見守り対象者の行動を適切に検知できなくなってしまう可能性がある。
これに対応する一つの方法として、見守りシステム内の設定によって、見守り環境に応じてベッドの位置を指定する方法がある。撮影装置とベッドとの位置関係が変わっても、その見守り環境に応じてベッドの位置が適切に設定されることで、見守りシステムは、ベッドの位置を適切に特定することが可能になる。そのため、見守り環境に応じたベッドの位置の設定を受け付けることで、見守りシステムは、見守り対象者とベッドとの相対的な位置関係を特定し、見守り対象者の行動を適切に検知できるようになる。しかしながら、従来、このようなベッドの位置の設定はシステムの管理者によって行われており、見守りシステムについての知識に乏しい利用者がベッドの位置の設定を容易に行うことはできなかった。
本発明は、一側面では、このような点を考慮してなされたものであり、見守り対象者の行動を検知する基準となるベッドの位置に関する設定を容易に行うことを可能にする技術を提供することを目的とする。
本発明は、上述した課題を解決するために、以下の構成を採用する。
すなわち、本発明の一側面に係る情報処理装置は、見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する画像取得部と、取得した前記撮影画像を表示装置に表示する表示制御部と、表示される前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付けて、該指定された範囲を前記ベッド基準面の範囲に設定する設定部と、前記ベッド基準面の指定を前記設定部が受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価部と、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する行動検知部と、を備える。そして、前記表示制御部は、前記ベッド基準面の範囲の指定を前記設定部が受け付けている間に、前記利用者の指定している範囲についての前記評価部による評価結果を前記利用者に提示する。
上記構成によれば、見守り対象者のベッドでの行動を撮影する撮影装置によって取得された撮影画像は、各画素の深度を示す深度情報を含んでいる。各画素の深度は、その各画素に写る対象の深さを示す。そのため、この深度情報を利用することで、見守り対象者とベッドとの実空間内での位置関係を推定し、見守り対象者の行動を検知することが可能である。
そこで、上記構成に係る情報処理装置は、撮影画像内の各画素の深度に基づいて、ベッドの基準面と見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定する。そして、上記構成に係る情報処理装置は、この判定の結果に基づいて、見守り対象者とベッドとの実空間内での位置関係を推定し、見守り対象者のベッドに関連する行動を検知する。
ここで、上記構成では、実空間内でのベッドの位置を特定するために、ベッドの位置に関する設定として、ベッドの基準となるベッド基準面の範囲の設定が行われる。このベッド基準面の範囲の設定が行われている間、上記構成に係る情報処理装置は、利用者の指定している範囲がベッド基準面の範囲として適正か否かを所定の評価条件に基づいて評価し、その評価結果を利用者に提示する。そのため、この情報処理装置の利用者は、撮影画像上で指定している範囲がベッド基準面として適正か否かを確認しながら、ベッド基準面の範囲を設定することができる。よって、上記構成によれば、見守りシステムについての知識に乏しい利用者であっても、見守り対象者の行動を検知する基準となるベッドの位置に関する設定を容易に行うことが可能である。
なお、見守り対象者とは、本発明によりベッドでの行動を見守られる対象者であり、例えば、入院患者、施設入居者、要介護者等である。また、ベッドに関連する行動とは、見守り対象者がベッドを含む空間で行う行動であり、例えば、起き上がり、端座位、柵越え、離床等である。ここで、端座位とは、見守り対象者がベッドの端に腰をかけている状態を指す。柵越えとは、見守り対象者がベッドの柵から身を乗り出している状態を指す。
そして、所定の検知条件は、撮影画像内に写るベッドと見守り対象者との実空間内での位置関係に基づいて見守り対象者の行動が特定できるように設定される条件であり、実施形態に応じて適宜設定されてもよい。また、所定の評価条件は、利用者の指定する範囲がベッド基準面として適正か否かを判定可能なように設定される条件であり、実施の形態に応じて適宜設定されてもよい。
また、上記一側面に係る情報処理装置の別の形態として、上記情報処理装置は、所定の指定条件に基づいてベッド基準面の範囲を繰り返し指定し、該繰り返し指定される範囲を前記評価条件に基づいて評価することで、該繰り返し指定される範囲のうちから該評価条件に最も適合する範囲を前記ベッド基準面の範囲として推定する範囲推定部を更に備えてもよい。そして、前記表示制御部は、前記範囲推定部により推定される範囲が前記撮影画像上で明示されるように、前記表示装置による前記撮影画像の表示を制御してもよい。
当該構成によれば、所定の指定条件に従って繰り返し指定される範囲のうちから評価条件に最も適合する範囲を特定することで、利用者の指定によらず、ベッド基準面の範囲を推定することができる。したがって、ベッド基準面の範囲を利用者が指定する作業を省略することができ、ベッド基準面の設定が更に容易になる。なお、所定の指定条件は、ベッド基準面として適合するか否かを判定する対象となる範囲をベッドの存在し得る領域内で繰り返し設定するための条件であり、実施の形態に応じて適宜設定されてもよい。
また、上記一側面に係る情報処理装置の別の形態として、前記設定部は、前記範囲推定部により推定される範囲を前記撮影画像上で明示した後に、前記ベッド基準面の範囲の指定を利用者から受け付けて、該指定された範囲を前記ベッド基準面の範囲に設定してもよい。当該構成によれば、利用者は、情報処理装置によるベッド基準面の自動検出の結果が示された状態で、ベッド基準面の範囲の指定が可能になる。具体的には、自動検出の結果が誤っている場合には、利用者は、その範囲を微調整してベッド基準面の範囲を設定する。一方、自動検出の結果が正しい場合には、利用者は、その範囲をそのままベッド基準範囲に設定する。したがって、当該構成によれば、利用者は、ベッド基準面の自動検出の結果を利用することで、ベッド基準面の設定を適切かつ容易に行うことができる。
また、上記一側面に係る情報処理装置の別の形態として、前記評価部は、複数個の前記評価条件を利用することで、前記指定の範囲がベッド基準面の範囲に最も適合していることを示すグレードと前記指定の範囲がベッド上面の範囲に最も適合していないことを示すグレードとの間に少なくとも1段階以上のグレードを含む3段階以上のグレードで、前記利用者の指定している範囲を評価してもよい。そして、前記表示制御部は、前記利用者の指定している範囲についての評価結果であって、前記3段階以上のグレードで表現された評価結果、を前記利用者に提示してもよい。当該構成によれば、利用者の指定している範囲についての評価結果が3段階以上のグレードで表現される。そのため、利用者は、指定している範囲の適正具合を段階的に確認することができ、これにより、ベッド基準面の適正な範囲を特定しやすくすることができる。
また、上記一側面に係る情報処理装置の別の形態として、前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部を更に備えてもよい。そして、前記行動検知部は、前記前景領域内の各画素の深度に基づいて特定される前記前景領域に写る対象の実空間内での位置を前記見守り対象者の位置として利用して、実空間内での前記ベッド基準面と前記見守り対象者との位置関係が前記検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知してもよい。
当該構成によれば、背景画像と撮影画像との差分を抽出することで、撮影画像の前景領域が特定される。この前景領域は、背景画像から変化の生じている領域である。そのため、前景領域には、見守り対象者に関連する像として、見守り対象者が動くことで変化の生じた領域、換言すると、見守り対象者の身体部位のうち動いている部位(以下、「動作部位」とも称する)の存在する領域が含まれている。よって、深度情報により示される前景領域内の各画素の深度を参照することで、実空間内における見守り対象者の動作部位の位置を特定することが可能である。
そこで、上記構成に係る情報処理装置は、前景領域内の各画素の深度に基づいて特定される前景領域に写る対象の実空間内での位置を見守り対象者の位置として利用して、ベッドの基準面と見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定する。ここで、この前景領域は、背景画像と撮影画像との差分で抽出可能であり、高度な画像処理を利用しなくても特定することができる。そのため、上記構成によれば、簡易な方法で見守り対象者の行動を検知することができるようになる。なお、この場合、見守り対象者の行動を検知するための所定条件は、前景領域が見守り対象者の行動に関連すると仮定して設定される。
また、上記一側面に係る情報処理装置の別の形態として、前記設定部は、前記ベッド基準面の範囲としてベッド上面の範囲の指定を受け付けてもよい。そして、前記行動検知部は、実空間内での前記ベッド上面と前記見守り対象者との位置関係が前記検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知してもよい。見守り対象者のベッドにおける行動を撮影装置によって撮影する上で、ベッドの上面は、撮影画像内に写り込みやすい場所である。そのため、撮影画像内のベッドの写る領域のうちベッド上面の占める割合は高くなりやすい。このような場所をベッドの基準面とするため、当該構成によれば、ベッドの基準面の設定が容易になる。なお、ベッド上面は、ベッドの垂直方向上側の面であり、例えば、ベッドマットレスの上面である。
また、上記一側面に係る情報処理装置の別の形態として、前記設定部は、前記ベッド上面の高さの指定を受け付けて、該指定される高さを前記ベッド上面の高さに設定してもよい。そして、前記表示制御部は、前記ベッド上面の高さの指定を前記設定部が受け付けている間に、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記ベッド上面の高さとして指定されている高さに位置する対象を写した領域を前記撮影画像上で明示するように、前記表示装置による前記撮影画像の表示を制御してもよい。
当該構成によれば、このベッドの基準面の高さの設定が行われる間、表示装置に表示させる撮影画像上で、利用者により指定されている高さに位置する対象を写した領域が明示される。したがって、この情報処理装置の利用者は、表示装置に表示される撮影画像上で、ベッドの基準面に指定する領域の高さを確認しながら、ベッドの基準面の高さを設定することができる。よって、上記構成によれば、見守りシステムについての知識に乏しい利用者であっても、見守り対象者の行動を検知する基準となるベッドの位置に関する設定を容易に行うことが可能である。
また、上記一側面に係る情報処理装置の別の形態として、前記設定部は、前記ベッド上面の高さを設定する際に又は設定した後に、前記ベッド上面の範囲を特定するために前記ベッド上面内に設定される基準点の位置と前記ベッドの向きとの指定を前記撮影画像内で受け付けて、指定される前記基準点の位置及び前記ベッドの向きに基づいて特定される範囲を前記ベッド上面の実空間内での範囲に設定してもよい。当該構成によれば、ベッド基準面の設定において、容易な操作で範囲を指定することができる。
また、上記一側面に係る情報処理装置の別の形態として、前記設定部は、前記ベッド上面の高さを設定する際に又は設定した後に、ベッド上面の範囲を規定する4つの角のうち2つの角の位置の指定を前記撮影画像内で受け付けて、指定された該2つの角の位置に基づいて特定される範囲を前記ベッド上面の実空間内での範囲に設定してもよい。当該構成によれば、ベッド基準面の設定において、容易な操作で範囲を指定することができる。
また、上記一側面に係る情報処理装置の別の形態として、前記所定の評価条件は、前記利用者の指定している範囲内に前記ベッド上面よりも高さの低い対象の写る画素が含まれていないことを判定するための条件を含んでいてもよい。そして、前記評価部は、前記利用者の指定している範囲内に前記ベッド上面よりも高さの低い対象の写る画素が含まれていないと判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価してもよい。当該構成によれば、利用者の指定する範囲内に写る対象に基づいて、指定範囲の評価を行うことができる。なお、例えば、利用者の指定する範囲により規定される指定面の少なくとも一部がベッド上面からずれることで床が写っている場合に、利用者の指定する範囲内にベッド上面よりも高さの低い対象の写る画素が含まれる。すなわち、このような場合に、利用者の指定する範囲はベッド上面の範囲として不適正と評価される。
また、上記一側面に係る情報処理装置の別の形態として、前記所定の評価条件は、前記実空間内で前記ベッド上面に対する相対的な位置が予め特定されている目印が写っているか否かを判定するための条件を含んでいてもよい。そして、前記評価部は、前記撮影画像に前記目印が写っていると判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価してもよい。当該構成によれば、撮影画像内に写る目印に基づいて、利用者の指定する範囲の評価を行うことができる。なお、目印は、利用者の指定する範囲の評価を行うために特別に設けた物であってもよいし、柵、ヘッドボード等のベッドが一般的に備えている物であってもよい。
また、上記一側面に係る情報処理装置の別の形態として、前記目印には、前記ベッドに設けられる一対の柵及びヘッドボードのうちの少なくとも何れかが含まれてもよい。当該構成によれば、ベッドが一般的に備えている物を目印とするため、利用者の指定する範囲の評価を行うために新たな目印を用意しなくてもよく、見守りシステムのコストを抑えることができる。
また、上記一側面に係る情報処理装置の別の形態として、前記目印には、前記ベッドに設けられる一対の柵及びヘッドボードが含まれてもよい。そして、前記評価部は、前記一対の柵及びヘッドボードのうちの少なくとも何れかの目印については、互いに離間する複数の領域で該目印が写っているか否かを判定してもよい。当該構成によれば、複数の領域で一つの対象物の適正を判定するため、指定の範囲に対する評価の精度を高めることができる。
また、上記一側面に係る情報処理装置の別の形態として、前記ベッド上面の範囲として前記利用者の指定する範囲によって、前記実空間上で指定面が規定されてもよい。また、前記所定の評価条件は、前記指定面の上方に存在する対象であって、該指定面から所定の高さ以上高い位置に存在する対象、の写る画素が前記撮影画像に含まれているか否かを判定するための条件を含んでいてもよい。そして、前記評価部は、前記指定面から所定の高さ以上高い位置に存在する対象の写る画素が前記撮影画像に含まれていないと判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価してもよい。例えば、利用者の指定する範囲が壁等に突き抜けている場合、指定面の上空には、ベッド上面の上空では写らない対象物が写る。当該構成によれば、このような場合に、利用者の指定する範囲はベッド上面の範囲として不適正であると評価できる。なお、評価条件の基準となる所定の高さは、実施形態に応じて適宜設定されてもよく、例えば、ベッド上面に見守り対象者が存在する場合に利用者の指定する範囲がベッド上面の範囲として不適正であると評価されないように設定されてもよい。
また、上記一側面に係る情報処理装置の別の形態として、上記情報処理装置は、前記見守り対象者について検知した行動が前記見守り対象者に危険の迫る予兆を示す行動である場合に、当該予兆を知らせるための通知を行う危険予兆通知部を更に備えてもよい。当該構成によれば、見守り対象者に危険の迫る予兆があることを見守り者に知らせることが可能になる。
なお、このような通知は、例えば、見守り対象者を見守る見守り者に向けて行われる。見守り者は、見守り対象者の行動を見守る者であり、見守り対象者が、入院患者、施設入居者、要介護者等である場合は、例えば、看護師、施設職員、介護者等である。見守り対象者に危険の迫る予兆を知らせるための通知は、ナースコール等の施設に設置された設備と連携して行われてもよい。なお、通知する方法によっては、見守り対象者自身にも危険の迫る予兆があることを知らせることが可能である。
また、上記一側面に係る情報処理装置の別の形態として、上記情報処理装置は、前記設定部による設定が所定時間内に完了しない場合に、前記設定部による設定が完了していないことを知らせるための通知を行う未完了通知部を更に備えてもよい。当該構成によれば、ベッドの位置に関する設定の途中で見守りシステムが放置されてしまうことを防止することが可能になる。
また、本発明の一側面に係る情報処理装置は、見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する画像取得部と、所定の指定条件に基づいてベッド基準面の範囲を繰り返し指定し、所定の評価条件に基づいて、該繰り返し指定される範囲を該ベッド基準面の範囲として適正か否かを評価することで、該繰り返し指定される範囲のうちから該評価条件に最も適合する範囲を該ベッド基準面の範囲として推定する範囲推定部と、前記推定された範囲を前記ベッドの基準面の範囲に設定する設定部と、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する行動検知部と、を備える。当該構成によれば、所定の指定条件に従って繰り返し指定される範囲のうちから評価条件に最も適合する範囲を特定することで、利用者の指定によらず、ベッド基準面の範囲を推定することができる。したがって、ベッド基準面の範囲を利用者が指定する作業を省略することができ、ベッド基準面の設定が更に容易になる。
なお、上記各形態に係る情報処理装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、1又は複数の情報処理装置によって実現されてもよい。
例えば、本発明の一側面に係る情報処理方法は、コンピュータが、見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する取得ステップと、取得した前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付ける受付ステップと、前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価ステップと、前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、前記評価ステップによる前記利用者の指定している範囲についての評価結果を前記利用者に提示する提示ステップと、前記利用者による範囲の指定が完了した際に指定されている範囲を前記ベッド基準面の範囲に設定する設定ステップと、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する検知ステップと、を実行する情報処理方法である。
また、例えば、本発明の一側面に係るプログラムは、コンピュータに、見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する取得ステップと、取得した前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付ける受付ステップと、前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価ステップと、前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、前記評価ステップによる前記利用者の指定している範囲についての評価結果を前記利用者に提示する提示ステップと、前記利用者による範囲の指定が完了した際に指定されている範囲を前記ベッド基準面の範囲に設定する設定ステップと、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する検知ステップと、を実行させるためのプログラムである。
本発明によれば、見守り対象者の行動を検知する基準となるベッドの位置に関する設定を容易に行うことが可能になる。
図1は、本発明が適用される場面の一例を示す。 図2は、各画素の深度に応じて当該各画素の濃淡値が定められた撮影画像の一例を示す。 図3は、実施の形態に係る情報処理装置のハードウェア構成を例示する。 図4は、実施の形態に係る深度を例示する。 図5は、実施の形態に係る機能構成を例示する。 図6は、本実施形態においてベッドの位置に関する設定を行う際の情報処理装置による処理手順を例示する。 図7は、検知対象とする行動の選択を受け付ける画面を例示する。 図8は、検知対象とする行動として離床が選択された場合に表示装置に表示されるカメラの配置位置の候補を例示する。 図9は、ベッド上面の高さの指定を受け付ける画面を例示する。 図10は、撮影画像内の座標関係を例示する。 図11は、撮影画像の任意の点(画素)とカメラとの実空間内での位置関係を例示する。 図12は、撮影画像内において異なる表示形態で表示される領域を模式的に例示する。 図13は、ベッド上面の範囲の指定を受け付ける画面を例示する。 図14は、撮影画像上の指定点とベッド上面の基準点との位置関係を例示する。 図15は、カメラと基準点との位置関係を例示する。 図16は、カメラと基準点との位置関係を例示する。 図17は、カメラ座標系とベッド座標系との間の関係を例示する。 図18は、実空間内における指定面とベッド上面との関係を例示する。 図19は、指定面内に設定される評価領域とベッドの柵の評価領域とを例示する。 図20は、ヘッドボードの評価領域を例示する。 図21は、ヘッドボードの評価領域を1箇所に定めた場合における指定面とベッド上面との関係を例示する。 図22は、ヘッドボードの評価領域を2箇所に定めた場合における指定面とベッド上面との関係を例示する。 図23は、指定面の上空に設定される評価領域を例示する。 図24は、指定面が壁を突き抜けている場面を例示する。 図25Aは、利用者の指定する範囲がベッド上面に適合していない場合における評価結果の表示画面を例示する。 図25Bは、利用者の指定する範囲がベッド上面に適合していない場合における評価結果の表示画面を例示する。 図26は、基準点の探索範囲を例示する。 図27は、本実施形態において見守り対象者の行動を検知する際の情報処理装置による処理手順を例示する。 図28は、実施の形態に係る情報処理装置が取得する撮影画像を例示する。 図29は、撮影画像に含まれる深度情報に基づいて特定される撮影範囲の被写体の三次元分布を例示する。 図30は、撮影画像から抽出される前景領域の三次元分布を例示する。 図31は、本実施形態において起き上がりを検知するための検知領域を模式的に例示する。 図32は、本実施形態において離床を検知するための検知領域を模式的に例示する。 図33は、本実施形態において端座位を検知するための検知領域を模式的に例示する。 図34は、領域の広がり具合と分散との関係を例示する。 図35は、ベッド上面の範囲の指定を受け付ける画面の他の例を示す。 図36は、ベッド周囲の評価領域を例示する。
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。
§1 適用場面例
まず、図1を用いて、本発明が適用される場面について説明する。図1は、本発明が適用される場面の一例を模式的に示す。本実施形態では、医療施設又は介護施設において、入院患者又は施設入居者が見守り対象者として行動を見守られる場面が想定されている。見守り対象者の見守りを行う者(以下、「利用者」とも称する)は、情報処理装置1とカメラ2とを含む見守りシステムを利用して、見守り対象者のベッドでの行動を検知する。
本実施形態に係る見守りシステムは、カメラ2によって見守り対象者の行動を撮影することで、見守り対象者とベッドとが写る撮影画像3を取得する。そして、当該見守りシステムは、カメラ2により取得される撮影画像3を情報処理装置1で解析することで、見守り対象者の行動を検知する。
カメラ2は、本発明の撮影装置に相当し、見守り対象者のベッドにおける行動を見守るために設置されている。カメラ2の設置する場所は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。例えば、本実施形態では、カメラ2は、ベッドの長手方向の前方に設置されている。すなわち、カメラ2を横から見た場面を図1は例示しており、図1の上下方向がベッドの高さ方向に相当する。また、図1の左右方向がベッドの長手方向に相当し、図1の紙面に垂直な方向がベッドの幅方向に相当する。
このカメラ2は、被写体の深度を測定する深度センサを含んでおり、撮影画像内の各画素に対応する深度を取得する。そのため、このカメラ2によって取得される撮影画像3は、図1で例示されるように、画素毎に得られる深度を示す深度情報を含んでいる。
この深度情報を含む撮影画像3は、撮影範囲内の被写体の深度を示すデータであってもよく、例えば、撮影範囲内の被写体の深度が二次元状に分布したデータ(例えば、深度マップ)であってもよい。また、撮影画像3は、深度情報とともに、RGB画像を含んでもよい。更に、撮影画像3は、動画像であってもよいし、静止画像であってもよい。
図2は、このような撮影画像3の一例を示す。図2で例示される撮影画像3は、各画素の濃淡値が当該各画素の深度に応じて定められた画像である。黒色の画素ほど、カメラ2に近いことを示す。一方、白色の画素ほど、カメラ2から遠いことを示す。当該深度情報によれば、撮影範囲内の被写体の実空間(三次元空間)内での位置を特定することができる。
より詳細には、被写体の深度は、当該被写体の表面に対して取得される。そして、撮影画像3に含まれる深度情報を用いることで、カメラ2に写る被写体表面の実空間内での位置を特定することができる。本実施形態では、カメラ2により撮影された撮影画像3は情報処理装置1に送信される。そして、情報処理装置1は、取得した撮影画像3に基づいて、見守り対象者の行動を推定する。
本実施形態に係る情報処理装置1は、取得される撮影画像3に基づいて見守り対象者の行動を推定するために、当該撮影画像3の背景として設定されている背景画像と撮影画像3との差分を抽出することで、撮影画像3内の前景領域を特定する。特定される前景領域は、背景画像から変化の生じている領域であるため、見守り対象者の動作部位の存在する領域を含んでいる。そこで、情報処理装置1は、見守り対象者に関連する像として前景領域を利用して、見守り対象者の行動を検知する。
例えば、見守り対象者がベッド上で起き上がる場合には、図1で例示されるように、起き上がりに関する部位(図1では上半身)の写る領域が前景領域として抽出される。このように抽出される前景領域内の各画素の深度を参照することで、実空間内における見守り対象者の動作部位の位置を特定することが可能である。
そして、見守り対象者のベッドにおける行動は、このように特定される動作部位とベッドとの位置関係に基づいて推定することが可能である。例えば、図1で例示されるように、見守り対象者の動作部位がベッド上面の上方で検知された場合には、見守り対象者はベッド上で起き上がりの動作を行っていると推定することができる。また、例えば、見守り対象者の動作部位がベッドの側部付近で検知された場合には、見守り対象者は端座位の状態になろうとしていると推定することができる。
そこで、本実施形態では、動作部位とベッドとの位置関係に基づいて見守り対象者の行動を検知できるように、実空間内でのベッドの位置を特定するための基準となるベッド基準面の設定が行われる。ベッド基準面は、見守り対象者のベッドにおける行動の基準となる面である。情報処理装置1は、このようなベッド基準面を設定するために、撮影画像3内においてこのベッド基準面の範囲の指定を受け付ける。
このベッド基準面の範囲の指定を受け付けている間、情報処理装置1は、利用者の指定している範囲がベッド基準面の範囲として適正か否かを後述する所定の評価条件に基づいて評価し、その評価結果を利用者に提示する。評価結果を提示する方法は特に限定されなくてもよく、情報処理装置1は、例えば、撮影画像を表示する表示装置にこの評価結果を表示する。
これにより、情報処理装置1の利用者は、自身の指定している範囲がベッド基準面として適正か否かを確認しながら、ベッド基準面の範囲を設定することができる。したがって、情報処理装置1では、見守りシステムについての知識に乏しい利用者であっても、見守り対象者の行動を検知する基準となるベッドの位置に関する設定を容易に行うことが可能である。
情報処理装置1は、このように設定されたベッドの基準面と前景領域に写る対象(見守り対象者の動作部位)との実空間内の位置関係を深度情報に基づいて特定する。すなわち、情報処理装置1は、前景領域内の各画素の深度に基づいて特定される前景領域に写る対象の実空間内での位置を見守り対象者の位置として利用する。そして、情報処理装置1は、特定される位置関係に基づいて、見守り対象者のベッドでの行動を検知する。
なお、本実施形態では、ベッドの基準面として、ベッド上面を例示する。ベッド上面は、ベッドの垂直方向上側の面であり、例えば、ベッドマットレスの上面である。ベッドの基準面は、このようなベッド上面であってもよいし、その他の面であってもよい。ベッドの基準面は、実施の形態に応じて、適宜、決定されてもよい。また、ベッドの基準面は、ベッドに存在する物理的な面に限らず、仮想的な面であってもよい。
§2 構成例
<ハードウェア構成例>
次に、図3を用いて、情報処理装置1のハードウェア構成を説明する。図3は、本実施形態に係る情報処理装置1のハードウェア構成を例示する。情報処理装置1は、図3に例示されるように、CPU、RAM(Random Access Memory)、ROM(Read Only Memory)等を含む制御部11、制御部11で実行するプログラム5等を記憶する記憶部12、画像の表示と入力を行うためのタッチパネルディスプレイ13、音声を出力するためのスピーカ14、外部装置と接続するための外部インタフェース15、ネットワークを介して通信を行うための通信インタフェース16、及び記憶媒体6に記憶されたプログラムを読み込むためのドライブ17が電気的に接続されたコンピュータである。ただし、図3では、通信インタフェース及び外部インタフェースは、それぞれ、「通信I/F」及び「外部I/F」と記載されている。
なお、情報処理装置1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部11は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ13は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。表示装置は、例えば、画像を表示可能なモニタ、表示灯、信号灯、回転灯、電光掲示板等であってもよい。
情報処理装置1は、複数の外部インタフェース15を備え、複数の外部装置と接続されてもよい。本実施形態では、情報処理装置1は、外部インタフェース15を介してカメラ2と接続されている。本実施形態に係るカメラ2は、上述のとおり、深度センサを含んでいる。この深度センサの種類及び測定方式は、実施の形態に応じて適宜選択されてよい。
ただし、見守り対象者の見守りが行われる場所(例えば、医療施設の病室)は、見守り対象者のベッドが置かれる場所、換言すると、見守り対象者の就寝する場所である。そのため、見守り対象者の見守りが行われる場所は暗い場合が多い。そこで、撮影場所の明るさに影響されずに深度を取得するためには、赤外線の照射に基づいて深度を測定する深度センサが用いられるのが好ましい。なお、赤外線深度センサを含む比較的安価な撮影装置として、マイクロソフト社のKinect、ASUS社のXtion、PrimeSense社のCARMINEを挙げることができる。
また、カメラ2は、撮影範囲内の被写体の深度を特定することが可能なように、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。カメラ2は、撮影範囲内の被写体の深度を特定できれば、深度センサ単体に置き換わってもよいし、特に限定されなくてもよい。
ここで、図4を用いて、本実施形態に係る深度センサによって測定される深度を詳細に説明する。図4は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図4で例示されるように、被写体の深さは、例えば、カメラと対象物との直線の距離Aで表現されてもよいし、カメラの被写体に対する水平軸から下ろした垂線の距離Bで表現されてもよい。すなわち、本実施形態に係る深度は、距離Aであってもよいし、距離Bであってもよい。本実施形態では、距離Bを深度として扱うことにする。ただし、距離Aと距離Bとは、例えば、三平方の定理等を用いることで、互いに変換可能である。そのため、距離Bを用いた以降の説明は、そのまま、距離Aに適用することが可能である。
また、情報処理装置1は、図3で例示されるように、外部インタフェース15を介してナースコールに接続している。このように、情報処理装置1は、外部インタフェース15を介してナースコール等の施設に設置された設備と接続されることで、見守り対象者に危険の迫る予兆があることを知らせるための通知を当該設備と連携して行ってもよい。
なお、プログラム5は、情報処理装置1に後述する動作に含まれる処理を実行させるプログラムであり、本発明の「プログラム」に相当する。このプログラム5は記憶媒体6に記録されていてもよい。記憶媒体6は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。記憶媒体6は、本発明の「記憶媒体」に相当する。なお、図3は、記憶媒体6の一例として、CD(Compact Disk)、DVD(Digital Versatile Disk)等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体6の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
また、情報処理装置1として、例えば、提供されるサービス専用に設計された装置の他、PC(Personal Computer)、タブレット端末等の汎用の装置が用いられてよい。また、情報処理装置1は、1又は複数のコンピュータにより実装されてもよい。
<機能構成例>
次に、図5を用いて、情報処理装置1の機能構成を説明する。図5は、本実施形態に係る情報処理装置1の機能構成を例示する。本実施形態に係る情報処理装置1が備える制御部11は、記憶部12に記憶されたプログラム5をRAMに展開する。そして、制御部11は、RAMに展開されたプログラム5をCPUにより解釈及び実行して、各構成要素を制御する。これにより、本実施形態に係る情報処理装置1は、画像取得部20、前景抽出部21、行動検知部22、設定部23、表示制御部24、行動選択部25、危険予兆通知部26、未完了通知部27、評価部28、及び範囲推定部29を備えるコンピュータとして機能する。
画像取得部20は、見守り対象者のベッドにおける行動を見守るために設置されるカメラ2によって撮影された撮影画像3であって、各画素の深度を示す深度情報を含む撮影画像3、を取得する。前景抽出部21は、撮影画像3の背景として設定された背景画像と当該撮影画像3との差分から撮影画像3の前景領域を抽出する。行動検知部22は、深度情報により示される前景領域内の各画素の深度に基づいて、前景領域に写る対象とベッド基準面との実空間内での位置関係が所定の検知条件を満たすか否かを判定する。そして、行動検知部22は、当該判定の結果に基づいて、見守り対象者のベッドに関連する行動を検知する。なお、上述のとおり、本実施形態では、ベッド基準面の一例として、ベッド上面を例示する。
また、表示制御部24は、タッチパネルディスプレイ13による画像の表示を制御する。タッチパネルディスプレイ13は本発明の表示装置に相当する。そして、設定部23は、利用者からの入力を受け付けて、ベッド上面に関する設定を行う。具体的には、設定部23は、表示される撮影画像3内においてベッド上面の範囲の指定を利用者から受け付けて、指定された範囲をベッド上面の範囲に設定する。
ここで、評価部28は、ベッド上面の指定を設定部23が受け付けている間に、所定の評価条件に基づいて、利用者の指定している範囲がベッド上面の範囲として適正か否かを評価する。そして、表示制御部24は、ベッド上面の指定を設定部23が受け付けている間に、利用者の指定している範囲についての評価部28の評価結果を利用者に提示する。例えば、表示制御部24は、評価部28の評価結果を撮影画像3と共にタッチパネルディスプレイ13に表示する。
行動選択部25は、ベッドの端部付近又は外側で行われる見守り対象者の所定行動を含む見守り対象者のベッドに関連する複数の行動から、見守り対象者について見守りの対象とする行動の選択を受け付ける。本実施形態では、ベッドに関連する複数の行動として、ベッド上での起き上がり、ベッドでの端座位、ベッドの柵からの身の乗り出し(柵越え)、及びベッドからの離床を例示する。これらの行動のうち、ベッドでの端座位、ベッドの柵からの身の乗り出し(柵越え)、及びベッドからの離床が上記所定行動に相当する。
また、危険予兆通知部26は、見守り対象者について検知した行動が見守り対象者に危険の迫る予兆を示す行動である場合に、当該予兆を知らせるための通知を行う。未完了通知部27は、設定部23による設定処理が所定時間内に完了しない場合に、設定部23による設定が完了していないことを知らせるための通知を行う。なお、これらの通知は、例えば、見守り対象者を見守る見守り者に行われてよい。見守り者は、例えば、看護師、施設職員等である。本実施形態では、これらの通知は、ナースコールを通じて行われてもよいし、スピーカ14によって行われてもよい。
更に、範囲推定部29は、所定の指定条件に基づいてベッド基準面の範囲を繰り返し指定し、繰り返し指定される範囲を所定の評価条件に基づいて評価する。これにより、範囲推定部29は、繰り返し指定される範囲のうちから評価条件に最も適合する範囲をベッド上面の範囲として推定する。
なお、各機能に関しては後述する動作例で詳細に説明する。ここで、本実施形態では、これらの機能がいずれも汎用のCPUによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、情報処理装置1の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。例えば、行動選択部25、危険予兆通知部26、及び未完了通知部27は省略されてもよい。
§3 動作例
[ベッドの位置設定]
まず、図6を用いて、ベッドの位置に関する設定の処理について説明する。図6は、ベッドの位置に関する設定の際における情報処理装置1の処理手順を例示する。このベッドの位置に関する設定の処理は、いかなるタイミングで実行されてもよく、例えば、見守り対象者の見守りを開始する前、プログラム5を立ち上げたときに実行される。なお、以下で説明する処理手順は一例に過ぎず、各処理は、可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び、追加が可能である。
<ステップS101及びステップS102>
ステップS101では、制御部11は、行動選択部25として機能し、見守り対象者がベッドにおいて行う複数の行動から検知対象とする行動の選択を受け付ける。そして、ステップS102では、制御部11は、表示制御部24として機能し、検知対象として選択された1又は複数の行動に応じて、ベッドに対するカメラ2の配置位置の候補をタッチパネルディスプレイ13に表示する。図7及び図8を用いて、これらの処理を説明する。
図7は、検知対象とする行動の選択を受け付ける際に、タッチパネルディスプレイ13に表示される画面30を例示する。制御部11は、ステップS101において検知対象とする行動の選択を受けるため、タッチパネルディスプレイ13に画面30を表示する。画面30は、本処理に係る設定の処理段階を示す領域31、検知対象とする行動の選択を受け付ける領域32、及びカメラ2の配置位置の候補を示す領域33を含んでいる。
本実施形態に係る画面30では、検知対象とする行動の候補として、4つの行動が例示されている。具体的には、ベッド上での起き上がり、ベッドからの離床、ベッドでの端座位、及びベッドの柵からの身の乗り出し(柵越え)が検知対象とする行動の候補として例示されている。以下では、ベッド上での起き上がりを単に「起き上がり」、ベッドからの離床を単に「離床」、ベッド上での端座位を単に「端座位」、ベッドの柵からの身の乗り出しを「柵越え」とも称する。領域32には、それぞれの行動に対応する4つのボタン321〜324が設けられている。利用者は、ボタン321〜324を操作することで、検知対象とする行動を1又は複数選択する。
ボタン321〜324のいずれかが操作されて検知対象とする行動が選択されると、制御部11は、表示制御部24として機能し、選択されている1又は複数の行動に応じたカメラ2の配置位置の候補を示すように、領域33に表示する内容を更新する。カメラ2の配置位置の候補は、その位置に配置されたカメラ2の撮影する撮影画像3により情報処理装置1が対象の行動を検知できるか否かに基づいて、予め特定されている。このようなカメラ2の配置位置の候補を示す理由は次のとおりである。
本実施形態に係る情報処理装置1は、カメラ2により取得される撮影画像3を解析することで、見守り対象者とベッドとの位置関係を推定して、見守り対象者の行動を検知する。そのため、対象の行動の検知に関連する領域が撮影画像3に写っていない場合には、情報処理装置1は、その対象の行動を検知することができない。よって、見守りシステムの利用者は、検知対象とする行動毎にカメラ2の配置に適する位置を把握していることが望まれる。
しかしながら、見守りシステムの利用者がこのような位置を全て把握しているとは限らないため、対象の行動の検知に関連する領域の写らない位置にカメラ2が誤って配置されてしまう可能性がある。対象の行動の検知に関連する領域の写らない位置にカメラ2が誤って配置されてしまうと、情報処理装置1はその対象の行動を検知することができず、見守りシステムによる見守りに不備が生じてしまう。
そこで、本実施形態では、検知対象とする行動毎にカメラ2の配置に適する位置を予め特定し、そのようなカメラ位置の候補を情報処理装置1に保持させておく。そして、情報処理装置1は、選択されている1又は複数の行動に応じて、対象の行動の検知に関連する領域を撮影可能なカメラ2の配置位置の候補を表示して、カメラ2の配置位置を利用者に指示する。これにより、本実施形態に係る見守りシステムは、利用者によるカメラ2の配置の誤りを抑止し、見守り対象者の見守りに不備が生じてしまう可能性を低減する。
また、本実施形態では、後述する各種設定により、見守りを行う各環境に見守りシステムを適応させることができる。そのため、本実施形態に係る見守りシステムでは、カメラ2の配置の自由度が高くなる。しかしながら、カメラ2の配置の自由度が高いと、それだけ利用者がカメラ2を誤った位置に配置してしまう可能性が高くなる場合がある。これに対して、本実施形態では、カメラ2の配置位置の候補を表示して利用者にカメラ2の配置を促すため、利用者がカメラ2を誤った位置に配置してしまうことを防止することができる。すなわち、本実施形態のようなカメラ2の配置の自由度が高い見守りシステムでは、カメラ2の配置位置の候補を表示することでの、利用者がカメラ2を誤った位置に配置してしまうことを防止する効果を特に期待することができる。
なお、本実施形態では、カメラ2の配置位置の候補として、対象の行動の検知に関連する領域をカメラ2により撮影容易な位置、換言すると、カメラ2の設置に推奨される位置が○印で示されている。これに対して、対象の行動の検知に関連する領域をカメラ2により撮影困難な位置、換言すると、カメラ2の設置に推奨されない位置が×印で示される。図8を用いて、カメラ2の設定に推奨されない位置を説明する。
図8は、検知対象の行動として「離床」が選択された場合における領域33の表示内容を例示する。ベッドからの離床は、ベッドから離れる行為である。つまり、ベッドからの離床は、見守り対象者がベッドの外側、特に、ベッドから離間した場所で行う動作である。そのため、ベッドの外側を撮影しにくい位置にカメラ2が配置されると、離床の検知に関連する領域が撮影画像3に写らない可能性が高くなってしまう。
ここで、ベッド近傍にカメラ2を配置すると、そのカメラ2により撮影される撮影画像3では、ベッドの写る像が大部分を占めてしまい、ベッドから離間した場所が殆ど写らない可能性が高い。そのため、図8により例示される画面では、ベッド下辺近傍の位置は、ベッドからの離床を検知する際のカメラ2の配置に推奨されない位置として、×印で示されている。
なお、選択された検知対象の行動に応じてカメラ2の配置位置の候補を決定する条件は、例えば、カメラ2の設置に推奨される位置及び推奨されない位置を検知対象の行動毎に示すデータとして記憶部12に記憶されていてもよい。また、本実施形態のように、検知対象の行動を選択するための各ボタン321〜324の動作として設定されてもよい。すなわち、各ボタン321〜324を操作したときにカメラ2を配置する候補の位置に○印又は×印の表示がなされるように、各ボタン321〜324の動作が設定されていてもよい。選択された検知対象の行動に応じてカメラ2の配置位置の候補を決定する条件を保持する方法は特に限定されなくてもよい。
このように、本実施形態では、ステップS101において、利用者により検知対象に所望する行動が選択されると、ステップ102において、選択された検知対象の行動に応じて、カメラ2の配置位置の候補が領域33に示される。この領域33の内容に従って、利用者はカメラ2を配置する。すなわち、利用者は、領域33に示される配置位置の候補からいずれかの位置を選択して、適宜、選択した位置にカメラ2を配置する。
画面30には、更に、検知対象の行動の選択とカメラ2の配置とが完了したことを受け付けるために、「次へ」ボタン34が設けられている。検知対象の行動の選択とカメラ2の配置とが完了した後に、利用者が「次へ」ボタン34を操作すると、情報処理装置1の制御部11は次のステップS103に処理を進める。
<ステップS103>
図6に戻り、ステップS103では、制御部11は、設定部23として機能し、ベッド上面の高さの指定を受け付ける。制御部11は、指定された高さをベッド上面の高さに設定する。また、制御部11は、画像取得部20として機能しており、深度情報を含む撮影画像3をカメラ2から取得している。そして、制御部11は、ベッド上面の高さの指定を受け付けている際に、表示制御部24として機能し、指定されている高さに位置する対象を写した領域を撮影画像3上で明示するようにして、取得される撮影画像3をタッチパネルディスプレイ13に表示させる。
図9は、ベッド上面の高さの指定を受け付ける際にタッチパネルディスプレイ13に表示される画面40を例示する。制御部11は、ステップS103においてベッド上面の高さの指定を受け付けるため、タッチパネルディスプレイ13に画面40を表示する。画面40は、カメラ2から得られる撮影画像3を描画する領域41、及びベッド上面の高さを指定するためのスクロールバー42を含んでいる。
ステップS102において、利用者は、画面に表示される内容に従ってカメラ2を配置した。そこで、本ステップS103では、利用者は、まず、画面40の領域41に描画される撮影画像3を確認しながら、カメラ2の撮影範囲にベッドが含まれるように、カメラ2をベッドの方に向ける。そうすると、領域41に描画される撮影画像3にベッドが写るようになるので、利用者は、次に、スクロールバー42のノブ43を操作して、ベッド上面の高さを指定する。
ここで、制御部11は、ノブ43の位置に基づいて指定されている高さに位置する対象を写した領域を撮影画像3上で明示する。これにより、本実施形態に係る情報処理装置1は、ノブ43の位置に基づいて指定されている実空間上の高さを利用者に把握し易いようにする。この処理について、図10〜12を用いて説明する。
まず、図10及び図11を用いて、撮影画像3内の各画素に写る対象の高さと当該各画素の深度との関係を説明する。図10は、撮影画像3内の座標関係を例示する。また、図11は、撮影画像3の任意の画素(点s)とカメラ2との実空間内での位置関係を例示する。なお、図10の左右方向は、図11の紙面に垂直な方向に対応する。すなわち、図11で表れている撮影画像3の長さは、図10で例示される縦方向の長さ(Hピクセル)に対応する。また、図10で例示される横方向の長さ(Wピクセル)は、図11で表れていない撮影画像3の紙面垂直方向の長さに対応する。
ここで、図10で例示されるように、撮影画像3の任意の画素(点s)の座標を(xs,ys)とし、カメラ2の横方向の画角をVx、縦方向の画角をVyとする。撮影画像3の横方向のピクセル数をWとし、縦方向のピクセル数をHとし、撮影画像3の中心点(画素)の座標を(0,0)とする。
また、図11で例示されるように、カメラ2のピッチ角をαとする。カメラ2及び点sを結ぶ線分と実空間の垂直方向を示す線分との間の角度をβsとし、カメラ2及び点sを結ぶ線分とカメラ2の撮影方向を示す線分との間の角度をγsとする。更に、カメラ2と点sとを結ぶ線分の横方向からみた場合の長さをLsとし、カメラ2と点sとの垂直方向の距離をhsとする。なお、本実施形態では、この距離hsが、点sに写る対象の実空間上の高さに相当する。ただし、点sに写る対象の実空間上の高さを表現する方法は、このような例に限定されなくてもよく、実施の形態に応じて、適宜、設定されてよい。
制御部11は、このカメラ2の画角(Vx、Vy)及びピッチ角αを示す情報を、カメラ2から取得することができる。ただし、これらの情報を取得する方法は、このような方法に限定されなくてもよく、制御部11は、これらの情報を、利用者からの入力を受け付けることで取得してもよし、予め設定されている設定値として取得してもよい。
また、制御部11は、撮影画像3から、点sの座標(xs,ys)及び撮影画像3のピクセル数(W×H)を取得することができる。更に、制御部11は、深度情報を参照することにより、点sの深度Dsを取得することができる。制御部11は、これらの情報を利用することで、点sの角度γs及びβsを算出することができる。具体的には、撮影画像3の縦方向における1ピクセルあたりの角度は、以下の数1で示される値に近似することができる。これにより、制御部11は、以下の数2及び数3で示される関形式に基づいて、点sの角度γs及びβsを算出することができる。
そして、制御部11は、算出したγs及び点sの深度Dsを以下の数4の関係式に当てはめることによって、Lsの値を求めることができる。また、制御部11は、算出したLs及びβsを以下の数5の関形式に当てはめることによって、実空間上での点sの高さhsを算出することができる。
したがって、制御部11は、深度情報により示される各画素の深度を参照することで、当該各画素に写る対象の実空間上の高さを特定することができる。つまり、制御部11は、深度情報により示される各画素の深度を参照することで、ノブ43の位置に基づいて指定されている高さに位置する対象を写した領域を特定することができる。
なお、制御部11は、深度情報により示される各画素の深度を参照することで、当該各画素に写る対象の実空間上の高さhsだけではなく、当該各画素に写る対象の実空間上の位置を特定することができる。例えば、制御部11は、以下の数6〜数8で示される関形式に基づいて、図11に例示されるカメラ座標系におけるカメラ2から点sまでのベクトルS(Sx,Sy,Sz,1)の各値を算出することができる。これにより、撮影画像3内の座標系における点sの位置とカメラ座標系における点sの位置とは相互に変換可能になる。
次に、図12を用いて、ノブ43の位置に基づいて指定されている高さと撮影画像3上で明示する領域との関係を説明する。図12は、ノブ43の位置に基づいて指定されている高さの面(以下、「指定高さ面」とも称する)DFとカメラ2の撮影範囲との関係を模式的に例示する。なお、図12は、図1と同様に、カメラ2を横から見た場面を例示しており、図12の上下方向は、ベッドの高さ方向に相当し、かつ、実空間上での垂直方向に相当する。
図12で例示される指定高さ面DFの高さhは、利用者がスクロールバー42を操作することで指定される。具体的には、スクロールバー42におけるノブ43の位置が指定高さ面DFの高さhと対応しており、制御部11は、スクロールバー42におけるノブ43の位置に基づいて指定高さ面DFの高さhを決定する。これにより、例えば、利用者は、ノブ43を上方に移動させることで、実空間上で指定高さ面DFが上方に移動するように、高さhの値を小さくすることができる。一方、利用者は、ノブ43を下方に移動させることで、実空間上で指定高さ面DFが下方に移動するように、高さhの値を大きくすることができる。
ここで、上述のとおり、制御部11は、深度情報に基づいて、撮影画像3内の各画素に写る対象の高さを特定することができる。そこで、制御部11は、このようなスクロールバー42による高さhの指定を受け付けている際に、撮影画像3内において、この指定の高さhに位置する対象を写した領域、換言すると、指定高さ面DFの位置する対象を写した領域を特定する。そして、制御部11は、表示制御部24として機能し、領域41に描画する撮影画像3上において、指定高さ面DFの位置する対象を写した領域に該当する部分を明示する。例えば、制御部11は、図9に例示されるように、撮影画像3内の他の領域とは異なる表示形態で描画することにより、指定高さ面DFの位置する対象を写した領域に該当する部分を明示する。
対象の領域を明示する方法は、実施の形態に応じて、適宜、設定されてもよい。例えば、制御部11は、他の領域とは異なる表示形態で対象の領域を描画することにより、対象の領域を明示してもよい。ここで、対象の領域に利用される表示形態は、その対象の領域を識別できる態様であればよく、色彩、色調等によって特定される。一例を挙げると、制御部11は、白黒の濃淡画像である撮影画像3を領域41に描画する。これに対して、制御部11は、指定高さ面DFの高さに位置する対象の写る領域を赤色で描画することにより、この指定高さ面DFの高さに位置する対象の写る領域を撮影画像3上で明示してもよい。なお、撮影画像3内に指定高さ面DFが表れやすいようにするため、指定高さ面DFは、垂直方向に所定の幅(厚み)を有してもよい。
このように、本ステップS103では、本実施形態に係る情報処理装置1は、スクロールバー42による高さhの指定を受け付けている際に、高さhに位置する対象を写した領域を撮影画像3上で明示する。利用者は、このように明示される指定高さ面DFの高さに位置する領域を参考に、ベッド上面の高さを設定する。具体的には、利用者は、指定高さ面DFがベッド上面となるようにノブ43の位置を調節することで、ベッド上面の高さを設定する。すなわち、利用者は、指定の高さhを撮影画像3上で視覚的に把握しながら、ベッド上面の高さの設定を行うことができる。これによって、本実施形態では、見守りシステムについての知識に乏しい利用者であっても、ベッド上面の高さの設定を容易に行うことができる。
また、本実施形態では、ベッドの上面が、ベッドの基準面に採用されている。見守り対象者のベッドにおける行動をカメラ2で撮影する場合、カメラ2により取得される撮影画像3に、ベッドの上面は写り込みやすい場所である。そのため、撮影画像3のベッドの写る領域のうちベッド上面の占める割合は高くなりやすく、そのようなベッド上面の写る領域に指定高さ面DFを合わせることは容易に行うことができる。したがって、本実施形態のようにベッドの基準面にベッド上面を採用することで、ベッドの基準面の設定を容易にすることができる。
なお、制御部11は、表示制御部24として機能し、スクロールバー42による高さhの指定を受け付けている際に、領域41に描画する撮影画像3上において、指定高さ面DFからベッドの高さ方向上方に所定の範囲AFに位置する対象を写した領域を明示してもよい。範囲AFの領域は、例えば、図9に例示されるように、指定高さ面DFの領域を含む他の領域と異なる表示形態で描画されることにより、他の領域と区別可能なように明示される。
ここで、指定高さ面DFの領域の表示形態を第1の表示形態と称し、範囲AFの領域の表示形態を第2の表示形態と称してもよい。また、範囲AFを定めるベッドの高さ方向の距離を第1所定距離と称してもよい。例えば、制御部11は、白黒の濃淡画像である撮影画像3上において、範囲AFに位置する対象の写る領域を青色で明示してもよい。
これによって、利用者は、指定高さ面DFの高さに位置する領域の他、指定高さ面DFの上側に所定の範囲AFに位置する対象の領域を撮影画像3上で視覚的に把握できるようになる。そのため、撮影画像3に写る被写体の実空間上での状態を把握し易くなる。また、利用者は、指定高さ面DFをベッド上面に合わせる際の指標として範囲AFの領域を利用することができるため、ベッド上面の高さの設定が容易になる。
なお、範囲AFを定めるベッドの高さ方向の距離はベッドの柵の高さに適合するように設定されてもよい。このベッドの柵の高さは、予め設定されている設定値として取得されてもよいし、利用者からの入力値として取得されてもよい。このように範囲AFが設定された場合、範囲AFの領域は、指定高さ面DFがベッド上面に適切に設定されたときに、ベッドの柵の領域を示す領域となる。つまり、利用者は、範囲AFの領域をベッドの柵の領域に合わせることで、指定高さ面DFをベッド上面に合わせることが可能になる。したがって、撮影画像3上において、ベッド上面を指定する際に指標として、ベッドの柵の写る領域を利用することが可能になるため、ベッド上面の高さの設定が容易になる。
また、後述するとおり、情報処理装置1は、指定高さ面DFにより設定されたベッド上面に対して前景領域の写る対象が実空間上で所定距離hf以上に高い位置に存在するか否かを判定することで、見守り対象者のベッド上での起き上がりを検知する。そこで、制御部11は、表示制御部24として機能し、スクロールバー42による高さhの指定を受け付けている際に、領域41で描画する撮影画像3上で、指定高さ面DFからベッドの高さ方向上方に距離hf以上の高さに位置する対象を写した領域を明示してもよい。
この指定高さ面DFからベッドの高さ方向上方に距離hf以上の高さの領域は、図12で例示されるように、ベッドの高さ方向に範囲(範囲AS)が限定されていてもよい。この範囲ASの領域は、たとえば、指定高さ面DF及び範囲AFの領域を含む他の領域とは異なる表示形態で描画されることにより、他の領域と区別可能なように明示される。
ここで、範囲ASの領域の表示形態を第3の表示形態と称してもよい。また、起き上がりの検知に関する距離hfを第2所定距離と称してもよい。例えば、制御部11は、白黒の濃淡画像である撮影画像3上において、範囲ASに位置する対象の写る領域を黄色で明示してもよい。
これによって、利用者は、起き上がりの検知に関する領域を撮影画像3上で視覚的に把握できるようになる。そのため、起き上がりの検知に適するようにベッド上面の高さの設定を行うことが可能になる。
なお、図12では、距離hfは、範囲AFを定めるベッドの高さ方向の距離よりも長くなっている。しかしながら、距離hfは、このような長さに限定されなくてもよく、範囲AFを定めるベッドの高さ方向の距離と同じであってもよいし、この距離よりも短くてもよい。範囲AFを定めるベッドの高さ方向の距離よりも距離hfが短い場合、範囲AFの領域と範囲ASの領域とが重なる領域が生じる。この重なる領域の表示形態として、範囲AF及び範囲ASのいずれかの表示形態が採用されてもよいし、範囲AF及び範囲ASのいずれの表示形態とも異なる表示形態が採用されてもよい。
また、制御部11は、表示制御部24として機能し、スクロールバー42による高さhの指定を受け付けている際に、領域41で描画する撮影画像3上で、指定高さ面DFよりも実空間内で下方に位置する対象を写した領域と下方に位置する対象を写した領域とを異なる表示態様で明示してもよい。このように指定高さ面DFの上側の領域と下側の領域とをそれぞれ異なる表示態様で描画することにより、指定高さ面DFの高さに位置する領域を視覚的に把握し易くすることができる。よって、指定高さ面DFの高さに位置する対象を写した領域を撮影画像3上で認識し易くすることができ、ベッド上面の高さの指定が容易になる。
図9に戻り、画面40には、更に、設定のやり直しを受け付けるための「戻る」ボタン44と、指定高さ面DFの設定が完了したことを受け付けるための「次へ」ボタン45とが設けられている。利用者が「戻る」ボタン44を操作すると、情報処理装置1の制御部11は、ステップS101に処理を戻す。一方、利用者が「次へ」ボタン45を操作すると、制御部11は、指定するベッド上面の高さを確定する。すなわち、制御部11は、そのボタン45の操作のときに指定している指定高さ面DFの高さを記憶し、記憶した指定高さ面DFの高さをベッド上面の高さに設定する。そして、制御部11は、次のステップS104に処理を進める。
<ステップS104>
図6に戻り、ステップS104では、制御部11は、ステップS101において選択された検知対象の1又は複数の行動にベッド上での起き上がり以外の行動が含まれているか否かを判定する。ステップS101で選択された1又は複数の行動に起き上がり以外の行動が含まれている場合、制御部11は、次のステップS105に処理を進めて、ベッド上面の範囲の設定を受け付ける。一方、ステップS101で選択された1又は複数の行動に起き上がり以外の行動が含まれていない場合、換言すると、ステップS101で選択された行動が起き上がりのみである場合、制御部11は、本動作例に係るベッドの位置に関する設定を終了し、後述する行動検知に係る処理を開始する。
上述のとおり、本実施形態において、見守りシステムにより検知する対象となる行動は、起き上がり、離床、端座位、及び柵越えである。これらの行動のうちの「起き上がり」は、ベッド上面の広い範囲で行われる可能性のある行動である。そのため、制御部11は、ベッド上面の範囲が設定されていなくても、見守り対象者とベッドとのベッドの高さ方向の位置関係に基づいて、比較的に精度よく見守り対象者の「起き上がり」を検知することが可能である。
一方、「離床」、「端座位」、及び「柵越え」は、本発明の「ベッドの端部付近又は外側で行われる所定行動」に相当し、比較的に限られた範囲で行われる行動である。そのため、制御部11がこれらの行動を精度よく検知するためには、見守り対象者とベッドとのベッドの高さ方向の位置関係だけではなく、見守り対象者とベッドとの水平方向の位置関係も特定できた方がよい。すなわち、ステップS101において「離床」、「端座位」、及び「柵越え」のいずれかが検知対象の行動に選択されている場合には、見守り対象者とベッドとの水平方向の位置関係を特定することができるようにベッド上面の範囲が設定された方がよい。
そこで、本実施形態では、制御部11は、ステップS101で選択された1又は複数の行動に、このような「所定行動」が含まれるか否かを判定する。そして、ステップS101で選択された1又は複数の行動に「所定行動」が含まれている場合には、制御部11は、次のステップS105に処理を進め、ベッド上面の範囲の設定を受け付ける。一方、ステップS101で選択された1又は複数の行動に「所定行動」が含まれていない場合には、制御部11は、ベッド上面の範囲の設定を省略し、本動作例に係るベッドの位置に関する設定を終了する。
すなわち、本実施形態に係る情報処理装置1は、全ての場合にベッド上面の範囲の設定を受け付けるのではなく、ベッド上面の範囲の設定が推奨される場合にのみにベッド上面の範囲の設定を受け付ける。これにより、一部の場合において、ベッド上面の範囲の設定を省略することができ、ベッドの位置に関する設定を簡略化することができる。また、ベッド上面の範囲の設定が推奨される場合には、ベッド上面の範囲の設定を受け付けるようにすることができる。そのため、見守りシステムについての知識に乏しい利用者であっても、検知対象に選択する行動に応じて、ベッドの位置に関する設定項目を適切に選択できるようになる。
具体的には、本実施形態では、「起き上がり」のみが検知対象の行動に選択されている場合に、ベッド上面の範囲の設定が省略される。一方で、「離床」、「端座位」、及び「柵越え」のうちの少なくともいずれかの行動が検知対象の行動に選択されている場合には、ベッド上面の範囲の設定(ステップS105)が受け付けられる。
なお、上述の「所定行動」に含まれる行動は、実施の形態に応じて、適宜、選択されてもよい。例えば、ベッド上面の範囲を設定することで「起き上がり」の検知精度を高められる可能性がある。そのため、「起き上がり」が、本発明の「所定行動」に含まれてもよい。また、例えば、「離床」、「端座位」、及び「柵越え」は、ベッド上面の範囲が設定されていなくても、精度よく検知できる可能性がある。そのため、「離床」、「端座位」、及び「柵越え」のいずれかの行動が「所定行動」から除外されてもよい。
<ステップS105>
ステップS105では、制御部11は、設定部23として機能し、ベッドの基準点の位置及びベッドの向きの指定を受け付ける。そして、制御部11は、指定された基準点の位置及びベッドの向きに基づいて、ベッド上面の実空間内での範囲を設定する。ここで、制御部11は、評価部28として機能し、ベッド上面の範囲の指定を受け付けている間、所定の評価条件に基づいて、利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する。そして、制御部11は、表示制御部24として機能し、その評価結果を利用者に提示する。また、制御部11は、範囲推定部29としても機能することができ、所定の指定条件に基づいてベッド上面の範囲を繰り返し指定し、繰り返し指定される範囲を評価条件に基づいて評価してもよい。そして、制御部11は、繰り返し指定される範囲のうちから評価条件に最も適合する範囲をベッド上面の範囲として推定してもよい。これにより、ベッド上面の範囲を自動検出することができる。これらの処理について以下詳細に説明する。
(1)ベッド上面の範囲の指定
まず、図13を用いて、利用者がベッド上面の範囲を指定する方法について説明する。図13は、ベッド上面の範囲の設定を受け付ける際にタッチパネルディスプレイ13に表示される画面50を例示する。制御部11は、ステップS105においてベッド上面の範囲の指定を受け付けるために、タッチパネルディスプレイ13に画面50を表示する。画面50は、カメラ2から得られる撮影画像3を描画する領域51、基準点を指定するためのマーカー52、及びベッドの向きを指定するためのスクロールバー53を含んでいる。
本ステップS105では、利用者は、領域51に描画される撮影画像3上でマーカー52を操作することで、ベッド上面の基準点の位置を指定する。また、利用者は、スクロールバー53のノブ54を操作して、ベッドの向きを指定する。制御部11は、このように指定される基準点の位置及びベッドの向きに基づいて、ベッド上面の範囲を特定する。図14〜図17を用いて、これらの処理を説明する。
まず、図14を用いて、マーカー52により指定される基準点pの位置について説明する。図14は、撮影画像3上の指定点psとベッド上面の基準点pとの位置関係を例示する。指定点psは、マーカー52の撮影画像3上の位置を示す。また、図14で例示される指定高さ面DFは、ステップS103において設定したベッド上面の高さhに位置する面を示す。この場合、制御部11は、マーカー52により指定される基準点pを、カメラ2及び指定点psを結ぶ直線と指定高さ面DFとの交点として特定することができる。
ここで、指定点psの撮影画像3上の座標を(xp,yp)とする。また、カメラ2及び指定点psを結ぶ線分と実空間の垂直方向を示す線分との間の角度をβpとし、カメラ2及び指定点psを結ぶ線分とカメラ2の撮影方向を示す線分との間の角度をγpとする。更に、カメラ2と基準点pとを結ぶ線分の横方向からみた場合の長さをLpとし、カメラ2から基準点pまでの深度をDpとする。
このとき、制御部11は、ステップS103と同様に、カメラ2の画角(Vx、Vy)及びピッチ角αを示す情報を取得することができる。また、制御部11は、指定点psの撮影画像3上の座標(xp,yp)及び撮影画像3のピクセル数(W×H)を取得することができる。更に、制御部11は、ステップS103で設定した高さhを示す情報を取得することができる。制御部11は、ステップS103と同様に、これらの値を以下の数9〜数11で示される関係式に適用することで、カメラ2から基準点pまでの深度Dpを算出することができる。
そして、制御部11は、算出した深度Dpを以下の数12〜数14で示される関係式に適用することによって、基準点pのカメラ座標系での座標P(Px,Py,Pz,1)を求めることができる。これにより、制御部11は、マーカー52により指定される基準点pの実空間上の位置を特定することが可能になる。
なお、図14は、指定点psに写る対象がステップS103で設定したベッド上面よりも高い位置に存在する場合における、撮影画像3上の指定点psとベッド上面の基準点pとの位置関係を例示する。指定点psに写る対象がステップS103で設定したベッド上面の高さに位置する場合には、指定点psと基準点pとは実空間上で同じ位置になる。
次に、図15及び図16を用いて、スクロールバー53により指定されるベッドの向きθと基準点pとに基づいて特定されるベッド上面の範囲について説明する。図15は、カメラ2を横から見た場合におけるカメラ2と基準点pとの位置関係を例示する。また、図16は、カメラ2を上方から見た場合におけるカメラ2と基準点pとの位置関係を例示する。
ベッド上面の基準点pは、ベッド上面の範囲を特定する基準となる点であり、ベッド上面の所定の位置に対応するように設定される。基準点pを対応させるこの所定の位置は、特に限定されなくてもよく、実施の形態に応じて、適宜、設定されてもよい。本実施形態では、基準点pは、ベッド上面の中央の点(中心)に対応するように設定されている。
これに対して、本実施形態に係るベッドの向きθは、図16で例示されるように、カメラ2の撮影方向に対するベッドの長手方向の傾きで表され、スクロールバー53におけるノブ54の位置に基づいて指定される。図16で例示されるベクトルZはベッドの向きを示している。画面50においてスクロールバー53のノブ54を利用者が左方向に移動させると、ベクトルZは基準点pを中心に右回りに回転する、換言すると、ベッドの向きθの値が大きくなる方向に変化する。一方、スクロールバー53のノブ54を利用者が右方向に移動させると、ベクトルZは基準点pを中心に左回りに回転する、換言すると、ベッドの向きθの値が小さくなる方向に変化する。
つまり、基準点pはベッド中央の位置を示し、ベッドの向きθは、ベッド中央を軸とした水平方向の回転度合を示す。そのため、ベッドの基準点pの位置及び向きθが指定されると、制御部11は、指定された基準点pの位置及びベッドの向きθに基づいて、図16で例示されるように、仮想的なベッド上面の範囲を示す枠FDの実空間上の位置及び向きを特定することができる。
なお、ベッドの枠FDの大きさは、ベッドのサイズに対応して設定される。ベッドのサイズは、例えば、ベッドの高さ(垂直方向の長さ)、横幅(短手方向の長さ)、及び縦幅(長手方向の長さ)で規定される。ベッドの横幅は、ヘッドボード及びフットボードの長さに対応する。また、ベッドの縦幅は、サイドフレームの長さに対応する。ベッドのサイズは、見守り環境に応じて予め定められている場合が多い。制御部11は、このようなベッドのサイズを、予め設定された設定値として取得してもよく、利用者による入力値として取得してもよく、予め設定された複数の設定値から選択されることで取得してもよい。
仮想的なベッドの枠FDは、指定している基準点pの位置及びベッドの向きθに基づいて設定されるベッド上面の範囲を示す。そこで、制御部11は、表示制御部24として機能し、指定された基準点pの位置及びベッドの向きθに基づいて特定される枠FDを撮影画像3内で描画してもよい。これにより、利用者は、撮影画像3内に描画される仮想的なベッドの枠FDで確認しながら、ベッド上面の範囲を設定できるようになる。そのため、ベッド上面の範囲の設定を利用者が誤ってしまう可能性を低減することができる。なお、この仮想的なベッドの枠FDは、仮想的なベッドの柵を含んでもよい。これにより、更に、仮想的なベッドの枠FDを利用者に把握し易いようにすることができる。
したがって、本実施形態では、利用者は、撮影画像3に写るベッド上面の中央にマーカー52を合わせることで、基準点pを適切な位置に設定することができる。また、利用者は、撮影画像3に写るベッド上面の外周に仮想的なベッドの枠FDが重なるようにノブ54の位置を定めることで、ベッドの向きθを適切に設定することができる。なお、仮想的なベッドの枠FDを撮影画像3内に描画する方法は、実施の形態に応じて、適宜、設定されてもよい。例えば、以下で説明する射影変換を利用する方法が用いられてもよい。
ここで、ベッドの枠FDの位置及び後述する検知領域の位置を把握し易くするため、制御部11は、ベッドを基準とするベッド座標系を利用してもよい。ベッド座標系は、例えば、ベッド上面の基準点pを原点とし、ベッドの幅方向をx軸、ベッドの高さ方向をy軸、及びベッドの長手方向をz軸とする座標系である。このような座標系では、制御部11は、ベッドのサイズに基づいて、ベッドの枠FDの位置を特定することが可能である。以下では、カメラ座標系の座標をこのベッド座標系の座標に変換する射影変換行列Mを算出する方法を説明する。
まず、水平方向を向いたカメラの撮影方向を角度α分ピッチさせる回転行列Rは、以下の数15で表現される。制御部11は、以下の数16及び数17で示される関係式にこの回転行列Rを適用することで、図15で例示される、カメラ座標系でのベッドの向きを示すベクトルZ、及びカメラ座標系でのベッドの高さ方向上方を示すベクトルUをそれぞれ求めることができる。なお、数16及び数17で示される関係式に含まれる「*」は行列の掛け算を意味する。
次に、ベクトルU及びZを以下の数18で示される関係式に適用することで、図16で例示される、ベッドの幅方向に沿うベッド座標系の単位ベクトルXを求めることができる。また、制御部11は、ベクトルZ及びXを以下の数19で示される関係式に適用することで、ベッドの高さ方向に沿うベッド座標系の単位ベクトルYを求めることができる。そして、制御部11は、カメラ座標系における基準点pの座標P、ベクトルX、Y及びZを以下の数20で示される関係式に適用することで、カメラ座標系の座標をベッド座標系の座標に変換する射影変換行列Mを求めることができる。なお、数18及び数19で示される関係式に含まれる「×」はベクトルの外積を意味する。
図17は、本実施形態に係るカメラ座標系とベッド座標系との間の関係を例示する。図17に例示されるように、算出される射影変換行列Mは、カメラ座標系の座標をベッド座標系の座標に変換することができる。したがって、射影変換行列Mの逆行列を利用すれば、ベッド座標系の座標をカメラ座標系の座標に変換することができる。つまり、射影変換行列Mを利用することで、カメラ座標系の座標とベッド座標系の座標とは相互に変換可能になる。ここで、上述のとおり、カメラ座標系の座標と撮影画像3内の座標とは相互に変換可能である。そのため、この時点で、ベッド座標系の座標と撮影画像3内の座標とは相互に変換することができる。
ここで、上述のとおり、ベッドのサイズが特定されている場合、制御部11は、ベッド座標系において、仮想的なベッドの枠FDの位置を特定することができる。つまり、制御部11は、ベッド座標系において、仮想的なベッドの枠FDの座標を特定することができる。そこで、制御部11は、射影変換行列Mを利用して、ベッド座標系における枠FDの座標をカメラ座標系における枠FDの座標に逆変換する。
また、カメラ座標系の座標と撮影画像内の座標との間の関係は、上記数6〜8で示される関係式によって表現される。そのため、制御部11は、上記数6〜8で示される関係式に基づいて、カメラ座標系における枠FDの座標から撮影画像3内に描画する枠FDの位置を特定することができる。つまり、制御部11は、射影変換行列Mとベッドのサイズを示す情報とに基づいて、仮想的なベッドの枠FDの位置を各座標系で特定することができる。このようにして、制御部11は、図13に例示されるように、仮想的なベッドの枠FDを撮影画像3内に描画してもよい。
このように、本実施形態では、基準点pの位置とベッドの向きθとを指定することで、ベッド上面の範囲を設定することができる。例えば、図13で例示されるように、撮影画像3には、ベッド全体が含まれるとは限らない。そのため、ベッド上面の範囲を設定するために、例えば、ベッドの四角を指定しなければならないようなシステムでは、ベッド上面の範囲を設定できない可能性がある。しかしながら、本実施形態では、ベッド上面の範囲を設定するために位置を指定する点は1点(基準点p)で済む。これによって、本実施形態では、カメラ2の設置位置の自由度を高めることができ、かつ、見守りシステムを見守り環境に適用しやすくすることができる。
また、本実施形態では、基準点pを対応させる所定の位置としてベッド上面の中央が採用されている。ベッド上面の中央は、ベッドをどの方向から撮影しても、撮影画像3に写りやすい場所である。そのため、基準点pを対応させる所定の位置としてベッド上面の中央を採用することで、カメラ2の設置位置の自由度を更に高めることができる。
ただし、カメラ2の設置位置の自由度が高まると、カメラ2を配置する選択幅が広がってしまい、利用者にとって却ってカメラ2の配置が困難になる可能性がある。これに対して、本実施形態は、カメラ2の配置位置の候補をタッチパネルディスプレイ13に表示しつつ、利用者にカメラ2の配置を指示することによって、カメラ2の配置を容易にし、このような問題を解決している。
なお、ベッド上面の範囲を記憶する方法は、実施の形態に応じて、適宜、設定されてもよい。上記のとおり、カメラ座標系からベッド座標系に変換する射影変換行列Mとベッドのサイズを示す情報とによって、制御部11は、ベッドの枠FDの位置を特定することができる。そのため、情報処理装置1は、ステップS105で設定したベッド上面の範囲を示す情報として、後述するボタン56を操作したときに指定されている基準点pの位置及びベッドの向きθに基づいて算出される射影変換行列Mとベッドのサイズを示す情報とを記憶してもよい。
(2)指定範囲の評価方法
次に、上記の方法で利用者の指定した範囲がベッド上面の範囲として適正か否かを評価する方法について説明する。図13で例示されるように、画面30には、利用者の指定している範囲が適正か否かを示す表示領域57が含まれている。制御部11は、上述のとおり、評価部28として機能し、利用者の指定している範囲を所定の評価条件に従って評価する。そして、制御部11は、表示制御部24として機能し、その評価結果を利用者に提示するために、表示領域57にその評価結果を表示する。以下、評価方法と評価結果の表示方法とについて詳細に説明する。
(2−1)評価条件
まず、図18〜図24を用いて、本実施形態で利用される評価条件について説明する。上述のとおり、利用者が基準点とベッドの向きとを指定すると仮想的なベッドの枠FDの実空間内での位置を特定することができる。以下では、この仮想的なベッドの枠FDを指定範囲FDとも称することにする。図18は、この指定範囲FDとベッドとの実空間内での関係を例示している。
図18では、ヘッドボード及び左右に一対の柵を備えるベッドと利用者の指定する指定範囲FDとが例示されている。以下では、このようにヘッドボードと左右に一対の柵とを備えるベッドを想定する。指定範囲FDがベッド上面の範囲として適正な場合には、図18で例示される指定範囲FDがベッド上面に一致する状態になる。この状態では、例えば、指定範囲FDの右辺にベッドの柵が存在する等の状況が撮影画像3内に現れる。一方、指定範囲FDがベッド上面の範囲として適正でない場合、図18で例示されるように、指定範囲FDがベッド上面に一致していない状態になる。この状態では、例えば、指定範囲FD内においてベッド上面よりも高さの低い位置に存在する対象が写る等の状況が撮影画像3内に現れる。
このような指定範囲FDがベッド上面として適正な場合に現れる状況、又は指定範囲FDがベッド上面として適正でない場合に現れる状況を撮影画像3内で検知することで、指定範囲FDがベッド上面として適正であるか否かを判定することができる。そこで、所定の評価条件は、このような状況を検知するための条件として与えられてもよい。以下、このようにして与えられる条件を5つ例示する。ただし、評価条件は、このような例に限定されず、指定範囲FDがベッド上面として適正か否かを判定可能であれば、実施の形態に応じて適宜設定されてもよい。
(a)第1評価条件
図19を用いて、第1評価条件を説明する。図19は、第1〜第3評価条件と指定範囲FDとの関係を例示する。第1評価条件は、利用者の指定している指定範囲FD内にベッド上面よりも高さの低い対象の写る画素が含まれていないことを判定するための条件である。
例えば、図18で例示されるように、指定範囲FDの少なくとも一部がベッド上面からずれている場合、指定範囲FDはベッド上面として適正でないと考えられる。この場合に、ベッド上面からずれて一部の部分には、ベッドの側壁、床等のベッド上面よりも低い位置に存在する対象が写りうる。この第1評価条件では、一例として、これらのような状況を判定することができる。
すなわち、制御部11は、評価部28として機能し、指定範囲FDに囲まれる指定面FSに対応する撮影画像3内の領域に含まれる各画素の深度情報に基づいて、この各画素に写る対象がベッド上面よりも高い位置に存在するか低い位置に存在するかを判定する。制御部11は、ベッド上面の高さとしてステップS103で指定されている値hを利用する。そして、制御部11は、指定面FSに対応する撮影画像3内の領域にベッド上面よりも高さの低い対象の写る画素が所定の画素数分以上含まれると判定した場合に、指定範囲FDはこの第1評価条件を満たしていない、換言すると、指定範囲FDはベッド上面として適正ではないと評価する。一方、制御部11は、指定面FSに対応する撮影画像3内の領域にベッド上面よりも高さの低い対象の写る画素が所定の画素数分以上含まれていないと判定した場合に、指定範囲FDはこの第1評価条件を満たしている、換言すると、指定範囲FDはベッド上面として適正であると評価する。
(b)第2評価条件
第2評価条件は、指定範囲FDの右辺にベッドの柵が写っているか否かを判定するための条件である。指定範囲FDがベッド上面に一致する場合には、指定範囲FDの右辺に、ベッド上面の右側に設けられる柵が存在すると想定される。第2評価条件は、このような状況が撮影画像3内で現れているか否かを検知するための条件として与えられる。
具体的には、図19で例示されるように、ベッド上面の右側に設けられる柵の存在を確認するための存在確認領域80が指定範囲FDの右辺上方に設定される。指定範囲FDがベッド上面に一致している場合には、この存在確認領域80内にベッド上面の右側に設けられる柵が存在することになる。そこで、制御部11は、指定範囲FDに基づいて存在確認領域80に対応する撮影画像3内の領域を特定する。そして、制御部11は、深度情報に基づいて、特定した撮影画像3内の対応領域に、この存在確認領域80内に存在する対象を写した画素が含まれているか否かを判定する。
存在確認領域80内に存在する対象を写した画素が撮影画像3内の対応領域に含まれていない場合、指定範囲FDはベッド上面として適正に設定されていないため、ベッド上面の右側に設けられる柵が適正な位置に写っていないと考えられる。そのため、制御部11は、存在確認領域80内に存在する対象を写した画素が撮影画像3内の対応領域に所定の画素数分以上含まれていないと判定した場合に、指定範囲FDはこの第2評価条件を満たしていない、換言すると、指定範囲FDはベッド上面として適正ではないと評価する。一方、制御部11は、存在確認領域80内に存在する対象を写した画素が撮影画像3内の対応領域に所定の画素数分以上含まれていると判定した場合に、指定範囲FDはこの第2評価条件を満たしている、換言すると、指定範囲FDはベッド上面として適正であると評価する。
(c)第3評価条件
第3評価条件は、指定範囲FDの左辺にベッドの柵が写っているか否かを判定するための条件である。第3評価条件は、第2評価条件とほぼ同様に説明可能である。すなわち、第3評価条件は、ベッド上面の左側に設けられる柵が指定範囲FDの左辺に存在する状況が撮影画像3内で現れているか否かを検知するための条件として与えられる。
具体的には、図19で例示されるように、ベッド上面の左側に設けられる柵の存在を確認するための存在確認領域81が指定範囲FDの左辺上方に設定される。指定範囲FDがベッド上面の一致している場合には、この存在確認領域81内にベッド上面の左側に設けられる柵が存在することになる。そこで、制御部11は、指定範囲FDに基づいて存在確認領域81に対応する撮影画像3内の領域を特定する。また、制御部11は、深度情報に基づいて、特定した撮影画像3内の対応領域に、この存在確認領域81内に存在する対象を写した画素が含まれるか否かを判定する。
そして、制御部11は、存在確認領域81内に存在する対象を写した画素が撮影画像3内の対応領域に所定の画素数分以上含まれていないと判定した場合に、指定範囲FDは第3評価条件を満たしていない、換言すると、指定範囲FDはベッド上面として適正ではないと評価する。一方、制御部11は、存在確認領域81内に存在する対象を写した画素が撮影画像3内の対応領域に所定の画素数分以上含まれていると判定した場合に、指定範囲FDはこの第3評価条件を満たしている、換言すると、指定範囲FDはベッド上面として適正であると評価する。
(d)第4評価条件
図20を用いて、第4評価条件を説明する。図20は、第4評価条件と指定範囲FDとの関係を例示する。第4評価条件は、指定範囲FDの上辺のヘッドボードが写っているか否かを判定するための条件である。第4評価条件は、第2及び第3評価条件とほぼ同様に説明可能である。すなわち、第4評価条件は、ヘッドボードが指定範囲FDの上辺に存在する状況が撮影画像3内で現れているか否かを検知するための条件として与えられる。
具体的には、図20で例示されるように、ヘッドボードの存在を確認するための存在確認領域82が指定範囲FDの上辺上方に設定される。指定範囲FDがベッド上面の一致している場合には、この存在確認領域82内それぞれにヘッドボードが存在することになる。そこで、制御部11は、指定範囲FDに基づいて存在確認領域82に対応する撮影画像3内の領域を特定する。そして、制御部11は、深度情報に基づいて、特定した撮影画像3内の対応領域に、この存在確認領域82内に存在する対象を写した画素が含まれるか否かを判定する。
そして、制御部11は、存在確認領域82内に存在する対象を写した画素が撮影画像3内の対応領域に所定の画素数分以上含まれていないと判定した場合に、指定範囲FDは第4評価条件を満たしていない、換言すると、指定範囲FDはベッド上面として適正ではないと評価する。一方、制御部11は、存在確認領域82内に存在する対象を写した画素が撮影画像3内の対応領域に所定の画素数分以上含まれていると判定した場合に、指定範囲FDはこの第4評価条件を満たしている、換言すると、指定範囲FDはベッド上面として適正であると評価する。
なお、第4評価条件における存在確認領域82は、第2及び第3評価条件における存在確認領域(80、81)と同様に、1つの連続する領域として設定されてもよい。しかしながら、本実施形態では、第4評価条件における存在確認領域82は、第2及び第3評価条件における存在確認領域(80、81)と異なり、互いに離間する2つの領域として設定されている。この理由を図21及び図22を用いて説明する。
図21及び図22は、第2〜第4評価条件に基づいて、指定範囲FDがベッド上面として適正か否かを判定する場面を例示する。図21で例示される場面では、第4評価条件における存在確認領域82は1つの連続する領域として設定されている。一方、図22で例示される場面では、本実施形態のように、第4評価条件における存在確認領域82が互いに離間する2つの領域として設定されている。
また、図21及び図22の領域90〜92はそれぞれ、存在確認領域80〜82に対応するベッド上面上の領域である。すなわち、領域90にはベッド上面の右側に設けられる柵が存在し、領域91にはベッド上面の左側に設けられる柵が存在し、領域92にはヘッドボードが存在する。
ここで、制御部11は、存在確認領域82内のいずれの場所であってもヘッドボードが存在すれば、指定範囲FDは第4評価条件を満たしていると判定する。そのため、存在確認領域82が1か所にしか設けられていない場合には、図21で例示されるように、制御部11は、ヘッドボードの向きを考慮することができない。すなわち、制御部11は、ヘッドボードがどのような向きを向いていたとしても、存在確認領域82内のいずれの場所であってもヘッドボードが存在すれば、指定範囲FDは第4評価条件を満たしていると判定してしまう。
一方、図22で例示されるように、存在確認領域82が2か所に離間して設けられている場合には、ヘッドボードがこの2か所の領域を通過しなければ、制御部11は、指定範囲FDが第4評価条件を満たしていると判定しない。そのため、制御部11は、このように離間して設けられる2つの存在確認領域82を通過する範囲内にヘッドボードの向きを限定することができる。
したがって、存在確認領域80〜82それぞれが1つの領域として設定されている場合には、図21で例示されるように、指定範囲FDがベッド上面から大きくずれていても、制御部11は、この指定範囲FDをベッド上面として適正であると判定する可能性がある。一方、存在確認領域80〜82の少なくとも1つが互いに離間する2つの領域として設定されている場合には、図22で例示されるように、制御部11は、図21の例で適正であると判定される指定範囲FDを適正でないと判定することができる。
つまり、互い離間する複数の領域で対象物の存在を確認することで、その対象物に関する評価精度を高めることができる。なお、存在確認領域82は3つ以上設定されてもよいし、上記第2及び第3評価条件における存在確認領域(80、81)もこの第4評価条件と同様に設定されてもよい。
また、上記第2〜第4評価条件における「柵」及び「ヘッドボード」は本発明の「目印」に相当する。また、存在確認領域80〜82はそれぞれ、各目印が写っているか否かを判定するための領域に相当する。目印は、このような例に限られず、ベッド上面に対する相対的な位置が予め特定されている物であれば、実施の形態に応じて適宜設定されてもよい。ベッド上面に対する相対的な位置が予め特定されている目印を利用すれば、その目印とベッド上面との相対的な位置関係に基づいて、指定範囲FDがベッド上面として適正か否かを評価することができる。
ここで、この目印は、例えば、柵、ヘッドボード等のベッドが一般的に備えている物であってもよいし、指定範囲FDの評価を行うためにベッド又はベッド近傍に設けた物であってもよい。ただし、指定範囲FDを評価するための目印として、本実施形態のように、柵、ヘッドボード等のベッドが備えている物を利用した場合には、このような目印を別途用意しなくてもよい。そのため、見守りシステムのコストを抑えることが可能である。
(e)第5評価条件
図23及び図24を用いて、第5評価条件を説明する。図23は、第5評価条件と指定範囲FDとの関係を例示する。また、図24は、撮影画像3内に写る壁を突き抜けて指定範囲FDが指定された場面を例示する。第5評価条件は、指定範囲FDにより規定される指定面FSの上方に存在する対象であって、この指定面FSから所定の高さ以上に高い位置に存在する対象、の写る画素が撮影画像3に含まれているか否かを判定するための条件である。
例えば、図24で例示されるように、撮影画像3内に写る壁を突き抜けて指定範囲FDが指定されていた場合には、指定範囲FDがベッド上面として適正であるときにベッド上面の上空で写らない対象物(壁)が写る。この第5評価条件は、例えばこのような状況を判定するための条件である。
具体的には、指定面FSから所定の高さ(例えば、90cm)以上高い範囲に確認領域84が設定される。制御部11は、指定範囲FD(指定面FS)に基づいて確認領域84に対応する撮影画像3内の領域を特定する。また、制御部11は、深度情報に基づいて、特定した撮影画像3内の対応領域に、この確認領域84内に存在する対象を写した画素が含まれているか否かを判定する。
確認領域84内に存在する対象を写した画素が撮影画像3内の対応領域に含まれている場合、図24で例示されるような状態であり、指定範囲FDがベッド上面として適正に指定されていないと考えられる。そのため、制御部11は、確認領域84内に存在する対象を写した画素が撮影画像3内の対応領域に所定の画素数分以上含まれていると判定した場合に、指定範囲FDはこの第5評価条件を満たしていない、換言すると、指定範囲FDはベッド上面として適正ではないと評価する。一方、制御部11は、確認領域84内に存在する対象を写した画素が撮影画像3内の対応領域に所定の画素数分以上含まれていないと判定した場合に、指定範囲FDはこの第5評価条件を満たしている、換言すると、指定範囲FDはベッド上面として適正であると評価する。なお、確認領域84の範囲を規定する所定の高さは、例えば、ベッド上面に見守り対象者が存在する場合にこの見守り対象者の存在する領域を確認領域84が含まないように設定されるのが望ましい。すなわち、誤評価を避けるために、確認領域84は十分に高い位置に設定されるのが望ましい。
(2−2)評価結果の表示態様
次に、図25A及び図25Bを用いて、評価結果の表示態様について説明する。図25A及び図25Bは、指定範囲FDがベッド上面に適合していない場合における評価結果の表示態様を例示する。上述のとおり、制御部11は、上記5つの評価条件に従って指定範囲FDを評価した結果を表示領域57に表示する。
ここで、制御部11は、上記5つの評価条件に従って指定範囲FDを評価した結果を、3段階のグレードで表現する。具体的には、指定範囲FDが上記5つの評価条件を全て満たすと判定した場合に、制御部11は、ベッド上面の範囲に最も適合していることを示すグレード(以下、「適合グレード」と称する)にその指定範囲FDを評価する。この場合、例えば、図13で例示されるように、制御部11は、「○位置OK」という評価結果を表示領域57に描画する。
また、制御部11は、上記第1〜第3評価条件のうちのいずれか1つでも指定範囲FDが満たさないと判定した場合には、ベッド上面の範囲に最も適合していないことを示すグレード(以下、「不適合グレード」と称する)にその指定範囲FDを評価する。この場合、例えば、図25Aで例示されるように、制御部11は、「×位置NG」という評価結果を表示領域57に描画する。
そして、制御部11は、上記第1〜第3評価条件の全てを指定範囲FDが満たし、かつ、第4及び第5評価条件のうちのいずれか1つでも指定範囲FDが満たさないと判定した場合には、適合グレードと不適合グレードとの間のグレード(以下、「中間グレード」と称する)にその指定範囲FDを評価する。この場合、制御部11は、上記適合グレードと不適合グレードとの間の評価であることを利用者に認識できるように、例えば、図25Bで例示される「△位置NG」という評価結果を表示領域57に描画する。
このように、ベッド上面の範囲の指定が行われている間に指定範囲FDの評価結果を表示することで、利用者は、指定範囲FDがベッド上面として適正か否かを確認しながら、ベッド上面の範囲の設定を行うことができる。そのため、本実施形態によれば、見守りシステムについての知識に乏しい利用者であっても、ベッド上面の範囲を容易に指定することが可能になる。
また、表示する評価結果を複数の段階で表現することで、利用者の操作により指定範囲FDがベッド上面として適正な方向に向かっているのか否かを確認することが可能である。すなわち、表示される評価結果が良いグレードの方に更新された場合には、利用者の操作により指定範囲FDがベッド上面に近づいていることを把握することができる。一方、表示される評価結果が悪いグレードの方に更新された場合には、利用者の操作により指定範囲FDがベッド上面から遠ざかっていることを把握することができる。これにより、本実施形態では、利用者に指定範囲FDを指定する指針を与え、ベッド上面の適正な範囲を特定しやすくすることができる。
なお、適合グレードと不適合グレードとの間に設定される中間グレードは複数設けられてもよい。この場合、各グレードと各グレードにおいて満たす評価条件との対応関係は、実施形態に応じて適宜設定されてよい。また、制御部11は、撮影画像3を表示するタッチパネルディスプレイ13以外の表示装置に評価結果を表示してもよい。評価結果を利用者に提示するために利用される表示装置は、実施の形態に応じて適宜選択されてもよい。
(3)ベッド上面の自動検出
次に、ベッド上面の範囲を自動検出する処理について説明する。図13で例示されるように、画面30には、ベッド上面の範囲を自動検出する処理の実行を受け付けるためのボタン58が設けられている。利用者がボタン58を操作すると、制御部11は、上述のとおり、範囲推定部29として機能し、所定の指定条件に基づいてベッド上面の範囲を繰り返し指定し、繰り返し指定される範囲を上記各評価条件に基づいて評価する。そして、制御部11は、繰り返し指定される範囲のうちから上記各評価条件に最も適合する範囲をベッド上面の範囲として推定する。これにより、ベッド上面の範囲を自動検出することができる。
ここで、図26を用いて、ベッド上面の範囲を指定する所定の指定条件について説明する。所定の指定条件は、ベッド上面の範囲を指定するための条件であればよく、実施の形態に応じて適宜設定されてもよい。ここでは、上述した利用者がベッド上面の範囲を指定する方法に則して、この所定の指定条件を説明する。
図26は、所定の指定条件に基づいてベッド上面の範囲を探索する探索範囲59を例示する。上述したベッド上面の範囲の指定方法では、利用者は、撮影画像3内で基準点とベッドの向きとを指定することにより、ベッド上面の範囲を指定することができる。そこで、制御部11は、例えば、図26で例示される探索範囲59内で上下及び左右に所定間隔ごとに基準点を設定する。そして、設定した基準点それぞれについて、制御部11は、ベッドの向きとして1又は複数の所定の角度を適用することで、ベッド上面の範囲を指定する。すなわち、制御部11は、基準点とベッドの向きとを所定の範囲内で推移させて繰り返し指定することで、ベッド上面の範囲を繰り返し指定することができる。
更に、制御部11は、繰り返し指定されるベッド上面の範囲について上記第1〜第5評価条件を満たすか否かを判定する。そして、制御部11は、上記第1〜第5評価条件を全て満たす範囲、換言すると、上記第1〜第5評価条件に最も適合する範囲をベッド上面の範囲として推定する。更に、制御部11は、ベッド上面の範囲として推定した範囲を指定する基準点の位置をマーカー52に適用し、ベッドの向きをノブ54に適用することで、その推定した範囲を枠FDで明示する。これにより、利用者は、ベッド上面の範囲を指定する作業を行わなくても、ベッド上面の範囲を指定することが可能である。そのため、本実施形態によれば、ベッド上面の設定が容易である。
なお、基準点を設定する探索範囲59は撮影画像3内全域であってもよい。ただし、撮影画像3内全域を探索範囲59とすると、ベッド上面の範囲を自動検出する処理の計算量が膨大になってしまう。そこで、カメラ2の設置条件、ベッドの設置条件等の諸条件に基づいて、探索範囲59が限定されてもよい。
例えば、カメラ2のピッチ角αが17度であり、カメラ2からベッドまでの高さが900mmであり、カメラ2からベッド上面の中央の点(中心)までの水平面での最大距離が3000mmであるとする。このような諸条件が与えられている場合、以下の数21により、ベッド上面の中央の点は、撮影画像3の下半分の領域に存在しうることになる。つまり、このような諸条件が与えられている場合には、撮影画像3の下半分の領域に探索範囲59を限定してもよい。
また、見守り対象者の検知対象とする行動に基づいて、探索範囲59が限定されてもよい。例えば、見守り対象者の離床、端座位等、ベッドの周囲で行われる行動を検知する場合、撮影画像3内にはベッドの周囲の状況が写っていなければならない。したがって、撮影画像3の左右の両端付近にベッド上面の中央の点が写るような状況では、これらの行動を検知できない可能性がある。そのため、このような事情を考慮して、撮影画像3の左右の両端付近を探索範囲59から省略してもよい。図26で例示される探索範囲59は、これらの事情に基づいて設定されている。
なお、繰り返し指定する範囲において第1〜第5評価条件を全て満たす範囲が複数存在する場合がある。このような場合、制御部11は、第1〜第5評価条件を全て満たす範囲を検出した段階で探索を終了し、検出した範囲をベッド上面の範囲として推定してもよい。また、制御部11は、第1〜第5評価条件を全て満たす範囲を全て特定し、特定した複数の範囲をベッド上面の範囲として利用者に提示してもよい。
更に、制御部11は、第1〜第5評価条件を全て満たす範囲のうち、ベッド上面に最も適合する範囲を1つ特定してもよい。ベッド上面に最も適合する範囲を特定する方法の一例として、以下で説明する評価値を利用した方法を挙げることができる。
例えば、制御部11は、第1〜第5評価条件を全て満たす指定範囲FDについて、指定面FSを写す画素、及び存在確認領域80〜82に存在する対象を写す画素を撮影画像3内で特定する。そして、制御部11は、それぞれの画素数の合計を評価値として利用し、ベッド上面に最も適合する範囲を1つ特定してもよい。すなわち、第1〜第5評価条件を全て満たす複数の指定範囲FDのうち、指定面FSを写す画素、及び存在確認領域80〜82に存在する対象を写す画素の最も多くなる指定範囲FDをベッド上面に最も適合する範囲として特定してもよい。
なお、本実施形態では、制御部11は、自動検出した範囲を明示した後、後述する「戻る」ボタン55又は「スタート」ボタン56が操作されるまでの間、再度、利用者からのベッド上面の範囲の指定を受け付ける。この場合、利用者は、情報処理装置1によるベッド上面の自動検出の結果を確認したうえで、再度、ベッド上面の範囲を指定することができる。
具体的には、自動検出の結果が誤っている場合には、利用者は、その範囲を微調整してベッド上面の範囲を設定することができる。一方、自動検出の結果が正しい場合には、利用者は、その範囲をそのままベッド上面に設定することができる。したがって、本実施形態によれば、利用者は、ベッド上面の自動検出の結果を利用することで、ベッド上面の設定を適切かつ容易に行うことができる。ただし、制御部11の動作はこのような例に限定されなくてもよく、制御部11は、自動検出した範囲をそのままベッド上面の範囲に設定してもよい。
(4)その他
図13に戻り、画面50には、更に、設定のやり直しを受け付けるための「戻る」ボタン55と、設定を完了し見守りを開始するための「スタート」ボタン56とが設けられている。利用者が「戻る」ボタン55を操作すると、制御部11は、ステップS103に処理を戻す。
一方、利用者が「スタート」ボタン56を操作すると、制御部11は、基準点pの位置及びベッドの向きθを確定する。すなわち、制御部11は、そのボタン56を操作したときに指定されている基準点pの位置及びベッドの向きθに基づいて特定されるベッドの枠FDの範囲をベッド上面の範囲に設定する。そして、制御部11は、次のステップS106に処理を進める。
<ステップS106〜ステップS108>
ステップS106では、制御部11は、設定部23として機能し、ステップS101で選択された「所定行動」の検知領域が撮影画像3内に写るか否かを判定する。そして、ステップS101で選択された「所定行動」の検知領域が撮影画像3内に写らないと判定した場合には、制御部11は、次のステップS107に処理を進める。一方、ステップS101で選択された「所定行動」の検知領域が撮影画像3内に写ると判定した場合には、制御部11は、本動作例に係るベッドの位置に関する設定を終了し、後述する行動検知に係る処理を開始する。
ステップS107では、制御部11は、設定部23として機能し、ステップS101で選択された「所定行動」の検知が正常に行えない可能性のあることを示す警告メッセージをタッチパネルディスプレイ13等に出力する。警告メッセージには、検知が正常に行えない可能性のある「所定行動」及び撮影画像3内に写っていない検知領域の場所を示す情報が含まれてもよい。
そして、制御部11は、この警告メッセージと共に又は後に、見守り対象者の見守りを行う前に再設定を行うか否かの選択を受け付け、次のステップS108に処理を進める。ステップS108では、制御部11は、利用者に選択に基づいて再設定を行うか否かを判定する。利用者が再設定を行うことを選択した場合には、制御部11は、ステップS105に処理を戻す。一方、利用者が再設定を行わないことを選択した場合には、本動作例に係るベッドの位置に関する設定を終了し、後述する行動検知に係る処理を開始する。
なお、「所定行動」の検知領域は、後述するとおり、「所定行動」を検知するための所定の条件とステップS105で設定されたベッド上面の範囲とに基づいて特定される領域である。すなわち、この「所定行動」の検知領域は、見守り対象者が「所定行動」を行った場合に現れる前景領域の位置を規定する領域である。そのため、制御部11は、前景領域に写る対象がこの検知領域に含まれるか否かを判定することで、見守り対象者の各行動を検知することができる。
そのため、検知領域が撮影画像3内に写らない場合には、本実施形態に係る見守りシステムは、見守り対象者の対象の行動を適切に検知できない可能性がある。そこで、本実施形態に係る情報処理装置1は、ステップS106により、このような見守り対象者の対象の行動を適切に検知できない可能性があるか否かを判定する。そして、情報処理装置1は、そのような可能性がある場合には、ステップS107により、警告メッセージを出力することで、対象の行動を適切に検知できない可能性があることを利用者に知らせることができる。そのため、本実施形態では、見守りシステムの設定の誤りを低減することができる。
なお、検知領域が撮影画像3内に写るか否かを判定する方法は、実施の形態に応じて、適宜、設定されてもよい。例えば、制御部は、検知領域の所定の点が撮影画像3内に写るか否かを判定することで、検知領域が撮影画像3内に写るか否かを特定してもよい。
<その他>
なお、制御部11は、未完了通知部27として機能し、ステップS101の処理を開始してから所定時間内に本動作例に係るベッドの位置に関する設定が完了しない場合、ベッドの位置に関する設定が完了していないことを知らせるための通知を行ってもよい。これにより、ベッドの位置に関する設定の途中で見守りシステムが放置されてしまうことを防止することができる。
ここで、ベッドの位置に関する設定が未完了であることを通知する目安となる所定時間は、設定値として予め定められていてもよいし、利用者による入力値により定められてもよいし、複数の設定値から選択されることで定められてもよい。また、このような設定が未完了であることを知らせるための通知を行う方法は、実施の形態に応じて、適宜、設定されてもよい。
例えば、制御部11は、情報処理装置1に接続されるナースコール等の施設に設置された設備と連携して、この設定未完了の通知を行ってもよい。例えば、制御部11は、外部インタフェース15を介して接続されたナースコールを制御して、ベッドの位置に関する設定が未完了であることを知らせるための通知として、当該ナースコールによる呼び出しを行ってもよい。これにより、見守りシステムの設定が未完了であることを見守り対象者の行動を見守る者に適切に知らせることが可能になる。
また、例えば、制御部11は、情報処理装置1に接続されるスピーカ14から音声を出力することにより、設定未完了の通知を行ってもよい。このスピーカ14がベッドの周辺に配置されている場合、このような通知をスピーカ14で行うことにより、見守りを行う場所周辺に居る者に、見守りシステムの設定が未完了であることを知らせることが可能になる。この見守りを行う場所周辺に居る者には、見守り対象者が含まれてもよい。これにより、見守りシステムの設定が未完了であることを見守り対象者自身にも通知することが可能になる。
また、例えば、制御部11は、タッチパネルディスプレイ13上に、設定が未完了であることを知らせるための画面を表示させてもよい。また、例えば、制御部11は、電子メール、ショートメッセージサービス、プッシュ通知等を利用して、このような通知を行ってもよい。この場合、例えば、通知先となるユーザ端末の電子メールアドレス、電話番号等は記憶部12に予め登録されており、制御部11は、この予め登録されている電子メールアドレス、電話番号等を利用して、設定が未完了であることを知らせるための通知を行う。なお、この場合、ユーザ端末は、携帯電話、PHS(Personal Handy-phone System)、タブレットPC等の携帯端末であってもよい。
[見守り対象者の行動検知]
次に、図27を用いて、情報処理装置1による見守り対象者の行動検知の処理手順を説明する。図27は、情報処理装置1による見守り対象者の行動検知の処理手順を例示する。この行動検知に関する処理手順は一例に過ぎず、各処理は、可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
<ステップS201>
ステップS201では、制御部11は、画像取得部20として機能し、見守り対象者のベッドにおける行動を見守るために設置されるカメラ2によって撮影された撮影画像3を取得する。本実施形態では、カメラ2が深度センサを有するため、取得される撮影画像3には、各画素の深度を示す深度情報が含まれている。
ここで、図28及び図29を用いて、制御部11が取得する撮影画像3について説明する。図28は、制御部11により取得される撮影画像3を例示する。図28で例示される撮影画像3の各画素の濃淡値は、図2と同様、当該各画素の深度に応じて定められている。すなわち、各画素の濃淡値(画素値)は、当該各画素に写る対象の深度に対応している。
制御部11は、上記のとおり、当該深度情報を基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部11は、撮影画像3内の各画素の位置(二次元情報)と深度とから、当該各画素内に写る被写体の三次元空間(実空間)での位置を特定することができる。例えば、図28で例示される撮影画像3に写る被写体の実空間での状態は、次の図29で例示される。
図29は、撮影画像3に含まれる深度情報に基づいて特定される撮影範囲内の被写体の位置の三次元分布を例示する。撮影画像3内の位置と深度とで各画素を三次元空間内にプロットすることで、図29で例示される三次元分布を作成することができる。つまり、制御部11は、図29で例示される三次元分布のように、撮影画像3内に写る被写体の実空間内での状態を認識することができる。
なお、本実施形態に係る情報処理装置1は、医療施設又は介護施設において、入院患者又は施設入居者を見守るために利用される。そこで、制御部11は、リアルタイムに入院患者又は施設入居者の行動を見守ることができるように、カメラ2のビデオ信号に同期させて撮影画像3を取得してもよい。そして、制御部11は、後述するステップS202〜S205までの処理を取得した撮影画像3に対して即座に実行してもよい。情報処理装置1は、このような動作を絶え間なく連続して実行することにより、リアルタイム画像処理を実現し、リアルタイムに入院患者又は施設入居者の行動を見守ることを可能にする。
<ステップS202>
図27に戻り、ステップS202では、制御部11は、前景抽出部21として機能し、ステップS201で取得した撮影画像3の背景として設定された背景画像と撮影画像3との差分から、当該撮影画像3の前景領域を抽出する。ここで、背景画像は、前景領域を抽出するために利用されるデータであり、背景となる対象の深度を含んで設定される。背景画像を作成する方法は、実施の形態に応じて、適宜、設定されてよい。例えば、制御部11は、見守り対象者の見守りを開始したときに得られる数フレーム分の撮影画像の平均を算出することで、背景画像を作成してもよい。このとき、深度情報も含んで撮影画像の平均が算出されることで、深度情報を含む背景画像が作成される。
図30は、図28及び図29で例示した被写体のうち撮影画像3から抽出される前景領域の三次元分布を例示する。具体的には、図30は、見守り対象者がベッド上で起き上がった際に抽出される前景領域の三次元分布を例示している。上記のような背景画像を利用して抽出される前景領域は、背景画像で示される実空間内の状態から変化した位置に現れる。そのため、見守り対象者がベッド上で動いた場合、見守り対象者の動作部位の写る領域は、この前景領域として抽出される。例えば、図30では、見守り対象者がベッド上で上半身を起こす(起き上がり)動作を行っているため、見守り対象者の上半身の写る領域が前景領域として抽出されている。制御部11は、このような前景領域を用いて、見守り対象者の動作を判定する。
なお、本ステップS202において、制御部11が前景領域を抽出する方法は、以上のような方法に限定されなくてもよく、例えば、背景差分法を用いて背景と前景とを分離してもよい。背景差分法として、例えば、上記のような背景画像と入力画像(撮影画像3)との差分から背景と前景とを分離する方法、異なる3枚の画像を用いて背景と前景とを分離する方法、及び統計的モデルを適用することで背景と前景とを分離する方法を挙げることができる。前景領域を抽出する方法は、特に限定されなくてよく、実施の形態に応じて、適宜、選択されてよい。
<ステップS203>
図27に戻り、ステップS203では、制御部11は、行動検知部22として機能し、ステップS202で抽出した前景領域内の画素の深度に基づいて、前景領域に写る対象とベッド上面との位置関係が所定の条件を満たすか否かを判定する。そして、制御部11は、その判定結果に基づいて、見守り対象者の行動を検知する。
ここで、「起き上がり」のみが検知対象の行動に選択されている場合、上記ベッドの位置に関する設定処理では、ベッド上面の範囲の設定は省略され、ベッド上面の高さのみが設定される。そこで、制御部11は、設定されたベッド上面に対して前景領域に写る対象が実空間内で所定距離以上に高い位置に存在するか否かを判定することで、見守り対象者の起き上がりを検知する。
一方、「離床」、「端座位」及び「柵越え」のうちの少なくともいずれかが検知対象の行動に選択されている場合、見守り対象者の行動を検知する基準として、ベッド上面の実空間内での範囲が設定される。そこで、制御部11は、設定されたベッド上面と前景領域に写る対象との実空間内での位置関係が所定の条件を満たすか否かを判定することで、見守りの対象に選択された行動を検知する。
すなわち、制御部11は、いずれの場合であっても、前景領域に写る対象とベッド上面との実空間内での位置関係に基づいて、見守り対象者の行動を検知している。そのため、見守り対象者の行動を検知するための所定の条件は、ベッド上面を基準として設定される所定の領域に前景領域に写る対象が含まれるか否かを判定するための条件に相当しうる。この所定領域は、上述の検知領域に相当する。そこで、以下では、説明の便宜のため、この検知領域と前景領域との関係に基づいて、見守り対象者の行動を検知する方法を説明する。
ただし、見守り対象者の行動を検知する方法は、この検知領域に基づく方法に限られなくてもよく、実施の形態に応じて、適宜、設定されてもよい。また、前景領域に写る対象が検知領域に含まれるか否かを判定する方法は、実施の形態に応じて、適宜、設定されてもよい。例えば、閾値以上の画素数分の前景領域が検知領域に現れるか否かを評価することで、前景領域に写る対象が検知領域に含まれるか否かを判定してもよい。本実施形態では、検知対象の行動として、「起き上がり」、「離床」、「端座位」及び「柵越え」が例示されている。制御部11は、次のようにしてこれらの行動を検知する。
(1)起き上がり
本実施形態では、ステップS101において「起き上がり」が検知対象の行動に選択された場合に、見守り対象者の「起き上がり」が本ステップS203の判定対象となる。起き上がりの検知には、ステップS103で設定されたベッド上面の高さが用いられる。ステップS103におけるベッド上面の高さの設定が完了すると、制御部11は、設定されたベッド上面の高さに基づいて、起き上がりを検知するための検知領域を特定する。
図31は、起き上がりを検知するための検知領域DAを模式的に例示する。検知領域DAは、例えば、図31で例示されるように、ステップS103で指定される指定高さ面(ベッド上面)DFからベッドの高さ方向上方に距離hf以上高い位置に設定される。この距離hfは、本発明の「第2所定距離」に相当する。検知領域DAの範囲は、特に限定されなくてもよく、実施の形態に応じて、適宜、設定されてよい。制御部11は、閾値以上の画素数分の前景領域に写る対象が検知領域DAに含まれると判定した場合に、見守り対象者のベッド上での起き上がりを検知してもよい。
(2)離床
ステップS101において「離床」が検知対象の行動に選択された場合に、見守り対象者の「離床」が本ステップS203の判定対象となる。離床の検知には、ステップS105で設定されたベッド上面の範囲が用いられる。ステップS105におけるベッド上面の範囲の設定が完了すると、制御部11は、設定されたベッド上面の範囲に基づいて、離床を検知するための検知領域を特定することができる。
図32は、離床を検知するための検知領域DBを模式的に例示する。見守り対象者がベッドから離床した場合、ベッドのサイドフレームから離れた位置に前景領域が現れると想定される。そこで、検知領域DBは、図32で例示されるように、ステップS105で特定されたベッド上面の範囲に基づいて、ベッドのサイドフレームから離れた位置に設定されてもよい。検知領域DBの範囲は、上記検知領域DAと同様に、実施の形態に応じて、適宜、設定されてよい。制御部11は、閾値以上の画素数分の前景領域に写る対象が検知領域DBに含まれると判定した場合に、見守り対象者のベッドからの離床を検知してもよい。
(3)端座位
ステップS101において「端座位」が検知対象の行動に選択された場合に、見守り対象者の「端座位」が本ステップS203の判定対象となる。端座位の検知には、離床の検知と同様に、ステップS105で設定されたベッド上面の範囲が用いられる。ステップS105におけるベッド上面の範囲の設定が完了すると、制御部11は、設定されたベッド上面の範囲に基づいて、端座位を検知するための検知領域を特定することができる。
図33は、端座位を検知するための検知領域DCを模式的に例示する。見守り対象者がベッドにおいて端座位を行った場合、ベッドのサイドフレーム周辺、かつ、ベッドの上方から下方にかけて、前景領域が現れると想定される。そこで、検知領域DCは、図33で例示されるように、ベッドのサイドフレーム周辺で、かつ、ベッドの上方から下方にかけて設定されてもよい。制御部11は、閾値以上の画素数分の前景領域に写る対象が検知領域DCに含まれると判定した場合に、見守り対象者のベッドにおける端座位を検知してもよい。
(4)柵越え
ステップS101において「柵越え」が検知対象の行動に選択された場合に、見守り対象者の「柵越え」が本ステップS203の判定対象となる。柵越えの検知には、離床及び端座位の検知と同様に、ステップS105で設定されたベッド上面の範囲が用いられる。ステップS105におけるベッド上面の範囲の設定が完了すると、制御部11は、設定されたベッド上面の範囲に基づいて、柵越えを検知するための検知領域を特定することができる。
ここで、見守り対象者が柵越えを行った場合、ベッドのサイドフレーム周辺で、かつ、ベッドの上方に、前景領域が現れると想定される。そこで、柵越えを検知するための検知領域は、ベッドのサイドフレーム周辺で、かつ、ベッドの上方に、設定されてもよい。制御部11は、閾値以上の画素数分の前景領域に写る対象がこの検知領域に含まれると判定した場合に、見守り対象者の柵越えを検知してもよい。
(5)その他
本ステップ203では、制御部11は、上記のようにして、ステップS101で選択された各行動の検知を行う。すなわち、制御部11は、対象の行動の上記判定条件を満たすと判定した場合に、当該対象の行動を検知することができる。一方、ステップS101で選択された各行動の上記判定条件を満たさないと判定した場合には、制御部11は、見守り対象者の行動を検知することなく、次のステップS204に処理を進める。
なお、上述のとおり、ステップS105では、制御部11は、カメラ座標系のベクトルをベッド座標系のベクトルに変換する射影変換行列Mを算出することができる。また、制御部11は、上記数6〜数8に基づいて、撮影画像3内の任意の点sのカメラ座標系での座標S(Sx,Sy,Sz,1)を特定することができる。そこで、制御部11は、(2)〜(4)において各行動を検知する際に、この射影変換行列Mを利用して、前景領域内の各画素のベッド座標系における座標を算出してもよい。そして、制御部11は、算出したベッド座標系の座標を利用して、前景領域内の各画素に写る対象が各検知領域に含まれるか否かを判定してもよい。
また、見守り対象者の行動を検知する方法は、上記の方法に限定されなくてもよく、実施の形態に応じて、適宜、設定されてよい。例えば、制御部11は、前景領域として抽出された各画素の撮影画像3内の位置及び深度の平均を取ることで、前景領域の平均位置を算出してもよい。そして、制御部11は、実空間内において各行動を検知する条件として設定された検知領域に当該前景領域の平均位置が含まれるか否かを判定することで、見守り対象者の行動を検知してもよい。
更に、制御部11は、前景領域の形状に基づいて、前景領域に写る身体部位を特定してもよい。前景領域は、背景画像からの変化を示す。そのため、前景領域に写る身体部位は、見守り対象者の動作部位に対応する。これに基づいて、制御部11は、特定した身体部位(動作部位)とベッド上面との位置関係に基づいて、見守り対象者の行動を検知してもよい。これと同様に、制御部11は、各行動の検知領域に含まれる前景領域に写る身体部位が所定の身体部位であるか否かを判定することで、見守り対象者の行動を検知してもよい。
<ステップS204>
ステップS204では、制御部11は、危険予兆通知部26として機能し、ステップS203において検知した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定する。ステップS203において検知した行動が見守り対象者に危険の迫る予兆を示す行動である場合、制御部11は、ステップS205に処理を進める。一方、ステップS203において見守り対象者の行動を検知しなかった場合、又は、ステップS203において検知した行動が見守り対象者に危険の迫る予兆を示す行動ではなかった場合、制御部11は、本動作例に係る処理を終了する。
見守り対象者に危険の迫る予兆を示す行動であると設定される行動は、実施の形態に応じて、適宜、選択されてよい。例えば、転落又は転倒が生じる可能性のある行動として、見守り対象者に危険の迫る予兆を示す行動に端座位が設定されていると仮定する。この場合、制御部11は、ステップS203において見守り対象者が端座位の状態にあると検知したとき、ステップS203において検知した行動が見守り対象者に危険の迫る予兆を示す行動であると判定する。
このステップS203において検知した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定する場合に、制御部11は、見守り対象者の行動の遷移を考慮してもよい。例えば、離床から端座位の状態になるよりも、起き上がりから端座位の状態になった方が、見守り対象者が転落又は転倒する可能性が高いと想定される。そこで、制御部11は、ステップS204において、見守り対象者の行動の遷移を踏まえて、ステップS203において検知した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定してもよい。
例えば、制御部11は、見守り対象者の行動を定期的に検知しているところ、ステップS203において、見守り対象者の起き上がりを検知した後に、見守り対象者が端座位の状態になったと検知したとする。このとき、制御部11は、本ステップS204において、ステップS203において推定した行動が見守り対象者に危険の迫る予兆を示す行動であると判定してもよい。
<ステップS205>
ステップS205では、制御部11は、危険予兆通知部26として機能し、見守り対象者に危険の迫る予兆があることを知らせるための通知を行う。制御部11が当該通知を行う方法は、上記設定未完了の通知と同様に、実施の形態に応じて、適宜、設定されてよい。
例えば、制御部11は、上記設定未完了の通知と同様に、見守り対象者に危険の迫る予兆があることを知らせるための通知を、ナースコールを利用して行ってもよいし、スピーカ14を利用して行ってもよい。また、制御部11は、見守り対象者に危険の迫る予兆があることを知らせるための通知を、タッチパネルディスプレイ13上に表示してもよいし、電子メール、ショートメッセージサービス、プッシュ通知等を利用して行ってもよい。
この通知が完了すると、制御部11は、本動作例に係る処理を終了する。ただし、情報処理装置1は、見守り対象者の行動を定期的に検知する場合、上述の動作例に示される処理を定期的に繰り返してもよい。定期的に処理を繰り返す間隔は、適宜、設定されてもよい。また、情報処理装置1は、利用者の要求に応じて、上述の動作例に示される処理を実行してもよい。
以上のように、本実施形態に係る情報処理装置1は、前景領域と被写体の深度とを利用して、見守り対象者の動作部位とベッドとの実空間内の位置関係を評価することで、見守り対象者の行動を検知する。そのため、本実施形態によれば、実空間での見守り対象者の状態に適合する行動推定が可能となる。
§4 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
(1)面積の利用
例えば、カメラ2から被写体が遠ざかるほど、撮影画像3内の被写体の像は小さくなり、カメラ2に被写体が近づくほど、撮影画像3内の被写体の像は大きくなる。撮影画像3内に写る被写体の深度は被写体の表面に対して取得されるが、その撮影画像3の各画素に対応する被写体の表面部分の面積は各画素間で一致するとは限らない。
そこで、制御部11は、被写体の遠近による影響を除外するために、上記ステップS203において、前置領域に写る被写体のうち検知領域に含まれる部分の実空間における面積を算出してもよい。そして、制御部11は、算出した面積に基づいて、見守り対象者の行動を検知してもよい。
なお、撮影画像3内の各画素の実空間における面積は、その各画素の深度に基づいて、次のようにして求めることができる。制御部11は、以下の数22及び数23の関係式に基づいて、図10及び図11で例示される任意の点s(1画素)の実空間内における横方向の長さw及び縦方向の長さhをそれぞれ算出することができる。
したがって、制御部11は、このように算出されるwの2乗、hの2乗、又はwとhとの積によって、深度Dsにおける1画素の実空間内での面積を求めることができる。そこで、制御部11は、上記ステップS203において、前置領域内の画素のうちの検知領域に含まれる対象を写した各画素の実空間内での面積の総和を算出する。そして、制御部11は、算出した面積の総和が所定の範囲内に含まれるか否かを判定することで、見守り対象者のベッドにおける行動を検知してもよい。これにより、被写体の遠近の影響を除外し、見守り対象者の行動の検知精度を高めることができる。
また、制御部11は、上記ステップS105においてベッド上面を自動検出する際に、第1〜第5評価条件を全て満たす指定範囲FDが複数存在する場合、ベッド上面に最も適合する範囲を評価値を利用して特定するときがある。この評価値は、指定面FSを写す画素数と存在確認領域80〜82に存在する対象を写す画素数との合計で与えられた。この評価値の計算において、制御部11は、画素数のカウントに代えて、上記各画素の面積を利用してもよい。
また、このような面積は、深度情報のノイズ、見守り対象者以外の物体の動き、等によって、大きく変化してしまう場合がある。これに対応するため、制御部11は、数フレーム分の面積の平均を利用してもよい。また、制御部11は、処理対象のフレームにおける該当領域の面積と当該処理対象のフレームよりも過去の数フレームにおける当該該当領域の面積の平均との差が所定範囲を超える場合、当該該当領域を処理対象から除外してもよい。
(2)面積及び分散を利用した行動推定
上記のような面積を利用して見守り対象者の行動を検知する場合、行動を検知するための条件となる面積の範囲は、検知領域に含まれると想定される見守り対象者の所定部位に基づいて設定される。この所定部位は、例えば、見守り対象者の頭部、肩部等である。すなわち、見守り対象者の所定部位の面積に基づいて、行動を検知するための条件となる面積の範囲が設定される。
ただし、前置領域に写る対象の実空間内における面積だけでは、制御部11は、その前置領域に写る対象の形状を特定することはできない。そのため、制御部11は、検知領域に含まれる見守り対象者の身体部位を取り違えて、見守り対象者の行動を誤検知してしまう可能性がある。そこで、制御部11は、実空間における広がり具合を示す分散を利用して、このような誤検知を防止してもよい。
図34を用いて、この分散を説明する。図34は、領域の拡がり具合と分散との関係を例示する。図34で例示される領域TA及び領域TBは、それぞれ、同じ面積であるとする。上記のような面積だけで見守り対象者の行動を推定しようとすると、制御部11は、制御部11は、領域TAと領域TBとは同じであると認識してしまうため、見守り対象者の行動を誤検知してしまう可能性がある。
しかしながら、図34で例示されるように、領域TAと領域TBとは実空間における広がりが大きく異なる(図34では水平方向の広がり具合)。そこで、制御部11は、上記ステップS203において、前置領域に含まれる画素のうち検知領域に含まれる対象を写した各画素の分散を算出してもよい。そして、制御部11は、算出した分散が所定の範囲に含まれるか否かの判定に基づいて、見守り対象者の行動を検知してもよい。
なお、上記面積の例と同様に、行動の検知の条件となる分散の範囲は、検知領域に含まれると想定される見守り対象者の所定部位に基づいて設定される。例えば、検知領域に含まれる所定部位が頭部であると想定される場合には、行動の検知の条件となる分散の値は比較的に小さい値の範囲で設定される。一方、検知領域に含まれる所定部位が肩部であると想定される場合には、行動の検知の条件となる分散の値は比較的に大きな値の範囲で設定される。
(3)前景領域の不利用
上記実施形態では、制御部11(情報処理装置1)は、ステップS202で抽出される前景領域を利用して見守り対象者の行動を検知する。しかしながら、見守り対象者の行動を検知する方法は、このような前景領域を利用した方法に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。
見守り対象者の行動を検知する際に前景領域を利用しない場合、制御部11は、上記ステップS202の処理を省略してもよい。そして、制御部11は、行動検知部22として機能し、撮影画像3内の各画素の深度に基づいて、ベッド基準面と見守り対象者との実空間内での位置関係が所定の条件を満たすか否かを判定することで、見守り対象者のベッドに関連する行動を検知してもよい。この例として、例えば、制御部11は、ステップS203の処理として、パターン検出、図形要素検出等によって撮影画像3を解析して見守り対象者に関連する像を特定してもよい。この見守り対象者に関連する像は、見守り対象者の全身の像であってもよいし、頭部、肩部等の1又は複数の身体部位の像であってもよい。そして、制御部11は、特定した見守り対象者に関連する像とベッドとの実空間内での位置関係に基づいて、見守り対象者のベッドに関連する行動を検知してもよい。
なお、上記のとおり、前景領域を抽出するための処理は、撮影画像3と背景画像との差分を計算する処理に過ぎない。そのため、上記実施形態のように前景領域を利用して見守り対象者の行動を検知する場合、制御部11(情報処理装置1)は、高度な画像処理を利用せずに、見守り対象者の行動を検知することができるようになる。これにより、見守り対象者の行動の検知に係る処理を高速化することが可能になる。
(4)ベッド上面の範囲の設定方法
上記実施形態のステップS105では、情報処理装置1(制御部11)は、ベッドの基準点の位置及びベッドの向きの指定を受け付けることで、ベッド上面の実空間内での範囲を特定した。しかしながら、ベッド上面の実空間内での範囲を特定する方法は、このような例に限定されなくてもよく、実施の形態に応じて、適宜、選択されてもよい。例えば、情報処理装置1は、ベッド上面の範囲を規定する4つの角のうち2つの角の指定を受け付けることで、ベッド上面の実空間内での範囲を特定してもよい。以下では、図35を用いて、この方法を説明する。
図35は、ベッド上面の範囲の設定を受け付ける際にタッチパネルディスプレイ13に表示される画面60を例示する。制御部11は、上記ステップS105の処理に置き換えて、当該処理を実行する。すなわち、制御部11は、ステップS105においてベッド上面の範囲の指定を受け付けるために、タッチパネルディスプレイ13に画面60を表示する。画面60は、カメラ2から得られる撮影画像3を描画する領域61、ベッド上面を規定する4つの角のうちの2つの角を指定するための2つのマーカー62を含んでいる。
上記のとおり、ベッドのサイズは見守り環境に応じて予め定められている場合が多く、制御部11は、予め定められた設定値又は利用者による入力値によって、ベッドのサイズを特定することができる。そして、ベッド上面の範囲を規定する4つの角のうち2つの角の実空間内での位置を特定することができれば、これら2つの角の位置にベッドのサイズを示す情報(以下、ベッドのサイズ情報とも称する)を適用することで、ベッド上面の実空間内での範囲を特定することができる。
そこで、制御部11は、例えば、上記実施形態においてマーカー52により指定される基準点pのカメラ座標系での座標Pを算出した方法と同様の方法で、2つのマーカー62によりそれぞれ指定される2つの角のカメラ座標系での座標を算出する。これにより、制御部11は、当該2つの角の実空間上の位置を特定できるようになる。図35で例示される画面60では、利用者は、ヘッドボード側の2つの角を指定する。そのため、制御部11は、この実空間内での位置を特定した2つの角をヘッドボード側の2つの角として取り扱って、ベッド上面の範囲を推定することで、ベッド上面の実空間内での範囲を特定する。
例えば、制御部11は、実空間内での位置を特定した2つの角の間を結ぶベクトルの向きをヘッドボードの向きとして特定する。この場合、制御部11は、いずれの角をベクトルの始点として取り扱ってもよい。そして、制御部11は、このベクトルと同じ高さで垂直な方向を向いたベクトルの向きをサイドフレームの方向として特定する。サイドフレームの方向として複数の候補がある場合には、制御部11は、予め定められた設定に従ってサイドフレームの方向を特定してもよいし、利用者による選択に基づいてサイドフレームの方向を特定してもよい。
また、制御部11は、ベッドのサイズ情報から特定されるベッドの横幅の長さを、実空間内での位置を特定した2つの角の間の距離に対応付ける。これにより、実空間を表現する座標系(例えば、カメラ座標系)での縮尺が実空間に対応付けられる。そして、制御部11は、ベッドのサイズ情報から特定されるベッドの縦幅の長さに基づいて、ヘッドボード側の2つの角それぞれからサイドフレームの方向に存在するフットボード側の2つの角の実空間内での位置を特定する。これにより、制御部11は、ベッド上面の実空間内での範囲を特定することができる。制御部11は、このようにして特定される範囲をベッド上面の範囲に設定する。詳細には、制御部11は、「スタート」ボタンが操作されたときに指定されているマーカー62の位置に基づいて特定される範囲をベッド上面の範囲として設定する。
なお、図35では、指定を受け付ける2つの角として、ヘッドボード側の2つの角が例示されている。しかしながら、指定を受け付ける2つの角は、このような例に限定されなくてもよく、ベッド上面の範囲を規定する4つの角から適宜選択されてもよい。
また、ベッド上面の範囲を規定する4つの角のうちのどの角の位置の指定を受け付けるかは、上述のように予め定められていてもよいし、利用者の選択によって決定されてもよい。この利用者によって位置を指定される対象となる角の選択は、位置を指定する前に行われてもよいし、位置を指定した後に行われてもよい。
また、制御部11は、上記実施形態と同様に、指定されている2つのマーカーの位置から特定されるベッドの枠FDを撮影画像3内に描画してもよい。このようにベッドの枠FDを撮影画像3内に描画することで、指定しているベッドの範囲を確認させるとともに、どの角の位置を指定すればよいかを利用者に視認させることが可能である。
また、制御部11は、上記実施形態と同様に、指定されている2つのマーカーの位置から特定されるベッドの枠FDの評価を行ってもよいし、上記各評価条件に基づいてベッド上面の範囲を自動検出してもよい。これにより、ベッド上面の範囲の設定をより簡便することができる。
(5)ベッド上面の自動検出
また、上記実施形態では、利用者がベッド上面の範囲を指定することを前提にしている。しかしながら、情報処理装置1は、利用者からの範囲の指定を受け付けずに、範囲推定部29としての機能を利用し、ベッド上面(ベッド基準面)の範囲を特定してもよい。この場合、制御部11は、ベッド上面の指定を受け付ける処理、撮影画像3を表示する処理等を省略することができる。具体的には、制御部11は、画像取得部20として機能し、深度情報を含む撮影画像3を取得する。次に、制御部11は、範囲推定部29として機能し、上述の方法で、ベッド上面の範囲を自動検出する。続いて、制御部11は、設定部23として機能し、自動検出された範囲をベッド上面の範囲に設定する。そして、制御部11は、行動検知部22として機能し、撮影画像3内に含まれる深度情報に基づいて、設定されたベッド上面の範囲と見守り対象者との実空間内での位置関係に基づいて、見守り対象者のベッドに関連する行動を検知する。これによれば、利用者の手を煩わせることなくベッド上面の範囲を設定することが可能である。そのため、ベッド上面の範囲の設定が容易である。なお、この場合、タッチパネルディスプレイ13に代えて、表示灯、信号灯、回転灯等によって検知結果が利用者に示されてもよい。
(6)評価条件
また、上記実施形態では、利用者又は制御部11により指定される指定範囲がベッド上面の範囲として適正か否かを判定するための所定の評価条件として、5つの評価条件が例示されている。しかしながら、所定の評価条件は、これらの例に限定されなくてもよく、実施の形態に応じて適宜設定されてもよい。上記評価条件の他の例として、例えば、カメラ2の撮影範囲に入るベッド周囲の領域に物が置かれていない場合には、図36で例示される第6評価条件が利用されてもよい。
図36は、ベッド周囲に関する第6評価条件と指定範囲FDとの関係を例示する。このベッド周囲に関する第6評価条件は、ベッド上面の外側の所定範囲にベッドの配置された床からベッド上面までの高さに存在する対象の写る画素が撮影画像3に含まれているか否かを判定するための条件である。この第6評価条件では、例えば、図36に例示されるように、この指定範囲FDを囲う所定範囲(例えば、ベッド周囲から外側に5cmの範囲)において、指定範囲FDの高さから下方に確認領域85が設定される。
なお、確認領域85の高さ(図中の上下方向の長さ)は、ベッドの配置された床面からベッド上面までの高さに対応するように設定されてもよい。ここで、ベッドの配置された床面からカメラ2までの高さが設定値として与えられている場合は、制御部11は、そのカメラ2の高さからベッド上面の高さhを引くことで、床面からベッド上面までの高さを特定することができる。そのため、制御部11は、このように特定した床面からベッド上面までの高さを確認領域85の高さ(上下方向の長さ)に適用してもよい。また、床面からベッド上面までの高さは設定値として与えられていてもよい。この場合、制御部11は、この設定値を確認領域85の高さ(上下方向の長さ)に適用してもよい。ただし、確認領域85の高さ(図中の上下方向の長さ)は必ずしも特定されていなくてもよく、指定範囲FDの高さから下方の領域に適用されるように、確認領域85の高さ(図中の上下方向の長さ)は無限遠に設定されてもよい。
この第6評価条件を利用する場合、制御部11は、指定範囲FDに基づいて確認領域85に対応する撮影画像3内の領域を特定する。また、制御部11は、深度情報に基づいて、特定した撮影画像3内の対応領域に、この確認領域85内に存在する対象を写した画素が含まれているか否かを判定する。
確認領域85内に存在する対象を写した画素が撮影画像3内の対応領域に含まれている場合、カメラ2の撮影範囲に入るベッド周囲の領域に物が置かれていないという条件に反するため、指定範囲FDがベッド上面として適正に指定されていないと考えられる。そのため、制御部11は、確認領域85内に存在する対象を写した画素が撮影画像3内の対応領域に所定の画素数分以上含まれていると判定した場合に、指定範囲FDはこの第6評価条件を満たしていないと評価する。一方、制御部11は、確認領域85内に存在する対象を写した画素が撮影画像3内の対応領域に所定の画素数分以上含まれていないと判定した場合に、指定範囲FDはこの第6評価条件を満たしていると評価する。
制御部11は、上記6つの評価条件から、指定範囲FDがベッド上面の範囲として適正か否かを判定するために利用する評価条件を1又は複数選択してもよい。また、制御部11は、指定範囲FDがベッド上面の範囲として適正か否かを判定するために、上記6つの評価条件以外の評価条件を利用してもよい。更に、指定範囲FDがベッド上面の範囲として適正か否かを判定するために利用する評価条件の組み合わせは、実施の形態に応じて適宜設定されてもよい。
(7)その他
なお、上記実施形態に係る情報処理装置1は、カメラ2のピッチ角αを考慮した関係式に基づいて、ベッドの位置の設定に関する種々の値を算出している。ただし、情報処理装置1が考慮するカメラ2の属性値は、このピッチ角αに限定されなくてもよく、実施の形態に応じて、適宜、選択されてもよい。例えば、上記情報処理装置1は、カメラ2のピッチ角αの他、カメラ2のロール角等を考慮した関係式に基づいて、ベッドの位置の設定に関する種々の値を算出してもよい。
また、上記実施形態では、ベッド上面の高さの受付(ステップS103)とベッド上面の範囲の受付(ステップS105)とは互いに異なるステップで実行されている。しかしながら、これらのステップは一つのステップで処理されてもよい。例えば、スクロールバー42及びノブ43を画面50又は画面60に設けることにより、制御部11は、ベッド上面の高さの指定を受け付けるとともに、ベッド上面の範囲の指定を受け付けることができる。なお、上記ステップS103は省略され、ベッド上面の高さは予め設定されていてもよい。
1…情報処理装置、2…カメラ、3…撮影画像、
5…プログラム、6…記憶媒体、
20…画像取得部、21…前景抽出部、22…行動検知部、23…設定部、
24…表示制御部、25…行動選択部、26…危険予兆通知部、27…未完了通知部、
28…評価部、29…範囲推定部

Claims (19)

  1. 見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する画像取得部と、
    取得した前記撮影画像を表示装置に表示する表示制御部と、
    表示される前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付けて、該指定された範囲を前記ベッド基準面の範囲に設定する設定部と、
    前記ベッド基準面の指定を前記設定部が受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価部と、
    前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する行動検知部と、
    を備え、
    前記表示制御部は、前記ベッド基準面の範囲の指定を前記設定部が受け付けている間に、前記利用者の指定している範囲についての前記評価部による評価結果を前記利用者に提示する、
    情報処理装置。
  2. 所定の指定条件に基づいてベッド基準面の範囲を繰り返し指定し、該繰り返し指定される範囲を前記評価条件に基づいて評価することで、該繰り返し指定される範囲のうちから該評価条件に最も適合する範囲を前記ベッド基準面の範囲として推定する範囲推定部を更に備え、
    前記表示制御部は、前記範囲推定部により推定される範囲が前記撮影画像上で明示されるように、前記表示装置による前記撮影画像の表示を制御する、
    請求項1に記載の情報処理装置。
  3. 前記設定部は、前記範囲推定部により推定される範囲を前記撮影画像上で明示した後に、前記ベッド基準面の範囲の指定を利用者から受け付けて、該指定された範囲を前記ベッド基準面の範囲に設定する、
    請求項2に記載の情報処理装置。
  4. 前記評価部は、複数個の前記評価条件を利用することで、前記指定の範囲がベッド基準面の範囲に最も適合していることを示すグレードと前記指定の範囲がベッド上面の範囲に最も適合していないことを示すグレードとの間に少なくとも1段階以上のグレードを含む3段階以上のグレードで、前記利用者の指定している範囲を評価し、
    前記表示制御部は、前記利用者の指定している範囲についての評価結果であって、前記3段階以上のグレードで表現された評価結果、を前記利用者に提示する、
    請求項1から3のいずれか1項に記載の情報処理装置。
  5. 前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部を更に備え、
    前記行動検知部は、前記前景領域内の各画素の深度に基づいて特定される前記前景領域に写る対象の実空間内での位置を前記見守り対象者の位置として利用して、実空間内での前記ベッド基準面と前記見守り対象者との位置関係が前記検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する、
    請求項1から4のいずれか1項に記載の情報処理装置。
  6. 前記設定部は、前記ベッド基準面の範囲としてベッド上面の範囲の指定を受け付け、
    前記行動検知部は、実空間内での前記ベッド上面と前記見守り対象者との位置関係が前記検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する、
    請求項1から5のいずれか1項に記載の情報処理装置。
  7. 前記設定部は、前記ベッド上面の高さの指定を受け付けて、該指定される高さを前記ベッド上面の高さに設定し、
    前記表示制御部は、前記ベッド上面の高さの指定を前記設定部が受け付けている間に、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記ベッド上面の高さとして指定されている高さに位置する対象を写した領域を前記撮影画像上で明示するように、前記表示装置による前記撮影画像の表示を制御する、
    請求項6に記載の情報処理装置。
  8. 前記設定部は、前記ベッド上面の高さを設定する際に又は設定した後に、前記ベッド上面の範囲を特定するために前記ベッド上面内に設定される基準点の位置と前記ベッドの向きとの指定を前記撮影画像内で受け付けて、指定される前記基準点の位置及び前記ベッドの向きに基づいて特定される範囲を前記ベッド上面の実空間内での範囲に設定する、
    請求項7に記載の情報処理装置。
  9. 前記設定部は、前記ベッド上面の高さを設定する際に又は設定した後に、ベッド上面の範囲を規定する4つの角のうち2つの角の位置の指定を前記撮影画像内で受け付けて、指定された該2つの角の位置に基づいて特定される範囲を前記ベッド上面の実空間内での範囲に設定する、
    請求項7に記載の情報処理装置。
  10. 前記所定の評価条件は、前記利用者の指定している範囲内に前記ベッド上面よりも高さの低い対象の写る画素が含まれていないことを判定するための条件を含んでおり、
    前記評価部は、前記利用者の指定している範囲内に前記ベッド上面よりも高さの低い対象の写る画素が含まれていないと判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価する、
    請求項6から9のいずれか1項に記載の情報処理装置。
  11. 前記所定の評価条件は、前記実空間内で前記ベッド上面に対する相対的な位置が予め特定されている目印が写っているか否かを判定するための条件を含んでおり、
    前記評価部は、前記撮影画像に前記目印が写っていると判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価する、
    請求項6から10のいずれか1項に記載の情報処理装置。
  12. 前記目印には、前記ベッドに設けられる一対の柵及びヘッドボードのうちの少なくとも何れかが含まれる、
    請求項11に記載の情報処理装置。
  13. 前記目印には、前記ベッドに設けられる一対の柵及びヘッドボードが含まれ、
    前記評価部は、前記一対の柵及びヘッドボードのうちの少なくとも何れかの目印については、互いに離間する複数の領域で該目印が写っているか否かを判定する、
    請求項11又は12に記載の情報処理装置。
  14. 前記ベッド上面の範囲として前記利用者の指定する範囲によって、前記実空間上で指定面が規定され、
    前記所定の評価条件は、前記指定面の上方に存在する対象であって、該指定面から所定の高さ以上高い位置に存在する対象、の写る画素が前記撮影画像に含まれているか否かを判定するための条件を含んでおり、
    前記評価部は、前記指定面から所定の高さ以上高い位置に存在する対象の写る画素が前記撮影画像に含まれていないと判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価する、
    請求項6から13のいずれか1項に記載の情報処理装置。
  15. 前記見守り対象者について検知した行動が前記見守り対象者に危険の迫る予兆を示す行動である場合に、当該予兆を知らせるための通知を行う危険予兆通知部を更に備える、
    請求項1から14のいずれか1項に記載の情報処理装置。
  16. 前記設定部による設定が所定時間内に完了しない場合に、前記設定部による設定が完了していないことを知らせるための通知を行う未完了通知部を更に備える、
    請求項1から15のいずれか1項に記載の情報処理装置。
  17. コンピュータが、
    見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する取得ステップと、
    取得した前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付ける受付ステップと、
    前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価ステップと、
    前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、前記評価ステップによる前記利用者の指定している範囲についての評価結果を前記利用者に提示する提示ステップと、
    前記利用者による範囲の指定が完了した際に指定されている範囲を前記ベッド基準面の範囲に設定する設定ステップと、
    前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する検知ステップと、
    を実行する情報処理方法。
  18. コンピュータに、
    見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する取得ステップと、
    取得した前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付ける受付ステップと、
    前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価ステップと、
    前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、前記評価ステップによる前記利用者の指定している範囲についての評価結果を前記利用者に提示する提示ステップと、
    前記利用者による範囲の指定が完了した際に指定されている範囲を前記ベッド基準面の範囲に設定する設定ステップと、
    前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する検知ステップと、
    を実行させるためのプログラム。
  19. 見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する画像取得部と、
    所定の指定条件に基づいてベッド基準面の範囲を繰り返し指定し、所定の評価条件に基づいて、該繰り返し指定される範囲を該ベッド基準面の範囲として適正か否かを評価することで、該繰り返し指定される範囲のうちから該評価条件に最も適合する範囲を該ベッド基準面の範囲として推定する範囲推定部と、
    前記推定された範囲を前記ベッドの基準面の範囲に設定する設定部と、
    前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する行動検知部と、
    を備える情報処理装置。
JP2016508564A 2014-03-20 2015-01-22 情報処理装置、情報処理方法、及び、プログラム Active JP6504156B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014058638 2014-03-20
JP2014058638 2014-03-20
PCT/JP2015/051635 WO2015141268A1 (ja) 2014-03-20 2015-01-22 情報処理装置、情報処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JPWO2015141268A1 JPWO2015141268A1 (ja) 2017-04-06
JP6504156B2 true JP6504156B2 (ja) 2019-04-24

Family

ID=54144248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016508564A Active JP6504156B2 (ja) 2014-03-20 2015-01-22 情報処理装置、情報処理方法、及び、プログラム

Country Status (4)

Country Link
US (1) US20170014051A1 (ja)
JP (1) JP6504156B2 (ja)
CN (1) CN105940428A (ja)
WO (1) WO2015141268A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105942749B (zh) * 2016-05-30 2019-03-01 京东方科技集团股份有限公司 电视床及其工作方法
CN106333816A (zh) * 2016-09-20 2017-01-18 上海市杨浦区中心医院 伤口换药车
JP6635074B2 (ja) * 2017-03-02 2020-01-22 オムロン株式会社 見守り支援システム及びその制御方法
JP6717235B2 (ja) * 2017-03-02 2020-07-01 オムロン株式会社 見守り支援システム及びその制御方法
JP2019020790A (ja) * 2017-07-12 2019-02-07 キング通信工業株式会社 見守りエリアの形成方法
JP7090328B2 (ja) * 2018-06-15 2022-06-24 エイアイビューライフ株式会社 情報処理装置
JP6629409B1 (ja) * 2018-10-22 2020-01-15 株式会社アルファブレイン・ワールド ヘアーアイロン用カバー部材及びヘアーアイロン
US20240164662A1 (en) * 2021-03-26 2024-05-23 KapCare SA Device and method for detecting a movement or stopping of a movement of a person or of an object in a room, or an event relating to said person
CN115191788B (zh) * 2022-07-14 2023-06-23 慕思健康睡眠股份有限公司 一种基于智能床垫的体感互动方法及相关产品

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2752335B2 (ja) * 1994-09-27 1998-05-18 鐘紡株式会社 病室内患者監視装置
JP4590745B2 (ja) * 2001-01-31 2010-12-01 パナソニック電工株式会社 画像処理装置
JP2009049943A (ja) * 2007-08-22 2009-03-05 Alpine Electronics Inc 距離画像によるトップビュー表示装置
WO2009029996A1 (en) * 2007-09-05 2009-03-12 Conseng Pty Ltd Patient monitoring system
JP5648840B2 (ja) * 2009-09-17 2015-01-07 清水建設株式会社 ベッド上及び室内の見守りシステム
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム
JP5915199B2 (ja) * 2012-01-20 2016-05-11 富士通株式会社 状態検知装置および状態検知方法

Also Published As

Publication number Publication date
JPWO2015141268A1 (ja) 2017-04-06
US20170014051A1 (en) 2017-01-19
WO2015141268A1 (ja) 2015-09-24
CN105940428A (zh) 2016-09-14

Similar Documents

Publication Publication Date Title
JP6504156B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6115335B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6432592B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6489117B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6500785B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6167563B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2015133195A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6780641B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JPWO2016151966A1 (ja) 乳幼児監視装置、乳幼児監視方法、及び、乳幼児監視プログラム
JP6607253B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP6737262B2 (ja) 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム
JP6645503B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP6565468B2 (ja) 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム
JP6606912B2 (ja) 浴室異常検知装置、浴室異常検知方法、及び浴室異常検知プログラム
JP2022126069A (ja) 画像処理方法
JP2022072765A (ja) ベッド領域抽出装置、ベッド領域抽出方法、ベッド領域抽出プログラムおよび見守り支援システム

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20161122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190311

R150 Certificate of patent or registration of utility model

Ref document number: 6504156

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250