JP6504156B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents
情報処理装置、情報処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP6504156B2 JP6504156B2 JP2016508564A JP2016508564A JP6504156B2 JP 6504156 B2 JP6504156 B2 JP 6504156B2 JP 2016508564 A JP2016508564 A JP 2016508564A JP 2016508564 A JP2016508564 A JP 2016508564A JP 6504156 B2 JP6504156 B2 JP 6504156B2
- Authority
- JP
- Japan
- Prior art keywords
- bed
- range
- designated
- user
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 126
- 238000003672 processing method Methods 0.000 title claims description 5
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000011156 evaluation Methods 0.000 claims description 210
- 230000009471 action Effects 0.000 claims description 208
- 238000001514 detection method Methods 0.000 claims description 137
- 238000012545 processing Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 91
- 238000012790 confirmation Methods 0.000 description 59
- 230000006399 behavior Effects 0.000 description 47
- 230000006870 function Effects 0.000 description 39
- 230000008569 process Effects 0.000 description 39
- 230000000630 rising effect Effects 0.000 description 21
- 239000013598 vector Substances 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 12
- 230000009466 transformation Effects 0.000 description 11
- 239000003550 marker Substances 0.000 description 9
- 238000009434 installation Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010011985 Decubitus ulcer Diseases 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 241001290864 Schoenoplectus Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 235000012730 carminic acid Nutrition 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1115—Monitoring leaving of a patient support, e.g. a bed or a wheelchair
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/002—Monitoring the patient using a local or closed circuit, e.g. in a room or building
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
- A61B5/1117—Fall detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Psychology (AREA)
- Alarm Systems (AREA)
- Invalid Beds And Related Equipment (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Description
まず、図1を用いて、本発明が適用される場面について説明する。図1は、本発明が適用される場面の一例を模式的に示す。本実施形態では、医療施設又は介護施設において、入院患者又は施設入居者が見守り対象者として行動を見守られる場面が想定されている。見守り対象者の見守りを行う者(以下、「利用者」とも称する)は、情報処理装置1とカメラ2とを含む見守りシステムを利用して、見守り対象者のベッドでの行動を検知する。
<ハードウェア構成例>
次に、図3を用いて、情報処理装置1のハードウェア構成を説明する。図3は、本実施形態に係る情報処理装置1のハードウェア構成を例示する。情報処理装置1は、図3に例示されるように、CPU、RAM(Random Access Memory)、ROM(Read Only Memory)等を含む制御部11、制御部11で実行するプログラム5等を記憶する記憶部12、画像の表示と入力を行うためのタッチパネルディスプレイ13、音声を出力するためのスピーカ14、外部装置と接続するための外部インタフェース15、ネットワークを介して通信を行うための通信インタフェース16、及び記憶媒体6に記憶されたプログラムを読み込むためのドライブ17が電気的に接続されたコンピュータである。ただし、図3では、通信インタフェース及び外部インタフェースは、それぞれ、「通信I/F」及び「外部I/F」と記載されている。
次に、図5を用いて、情報処理装置1の機能構成を説明する。図5は、本実施形態に係る情報処理装置1の機能構成を例示する。本実施形態に係る情報処理装置1が備える制御部11は、記憶部12に記憶されたプログラム5をRAMに展開する。そして、制御部11は、RAMに展開されたプログラム5をCPUにより解釈及び実行して、各構成要素を制御する。これにより、本実施形態に係る情報処理装置1は、画像取得部20、前景抽出部21、行動検知部22、設定部23、表示制御部24、行動選択部25、危険予兆通知部26、未完了通知部27、評価部28、及び範囲推定部29を備えるコンピュータとして機能する。
[ベッドの位置設定]
まず、図6を用いて、ベッドの位置に関する設定の処理について説明する。図6は、ベッドの位置に関する設定の際における情報処理装置1の処理手順を例示する。このベッドの位置に関する設定の処理は、いかなるタイミングで実行されてもよく、例えば、見守り対象者の見守りを開始する前、プログラム5を立ち上げたときに実行される。なお、以下で説明する処理手順は一例に過ぎず、各処理は、可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び、追加が可能である。
ステップS101では、制御部11は、行動選択部25として機能し、見守り対象者がベッドにおいて行う複数の行動から検知対象とする行動の選択を受け付ける。そして、ステップS102では、制御部11は、表示制御部24として機能し、検知対象として選択された1又は複数の行動に応じて、ベッドに対するカメラ2の配置位置の候補をタッチパネルディスプレイ13に表示する。図7及び図8を用いて、これらの処理を説明する。
図6に戻り、ステップS103では、制御部11は、設定部23として機能し、ベッド上面の高さの指定を受け付ける。制御部11は、指定された高さをベッド上面の高さに設定する。また、制御部11は、画像取得部20として機能しており、深度情報を含む撮影画像3をカメラ2から取得している。そして、制御部11は、ベッド上面の高さの指定を受け付けている際に、表示制御部24として機能し、指定されている高さに位置する対象を写した領域を撮影画像3上で明示するようにして、取得される撮影画像3をタッチパネルディスプレイ13に表示させる。
図6に戻り、ステップS104では、制御部11は、ステップS101において選択された検知対象の1又は複数の行動にベッド上での起き上がり以外の行動が含まれているか否かを判定する。ステップS101で選択された1又は複数の行動に起き上がり以外の行動が含まれている場合、制御部11は、次のステップS105に処理を進めて、ベッド上面の範囲の設定を受け付ける。一方、ステップS101で選択された1又は複数の行動に起き上がり以外の行動が含まれていない場合、換言すると、ステップS101で選択された行動が起き上がりのみである場合、制御部11は、本動作例に係るベッドの位置に関する設定を終了し、後述する行動検知に係る処理を開始する。
ステップS105では、制御部11は、設定部23として機能し、ベッドの基準点の位置及びベッドの向きの指定を受け付ける。そして、制御部11は、指定された基準点の位置及びベッドの向きに基づいて、ベッド上面の実空間内での範囲を設定する。ここで、制御部11は、評価部28として機能し、ベッド上面の範囲の指定を受け付けている間、所定の評価条件に基づいて、利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する。そして、制御部11は、表示制御部24として機能し、その評価結果を利用者に提示する。また、制御部11は、範囲推定部29としても機能することができ、所定の指定条件に基づいてベッド上面の範囲を繰り返し指定し、繰り返し指定される範囲を評価条件に基づいて評価してもよい。そして、制御部11は、繰り返し指定される範囲のうちから評価条件に最も適合する範囲をベッド上面の範囲として推定してもよい。これにより、ベッド上面の範囲を自動検出することができる。これらの処理について以下詳細に説明する。
まず、図13を用いて、利用者がベッド上面の範囲を指定する方法について説明する。図13は、ベッド上面の範囲の設定を受け付ける際にタッチパネルディスプレイ13に表示される画面50を例示する。制御部11は、ステップS105においてベッド上面の範囲の指定を受け付けるために、タッチパネルディスプレイ13に画面50を表示する。画面50は、カメラ2から得られる撮影画像3を描画する領域51、基準点を指定するためのマーカー52、及びベッドの向きを指定するためのスクロールバー53を含んでいる。
次に、上記の方法で利用者の指定した範囲がベッド上面の範囲として適正か否かを評価する方法について説明する。図13で例示されるように、画面30には、利用者の指定している範囲が適正か否かを示す表示領域57が含まれている。制御部11は、上述のとおり、評価部28として機能し、利用者の指定している範囲を所定の評価条件に従って評価する。そして、制御部11は、表示制御部24として機能し、その評価結果を利用者に提示するために、表示領域57にその評価結果を表示する。以下、評価方法と評価結果の表示方法とについて詳細に説明する。
まず、図18〜図24を用いて、本実施形態で利用される評価条件について説明する。上述のとおり、利用者が基準点とベッドの向きとを指定すると仮想的なベッドの枠FDの実空間内での位置を特定することができる。以下では、この仮想的なベッドの枠FDを指定範囲FDとも称することにする。図18は、この指定範囲FDとベッドとの実空間内での関係を例示している。
図19を用いて、第1評価条件を説明する。図19は、第1〜第3評価条件と指定範囲FDとの関係を例示する。第1評価条件は、利用者の指定している指定範囲FD内にベッド上面よりも高さの低い対象の写る画素が含まれていないことを判定するための条件である。
第2評価条件は、指定範囲FDの右辺にベッドの柵が写っているか否かを判定するための条件である。指定範囲FDがベッド上面に一致する場合には、指定範囲FDの右辺に、ベッド上面の右側に設けられる柵が存在すると想定される。第2評価条件は、このような状況が撮影画像3内で現れているか否かを検知するための条件として与えられる。
第3評価条件は、指定範囲FDの左辺にベッドの柵が写っているか否かを判定するための条件である。第3評価条件は、第2評価条件とほぼ同様に説明可能である。すなわち、第3評価条件は、ベッド上面の左側に設けられる柵が指定範囲FDの左辺に存在する状況が撮影画像3内で現れているか否かを検知するための条件として与えられる。
図20を用いて、第4評価条件を説明する。図20は、第4評価条件と指定範囲FDとの関係を例示する。第4評価条件は、指定範囲FDの上辺のヘッドボードが写っているか否かを判定するための条件である。第4評価条件は、第2及び第3評価条件とほぼ同様に説明可能である。すなわち、第4評価条件は、ヘッドボードが指定範囲FDの上辺に存在する状況が撮影画像3内で現れているか否かを検知するための条件として与えられる。
図23及び図24を用いて、第5評価条件を説明する。図23は、第5評価条件と指定範囲FDとの関係を例示する。また、図24は、撮影画像3内に写る壁を突き抜けて指定範囲FDが指定された場面を例示する。第5評価条件は、指定範囲FDにより規定される指定面FSの上方に存在する対象であって、この指定面FSから所定の高さ以上に高い位置に存在する対象、の写る画素が撮影画像3に含まれているか否かを判定するための条件である。
次に、図25A及び図25Bを用いて、評価結果の表示態様について説明する。図25A及び図25Bは、指定範囲FDがベッド上面に適合していない場合における評価結果の表示態様を例示する。上述のとおり、制御部11は、上記5つの評価条件に従って指定範囲FDを評価した結果を表示領域57に表示する。
次に、ベッド上面の範囲を自動検出する処理について説明する。図13で例示されるように、画面30には、ベッド上面の範囲を自動検出する処理の実行を受け付けるためのボタン58が設けられている。利用者がボタン58を操作すると、制御部11は、上述のとおり、範囲推定部29として機能し、所定の指定条件に基づいてベッド上面の範囲を繰り返し指定し、繰り返し指定される範囲を上記各評価条件に基づいて評価する。そして、制御部11は、繰り返し指定される範囲のうちから上記各評価条件に最も適合する範囲をベッド上面の範囲として推定する。これにより、ベッド上面の範囲を自動検出することができる。
図13に戻り、画面50には、更に、設定のやり直しを受け付けるための「戻る」ボタン55と、設定を完了し見守りを開始するための「スタート」ボタン56とが設けられている。利用者が「戻る」ボタン55を操作すると、制御部11は、ステップS103に処理を戻す。
ステップS106では、制御部11は、設定部23として機能し、ステップS101で選択された「所定行動」の検知領域が撮影画像3内に写るか否かを判定する。そして、ステップS101で選択された「所定行動」の検知領域が撮影画像3内に写らないと判定した場合には、制御部11は、次のステップS107に処理を進める。一方、ステップS101で選択された「所定行動」の検知領域が撮影画像3内に写ると判定した場合には、制御部11は、本動作例に係るベッドの位置に関する設定を終了し、後述する行動検知に係る処理を開始する。
なお、制御部11は、未完了通知部27として機能し、ステップS101の処理を開始してから所定時間内に本動作例に係るベッドの位置に関する設定が完了しない場合、ベッドの位置に関する設定が完了していないことを知らせるための通知を行ってもよい。これにより、ベッドの位置に関する設定の途中で見守りシステムが放置されてしまうことを防止することができる。
次に、図27を用いて、情報処理装置1による見守り対象者の行動検知の処理手順を説明する。図27は、情報処理装置1による見守り対象者の行動検知の処理手順を例示する。この行動検知に関する処理手順は一例に過ぎず、各処理は、可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS201では、制御部11は、画像取得部20として機能し、見守り対象者のベッドにおける行動を見守るために設置されるカメラ2によって撮影された撮影画像3を取得する。本実施形態では、カメラ2が深度センサを有するため、取得される撮影画像3には、各画素の深度を示す深度情報が含まれている。
図27に戻り、ステップS202では、制御部11は、前景抽出部21として機能し、ステップS201で取得した撮影画像3の背景として設定された背景画像と撮影画像3との差分から、当該撮影画像3の前景領域を抽出する。ここで、背景画像は、前景領域を抽出するために利用されるデータであり、背景となる対象の深度を含んで設定される。背景画像を作成する方法は、実施の形態に応じて、適宜、設定されてよい。例えば、制御部11は、見守り対象者の見守りを開始したときに得られる数フレーム分の撮影画像の平均を算出することで、背景画像を作成してもよい。このとき、深度情報も含んで撮影画像の平均が算出されることで、深度情報を含む背景画像が作成される。
図27に戻り、ステップS203では、制御部11は、行動検知部22として機能し、ステップS202で抽出した前景領域内の画素の深度に基づいて、前景領域に写る対象とベッド上面との位置関係が所定の条件を満たすか否かを判定する。そして、制御部11は、その判定結果に基づいて、見守り対象者の行動を検知する。
本実施形態では、ステップS101において「起き上がり」が検知対象の行動に選択された場合に、見守り対象者の「起き上がり」が本ステップS203の判定対象となる。起き上がりの検知には、ステップS103で設定されたベッド上面の高さが用いられる。ステップS103におけるベッド上面の高さの設定が完了すると、制御部11は、設定されたベッド上面の高さに基づいて、起き上がりを検知するための検知領域を特定する。
ステップS101において「離床」が検知対象の行動に選択された場合に、見守り対象者の「離床」が本ステップS203の判定対象となる。離床の検知には、ステップS105で設定されたベッド上面の範囲が用いられる。ステップS105におけるベッド上面の範囲の設定が完了すると、制御部11は、設定されたベッド上面の範囲に基づいて、離床を検知するための検知領域を特定することができる。
ステップS101において「端座位」が検知対象の行動に選択された場合に、見守り対象者の「端座位」が本ステップS203の判定対象となる。端座位の検知には、離床の検知と同様に、ステップS105で設定されたベッド上面の範囲が用いられる。ステップS105におけるベッド上面の範囲の設定が完了すると、制御部11は、設定されたベッド上面の範囲に基づいて、端座位を検知するための検知領域を特定することができる。
ステップS101において「柵越え」が検知対象の行動に選択された場合に、見守り対象者の「柵越え」が本ステップS203の判定対象となる。柵越えの検知には、離床及び端座位の検知と同様に、ステップS105で設定されたベッド上面の範囲が用いられる。ステップS105におけるベッド上面の範囲の設定が完了すると、制御部11は、設定されたベッド上面の範囲に基づいて、柵越えを検知するための検知領域を特定することができる。
本ステップ203では、制御部11は、上記のようにして、ステップS101で選択された各行動の検知を行う。すなわち、制御部11は、対象の行動の上記判定条件を満たすと判定した場合に、当該対象の行動を検知することができる。一方、ステップS101で選択された各行動の上記判定条件を満たさないと判定した場合には、制御部11は、見守り対象者の行動を検知することなく、次のステップS204に処理を進める。
ステップS204では、制御部11は、危険予兆通知部26として機能し、ステップS203において検知した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定する。ステップS203において検知した行動が見守り対象者に危険の迫る予兆を示す行動である場合、制御部11は、ステップS205に処理を進める。一方、ステップS203において見守り対象者の行動を検知しなかった場合、又は、ステップS203において検知した行動が見守り対象者に危険の迫る予兆を示す行動ではなかった場合、制御部11は、本動作例に係る処理を終了する。
ステップS205では、制御部11は、危険予兆通知部26として機能し、見守り対象者に危険の迫る予兆があることを知らせるための通知を行う。制御部11が当該通知を行う方法は、上記設定未完了の通知と同様に、実施の形態に応じて、適宜、設定されてよい。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
例えば、カメラ2から被写体が遠ざかるほど、撮影画像3内の被写体の像は小さくなり、カメラ2に被写体が近づくほど、撮影画像3内の被写体の像は大きくなる。撮影画像3内に写る被写体の深度は被写体の表面に対して取得されるが、その撮影画像3の各画素に対応する被写体の表面部分の面積は各画素間で一致するとは限らない。
上記のような面積を利用して見守り対象者の行動を検知する場合、行動を検知するための条件となる面積の範囲は、検知領域に含まれると想定される見守り対象者の所定部位に基づいて設定される。この所定部位は、例えば、見守り対象者の頭部、肩部等である。すなわち、見守り対象者の所定部位の面積に基づいて、行動を検知するための条件となる面積の範囲が設定される。
上記実施形態では、制御部11(情報処理装置1)は、ステップS202で抽出される前景領域を利用して見守り対象者の行動を検知する。しかしながら、見守り対象者の行動を検知する方法は、このような前景領域を利用した方法に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。
上記実施形態のステップS105では、情報処理装置1(制御部11)は、ベッドの基準点の位置及びベッドの向きの指定を受け付けることで、ベッド上面の実空間内での範囲を特定した。しかしながら、ベッド上面の実空間内での範囲を特定する方法は、このような例に限定されなくてもよく、実施の形態に応じて、適宜、選択されてもよい。例えば、情報処理装置1は、ベッド上面の範囲を規定する4つの角のうち2つの角の指定を受け付けることで、ベッド上面の実空間内での範囲を特定してもよい。以下では、図35を用いて、この方法を説明する。
また、上記実施形態では、利用者がベッド上面の範囲を指定することを前提にしている。しかしながら、情報処理装置1は、利用者からの範囲の指定を受け付けずに、範囲推定部29としての機能を利用し、ベッド上面(ベッド基準面)の範囲を特定してもよい。この場合、制御部11は、ベッド上面の指定を受け付ける処理、撮影画像3を表示する処理等を省略することができる。具体的には、制御部11は、画像取得部20として機能し、深度情報を含む撮影画像3を取得する。次に、制御部11は、範囲推定部29として機能し、上述の方法で、ベッド上面の範囲を自動検出する。続いて、制御部11は、設定部23として機能し、自動検出された範囲をベッド上面の範囲に設定する。そして、制御部11は、行動検知部22として機能し、撮影画像3内に含まれる深度情報に基づいて、設定されたベッド上面の範囲と見守り対象者との実空間内での位置関係に基づいて、見守り対象者のベッドに関連する行動を検知する。これによれば、利用者の手を煩わせることなくベッド上面の範囲を設定することが可能である。そのため、ベッド上面の範囲の設定が容易である。なお、この場合、タッチパネルディスプレイ13に代えて、表示灯、信号灯、回転灯等によって検知結果が利用者に示されてもよい。
また、上記実施形態では、利用者又は制御部11により指定される指定範囲がベッド上面の範囲として適正か否かを判定するための所定の評価条件として、5つの評価条件が例示されている。しかしながら、所定の評価条件は、これらの例に限定されなくてもよく、実施の形態に応じて適宜設定されてもよい。上記評価条件の他の例として、例えば、カメラ2の撮影範囲に入るベッド周囲の領域に物が置かれていない場合には、図36で例示される第6評価条件が利用されてもよい。
なお、上記実施形態に係る情報処理装置1は、カメラ2のピッチ角αを考慮した関係式に基づいて、ベッドの位置の設定に関する種々の値を算出している。ただし、情報処理装置1が考慮するカメラ2の属性値は、このピッチ角αに限定されなくてもよく、実施の形態に応じて、適宜、選択されてもよい。例えば、上記情報処理装置1は、カメラ2のピッチ角αの他、カメラ2のロール角等を考慮した関係式に基づいて、ベッドの位置の設定に関する種々の値を算出してもよい。
5…プログラム、6…記憶媒体、
20…画像取得部、21…前景抽出部、22…行動検知部、23…設定部、
24…表示制御部、25…行動選択部、26…危険予兆通知部、27…未完了通知部、
28…評価部、29…範囲推定部
Claims (19)
- 見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する画像取得部と、
取得した前記撮影画像を表示装置に表示する表示制御部と、
表示される前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付けて、該指定された範囲を前記ベッド基準面の範囲に設定する設定部と、
前記ベッド基準面の指定を前記設定部が受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価部と、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する行動検知部と、
を備え、
前記表示制御部は、前記ベッド基準面の範囲の指定を前記設定部が受け付けている間に、前記利用者の指定している範囲についての前記評価部による評価結果を前記利用者に提示する、
情報処理装置。 - 所定の指定条件に基づいてベッド基準面の範囲を繰り返し指定し、該繰り返し指定される範囲を前記評価条件に基づいて評価することで、該繰り返し指定される範囲のうちから該評価条件に最も適合する範囲を前記ベッド基準面の範囲として推定する範囲推定部を更に備え、
前記表示制御部は、前記範囲推定部により推定される範囲が前記撮影画像上で明示されるように、前記表示装置による前記撮影画像の表示を制御する、
請求項1に記載の情報処理装置。 - 前記設定部は、前記範囲推定部により推定される範囲を前記撮影画像上で明示した後に、前記ベッド基準面の範囲の指定を利用者から受け付けて、該指定された範囲を前記ベッド基準面の範囲に設定する、
請求項2に記載の情報処理装置。 - 前記評価部は、複数個の前記評価条件を利用することで、前記指定の範囲がベッド基準面の範囲に最も適合していることを示すグレードと前記指定の範囲がベッド上面の範囲に最も適合していないことを示すグレードとの間に少なくとも1段階以上のグレードを含む3段階以上のグレードで、前記利用者の指定している範囲を評価し、
前記表示制御部は、前記利用者の指定している範囲についての評価結果であって、前記3段階以上のグレードで表現された評価結果、を前記利用者に提示する、
請求項1から3のいずれか1項に記載の情報処理装置。 - 前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部を更に備え、
前記行動検知部は、前記前景領域内の各画素の深度に基づいて特定される前記前景領域に写る対象の実空間内での位置を前記見守り対象者の位置として利用して、実空間内での前記ベッド基準面と前記見守り対象者との位置関係が前記検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する、
請求項1から4のいずれか1項に記載の情報処理装置。 - 前記設定部は、前記ベッド基準面の範囲としてベッド上面の範囲の指定を受け付け、
前記行動検知部は、実空間内での前記ベッド上面と前記見守り対象者との位置関係が前記検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する、
請求項1から5のいずれか1項に記載の情報処理装置。 - 前記設定部は、前記ベッド上面の高さの指定を受け付けて、該指定される高さを前記ベッド上面の高さに設定し、
前記表示制御部は、前記ベッド上面の高さの指定を前記設定部が受け付けている間に、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記ベッド上面の高さとして指定されている高さに位置する対象を写した領域を前記撮影画像上で明示するように、前記表示装置による前記撮影画像の表示を制御する、
請求項6に記載の情報処理装置。 - 前記設定部は、前記ベッド上面の高さを設定する際に又は設定した後に、前記ベッド上面の範囲を特定するために前記ベッド上面内に設定される基準点の位置と前記ベッドの向きとの指定を前記撮影画像内で受け付けて、指定される前記基準点の位置及び前記ベッドの向きに基づいて特定される範囲を前記ベッド上面の実空間内での範囲に設定する、
請求項7に記載の情報処理装置。 - 前記設定部は、前記ベッド上面の高さを設定する際に又は設定した後に、ベッド上面の範囲を規定する4つの角のうち2つの角の位置の指定を前記撮影画像内で受け付けて、指定された該2つの角の位置に基づいて特定される範囲を前記ベッド上面の実空間内での範囲に設定する、
請求項7に記載の情報処理装置。 - 前記所定の評価条件は、前記利用者の指定している範囲内に前記ベッド上面よりも高さの低い対象の写る画素が含まれていないことを判定するための条件を含んでおり、
前記評価部は、前記利用者の指定している範囲内に前記ベッド上面よりも高さの低い対象の写る画素が含まれていないと判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価する、
請求項6から9のいずれか1項に記載の情報処理装置。 - 前記所定の評価条件は、前記実空間内で前記ベッド上面に対する相対的な位置が予め特定されている目印が写っているか否かを判定するための条件を含んでおり、
前記評価部は、前記撮影画像に前記目印が写っていると判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価する、
請求項6から10のいずれか1項に記載の情報処理装置。 - 前記目印には、前記ベッドに設けられる一対の柵及びヘッドボードのうちの少なくとも何れかが含まれる、
請求項11に記載の情報処理装置。 - 前記目印には、前記ベッドに設けられる一対の柵及びヘッドボードが含まれ、
前記評価部は、前記一対の柵及びヘッドボードのうちの少なくとも何れかの目印については、互いに離間する複数の領域で該目印が写っているか否かを判定する、
請求項11又は12に記載の情報処理装置。 - 前記ベッド上面の範囲として前記利用者の指定する範囲によって、前記実空間上で指定面が規定され、
前記所定の評価条件は、前記指定面の上方に存在する対象であって、該指定面から所定の高さ以上高い位置に存在する対象、の写る画素が前記撮影画像に含まれているか否かを判定するための条件を含んでおり、
前記評価部は、前記指定面から所定の高さ以上高い位置に存在する対象の写る画素が前記撮影画像に含まれていないと判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価する、
請求項6から13のいずれか1項に記載の情報処理装置。 - 前記見守り対象者について検知した行動が前記見守り対象者に危険の迫る予兆を示す行動である場合に、当該予兆を知らせるための通知を行う危険予兆通知部を更に備える、
請求項1から14のいずれか1項に記載の情報処理装置。 - 前記設定部による設定が所定時間内に完了しない場合に、前記設定部による設定が完了していないことを知らせるための通知を行う未完了通知部を更に備える、
請求項1から15のいずれか1項に記載の情報処理装置。 - コンピュータが、
見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する取得ステップと、
取得した前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付ける受付ステップと、
前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価ステップと、
前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、前記評価ステップによる前記利用者の指定している範囲についての評価結果を前記利用者に提示する提示ステップと、
前記利用者による範囲の指定が完了した際に指定されている範囲を前記ベッド基準面の範囲に設定する設定ステップと、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する検知ステップと、
を実行する情報処理方法。 - コンピュータに、
見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する取得ステップと、
取得した前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付ける受付ステップと、
前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価ステップと、
前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、前記評価ステップによる前記利用者の指定している範囲についての評価結果を前記利用者に提示する提示ステップと、
前記利用者による範囲の指定が完了した際に指定されている範囲を前記ベッド基準面の範囲に設定する設定ステップと、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する検知ステップと、
を実行させるためのプログラム。 - 見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する画像取得部と、
所定の指定条件に基づいてベッド基準面の範囲を繰り返し指定し、所定の評価条件に基づいて、該繰り返し指定される範囲を該ベッド基準面の範囲として適正か否かを評価することで、該繰り返し指定される範囲のうちから該評価条件に最も適合する範囲を該ベッド基準面の範囲として推定する範囲推定部と、
前記推定された範囲を前記ベッドの基準面の範囲に設定する設定部と、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する行動検知部と、
を備える情報処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014058638 | 2014-03-20 | ||
JP2014058638 | 2014-03-20 | ||
PCT/JP2015/051635 WO2015141268A1 (ja) | 2014-03-20 | 2015-01-22 | 情報処理装置、情報処理方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015141268A1 JPWO2015141268A1 (ja) | 2017-04-06 |
JP6504156B2 true JP6504156B2 (ja) | 2019-04-24 |
Family
ID=54144248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016508564A Active JP6504156B2 (ja) | 2014-03-20 | 2015-01-22 | 情報処理装置、情報処理方法、及び、プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20170014051A1 (ja) |
JP (1) | JP6504156B2 (ja) |
CN (1) | CN105940428A (ja) |
WO (1) | WO2015141268A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105942749B (zh) * | 2016-05-30 | 2019-03-01 | 京东方科技集团股份有限公司 | 电视床及其工作方法 |
CN106333816A (zh) * | 2016-09-20 | 2017-01-18 | 上海市杨浦区中心医院 | 伤口换药车 |
JP6635074B2 (ja) * | 2017-03-02 | 2020-01-22 | オムロン株式会社 | 見守り支援システム及びその制御方法 |
JP6717235B2 (ja) * | 2017-03-02 | 2020-07-01 | オムロン株式会社 | 見守り支援システム及びその制御方法 |
JP2019020790A (ja) * | 2017-07-12 | 2019-02-07 | キング通信工業株式会社 | 見守りエリアの形成方法 |
JP7090328B2 (ja) * | 2018-06-15 | 2022-06-24 | エイアイビューライフ株式会社 | 情報処理装置 |
JP6629409B1 (ja) * | 2018-10-22 | 2020-01-15 | 株式会社アルファブレイン・ワールド | ヘアーアイロン用カバー部材及びヘアーアイロン |
US20240164662A1 (en) * | 2021-03-26 | 2024-05-23 | KapCare SA | Device and method for detecting a movement or stopping of a movement of a person or of an object in a room, or an event relating to said person |
CN115191788B (zh) * | 2022-07-14 | 2023-06-23 | 慕思健康睡眠股份有限公司 | 一种基于智能床垫的体感互动方法及相关产品 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2752335B2 (ja) * | 1994-09-27 | 1998-05-18 | 鐘紡株式会社 | 病室内患者監視装置 |
JP4590745B2 (ja) * | 2001-01-31 | 2010-12-01 | パナソニック電工株式会社 | 画像処理装置 |
JP2009049943A (ja) * | 2007-08-22 | 2009-03-05 | Alpine Electronics Inc | 距離画像によるトップビュー表示装置 |
WO2009029996A1 (en) * | 2007-09-05 | 2009-03-12 | Conseng Pty Ltd | Patient monitoring system |
JP5648840B2 (ja) * | 2009-09-17 | 2015-01-07 | 清水建設株式会社 | ベッド上及び室内の見守りシステム |
JP2013078433A (ja) * | 2011-10-03 | 2013-05-02 | Panasonic Corp | 監視装置、プログラム |
JP5915199B2 (ja) * | 2012-01-20 | 2016-05-11 | 富士通株式会社 | 状態検知装置および状態検知方法 |
-
2015
- 2015-01-22 WO PCT/JP2015/051635 patent/WO2015141268A1/ja active Application Filing
- 2015-01-22 JP JP2016508564A patent/JP6504156B2/ja active Active
- 2015-01-22 US US15/125,071 patent/US20170014051A1/en not_active Abandoned
- 2015-01-22 CN CN201580006833.1A patent/CN105940428A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
JPWO2015141268A1 (ja) | 2017-04-06 |
US20170014051A1 (en) | 2017-01-19 |
WO2015141268A1 (ja) | 2015-09-24 |
CN105940428A (zh) | 2016-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6504156B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6115335B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6432592B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6489117B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6500785B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6167563B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
WO2015133195A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6780641B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JPWO2016151966A1 (ja) | 乳幼児監視装置、乳幼児監視方法、及び、乳幼児監視プログラム | |
JP6607253B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP6737262B2 (ja) | 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム | |
JP6645503B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP6565468B2 (ja) | 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム | |
JP6606912B2 (ja) | 浴室異常検知装置、浴室異常検知方法、及び浴室異常検知プログラム | |
JP2022126069A (ja) | 画像処理方法 | |
JP2022072765A (ja) | ベッド領域抽出装置、ベッド領域抽出方法、ベッド領域抽出プログラムおよび見守り支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20161122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6504156 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |