JP6489117B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents
情報処理装置、情報処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP6489117B2 JP6489117B2 JP2016504008A JP2016504008A JP6489117B2 JP 6489117 B2 JP6489117 B2 JP 6489117B2 JP 2016504008 A JP2016504008 A JP 2016504008A JP 2016504008 A JP2016504008 A JP 2016504008A JP 6489117 B2 JP6489117 B2 JP 6489117B2
- Authority
- JP
- Japan
- Prior art keywords
- bed
- captured image
- height
- person
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 120
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000009471 action Effects 0.000 claims description 178
- 238000001514 detection method Methods 0.000 claims description 115
- 238000000605 extraction Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 230000006399 behavior Effects 0.000 description 109
- 238000000034 method Methods 0.000 description 75
- 230000006870 function Effects 0.000 description 28
- 238000012545 processing Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 25
- 230000000630 rising effect Effects 0.000 description 20
- 239000013598 vector Substances 0.000 description 18
- 230000014509 gene expression Effects 0.000 description 16
- 238000012544 monitoring process Methods 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 15
- 230000009466 transformation Effects 0.000 description 12
- 239000003550 marker Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 239000006185 dispersion Substances 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 241001290864 Schoenoplectus Species 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 235000012730 carminic acid Nutrition 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1115—Monitoring leaving of a patient support, e.g. a bed or a wheelchair
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/634—Warning indications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Human Computer Interaction (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Invalid Beds And Related Equipment (AREA)
- Accommodation For Nursing Or Treatment Tables (AREA)
- Closed-Circuit Television Systems (AREA)
Description
まず、図1を用いて、本発明が適用される場面について説明する。図1は、本発明が適用される場面の一例を模式的に示す。本実施形態では、医療施設又は介護施設において、入院患者又は施設入居者が見守り対象者として行動を見守られる場面が想定されている。見守り対象者の見守りを行う者(以下、「利用者」とも称する)は、情報処理装置1とカメラ2とを含む見守りシステムを利用して、見守り対象者のベッドでの行動を検知する。
<ハードウェア構成例>
次に、図3を用いて、情報処理装置1のハードウェア構成を説明する。図3は、本実施形態に係る情報処理装置1のハードウェア構成を例示する。情報処理装置1は、図3に例示されるように、CPU、RAM(Random Access Memory)、ROM(Read Only Memory)等を含む制御部11、制御部11で実行するプログラム5等を記憶する記憶部12、画像の表示と入力を行うためのタッチパネルディスプレイ13、音声を出力するためのスピーカ14、外部装置と接続するための外部インタフェース15、ネットワークを介して通信を行うための通信インタフェース16、及び記憶媒体6に記憶されたプログラムを読み込むためのドライブ17が電気的に接続されたコンピュータである。ただし、図3では、通信インタフェース及び外部インタフェースは、それぞれ、「通信I/F」及び「外部I/F」と記載されている。
次に、図5を用いて、情報処理装置1の機能構成を説明する。図5は、本実施形態に係る情報処理装置1の機能構成を例示する。本実施形態に係る情報処理装置1が備える制御部11は、記憶部12に記憶されたプログラム5をRAMに展開する。そして、制御部11は、RAMに展開されたプログラム5をCPUにより解釈及び実行して、各構成要素を制御する。これにより、本実施形態に係る情報処理装置1は、画像取得部21、前景抽出部22、行動検知部23、設定部24、表示制御部25、行動選択部26、危険予兆通知部27、及び未完了通知部28を備えるコンピュータとして機能する。
[ベッドの位置設定]
まず、図6を用いて、ベッドの位置に関する設定の処理について説明する。図6は、ベッドの位置に関する設定の際における情報処理装置1の処理手順を例示する。このベッドの位置に関する設定の処理は、いかなるタイミングで実行されてもよく、例えば、見守り対象者の見守りを開始する前、プログラム5を立ち上げたときに実行される。なお、以下で説明する処理手順は一例に過ぎず、各処理は、可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び、追加が可能である。
ステップS101では、制御部11は、行動選択部26として機能し、見守り対象者がベッドにおいて行う複数の行動から検知対象とする行動の選択を受け付ける。そして、ステップS102では、制御部11は、表示制御部25として機能し、検知対象として選択された1又は複数の行動に応じて、ベッドに対するカメラ2の配置位置の候補をタッチパネルディスプレイ13に表示する。図7及び図8を用いて、これらの処理を説明する。
図6に戻り、ステップS103では、制御部11は、設定部24として機能し、ベッド上面の高さの指定を受け付ける。制御部11は、指定された高さをベッド上面の高さに設定する。また、制御部11は、画像取得部21として機能しており、深度情報を含む撮影画像3をカメラ2から取得している。そして、制御部11は、ベッド上面の高さの指定を受け付けている際に、表示制御部25として機能し、指定されている高さに位置する対象を写した領域を撮影画像3上で明示するようにして、取得される撮影画像3をタッチパネルディスプレイ13に表示させる。
図6に戻り、ステップS104では、制御部11は、ステップS101において選択された検知対象の1又は複数の行動にベッド上での起き上がり以外の行動が含まれているか否かを判定する。ステップS101で選択された1又は複数の行動に起き上がり以外の行動が含まれている場合、制御部11は、次のステップS105に処理を進めて、ベッド上面の範囲の設定を受け付ける。一方、ステップS101で選択された1又は複数の行動に起き上がり以外の行動が含まれていない場合、換言すると、ステップS101で選択された行動が起き上がりのみである場合、制御部11は、本動作例に係るベッドの位置に関する設定を終了し、後述する行動検知に係る処理を開始する。
ステップS105では、制御部11は、設定部24として機能し、ベッドの基準点の位置及びベッドの向きの指定を受け付ける。そして、制御部11は、指定された基準点の位置及びベッドの向きに基づいて、ベッド上面の実空間内での範囲を設定する。
ステップS106では、制御部11は、設定部24として機能し、ステップS101で選択された「所定行動」の検知領域が撮影画像3内に写るか否かを判定する。そして、ステップS101で選択された「所定行動」の検知領域が撮影画像3内に写らないと判定した場合には、制御部11は、次のステップS107に処理を進める。一方、ステップS101で選択された「所定行動」の検知領域が撮影画像3内に写ると判定した場合には、制御部11は、本動作例に係るベッドの位置に関する設定を終了し、後述する行動検知に係る処理を開始する。
なお、制御部11は、未完了通知部28として機能し、ステップS101の処理を開始してから所定時間内に本動作例に係るベッドの位置に関する設定が完了しない場合、ベッドの位置に関する設定が完了していないことを知らせるための通知を行ってもよい。これにより、ベッドの位置に関する設定の途中で見守りシステムが放置されてしまうことを防止することができる。
次に、図18を用いて、情報処理装置1による見守り対象者の行動検知の処理手順を説明する。図18は、情報処理装置1による見守り対象者の行動検知の処理手順を例示する。この行動検知に関する処理手順は一例に過ぎず、各処理は、可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS201では、制御部11は、画像取得部21として機能し、見守り対象者のベッドにおける行動を見守るために設置されるカメラ2によって撮影された撮影画像3を取得する。本実施形態では、カメラ2が深度センサを有するため、取得される撮影画像3には、各画素の深度を示す深度情報が含まれている。
図18に戻り、ステップS202では、制御部11は、前景抽出部22として機能し、ステップS201で取得した撮影画像3の背景として設定された背景画像と撮影画像3との差分から、当該撮影画像3の前景領域を抽出する。ここで、背景画像は、前景領域を抽出するために利用されるデータであり、背景となる対象の深度を含んで設定される。背景画像を作成する方法は、実施の形態に応じて、適宜、設定されてよい。例えば、制御部11は、見守り対象者の見守りを開始したときに得られる数フレーム分の撮影画像の平均を算出することで、背景画像を作成してもよい。このとき、深度情報も含んで撮影画像の平均が算出されることで、深度情報を含む背景画像が作成される。
図18に戻り、ステップS203では、制御部11は、行動検知部23として機能し、ステップS202で抽出した前景領域内の画素の深度に基づいて、前景領域に写る対象とベッド上面との位置関係が所定の条件を満たすか否かを判定する。そして、制御部11は、その判定結果に基づいて、見守り対象者の行動を検知する。
本実施形態では、ステップS101において「起き上がり」が検知対象の行動に選択された場合に、見守り対象者の「起き上がり」が本ステップS203の判定対象となる。起き上がりの検知には、ステップS103で設定されたベッド上面の高さが用いられる。ステップS103におけるベッド上面の高さの設定が完了すると、制御部11は、設定されたベッド上面の高さに基づいて、起き上がりを検知するための検知領域を特定する。
ステップS101において「離床」が検知対象の行動に選択された場合に、見守り対象者の「離床」が本ステップS203の判定対象となる。離床の検知には、ステップS105で設定されたベッド上面の範囲が用いられる。ステップS105におけるベッド上面の範囲の設定が完了すると、制御部11は、設定されたベッド上面の範囲に基づいて、離床を検知するための検知領域を特定することができる。
ステップS101において「端座位」が検知対象の行動に選択された場合に、見守り対象者の「端座位」が本ステップS203の判定対象となる。端座位の検知には、離床の検知と同様に、ステップS105で設定されたベッド上面の範囲が用いられる。ステップS105におけるベッド上面の範囲の設定が完了すると、制御部11は、設定されたベッド上面の範囲に基づいて、端座位を検知するための検知領域を特定することができる。
ステップS101において「柵越え」が検知対象の行動に選択された場合に、見守り対象者の「柵越え」が本ステップS203の判定対象となる。柵越えの検知には、離床及び端座位の検知と同様に、ステップS105で設定されたベッド上面の範囲が用いられる。ステップS105におけるベッド上面の範囲の設定が完了すると、制御部11は、設定されたベッド上面の範囲に基づいて、柵越えを検知するための検知領域を特定することができる。
本ステップ203では、制御部11は、上記のようにして、ステップS101で選択された各行動の検知を行う。すなわち、制御部11は、対象の行動の上記判定条件を満たすと判定した場合に、当該対象の行動を検知することができる。一方、ステップS101で選択された各行動の上記判定条件を満たさないと判定した場合には、制御部11は、見守り対象者の行動を検知することなく、次のステップS204に処理を進める。
ステップS204では、制御部11は、危険予兆通知部27として機能し、ステップS203において検知した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定する。ステップS203において検知した行動が見守り対象者に危険の迫る予兆を示す行動である場合、制御部11は、ステップS205に処理を進める。一方、ステップS203において見守り対象者の行動を検知しなかった場合、又は、ステップS203において検知した行動が見守り対象者に危険の迫る予兆を示す行動ではなかった場合、制御部11は、本動作例に係る処理を終了する。
ステップS205では、制御部11は、危険予兆通知部27として機能し、見守り対象者に危険の迫る予兆があることを知らせるための通知を行う。制御部11が当該通知を行う方法は、上記設定未完了の通知と同様に、実施の形態に応じて、適宜、設定されてよい。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
例えば、カメラ2から被写体が遠ざかるほど、撮影画像3内の被写体の像は小さくなり、カメラ2に被写体が近づくほど、撮影画像3内の被写体の像は大きくなる。撮影画像3内に写る被写体の深度は被写体の表面に対して取得されるが、その撮影画像3の各画素に対応する被写体の表面部分の面積は各画素間で一致するとは限らない。
上記のような面積を利用して見守り対象者の行動を検知する場合、行動を検知するための条件となる面積の範囲は、検知領域に含まれると想定される見守り対象者の所定部位に基づいて設定される。この所定部位は、例えば、見守り対象者の頭部、肩部等である。すなわち、見守り対象者の所定部位の面積に基づいて、行動を検知するための条件となる面積の範囲が設定される。
上記実施形態では、制御部11(情報処理装置1)は、ステップS202で抽出される前景領域を利用して見守り対象者の行動を検知する。しかしながら、見守り対象者の行動を検知する方法は、このような前景領域を利用した方法に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。
上記実施形態のステップS105では、情報処理装置1(制御部11)は、ベッドの基準点の位置及びベッドの向きの指定を受け付けることで、ベッド上面の実空間内での範囲を特定した。しかしながら、ベッド上面の実空間内での範囲を特定する方法は、このような例に限定されなくてもよく、実施の形態に応じて、適宜、選択されてもよい。例えば、情報処理装置1は、ベッド上面の範囲を規定する4つの角のうち2つの角の指定を受け付けることで、ベッド上面の実空間内での範囲を特定してもよい。以下では、図26を用いて、この方法を説明する。
なお、上記実施形態に係る情報処理装置1は、カメラ2のピッチ角αを考慮した関係式に基づいて、ベッドの位置の設定に関する種々の値を算出している。ただし、情報処理装置1が考慮するカメラ2の属性値は、このピッチ角αに限定されなくてもよく、実施の形態に応じて、適宜、選択されてもよい。例えば、上記情報処理装置1は、カメラ2のピッチ角αの他、カメラ2のロール角等を考慮した関係式に基づいて、ベッドの位置の設定に関する種々の値を算出してもよい。
5…プログラム、6…記憶媒体、
21…画像取得部、22…前景抽出部、23…行動検知部、24…設定部、
25…表示制御部、26…行動選択部、
27…危険予兆通知部、28…未完了通知部
Claims (16)
- 見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する画像取得部と、
前記ベッドの基準面の高さの指定を受け付けて、当該指定された高さを前記ベッドの基準面の高さに設定する設定部と、
前記ベッドの基準面の高さの指定を前記設定部が受け付ける際に、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記ベッドの基準面の高さとして指定されている高さに位置する対象を写した領域を前記撮影画像上で明示するようにして、取得した前記撮影画像を表示装置に表示させる表示制御部と、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、実空間内での前記ベッドの高さ方向における前記ベッドの基準面と前記見守り対象者との位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する行動検知部と、
を備える、
情報処理装置。 - 前記設定部は、前記ベッドの基準面の高さとして前記ベッド上面の高さの指定を受け付け、
前記表示制御部は、指定されている前記ベッド上面の高さに基づいて、当該ベッド上面に対応し得る対象を写した領域を前記撮影画像上で第1の表示態様により明示するように、取得した前記撮影画像の表示を制御する、
請求項1に記載の情報処理装置。 - 前記表示制御部は、前記ベッド上面の高さの指定を前記設定部が受け付ける際に、前記撮影画像上において、更に、前記第1の表示態様で明示する領域から前記ベッドの高さ方向上方に第1所定距離の範囲内に位置する対象を写した領域を第2の表示態様により明示するように、取得した前記撮影画像の表示を制御する、
請求項2に記載の情報処理装置。 - 前記表示制御部は、前記ベッドの柵の高さに応じて前記第1所定距離が設定されていることで、前記ベッドの柵に対応し得る対象を写した領域を前記撮影画像上で前記第2の表示態様により明示するように、取得した前記撮影画像の表示を制御する、
請求項3に記載の情報処理装置。 - 前記行動検知部は、設定された前記ベッド上面に対して前記見守り対象者に関連する像が実空間内で第2所定距離以上に高い位置に存在するか否かを判定することで、前記見守り対象者の前記ベッド上での起き上がりを検知する、
請求項2から4のいずれか1項に記載の情報処理装置。 - 前記行動検知部は、設定された前記ベッド上面に対して前記見守り対象者に関連する像が実空間内で第2所定距離以上に高い位置に存在するか否かを判定することで、前記見守り対象者の前記ベッド上での起き上がりを検知し、
前記表示制御部は、前記ベッド上面の高さの指定を前記設定部が受け付ける際に、前記第1の表示態様で明示する領域から前記ベッドの高さ方向上方に前記第2所定距離以上の高さに位置する対象を写した領域を前記撮影画像上で第3の表示態様により明示するように、取得した前記撮影画像の表示を制御する、
請求項3又は4に記載の情報処理装置。 - 前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部を更に備え、
前記行動検知部は、前記前景領域内の各画素の深度に基づいて特定される前記前景領域に写る対象の実空間内での位置を前記見守り対象者の位置として利用して、実空間内での前記ベッドの高さ方向における前記ベッドの基準面と前記見守り対象者との位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する、
請求項1から6のいずれか1項に記載の情報処理装置。 - 前記ベッドの端部付近又は外側で行われる前記見守り対象者の所定行動を含む前記見守り対象者のベッドに関連する複数の行動から、前記見守り対象者について見守りの対象とする行動の選択を受け付ける行動選択部を更に備え、
前記設定部は、前記見守りの対象として選択された行動に前記所定行動が含まれている場合、前記ベッド上面の高さを設定した後に、更に、前記ベッド上面の範囲を特定するために前記ベッド上面内に設定される基準点の位置と前記ベッドの向きとの指定を前記撮影画像内で受け付けて、指定された前記基準点の位置及び前記ベッドの向きに基づいて前記ベッド上面の実空間内での範囲を設定し、
前記行動検知部は、設定された前記ベッドの上面と前記見守り対象者との前記実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された前記所定行動を検知する、
請求項2から6のいずれか1項に記載の情報処理装置。 - 前記ベッドの端部付近又は外側で行われる前記見守り対象者の所定行動を含む前記見守り対象者のベッドに関連する複数の行動から、前記見守り対象者について見守りの対象とする行動の選択を受け付ける行動選択部を更に備え、
前記設定部は、前記見守りの対象として選択された行動に前記所定行動が含まれている場合、前記ベッド上面の高さを設定した後に、更に、ベッド上面の範囲を規定する4つの角のうち2つの角の位置の指定を前記撮影画像内で受け付けて、指定された当該2つの角の位置に基づいて前記ベッド上面の実空間内での範囲を設定し、
前記行動検知部は、設定された前記ベッドの上面と前記見守り対象者との前記実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された前記所定行動を検知する、
請求項2から6のいずれか1項に記載の情報処理装置。 - 前記設定部は、設定する前記ベッド上面の範囲に対して、前記見守りの対象として選択された前記所定行動を検知するために設定された前記所定の条件に基づいて特定される検知領域が前記撮影画像内に写るか否かを判定し、前記見守りの対象として選択された前記所定行動の検知領域が前記撮影画像内に写らないと判定した場合に、前記見守りの対象として選択された前記所定行動の検知が正常に行えない可能性のあることを示す警告メッセージを出力する、
請求項8又は9に記載の情報処理装置。 - 前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部を更に備え、
前記行動検知部は、前記前景領域内の各画素の深度に基づいて特定される前記前景領域に写る対象の実空間内での位置を前記見守り対象者の位置として利用して、前記ベッド上面と前記見守り対象者との前記実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された前記所定行動を検知する、
請求項8から10のいずれか1項に記載の情報処理装置。 - 前記表示制御部は、前記ベッドの基準面の高さの指定を前記設定部が受け付ける際に、前記撮影画像上において、前記ベッドの基準面の高さとして指定されている高さよりも実空間内で上方に位置する対象を写した領域と下方に位置する対象を写した領域とを異なる表示態様で明示するように、取得した前記撮影画像の表示を制御する、
請求項1から11のいずれか1項に記載の情報処理装置。 - 前記見守り対象者について検知した行動が前記見守り対象者に危険の迫る予兆を示す行動である場合に、当該予兆を知らせるための通知を行う危険予兆通知部を更に備える、
請求項1から12のいずれか1項に記載の情報処理装置。 - 前記設定部による設定が所定時間内に完了しない場合に、前記設定部による設定が完了していないことを知らせるための通知を行う未完了通知部を更に備える、
請求項1から13のいずれか1項に記載の情報処理装置。 - コンピュータが、
見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する取得ステップと、
前記ベッドの基準面の高さの指定を受け付けて、当該指定された高さを前記ベッドの基準面の高さに設定する設定ステップと、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、実空間内での前記ベッドの高さ方向における前記ベッドの基準面と前記見守り対象者との位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する検知ステップと、
を実行し、
前記設定ステップにおいて前記ベッドの基準面の高さの指定を受け付ける際に、前記コンピュータは、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記ベッドの基準面の高さとして指定されている高さに位置する対象を写した領域を前記撮影画像上で明示するように、取得した前記撮影画像を表示装置に表示させる、
情報処理方法。 - コンピュータに、
見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する取得ステップと、
前記ベッドの基準面の高さの指定を受け付けて、当該指定された高さを前記ベッドの基準面の高さに設定する設定ステップと、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、実空間内での前記ベッドの高さ方向における前記ベッドの基準面と前記見守り対象者との位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する検知ステップと、
を実行させ、
前記設定ステップにおいて前記ベッドの基準面の高さの指定を受け付ける際に、前記コンピュータに、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記ベッドの基準面の高さとして指定されている高さに位置する対象を写した領域を前記撮影画像上で明示するように、取得した前記撮影画像を表示装置に表示させる、
ためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014028655 | 2014-02-18 | ||
JP2014028655 | 2014-02-18 | ||
PCT/JP2015/051632 WO2015125544A1 (ja) | 2014-02-18 | 2015-01-22 | 情報処理装置、情報処理方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015125544A1 JPWO2015125544A1 (ja) | 2017-03-30 |
JP6489117B2 true JP6489117B2 (ja) | 2019-03-27 |
Family
ID=53878059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016504008A Active JP6489117B2 (ja) | 2014-02-18 | 2015-01-22 | 情報処理装置、情報処理方法、及び、プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20170049366A1 (ja) |
JP (1) | JP6489117B2 (ja) |
CN (1) | CN106415654A (ja) |
WO (1) | WO2015125544A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10121062B2 (en) * | 2014-11-03 | 2018-11-06 | Koninklijke Philips N.V. | Device, system and method for automated detection of orientation and/or location of a person |
JP6613828B2 (ja) * | 2015-11-09 | 2019-12-04 | 富士通株式会社 | 画像処理プログラム、画像処理装置、及び画像処理方法 |
US10453202B2 (en) * | 2016-06-28 | 2019-10-22 | Foresite Healthcare, Llc | Systems and methods for use in detecting falls utilizing thermal sensing |
JP6701018B2 (ja) * | 2016-07-19 | 2020-05-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
DE102016015121A1 (de) | 2016-12-20 | 2018-06-21 | Drägerwerk AG & Co. KGaA | Vorrichtung, Verfahren und Computerprogramm zur Erfassung von optischen Bilddaten und zur Bestimmung einer Lage einer Seitenbegrenzung einer Patientenlagerungsvorrichtung |
JP7032868B2 (ja) * | 2017-04-28 | 2022-03-09 | パラマウントベッド株式会社 | ベッドシステム |
CN112867537B (zh) * | 2019-09-27 | 2023-02-21 | 西安大医集团股份有限公司 | 患者移动状态的检测方法、装置及*** |
CN112287821B (zh) * | 2020-10-28 | 2023-08-11 | 业成科技(成都)有限公司 | 照护对象行为监测方法、装置、计算机设备和存储介质 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2752335B2 (ja) * | 1994-09-27 | 1998-05-18 | 鐘紡株式会社 | 病室内患者監視装置 |
US9311540B2 (en) * | 2003-12-12 | 2016-04-12 | Careview Communications, Inc. | System and method for predicting patient falls |
JP2007013814A (ja) * | 2005-07-01 | 2007-01-18 | Secom Co Ltd | 検出領域の設定装置 |
US20080021731A1 (en) * | 2005-12-09 | 2008-01-24 | Valence Broadband, Inc. | Methods and systems for monitoring patient support exiting and initiating response |
JP2009049943A (ja) * | 2007-08-22 | 2009-03-05 | Alpine Electronics Inc | 距離画像によるトップビュー表示装置 |
WO2009029996A1 (en) * | 2007-09-05 | 2009-03-12 | Conseng Pty Ltd | Patient monitoring system |
US7987069B2 (en) * | 2007-11-12 | 2011-07-26 | Bee Cave, Llc | Monitoring patient support exiting and initiating response |
US9579047B2 (en) * | 2013-03-15 | 2017-02-28 | Careview Communications, Inc. | Systems and methods for dynamically identifying a patient support surface and patient monitoring |
US9866797B2 (en) * | 2012-09-28 | 2018-01-09 | Careview Communications, Inc. | System and method for monitoring a fall state of a patient while minimizing false alarms |
EP2619724A2 (en) * | 2010-09-23 | 2013-07-31 | Stryker Corporation | Video monitoring system |
US9489820B1 (en) * | 2011-07-12 | 2016-11-08 | Cerner Innovation, Inc. | Method for determining whether an individual leaves a prescribed virtual perimeter |
JP2013078433A (ja) * | 2011-10-03 | 2013-05-02 | Panasonic Corp | 監視装置、プログラム |
JP5915199B2 (ja) * | 2012-01-20 | 2016-05-11 | 富士通株式会社 | 状態検知装置および状態検知方法 |
US9538158B1 (en) * | 2012-10-16 | 2017-01-03 | Ocuvera LLC | Medical environment monitoring system |
JP5818773B2 (ja) * | 2012-11-22 | 2015-11-18 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9947112B2 (en) * | 2012-12-18 | 2018-04-17 | Koninklijke Philips N.V. | Scanning device and method for positioning a scanning device |
-
2015
- 2015-01-22 CN CN201580005224.4A patent/CN106415654A/zh active Pending
- 2015-01-22 US US15/118,631 patent/US20170049366A1/en not_active Abandoned
- 2015-01-22 JP JP2016504008A patent/JP6489117B2/ja active Active
- 2015-01-22 WO PCT/JP2015/051632 patent/WO2015125544A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN106415654A (zh) | 2017-02-15 |
US20170049366A1 (en) | 2017-02-23 |
WO2015125544A1 (ja) | 2015-08-27 |
JPWO2015125544A1 (ja) | 2017-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6432592B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6489117B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6115335B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
WO2015141268A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6167563B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6780641B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP6500785B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6171415B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
KR101514170B1 (ko) | 입력 장치, 입력 방법 및 기록 매체 | |
JPWO2016151966A1 (ja) | 乳幼児監視装置、乳幼児監視方法、及び、乳幼児監視プログラム | |
JP2011186892A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6607253B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP6737262B2 (ja) | 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム | |
WO2017029841A1 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP6565468B2 (ja) | 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム | |
JP6606912B2 (ja) | 浴室異常検知装置、浴室異常検知方法、及び浴室異常検知プログラム | |
JP6780639B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
US10853679B2 (en) | Monitoring assistance system, control method thereof, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20161101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161102 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190211 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6489117 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |