JP6432592B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents
情報処理装置、情報処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP6432592B2 JP6432592B2 JP2016504009A JP2016504009A JP6432592B2 JP 6432592 B2 JP6432592 B2 JP 6432592B2 JP 2016504009 A JP2016504009 A JP 2016504009A JP 2016504009 A JP2016504009 A JP 2016504009A JP 6432592 B2 JP6432592 B2 JP 6432592B2
- Authority
- JP
- Japan
- Prior art keywords
- bed
- action
- captured image
- person
- watching target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 118
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000009471 action Effects 0.000 claims description 218
- 238000001514 detection method Methods 0.000 claims description 111
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000009434 installation Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 230000006399 behavior Effects 0.000 description 114
- 238000000034 method Methods 0.000 description 77
- 230000006870 function Effects 0.000 description 30
- 238000012545 processing Methods 0.000 description 29
- 238000012544 monitoring process Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 24
- 230000014509 gene expression Effects 0.000 description 18
- 239000013598 vector Substances 0.000 description 18
- 230000000630 rising effect Effects 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 15
- 230000009466 transformation Effects 0.000 description 12
- 239000003550 marker Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 239000006185 dispersion Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 241001290864 Schoenoplectus Species 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 235000012730 carminic acid Nutrition 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1115—Monitoring leaving of a patient support, e.g. a bed or a wheelchair
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/634—Warning indications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Social Psychology (AREA)
- Computing Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Alarm Systems (AREA)
Description
まず、図1を用いて、本発明が適用される場面について説明する。図1は、本発明が適用される場面の一例を模式的に示す。本実施形態では、医療施設又は介護施設において、入院患者又は施設入居者が見守り対象者として行動を見守られる場面が想定されている。見守り対象者の見守りを行う者(以下、「利用者」とも称する)は、情報処理装置1とカメラ2とを含む見守りシステムを利用して、見守り対象者のベッドでの行動の見守りを行う。
<ハードウェア構成例>
次に、図3を用いて、情報処理装置1のハードウェア構成を説明する。図3は、本実施形態に係る情報処理装置1のハードウェア構成を例示する。情報処理装置1は、図3に例示されるように、CPU、RAM(Random Access Memory)、ROM(Read Only Memory)等を含む制御部11、制御部11で実行するプログラム5等を記憶する記憶部12、画像の表示と入力を行うためのタッチパネルディスプレイ13、音声を出力するためのスピーカ14、外部装置と接続するための外部インタフェース15、ネットワークを介して通信を行うための通信インタフェース16、及び記憶媒体6に記憶されたプログラムを読み込むためのドライブ17が電気的に接続されたコンピュータである。ただし、図3では、通信インタフェース及び外部インタフェースは、それぞれ、「通信I/F」及び「外部I/F」と記載されている。
次に、図5を用いて、情報処理装置1の機能構成を説明する。図5は、本実施形態に係る情報処理装置1の機能構成を例示する。本実施形態に係る情報処理装置1が備える制御部11は、記憶部12に記憶されたプログラム5をRAMに展開する。そして、制御部11は、RAMに展開されたプログラム5をCPUにより解釈及び実行して、各構成要素を制御する。これにより、本実施形態に係る情報処理装置1は、画像取得部21、前景抽出部22、行動検知部23、設定部24、表示制御部25、行動選択部26、危険予兆通知部27、及び未完了通知部28を備えるコンピュータとして機能する。
[見守りシステムのセッティング]
まず、図6を用いて、見守りシステムのセッティングに関する処理について説明する。図6は、ベッドの位置に関する設定を行う際における情報処理装置1の処理手順を例示する。このベッドの位置に関する設定の処理は、いかなるタイミングで実行されてもよく、例えば、見守り対象者の見守りを開始する前、プログラム5を立ち上げたときに実行される。なお、以下で説明する処理手順は一例に過ぎず、各処理は、可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び、追加が可能である。
ステップS101では、制御部11は、行動選択部26として機能し、見守り対象者がベッドにおいて行う複数の行動から検知対象とする行動の選択を受け付ける。そして、ステップS102では、制御部11は、表示制御部25として機能し、検知対象として選択された1又は複数の行動に応じて、ベッドに対するカメラ2の配置位置の候補をタッチパネルディスプレイ13に表示する。図7及び図8を用いて、これらの処理を説明する。
図6に戻り、ステップS103では、制御部11は、設定部24として機能し、ベッド上面の高さの指定を受け付ける。制御部11は、指定された高さをベッド上面の高さに設定する。また、制御部11は、画像取得部21として機能しており、深度情報を含む撮影画像3をカメラ2から取得している。そして、制御部11は、ベッド上面の高さの指定を受け付けている際に、表示制御部25として機能し、指定されている高さに位置する対象を写した領域を撮影画像3上で明示するようにして、取得される撮影画像3をタッチパネルディスプレイ13に表示させる。
図6に戻り、ステップS104では、制御部11は、ステップS101において選択された検知対象の1又は複数の行動にベッド上での起き上がり以外の行動が含まれているか否かを判定する。ステップS101で選択された1又は複数の行動に起き上がり以外の行動が含まれている場合、制御部11は、次のステップS105に処理を進めて、ベッド上面の範囲の設定を受け付ける。一方、ステップS101で選択された1又は複数の行動に起き上がり以外の行動が含まれていない場合、換言すると、ステップS101で選択された行動が起き上がりのみである場合、制御部11は、本動作例に係るベッドの位置に関する設定を終了し、後述する行動検知に係る処理を開始する。
ステップS105では、制御部11は、設定部24として機能し、ベッドの基準点の位置及びベッドの向きの指定を受け付ける。そして、制御部11は、指定された基準点の位置及びベッドの向きに基づいて、ベッド上面の実空間内での範囲を設定する。
ステップS106では、制御部11は、設定部24として機能し、ステップS101で選択された「所定行動」の検知領域が撮影画像3内に写るか否かを判定する。そして、ステップS101で選択された「所定行動」の検知領域が撮影画像3内に写らないと判定した場合には、制御部11は、次のステップS107に処理を進める。一方、ステップS101で選択された「所定行動」の検知領域が撮影画像3内に写ると判定した場合には、制御部11は、本動作例に係るベッドの位置に関する設定を終了し、後述する行動検知に係る処理を開始する。
なお、制御部11は、未完了通知部28として機能し、ステップS101の処理を開始してから所定時間内に本動作例に係るベッドの位置に関する設定が完了しない場合、ベッドの位置に関する設定が完了していないことを知らせるための通知を行ってもよい。これにより、ベッドの位置に関する設定の途中で見守りシステムが放置されてしまうことを防止することができる。
次に、図18を用いて、情報処理装置1による見守り対象者の行動検知の処理手順を説明する。図18は、情報処理装置1による見守り対象者の行動検知の処理手順を例示する。この行動検知に関する処理手順は一例に過ぎず、各処理は、可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS201では、制御部11は、画像取得部21として機能し、見守り対象者のベッドにおける行動を見守るために設置されるカメラ2によって撮影された撮影画像3を取得する。本実施形態では、カメラ2が深度センサを有するため、取得される撮影画像3には、各画素の深度を示す深度情報が含まれている。
図18に戻り、ステップS202では、制御部11は、前景抽出部22として機能し、ステップS201で取得した撮影画像3の背景として設定された背景画像と撮影画像3との差分から、当該撮影画像3の前景領域を抽出する。ここで、背景画像は、前景領域を抽出するために利用されるデータであり、背景となる対象の深度を含んで設定される。背景画像を作成する方法は、実施の形態に応じて、適宜、設定されてよい。例えば、制御部11は、見守り対象者の見守りを開始したときに得られる数フレーム分の撮影画像の平均を算出することで、背景画像を作成してもよい。このとき、深度情報も含んで撮影画像の平均が算出されることで、深度情報を含む背景画像が作成される。
図18に戻り、ステップS203では、制御部11は、行動検知部23として機能し、ステップS202で抽出した前景領域内の画素の深度に基づいて、前景領域に写る対象とベッド上面との位置関係が所定の条件を満たすか否かを判定する。そして、制御部11は、その判定結果に基づいて、見守りの対象として選択された行動のうち、見守り対象者の行っている行動を検知する。
本実施形態では、ステップS101において「起き上がり」が検知対象の行動に選択された場合に、見守り対象者の「起き上がり」が本ステップS203の判定対象となる。起き上がりの検知には、ステップS103で設定されたベッド上面の高さが用いられる。ステップS103におけるベッド上面の高さの設定が完了すると、制御部11は、設定されたベッド上面の高さに基づいて、起き上がりを検知するための検知領域を特定する。
ステップS101において「離床」が検知対象の行動に選択された場合に、見守り対象者の「離床」が本ステップS203の判定対象となる。離床の検知には、ステップS105で設定されたベッド上面の範囲が用いられる。ステップS105におけるベッド上面の範囲の設定が完了すると、制御部11は、設定されたベッド上面の範囲に基づいて、離床を検知するための検知領域を特定することができる。
ステップS101において「端座位」が検知対象の行動に選択された場合に、見守り対象者の「端座位」が本ステップS203の判定対象となる。端座位の検知には、離床の検知と同様に、ステップS105で設定されたベッド上面の範囲が用いられる。ステップS105におけるベッド上面の範囲の設定が完了すると、制御部11は、設定されたベッド上面の範囲に基づいて、端座位を検知するための検知領域を特定することができる。
ステップS101において「柵越え」が検知対象の行動に選択された場合に、見守り対象者の「柵越え」が本ステップS203の判定対象となる。柵越えの検知には、離床及び端座位の検知と同様に、ステップS105で設定されたベッド上面の範囲が用いられる。ステップS105におけるベッド上面の範囲の設定が完了すると、制御部11は、設定されたベッド上面の範囲に基づいて、柵越えを検知するための検知領域を特定することができる。
本ステップ203では、制御部11は、上記のようにして、ステップS101で選択された各行動の検知を行う。すなわち、制御部11は、対象の行動の上記判定条件を満たすと判定した場合に、当該対象の行動を検知することができる。一方、ステップS101で選択された各行動の上記判定条件を満たさないと判定した場合には、制御部11は、見守り対象者の行動を検知することなく、次のステップS204に処理を進める。
ステップS204では、制御部11は、危険予兆通知部27として機能し、ステップS203において検知した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定する。ステップS203において検知した行動が見守り対象者に危険の迫る予兆を示す行動である場合、制御部11は、ステップS205に処理を進める。一方、ステップS203において見守り対象者の行動を検知しなかった場合、又は、ステップS203において検知した行動が見守り対象者に危険の迫る予兆を示す行動ではなかった場合、制御部11は、本動作例に係る処理を終了する。
ステップS205では、制御部11は、危険予兆通知部27として機能し、見守り対象者に危険の迫る予兆があることを知らせるための通知を行う。制御部11が当該通知を行う方法は、上記設定未完了の通知と同様に、実施の形態に応じて、適宜、設定されてよい。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
例えば、カメラ2から被写体が遠ざかるほど、撮影画像3内の被写体の像は小さくなり、カメラ2に被写体が近づくほど、撮影画像3内の被写体の像は大きくなる。撮影画像3内に写る被写体の深度は被写体の表面に対して取得されるが、その撮影画像3の各画素に対応する被写体の表面部分の面積は各画素間で一致するとは限らない。
上記のような面積を利用して見守り対象者の行動を検知する場合、行動を検知するための条件となる面積の範囲は、検知領域に含まれると想定される見守り対象者の所定部位に基づいて設定される。この所定部位は、例えば、見守り対象者の頭部、肩部等である。すなわち、見守り対象者の所定部位の面積に基づいて、行動を検知するための条件となる面積の範囲が設定される。
上記実施形態では、制御部11(情報処理装置1)は、ステップS202で抽出される前景領域を利用して見守り対象者の行動を検知する。しかしながら、見守り対象者の行動を検知する方法は、このような前景領域を利用した方法に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。
上記実施形態では、制御部11(情報処理装置1)は、深度情報に基づいて実空間内での見守り対象者の状態を推定することで、見守り対象者の行動を検知している。しかしながら、見守り対象者の行動を検知する方法は、このような深度情報を利用した方法に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。
上記実施形態のステップS105では、情報処理装置1(制御部11)は、ベッドの基準点の位置及びベッドの向きの指定を受け付けることで、ベッド上面の実空間内での範囲を特定した。しかしながら、ベッド上面の実空間内での範囲を特定する方法は、このような例に限定されなくてもよく、実施の形態に応じて、適宜、選択されてもよい。例えば、情報処理装置1は、ベッド上面の範囲を規定する4つの角のうち2つの角の指定を受け付けることで、ベッド上面の実空間内での範囲を特定してもよい。以下では、図26を用いて、この方法を説明する。
なお、上記実施形態に係る情報処理装置1は、カメラ2のピッチ角αを考慮した関係式に基づいて、ベッドの位置の設定に関する種々の値を算出している。ただし、情報処理装置1が考慮するカメラ2の属性値は、このピッチ角αに限定されなくてもよく、実施の形態に応じて、適宜、選択されてもよい。例えば、上記情報処理装置1は、カメラ2のピッチ角αの他、カメラ2のロール角等を考慮した関係式に基づいて、ベッドの位置の設定に関する種々の値を算出してもよい。
5…プログラム、6…記憶媒体、
21…画像取得部、22…前景抽出部、23…行動検知部、24…設定部、
25…表示制御部、26…行動選択部、
27…危険予兆通知部、28…未完了通知部
Claims (13)
- 見守り対象者のベッドに関連する複数の行動から当該見守り対象者について見守りの対象とする行動の選択を受け付ける行動選択部と、
前記見守りの対象として選択された行動に応じて、前記見守り対象者のベッドにおける行動を見守るための撮影装置の前記ベッドに対する配置位置の候補を表示装置に表示させる表示制御部と、
前記撮影装置によって撮影された撮影画像を取得する画像取得部と、
前記撮影画像内に写る前記見守り対象者と前記ベッドとの位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象として選択された行動を検知する行動検知部と、
を備える、
情報処理装置。 - 前記表示制御部は、前記ベッドに対する前記撮影装置の配置位置の候補の他に、予め設定された前記撮影装置の設置に推奨されない位置を更に表示装置に表示させる、
請求項1に記載の情報処理装置。 - 前記表示制御部は、前記撮影装置の配置が完了したことを受け付けた後に、前記撮影装置の向きを前記ベッドに合わせる指示内容とともに、前記撮影装置により取得されている撮影画像を前記表示装置に表示させる、
請求項1又は2に記載の情報処理装置。 - 前記画像取得部は、前記撮影画像内の各画素の深度を示す深度情報を含む撮影画像を取得し、
前記行動検知部は、前記撮影画像内に写る前記見守り対象者と前記ベッドとの位置関係が所定の条件を満たすか否かの判定として、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記見守り対象者と前記ベッドの領域との実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象として選択された行動を検知する、
請求項1から3に記載の情報処理装置。 - 前記撮影装置の配置が完了したことを受け付けた後に、前記ベッドの基準面の高さの指定を受け付けて、当該指定された高さを前記ベッドの基準面の高さに設定する設定部を更に備え、
前記表示制御部は、前記ベッドの基準面の高さの指定を前記設定部が受け付けている際に、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記ベッドの基準面の高さとして指定されている高さに位置する対象を写した領域を前記撮影画像上で明示するようにして、取得した前記撮影画像を表示装置に表示させ、
前記行動検知部は、実空間内での前記ベッドの高さ方向における前記ベッドの基準面と前記見守り対象者との位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された行動を検知する、
請求項4に記載の情報処理装置。 - 前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部を更に備え、
前記行動検知部は、前記前景領域内の各画素の深度に基づいて特定される前記前景領域の写る対象の実空間内での位置を前記見守り対象者の位置として利用して、実空間内での前記ベッドの高さ方向における前記ベッドの基準面と前記見守り対象者との位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された行動を検知する、
請求項5に記載の情報処理装置。 - 前記行動選択部は、ベッドの端部付近又は外側で行われる前記見守り対象者の所定行動を含む前記見守り対象者のベッドに関連する複数の行動から、前記見守り対象者について見守りの対象とする行動の選択を受け付け、
前記設定部は、
前記ベッドの基準面の高さとしてベッド上面の高さの指定を受け付けて、当該指定された高さを前記ベッド上面の高さに設定し、かつ、
前記見守りの対象として選択された行動に前記所定行動が含まれている場合、前記ベッド上面の高さを設定した後に、更に、前記ベッド上面の範囲を特定するために前記ベッド上面内に設定される基準点の位置と前記ベッドの向きとの指定を前記撮影画像内で受け付けて、指定された前記基準点の位置及び前記ベッドの向きに基づいて前記ベッド上面の実空間内での範囲を設定し、
前記行動検知部は、設定された前記ベッドの上面と前記見守り対象者との前記実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された前記所定行動を検知する、
請求項5に記載の情報処理装置。 - 前記行動選択部は、ベッドの端部付近又は外側で行われる前記見守り対象者の所定行動を含む前記見守り対象者のベッドに関連する複数の行動から、前記見守り対象者について見守りの対象とする行動の選択を受け付け、
前記設定部は、
前記ベッドの基準面の高さとしてベッド上面の高さの指定を受け付けて、当該指定された高さを前記ベッド上面の高さに設定し、かつ、
前記見守りの対象として選択された行動に前記所定行動が含まれている場合、前記ベッド上面の高さを設定した後に、更に、ベッド上面の範囲を規定する4つの角のうち2つの角の位置の指定を前記撮影画像内で受け付けて、指定された当該2つの角の位置に基づいて前記ベッド上面の実空間内での範囲を設定し、
前記行動検知部は、設定された前記ベッドの上面と前記見守り対象者との前記実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された前記所定行動を検知する、
請求項5に記載の情報処理装置。 - 前記設定部は、設定する前記ベッド上面の範囲に対して、前記見守りの対象として選択された前記所定行動を検知するために設定された前記所定の条件に基づいて特定される検知領域が前記撮影画像内に写るか否かを判定し、前記見守りの対象として選択された前記所定行動の検知領域が前記撮影画像内に写らないと判定した場合に、前記見守りの対象として選択された前記所定行動の検知が正常に行えない可能性のあることを示す警告メッセージを出力する、
請求項7又は8に記載の情報処理装置。 - 前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部を更に備え、
前記行動検知部は、前記前景領域内の各画素の深度に基づいて特定される前記前景領域の写る対象の実空間内での位置を前記見守り対象者の位置として利用して、前記ベッド上面と前記見守り対象者との前記実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された前記所定行動を検知する、
請求項7から9のいずれか1項に記載の情報処理装置。 - 前記設定部による設定が所定時間内に完了しない場合に、前記設定部による設定が完了していないことを知らせるための通知を行う未完了通知部を更に備える、
請求項5から10のいずれか1項に記載の情報処理装置。 - コンピュータが、
見守り対象者のベッドに関連する複数の行動から当該見守り対象者について見守りの対象とする行動の選択を受け付けるステップと、
前記見守りの対象として選択された行動に応じて、前記見守り対象者のベッドにおける行動を見守るための撮影装置の前記ベッドに対する配置位置の候補を表示装置に表示させるステップと、
前記撮影装置によって撮影された撮影画像を取得するステップと、
前記撮影画像内に写る前記見守り対象者と前記ベッドとの位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象として選択された行動を検知するステップと、
を実行する情報処理方法。 - コンピュータに、
見守り対象者のベッドに関連する複数の行動から当該見守り対象者について見守りの対象とする行動の選択を受け付けるステップと、
前記見守りの対象として選択された行動に応じて、前記見守り対象者のベッドにおける行動を見守るための撮影装置の前記ベッドに対する配置位置の候補を表示装置に表示させるステップと、
前記撮影装置によって撮影された撮影画像を取得するステップと、
前記撮影画像内に写る前記見守り対象者と前記ベッドとの位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象として選択された行動を検知するステップと、を
実行させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014028656 | 2014-02-18 | ||
JP2014028656 | 2014-02-18 | ||
PCT/JP2015/051633 WO2015125545A1 (ja) | 2014-02-18 | 2015-01-22 | 情報処理装置、情報処理方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015125545A1 JPWO2015125545A1 (ja) | 2017-03-30 |
JP6432592B2 true JP6432592B2 (ja) | 2018-12-05 |
Family
ID=53878060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016504009A Active JP6432592B2 (ja) | 2014-02-18 | 2015-01-22 | 情報処理装置、情報処理方法、及び、プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20170055888A1 (ja) |
JP (1) | JP6432592B2 (ja) |
CN (1) | CN105960663A (ja) |
WO (1) | WO2015125545A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11864926B2 (en) | 2015-08-28 | 2024-01-09 | Foresite Healthcare, Llc | Systems and methods for detecting attempted bed exit |
US10206630B2 (en) | 2015-08-28 | 2019-02-19 | Foresite Healthcare, Llc | Systems for automatic assessment of fall risk |
JP6613828B2 (ja) * | 2015-11-09 | 2019-12-04 | 富士通株式会社 | 画像処理プログラム、画像処理装置、及び画像処理方法 |
US10453202B2 (en) * | 2016-06-28 | 2019-10-22 | Foresite Healthcare, Llc | Systems and methods for use in detecting falls utilizing thermal sensing |
JP6806572B2 (ja) | 2017-01-16 | 2021-01-06 | キヤノン株式会社 | 撮像制御装置、撮像装置、制御方法、プログラム、及び記憶媒体 |
JP6990040B2 (ja) * | 2017-04-28 | 2022-01-12 | パラマウントベッド株式会社 | ベッドシステム |
JP6910062B2 (ja) * | 2017-09-08 | 2021-07-28 | キング通信工業株式会社 | 見守り方法 |
JP7076281B2 (ja) | 2018-05-08 | 2022-05-27 | 国立大学法人鳥取大学 | 危険度推定システム |
GB201900581D0 (en) * | 2019-01-16 | 2019-03-06 | Os Contracts Ltd | Bed exit monitoring |
WO2023162016A1 (ja) * | 2022-02-22 | 2023-08-31 | 日本電気株式会社 | 監視システム、監視装置、監視方法、および記録媒体 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2752335B2 (ja) * | 1994-09-27 | 1998-05-18 | 鐘紡株式会社 | 病室内患者監視装置 |
US5471198A (en) * | 1994-11-22 | 1995-11-28 | Newham; Paul | Device for monitoring the presence of a person using a reflective energy beam |
US9311540B2 (en) * | 2003-12-12 | 2016-04-12 | Careview Communications, Inc. | System and method for predicting patient falls |
US8675059B2 (en) * | 2010-07-29 | 2014-03-18 | Careview Communications, Inc. | System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients |
US7319386B2 (en) * | 2004-08-02 | 2008-01-15 | Hill-Rom Services, Inc. | Configurable system for alerting caregivers |
US20120140068A1 (en) * | 2005-05-06 | 2012-06-07 | E-Watch, Inc. | Medical Situational Awareness System |
WO2007070384A2 (en) * | 2005-12-09 | 2007-06-21 | Honeywell International Inc. | Method and system for monitoring a patient in a premises |
JP2009049943A (ja) * | 2007-08-22 | 2009-03-05 | Alpine Electronics Inc | 距離画像によるトップビュー表示装置 |
WO2009029996A1 (en) * | 2007-09-05 | 2009-03-12 | Conseng Pty Ltd | Patient monitoring system |
US7987069B2 (en) * | 2007-11-12 | 2011-07-26 | Bee Cave, Llc | Monitoring patient support exiting and initiating response |
US9866797B2 (en) * | 2012-09-28 | 2018-01-09 | Careview Communications, Inc. | System and method for monitoring a fall state of a patient while minimizing false alarms |
JP5648840B2 (ja) * | 2009-09-17 | 2015-01-07 | 清水建設株式会社 | ベッド上及び室内の見守りシステム |
JP5771778B2 (ja) * | 2010-06-30 | 2015-09-02 | パナソニックIpマネジメント株式会社 | 監視装置、プログラム |
US9785744B2 (en) * | 2010-09-14 | 2017-10-10 | General Electric Company | System and method for protocol adherence |
JP5682204B2 (ja) * | 2010-09-29 | 2015-03-11 | オムロンヘルスケア株式会社 | 安全看護システム、および、安全看護システムの制御方法 |
CN102610054A (zh) * | 2011-01-19 | 2012-07-25 | 上海弘视通信技术有限公司 | 基于视频的起身检测*** |
JP5325251B2 (ja) * | 2011-03-28 | 2013-10-23 | 株式会社日立製作所 | カメラ設置支援方法、画像認識方法 |
JP2013078433A (ja) * | 2011-10-03 | 2013-05-02 | Panasonic Corp | 監視装置、プログラム |
US9247211B2 (en) * | 2012-01-17 | 2016-01-26 | Avigilon Fortress Corporation | System and method for video content analysis using depth sensing |
JP5915199B2 (ja) * | 2012-01-20 | 2016-05-11 | 富士通株式会社 | 状態検知装置および状態検知方法 |
US8823529B2 (en) * | 2012-08-02 | 2014-09-02 | Drs Medical Devices, Llc | Patient movement monitoring system |
JP6171415B2 (ja) * | 2013-03-06 | 2017-08-02 | ノーリツプレシジョン株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP6390886B2 (ja) * | 2013-06-04 | 2018-09-19 | 旭光電機株式会社 | 見守り装置 |
-
2015
- 2015-01-22 CN CN201580006834.6A patent/CN105960663A/zh active Pending
- 2015-01-22 WO PCT/JP2015/051633 patent/WO2015125545A1/ja active Application Filing
- 2015-01-22 US US15/118,714 patent/US20170055888A1/en not_active Abandoned
- 2015-01-22 JP JP2016504009A patent/JP6432592B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2015125545A1 (ja) | 2017-03-30 |
WO2015125545A1 (ja) | 2015-08-27 |
US20170055888A1 (en) | 2017-03-02 |
CN105960663A (zh) | 2016-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6432592B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6115335B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6489117B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
WO2015141268A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6167563B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6780641B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP6182917B2 (ja) | 監視装置 | |
JP6500785B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
WO2015133195A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2011186892A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JPWO2016151966A1 (ja) | 乳幼児監視装置、乳幼児監視方法、及び、乳幼児監視プログラム | |
JP2012057974A (ja) | 撮影対象サイズ推定装置及び撮影対象サイズ推定方法並びにそのプログラム | |
CN106650217B (zh) | 信息处理装置以及信息处理方法 | |
JP6607253B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP6737262B2 (ja) | 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム | |
JP6645503B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP6565468B2 (ja) | 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム | |
JP6606912B2 (ja) | 浴室異常検知装置、浴室異常検知方法、及び浴室異常検知プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20161101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161102 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181009 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181022 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6432592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |