WO2018159040A1 - 見守り支援システム及びその制御方法、並びにプログラム - Google Patents

見守り支援システム及びその制御方法、並びにプログラム Download PDF

Info

Publication number
WO2018159040A1
WO2018159040A1 PCT/JP2017/042584 JP2017042584W WO2018159040A1 WO 2018159040 A1 WO2018159040 A1 WO 2018159040A1 JP 2017042584 W JP2017042584 W JP 2017042584W WO 2018159040 A1 WO2018159040 A1 WO 2018159040A1
Authority
WO
WIPO (PCT)
Prior art keywords
bed
image
area
determination
unit
Prior art date
Application number
PCT/JP2017/042584
Other languages
English (en)
French (fr)
Inventor
田中　清明
純平 松永
信二 高橋
達哉 村上
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to CN201780070872.7A priority Critical patent/CN109963501A/zh
Priority to DE112017007156.9T priority patent/DE112017007156T5/de
Priority to US16/463,119 priority patent/US10853679B2/en
Publication of WO2018159040A1 publication Critical patent/WO2018159040A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Definitions

  • the present invention relates to a technique for supporting watching of a subject on a bed.
  • Patent Document 1 proposes a system that detects the motion of a patient's getting up or getting out of bed using an image of a camera installed obliquely above the bed.
  • a patient's wake-up / get-off is determined based on the bed area. Therefore, it is necessary to set (teach) information that defines the area of the bed in the image in advance in the system.
  • setting the bed area manually is a heavy burden and becomes an obstacle to the introduction and installation of the system.
  • Patent Document 2 proposes a method for automatically detecting a bed area from an image.
  • Patent Document 2 extracts linear edges from an image, and narrows down combinations of linear edges that are considered to constitute a bed outline based on the length of each linear edge and the intersection angle between the linear edges. is there. With this method, accurate detection can be expected for an image in which the contour of the bed clearly appears and there are few linear edges other than the contour of the bed. However, in the case where a part of the bed outline is hidden by the comforter, the candidates for the linear edges constituting the bed outline cannot be extracted, and the bed area cannot be detected accurately. Also, if the bed cover or comforter handle has a linear texture, or if there are tables or medical equipment around the bed, many linear edges are extracted in addition to the bed outline. There is a possibility that the detection accuracy of the region is significantly lowered.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide a technique for accurately detecting a bed region from an image.
  • the present invention employs a method of specifying a rough position of a bed by detecting an object from an image and then specifying a bed area from a local range.
  • the first aspect of the present invention is a monitoring support system that supports monitoring of a subject on a bed, and an image acquisition unit that acquires an image captured by an imaging device, and a bed area as a reference
  • an area setting unit for setting one or more determination regions in the image a detection unit for detecting the target person from the image acquired by the image acquisition unit, the determination area and the target person are detected
  • a determination unit that determines the state of the subject based on a relationship with a position; and an output unit that performs notification according to a determination result by the determination unit; and the region setting unit includes the image acquisition unit
  • the region setting image is received from the region setting image, the approximate position of the bed is identified by object detection from the region setting image, and the contour of the bed is extracted from the local range including the approximate position, thereby identifying the bed region.
  • the detection of the bed area and the setting of the determination area can be performed automatically, the introduction and installation of the system can be simplified, and the setting can be easily changed when the bed or the imaging device is moved. This improves the convenience of the system.
  • the bed area detection algorithm the method of specifying the bed area by extracting the outline of the bed from the local range after specifying the approximate position of the bed by object detection, Compared with the method, the detection accuracy and the success rate of the bed area can be improved.
  • the area setting unit specifies the approximate position of the bed by object detection using a discriminator that machine-learns the bed image. This is because the detection accuracy and robustness are excellent.
  • the image for setting the area may be an image in which the entire bed is viewed from diagonally above the bed.
  • the discriminator detects the entire bed, and the region setting unit detects a trapezoidal outline from a local range including the entire bed detected by the discriminator. Good.
  • the discriminator detects a corner of the bed, and the region setting unit defines a line segment starting from the corner from a local range including the corner detected by the discriminator. You may detect as.
  • the present invention can be understood as a watching support system having at least a part of the above-described configuration or function, or a bed area detection device in the watching support system.
  • the present invention also includes a monitoring support method, a monitoring support system control method, a bed area detection method, a program for causing a computer to execute these methods, or such a program, which includes at least a part of the processing described above. It can also be understood as a computer-readable recording medium in which the program is recorded non-temporarily.
  • the bed area can be detected from the image with high accuracy.
  • FIG. 1 is a block diagram schematically showing a hardware configuration and a functional configuration of the watching support system.
  • FIG. 2 is a diagram illustrating an installation example of the imaging apparatus.
  • FIG. 3 is a flowchart of the area setting process according to the first embodiment.
  • FIG. 4A to FIG. 4D are examples of the image and determination area of the area setting process.
  • FIG. 5 is a flowchart of the watching process.
  • FIG. 6 is a flowchart of the area setting process according to the second embodiment.
  • FIGS. 7A to 7D are examples of images and determination areas in the area setting process.
  • the present invention relates to a technique for supporting watching of a subject on a bed.
  • This technology can be applied to a system that automatically detects a getting-away / wake-up action of a patient or a care recipient in a hospital or a care facility, and performs a necessary notification when a dangerous state occurs.
  • This system can be preferably used for, for example, watching support for elderly people, dementia patients, children, and the like.
  • FIG. 1 is a block diagram schematically illustrating a hardware configuration and a functional configuration of the watching support system 1
  • FIG. 2 is a diagram illustrating an installation example of an imaging apparatus.
  • the watching support system 1 includes an imaging device 10 and an information processing device 11 as main hardware configurations.
  • the imaging device 10 and the information processing device 11 are connected by wire or wireless. Although only one imaging device 10 is shown in FIG. 1, a plurality of imaging devices 10 may be connected to the information processing device 11.
  • the imaging device 10 is a device that captures image data by capturing an image of a person on a bed.
  • the imaging device 10 a monochrome or color visible light camera, an infrared camera, or the like can be used.
  • the imaging device 10 including the infrared LED illumination 100 and the near-infrared camera 101 is employed in order to allow the subject to be watched even at night (even when the room is dark).
  • the imaging device 10 is installed so as to look down on the entire bed 20 from the upper side of the bed 20 toward the foot side.
  • the imaging device 10 captures images at a predetermined time interval (for example, 10 fps), and the image data is sequentially taken into the information processing device 11.
  • a predetermined time interval for example, 10 fps
  • the information processing apparatus 11 has a function of analyzing image data captured from the imaging apparatus 10 in real time, automatically detecting the wake-up action and the get-off action of the target person 21 on the bed 20 and notifying them when necessary. It is.
  • the information processing apparatus 11 includes an image acquisition unit 110, a detection unit 111, a determination unit 112, an output unit 113, an area setting unit 114, and a storage unit 115 as specific functions.
  • the information processing apparatus 11 according to the present embodiment includes a CPU (processor), memory, storage (HDD, SSD, etc.), input device (keyboard, mouse, touch panel, etc.), output device (display, speaker, etc.), communication interface, and the like.
  • Each function of the information processing apparatus 11 described above is realized by the CPU executing a program stored in the storage or memory.
  • the configuration of the information processing apparatus 11 is not limited to this example.
  • distributed computing by a plurality of computers may be performed, a part of the above functions may be executed by a cloud server, or a part of the above functions may be executed by a circuit such as an ASIC or FPGA. Also good.
  • the image acquisition unit 110 has a function of acquiring an image captured by the imaging device 10.
  • the image data input from the image acquisition unit 110 is temporarily stored in a memory or storage, and used for processing by the detection unit 111 and the determination unit 112.
  • the detecting unit 111 has a function of analyzing the image acquired by the image acquiring unit 110 and detecting a predetermined part (for example, head, face, upper body, etc.) of the watching target person 21 from the image. Any method may be used as a method for detecting a predetermined portion from an image. For example, a classifier method using a classic Haar-like feature value or HoG feature amount, or an object detection algorithm using a recent Faster R-CNN method can be preferably used.
  • the detection unit 111 detects the head 22 (portion above the neck) 22 of the subject 21 with a discriminator using the Haar-like feature quantity, and the position (x, y) and size (number of vertical and horizontal pixels) are output.
  • the position (x, y) of the head 22 is represented by, for example, image coordinates of the center point of a rectangular frame surrounding the head 22.
  • the detection unit 111 according to the present embodiment outputs the detection result in the position / size of the image coordinate system. However, the detection unit 111 converts the image coordinate system into a spatial coordinate system, and the three-dimensional image in the spatial coordinate system of the subject 21 is obtained. A position and a three-dimensional size may be output.
  • the determination unit 112 is a function that performs the determination of getting up and getting out of the subject 21 using the detection result of the detection unit 111. Specifically, the determination unit 112 determines whether the target person 21 has woken up or has left the floor based on the detection position of the head 22. The determination algorithm of the determination unit 112 will be described later.
  • the output unit 113 is a function that performs a necessary notification when the determination unit 112 detects the wake-up motion or the leaving motion of the subject 21.
  • the output unit 113 determines whether notification is necessary (for example, notification is performed only in a dangerous state), notification content (for example, message content), notification means (for example, voice) according to the degree of danger of the operation of the target person 21. , Mail, buzzer, warning light), notification destination (for example, nurse, doctor), notification frequency, and the like.
  • the area setting unit 114 is a function for setting a determination area for an image captured by the imaging apparatus 10. Since the watching support system 1 aims at monitoring the state of the subject 21 on the bed 20, a determination area is set based on the area of the bed 20 in the image.
  • the watching support system 1 according to the present embodiment has a function of automatically detecting a bed area and setting a determination area by the area setting unit 114, thereby improving user convenience. A specific detection algorithm will be described later.
  • the storage unit 115 is a function of storing various data used by the watching support system 1 for processing.
  • the storage unit 115 stores at least various parameters (threshold value, etc.) used in the wake-up determination and getting-off determination, determination area setting information, image data of a plurality of past frames or detection results (for calculation of moving speed and moving direction).
  • a storage area is provided.
  • FIG. 3 is a flowchart of the area setting process of the first embodiment executed by the information processing apparatus 11, and FIGS. 4A to 4D are examples of images and determination areas. This process is executed when the determination area is not set (for example, when the watching support system 1 is installed) or when the determination area needs to be updated as the bed or the imaging apparatus 10 moves.
  • step S30 the image acquisition unit 110 receives an image for region setting from the imaging device 10 (FIG. 4A).
  • an image for setting the area an image in which no person or object is present on the bed 20 or an image in which the entire mattress of the bed 20 is exposed is preferable, but the image is not necessarily in an ideal state. Good.
  • An image having the same conditions as the image captured in the watching determination process described later for example, an image of a person sleeping or a comforter may be used for area setting.
  • step S31 the region setting unit 114 detects a bed from the region setting image. Specifically, as shown in FIG. 4B, by repeating the process of evaluating the bed-likeness of the partial image in the detection window 40 while changing the position and size of the detection window 40, A bed 20 of an arbitrary size present at an arbitrary position is detected.
  • the process of step S31 corresponds to a process of specifying the approximate position of the bed 20 from the area setting image.
  • Any object detection algorithm may be used for bed detection, but an algorithm using a discriminator that machine-learns an image of the bed is preferable in terms of detection accuracy and robustness.
  • a classifier using a classic Haar-like feature quantity or HoG feature quantity, or a classifier using Deep Learning represented by the recent Faster R-CNN can be used.
  • step S31 If the bed detection is successful in step S31 (step S32; YES), the process proceeds to step S33. If the bed detection fails (step S32; NO), the process is interrupted.
  • step S ⁇ b> 33 the region setting unit 114 performs an edge extraction process on the local range 41 including the entire bed 20.
  • a known edge extraction method such as a differential filter or a Laplacian filter can be used.
  • the region setting unit 114 detects the contour of the trapezoidal bed 20 from the edge extraction image.
  • a known algorithm such as Hough transform can be used. As shown in FIG. 4C, an area surrounded by the trapezoidal outline (shown by a broken line) detected here is set as the bed area 42.
  • step S35 the area setting unit 114 sets the determination areas A1 to A3 with reference to the bed area 42 as shown in FIG. 4D.
  • the determination area A ⁇ b> 1 is an area set on the head side of the bed 20 and corresponds to a range in which the head 22 of the target person 21 can exist at the time of bedtime (when the target person 21 is sleeping on the bed 20). (Hereinafter referred to as bedded area A1).
  • the determination area A2 is an area set on the foot side of the bed 20 and corresponds to a range in which the head 22 of the subject 21 can exist when getting up (when the subject 21 is in the posture of raising the upper body) ( Hereinafter, this is referred to as a wake-up area A2.)
  • the relative positions and sizes of the areas A1 and A2 with respect to the bed area 42 are determined in advance. If the bed area 42 is specified, the ranges of the areas A1 and A2 are determined by calculation. .
  • the determination area A3 is an area other than the areas A1 and A2. At the time of getting off (when the subject 21 is away from the bed), the head 22 of the subject 21 exists in the area A3 (hereinafter referred to as the getting-off area A3).
  • step S36 the area setting unit 114 stores information on the bed area 42 (coordinates and outlines of the four corners of the bed area 42) and information on the areas A1 to A3 (coordinates of the vertices of each area, etc.). And finish the setting process.
  • FIG. 5 is a flowchart of the watching process executed by the information processing apparatus 11. The processing flow of FIG. 5 is executed every time one frame image is captured from the imaging apparatus 10.
  • step S50 the image acquisition unit 110 captures an image of one frame from the imaging device 10.
  • the acquired image is temporarily stored in the storage unit 115.
  • the detection unit 111 detects the head of the subject from the image acquired in step S50 (step S51).
  • Information on the detected position of the head is stored in the storage unit 115 in association with time information or a frame number of the image.
  • the determination unit 112 determines which of the areas A1 to A3 the head detection position belongs to, and classifies the state of the subject (step S52).
  • the case where the head is detected in the awakening area A1 is “awakening state”
  • the case where the head is detected in the awakening area A2 is “awakening state”
  • the case where the head is detected in the awakening area A3 is “awakening” Called “state”.
  • Information on the state of the subject is stored in the storage unit 115 in association with the time information or frame number of the image.
  • the determination unit 112 compares the state of the subject determined in step S52 with the state of the subject in the previous frame stored in the storage unit 115, and checks whether or not the state has changed (step). S53). If a change from the rising state to the rising state or a change from the rising state to the leaving state is detected, a notification is made by the output unit 113 (step S54). Then, it returns to step S50 and continues monitoring.
  • the detection of the bed area and the setting of the determination area can be automatically performed, the introduction and installation of the system is simplified, and the bed and the imaging device are moved. In this case, the setting can be easily changed, and the convenience of the system is improved.
  • a bed area detection algorithm a method of specifying a rough position of a bed by detecting an object from an image and then specifying a bed area (outline of a bed) from a local range is adopted. In comparison, the detection accuracy and the success rate of the bed area can be improved.
  • FIG. 6 is a flowchart of area setting processing according to the second embodiment executed by the information processing apparatus 11, and FIGS. 7A to 7D are examples of images and determination areas. This process is executed when the determination area is not set (for example, when the watching support system 1 is installed) or when the determination area needs to be updated as the bed or the imaging apparatus 10 moves.
  • step S60 the image acquisition unit 110 receives an image for region setting from the imaging device 10.
  • the region setting image may be the same as that used in the first embodiment.
  • step S61 the area setting unit 114 detects the corner of the bed from the area setting image. Specifically, as shown in FIG. 7B, by repeating the process of evaluating the corner likeness of the partial image in the detection window 70 while changing the position and size of the detection window 70, The corner 71 of the bed 20 of an arbitrary size existing at an arbitrary position is detected.
  • the corner detection method the same technique as the bed detection method described in the first embodiment can be applied (however, the image used for machine learning is the image of the entire bed in the first embodiment).
  • the second embodiment differs only in that it is an image of the corner portion of the bed).
  • the two left and right corners 71 and 72 on the foot side of the bed 20 are detected using two types of discriminators.
  • the process of step S61 corresponds to a process of specifying the approximate position of the bed 20 from the area setting image.
  • step S62 If the detection of the two corners 71 and 72 is successful in step S61 (step S62; YES), the process proceeds to step S63. If the corner detection fails (step S62; NO), the process is interrupted.
  • step S63 the region setting unit 114 sets local ranges 73 and 74 including the corners 71 and 72, respectively, and performs edge extraction processing on the local ranges 73 and 74.
  • edge extraction for example, a known edge extraction method such as a differential filter or a Laplacian filter can be used.
  • step S64 the region setting unit 114 detects line segments 75 and 76 (shown by broken lines) extending from the edge extracted image at the corners 71 and 72 in the downward direction of the image.
  • line segment detection for example, a known algorithm such as Hough transform can be used.
  • step S65 to S66 an area surrounded by a trapezoidal outline defined by the two corners 71 and 72 and the two line segments 75 and 76 is set as the bed area 77.
  • step S65 to S66 is the same as steps S35 to S36 of the first embodiment, and thus description thereof is omitted.
  • the above description of each embodiment is merely illustrative of the present invention.
  • the present invention is not limited to the specific form described above, and various modifications are possible within the scope of the technical idea.
  • the entire bed or the corner portion is detected, but the outline of the bed is detected by detecting other characteristic portions of the bed (for example, the side end portion of the bed, the end portion on the foot side or the head side).
  • the position may be specified.
  • the number and shape of the determination areas can be arbitrarily designed.
  • the head is the detection target.
  • a part other than the head for example, a face, a part of the face (face organ), the upper body, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

ベッド上の対象者の見守りを支援する見守り支援システムにおいて、領域設定部が、撮像装置で撮影された領域設定用の画像を受け取り、前記領域設定用の画像から物体検出によりベッドの概略位置を特定し、前記概略位置を包含する局所範囲からベッドの輪郭を抽出することにより、ベッドの領域を特定する処理を行う。

Description

見守り支援システム及びその制御方法、並びにプログラム
　本発明は、ベッド上の対象者の見守りを支援するための技術に関する。
　ベッドからの転落事故などを未然に防ぐため、病院や介護施設などにおける患者の見守りを支援するシステムが知られている。特許文献１には、ベッドの斜め上方に設置したカメラの画像を用いて患者の起床や離床の動作を検出するシステムが提案されている。この種のシステムにおいては、ベッドの領域を基準にして患者の起床・離床を判定している。したがって、画像内のベッドの領域を定義する情報をあらかじめシステムに設定（教示）する必要がある。しかしながら、大型病院のようにベッド数が多い場合には、手入力でベッド領域を設定することは負担が大きく、システムの導入・設置の阻害要因となる。しかも、病院や介護施設などにおけるベッドは設置位置が固定とは限られず、移動する場合もあることから、移動する度に手入力でベッド領域を設定するのは非常に煩雑である。そこで、特許文献２では、画像からベッド領域を自動で検出する方法が提案されている。
特開２０１２－０７１００３号公報 特開２０１６－１１２０４０号公報
　特許文献２の提案方法は、画像から線型エッジを抽出し、各線型エッジの長さや線型エッジ同士の交差角度に基づいて、ベッドの輪郭を構成すると思われる線型エッジの組み合わせを絞り込む、というものである。この方法は、ベッドの輪郭が明りょうに現れ、且つ、ベッドの輪郭以外の線型エッジが少ない画像に対しては、精度よい検出が期待できる。ところが、掛布団でベッドの輪郭の一部が隠れているようなケースでは、ベッドの輪郭を構成する線型エッジの候補を抽出できず、ベッド領域を正確に検出することができない。また、ベッドカバーや掛布団の柄が直線的なテクスチャである場合や、ベッドの周囲にテーブルや医療器具などが存在する場合は、ベッドの輪郭以外にも多数の線型エッジが抽出されるため、ベッド領域の検出精度が著しく低下する可能性がある。
　本発明は、上記実情に鑑みなされたものであって、画像からベッド領域を精度良く検出するための技術を提供することを目的とする。
　上記目的を達成するために、本発明では、画像から物体検出によりベッドの大まかな位置を特定した後、局所範囲のうちからベッド領域を特定する、という方法を採用する。
　具体的には、本発明の第一態様は、ベッド上の対象者の見守りを支援する見守り支援システムであって、撮像装置により撮影された画像を取得する画像取得部と、ベッドの領域を基準として画像内に１つ以上の判定領域を設定する領域設定部と、前記画像取得部により取得された前記画像から前記対象者を検出する検出部と、前記判定領域と前記対象者が検出された位置との関係に基づいて、前記対象者の状態を判定する判定部と、前記判定部による判定結果に応じた通知を行う出力部と、を有し、前記領域設定部は、前記画像取得部から領域設定用の画像を受け取り、前記領域設定用の画像から物体検出によりベッドの概略位置を特定し、前記概略位置を包含する局所範囲からベッドの輪郭を抽出することにより、ベッドの領域を特定することを特徴とする見守り支援システムを提供する。
　この構成によれば、ベッド領域の検出及び判定領域の設定を自動で行うことができるので、システムの導入・設置の作業が簡易になるとともに、ベッドや撮像装置を移動した場合の設定変更も容易になり、システムの利便性が向上する。また、ベッド領域の検出アルゴリズムとして、物体検出によりベッドの概略位置を特定した後、局所範囲のうちからベッドの輪郭を抽出することにより、ベッドの領域を特定する、という方法を採用したので、従来方法に比べて、ベッド領域の検出精度ならびに成功率を向上することができる。
　前記領域設定部は、ベッドの画像を機械学習した識別器を用いた物体検出により、ベッドの概略位置を特定することが好ましい。検出精度とロバスト性に優れるからである。
　前記領域設定用の画像は、ベッドの斜め上からベッドの全体を俯瞰する画像であってもよい。このとき、前記識別器は、ベッドの全体を検出するものであり、前記領域設定部は、前記識別器によって検出されたベッドの全体を包含する局所範囲から、台形状の輪郭を検出してもよい。あるいは、前記識別器は、ベッドのコーナーを検出するものであり、前記領域設定部は、前記識別器によって検出されたコーナーを包含する局所範囲から、前記コーナーを起点とする線分をベッドの輪郭として検出してもよい。
　なお、本発明は、上記構成ないし機能の少なくとも一部を有する見守り支援システム、又は、見守り支援システムにおけるベッド領域検出装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、見守り支援方法、見守り支援システムの制御方法、もしくはベッド領域検出方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、画像からベッド領域を精度良く検出することができる。
図１は見守り支援システムのハードウェア構成および機能構成を模式的に示すブロック図である。 図２は撮像装置の設置例を示す図である。 図３は第１実施形態の領域設定処理のフローチャートである。 図４Ａ～図４Ｄは領域設定処理の画像及び判定領域の例である。 図５は見守り処理のフローチャートである。 図６は第２実施形態の領域設定処理のフローチャートである。 図７Ａ～図７Ｄは領域設定処理の画像及び判定領域の例である。
　本発明は、ベッド上の対象者の見守りを支援するための技術に関する。この技術は、病院や介護施設などにおいて、患者や要介護者などの離床・起床行動を自動で検知し、危険な状態が発生した場合などに必要な通知を行うシステムに適用することができる。このシステムは、例えば、高齢者、認知症患者、子供などの見守り支援に好ましく利用することができる。
　以下、図面を参照して本発明を実施するための好ましい形態の一例を説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
　＜第１実施形態＞
　（システム構成）
　図１と図２を参照して、本発明の第１実施形態に係る見守り支援システムの構成を説明する。図１は、見守り支援システム１のハードウェア構成および機能構成を模式的に示すブロック図であり、図２は、撮像装置の設置例を示す図である。
　見守り支援システム１は、主なハードウェア構成として、撮像装置１０と情報処理装置１１を有している。撮像装置１０と情報処理装置１１の間は有線又は無線により接続されている。図１では、１つの撮像装置１０のみ示しているが、複数台の撮像装置１０を情報処理装置１１に接続してもよい。
　撮像装置１０は、ベッド上の対象者を撮影して画像データを取り込むためのデバイスである。撮像装置１０としては、モノクロ又はカラーの可視光カメラ、赤外線カメラなどを用いることができる。本実施形態では、夜間でも（部屋内が暗い場合でも）対象者の見守りを可能とするため、赤外線ＬＥＤ照明１００と近赤外線カメラ１０１で構成される撮像装置１０を採用する。撮像装置１０は、図２に示すように、ベッド２０の頭側上方から足側に向かって、ベッド２０の全体を俯瞰するように設置される。撮像装置１０は所定の時間間隔（例えば、１０ｆｐｓ）で撮影を行い、その画像データは情報処理装置１１に順次取り込まれる。
　情報処理装置１１は、撮像装置１０から取り込まれる画像データをリアルタイムに分析し、ベッド２０上の対象者２１の起床動作や離床動作を自動で検知し、必要な場合に通知を行う機能を備える装置である。情報処理装置１１は、具体的な機能として、画像取得部１１０、検出部１１１、判定部１１２、出力部１１３、領域設定部１１４、記憶部１１５を有している。本実施形態の情報処理装置１１は、ＣＰＵ（プロセッサ）、メモリ、ストレージ（ＨＤＤ、ＳＳＤなど）、入力デバイス（キーボード、マウス、タッチパネルなど）、出力デバイス（ディスプレイ、スピーカなど）、通信インタフェースなどを具備する汎用のコンピュータにより構成され、上述した情報処理装置１１の各機能は、ストレージ又はメモリに格納されたプログラムをＣＰＵが実行することにより実現される。ただし、情報処理装置１１の構成はこの例に限られない。例えば、複数台のコンピュータによる分散コンピューティングを行ってもよいし、上記機能の一部をクラウドサーバにより実行してもよいし、上記機能の一部をＡＳＩＣやＦＰＧＡのような回路で実行してもよい。
　画像取得部１１０は、撮像装置１０により撮影された画像を取得する機能である。画像取得部１１０より入力された画像データは一時的にメモリ又はストレージに記憶され、検出部１１１や判定部１１２の処理に供される。
　検出部１１１は、画像取得部１１０により取得された画像を分析し、当該画像から、見守り対象者２１の所定部位（例えば、頭部、顔、上半身など）を検出する機能である。画像から所定部位を検出する方法としてはいかなる方法を用いてもよい。例えば、古典的なＨａａｒ－ｌｉｋｅ特徴量やＨｏＧ特徴量を用いた識別器による手法や、近年のＦａｓｔｅｒ　Ｒ－ＣＮＮによる手法を用いた物体検出アルゴリズムを好ましく用いることができる。本実施形態の検出部１１１は、Ｈａａｒ－ｌｉｋｅ特徴量を用いた識別器により対象者２１の頭部（首より上の部分）２２を検出し、検出結果として、頭部２２の位置（ｘ，ｙ）及びサイズ（縦横のピクセル数）を出力する。頭部２２の位置（ｘ，ｙ）は、例えば、頭部２２を囲む矩形枠の中心点の画像座標で表される。なお、本実施形態の検出部１１１は検出結果を画像座標系の位置・サイズで出力するが、検出部１１１が画像座標系を空間座標系に換算し、対象者２１の空間座標系における３次元位置や３次元的なサイズを出力してもよい。
　判定部１１２は、検出部１１１の検出結果を用いて対象者２１の起床判定、離床判定などを行う機能である。具体的には、判定部１１２は、頭部２２の検出位置に基づいて対象者２１が起床したか否か、離床したか否かなどを判定する。判定部１１２の判定アルゴリズムについては後述する。
　出力部１１３は、判定部１１２により対象者２１の起床動作ないし離床動作が検知された場合に、必要な通知を行う機能である。出力部１１３は、対象者２１の動作の危険度合いに応じて、通知の要否（例えば、危険な状態の場合のみ通知を行う）、通知の内容（例えばメッセージの内容）、通知手段（例えば音声、メール、ブザー、警告灯）、通知先（例えば看護師、医師）、通知の頻度などを切り替えることができる。
　領域設定部１１４は、撮像装置１０により撮影される画像に対し判定領域を設定するための機能である。見守り支援システム１はベッド２０上の対象者２１の状態監視を目的とするため、画像内のベッド２０の領域に基づき判定領域が設定される。本実施形態の見守り支援システム１は、領域設定部１１４によってベッド領域の検出及び判定領域の設定を自動で行う機能を有し、ユーザの利便性を向上している。具体的な検出アルゴリズムについては後述する。
　記憶部１１５は、見守り支援システム１が処理に用いる各種のデータを記憶する機能である。記憶部１１５には、少なくとも、起床判定や離床判定で用いる各種パラメータ（閾値など）、判定領域の設定情報、過去複数フレームの画像データ又は検出結果（移動速度や移動方向の計算のため）を記憶するための記憶エリアが設けられる。
　（ベッド領域の検出及び判定領域の設定）
　図３と図４Ａ～図４Ｄを参照して、ベッド領域の検出処理及び判定領域の設定処理の一例について説明する。図３は、情報処理装置１１により実行される第１実施形態の領域設定処理のフローチャートであり、図４Ａ～図４Ｄは、画像及び判定領域の例である。この処理は、判定領域が未設定の場合（例えば、見守り支援システム１の設置時など）、又は、ベッドや撮像装置１０の移動に伴い判定領域を更新する必要がある場合に実行される。
　ステップＳ３０において、画像取得部１１０が、撮像装置１０から領域設定用の画像を受け取る（図４Ａ）。領域設定用の画像としては、ベッド２０上に人や物が何も無い状態の画像やベッド２０のマットレス全体が露出している画像が好ましいが、必ずしもそのような理想状態の画像でなくてもよい。後述する見守り判定処理で取り込まれる画像と同じ条件のもの（例えば人が寝ていたり、掛布団がかかっている状態の画像）を領域設定用に用いても構わない。
　ステップＳ３１では、領域設定部１１４が、領域設定用の画像からベッドを検出する。具体的には、図４Ｂに示すように、検出ウィンドウ４０内の部分画像のベッドらしさを評価するという処理を、検出ウィンドウ４０の位置及びサイズを変えながら繰り返すことにより、領域設定用の画像内の任意の位置に存在する任意のサイズのベッド２０を検出する。このステップＳ３１の処理は、領域設定用の画像の中からベッド２０の概略位置を特定する処理に相当する。
　ベッドの検出にはいかなる物体検出アルゴリズムを用いてもよいが、ベッドの画像を機械学習した識別器を用いるアルゴリズムが検出精度とロバスト性の点から好ましい。例えば、古典的なＨａａｒ－ｌｉｋｅ特徴量やＨｏＧ特徴量を用いた識別器や、近年のＦａｓｔｅｒ　Ｒ－ＣＮＮに代表されるＤｅｅｐ　Ｌｅａｒｎｉｎｇを用いた識別器などを用いることができる。
　ステップＳ３１においてベッドの検出に成功した場合は（ステップＳ３２；ＹＥＳ）、ステップＳ３３へ進み、ベッドの検出に失敗した場合は（ステップＳ３２；ＮＯ）、処理を中断する。
　ステップＳ３３では、領域設定部１１４が、ベッド２０の全体を包含する局所範囲４１に対しエッジ抽出処理を行う。エッジ抽出には、例えば、微分フィルタやラプラシアンフィルタなど、公知のエッジ抽出方法を用いることができる。続いて、ステップＳ３４では、領域設定部１１４が、エッジ抽出画像から台形状のベッド２０の輪郭を検出する。輪郭検出には、例えば、ハフ変換などの公知のアルゴリズムを用いることができる。図４Ｃに示すように、ここで検出された台形状の輪郭（破線で示す）で囲まれた領域がベッド領域４２として設定される。
　ステップＳ３５では、領域設定部１１４が、図４Ｄに示すように、ベッド領域４２を基準として判定領域Ａ１～Ａ３を設定する。判定領域Ａ１は、ベッド２０の頭側に設定される領域であり、就床時（対象者２１がベッド２０に寝ている時）に対象者２１の頭部２２が存在し得る範囲に対応する（以後、就床領域Ａ１と呼ぶ）。判定領域Ａ２は、ベッド２０の足側に設定される領域であり、起床時（対象者２１が上半身を起こした姿勢の時）に対象者２１の頭部２２が存在し得る範囲に対応する（以後、起床領域Ａ２と呼ぶ）。本実施形態において、ベッド領域４２に対する各領域Ａ１、Ａ２の相対的な位置・サイズが予め決められており、ベッド領域４２が特定されれば各領域Ａ１、Ａ２の範囲は計算で定まるものとする。判定領域Ａ３は、領域Ａ１、Ａ２以外の領域である。離床時（対象者２１がベッドから離れた状態の時）は、対象者２１の頭部２２は領域Ａ３内に存在する（以後、離床領域Ａ３と呼ぶ）。
　その後、ステップＳ３６で、領域設定部１１４が、ベッド領域４２の情報（ベッド領域４２の四隅の座標、輪郭など）と各領域Ａ１～Ａ３の情報（各領域の頂点の座標など）を記憶部１１５に格納し、設定処理を終了する。
　（見守り処理）
　図５を参照して見守り処理の一例を説明する。図５は、情報処理装置１１により実行される見守り処理のフローチャートである。図５の処理フローは、撮像装置１０から１フレームの画像が取り込まれる度に実行される。
　ステップＳ５０において、画像取得部１１０が、撮像装置１０から１フレームの画像を取り込む。取得された画像は記憶部１１５に一時的に記憶される。次に検出部１１１が、ステップＳ５０で取得された画像から対象者の頭部を検出する（ステップＳ５１）。検出された頭部の位置（ｘｙ座標）の情報は、当該画像の時刻情報又はフレーム番号に対応付けて記憶部１１５に記憶される。
　判定部１１２は、頭部の検出位置が領域Ａ１～Ａ３のいずれに属するかを判定し、対象者の状態を分類する（ステップＳ５２）。ここでは、頭部が就床領域Ａ１内で検出された場合を「就床状態」、起床領域Ａ２内で検出された場合を「起床状態」、離床領域Ａ３内で検出された場合を「離床状態」と呼ぶ。対象者の状態の情報は、当該画像の時刻情報又はフレーム番号に対応付けて記憶部１１５に記憶される。
　次に判定部１１２は、ステップＳ５２で判定した対象者の状態と、記憶部１１５に記憶されている前フレームでの対象者の状態とを比較し、状態に変化があったか否かを調べる（ステップＳ５３）。もし、就床状態→起床状態への変化、又は、起床状態→離床状態への変化が検出された場合は、出力部１１３による通知を行う（ステップＳ５４）。その後、ステップＳ５０に戻って監視を続ける。
　以上述べた本実施形態のシステムによれば、ベッド領域の検出及び判定領域の設定を自動で行うことができるので、システムの導入・設置の作業が簡易になるとともに、ベッドや撮像装置を移動した場合の設定変更も容易になり、システムの利便性が向上する。また、ベッド領域の検出アルゴリズムとして、画像から物体検出によりベッドの大まかな位置を特定した後、局所範囲のうちからベッド領域（ベッドの輪郭）を特定する、という方法を採用したので、従来方法に比べて、ベッド領域の検出精度ならびに成功率を向上することができる。
　＜第２実施形態＞
　次に本発明の第２実施形態を説明する。第１実施形態のベッド領域検出では、ベッドの全体を検出したのに対し、第２実施形態では、ベッドのコーナーを検出する点が異なる。それ以外の構成及び処理については第１実施形態と同様である。以下、第２実施形態に特有の構成及び処理について説明する。
　図６と図７Ａ～図７Ｄを参照して、ベッド領域の検出処理及び判定領域の設定処理の一例について説明する。図６は、情報処理装置１１により実行される第２実施形態の領域設定処理のフローチャートであり、図７Ａ～図７Ｄは、画像及び判定領域の例である。この処理は、判定領域が未設定の場合（例えば、見守り支援システム１の設置時など）、又は、ベッドや撮像装置１０の移動に伴い判定領域を更新する必要がある場合に実行される。
　ステップＳ６０において、画像取得部１１０が、撮像装置１０から領域設定用の画像を受け取る。図７Ａに示すように、領域設定用の画像は第１実施形態で用いたものと同じでよい。
　ステップＳ６１では、領域設定部１１４が、領域設定用の画像からベッドのコーナーを検出する。具体的には、図７Ｂに示すように、検出ウィンドウ７０内の部分画像のコーナーらしさを評価するという処理を、検出ウィンドウ７０の位置及びサイズを変えながら繰り返すことにより、領域設定用の画像内の任意の位置に存在する任意のサイズのベッド２０のコーナー７１を検出する。コーナーの検出方法としては、第１実施形態で述べたベッドの検出方法と同じ技術を適用することができる（ただし、機械学習に用いる画像が、第１実施形態ではベッド全体の画像であるのに対し、第２実施形態ではベッドのコーナー部の画像である点のみ異なる。）。本実施形態では、図７Ｂに示すように、２種類の識別器を用いて、ベッド２０の足側の左右２つのコーナー７１、７２を検出する。このステップＳ６１の処理は、領域設定用の画像の中からベッド２０の概略位置を特定する処理に相当する。
　ステップＳ６１において２つのコーナー７１、７２の検出に成功した場合は（ステップＳ６２；ＹＥＳ）、ステップＳ６３へ進み、コーナーの検出に失敗した場合は（ステップＳ６２；ＮＯ）、処理を中断する。
　ステップＳ６３では、領域設定部１１４が、コーナー７１、７２それぞれを包含する局所範囲７３、７４を設定し、各局所範囲７３、７４に対しエッジ抽出処理を行う。エッジ抽出には、例えば、微分フィルタやラプラシアンフィルタなど、公知のエッジ抽出方法を用いることができる。続いて、ステップＳ６４では、領域設定部１１４が、エッジ抽出画像からコーナー７１、７２を起点とし画像の下方向に向かって延びる線分７５、７６（破線で示す）を検出する。線分検出には、例えば、ハフ変換などの公知のアルゴリズムを用いることができる。そして、２つのコーナー７１、７２と２本の線分７５、７６とで規定される台形状の輪郭で囲まれた領域がベッド領域７７として設定される。以降の処理（ステップＳ６５～Ｓ６６）は第１実施形態のステップＳ３５～Ｓ３６と同様のため説明を割愛する。
　以上述べた本実施形態のシステムにおいても、第１実施形態と同様の作用効果を得ることができる。
　＜その他＞
　上記の各実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態では、ベッド全体又はコーナー部を検出したが、ベッドの他の特徴部分（例えば、ベッドの側端部、足側もしくは頭側の端部など）を検出することによりベッドの概略位置を特定してもよい。また、判定領域の数や形状は任意に設計できる。また、上記実施形態では頭部を検出対象としたが、頭部以外の部位（例えば、顔、顔の一部（顔器官）、上半身など）を検出対象としてもよい。
　１：見守り支援システム、１０：撮像装置、１１：情報処理装置、１１０：画像取得部、１１１：検出部、１１２：判定部、１１３：出力部、１１４：領域設定部、１１５：記憶部
　１００：照明、１０１：近赤外線カメラ、２０：ベッド、２１：対象者、２２：頭部
　４０：検出ウィンドウ、４１：局所領域、４２：ベッド領域、Ａ１：就床領域、Ａ２：起床領域、Ａ３：離床領域
　７０：検出ウィンドウ、７１，７２：コーナー、７３，７４：局所領域、７５，７６：線分、７７：ベッド領域

Claims (6)

  1. 　ベッド上の対象者の見守りを支援する見守り支援システムであって、
    　撮像装置により撮影された画像を取得する画像取得部と、
    　ベッドの領域を基準として画像内に１つ以上の判定領域を設定する領域設定部と、
    　前記画像取得部により取得された前記画像から前記対象者を検出する検出部と、
    　前記判定領域と前記対象者が検出された位置との関係に基づいて、前記対象者の状態を判定する判定部と、
    　前記判定部による判定結果に応じた通知を行う出力部と、を有し、
    　前記領域設定部は、
    　　前記画像取得部から領域設定用の画像を受け取り、
    　　前記領域設定用の画像から物体検出によりベッドの概略位置を特定し、
    　　前記概略位置を包含する局所範囲からベッドの輪郭を抽出することにより、ベッドの領域を特定する
    ことを特徴とする見守り支援システム。
  2. 　前記領域設定部は、ベッドの画像を機械学習した識別器を用いた物体検出により、ベッドの概略位置を特定する
    ことを特徴とする請求項１に記載の見守り支援システム。
  3. 　前記領域設定用の画像は、ベッドの斜め上からベッドの全体を俯瞰する画像であり、
    　前記識別器は、ベッドの全体を検出するものであり、
    　前記領域設定部は、前記識別器によって検出されたベッドの全体を包含する局所範囲から、台形状の輪郭を検出する
    ことを特徴とする請求項２に記載の見守り支援システム。
  4. 　前記領域設定用の画像は、ベッドの斜め上からベッドの全体を俯瞰する画像であり、
    　前記識別器は、ベッドのコーナーを検出するものであり、
    　前記領域設定部は、前記識別器によって検出されたコーナーを包含する局所範囲から、前記コーナーを起点とする線分をベッドの輪郭として検出する
    ことを特徴とする請求項２に記載の見守り支援システム。
  5. 　ベッド上の対象者の見守りを支援する見守り支援システムの制御方法であって、
    　撮像装置により撮影された画像を取得するステップと、
    　ベッドの領域を基準として画像内に１つ以上の判定領域を設定するステップと、
    　前記取得された前記画像から前記対象者を検出するステップと、
    　前記判定領域と前記対象者が検出された位置との関係に基づいて、前記対象者の状態を判定するステップと、
    　前記対象者の状態の判定結果に応じた通知を行うステップと、を有し、
    　前記判定領域を設定するステップは、
    　　前記画像取得部から領域設定用の画像を受け取るステップと、
    　　前記領域設定用の画像から物体検出によりベッドの概略位置を特定するステップと、
    　　前記概略位置を包含する局所範囲からベッドの輪郭を抽出することにより、ベッドの領域を特定するステップと、を含む
    ことを特徴とする見守り支援システムの制御方法。
  6. 　請求項５に記載の見守り支援システムの制御方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2017/042584 2017-03-02 2017-11-28 見守り支援システム及びその制御方法、並びにプログラム WO2018159040A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780070872.7A CN109963501A (zh) 2017-03-02 2017-11-28 看护辅助***及其控制方法、以及程序
DE112017007156.9T DE112017007156T5 (de) 2017-03-02 2017-11-28 Überwachungshilfssystem, steuerverfahren dafür und programm
US16/463,119 US10853679B2 (en) 2017-03-02 2017-11-28 Monitoring assistance system, control method thereof, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017039319A JP6635074B2 (ja) 2017-03-02 2017-03-02 見守り支援システム及びその制御方法
JP2017-039319 2017-03-02

Publications (1)

Publication Number Publication Date
WO2018159040A1 true WO2018159040A1 (ja) 2018-09-07

Family

ID=63370714

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042584 WO2018159040A1 (ja) 2017-03-02 2017-11-28 見守り支援システム及びその制御方法、並びにプログラム

Country Status (5)

Country Link
US (1) US10853679B2 (ja)
JP (1) JP6635074B2 (ja)
CN (1) CN109963501A (ja)
DE (1) DE112017007156T5 (ja)
WO (1) WO2018159040A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133941A (ja) * 2004-11-04 2006-05-25 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理方法、画像処理プログラム及び携帯型端末
JP2012071004A (ja) * 2010-09-29 2012-04-12 Omron Healthcare Co Ltd 安全看護システム、および、安全看護システムの制御方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1199140A (ja) 1997-09-26 1999-04-13 Toshiba Corp 就寝状態異常検知装置
CN101520850B (zh) * 2009-04-17 2012-02-15 中国科学院计算技术研究所 物体检测分类器的构造方法和物体检测方法与相应***
JP5682203B2 (ja) 2010-09-29 2015-03-11 オムロンヘルスケア株式会社 安全看護システム、および、安全看護システムの制御方法
WO2012111150A1 (ja) 2011-02-18 2012-08-23 パイオニア株式会社 近接場光デバイス及びエネルギー移動の制御方法
JP6182917B2 (ja) * 2013-03-15 2017-08-23 ノーリツプレシジョン株式会社 監視装置
JP6115335B2 (ja) * 2013-06-10 2017-04-19 ノーリツプレシジョン株式会社 情報処理装置、情報処理方法、及び、プログラム
CN104637044B (zh) * 2013-11-07 2017-12-01 中国科学院深圳先进技术研究院 钙化斑块及其声影的超声图像提取***
US20150199592A1 (en) * 2014-01-14 2015-07-16 Microsoft Corporation Contour-based classification of objects
WO2015141268A1 (ja) * 2014-03-20 2015-09-24 Ｎｋワークス株式会社 情報処理装置、情報処理方法、及び、プログラム
US9710706B2 (en) * 2014-09-23 2017-07-18 GM Global Technology Operations LLC Method for classifying a known object in a field of view of a camera
JP6375920B2 (ja) 2014-12-11 2018-08-22 富士通株式会社 ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム
JP6455234B2 (ja) 2015-03-03 2019-01-23 富士通株式会社 行動検出方法及び行動検出装置
US10198804B2 (en) * 2015-04-15 2019-02-05 Halliburton Energy Services, Inc. Method for determining fabric and upscaled properties of geological sample
CN107735813A (zh) * 2015-06-10 2018-02-23 柯尼卡美能达株式会社 图像处理***、图像处理装置、图像处理方法及图像处理程序
US10276012B2 (en) * 2015-08-10 2019-04-30 Konica Minolta, Inc. Display device and display method for system for monitoring person to be monitored, and system for monitoring person to be monitored
JP2017038777A (ja) * 2015-08-19 2017-02-23 アイホン株式会社 動作認識装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133941A (ja) * 2004-11-04 2006-05-25 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理方法、画像処理プログラム及び携帯型端末
JP2012071004A (ja) * 2010-09-29 2012-04-12 Omron Healthcare Co Ltd 安全看護システム、および、安全看護システムの制御方法

Also Published As

Publication number Publication date
CN109963501A (zh) 2019-07-02
JP6635074B2 (ja) 2020-01-22
JP2018143333A (ja) 2018-09-20
US20200065600A1 (en) 2020-02-27
DE112017007156T5 (de) 2019-11-21
US10853679B2 (en) 2020-12-01

Similar Documents

Publication Publication Date Title
US10786183B2 (en) Monitoring assistance system, control method thereof, and program
JP6167563B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2014236896A (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6822328B2 (ja) 見守り支援システム及びその制御方法
WO2015125545A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6780641B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
WO2015125544A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6958560B2 (ja) 見守りシステム、見守り装置、見守り方法、および見守りプログラム
US10762761B2 (en) Monitoring assistance system, control method thereof, and program
JP2017228042A (ja) 監視装置、監視システム、監視方法及び監視プログラム
JP6822326B2 (ja) 見守り支援システム及びその制御方法
JP6729510B2 (ja) 見守り支援システム及びその制御方法
JP6870514B2 (ja) 見守り支援システム及びその制御方法
WO2018159040A1 (ja) 見守り支援システム及びその制御方法、並びにプログラム
WO2020008726A1 (ja) 対象物体検出プログラム、および対象物体検出装置
JP2017041079A (ja) 動作認識装置
JP7314939B2 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置
TWI697869B (zh) 姿態判斷方法、電子系統以及非暫態電腦可讀取記錄媒體
JP2022010581A (ja) 検知装置、検知方法、画像処理方法、およびプログラム
JP6729512B2 (ja) 見守り支援システム及びその制御方法
JP7090889B2 (ja) 見守り装置
US20220054046A1 (en) Assessing patient out-of-bed and out-of-chair activities using embedded infrared thermal cameras
JPWO2017203986A1 (ja) 情報処理装置、情報処理方法、プログラム、および見守りシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898450

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17898450

Country of ref document: EP

Kind code of ref document: A1