KR20180033270A - 표시 제어 장치, 표시 제어 시스템, 표시 제어 방법, 표시 제어 프로그램, 기록 매체 - Google Patents
표시 제어 장치, 표시 제어 시스템, 표시 제어 방법, 표시 제어 프로그램, 기록 매체 Download PDFInfo
- Publication number
- KR20180033270A KR20180033270A KR1020187005409A KR20187005409A KR20180033270A KR 20180033270 A KR20180033270 A KR 20180033270A KR 1020187005409 A KR1020187005409 A KR 1020187005409A KR 20187005409 A KR20187005409 A KR 20187005409A KR 20180033270 A KR20180033270 A KR 20180033270A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- posture
- display control
- image data
- caregiver
- Prior art date
Links
- 238000000034 method Methods 0.000 title description 33
- 230000004397 blinking Effects 0.000 claims description 21
- 230000005484 gravity Effects 0.000 claims description 8
- 210000002784 stomach Anatomy 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000036544 posture Effects 0.000 description 201
- 230000000474 nursing effect Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 22
- 230000007704 transition Effects 0.000 description 22
- 238000007689 inspection Methods 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008673 vomiting Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 210000004916 vomit Anatomy 0.000 description 2
- 101000800116 Homo sapiens Thy-1 membrane glycoprotein Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 102100033523 Thy-1 membrane glycoprotein Human genes 0.000 description 1
- 206010047700 Vomiting Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0469—Presence detectors to detect unsafe condition, e.g. infrared sensor, microphone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/0415—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting absence of activity per se
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6889—Rooms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/744—Displaying an avatar, e.g. an animated cartoon character
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G12/00—Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Emergency Management (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Nursing (AREA)
- Alarm Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Accommodation For Nursing Or Treatment Tables (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
표시 제어 장치(10)는, 화상 취득부(11), 자세 추정부(12), 제어부(13)를 구비하고 있다. 화상 취득부(11)는, 실내에 설치된 적외선 어레이 센서(21a, 21b)에 의해 검출된 적외선 화상(G1)을 취득한다. 자세 추정부(12)는, 화상 취득부(11)에 있어서 취득된 적외선 화상(G1)에 기초하여, 실내(30)에 있는 요개호자(P1)의 자세를 추정한다. 제어부(13)는, 자세 추정부(12)에 있어서 추정된 요개호자(P1)의 자세를 간이적으로 나타내는 더미 화상(D1)이, 적외선 화상(G1) 상에 겹쳐 표시되도록, 표시 장치(22)를 제어한다.
Description
본 발명은, 예를 들어 실내에 설치된 화상 센서에 있어서의 검출 결과를 사용하여 요개호자가 개호를 필요로 하는 상황을, 표시 장치에 표시시키는 표시 제어 장치, 표시 제어 시스템, 표시 제어 방법, 표시 제어 프로그램, 기록 매체에 관한 것이다.
근년, 고령자 등의 개호를 필요로 하는 사람(요개호자)의 실내에 있어서의 거동을 감시하여, 개호가 필요한 상황인지 여부를 표시하는 장치가 사용되고 있다.
예를 들어, 특허문헌 1에는, 인체의 자세의 천이 모델을 나타내는 정보와 천이 모델의 각 자세에서의 화상 데이터의 검사 영역을 나타내는 검사 정보를 참조하여 산출되는 화상 데이터의 검사 영역에서의 통계량에 기초하여, 자세 추정을 행하는 자세 추정 장치에 대하여 개시되어 있다.
이 자세 추정 장치에 따르면, 화상 처리를 사용하는 종래의 장치보다 적은 데이터 처리량으로 인체의 자세를 추정할 수 있다.
그러나, 상기 종래의 자세 추정 장치에서는, 이하에 나타내는 바와 같은 문제점을 갖고 있다.
즉, 상기 공보에 개시된 자세 추정 장치에서는, 요개호자 등의 인체의 자세를 적은 데이터 처리량으로 추정할 수 있기는 하지만, 요개호자가 개호를 필요로 하는 상태인지 여부를 정확하게 인식하기는 어렵다.
본 발명의 과제는, 예를 들어 요개호자가 개호를 필요로 하는 상황을, 효과적으로 개호자에게 인식시키는 것이 가능한 표시 제어 장치, 표시 제어 시스템, 표시 제어 방법, 표시 제어 프로그램, 기록 매체를 제공하는 데 있다.
제1 발명에 관한 표시 제어 장치는, 화상 취득부와, 자세 추정부와, 제어부를 구비하고 있다. 화상 취득부는, 실내에 설치된 화상 센서에 의해 검출된 화상 데이터를 취득한다. 자세 추정부는, 화상 취득부에 있어서 취득된 화상 데이터에 기초하여, 실내에 있는 인체의 자세를 추정한다. 제어부는, 자세 추정부에 있어서 추정된 인체의 자세를 간이적으로 나타내는 제1 더미 화상이, 화상 데이터 상에 겹쳐 표시되도록, 표시 장치를 제어한다.
여기서는, 예를 들어 요개호자의 상태를 확인하는 지켜보기를 실시하기 위해, 실내에 설치된 화상 센서로부터 취득된 화상 데이터를 사용하여 실내에 있는 사람(요개호자 등)의 자세를 추정하고, 그 자세를 간이적으로 나타내는 제1 더미 화상을, 화상 데이터 상에 겹쳐 표시시킨다.
여기서, 지켜보기 표시 제어의 대상으로 되는 실내의 인체는, 예를 들어 고령자나 신체 장애인 등과 같이 일상 생활에 개호를 필요로 하는 요개호자뿐만 아니라, 정상인이나 애완동물(동물) 등도 포함된다.
그리고, 실내에 설치된 화상 센서는, 단수여도 되고, 복수여도 된다. 그리고, 화상 센서의 설치 장소로서는, 실내에 있는 요개호자 등을 검출 가능한 위치, 예를 들어 천장이나 벽면 등이 고려된다. 또한, 화상 센서로서는, 감시 카메라 등의 촬상 장치를 사용해도 되고, 적외선 센서, 거리 센서 등을 사용해도 된다.
또한, 화상 데이터를 사용한 자세 추정은, 예를 들어 인체의 자세의 천이 모델을 사용하여 화상 데이터의 검사 영역에 있어서의 통계량을 산출하고, 이 통계량에 기초하여 일시점 전의 인체의 자세로부터 현시점의 인체의 자세를 추정하는 공지의 방법을 사용하면 된다(특허문헌 1 참조).
제1 더미 화상은, 추정되는 사람의 자세에 대응하는 사람의 형태를 간이적으로 나타내는 화상이며, 예를 들어 입위, 좌위, 와위 등, 복수의 자세에 대응하는 복수 종류의 화상이 준비된다. 그리고, 각 제1 더미 화상은, 각 자세에 관련지어진 상태로, 장치 내의 기억 수단에 보존되어도 되고, 외부 장치(서버, 클라우드 등)에 보존되어도 된다.
또한, 제어부에 의해 표시 제어되는 표시 장치로서는, 예를 들어 개호 시설이나 병원 등에서 사용될 때에는, 개호자나 간호사가 상주하는 집중 관리실의 모니터, 혹은 개호자나 간호사가 휴대하는 휴대 단말기 등을 사용할 수 있다.
이에 의해, 제어부에서는, 자세 추정부에 있어서 추정된 자세에 대응하는 제1 더미 화상을, 화상 취득부에 있어서 취득된 화상 데이터에 겹쳐 표시하도록, 표시 장치를 제어할 수 있다.
따라서, 예를 들어 표시 장치에 있어서의 표시를 본 개호자 등은, 표시 장치에 표시된 요개호자 등의 자세를 간이적으로 나타내는 제1 더미 화상을 보고, 요개호자가 개호를 필요로 하는 상태인지 여부를, 효과적이면서도 고정밀도로 인식할 수 있다.
제2 발명에 관한 표시 제어 장치는, 제1 발명에 관한 표시 제어 장치이며, 인체의 자세마다 대응지어진 상태로 복수의 제1 더미 화상을 보존하는 기억부를 더 구비하고 있다.
여기서는, 복수의 제1 더미 화상을 보존하는 기억부를 장치 내에 설치하고 있다.
이에 의해, 제어부는, 장치 내의 기억부에 보존된 복수의 제1 더미 화상 중에서, 자세 추정부에 있어서 추정된 자세에 대응하는 제1 더미 화상을 취출하여, 화상 데이터에 겹쳐 표시시킬 수 있다.
제3 발명에 관한 표시 제어 장치는, 제1 또는 제2 발명에 관한 표시 제어 장치이며, 제어부는, 화상 데이터에 포함되는 인체의 헤드부 혹은 얼굴의 위치를 기준으로 하여, 제1 더미 화상의 헤드부 혹은 얼굴 부분을 겹쳐 표시시킨다.
여기서는, 화상 데이터 상에 더미 화상을 겹칠 때에는, 화상 데이터에 있어서 검출되는 인체의 헤드부 혹은 얼굴의 위치를 기준으로 하여, 제1 더미 화상의 헤드부 혹은 얼굴의 위치를 겹쳐 표시시킨다.
여기서, 화상 데이터 중에 있어서의 헤드부 혹은 얼굴의 검출은, 예를 들어 카메라 화상이라면 눈의 위치, 적외선 화상이라면 온도가 높은 위치 등을 검출하여 설정할 수 있다.
이에 의해, 헤드부 혹은 얼굴 부분을 기준으로 하여, 인체의 자세에 맞추어 선택된 제1 더미 화상을 화상 데이터에 겹쳐 표시시킬 수 있다.
제4 발명에 관한 표시 제어 장치는, 제1 내지 제3 발명 중 어느 하나에 관한 표시 제어 장치이며, 화상 취득부에 있어서 연속적으로 취득된 복수의 화상 데이터를 참조하여, 화상 데이터 중의 인체 부근의 화상의 깜빡임에 따라, 개호의 긴급도를 판정하는 판정부를 더 구비하고 있다.
여기서는, 화상 취득부에 있어서 연속적으로 취득된 동화상 등의 화상 데이터를 사용하여, 화상 데이터 중의 인체 부근의 화상의 깜빡임이 큰지 작은지에 따라, 화상 데이터에 포함되는 사람(요개호자)이 개호를 필요로 하는지 여부를 판정한다.
여기서, 개호를 필요로 하는지 여부의 판정은, 예를 들어 좌위의 요개호자에 대하여, 연속적으로 취득된 화상 데이터의 인체 부근의 화상의 깜빡임이 거의 보이지 않는 상태에서 소정 시간 이상 경과하였는지 등으로 판정할 수 있다.
반대로, 예를 들어 좌위의 요개호자에 대하여, 연속적으로 취득된 화상 데이터의 인체 부근의 화상의 깜빡임이 보이는 경우에는, 요개호자가 옷을 갈아입고 있거나, 휴대 단말기를 조작하고 있는 등, 개호를 필요로 하지 않는 상태라고 판정할 수 있다.
이에 의해, 동화상 등의 연속적으로 취득된 화상 데이터에 있어서의 화상의 깜빡임을 참조함으로써, 요개호자의 자세에 기초하는 판정보다 정확하게, 요개호자가 개호를 필요로 하는지 여부를 판정할 수 있다.
제5 발명에 관한 표시 제어 장치는, 제4 발명에 관한 표시 제어 장치이며, 화상 센서는 열화상을 취득하는 적외선 센서이다. 판정부는, 적외선 센서에 있어서 연속적으로 취득된 열화상 중의 인체 부근의 영역에 있어서의 열 무게 중심의 위치의 요동의 정도에 따라 판정을 행한다.
여기서는, 화상 센서로서 적외선 센서를 사용한 경우에 있어서, 상술한 연속적으로 취득된 화상 데이터 중의 화상의 깜빡임에 기초하는 판정을 행할 때에는, 적외선 센서에 의해 취득된 열화상 중의 열 무게 중심의 위치의 요동에 따라, 판정을 행한다.
이에 의해, 화상 센서로서 적외선 센서를 사용한 경우라도, 열화상의 특성을 살려, 예를 들어 열 무게 중심의 위치의 변화가 소정의 역치보다 작은 경우에, 개호를 필요로 하는 상태라고 판정할 수 있다.
반대로, 열 무게 중심의 위치의 변화가 소정의 역치보다 큰 경우에는, 예를 들어 요개호자가 옷을 갈아입고 있거나, 휴대 단말기를 조작하고 있는 등, 개호를 필요로 하지 않는 상태라고 판정할 수 있다.
제6 발명에 관한 표시 제어 장치는, 제4 발명에 관한 표시 제어 장치이며, 화상 센서는 열화상을 취득하는 적외선 센서이다. 판정부는, 적외선 센서에 있어서 연속적으로 취득된 열화상 중의 인체 부근의 영역에 있어서의 열원의 확대를 검출하여 판정을 행한다.
여기서는, 화상 센서로서 적외선 센서를 사용한 경우에 있어서, 상술한 연속적으로 취득된 화상 데이터 중의 열원의 확대를 검출하여, 판정을 행한다.
이에 의해, 예를 들어 요개호자가 구토한 상태에 있음을, 적외선 센서에 의해 연속적으로 취득된 열화상을 사용하여 개호자에게 인식시킬 수 있다.
제7 발명에 관한 표시 제어 장치는, 제1 내지 제6 발명 중 어느 하나에 관한 표시 제어 장치이며, 화상 취득부에 있어서 취득된 화상 데이터에 포함되는 사람의 수를 추정하는 인원수 추정부를 더 구비하고 있다.
여기서는, 인원수 추정부에 의해, 화상 센서에 의해 검출되는 실내에 있는 사람의 수를 추정한다.
이에 의해, 예를 들어 요개호자가 독실에서 거주하고 있는 경우에 있어서, 요개호자 이외에 다른 사람이 실내에 있는지 여부를 추정할 수 있다.
혹은, 예를 들어 요개호자가 복수인 거주하고 있는 방인 경우에는, 거주 인원수보다 많은 사람이 있는지 여부를 추정할 수 있다.
제8 발명에 관한 표시 제어 장치는, 제7 발명에 관한 표시 제어 장치이며, 제어부는, 인원수 추정부에 있어서의 추정 결과, 화상 데이터 중의 인원수가 1명이라고 판정된 경우에, 표시 제어를 행한다.
여기서는, 예를 들어 요개호자가 독실에서 거주하고 있는 경우에 있어서, 요개호자 이외에 다른 사람이 실내에 있다고 추정된 경우에는, 요개호자와 함께, 그 가족, 친구, 개호자가 실내에 있는 것이 상정된다.
이 때문에, 요개호자를 개호할 수 있는 사람이 있다고 추정되기 때문에, 이 경우에는, 지켜보기 표시 제어의 대상 외로 할 수 있다.
제9 발명에 관한 표시 제어 장치는, 제1 내지 제8 발명 중 어느 하나에 관한 표시 제어 장치이며, 제어부는, 자세 추정부에 있어서의 추정 결과에 따라, 표시 장치에 있어서 제1 더미 화상의 색을 변화시킨다.
여기서는, 자세 추정부에 있어서의 추정 결과, 예를 들어 실내의 침대 이외의 위치에 있어서, 요개호자가 와위의 상태라고 추정되는 경우에는, 개호를 필요로 한다고 판단하고, 긴급 시임을 알 수 있도록, 제1 더미 화상의 색을 통상 시와는 다른 색으로 변화시킨다.
여기서, 제1 더미 화상의 색으로서는, 예를 들어 통상 시에는 흑백 표시로 하고, 개호를 필요로 하는 긴급 시에는 적색, 황색 등으로 변화시키는 것이 바람직하다.
이에 의해, 표시 장치에 있어서의 표시를 본 개호자 등은, 긴급 시인지 여부를 용이하게 인식할 수 있다.
제10 발명에 관한 표시 제어 장치는, 제1 내지 제9 발명 중 어느 하나에 관한 표시 제어 장치이며, 제어부는, 자세 추정부에 있어서의 추정 결과에 따라, 표시 장치에 있어서 제1 더미 화상을 점멸 표시시킨다.
여기서는, 자세 추정부에 있어서의 추정 결과, 예를 들어 실내의 침대 이외의 위치에 있어서, 요개호자가 와위의 상태라고 추정되는 경우에는, 개호를 필요로 한다고 판단하고, 긴급 시임을 알 수 있도록, 제1 더미 화상을 점멸 표시시킨다.
이에 의해, 표시 장치에 있어서의 표시를 본 개호자 등은, 긴급 시인지 여부를 용이하게 인식할 수 있다.
제11 발명에 관한 표시 제어 장치는, 제1 내지 제10 발명 중 어느 하나에 관한 표시 제어 장치이며, 제어부는, 자세 추정부에 있어서의 추정 결과에 따라, 화상 데이터 상에 제1 더미 화상을 겹친 표시와 함께, 긴급 메시지를 표시 장치에 표시시킨다.
여기서는, 화상 데이터 상에 자세 추정에 의해 선택된 제1 더미 화상을 겹쳐 표시할 때, 예를 들어 개호를 필요로 하는 상태라고 판정된 경우에는, 화상 데이터와 함께 긴급 메시지를 표시 장치에 표시시킨다.
이에 의해, 화상 정보와 함께 문자 정보에 의해, 개호자 등에게 긴급 시임을 인식시킬 수 있다.
제12 발명에 관한 표시 제어 장치는, 제1 내지 제11 발명 중 어느 하나에 관한 표시 제어 장치이며, 자세 추정부는, 실내에 있는 인체를 상이한 방향으로부터 검출하는 복수의 화상 센서에 있어서의 검출 결과를 사용하여, 자세를 추정한다.
여기서는, 실내에 설치되는 화상 센서로서, 실내를 상이한 방향(예를 들어, 상방ㆍ측방 등)으로부터 각각 검출하는 복수의 화상 센서를 사용한다.
이에 의해, 자세 추정에 사용되는 화상 데이터로서, 검출 방향이 상이한 복수의 화상 데이터를 사용할 수 있기 때문에, 요개호자 등의 인체의 자세를 보다 정확하게 추정할 수 있다.
제13 발명에 관한 표시 제어 장치는, 제1 내지 제12 발명 중 어느 하나에 관한 표시 제어 장치이며, 제어부는, 인체의 입위 자세, 좌위 자세, 배와위 자세, 측와위 자세, 복와위 자세, 중요위 자세 중 적어도 하나에 대응하는 제1 더미 화상을 화상 데이터에 겹쳐 표시 장치에 표시시킨다.
여기서는, 자세 추정부에 있어서 추정되는 인체의 자세 중, 입위 자세, 좌위 자세, 배와위 자세, 측와위 자세, 복와위 자세, 중요위 자세 중 적어도 하나에 대응하는 제1 더미 화상을 사용한다.
이에 의해, 예를 들어 요개호자 등의 자세를 세분화한 상태에서 추정하여, 그것에 대응하는 제1 더미 화상을 화상 데이터에 겹쳐 표시할 수 있다.
제14 발명에 관한 표시 제어 장치는, 제1 내지 제13 발명 중 어느 하나에 관한 표시 제어 장치이며, 제어부는, 실내에 설치된 가구, 실내 설비에 대응하는 제2 더미 화상을, 화상 데이터 중의 가구, 실내 설비의 위치에 겹치도록 표시시킨다.
여기서는, 인체의 자세마다 대응하는 복수의 제1 더미 화상에 추가하여, 실내에 설치된 가구나 설비에 대응하는 제2 더미 화상을 사용하여, 화상 데이터에 겹쳐 표시 장치에 표시시킨다.
이에 의해, 예를 들어 실내에 설치된 침대, 이불, 장, 테이블, 의자, 간이 화장실 등의 위치에 제2 더미 화상을 겹쳐 표시함으로써, 실내에 있는 개호자가 어느 위치에서 무엇을 하고 있는지를 추정하기 쉽게 할 수 있다.
제15 발명에 관한 표시 제어 시스템은, 제1 내지 제14 발명 중 어느 하나에 관한 표시 제어 장치와, 화상 취득부에 대하여 화상 데이터를 공급하는 화상 센서를 구비하고 있다.
여기서는, 상술한 표시 제어 장치와, 실내에 설치된 화상 센서를 포함하는 표시 제어 시스템을 구성한다.
이에 의해, 상술한 바와 같이, 예를 들어 개호자 등은, 표시 장치에 표시된 요개호자 등의 자세를 나타내는 제1 더미 화상을 보고, 요개호자가 개호를 필요로 하는 상태인지 여부를, 효과적이면서도 고정밀도로 인식하는 것이 가능한 시스템을 구축할 수 있다.
제16 발명에 관한 표시 제어 시스템은, 제15 발명에 관한 표시 제어 시스템이며, 표시 제어 장치의 제어부에 의해 표시 제어되는 표시 장치를 더 구비하고 있다.
여기서는, 상술한 표시 제어 장치, 화상 센서, 표시 장치를 포함하는 표시 제어 시스템을 구성한다.
이에 의해, 상술한 바와 같이, 예를 들어 개호자 등은, 표시 장치에 표시된 요개호자 등의 자세를 나타내는 제1 더미 화상을 표시 장치에서 확인하여, 요개호자가 개호를 필요로 하는 상태인지 여부를, 효과적이면서도 고정밀도로 인식하는 것이 가능한 시스템을 구축할 수 있다.
제17 발명에 관한 표시 제어 시스템은, 제16 발명에 관한 표시 제어 시스템이며, 표시 장치에는, 실내에 있는 사람의 개호를 행하는 개호자가 사용하는 호스트 단말기의 표시 장치, 혹은 개호자가 소유하는 휴대 단말기가 포함된다.
여기서는, 제어부에 있어서 표시 제어되는 표시 장치로서, 예를 들어 개호자가 사용하는 집중 관리실에 설치된 호스트 단말기, 혹은 개호자가 소유하고 있는 휴대 단말기를 사용한다.
이에 의해, 예를 들어 개호자 등은, 실내에 있는 요개호자가 개호를 필요로 하는 상태인지 여부를, 제1 더미 화상이 겹쳐진 화상 데이터를, 호스트 단말기나 휴대 단말기 등으로 봄으로써, 용이하게 인식할 수 있다.
제18 발명에 관한 표시 제어 시스템은, 제15 내지 제17 발명 중 어느 하나에 관한 표시 제어 시스템이며, 화상 센서는, 인체를, 실내에 있어서의 상방으로부터 검출하는 제1 화상 센서와, 측방으로부터 검출하는 제2 화상 센서를 포함한다.
여기서는, 실내에 설치되는 화상 센서로서, 실내를 상방ㆍ측방으로부터 각각 검출하는 2개의 화상 센서를 사용한다.
이에 의해, 자세 추정에 사용되는 화상 데이터로서, 검출 방향이 상이한 2종류의 화상 데이터를 사용할 수 있기 때문에, 요개호자 등의 인체의 자세를 보다 정확하게 추정할 수 있다.
제19 발명에 관한 표시 제어 시스템은, 제15 내지 제18 발명 중 어느 하나에 관한 표시 제어 시스템이며, 화상 센서는 적외선 어레이 센서, 거리 센서 중 어느 것이다.
여기서는, 실내에 설치되는 화상 센서로서, 적외선 어레이 카메라, 거리 센서 중 어느 것을 사용한다.
이에 의해, 화상 센서로서 감시 카메라 등의 촬상 장치를 사용하는 경우와 비교하여, 자세 추정이나 제1 더미 화상을 겹칠 때의 처리 부담을 경감할 수 있다.
또한, 화상 센서에 의해 검출되는 요개호자나 개호자 등의 개인을 식별하기가 곤란해지기 때문에, 요개호자나 개호자 등의 프라이버시의 문제도 해소할 수 있다.
제20 발명에 관한 표시 제어 방법은, 화상 취득 스텝과, 자세 추정 스텝과, 제어 스텝을 구비하고 있다. 화상 취득 스텝은, 실내에 설치된 화상 센서에 의해 검출된 화상 데이터를 취득한다. 자세 추정 스텝은, 화상 취득 스텝에 있어서 취득된 화상 데이터에 기초하여, 실내에 있는 인체의 자세를 추정한다. 제어 스텝은, 자세 추정 스텝에 있어서 추정된 인체의 자세를 간이적으로 나타내는 제1 더미 화상이, 화상 데이터 상에 겹쳐 표시되도록, 표시 장치를 제어한다.
여기서는, 예를 들어 요개호자의 상태를 확인하기 위해, 실내에 설치된 화상 센서로부터 취득된 화상 데이터를 사용하여 실내에 있는 사람(요개호자 등)의 자세를 추정하고, 그 자세를 간이적으로 나타내는 제1 더미 화상을, 화상 데이터 상에 겹쳐 표시시킨다.
여기서, 실내에 설치된 화상 센서는, 단수여도 되고, 복수여도 된다. 그리고, 화상 센서의 설치 장소로서는, 실내에 있는 요개호자 등을 검출 가능한 위치, 예를 들어 천장이나 벽면 등이 고려된다. 또한, 화상 센서로서는, 감시 카메라 등의 촬상 장치를 사용해도 되고, 적외선 센서, 거리 센서 등을 사용해도 된다.
또한, 화상 데이터를 사용한 자세 추정은, 예를 들어 인체의 자세의 천이 모델을 사용하여 화상 데이터의 검사 영역에 있어서의 통계량을 산출하고, 이 통계량에 기초하여 일시점 전의 인체의 자세로부터 현시점의 인체의 자세를 추정하는 공지의 방법을 사용하면 된다(특허문헌 1 참조).
제1 더미 화상은, 추정되는 사람의 자세에 대응하는 사람의 형태를 간이적으로 나타내는 화상이며, 예를 들어 입위, 좌위, 와위 등, 복수의 자세에 대응하는 복수 종류의 화상이 준비된다. 그리고, 각 제1 더미 화상은, 각 자세에 관련지어진 상태로, 장치 내의 기억 수단에 보존되어도 되고, 외부 장치(서버, 클라우드 등)에 보존되어도 된다.
또한, 제어 스텝에 있어서 표시 제어되는 표시 장치로서는, 예를 들어 개호 시설이나 병원 등에서 사용될 때에는, 개호자나 간호사가 상주하는 집중 관리실의 모니터, 혹은 개호자나 간호사가 휴대하는 휴대 단말기 등을 사용할 수 있다.
이에 의해, 제어 스텝에서는, 자세 추정 스텝에 있어서 추정된 자세에 대응하는 제1 더미 화상을, 화상 취득 스텝에 있어서 취득된 화상 데이터에 겹쳐 표시하도록, 표시 장치를 제어할 수 있다.
따라서, 예를 들어 표시 장치에 있어서의 표시를 본 개호자 등은, 표시 장치에 표시된 요개호자 등의 자세를 간이적으로 나타내는 제1 더미 화상을 보고, 요개호자가 개호를 필요로 하는 상태인지 여부를, 효과적이면서도 고정밀도로 인식할 수 있다.
제21 발명에 관한 표시 제어 프로그램은, 화상 취득 스텝과, 자세 추정 스텝과, 제어 스텝을 구비한 표시 제어 방법을 컴퓨터에 실행시킨다. 화상 취득 스텝은, 실내에 설치된 화상 센서에 의해 검출된 화상 데이터를 취득한다. 자세 추정 스텝은, 화상 취득 스텝에 있어서 취득된 화상 데이터에 기초하여, 실내에 있는 인체의 자세를 추정한다. 제어 스텝은, 자세 추정 스텝에 있어서 추정된 인체의 자세를 간이적으로 나타내는 제1 더미 화상이, 화상 데이터 상에 겹쳐 표시되도록, 표시 장치를 제어한다.
여기서는, 상기 표시 제어 방법을 컴퓨터에 실행시키는 표시 제어 프로그램이며, 예를 들어 요개호자의 상태를 확인하기 위해, 실내에 설치된 화상 센서로부터 취득된 화상 데이터를 사용하여 실내에 있는 사람(요개호자 등)의 자세를 추정하고, 그 자세를 간이적으로 나타내는 제1 더미 화상을, 화상 데이터 상에 겹쳐 표시시킨다.
여기서, 실내에 설치된 화상 센서는, 단수여도 되고, 복수여도 된다. 그리고, 화상 센서의 설치 장소로서는, 실내에 있는 요개호자 등을 검출 가능한 위치, 예를 들어 천장이나 벽면 등이 고려된다. 또한, 화상 센서로서는, 감시 카메라 등의 촬상 장치를 사용해도 되고, 적외선 센서, 거리 센서 등을 사용해도 된다.
또한, 화상 데이터를 사용한 자세 추정은, 예를 들어 인체의 자세의 천이 모델을 사용하여 화상 데이터의 검사 영역에 있어서의 통계량을 산출하고, 이 통계량에 기초하여 일시점 전의 인체의 자세로부터 현시점의 인체의 자세를 추정하는 공지의 방법을 사용하면 된다(특허문헌 1 참조).
제1 더미 화상은, 추정되는 사람의 자세에 대응하는 사람의 형태를 간이적으로 나타내는 화상이며, 예를 들어 입위, 좌위, 와위 등, 복수의 자세에 대응하는 복수 종류의 화상이 준비된다. 그리고, 각 제1 더미 화상은, 각 자세에 관련지어진 상태로, 장치 내의 기억 수단에 보존되어도 되고, 외부 장치(서버, 클라우드 등)에 보존되어도 된다.
또한, 제어 스텝에 있어서 표시 제어되는 표시 장치로서는, 예를 들어 개호 시설이나 병원 등에서 사용될 때에는, 개호자나 간호사가 상주하는 집중 관리실의 모니터, 혹은 개호자나 간호사가 휴대하는 휴대 단말기 등을 사용할 수 있다.
이에 의해, 제어 스텝에서는, 자세 추정 스텝에 있어서 추정된 자세에 대응하는 제1 더미 화상을, 화상 취득 스텝에 있어서 취득된 화상 데이터에 겹쳐 표시하도록, 표시 장치를 제어할 수 있다.
따라서, 예를 들어 표시 장치에 있어서의 표시를 본 개호자 등은, 표시 장치에 표시된 요개호자 등의 자세를 간이적으로 나타내는 제1 더미 화상을 보고, 요개호자가 개호를 필요로 하는 상태인지 여부를, 효과적이면서도 고정밀도로 인식할 수 있다.
제22 발명에 관한 기록 매체는, 화상 취득 스텝과, 자세 추정 스텝과, 제어 스텝을 구비한 표시 제어 방법을 컴퓨터에 실행시키는 표시 제어 프로그램을 기억하고 있다. 화상 취득 스텝은, 실내에 설치된 화상 센서에 의해 검출된 화상 데이터를 취득한다. 자세 추정 스텝은, 화상 취득 스텝에 있어서 취득된 화상 데이터에 기초하여, 실내에 있는 인체의 자세를 추정한다. 제어 스텝은, 자세 추정 스텝에 있어서 추정된 인체의 자세를 간이적으로 나타내는 제1 더미 화상이, 화상 데이터 상에 겹쳐 표시되도록, 표시 장치를 제어한다.
여기서는, 상기 표시 제어 방법을 컴퓨터에 실행시키는 표시 제어 프로그램을 보존한 기록 매체이며, 예를 들어 요개호자의 상태를 확인하기 위해, 실내에 설치된 화상 센서로부터 취득된 화상 데이터를 사용하여 실내에 있는 사람(요개호자 등)의 자세를 추정하고, 그 자세를 간이적으로 나타내는 제1 더미 화상을, 화상 데이터 상에 겹쳐 표시시킨다.
여기서, 실내에 설치된 화상 센서는, 단수여도 되고, 복수여도 된다. 그리고, 화상 센서의 설치 장소로서는, 실내에 있는 요개호자 등을 검출 가능한 위치, 예를 들어 천장이나 벽면 등이 고려된다. 또한, 화상 센서로서는, 감시 카메라 등의 촬상 장치를 사용해도 되고, 적외선 센서, 거리 센서 등을 사용해도 된다.
또한, 화상 데이터를 사용한 자세 추정은, 예를 들어 인체의 자세의 천이 모델을 사용하여 화상 데이터의 검사 영역에 있어서의 통계량을 산출하고, 이 통계량에 기초하여 일시점 전의 인체의 자세로부터 현시점의 인체의 자세를 추정하는 공지의 방법을 사용하면 된다(특허문헌 1 참조).
제1 더미 화상은, 추정되는 사람의 자세에 대응하는 사람의 형태를 간이적으로 나타내는 화상이며, 예를 들어 입위, 좌위, 와위 등, 복수의 자세에 대응하는 복수 종류의 화상이 준비된다. 그리고, 각 제1 더미 화상은, 각 자세에 관련지어진 상태로, 장치 내의 기억 수단에 보존되어도 되고, 외부 장치(서버, 클라우드 등)에 보존되어도 된다.
또한, 제어 스텝에 있어서 표시 제어되는 표시 장치로서는, 예를 들어 개호 시설이나 병원 등에서 사용될 때에는, 개호자나 간호사가 상주하는 집중 관리실의 모니터, 혹은 개호자나 간호사가 휴대하는 휴대 단말기 등을 사용할 수 있다.
이에 의해, 제어 스텝에서는, 자세 추정 스텝에 있어서 추정된 자세에 대응하는 제1 더미 화상을, 화상 취득 스텝에 있어서 취득된 화상 데이터에 겹쳐 표시하도록, 표시 장치를 제어할 수 있다.
따라서, 예를 들어 표시 장치에 있어서의 표시를 본 개호자 등은, 표시 장치에 표시된 요개호자 등의 자세를 간이적으로 나타내는 제1 더미 화상을 보고, 요개호자가 개호를 필요로 하는 상태인지 여부를, 효과적이면서도 고정밀도로 인식할 수 있다.
본 발명에 관한 표시 제어 장치에 따르면, 예를 들어 요개호자가 개호를 필요로 하는 상황을, 효과적으로 개호자에게 인식시킬 수 있다.
도 1은, 본 발명의 일 실시 형태에 관한 표시 제어 장치를 포함하는 표시 제어 시스템의 구성을 도시하는 블록도이다.
도 2는, 도 1의 표시 제어 시스템에 의해 표시 장치에 표시되는 화상이 취득되는 실내의 구성을 도시하는 사시도이다.
도 3의 (a)는, 도 2에 도시하는 실내의 천장에 설치된 적외선 어레이 센서를 도시하는 도면이고, (b)는, 도 2에 도시하는 실내의 선반에 설치된 적외선 어레이 센서를 도시하는 도면이다.
도 4의 (a) 및 (b)는, 도 1의 표시 제어 시스템을 구성하는 표시 장치의 일례(호스트 컴퓨터, 휴대 단말기)를 도시하는 도면이다.
도 5는, 도 1의 표시 제어 장치를 구성하는 자세 추정부에 의한 자세 추정에 사용되는 제1 화상 데이터 및 그 검사 영역을 설명하기 위한 도면이다.
도 6은, 도 1의 표시 제어 장치를 구성하는 자세 추정부에 의한 자세 추정에 사용되는 제2 화상 데이터 및 그 검사 영역을 설명하기 위한 도면이다.
도 7은, 도 1의 표시 제어 장치를 구성하는 자세 추정부에 의한 자세 추정에 사용되는 제1ㆍ제2 화상 데이터의 검사 영역을 설명하기 위한 도면이다.
도 8은, 도 1의 표시 제어 장치를 구성하는 자세 추정부에 의한 자세 추정에 사용되는 제1ㆍ제2 화상 데이터의 검사 영역을 설명하기 위한 도면이다.
도 9는, 도 1의 표시 제어 장치를 구성하는 자세 추정부에 의해 추정되는 자세의 천이 모델을 도시하는 도면이다.
도 10은, 도 9의 천이 모델 정보를 도시하는 도면이다.
도 11은, 도 9의 천이 모델에 있어서의 각 자세에 대한 제1ㆍ제2 화상 데이터의 검사 영역을 나타내는 영역 정보 및 각 자세로 천이하였는지를 판정하기 위한 기준값을 나타내는 기준값 정보를 도시하는 도면이다.
도 12는, 도 1의 표시 제어 시스템을 구성하는 표시 장치에 표시되는 화상을 도시하는 도면이다.
도 13은, 도 1의 표시 제어 장치에 의한 표시 제어의 흐름을 도시하는 흐름도이다.
도 14는, 도 1의 표시 제어 장치에 의한 자세 추정의 흐름을 도시하는 흐름도이다.
도 15의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 입위 화상을 도시하는 도면이다.
도 16의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 좌위 화상을 도시하는 도면이다.
도 17의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 와위 화상(이불 있음)을 도시하는 도면이다.
도 18의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 와위 화상(이불 젖힘)을 도시하는 도면이다.
도 19의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 전도 와위 화상(이상 발생)을 도시하는 도면이다.
도 20의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 전도 좌위 화상(이상 발생)을 도시하는 도면이다.
도 21의 (a)는, 도 2에 도시하는 실내의 천장에 설치된 적외선 어레이 센서를 사용하여 촬상된 와위 화상(깜빡임 없음)을 도시하는 도면이고, (b)는, 도 2에 도시하는 실내의 천장에 설치된 적외선 어레이 센서를 사용하여 촬상된 와위 화상(헤드부 부근의 열원 확대)을 도시하는 도면이다.
도 22의 (a)는, 도 2에 도시하는 실내의 천장에 설치된 적외선 어레이 센서를 사용하여 촬상된 와위 화상(잦은 깜빡임 있음)을 도시하는 도면이고, (b)는, 도 2에 도시하는 실내의 천장에 설치된 적외선 어레이 센서를 사용하여 촬상된 와위 화상(이불 젖힘, 잦은 깜빡임 있음)을 도시하는 도면이다.
도 23은, 도 2에 도시하는 실내의 측벽에 설치된 적외선 어레이 센서를 사용하여 촬상된 좌위 화상(잦은 깜빡임 있음)을 도시하는 도면이다.
도 24는, 본 발명의 다른 실시 형태에 관한 표시 제어 장치 및 이것을 구비한 표시 제어 시스템의 구성을 도시하는 블록도이다.
도 25의 (a), (b)는, 본 발명의 또 다른 실시 형태에 관한 표시 제어 장치에 의해 표시 제어되는 표시 장치의 전도 와위 화상(이상 발생)과 문자 정보를 조합한 표시를 도시하는 도면이다.
도 2는, 도 1의 표시 제어 시스템에 의해 표시 장치에 표시되는 화상이 취득되는 실내의 구성을 도시하는 사시도이다.
도 3의 (a)는, 도 2에 도시하는 실내의 천장에 설치된 적외선 어레이 센서를 도시하는 도면이고, (b)는, 도 2에 도시하는 실내의 선반에 설치된 적외선 어레이 센서를 도시하는 도면이다.
도 4의 (a) 및 (b)는, 도 1의 표시 제어 시스템을 구성하는 표시 장치의 일례(호스트 컴퓨터, 휴대 단말기)를 도시하는 도면이다.
도 5는, 도 1의 표시 제어 장치를 구성하는 자세 추정부에 의한 자세 추정에 사용되는 제1 화상 데이터 및 그 검사 영역을 설명하기 위한 도면이다.
도 6은, 도 1의 표시 제어 장치를 구성하는 자세 추정부에 의한 자세 추정에 사용되는 제2 화상 데이터 및 그 검사 영역을 설명하기 위한 도면이다.
도 7은, 도 1의 표시 제어 장치를 구성하는 자세 추정부에 의한 자세 추정에 사용되는 제1ㆍ제2 화상 데이터의 검사 영역을 설명하기 위한 도면이다.
도 8은, 도 1의 표시 제어 장치를 구성하는 자세 추정부에 의한 자세 추정에 사용되는 제1ㆍ제2 화상 데이터의 검사 영역을 설명하기 위한 도면이다.
도 9는, 도 1의 표시 제어 장치를 구성하는 자세 추정부에 의해 추정되는 자세의 천이 모델을 도시하는 도면이다.
도 10은, 도 9의 천이 모델 정보를 도시하는 도면이다.
도 11은, 도 9의 천이 모델에 있어서의 각 자세에 대한 제1ㆍ제2 화상 데이터의 검사 영역을 나타내는 영역 정보 및 각 자세로 천이하였는지를 판정하기 위한 기준값을 나타내는 기준값 정보를 도시하는 도면이다.
도 12는, 도 1의 표시 제어 시스템을 구성하는 표시 장치에 표시되는 화상을 도시하는 도면이다.
도 13은, 도 1의 표시 제어 장치에 의한 표시 제어의 흐름을 도시하는 흐름도이다.
도 14는, 도 1의 표시 제어 장치에 의한 자세 추정의 흐름을 도시하는 흐름도이다.
도 15의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 입위 화상을 도시하는 도면이다.
도 16의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 좌위 화상을 도시하는 도면이다.
도 17의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 와위 화상(이불 있음)을 도시하는 도면이다.
도 18의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 와위 화상(이불 젖힘)을 도시하는 도면이다.
도 19의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 전도 와위 화상(이상 발생)을 도시하는 도면이다.
도 20의 (a), (b)는, 도 2에 도시하는 실내에 설치된 2개의 적외선 어레이 센서(천장, 측방)를 사용하여 촬상된 전도 좌위 화상(이상 발생)을 도시하는 도면이다.
도 21의 (a)는, 도 2에 도시하는 실내의 천장에 설치된 적외선 어레이 센서를 사용하여 촬상된 와위 화상(깜빡임 없음)을 도시하는 도면이고, (b)는, 도 2에 도시하는 실내의 천장에 설치된 적외선 어레이 센서를 사용하여 촬상된 와위 화상(헤드부 부근의 열원 확대)을 도시하는 도면이다.
도 22의 (a)는, 도 2에 도시하는 실내의 천장에 설치된 적외선 어레이 센서를 사용하여 촬상된 와위 화상(잦은 깜빡임 있음)을 도시하는 도면이고, (b)는, 도 2에 도시하는 실내의 천장에 설치된 적외선 어레이 센서를 사용하여 촬상된 와위 화상(이불 젖힘, 잦은 깜빡임 있음)을 도시하는 도면이다.
도 23은, 도 2에 도시하는 실내의 측벽에 설치된 적외선 어레이 센서를 사용하여 촬상된 좌위 화상(잦은 깜빡임 있음)을 도시하는 도면이다.
도 24는, 본 발명의 다른 실시 형태에 관한 표시 제어 장치 및 이것을 구비한 표시 제어 시스템의 구성을 도시하는 블록도이다.
도 25의 (a), (b)는, 본 발명의 또 다른 실시 형태에 관한 표시 제어 장치에 의해 표시 제어되는 표시 장치의 전도 와위 화상(이상 발생)과 문자 정보를 조합한 표시를 도시하는 도면이다.
본 발명의 일 실시 형태에 관한 표시 제어 장치(10) 및 이것을 구비한 표시 제어 시스템(20)에 대하여, 도 1 내지 도 23을 사용하여 설명하면 이하와 같다.
1. 표시 제어 시스템(20)의 구성
본 실시 형태에 관한 표시 제어 시스템(20)은, 예를 들어 개호 시설이나 병원 등과 같이, 일상 생활에 있어서 개호를 필요로 하는 요개호자를 감시하면서, 요개호자의 상태를 개호자에게 정확하게 인식시키기 위한 시스템이다. 그리고, 표시 제어 시스템(20)은, 도 1에 도시하는 바와 같이, 표시 제어 장치(10)와, 적외선 어레이 센서(21a, 21b)와, 표시 장치(22)를 구비하고 있다.
여기서, 본 실시 형태의 표시 제어 시스템(20)에서는, 실내(30)에 있는 요개호자(인체)(P1)의 지켜보기를 행하기 위해, 도 2에 도시하는 바와 같이, 실내(30)의 상방 및 측방으로부터 요개호자(P1)를 촬상 가능한 2개의 적외선 어레이 센서(21a, 21b)를 사용하고 있다.
실내(30)에는, 침대(31), 휠체어(32) 등의 실내 설비가 설치되어 있고, 요개호자(P1)의 거주 공간이 형성되어 있다. 또한, 실내의 좌표계 X-Y-Z는, 도 2에 도시하는 바와 같다.
표시 제어 장치(10)는, 적외선 어레이 센서(21a, 21b)에 의해 촬상된 적외선 화상(G1)(도 12 참조)을 사용하여, 실내(30)에 있는 요개호자(P1)가 개호를 필요로 하는 상태인지 여부를 판정하고, 표시 장치(22)에 표시시킨다. 또한, 표시 제어 장치(10)의 상세한 구성에 대해서는, 후단에서 상세하게 설명한다.
여기서, 본 실시 형태의 표시 제어 장치(10)에서는, 실내(30)의 요개호자(P1)의 지켜보기를 행하기 위해, 적외선 화상(G1)(도 12 참조)을 사용하고 있다. 이에 의해, 예를 들어 감시 카메라 화상을 사용하여 지켜보기를 행하는 경우와 비교하여, 요개호자(P1)의 프라이버시를 보호하면서 지켜보기를 행할 수 있다.
또한, 적외선 센서(21a, 21b)는, 촬영한 적외선 화상(G1)에 있어서의 사람의 얼굴 부분이 2 내지 6화소로 되도록 설계되어 있다. 이에 의해, 화상 중의 얼굴 부분을 사용한 개인 인증 기술 등으로도 개인을 특정할 수 없도록 함으로써, 요개호자(P1)의 프라이버시를 보호하면서, 지켜보기를 행할 수 있다.
적외선 어레이 센서(21a, 21b)는, 도 2에 도시하는 바와 같이, 실내(30)의 천장(30a)에 설치되어 있고, 실내(30)에 있는 요개호자(P1)를 상방으로부터 촬상한다.
또한, 적외선 어레이 센서(제1 화상 센서)(21a)는, 도 3의 (a)에 도시하는 바와 같이, 실내(30)의 천장(30a)에 대하여 직접 고정되어 있다.
적외선 어레이 센서(21b)(제2 화상 센서)는, 도 2에 도시하는 바와 같이, 실내(30)의 벽면(30b)에 설치되어 있고, 실내(30)에 있는 요개호자(P1)를 측방으로부터 촬상한다.
또한, 적외선 어레이 센서(21b)는, 도 3의 (b)에 도시하는 바와 같이, 벽면(30b)이 아니라, 선반(33) 등의 실내 설비에 매립되도록 설치되어 있어도 된다.
적외선 어레이 센서(21a, 21b)에 있어서 취득된 적외선 화상 데이터는, 표시 제어 장치(10)의 화상 취득부(11)에 송신된다.
또한, 적외선 어레이 센서(21a, 21b)에 있어서 촬상된 적외선 화상 데이터는, 화소값이 높을수록 촬상 영역의 온도가 높고, 화소값이 낮을수록 촬상 영역의 온도가 낮다고 하는 특징을 갖고 있다. 즉, 인체가 존재하는 영역은 온도가 높기 때문에, 인체를 촬상한 영역의 화소의 값은 높아진다. 따라서, 적외선 화상 데이터로부터, 화소값이 높은 영역을 찾음으로써, 인체가 존재하는 영역(온도가 높은 영역)을 특정할 수 있다.
표시 장치(22)는, 예를 들어 개호 시설 내에 설치된 호스트 컴퓨터(22a)(도 4의 (a) 참조)의 모니터, 휴대 단말기(22b)(도 4의 (b) 참조) 등이며, 요개호자(P1)를 촬상한 적외선 화상(G1)(도 12 참조)을 표시한다. 그리고, 표시 장치(22)는, 표시 제어 장치(10)에 의해 표시 제어된다.
호스트 컴퓨터(22a)는, 예를 들어 개호 시설에 있어서의 개호자의 대기소 등에 설치된다. 이에 의해, 개호자는, 복수의 요개호자(P1)의 모습을 원격으로 확인할 수 있다.
또한, 휴대 단말기(22b)에는, 개호자가 소유하는 휴대 전화, 스마트폰, 태블릿 단말기 등이 포함된다.
이에 의해, 개호자가 다른 요개호자(P1)의 방에 있을 때나 이동 중이라도, 휴대 단말기(22b)에 화상을 송신함으로써, 긴급 시에는 요개호자(P1)의 원래 위치로 바로 급히 달려올 수 있다.
2. 표시 제어 장치(10)의 구성
본 실시 형태의 표시 제어 장치(10)는, 도 1에 도시하는 바와 같이, 화상 취득부(11)와, 자세 추정부(12)와, 제어부(13)와, 기억부(14)와, 판정부(15)와, 인원수 추정부(16)를 구비하고 있다.
화상 취득부(11)는, 2개의 적외선 어레이 센서(21a, 21b)에 의해 촬상된 적외선 화상 데이터를, 적외선 어레이 센서(21a, 21b)로부터 취득한다.
자세 추정부(12)는, 화상 취득부(11)에 있어서 취득된 적외선 화상 데이터를 사용하여, 실내(30)에 있는 요개호자(P1)의 자세를 추정한다.
또한, 자세 추정부(12)에 의한 자세 추정에 대해서는, 천이 모델을 사용한 공지의 방법(특허문헌 1 참조)을 사용하여 행해진다(후단에서 설명). 그리고, 자세 추정부(12)에 있어서 추정되는 요개호자(P1)의 자세로서는, 예를 들어 입위 자세, 좌위 자세, 배와위 자세, 측와위 자세, 복와위 자세, 중요위 자세 등이 포함된다.
제어부(13)는, 자세 추정부(12)에 있어서 추정된 요개호자(P1)의 자세에 기초하여, 기억부(14)에 보존된 각 자세에 대응하는 더미 화상(제1 더미 화상)(D1)(도 12 참조)을 선택한다. 그리고, 선택된 더미 화상(D1)을 적외선 화상(G1)에 겹친 상태로, 표시 장치(22)에 표시시킨다.
여기서, 더미 화상(D1)이란, 자세 추정된 요개호자(P1)의 모습ㆍ형태를 간이적으로 나타내는 화상이며, 복수 종류의 자세에 대응하는 화상이 준비되어 있다. 본 실시 형태에서는, 요개호자(P1)를 상방, 측방으로부터 촬상한 화상에 중첩하기 위해, 각각의 방향에 따른 더미 화상(D1)이 준비되어 있다.
또한, 제어부(13)에 의한 표시 장치(22)의 표시 제어에 대해서는, 후단에서 상세하게 설명한다.
기억부(14)는, 화상 취득부(11)에 있어서 취득된 적외선 화상 데이터를 보존함과 함께, 자세 추정부(12)에 있어서 추정된 요개호자(P1)의 복수 종류의 자세에 대응하는 복수의 더미 화상(D1)을 관련지어 보존한다.
또한, 기억부(14)에 보존되는 요개호자(P1)의 자세에 대응하는 더미 화상(D1)으로서는, 예를 들어 입위 자세, 좌위 자세, 배와위 자세, 측와위 자세, 복와위 자세, 중요위 자세 등에 대응하는 화상이 포함된다.
이들 더미 화상(D1)은, 실내(30)를 상방으로부터 촬상한 적외선 화상(G1), 측방으로부터 촬상한 적외선 화상(G1)의 각각의 자세에 대응하는 종류만 기억부(14)에 보존되어 있다.
예를 들어, 입위 자세에 대하여, 상방으로부터 촬상한 적외선 화상(G1)에 겹치기 위한 더미 화상(D1), 측방으로부터 촬상한 적외선 화상(G1)에 겹치기 위한 더미 화상(D1)이 형성되어 있으면 된다. 그 밖의 자세에 대해서도 마찬가지로, 상방으로부터의 적외선 화상(G1), 측방으로부터의 적외선 화상(G1)에 대응하는 더미 화상(D1)이, 기억부(14)에 보존되어 있다.
판정부(15)는, 화상 취득부(11)에 있어서 취득된 적외선 화상 데이터에 기초하여, 실내(30)에 있는 요개호자(P1)의 개호 긴급도를 판정한다.
구체적으로는, 판정부(15)는, 예를 들어 연속해서 취득된 복수의 적외선 화상(G1)(동화상)을 참조하여, 화상 중의 깜빡임의 변화, 열원의 확대 등을 검출하여, 개호의 긴급도를 판정한다.
예를 들어, 자세 추정부(12)에 있어서 추정된 요개호자(P1)의 자세가 좌위 자세이며, 화상 취득부(11)에 있어서 연속적으로 취득된 복수의 화상 중의 깜빡임의 변화가 작은 경우에는, 요개호자(P1)가 좌위 자세인 채로 축 늘어져 있을 우려가 있다.
반대로, 요개호자(P1)의 자세가 좌위 자세이며, 화상 취득부(11)에 있어서 연속적으로 취득된 복수의 화상 중의 깜빡임의 변화가 큰 경우에는, 요개호자(P1)가 좌위 자세인 채로 옷 갈아입기, 혹은 휴대 단말기의 조작 등의 동작을 하고 있다고 추측된다.
따라서, 연속적으로 취득된 복수의 적외선 화상(G1)에 있어서 동일한 자세인 채로 장시간 깜빡임이 거의 없는 경우에는, 판정부(15)는, 개호의 긴급도가 높다고 판정하고, 제어부(13)는, 표시 장치(22)에 경고 표시를 하게 한다.
또한, 자세 추정부(12)에 있어서 추정된 요개호자(P1)의 자세가 와위 자세이며, 화상 취득부(11)에 있어서 연속적으로 취득된 복수의 화상 중의 열원이 확대된 경우에는, 요개호자(P1)가 구토를 하고 있을 가능성이 높다(도 21의 (b) 참조).
따라서, 이 경우에는, 판정부(15)는, 개호의 긴급도가 높다고 판정하고, 제어부(13)는, 표시 장치(22)에 경고 표시를 하게 한다.
여기서, 경고 표시의 예로서는, 표시 장치(22)에 있어서, 더미 화상(D1)의 점멸 표시, 색을 변화시켜 표시, 문자 정보를 병용한 경고 등이 고려된다. 색을 변화시키는 경우에는, 예를 들어 더미 화상(D1)의 통상의 표시색으로부터 적색으로 변화시키면 된다. 또한, 문자 정보를 병용한 경고 표시로서는, 예를 들어 「요개호자가 개호를 필요로 하고 있습니다!」 등의 문자 표시를 병용하면 된다. 또한, 비프음 등의 경고음을 표시와 병용해도 된다.
인원수 추정부(16)는, 화상 취득부(11)에 있어서 취득된 적외선 화상 데이터를 사용하여, 실내(30)에 있는 사람의 인원수를 추정한다.
구체적으로는, 인원수 추정부(16)는, 적외선 화상(G1)에 포함되는 인간의 헤드부로 추정되는 고온 부분을 검출하여, 그 수를 계수함으로써, 실내(30)에 있는 사람의 수를 추정한다.
또한, 인원수 추정부(16)에 있어서 추정된 실내(30)의 인원수는, 제어부(13)에 송신된다. 제어부(13)는, 인원수 추정부(16)에 있어서 추정된 실내(30)의 인원수가 2명 이상인 경우에는, 표시 장치(22)의 표시 제어를 실시하지 않는다.
즉, 본 실시 형태의 표시 제어 장치(10)에서는, 예를 들어 실내(30)에 거주하는 요개호자(P1)의 인원수가 통상 1명인 경우에는, 요개호자(P1) 이외의 사람(예를 들어, 개호자나 근친자, 친구 등)이 실내(30)에 있는 경우에는, 지켜보기의 감시를 할 필요성이 낮다고 상정된다.
따라서, 본 실시 형태의 표시 제어 장치(10)에서는, 실내(30)에 요개호자(P1) 이외의 사람이 있는 경우, 즉 인원수 추정부(16)에 있어서의 추정이 2명 이상인 경우에는, 표시 장치(22)에 대한 표시 제어를 실시하지 않는다.
3. 표시 제어의 내용
3-1. 자세 추정
본 실시 형태의 표시 제어 장치(10)에서는, 상술한 바와 같이, 화상 취득부(11)가, 2개의 적외선 어레이 센서(21a, 21b)에 의해 각각 촬상된 적외선 화상 데이터를 취득한다. 그리고, 자세 추정부(12)가, 화상 취득부(11)에 있어서 취득된 상방으로부터 실내(30)를 촬상한 적외선 화상(G1)과 측방으로부터 실내(30)를 촬상한 적외선 화상(G1)을 사용하여, 요개호자(P1)의 자세를 추정한다.
자세 추정부(12)에 있어서의 요개호자(P1)의 자세의 추정은, 이하와 같은 수순으로 행해진다.
즉, 자세 추정부(12)는, 인체의 자세의 천이 모델에 있어서의 각 자세에서의 적외선 화상 데이터(상방 및 측방)의 검사 영역을 나타내는 영역 정보와, 각 자세로 천이하였는지를 판정하기 위한 기준값을 나타내는 기준값 정보를 포함하는 검사 정보를 사용하여 자세 추정을 행한다.
또한, 천이 모델 정보 및 검사 정보는, 현시점의 인체의 자세를 추정하기 위해 사용된다.
도 5 및 도 6은, 적외선 어레이 센서(21a)에 의해 천장(30a)(상방)으로부터 촬상된 적외선 화상 데이터 및 그 검사 영역을 설명하기 위한 도면이다. 적외선 화상 데이터는, X 방향으로 16화소, Y 방향으로 16화소로 구성된다.
영역(RV1)은, 적외선 화상 데이터의 전체 영역, 즉 0≤X≤15, 0≤Y≤15의 범위의 영역이다.
영역(RV2)은, 침대(31)(도 2 참조)에 대응하는 영역의 긴 변 방향의 경계에 인접하는 위치로부터 소정의 폭(3화소)의 영역, 즉 7≤X≤9, 3≤Y≤10의 범위의 영역이다.
영역(RV3)은, 침대(31)에 대응하는 영역, 즉 3≤X≤6, 3≤Y≤10의 범위의 영역이다.
영역(RV4)은, 영역(RV3)을 제외한 영역이며, 4개의 영역으로 구성된다. 제1 영역은 0≤X≤2, 0≤Y≤15의 범위의 영역이다. 제2 영역은 7≤X≤15, 0≤Y≤15의 범위의 영역이다. 제3 영역은 3≤X≤6, 0≤Y≤2의 범위의 영역이다. 제4 영역은 3≤X≤6, 11≤Y≤15의 범위의 영역이다.
도 7 및 도 8은, 적외선 어레이 센서(21b)에 의해 벽면(30b)(측방)으로부터 촬상된 적외선 화상 데이터 및 그 검사 영역을 설명하기 위한 도면이다. 적외선 화상 데이터는, X 방향으로 16화소, Z 방향으로 16화소로 구성된다.
영역(RH1)은, 제2 화상 데이터의 전체 영역, 즉 0≤X≤15, 0≤Z≤15의 범위의 영역이다.
영역(RH2)의 연직 방향(Z 방향)의 범위는, 전체 범위이다. 영역(RH2)의 수평 방향(X 방향)의 범위는, 침대(31)에 대응하는 범위(11≤X≤15)에 인접하는 위치로부터 소정의 폭(3화소)의 범위이다. 따라서, 영역(RH2)은 8≤X≤10, 0≤Z≤15의 범위의 영역이다.
영역(RH3)의 연직 방향(Z 방향)의 범위는, 침대(31)에 대응하는 범위의 상방의 경계에 인접하는 위치로부터 소정의 폭(5화소)의 범위이다. 영역(RH3)의 수평 방향(X 방향)의 범위는, 침대(31)에 대응하는 범위와 동일한 범위이다. 따라서, 영역(RH3)은 11≤X≤15, 5≤Z≤9의 범위의 영역이다.
영역(RH4)의 연직 방향(Z 방향)의 범위는, 침대(31)에 대응하는 범위의 상방의 경계에 인접하는 위치로부터 소정의 폭(3화소)의 범위이다. 영역(RH4)의 수평 방향(X 방향)의 범위는, 침대(31)에 대응하는 범위와 동일한 범위이다. 따라서, 영역(RH4)은 11≤X≤15, 7≤Z≤9의 범위의 영역이다.
영역(RH5)의 수평 방향의 범위는, 전체 범위로부터 침대(31)에 대응하는 범위를 제외한 범위이다. 영역(RH5)의 연직 방향의 범위는, 가장 낮은 위치(Z=15)로부터 상방을 향하여 소정의 폭(6화소)의 범위이다. 따라서, 영역(RH5)은 0≤X≤10, 10≤Z≤15의 범위의 영역이다.
영역(RH6)의 수평 방향의 범위는, 전체 범위로부터 침대(31)에 대응하는 범위를 제외한 범위이다. 영역(RH6)의 연직 방향의 범위는, 소정의 위치(Z=12)로부터 상방을 향하여 소정의 폭(3화소)의 범위이다. 따라서, 영역(RH6)은 0≤X≤10, 10≤Z≤12의 범위의 영역이다.
도 9는, 요개호자(인체)(P1)의 자세의 천이 모델을 도시하는 도면이다. 도 10은, 천이 모델 정보를 도시하는 도면이다.
감시 대상자인 요개호자(P1)가, 실내(30)에 부재(A)를 초기 상태로 한다.
자세(A)의 다음 자세는, 실내에 체류(B), 또는 원래 자세(A) 중 어느 것이다.
자세(B)의 다음 자세는, 침대(31) 옆에서 입위(C), 전도(X), 실내에 부재(A), 또는 원래 자세(B) 중 어느 것이다.
자세(C)의 다음 자세는, 침대(31) 위에서 와위(D), 침대(31) 위에서 좌위(E), 침대(31)단에서 좌위(F), 전도(X), 실내에 체류(B), 또는 원래 자세(C) 중 어느 것이다.
자세(D)의 다음 자세는, 침대(31) 위에서 좌위(E), 침대(31)단에서 좌위(F), 침대(31) 옆에서 입위(C), 침대(31) 위에서 전락(제1 패턴)(Y1), 또는 원래 자세(D) 중 어느 것이다.
자세(E)의 다음 자세는, 침대(31) 위에서 와위(D), 침대(31)단에서 좌위(F), 침대(31) 옆에서 입위(C), 침대(31) 위에서 전락(제1 패턴)(Y1), 또는 원래 자세(E) 중 어느 것이다.
자세(F)의 다음 자세는, 침대(31) 위에서 와위(D), 침대(31) 위에서 좌위(E), 침대(31) 옆에서 입위(C), 침대(31) 위에서 전락(제2 패턴)(Y2), 또는 원래 자세(F) 중 어느 것이다.
도 11은, 천이 모델에 있어서의 각 자세에서의 적외선 화상 데이터의 검사 영역과 적외선 화상 데이터의 검사 영역을 나타내는 영역 정보와, 각 자세로 천이하였는지를 판정하기 위한 기준값을 나타내는 기준값 정보를 도시하는 도면이다.
실내(30)에 부재(A)로 천이하였는지 여부를 판정하기 위해서는, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV1)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH1)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THA 이상일 때, 자세(A)로 천이하였다고 판정된다.
실내(30)에 체류(B)로 천이하였는지 여부를 판정하기 위해서는, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV1)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH1)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THB 이상일 때, 자세(B)로 천이하였다고 판정된다.
침대(31) 옆에서 입위(C)로 천이하였는지 여부를 판정하기 위해서는, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV2)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH2)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THC 이상일 때, 자세(C)로 천이하였다고 판정된다.
침대(31) 위에서 와위(D)로 천이하였는지 여부를 판정하기 위해서는, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV3)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH4)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THD 이상일 때, 자세(D)로 천이하였다고 판정된다.
침대(31) 위에서 좌위(E)로 천이하였는지 여부를 판정하기 위해서는, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV3)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH3)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THE 이상일 때, 자세(E)로 천이하였다고 판정된다.
침대(31)단에서 좌위(F)로 천이하였는지 여부를 판정하기 위해서는, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV3)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH2)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THF 이상일 때, 자세(F)로 천이하였다고 판정된다.
전도(X)로 천이하였는지 여부를 판정하기 위해서는, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV4)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH5)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THX 이상일 때, 자세(X)로 천이하였다고 판정된다.
여기서, 침대(31)로부터 전락(제1 패턴)(Y1)으로 천이하였는지 여부를 판정하기 위해, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV2)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH6)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THY1 이상일 때, 자세(Y1)로 천이하였다고 판정된다.
또한, 이 판정에 영역(RH6)이 사용되는 이유는, 적외선 어레이 센서(21b)가 설치되어 있는 개소와, 요개호자(P1)가 침대(31)로부터 전락하는 개소의 거리가 짧기 때문에, 측방으로부터 촬상된 적외선 화상 데이터에서는, 전락한 요개호자(P1)를 촬상한 부분이, 가장 낮은 라인(Y=15)보다 높은 위치에 오기 때문이다.
또한, 침대(31)로부터 전락(제2 패턴)(Y2)으로 천이하였는지 여부를 판정하기 위해, 적외선 어레이 센서(21a, 21b)에 의해, 상방으로부터 촬상된 적외선 화상 데이터의 영역(RV2)의 통계량과, 측방으로부터 촬상된 적외선 화상 데이터의 영역(RH6)의 통계량의 합이 산출된다. 이 통계량의 합이, 기준값 THY2 이상일 때, 자세(Y2)로 천이하였다고 판정된다.
또한, 이 판정에 영역(RH6)이 사용되는 이유는, 침대(31)로부터 전락(제1 패턴)과 동일하다.
3-2. 표시 제어
본 실시 형태의 표시 제어 장치(10)에서는, 상술한 자세 추정의 결과, 추정된 요개호자(P1)의 자세에 기초하여, 기억부(14)에 보존된 각 자세에 대응하는 더미 화상(D1)을 적외선 화상(G1)에 겹쳐 표시하도록, 표시 장치(22)를 제어한다.
즉, 기억부(14)에는, 자세 추정부(12)에 있어서 추정된 요개호자(P1)의 자세에 대응하는 복수의 더미 화상(D1)이 보존되어 있다. 따라서, 제어부(13)는, 자세 추정부(12)에 있어서의 자세 추정의 결과를 근거로 하여, 도 12에 도시하는 바와 같이, 적외선 화상(G1) 중의 요개호자(P1)의 자세에 따른 적절한 더미 화상(D1)을 기억부(14)로부터 판독하고, 적외선 화상(G1) 상에 겹쳐 표시시킨다.
여기서, 적외선 화상(G1) 상에, 추정된 자세에 대응하는 더미 화상(D1)을 겹쳐 표시할 때에는, 요개호자(P1)의 헤드부의 위치를 기준으로 하여 겹쳐진다.
보다 상세하게는, 적외선 화상(G1)에 있어서, 헤드부, 얼굴 부분은, 인체에 있어서의 높은 위치에 있는 경우가 많고, 또한 상시 노출되어 있는 경우가 많기 때문에 온도가 높은 부분으로서 표시된다. 따라서, 적외선 화상(G1)에 있어서의 헤드부, 얼굴 부분으로 추정되는 위치를 기준으로 하여, 더미 화상(D1)의 헤드부, 얼굴 부분을 겹치도록 위치 정렬을 행하여, 표시 장치(22)에 표시시킨다.
3-3. 표시 제어의 흐름
본 실시 형태의 표시 제어 장치(10)는, 도 13에 도시하는 흐름도에 따라, 표시 제어를 실시한다.
즉, 스텝 S11에서는, 화상 취득부(11)가, 2개의 적외선 어레이 센서(21a, 21b)를 사용하여 실내(30)를 상방 및 측방으로부터 촬상한 적외선 화상(G1)을 취득한다.
이어서, 스텝 S12에서는, 인원수 추정부(16)가, 취득된 적외선 화상(G1)을 사용하여, 실내(30)에 있는 사람의 수를 추정한다.
이어서, 스텝 S13에서는, 인원수 추정부(16)에 있어서 추정된 실내(30)에 있는 사람의 수가 1명인지 여부를 판정한다. 여기서, 1명인 경우에는, 스텝 S14로 진행한다. 한편, 2명 이상인 경우에는, 실내(30)에 요개호자(P1) 이외의 사람이 있어 간병 가능한 상태라고 판단하여, 표시 제어 처리를 종료한다.
이어서, 스텝 S14에서는, 자세 추정부(12)가, 스텝 S13에 있어서 실내(30)에 1명이 있다고 판정된 요개호자(P1)의 자세를 추정한다.
이어서, 스텝 S15에서는, 제어부(13)가, 스텝 S14에 있어서 추정된 요개호자(P1)의 자세(예를 들어, 입위 등)에 대응하는 더미 화상(D1)을, 기억부(14)로부터 판독한다.
이어서, 스텝 S16에서는, 제어부(13)가, 기억부(14)로부터 판독한 더미 화상(D1)을, 적외선 화상(G1)에 포함되는 요개호자(P1)의 헤드부 혹은 얼굴 부분을 기준으로 하여, 겹쳐 표시한다.
이에 의해, 개호자는, 표시 장치(22)에 표시되는 요개호자(P1)의 자세를 인식함과 함께, 이상의 유무를 용이하게 판단할 수 있다.
3-4. 자세 추정의 흐름
본 실시 형태의 표시 제어 장치(10)에서는, 도 13의 흐름도의 스텝 S14에 있어서의 자세 추정에 대하여, 도 14에 도시하는 흐름도에 따라 실시한다.
즉, 스텝 S11에 있어서, 2개의 적외선 어레이 센서(21a, 21b)로부터 적외선 화상(G1)을 취득한 후, 스텝 S21에서는, 적외선 화상(G1) 중의 요개호자(P1)의 자세가 전도ㆍ전락인지 여부를 판정한다. 여기서, 전도ㆍ전락이라고 판정된 경우에는, 스텝 S22로 진행한다. 한편, 전도ㆍ전락이 아니라고 판정된 경우에는, 전도ㆍ전락 이외의 자세이기 때문에, 스텝 S23으로 진행한다.
이어서, 스텝 S22에서는, 자세 추정부(12)가, 스텝 S21에 있어서의 판정 결과, 요개호자(P1)가 전도ㆍ전락 자세라고 판정한다.
이어서, 스텝 S23에서는, 적외선 화상(G1) 중의 요개호자(P1)가 침대 옆에 있는지 여부를 판정한다. 여기서, 요개호자(P1)가 침대 옆에 있다고 판정된 경우에는, 스텝 S24로 진행한다. 한편, 요개호자(P1)가 침대 옆에는 없다고 판정된 경우에는, 스텝 S25로 진행한다.
이어서, 스텝 S24에서는, 자세 추정부(12)가, 스텝 S23에 있어서의 판정 결과, 침대 옆에 있다고 판정한다.
이어서, 스텝 S25에서는, 적외선 화상(G1) 중의 요개호자(P1)가 침대 위에 있는지 여부를 판정한다. 여기서, 요개호자(P1)가 침대 위에 있다고 판정된 경우에는, 스텝 S26으로 진행한다. 한편, 요개호자(P1)가 침대 위에는 없다고 판정된 경우에는, 스텝 S29로 진행한다.
이어서, 스텝 S26에서는, 적외선 화상(G1) 중의 요개호자(P1)가 침대 위에서 좌위 자세인지 여부를 판정한다. 여기서, 요개호자(P1)가 침대 위에서 좌위 자세라고 판정된 경우에는, 스텝 S27로 진행한다. 한편, 요개호자(P1)가 침대 위에서 좌위 자세는 아니라고 판정된 경우에는, 스텝 S28로 진행한다.
이어서, 스텝 S27에서는, 자세 추정부(12)가, 스텝 S26에 있어서의 판정 결과, 요개호자(P1)는 침대 위에서 좌위 자세라고 판정한다.
이어서, 스텝 S28에서는, 자세 추정부(12)가, 스텝 S26에 있어서의 판정 결과, 요개호자(P1)는 침대 위에서 와위 자세라고 판정한다.
이어서, 스텝 S29에서는, 요개호자(P1)가 침대 옆, 침대 위 중 어디에도 없기 때문에, 적외선 화상(G1) 내의 측정 영역 내에 있는지 여부를 판정한다. 여기서, 요개호자(P1)가 측정 영역 내에 있다고 판정된 경우에는, 스텝 S30으로 진행한다. 한편, 요개호자(P1)가 측정 영역 외에 있다고 판정된 경우에는, 스텝 S31로 진행한다.
이어서, 스텝 S30에서는, 요개호자(P1)가, 침대 옆, 침대 위 이외의 실내(30)의 위치에서 이동 중이라고 판정한다.
이어서, 스텝 S31에서는, 다시, 요개호자(P1)가 침대 위에 없는지를 확인한다. 여기서, 요개호자(P1)가 침대 위에 있다고 판정되면, 스텝 S33으로 진행한다. 한편, 침대 위에 없다고 판정되면, 스텝 S32로 진행한다.
이어서, 스텝 S32에서는, 적외선 화상(G1)을 사용하여 판정한 결과, 요개호자(P1)가, 전도ㆍ전락하지 않고, 침대 옆, 침대 위, 측정 영역 내에도 없기 때문에, 측정 영역 외에 있다고 판정된다.
이어서, 스텝 S33에서는, 스텝 S32에 있어서, 요개호자(P1)가 침대 위에 있다고 판정되었기 때문에, 예를 들어 이불을 덮은 상태의 와위 자세라고 판정된다.
4. 각 자세에 대한 더미 화상의 표시예
4-1. 입위 자세
도 15의 (a) 및 도 15의 (b)에 도시하는 바와 같이, 요개호자(P1)가 입위 자세인 경우에는, 요개호자(P1)가 서 있는 상태를 나타내는 더미 화상(D1)이 적외선 화상(G1)에 겹쳐 표시된다.
구체적으로는, 도 15의 (a)에 도시하는 바와 같이, 상방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21a)로부터 취득된 적외선 화상(G1) 상에서는, 요개호자(P1)를 헤드 위에서 촬상하였기 때문에, 헤드부나 어깨 부분이 평면 시로 표시되는 더미 화상(D1)이 사용된다.
한편, 도 15의 (b)에 도시하는 바와 같이, 측방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21b)로부터 취득된 적외선 화상(G1) 상에서는, 요개호자(P1)를 옆에서 촬상하였기 때문에, 요개호자(P1)의 전신을 표시하는 더미 화상(D1)이 사용된다.
또한, 도 15의 (a) 및 도 15의 (b)에 도시하는 적외선 화상(G1) 상에는, 실내 설비로서의 침대(31)를 나타내는 더미 화상(제2 더미 화상)(D2)이 표시되어 있다.
이에 의해, 개호자는, 실내(30)에 있어서의 어느 위치에 요개호자(P1)가 있는지를 침대(31) 등의 실내 설비의 위치를 참조하면서 인식할 수 있다.
4-2. 좌위 자세
도 16의 (a) 및 도 16의 (b)에 도시하는 바와 같이, 요개호자(P1)가 좌위 자세인 경우에는, 요개호자(P1)가 휠체어나 의자에 앉아 있는 상태를 나타내는 더미 화상(D1)이 적외선 화상(G1)에 겹쳐 표시된다.
구체적으로는, 도 16의 (a)에 도시하는 바와 같이, 상방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21a)로부터 취득된 적외선 화상(G1) 상에서는, 요개호자(P1)를 헤드 상으로부터 촬상하였기 때문에, 헤드부나 어깨 부분에 추가하여 발 부분이 평면 시로 표시되는 더미 화상(D1)이 사용된다.
한편, 도 16의 (b)에 도시하는 바와 같이, 측방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21b)로부터 취득된 적외선 화상(G1) 상에서는, 요개호자(P1)를 옆에서 촬상하였기 때문에, 요개호자(P1)가 신체를 굴곡시킨 자세를 표시하는 더미 화상(D1)이 사용된다.
4-3. 와위 자세(이불 있음)
도 17의 (a) 및 도 17의 (b)에 도시하는 바와 같이, 요개호자(P1)가 침대(31) 위에서 자고 있는 와위 자세인 경우에는, 요개호자(P1)가 침대(31) 위에서 자고 있는 상태를 나타내는 더미 화상(D1)이 적외선 화상(G1)에 겹쳐 표시된다.
구체적으로는, 도 17의 (a)에 도시하는 바와 같이, 상방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21a)로부터 취득된 적외선 화상(G1) 상에서는, 자고 있는 요개호자(P1)를 상방으로부터 촬상하였기 때문에, 요개호자(P1)의 전신이 표시되는 더미 화상(D1)이 사용된다.
또한, 침대(31) 위에서 자고 있는 요개호자(P1)가 이불(더미 화상(D3))을 덮고 경우에는, 도 17의 (a)에 도시하는 바와 같이, 적외선 화상(G1) 상에서는 이불을 덮은 부분은 온도가 낮은 부분으로서 표시되고, 헤드부만이 온도가 높은 부분으로서 표시된다.
한편, 도 17의 (b)에 도시하는 바와 같이, 측방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21b)로부터 취득된 적외선 화상(G1) 상에서는, 요개호자(P1)를 옆에서 촬상하였기 때문에, 요개호자(P1)가 침대(31) 위에서 자고 있는 와위 자세를 표시하는 더미 화상(D1)이 사용된다.
또한, 도 17의 (a)와 마찬가지로, 침대(31) 위에서 자고 있는 요개호자(P1)가 이불을 덮고 있는 경우에는, 도 17의 (b)에 도시하는 바와 같이, 적외선 화상(G1) 상에서는 이불을 덮은 부분은 온도가 낮은 부분으로서 표시되고, 헤드부만이 온도가 높은 부분으로서 표시된다.
4-4. 와위 자세(이불 젖힘)
도 18의 (a) 및 도 18의 (b)에 도시하는 바와 같이, 요개호자(P1)가 침대(31) 위에서 자고 있는 와위 자세이며, 이불(더미 화상(D3))을 젖힌 경우에는, 요개호자(P1)가 침대(31) 위에서 자고 있는 상태를 나타내는 더미 화상(D1)이 적외선 화상(G1)에 겹쳐 표시된다.
구체적으로는, 도 18의 (a)에 도시하는 바와 같이, 상방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21a)로부터 취득된 적외선 화상(G1) 상에서는, 자고 있는 요개호자(P1)를 상방으로부터 촬상하였기 때문에, 요개호자(P1)의 상반신이 표시되는 더미 화상(D1)이 사용된다.
또한, 침대(31) 위에서 자고 있는 요개호자(P1)가 이불(더미 화상(D3))을 하반신에 덮고 경우에는, 도 18의 (a)에 도시하는 바와 같이, 적외선 화상(G1) 상에서는 이불을 덮은 부분은 온도가 낮은 부분으로서 표시되고, 상반신만이 온도가 높은 부분으로서 표시된다.
한편, 도 18의 (b)에 도시하는 바와 같이, 측방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21b)로부터 취득된 적외선 화상(G1) 상에서는, 요개호자(P1)를 옆에서 촬상하였기 때문에, 요개호자(P1)가 침대(31) 위에서 자고 있는 와위 자세를 표시하는 더미 화상(D1)이 사용된다.
또한, 도 18의 (a)와 마찬가지로, 침대(31) 위에서 자고 있는 요개호자(P1)가 하반신에 이불을 덮고 있는 경우에는, 도 18의 (b)에 도시하는 바와 같이, 적외선 화상(G1) 상에서는 이불을 덮은 부분은 온도가 낮은 부분으로서 표시되고, 상반신만이 온도가 높은 부분으로서 표시된다.
4-5. 와위 자세(전도)
도 19의 (a) 및 도 19의 (b)에 도시하는 바와 같이, 요개호자(P1)가 침대(31) 옆에서 전도된 와위 자세인 경우에는, 요개호자(P1)가 침대(31)(더미 화상(D2)) 옆에서 쓰러져 있는 상태를 나타내는 더미 화상(D1)이 적외선 화상(G1)에 겹쳐 표시된다.
구체적으로는, 도 19의 (a)에 도시하는 바와 같이, 상방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21a)로부터 취득된 적외선 화상(G1) 상에서는, 침대(31) 옆에서 쓰러져 있는 요개호자(P1)를 상방으로부터 촬상하였기 때문에, 요개호자(P1)의 전신이 표시되는 더미 화상(D1)이 사용된다.
또한, 이 경우에는, 요개호자(P1)가 침대(31)를 나타내는 더미 화상(D2)과는 상이한 위치에서 자고 있어, 전도되어 있다고 상정되기 때문에, 더미 화상(D1)은, 예를 들어 통상 색과는 상이한 적색, 황색 등으로 색을 바꾸거나, 혹은 점멸 표시된다.
한편, 도 19의 (b)에 도시하는 바와 같이, 측방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21b)로부터 취득된 적외선 화상(G1) 상에서는, 요개호자(P1)를 옆에서 촬상하였기 때문에, 요개호자(P1)가 침대(31) 아래에서 자고 있는 와위 자세를 표시하는 더미 화상(D1)이 사용된다.
또한, 도 19의 (a)와 마찬가지로, 요개호자(P1)가 침대(31) 아래에서 자고 있는 경우에는, 전도되어 있다고 상정되기 때문에, 더미 화상(D1)은, 예를 들어 통상 색과는 상이한 적색, 황색 등으로 색을 바꾸거나, 혹은 점멸 표시된다.
이에 의해, 개호자는, 도 19의 (a) 및 도 19의 (b)에 도시하는 적외선 화상(G1)을 확인하여, 바로 긴급으로 개호가 필요한 상태라고 인식할 수 있다.
4-6. 좌위 자세(전도)
도 20의 (a) 및 도 20의 (b)에 도시하는 바와 같이, 요개호자(P1)가 침대(31) 옆에서 좌위 자세인 경우에는, 요개호자(P1)가 침대(31)(더미 화상(D2)) 옆에서 전도되어 축 늘어져 있는 상태를 나타내는 더미 화상(D1)이 적외선 화상(G1)에 겹쳐 표시된다.
구체적으로는, 도 20의 (a)에 도시하는 바와 같이, 상방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21a)로부터 취득된 적외선 화상(G1) 상에서는, 침대(31) 옆에서 주저앉아 있는 요개호자(P1)를 상방으로부터 촬상하였기 때문에, 요개호자(P1)의 헤드부, 어깨, 발 부분이 평면 시로 표시되는 더미 화상(D1)이 사용된다.
또한, 이 경우에는, 요개호자(P1)가 침대(31)를 나타내는 더미 화상(D2) 옆에서 전도되어 주저앉아 있다고 상정되기 때문에, 더미 화상(D1)은, 예를 들어 통상 색과는 상이한 적색, 황색 등으로 색을 바꾸거나, 혹은 점멸 표시된다.
한편, 도 20의 (b)에 도시하는 바와 같이, 측방으로부터 실내(30)를 촬상한 적외선 어레이 센서(21b)로부터 취득된 적외선 화상(G1) 상에서는, 요개호자(P1)를 옆에서 촬상하였기 때문에, 요개호자(P1)가 침대(31) 옆에서 축 늘어져 주저앉아 있는 좌위 자세를 표시하는 더미 화상(D1)이 사용된다.
또한, 도 20의 (a)와 마찬가지로, 요개호자(P1)가 침대(31) 옆에서 주저앉아 있는 경우에는, 전도되어 축 늘어져 있다고 상정되기 때문에, 더미 화상(D1)은, 예를 들어 통상 색과는 상이한 적색, 황색 등으로 색을 바꾸거나, 혹은 점멸 표시된다.
이에 의해, 개호자는, 도 20의 (a) 및 도 20의 (b)에 도시하는 적외선 화상(G1)을 확인하여, 바로 긴급으로 개호가 필요한 상태라고 인식할 수 있다.
또한, 침대(31) 옆에서 좌위 자세에 있는 요개호자(P1)의 긴급도는, 연속적으로 취득된 적외선 화상(G1)을 확인하여, 움직임이 확인되는지 여부로 판단해도 된다.
4-7. 와위 자세(깜빡임 있음)
도 21의 (a)에 도시하는 바와 같이, 요개호자(P1)가 와위 자세이며, 연속적으로 취득된 적외선 화상에 있어서 깜빡임이 작은 경우에는, 요개호자(P1)가 자고 있을 가능성이 높다.
따라서, 이 경우에는, 판정부(15)는, 요개호자(P1)가 개호를 필요로 하는 상태가 아니라고 판정한다.
또한, 도 22의 (a)에 도시하는 바와 같이, 요개호자(P1)가 와위 자세이며, 연속적으로 취득된 적외선 화상에 있어서, 요개호자(P1)의 상반신 부근에 깜빡임이 큰 깜빡임 영역(G1a)이 검출된 경우에는, 요개호자(P1)가 일어서려고 하는 동작을 하고 있을 가능성이 높다.
또한, 도 22의 (b)에 도시하는 바와 같이, 요개호자(P1)가 와위 자세이며, 연속적으로 취득된 적외선 화상에 있어서, 이불을 젖힌 상태에서 요개호자(P1)의 상반신 부근에 깜빡임이 큰 깜빡임 영역(G1a)이 검출된 경우에는, 요개호자(P1)가 일어서려고 하는 동작을 하고 있을 가능성이 높다.
이 경우에는, 요개호자(P1)가 일어서는 보조를 행할 필요가 있기 때문에, 판정부(15)는, 개호를 필요로 하는 상태라고 판정한다.
여기서, 적외선 화상(G1) 중의 화소의 깜빡임을 사용한 판정은, 이하와 같이 하여 실시된다.
즉, 판정부(15)는, 연속적으로 취득된 적외선 화상 중의 화상의 깜빡임에 기초하는 판정을 행할 때에는, 화상 중의 열 무게 중심의 위치의 요동에 따라, 판정을 행한다.
구체적으로는, 예를 들어 적외선 화상(G1) 중의 실온보다 소정값 이상 온도가 높은 영역을 잘라내고, 잘라낸 영역 내의 화소의 XY 방향에 있어서의 위치의 평균값을 취하여 열 무게 중심의 위치를 구한다. 그리고, 이 열 무게 중심의 위치가, 소정의 역치보다 이동할지 여부(요동)에 따라, 개호를 필요로 하는 긴급 정도로서 판정하면 된다.
이에 의해, 화상 센서로서 적외선 센서를 사용한 경우라도, 적외선 화상(열화상)의 특성을 살려, 예를 들어 열 무게 중심의 위치의 변화가 소정의 역치보다 작은 경우에, 요개호자(P1)가 개호를 필요로 하는 상태라고 판정할 수 있다.
반대로, 열 무게 중심의 위치의 변화가 소정의 역치보다 큰 경우에는, 예를 들어 요개호자가 옷을 갈아입고 있거나, 휴대 단말기를 조작하고 있는 등, 개호를 필요로 하지 않는 상태라고 판정할 수 있다.
이 결과, 개호자는, 표시 장치(22)에 표시된 요개호자(P1)의 화상을 보아, 개호를 필요로 하는지 여부를 적확하게 판단할 수 있다.
4-8. 와위 자세(열원 확대)
도 21의 (b)에 도시하는 바와 같이, 요개호자(P1)가 와위 자세이며, 연속적으로 취득된 적외선 화상에 있어서 헤드부 부근의 열원이 확대된 열원 확대 영역(G1b)이 검출된 경우에는, 요개호자(P1)가 자고 있는 상태에서 구토할 가능성이 높다.
따라서, 이 경우에는, 판정부(15)는, 요개호자(P1)가 긴급의 개호를 필요로 하는 상태라고 판정한다.
제어부(13)는, 자세 추정부(12)에 있어서의 자세 추정의 결과 및 판정부(15)에 있어서의 개호 긴급도의 판정 결과를 근거로 하여, 도 21의 (b)에 도시하는 바와 같이, 더미 화상(D1)의 색을 변화시키거나, 혹은 점멸시키는 등의 표시 제어를 행한다.
이에 의해, 개호자는, 표시 장치(22)에 표시된 화면을 확인하여, 요개호자(P1)가 와위 자세이며, 긴급으로 개호가 필요한 상태임을 용이하게 인식할 수 있다.
4-9. 좌위 자세(깜빡임 있음)
도 23에 도시하는 바와 같이, 요개호자(P1)가 휠체어의 더미 화상(제2 더미 화상)(D4)에 좌위한 자세이며, 연속적으로 취득된 적외선 화상에 있어서, 휠체어(32)를 나타내는 더미 화상(D4) 상의 요개호자(P1)의 상반신 부근에 깜빡임이 큰 깜빡임 영역(G1a)이 검출된 경우에는, 요개호자(P1)가 옷 갈아입기 동작을 하고 있을 가능성이 높다.
따라서, 이 경우에는, 판정부(15)는, 요개호자(P1)가 개호를 필요로 하는 상태가 아니라고 판정한다.
반대로, 요개호자(P1)가 휠체어(32)에 좌위한 자세이며, 연속적으로 취득된 적외선 화상에 있어서, 요개호자(P1)의 상반신 부근에 소정 시간 이상 깜빡임이 거의 없는 경우에는, 요개호자(P1)가 휠체어에 앉은 상태에서 축 늘어져 있을 우려가 있다.
따라서, 이 경우에는, 판정부(15)는, 요개호자(P1)가 개호를 필요로 하는 상태라고 판정한다.
이 경우에는, 제어부(13)는, 자세 추정부(12)에 있어서의 자세 추정의 결과 및 판정부(15)에 있어서의 개호 긴급도의 판정 결과를 근거로 하여, 더미 화상(D1)의 색을 변화시키거나, 혹은 점멸시키는 등의 표시 제어를 행한다.
이에 의해, 개호자는, 요개호자(P1)가 휠체어 상에서 정지하고 있는 상태가 길다는 것을 인식하여, 요개호자(P1)의 방으로 급히 달려올 수 있다.
[다른 실시 형태]
이상, 본 발명의 일 실시 형태에 대하여 설명하였지만, 본 발명은 상기 실시 형태에 한정되는 것은 아니며, 발명의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
(A) 상기 실시 형태에서는, 상술한 표시 제어 방법을 실시하는 표시 제어 장치(10) 및 이것을 구비한 표시 제어 시스템(20)으로서, 본 발명을 실현한 예를 들어 설명하였다. 그러나, 본 발명은 이것에 한정되는 것은 아니다.
예를 들어, 상술한 표시 제어 방법으로서, 본 발명을 실현해도 된다.
혹은, 상술한 표시 제어 방법을 컴퓨터에 실행시키는 표시 제어 프로그램으로서, 본 발명을 실현해도 된다. 나아가, 이 표시 제어 프로그램을 저장한 기록 매체로서, 본 발명을 실현해도 된다.
어느 실현 수단에 의해서도, 상기와 마찬가지의 효과를 얻을 수 있다.
(B) 상기 실시 형태에서는, 도 1에 도시하는 바와 같이, 요개호자(P1)의 각 자세에 대응하는 더미 화상(D1)을 보존하는 기억부(14)를 구비한 표시 제어 장치(10)를 예로서 들어 설명하였다. 그러나, 본 발명은 이것에 한정되는 것은 아니다.
예를 들어, 더미 화상을 보존하는 기억 수단으로서, 도 24에 도시하는 바와 같이, 표시 제어 장치(110) 및 표시 제어 시스템(120)의 외부에 설치된 클라우드 공간(114) 등을 사용해도 된다.
즉, 본 발명의 표시 제어 장치는, 외부의 기억 수단(클라우드 공간, 서버 장치 등)으로부터 더미 화상을 판독하여 사용하는 구성이라면, 장치 내에 기억부를 갖지 않는 구성이어도 된다.
(C) 상기 실시 형태에서는, 표시 장치(22)에 대하여, 적외선 화상(G1) 상에 더미 화상(D1)을 중첩하여 표시시키는 예를 들어 설명하였다. 그러나, 본 발명은 이것에 한정되는 것은 아니다.
예를 들어, 도 25의 (a) 및 도 25의 (b)에 도시하는 바와 같이, 「○○○호실 XX님 이상 발생」 등의 문자 정보를, 화상 정보와 함께 표시시켜도 된다.
이 경우에는, 개호자에 대하여, 개호의 긴급 정도를 보다 이해하기 쉽게 표시할 수 있다.
또한, 이들 문자 정보는, 요개호자의 개호의 긴급도를 판정하는 판정부에 있어서의 판정 결과에 대응하는 복수의 문자 정보가 미리 기억부(14) 등에 보존되어 있으면 된다.
(D) 상기 실시 형태에서는, 제1ㆍ제2 화상 센서로서, 도 2에 도시하는 바와 같이, 적외선 어레이 센서(21a, 21b)를 천장과 측면에 설치한 예를 들어 설명하였다. 그러나, 본 발명은 이것에 한정되는 것은 아니다.
예를 들어, 화상 센서를 천장에만, 혹은 측면에만 설치한 구성이어도 되고, 인체를 대각선에서 촬상하는 화상 센서를 사용해도 된다.
단, 인체의 자세를 정확하게 판정하기 위해서는, 상기 실시 형태와 같이, 천장과 측면에 각각 화상 센서를 설치한 구성으로 하는 것이 바람직하다.
(E) 상기 실시 형태에서는, 화상 취득부(11)에 화상을 송신하는 화상 센서로서, 온도 분포를 검지하는 적외선 어레이 센서(21a, 21b)를 사용한 예를 들어 설명하였다. 그러나, 본 발명은 이것에 한정되는 것은 아니다.
예를 들어, 화상 센서로서는, 감시 카메라, 거리 센서 등의 다른 화상 센서를 사용할 수도 있다.
(F) 상기 실시 형태에서는, 복수의 요개호자(P1)의 개호를 행하는 개호 시설 등에 있어서의 지켜보기에, 본 발명의 표시 제어 장치(10) 및 표시 제어 시스템(20)을 적용한 예를 들어 설명하였다. 그러나, 본 발명은 이것에 한정되는 것은 아니다.
예를 들어, 개호 시설 이외에도, 고령자나 몸이 불편한 사람이 생활하는 병원 등의 시설에 본 발명을 적용해도 된다.
혹은, 혼자 사는 고령자의 지켜보기에, 본 발명을 적용해도 된다.
이 경우에는, 고령자와 떨어져 사는 자녀의 휴대 단말기를 표시 장치로서 사용함으로써, 원격지에서 지켜보기를 행할 수 있다.
본 발명의 표시 제어 장치는, 예를 들어 요개호자가 개호를 필요로 하는 상황을, 효과적으로 개호자에게 인식시킬 수 있다고 하는 효과를 발휘한다는 점에서, 고령자나 자녀, 애완동물 등의 지켜보기를 행하는 각종 장치에 대하여 널리 적용 가능하다.
10: 표시 제어 장치
11: 화상 취득부
12: 자세 추정부
13: 제어부
14: 기억부
15: 판정부
16: 인원수 추정부
20: 표시 제어 시스템
21a: 적외선 어레이 센서(제1 화상 센서)(천장)
21b: 적외선 어레이 센서(제2 화상 센서)(측방)
22: 표시 장치
22a: 호스트 컴퓨터(표시 장치)
22b: 휴대 단말기(표시 장치)
30: 실내
30a: 천장
30b: 벽면
31: 침대
32: 휠체어
33: 선반
110: 표시 제어 장치
114: 클라우드 공간
120: 표시 제어 시스템
G1: 적외선 화상(화상)
G1a: 깜빡임 영역
G1b: 열원 확대 영역
D1: 더미 화상(요개호자)(제1 더미 화상)
D2: 더미 화상(침대)(제2 더미 화상)
D3: 더미 화상(이불)(제2 더미 화상)
D4: 더미 화상(휠체어)(제2 더미 화상)
P1: 요개호자(인체)
11: 화상 취득부
12: 자세 추정부
13: 제어부
14: 기억부
15: 판정부
16: 인원수 추정부
20: 표시 제어 시스템
21a: 적외선 어레이 센서(제1 화상 센서)(천장)
21b: 적외선 어레이 센서(제2 화상 센서)(측방)
22: 표시 장치
22a: 호스트 컴퓨터(표시 장치)
22b: 휴대 단말기(표시 장치)
30: 실내
30a: 천장
30b: 벽면
31: 침대
32: 휠체어
33: 선반
110: 표시 제어 장치
114: 클라우드 공간
120: 표시 제어 시스템
G1: 적외선 화상(화상)
G1a: 깜빡임 영역
G1b: 열원 확대 영역
D1: 더미 화상(요개호자)(제1 더미 화상)
D2: 더미 화상(침대)(제2 더미 화상)
D3: 더미 화상(이불)(제2 더미 화상)
D4: 더미 화상(휠체어)(제2 더미 화상)
P1: 요개호자(인체)
Claims (22)
- 실내에 설치된 화상 센서에 의해 검출된 화상 데이터를 취득하는 화상 취득부와,
상기 화상 취득부에 있어서 취득된 상기 화상 데이터에 기초하여, 상기 실내에 있는 인체의 자세를 추정하는 자세 추정부와,
상기 자세 추정부에 있어서 추정된 상기 인체의 자세를 간이적으로 나타내는 제1 더미 화상이, 상기 화상 데이터 상에 겹쳐 표시되도록, 표시 장치를 제어하는 제어부를 구비하고 있는, 표시 제어 장치. - 제1항에 있어서, 상기 인체의 자세마다 대응지어진 상태로 복수의 상기 제1 더미 화상을 보존하는 기억부를 더 구비하고 있는, 표시 제어 장치.
- 제1항 또는 제2항에 있어서, 상기 제어부는, 상기 화상 데이터에 포함되는 상기 인체의 헤드부 혹은 얼굴의 위치를 기준으로 하여, 상기 제1 더미 화상의 헤드부 혹은 얼굴 부분을 겹쳐 표시시키는, 표시 제어 장치.
- 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 화상 취득부에 있어서 연속적으로 취득된 복수의 상기 화상 데이터를 참조하여, 상기 화상 데이터 중의 상기 인체 부근의 화상의 깜빡임에 따라, 개호의 긴급도를 판정하는 판정부를 더 구비하고 있는, 표시 제어 장치.
- 제4항에 있어서, 상기 화상 센서는, 열화상을 취득하는 적외선 센서이며,
상기 판정부는, 상기 적외선 센서에 있어서 연속적으로 취득된 상기 열화상 중의 상기 인체 부근의 영역에 있어서의 열 무게 중심의 위치의 요동의 정도에 따라 판정을 행하는, 표시 제어 장치. - 제4항에 있어서, 상기 화상 센서는, 열화상을 취득하는 적외선 센서이며,
상기 판정부는, 상기 적외선 센서에 있어서 연속적으로 취득된 상기 열화상 중의 상기 인체 부근의 영역에 있어서의 열원의 확대를 검출하여 판정을 행하는, 표시 제어 장치. - 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 화상 취득부에 있어서 취득된 상기 화상 데이터에 포함되는 사람의 수를 추정하는 인원수 추정부를 더 구비하고 있는, 표시 제어 장치.
- 제7항에 있어서, 상기 제어부는, 상기 인원수 추정부에 있어서의 추정 결과, 상기 화상 데이터 중의 인원수가 1명이라고 판정된 경우에, 상기 표시 장치의 표시 제어를 행하는, 표시 제어 장치.
- 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 제어부는, 상기 자세 추정부에 있어서의 추정 결과에 따라, 상기 표시 장치에 있어서 상기 제1 더미 화상의 색을 변화시키는, 표시 제어 장치.
- 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 제어부는, 상기 자세 추정부에 있어서의 추정 결과에 따라, 상기 표시 장치에 있어서 상기 제1 더미 화상을 점멸 표시시키는, 표시 제어 장치.
- 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 제어부는, 상기 자세 추정부에 있어서의 추정 결과에 따라, 상기 화상 데이터 상에 상기 제1 더미 화상을 겹친 표시와 함께, 긴급 메시지를 상기 표시 장치에 표시시키는, 표시 제어 장치.
- 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 자세 추정부는, 상기 실내에 있는 인체를 상이한 방향으로부터 검출하는 복수의 상기 화상 센서에 있어서의 검출 결과를 사용하여, 상기 자세를 추정하는, 표시 제어 장치.
- 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 제어부는, 상기 인체의 입위 자세, 좌위 자세, 배와위 자세, 측와위 자세, 복와위 자세, 중요위 자세 중 적어도 하나에 대응하는 상기 제1 더미 화상을 상기 화상 데이터에 겹쳐 상기 표시 장치에 표시시키는, 표시 제어 장치.
- 제1항 내지 제13항 중 어느 한 항에 있어서, 상기 제어부는, 상기 실내에 설치된 가구, 실내 설비에 대응하는 제2 더미 화상을, 상기 화상 데이터 중의 상기 가구, 상기 실내 설비의 위치에 겹치도록 표시시키는, 표시 제어 장치.
- 제1항 내지 제14항 중 어느 한 항에 기재된 표시 제어 장치와,
상기 화상 취득부에 대하여 상기 화상 데이터를 공급하는 화상 센서를 구비한, 표시 제어 시스템. - 제15항에 있어서, 상기 표시 제어 장치의 상기 제어부에 의해 표시 제어되는 표시 장치를 더 구비하고 있는, 표시 제어 시스템.
- 제16항에 있어서, 상기 표시 장치에는, 상기 실내에 있는 사람의 개호를 행하는 개호자가 사용하는 호스트 단말기의 표시 장치, 혹은 상기 개호자가 소유하는 휴대 단말기가 포함되는, 표시 제어 시스템.
- 제15항 내지 제17항 중 어느 한 항에 있어서, 상기 화상 센서는, 상기 인체를, 상기 실내에 있어서의 상방으로부터 검출하는 제1 화상 센서와, 측방으로부터 검출하는 제2 화상 센서를 포함하는, 표시 제어 시스템.
- 제15항 내지 제18항 중 어느 한 항에 있어서, 상기 화상 센서는 적외선 어레이 센서, 거리 센서 중 어느 것인, 표시 제어 시스템.
- 실내에 설치된 화상 센서에 의해 검출된 화상 데이터를 취득하는 화상 취득 스텝과,
상기 화상 취득 스텝에 있어서 취득된 상기 화상 데이터에 기초하여, 상기 실내에 있는 인체의 자세를 추정하는 자세 추정 스텝과,
상기 자세 추정 스텝에 있어서 추정된 상기 인체의 자세를 간이적으로 나타내는 제1 더미 화상이, 상기 화상 데이터 상에 겹쳐 표시되도록, 표시 장치를 제어하는 제어 스텝을 구비한, 표시 제어 방법. - 실내에 설치된 화상 센서에 의해 검출된 화상 데이터를 취득하는 화상 취득 스텝과,
상기 화상 취득 스텝에 있어서 취득된 상기 화상 데이터에 기초하여, 상기 실내에 있는 인체의 자세를 추정하는 자세 추정 스텝과,
상기 자세 추정 스텝에 있어서 추정된 상기 인체의 자세를 간이적으로 나타내는 제1 더미 화상이, 상기 화상 데이터 상에 겹쳐 표시되도록, 표시 장치를 제어하는 제어 스텝을 구비한 표시 제어 방법을 컴퓨터에 실행시키는 표시 제어 프로그램. - 실내에 설치된 화상 센서에 의해 검출된 화상 데이터를 취득하는 화상 취득 스텝과,
상기 화상 취득 스텝에 있어서 취득된 상기 화상 데이터에 기초하여, 상기 실내에 있는 인체의 자세를 추정하는 자세 추정 스텝과,
상기 자세 추정 스텝에 있어서 추정된 상기 인체의 자세를 간이적으로 나타내는 제1 더미 화상이, 상기 화상 데이터 상에 겹쳐 표시되도록, 표시 장치를 제어하는 제어 스텝을 구비한 표시 제어 방법을 컴퓨터에 실행시키는 표시 제어 프로그램을 기억한 기록 매체.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2016-113457 | 2016-06-07 | ||
JP2016113457A JP6520831B2 (ja) | 2016-06-07 | 2016-06-07 | 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体 |
PCT/JP2017/006350 WO2017212690A1 (ja) | 2016-06-07 | 2017-02-21 | 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180033270A true KR20180033270A (ko) | 2018-04-02 |
KR101999934B1 KR101999934B1 (ko) | 2019-07-12 |
Family
ID=60578449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020187005409A KR101999934B1 (ko) | 2016-06-07 | 2017-02-21 | 표시 제어 장치, 표시 제어 시스템, 표시 제어 방법, 표시 제어 프로그램, 기록 매체 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10973441B2 (ko) |
EP (1) | EP3468180B1 (ko) |
JP (1) | JP6520831B2 (ko) |
KR (1) | KR101999934B1 (ko) |
CN (1) | CN107925748B (ko) |
WO (1) | WO2017212690A1 (ko) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7210872B2 (ja) * | 2017-07-19 | 2023-01-24 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置及び画像処理プログラム |
US10553099B2 (en) * | 2017-08-07 | 2020-02-04 | Ricoh Company, Ltd. | Information providing apparatus and information providing system |
JP7340771B2 (ja) * | 2018-05-28 | 2023-09-08 | パナソニックIpマネジメント株式会社 | 生体検知装置、生体検知方法、記録媒体、およびプログラム |
JP2019219903A (ja) * | 2018-06-20 | 2019-12-26 | 株式会社三陽電設 | トイレ使用状態監視装置 |
JP7199086B2 (ja) * | 2018-10-10 | 2023-01-05 | ファミリーイナダ株式会社 | 防犯システム及びこの防犯システムを備えたマッサージ機 |
JP7289664B2 (ja) | 2019-02-04 | 2023-06-12 | 旭化成ホームズ株式会社 | 位置特定システム、携帯端末、位置特定システムの利用方法、位置特定方法およびプログラム |
CN110123272A (zh) * | 2019-04-24 | 2019-08-16 | 佛山市宝瑞通光电科技有限公司 | 基于人体感知的人员监测方法及装置 |
CN113034849A (zh) * | 2019-12-25 | 2021-06-25 | 海信集团有限公司 | 婴儿看护设备、看护方法及存储介质 |
US20210334983A1 (en) * | 2020-04-27 | 2021-10-28 | Industrial Technology Research Institute | Image monitoring apparatus and method |
WO2022009419A1 (ja) * | 2020-07-10 | 2022-01-13 | 三菱電機株式会社 | 学習装置、活用装置、プログラム、学習方法及び活用方法 |
JP7142955B2 (ja) * | 2020-07-15 | 2022-09-28 | アルスデザインアソシエイツ株式会社 | 監視システム、監視方法、及びプログラム |
US20230230379A1 (en) * | 2022-01-19 | 2023-07-20 | Target Brands, Inc. | Safety compliance system and method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000251078A (ja) * | 1998-12-22 | 2000-09-14 | Atr Media Integration & Communications Res Lab | 人物の3次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置 |
JP2010237873A (ja) * | 2009-03-30 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | 姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラム |
KR20130042844A (ko) * | 2011-10-19 | 2013-04-29 | 인하대학교 산학협력단 | 자세 보정 시스템 |
JP5648840B2 (ja) * | 2009-09-17 | 2015-01-07 | 清水建設株式会社 | ベッド上及び室内の見守りシステム |
JP2015231517A (ja) | 2014-05-13 | 2015-12-24 | オムロン株式会社 | 姿勢推定装置、姿勢推定システム、姿勢推定方法、姿勢推定プログラム、および姿勢推定プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Family Cites Families (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5455287A (en) | 1977-10-11 | 1979-05-02 | Toshiba Corp | Assembly tool for fuel assembly |
US6400374B2 (en) * | 1996-09-18 | 2002-06-04 | Eyematic Interfaces, Inc. | Video superposition system and method |
US6486473B2 (en) * | 2000-03-02 | 2002-11-26 | Mine Safety Applicances Company | Thermal imaging camera |
JP3918530B2 (ja) * | 2001-11-28 | 2007-05-23 | カシオ計算機株式会社 | 画像出力装置、画像出力処理プログラム、及び画像出力方法 |
US8675059B2 (en) * | 2010-07-29 | 2014-03-18 | Careview Communications, Inc. | System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients |
JP4581512B2 (ja) * | 2004-07-02 | 2010-11-17 | オムロン株式会社 | 3次元画像処理装置、光軸調整方法、光軸調整支援方法 |
US20080136916A1 (en) * | 2005-01-26 | 2008-06-12 | Robin Quincey Wolff | Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system |
JP2006259930A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 表示装置およびその制御方法、表示装置を備えた電子機器、表示装置制御プログラム、ならびに該プログラムを記録した記録媒体 |
JP2007153035A (ja) * | 2005-12-01 | 2007-06-21 | Auto Network Gijutsu Kenkyusho:Kk | 乗員着座判定システム |
US20080244978A1 (en) * | 2007-04-05 | 2008-10-09 | Rahmi Soyugenc | Motorized security revolving door |
US8374438B1 (en) * | 2007-10-04 | 2013-02-12 | Redshift Systems Corporation | Visual template-based thermal inspection system |
CA2734143C (en) * | 2008-08-15 | 2021-08-31 | Brown University | Method and apparatus for estimating body shape |
US8525833B2 (en) * | 2008-10-13 | 2013-09-03 | George Papaioannou | Dynamic biplane roentgen stereophotogrammetric analysis |
TWI388205B (zh) * | 2008-12-19 | 2013-03-01 | Ind Tech Res Inst | 目標追蹤之方法與裝置 |
US8339583B2 (en) * | 2009-07-17 | 2012-12-25 | The Boeing Company | Visual detection of clear air turbulence |
US8121472B2 (en) * | 2009-09-10 | 2012-02-21 | Babak Forutanpour | Signal measurements employed to affect photographic parameters |
US8520901B2 (en) * | 2010-06-11 | 2013-08-27 | Namco Bandai Games Inc. | Image generation system, image generation method, and information storage medium |
JP5771778B2 (ja) * | 2010-06-30 | 2015-09-02 | パナソニックIpマネジメント株式会社 | 監視装置、プログラム |
JP2012065263A (ja) * | 2010-09-17 | 2012-03-29 | Olympus Imaging Corp | 撮影機器 |
WO2012077286A1 (ja) * | 2010-12-09 | 2012-06-14 | パナソニック株式会社 | 物体検出装置および物体検出方法 |
JP2014510557A (ja) * | 2011-01-25 | 2014-05-01 | ノバルティス アーゲー | 動作の撮像および取込みを医療で使用するためのシステムおよび方法 |
CN103493112B (zh) * | 2011-02-22 | 2016-09-21 | 菲力尔***公司 | 红外传感器***及方法 |
US9259289B2 (en) * | 2011-05-13 | 2016-02-16 | Intuitive Surgical Operations, Inc. | Estimation of a position and orientation of a frame used in controlling movement of a tool |
JP5877053B2 (ja) | 2011-12-14 | 2016-03-02 | パナソニック株式会社 | 姿勢推定装置および姿勢推定方法 |
DE102012201591A1 (de) * | 2012-02-03 | 2013-08-08 | Robert Bosch Gmbh | Auswertevorrichtung für ein Überwachungssystem sowie Überwachungssystem mit der Auswertevorrichtung |
WO2013187150A1 (ja) * | 2012-06-11 | 2013-12-19 | コニカミノルタ株式会社 | 医用画像システム及び医用画像処理装置 |
CN102855470B (zh) | 2012-07-31 | 2015-04-08 | 中国科学院自动化研究所 | 基于深度图像的人体姿态估计方法 |
JP6167563B2 (ja) | 2013-02-28 | 2017-07-26 | ノーリツプレシジョン株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
US20140287395A1 (en) * | 2013-03-25 | 2014-09-25 | Vcom3D, Inc. | Method and system for medical skills training |
JP6141079B2 (ja) * | 2013-04-08 | 2017-06-07 | キヤノン株式会社 | 画像処理システム、画像処理装置、それらの制御方法、及びプログラム |
US20160217326A1 (en) * | 2013-07-03 | 2016-07-28 | Nec Corporation | Fall detection device, fall detection method, fall detection camera and computer program |
US20150123966A1 (en) * | 2013-10-03 | 2015-05-07 | Compedia - Software And Hardware Development Limited | Interactive augmented virtual reality and perceptual computing platform |
JP6351285B2 (ja) * | 2014-02-13 | 2018-07-04 | キヤノン株式会社 | 画像形成装置、及び画像形成装置の制御方法 |
CN104850219A (zh) * | 2014-02-19 | 2015-08-19 | 北京三星通信技术研究有限公司 | 估计附着物体的人体姿势的设备和方法 |
US9779508B2 (en) * | 2014-03-26 | 2017-10-03 | Microsoft Technology Licensing, Llc | Real-time three-dimensional reconstruction of a scene from a single camera |
JP6312512B2 (ja) * | 2014-04-23 | 2018-04-18 | 博司 佐久田 | 遠隔見守りシステム |
JP2016103237A (ja) * | 2014-11-28 | 2016-06-02 | クラリオン株式会社 | 見守りシステム |
CN105865636B (zh) * | 2015-02-06 | 2022-01-11 | 松下知识产权经营株式会社 | 红外线检测装置 |
US10076840B2 (en) * | 2015-04-03 | 2018-09-18 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
JP2016202252A (ja) * | 2015-04-15 | 2016-12-08 | キヤノン株式会社 | 放射線撮影システム、放射線撮影システムの制御方法およびプログラム |
JP6508626B2 (ja) * | 2015-06-16 | 2019-05-08 | オリンパス株式会社 | 撮像装置、処理プログラム、撮像方法 |
US20190206036A1 (en) * | 2017-12-20 | 2019-07-04 | Al Analysis, Inc. | Method and system that use super flicker to facilitate image comparison |
-
2016
- 2016-06-07 JP JP2016113457A patent/JP6520831B2/ja active Active
-
2017
- 2017-02-21 EP EP17809874.5A patent/EP3468180B1/en active Active
- 2017-02-21 CN CN201780002917.7A patent/CN107925748B/zh active Active
- 2017-02-21 WO PCT/JP2017/006350 patent/WO2017212690A1/ja unknown
- 2017-02-21 US US15/755,596 patent/US10973441B2/en active Active
- 2017-02-21 KR KR1020187005409A patent/KR101999934B1/ko active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000251078A (ja) * | 1998-12-22 | 2000-09-14 | Atr Media Integration & Communications Res Lab | 人物の3次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置 |
JP2010237873A (ja) * | 2009-03-30 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | 姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラム |
JP5648840B2 (ja) * | 2009-09-17 | 2015-01-07 | 清水建設株式会社 | ベッド上及び室内の見守りシステム |
KR20130042844A (ko) * | 2011-10-19 | 2013-04-29 | 인하대학교 산학협력단 | 자세 보정 시스템 |
JP2015231517A (ja) | 2014-05-13 | 2015-12-24 | オムロン株式会社 | 姿勢推定装置、姿勢推定システム、姿勢推定方法、姿勢推定プログラム、および姿勢推定プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
CN107925748B (zh) | 2020-04-28 |
EP3468180B1 (en) | 2020-06-24 |
WO2017212690A1 (ja) | 2017-12-14 |
US10973441B2 (en) | 2021-04-13 |
US20200221977A1 (en) | 2020-07-16 |
EP3468180A1 (en) | 2019-04-10 |
EP3468180A4 (en) | 2019-10-09 |
JP2017220779A (ja) | 2017-12-14 |
KR101999934B1 (ko) | 2019-07-12 |
CN107925748A (zh) | 2018-04-17 |
JP6520831B2 (ja) | 2019-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101999934B1 (ko) | 표시 제어 장치, 표시 제어 시스템, 표시 제어 방법, 표시 제어 프로그램, 기록 매체 | |
US10904492B2 (en) | Video monitoring system | |
JP6806145B2 (ja) | 被監視者監視システムおよび被監視者監視方法 | |
WO2016199495A1 (ja) | 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置 | |
WO2020145380A1 (ja) | 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法 | |
JP2013206069A (ja) | 被写体見守りシステム | |
JP2002109061A (ja) | 生活情報取得システム及びケアプランの作成方法 | |
EP3466336A1 (en) | Breathing abnormality detection device and breathing abnormality detection method | |
JPWO2017183603A1 (ja) | 被監視者監視システムおよび被監視者監視方法 | |
JP7183788B2 (ja) | 行動判定装置及び行動判定方法 | |
JP6908028B2 (ja) | 被監視者監視装置、該方法、該システムおよびプログラム | |
JP6115693B1 (ja) | 対象物検出装置および対象物検出方法ならびに被監視者監視装置 | |
JP2022010581A (ja) | 検知装置、検知方法、画像処理方法、およびプログラム | |
JP2020113243A (ja) | 見守りシステム、見守り方法、プログラム及び学習済みモデルの生成方法。 | |
JP7044217B1 (ja) | 見守りシステム及び見守り方法 | |
JP7327396B2 (ja) | 制御プログラム、レポート出力方法、およびレポート出力装置 | |
JP7237382B1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP7458813B2 (ja) | 監視装置、監視方法、監視プログラム | |
WO2019163561A1 (ja) | 情報処理装置 | |
JP2021140422A (ja) | 監視システム、監視装置及び監視方法 | |
JP2022126069A (ja) | 画像処理方法 | |
WO2018003751A1 (ja) | 生体監視装置、生体監視方法及び生体監視システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |