JP7234931B2 - Sensor Device of Monitored Person Monitoring Support System, Processing Method of Sensor Device, and Monitored Person Monitoring Support System - Google Patents
Sensor Device of Monitored Person Monitoring Support System, Processing Method of Sensor Device, and Monitored Person Monitoring Support System Download PDFInfo
- Publication number
- JP7234931B2 JP7234931B2 JP2019547932A JP2019547932A JP7234931B2 JP 7234931 B2 JP7234931 B2 JP 7234931B2 JP 2019547932 A JP2019547932 A JP 2019547932A JP 2019547932 A JP2019547932 A JP 2019547932A JP 7234931 B2 JP7234931 B2 JP 7234931B2
- Authority
- JP
- Japan
- Prior art keywords
- processing unit
- image
- monitored person
- predetermined event
- sensor device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G12/00—Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Emergency Management (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Nursing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Accommodation For Nursing Or Treatment Tables (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、被監視者の監視を支援するための被監視者監視支援システムにおけるセンサ装置、該センサ装置の処理方法および前記被監視者監視支援システムに関する。 The present invention relates to a sensor device in a monitored person monitoring support system for supporting monitoring of a monitored person, a processing method for the sensor device , and the monitored person monitoring support system.
近年、高齢化社会の進展に伴って、看護業界や介護業界等の業務を補完する技術が、研究、開発されており、その1つとして、例えば、特許文献1に開示されている。この特許文献1に開示されたナースコールシステムは、ベッドに設置されて患者が看護師を呼び出すためのナースコール子機と、ナースステーションに設置されて前記ナースコール子機による呼び出しに応答するためのナースコール親機とを有するナースコールシステムであって、ベッド上の患者をベッド上方から撮像するカメラと、前記カメラの撮像映像から、患者が上半身を起こした状態および患者がベッド上から離れた状態のうち少なくとも一方の発生を判断して注意状態発生信号を出力する状態判断手段とを有し、前記ナースコール親機は、前記注意状態発生信号を受けて報知動作する報知手段を有する。そして、前記ナースコール親機は、映像を表示するモニタおよび前記注意状態発生信号を受信したら前記モニタに前記カメラの撮像映像を表示させる映像制御部を有する。
In recent years, with the progress of an aging society, techniques for supplementing work in the nursing industry and the nursing care industry have been researched and developed. The nurse call system disclosed in
ところで、前記特許文献1に開示されたナースコールシステムは、前記カメラの撮像映像から、患者が上半身を起こした状態および患者がベッド上から離れた状態のうち少なくとも一方の発生を判断している。しかしながら、患者の実際の状態や、前記状態の種類によっては、撮像映像に基づく判断が難しい場合がある。このような場合には、患者の状態を判断するために、撮像映像に対し、より詳細な解析処理が求められるが、より詳細な解析処理には、情報処理量が増大してしまう。このため、判断に時間が掛かってしまい、監視の中断時間が長くなってしまう虞がある。特に、1個の装置で複数人を監視する場合、前記複数人のうちの1人が判断の難しい状態に陥っていると、その判断が完了するまで、残余者の監視が中断してしまう。
By the way, the nurse call system disclosed in
本発明は、上述の事情に鑑みて為された発明であり、その目的は、監視の中断をより短時間にできる被監視者監視支援システムのセンサ装置、該センサ装置の処理方法および被監視者監視支援システムを提供することである。 The present invention has been made in view of the above-mentioned circumstances, and its object is to provide a sensor device of a monitored person monitoring support system capable of shortening the interruption of monitoring, a processing method of the sensor device , and a monitored person. It is to provide a monitoring support system.
上述した目的を実現するために、本発明の一側面を反映したセンサ装置およびその処理方法は、撮像部で生成された画像に基づいて第1アルゴリズムでイベントを検知し、非検知の場合に第2アルゴリズムで前記画像に基づいて前記イベントを検知する必要性を判定し、必要な場合に前記画像を中央処理装置へ送信する。本発明の一側面を反映した中央処理装置は、前記画像を前記センサ装置から受信した場合に、前記画像に基づいて前記イベントを検知して端末装置へ通知する。本発明の一側面を反映した被監視者監視支援システムは、このような前記センサ装置、前記中央管理装置および前記端末装置を備える。 In order to achieve the above object, a sensor device and a processing method thereof reflecting one aspect of the present invention detect an event by a first algorithm based on an image generated by an imaging unit, 2 algorithms determine the need to detect the event based on the image, and transmit the image to a central processing unit when necessary. A central processing unit that reflects one aspect of the present invention detects the event based on the image and notifies the terminal device of the event when the image is received from the sensor device. A monitored person monitoring support system that reflects one aspect of the present invention includes the sensor device, the central management device, and the terminal device as described above.
発明の1または複数の実施形態により与えられる利点および特徴は、以下に与えられる詳細な説明および添付図面から十分に理解される。これら詳細な説明及び添付図面は、例としてのみ与えられるものであり本発明の限定の定義として意図されるものではない。 The advantages and features provided by one or more embodiments of the invention will be fully appreciated from the detailed description given below and the accompanying drawings. These detailed descriptions and accompanying drawings are given by way of example only and are not intended as a definition of the limits of the invention.
以下、図面を参照して、本発明の1または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。 One or more embodiments of the invention are described below with reference to the drawings. However, the scope of the invention is not limited to the disclosed embodiments. It should be noted that the configurations denoted by the same reference numerals in each figure indicate the same configuration, and the description thereof will be omitted as appropriate. In this specification, reference numerals with suffixes omitted are used when referring to generic components, and reference numerals with suffixes are used when referring to individual configurations.
本実施形態における被監視者監視支援システムは、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者)Obを監視する際に、その監視を支援するシステムである。本実施形態では、被監視者監視支援システムは、被監視者Obに対応して設けられ、被監視者Obに関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されて前記センサ装置から受信したイベントを管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備える。前記センサ装置は、画像を生成する撮像部と、前記所定のイベントを検知する第1アルゴリズムで、前記撮像部で生成された画像に基づいて前記所定のイベントを検知する第1検知処理部と、前記第1検知処理部で前記所定のイベントを検知しなかった場合に、前記所定のイベントを検知する、前記第1アルゴリズムと異なる第2アルゴリズムで、前記撮像部で生成された画像に基づいて前記所定のイベントを検知する必要性を判定する必要性判定部と、前記必要性判定部で前記所定のイベントの検知が必要であると判定された場合に、前記所定のイベントを検知させるために前記撮像部で生成された画像を前記中央処理装置へ送信する画像送信部とを備える。前記センサ装置は、1対1で被監視者Obを監視して良く、1対多で複数の被監視者Obを監視して良く、前記被監視者監視支援システムは、1対1で被監視者Obを監視するセンサ装置のみで構成されて良く、1対多で複数の被監視者Obを監視するセンサ装置のみで構成されて良く、1対1で被監視者Obを監視するセンサ装置、および、1対多で複数の被監視者Obを監視するセンサ装置の混在で構成されて良い。前記中央処理装置は、前記所定のイベントを検知させるために画像を前記センサ装置から受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知する第2検知処理部と、前記第2検知処理部で前記所定のイベントを検知した場合に、前記検知した所定のイベントを、前記所定のイベントを検知させるために画像を送信した前記センサ装置で検知されたイベントの通知を受ける端末装置へ通知する通知処理部とを備える。前記第2検知処理部は、前記第2アルゴリズムで、前記受信した画像に基づいて前記所定のイベントを検知して良い。前記端末装置は、1種類の装置であって良いが、本実施形態態では、前記端末装置は、固定端末装置と携帯端末装置との2種類の装置である。これら固定端末装置と携帯端末装置との主な相違は、固定端末装置が固定的に運用される一方、携帯端末装置が例えば看護師や介護士等の監視者(サービス提供者、ユーザ)に携行されて運用される点であり、これら固定端末装置と携帯端末装置とは、略同様である。このような被監視者監視支援システムについて、前記所定のイベント(事象)の一例として、被監視者Obにおける、予め設定された所定の行動およびナースコールを挙げ、前記中央処理装置の一例として管理サーバ装置SVを挙げ、以下、より具体的に説明する。 The monitored person monitoring support system in the present embodiment is a system that supports monitoring when monitoring a monitored person (watching target) Ob who is a monitoring target (watching target) to be monitored (watched over). . In this embodiment, the monitored person monitoring support system is provided corresponding to the monitored person Ob, is connected to a sensor device for detecting a predetermined event related to the monitored person Ob, and is communicably connected to the sensor device. a central processing unit for managing events detected by a sensor device and received from the sensor device; A receiving terminal is provided. The sensor device includes an imaging unit that generates an image; a first detection processing unit that detects the predetermined event based on the image generated by the imaging unit using a first algorithm that detects the predetermined event; A second algorithm different from the first algorithm for detecting the predetermined event when the first detection processing unit does not detect the predetermined event, based on the image generated by the imaging unit. a necessity determination unit for determining the necessity of detecting a predetermined event; and when the necessity determination unit determines that the predetermined event needs to be detected, the an image transmission unit configured to transmit an image generated by the imaging unit to the central processing unit; The sensor device may monitor the monitored person Ob on a one-to-one basis, and may monitor a plurality of monitored persons Ob on a one-to-many basis. a sensor device that monitors a person Ob, a sensor device that monitors a plurality of monitored persons Ob in a one-to-many manner, and a sensor device that monitors a plurality of monitored persons Ob in a one-to-one relationship; In addition, it may be configured with a mixture of sensor devices that monitor a plurality of monitored persons Ob in a one-to-many manner. The central processing unit includes a second detection processing unit that detects the predetermined event based on the received image when an image is received from the sensor device for detecting the predetermined event; When the detection processing unit detects the predetermined event, the detected predetermined event is sent to the terminal device that receives the notification of the event detected by the sensor device that transmitted the image for detecting the predetermined event. and a notification processing unit that notifies. The second detection processing section may detect the predetermined event based on the received image using the second algorithm. The terminal device may be one type of device, but in this embodiment, the terminal device is two types of devices, a fixed terminal device and a mobile terminal device. The main difference between these fixed terminal devices and mobile terminal devices is that while fixed terminal devices are used on a fixed basis, mobile terminal devices are carried by supervisors (service providers, users) such as nurses and caregivers. These fixed terminal devices and portable terminal devices are substantially the same. In such a monitored person monitoring support system, as an example of the predetermined event (phenomenon), a predetermined action and a nurse call in the monitored person Ob are given, and an example of the central processing unit is a management server. The device SV will be taken up and explained in more detail below.
図1は、実施形態における被監視者監視支援システムの構成を示す図である。図2は、前記被監視者監視支援システムにおけるセンサ装置の構成を示す図である。図3は、前記被監視者監視支援システムにおける管理サーバ装置の構成を示す図である。図4は、前記管理サーバ装置に記憶される監視情報テーブルの構成を示す図である。図5は、前記管理サーバ装置に記憶される装置間情報テーブルの構成を示す図である。図5Aは、通知先対応関係情報テーブルを示し、図5Bは、通信アドレス対応関係情報テーブルを示す。図6は、前記管理サーバ装置に記憶されるセンサ情報テーブルの構成を示す図である。 FIG. 1 is a diagram showing the configuration of a monitored person monitoring support system according to an embodiment. FIG. 2 is a diagram showing the configuration of a sensor device in the monitored person monitoring support system. FIG. 3 is a diagram showing the configuration of a management server device in the monitored person monitoring support system. FIG. 4 is a diagram showing the configuration of a monitoring information table stored in the management server device. FIG. 5 is a diagram showing the configuration of an inter-device information table stored in the management server device. FIG. 5A shows a notification destination correspondence information table, and FIG. 5B shows a communication address correspondence information table. FIG. 6 is a diagram showing the structure of a sensor information table stored in the management server device.
実施形態における被監視者監視支援システムMSは、被監視者Obの監視を支援するシステムであり、例えば、図1に示すように、1または複数のセンサ装置SU(SU-1~SU-3)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA-1、TA-2)と、構内交換機(PBX、Private branch exchange)CXとを備え、これらは、有線や無線で、LAN(Local Area Network)等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWは、通信信号を中継する例えばリピーター、ブリッジおよびルーター等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SU-1~SU-3、管理サーバ装置SV、固定端末装置SP、複数の携帯端末装置TA-1、TA-2および構内交換機CXは、L2スイッチの集線装置(ハブ、HUB)LSおよびアクセスポイントAPを含む有線および無線の混在したLAN(例えばIEEE802.11規格に従ったLAN等)NWによって互いに通信可能に接続されている。より詳しくは、複数のセンサ装置SU-1~SU-3、管理サーバ装置SV、固定端末装置SPおよび構内交換機CXは、集線装置LSに接続され、複数の携帯端末装置TA-1、TA-2は、アクセスポイントAPを介して集線装置LSに接続されている。そして、ネットワークNWは、TCP(Transmission control protocol)およびIP(Internet protocol)等のインターネットプロトコル群が用いられることによっていわゆるイントラネットを構成する。 The monitored person monitoring support system MS in the embodiment is a system for supporting the monitoring of the monitored person Ob. For example, as shown in FIG. 1, one or more sensor devices SU (SU-1 to SU-3) , a management server device SV, a fixed terminal device SP, one or more mobile terminal devices TA (TA-1, TA-2), and a private branch exchange (PBX, Private branch exchange) CX, which are Wired or wirelessly, they are communicably connected via a network (network, communication line) NW such as a LAN (Local Area Network). The network NW may be provided with repeaters such as repeaters, bridges and routers for relaying communication signals. In the example shown in FIG. 1, the plurality of sensor devices SU-1 to SU-3, the management server device SV, the fixed terminal device SP, the plurality of mobile terminal devices TA-1 and TA-2, and the private branch exchange CX are L2 switches. are communicably connected to each other by a mixed wired and wireless LAN (for example, a LAN conforming to the IEEE 802.11 standard) NW including a line concentrator (hub, HUB) LS and an access point AP. More specifically, a plurality of sensor devices SU-1 to SU-3, a management server device SV, a fixed terminal device SP and a private branch exchange CX are connected to a line concentrator LS, and connected to a plurality of mobile terminal devices TA-1 and TA-2. is connected to the concentrator LS via an access point AP. The network NW constitutes a so-called intranet by using Internet protocols such as TCP (Transmission control protocol) and IP (Internet protocol).
構内交換機(回線切換機)CXは、ネットワークNWに接続され、携帯端末装置TA同士における発信、着信および通話等の内線電話の制御を行って前記携帯端末装置TA同士の内線電話を実施し、そして、例えば固定電話網や携帯電話網等の公衆電話網PNを介して例えば固定電話機や携帯電話機等の外線電話機TLに接続され、外線電話機TLと携帯端末装置TAとの間における発信、着信および通話等の外線電話の制御を行って外線電話機TLと携帯端末装置TAとの間における外線電話を実施するものである。構内交換機CXは、例えば、デジタル交換機や、IP-PBX(Internet Protocol Private Branch eXchange)等である。 The private branch exchange (circuit switch) CX is connected to the network NW, controls extension calls such as outgoing calls, incoming calls, and conversations between the mobile terminal devices TA, implements extension calls between the mobile terminal devices TA, and , for example, is connected to an outside line telephone TL such as a fixed telephone or a mobile telephone via a public telephone network PN such as a fixed telephone network or a mobile telephone network, and originating, receiving and calling between the outside telephone TL and the portable terminal device TA. etc., to carry out an outside line call between the outside line telephone TL and the mobile terminal device TA. The private branch exchange CX is, for example, a digital exchange or an IP-PBX (Internet Protocol Private Branch Exchange).
被監視者監視支援システムMSは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者)Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視支援システムMSは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視支援システムMSは、複数の被監視者Obが入居する複数の居室RMや、ナースステーション等の複数の部屋を備える介護施設の建物に配設されている。 The monitored person monitoring support system MS is arranged at an appropriate place according to the monitored person Ob. The monitored person (person to be watched over) Ob is, for example, a person who needs nursing care due to illness or injury, a person who needs nursing care due to a decline in physical ability, a solitary person living alone, or the like. In particular, from the viewpoint of enabling early detection and early countermeasures, the monitored person Ob should be a person who needs to be found when a predetermined inconvenient event, such as an abnormal condition, occurs to him or her. preferable. Therefore, the monitored person monitoring support system MS is preferably installed in buildings such as hospitals, welfare facilities for the elderly, and dwelling units according to the type of the monitored person Ob. In the example shown in FIG. 1, the monitored person monitoring support system MS is installed in a building of a nursing care facility having a plurality of rooms RM in which a plurality of monitored persons Ob reside and a plurality of rooms such as a nurse station. .
センサ装置SUは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能等を備え、被監視者Obにおける所定の行動を前記所定のイベントの一例として検知してその検知結果を管理サーバ装置SVへ送信し、ナースコールを受け付けて前記所定のイベントの他の一例として検知してその旨を管理サーバ装置SVへ送信し、端末装置SP、TAとの間で音声通話を行い、そして、動画を含む画像を生成して端末装置SP、TAへ動画を配信する装置である。 The sensor device SU has a communication function or the like to communicate with other devices SV, SP, and TA via the network NW, detects a predetermined action of the monitored person Ob as an example of the predetermined event, and outputs the detection result. transmits to the management server device SV, receives a nurse call, detects it as another example of the predetermined event, transmits that effect to the management server device SV, performs a voice call between the terminal devices SP and TA, It is a device that generates an image including a moving image and distributes the moving image to the terminal devices SP and TA.
図1には、一例として、3個の第1ないし第3センサ装置SU-1~SU-3が示されており、第1センサ装置SU-1は、被監視者Obの一人であるAさんOb-1の居室RM-1(不図示)に配設され、第2センサ装置SU-2は、被監視者Obの一人であるBさんOb-2の居室RM-2(不図示)に配設され、第3センサ装置SU-3は、被監視者Obの一人であるCさんOb-3および被監視者Obの一人であるDさんOb-4の居室RM-3(不図示)に配設されている。すなわち、本実施形態では、第1センサ装置SU-1は、1対1で被監視者のAさんOb-1を監視し、第2センサ装置SU-2は、1対1で被監視者のBさんOb-2を監視し、第3センサ装置SU-3は、1対多で被監視者のCさんOb-3およびDさんOb-4を監視している。 As an example, FIG. 1 shows three first to third sensor units SU-1 to SU-3. The second sensor unit SU-2 is arranged in the room RM-1 (not shown) of Ob-1, and the second sensor unit SU-2 is arranged in the room RM-2 (not shown) of Mr. B Ob-2, who is one of the monitored persons Ob. The third sensor unit SU-3 is arranged in a living room RM-3 (not shown) of Mr. C Ob-3 who is one of the monitored persons Ob and Mr. D Ob-4 who is one of the monitored persons Ob. is set. That is, in the present embodiment, the first sensor device SU-1 monitors Mr. A Ob-1 of the monitored person on a one-to-one basis, and the second sensor device SU-2 monitors the monitored person on a one-to-one basis. Mr. B Ob-2 is monitored, and the third sensor unit SU-3 monitors Mr. C Ob-3 and Mr. D Ob-4 on a one-to-many basis.
このようなセンサ装置SUは、例えば、図2に示すように、撮像部11と、音入出力部12と、ナースコール受付操作部13と、センサ側制御処理部(SU制御処理部)14と、センサ側通信インターフェース部(SU通信IF部)15と、センサ側記憶部(SU記憶部)16とを備える。
For example, as shown in FIG. 2, such a sensor device SU includes an
撮像部11は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、画像(画像データ)を生成する装置である。前記画像には、静止画(静止画データ)および動画(動画データ)が含まれる。撮像部11は、監視すべき監視対象である被監視者Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室(部屋)RM)を監視可能に配置され、前記所在空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像(画像データ)を生成し、前記撮像対象の画像(対象画像)をSU制御処理部14へ出力する。好ましくは、センサ装置SUが1対1で被監視者Obを監視する場合、監視対象の被監視者Ob全体を撮像できる蓋然性が高いことから、撮像部11は、被監視者Obが横臥する寝具(例えばベッド等)における、被監視者Obの頭部が位置すると予定されている予め設定された頭部予定位置(通常、枕の配設位置)の直上から撮像対象を撮像できるように配設される。また好ましくは、センサ装置SUが1対多で複数の被監視者Obを監視する場合、監視対象の複数の被監視者Ob全体を撮像できる蓋然性が高いことから、撮像部11は、居室(部屋)RM全体を上方から下方へ撮像対象を撮像できるように、例えば天井面上の略中央位置、あるいは、互いに隣接する2側壁面および天井面から成るコーナ位置等に配設される。センサ装置SUは、この撮像部11によって、被監視者Obを、被監視者Obの上方から撮像した画像、好ましくは前記頭部予定位置の直上から前記撮像対象を俯瞰した画像、また好ましくは斜め上方から前記撮像対象を俯瞰した画像を取得する。
The
そして、本実施形態では、後述するように、第1および第2アルゴリズムで被監視者Obにおける所定の行動を撮像部11で生成した画像に基づいて検知するために、撮像部11は、互いに異なる複数の解像度で前記画像を生成できるように構成されている。例えば、撮像部11は、第1解像度で画像を生成し、前記第1解像度の画像から画素を間引くことによって前記第1解像度より低解像度の第2解像度の画像を生成する。また例えば、撮像部11は、第2解像度で画像を生成し、前記第2解像度の画像から画素を補間することによって前記第2解像度より高解像度の第1解像度の画像を生成する。また例えば、撮像部11は、第2解像度で時系列な複数の画像を生成し、前記第2解像度での複数の画像から高解像度化処理(超解像技術)によって前記第2解像度より高解像度の第1解像度の1つの画像を生成する。
In this embodiment, as will be described later, the
このような撮像部11は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Obを監視できるように、本実施形態では、赤外線の画像を生成する装置である。このような撮像部11は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するエリアイメージセンサ、および、エリアイメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データを生成する画像処理部等を備えるデジタル赤外線カメラである。撮像部11の前記結像光学系は、本実施形態では、その配設された居室RM全体を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。
Such an
音入出力部12は、音を入出力する回路である。すなわち、音入出力部12は、SU制御処理部14に接続され、SU制御処理部14の制御に従って音を表す電気信号に応じた音を生成して出力するための回路であって、外部の音を取得してセンサ装置SUに入力するための回路である。音入出力部12は、例えば、音の電気信号(音データ)を音の機械振動信号(音響信号)に変換するスピーカ等と、可聴領域の音の機械振動信号を電気信号に変換するマイクロフォン等とを備えて構成される。音入出力部12は、外部の音を表す電気信号をSU制御処理部14へ出力し、また、SU制御処理部14から入力された電気信号を音の機械振動信号に変換して出力する。
The sound input/
ナースコール受付操作部13は、SU制御処理部14に接続され、ナースコールを当該センサ装置SUに入力するための例えば押しボタン式スイッチ等のスイッチ回路である。なお、ナースコール受付操作部13は、有線でSU制御処理部14に接続されて良く、また、例えばBluetooth(登録商標)規格等の近距離無線通信でSU制御処理部14に接続されて良い。
The nurse call
SU通信IF部15は、SU制御処理部14に接続され、SU制御処理部14の制御に従って通信を行うための通信回路である。SU通信IF部15は、SU制御処理部14から入力された転送すべきデータを収容した通信信号を、この被監視者監視システムMSのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。SU通信IF部15は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをSU制御処理部14が処理可能な形式のデータに変換してSU制御処理部14へ出力する。SU通信IF部15は、例えば、IEEE802.11規格等に従った通信インターフェース回路を備えて構成される。
The SU communication IF
SU記憶部16は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、センサ装置SUの各部11~13、15、16を当該各部の機能に応じてそれぞれ制御するSU制御プログラムや、被監視者Obに対する監視に関する所定の情報処理を実行するSU監視処理プログラム等の制御処理プログラムが含まれる。前記SU監視処理プログラムには、被監視者Obにおける所定の行動を前記所定のイベントの一例として第1アルゴリズムで、撮像部11で生成された画像に基づいて検知してその検知結果を管理サーバ装置SVを介して所定の端末装置SP、TAへ通知する第1検知処理プログラムや、前記第1検知処理プログラムで前記所定の行動を検知しなかった場合に、前記所定の行動を前記所定のイベントの一例として検知する、前記第1アルゴリズムと異なる第2アルゴリズムで、撮像部11で生成された画像に基づいて前記所定の行動を検知する必要性を判定する必要性判定プログラムと、前記必要性判定プログラムで前記所定の行動の検知が必要であると判定された場合に、前記所定の行動を前記所定のイベントの一例として検知させるために撮像部11で生成された画像を管理サーバ装置SVへ送信する画像送信プログラムと、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として管理サーバ装置SVへ通知し、音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うナースコール処理プログラムや、撮像部11で生成した動画を、その動画を要求した端末装置SP、TAへストリーミングで配信するストリーミング処理プログラム等が含まれる。前記各種の所定のデータには、自機の、センサ装置SUを特定し識別するための識別子であるセンサ装置識別子(センサID)、および、管理サーバ装置SVの通信アドレス等の、各プログラムを実行する上で必要なデータ等が含まれる。SU記憶部16は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、SU記憶部16は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるSU制御処理部14のワーキングメモリとなるRAM(Random Access Memory)等を含む。
The
SU制御処理部14は、センサ装置SUの各部11~13、15、16を当該各部の機能に応じてそれぞれ制御し、被監視者Obに関わる所定のイベント(事象)を、管理サーバ装置SVへ通知するための回路である。より具体的には、本実施形態では、SU制御処理部14は、被監視者Obにおける所定の行動を前記所定のイベントの一例として第1アルゴリズムで、撮像部11で生成された画像に基づいて検知してその検知結果を管理サーバ装置SVへ通知(報知、送信)し、前記第1アルゴリズムで前記所定の行動を検知しなかった場合に、前記所定の行動を前記所定のイベントの一例として検知する、前記第1アルゴリズムと異なる第2アルゴリズムで、撮像部11で生成された画像に基づいて前記所定の行動を検知する必要性を判定し、その結果、前記所定の行動の検知が必要であると判定された場合に、前記所定の行動を前記所定のイベントの一例として検知させるために撮像部11で生成された画像を管理サーバ装置SVへ送信し、ナースコールを受け付けてそのナースコールを前記所定のイベントの他の一例として管理サーバ装置SVへ通知(報知、送信)し、端末装置SP、TAとの間で音声通話を行い、動画を含む画像を生成して端末装置SP、TAへ動画を配信する。SU制御処理部14は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。SU制御処理部14は、前記制御処理プログラムが実行されることによって、センサ側制御部(SU制御部)141、センサ側検知処理部(SU検知処理部)142、必要性判定部143、画像送信部144、ナースコール処理部145およびストリーミング処理部146を機能的に備える。
The SU
SU制御部141は、センサ装置SUの各部を当該各部の機能に応じてそれぞれ制御し、センサ装置SUの全体制御を司るものである。
The
SU検知処理部142は、被監視者Obにおける、予め設定された所定の行動を、前記所定のイベントの一例として第1アルゴリズムで、撮像部11で生成された画像に基づいて検知してその検知結果を管理サーバ装置SVへ通知するものである。より具体的には、本実施形態では、前記所定のイベントに一例として含まれる前記所定の行動は、例えば、被監視者Obが起きた起床、被監視者Obが寝具から離れた離床、被監視者Obが寝具から落ちた転落、被監視者Obが倒れた転倒、および、被監視者Obが苦しんで手足を動かしてもがくもがきの5つの行動である。そして、本実施形態では、前記起床、離床、転落および転倒は、第1アルゴリズムで検知され、前記もがきは、第2アルゴリズムで検知される。例えば、SU検知処理部142は、前記第1アルゴリズムとして、撮像部11で撮像した対象画像に基づいて被監視者Obの頭部を検出し、この検出した被監視者Obの頭部における大きさの時間変化に基づいて被監視者Obの起床、離床、転倒および転落を検知する。より詳しくは、まず、寝具BDの所在領域、および、第1ないし第3閾値Th1~Th3が前記各種の所定のデータの1つとして予めSU記憶部16に記憶される。前記第1閾値Th1は、寝具BDの所在領域内における横臥姿勢の頭部の大きさと座位姿勢の頭部の大きさとを識別するための閾値である。前記第2閾値Th2は、寝具BDの所在領域を除く居室RM内における立位姿勢の頭部の大きさであるか否かを識別するための閾値である。前記第3閾値Th3は、寝具BDの所在領域を除く居室RM内における横臥姿勢の頭部の大きさであるか否かを識別するための閾値である。そして、SU検知処理部142は、対象画像から例えば背景差分法やフレーム差分法によって被監視者Obの人物の領域として動体領域を抽出し、この抽出した動体領域から、例えば円形や楕円形のハフ変換によって、また例えば予め用意された頭部のモデルを用いたパターンマッチングによって、また例えば頭部検出用に学習したニューラルネットワークによって、被監視者Obの頭部領域を抽出し、この抽出した頭部の位置および大きさから起床、離床、転倒および転落を検知する。例えば、SU検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域内であって、前記抽出した頭部の大きさが前記第1閾値Th1を用いることによって横臥姿勢の大きさから座位姿勢の大きさへ時間変化した場合には、起床と判定し、前記起床を検知する。例えば、SU検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域内から寝具の所在領域外へ時間変化した場合であって、前記抽出した頭部の大きさが前記第2閾値Th2を用いることによって或る大きさから立位姿勢の大きさへ時間変化した場合には、離床と判定し、前記離床を検知する。例えば、SU検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域内から寝具BDの所在領域外へ変化した場合であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転落と判定し、前記転落を検知する。例えば、SU検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域を除く居室RM内であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転倒と判定し、前記転倒を検知する。
The SU
なお、センサ装置SUが1対多で複数の被監視者Obを監視する場合には、SU検知処理部142は、対象画像から背景差分法によって複数の被監視者Obにおける人物の各領域として複数の動体領域を抽出し、複数の動体領域それぞれにラベル(識別符号)をそれぞれ付ける。SU検知処理部142は、対象画像から背景差分法によって動体領域を抽出するたびに、対象画像上で最も近い位置同士の動体領域に同一のラベルを付ける。そして、SU検知処理部142は、ラベル付けされた各動体領域それぞれに対し、上述の各処理を実施し、前記起床、離床、転落および転倒を検知する。
When the sensor unit SU monitors a plurality of monitored persons Ob in a one-to-many manner, the SU
このように前記所定の行動を検知すると、SU検知処理部142は、被監視者Obに関わる所定のイベント(事象)の内容を表すイベント情報(事象情報)を収容した、前記イベントを通知するための第1イベント通知通信信号をSU通信IF部15で管理サーバ装置SVへ通知する。より詳しくは、SU検知処理部142は、自機のセンサID、前記イベントの内容を表すイベント情報、前記所定の行動の検知に用いられた対象画像を収容した通信信号(第1イベント通知通信信号)を、SU通信IF部15を介して管理サーバ装置SVへ送信する。前記イベント情報は、本実施形態では、起床、離床、転落、転倒およびナースコール(NC)のうちの1または複数であり、ここでは、SU検知処理部142は、検知した起床、離床、転落および転倒のうちの1または複数を前記イベント情報として第1イベント通知通信信号に収容する。前記画像は、静止画および動画のうちの少なくとも一方であって良く、本実施形態では、後述するように、まず、静止画が報知され、ユーザの要求に応じて動画が配信される。なお、まず、動画が配信されても良く、また、静止画および動画が送信され、画面分割で静止画および動画が端末装置SP、TAに表示されても良い。
When the predetermined behavior is detected in this way, the SU
必要性判定部143は、SU検知処理部142で前記所定の行動を前記所定のイベントの一例として検知しなかった場合に、被監視者Obにおける所定の行動を前記所定のイベントの一例として検知する、前記第1アルゴリズムと異なる第2アルゴリズムで、撮像部11で生成された画像に基づいて前記所定の行動を検知する必要性を判定するものである。より具体的には、必要性判定部143は、被監視者Obに前記所定のイベントが生じていると判定される第1条件を満たさないが、被監視者Obに前記所定のイベントが生じていないと判定される第2条件も満たさない第3条件を満たすか否かによって、前記所定のイベントを検知する必要性を判定する。本実施形態では、前記所定のイベントの一例として前記所定の行動が挙げられているので、必要性判定部143は、被監視者Obに前記所定の行動のうちの転落および転倒が生じていると判定される第1条件を満たさないが、被監視者Obに前記転落および転倒が生じていないと判定される第2条件も満たさない第3条件を満たすか否かによって、前記所定の行動のうちのもがきを検知する必要性を判定する。より詳しくは、まず、転落の判定に用いられる前記時間変化に対し、転落であるか否かを判定するための閾値(転落判定時間閾値)と、もがきの検知の必要性を判定するための閾値(第1必要性判定閾値)が設定され、転倒の判定に用いられる前記時間変化に対し、転落であるか否かを判定するための閾値(転倒判定時間閾値)と、もがきの検知の必要性を判定するための閾値(第2必要性判定閾値)が設定される。前記転落判定時間閾値および前記第1必要性判定閾値は、複数のサンプルから予め適宜に設定され、前記転落判定時間閾値は、前記第1必要性判定閾値より小さい値に設定される((前記転落判定時間閾値)<(前記第1必要性判定閾値))。前記転倒判定時間閾値および前記第2必要性判定閾値は、複数のサンプルから予め適宜に設定され、前記転倒判定時間閾値は、前記第2必要性判定閾値より小さい値に設定される((前記転倒判定時間閾値)<(前記第2必要性判定閾値))。したがって、SU検知処理部142は、前記抽出した頭部の位置が寝具BDの所在領域内から寝具BDの所在領域外へ変化した場合であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ変化するまでの時間(第1変化時間)が前記転落判定時間閾値以下である場合には、転落と判定し、前記転落を検知する。必要性判定部143は、前記第1変化時間が前記転落判定時間閾値より大きい(長い)場合であって、前記第1変化時間が前記第1必要性判定閾値以下である場合に、もがきの検知の必要性があると判定する。SU検知処理部142は、前記抽出した頭部の位置が寝具BDの所在領域を除く居室RM内であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ変化するまでの時間(第2変化時間)が前記転倒判定時間閾値以下である場合には、転倒と判定し、前記転倒を検知する。必要性判定部143は、前記第2変化時間が前記転倒判定時間閾値より大きい場合であって、前記第2変化時間が前記第2必要性判定閾値以下である場合に、もがきの検知の必要性があると判定する。そして、必要性判定部143は、前記第1変化時間が前記第1必要性判定閾値より大きい(長い)場合、および、前記第2変化時間が前記第2必要性判定閾値より大きい場合等の、もがきの検知の必要性がある場合を除く他の場合に、もがきの検知の必要性がないと判定する。
The
画像送信部144は、必要性判定部143で前記所定の行動(本実施形態ではもがき)の検知が必要であると判定された場合に、前記所定の行動を前記所定のイベントの一例として他の装置(本実施形態では管理サーバ装置SV)に検知させるために撮像部11で生成された画像を管理サーバ装置SVへ送信する。より具体的には、画像送信部144は、必要性判定部143で前記所定の行動の検知が必要であると判定された場合に、自機のセンサID、前記所定の行動を検知させる命令(指令)を表す情報、および、撮像部11で生成された画像を収容する通信信号(検知依頼通信信号)を生成し、前記生成した検知依頼通信信号を管理サーバ装置SVへ送信する。この検知依頼通信信号に収容される前記画像は、前記第2アルゴリズムでより詳細な解析処理を管理サーバ装置SVで実施するために、前記第1アルゴリズムで前記所定のイベントの一例として前記所定の行動の検知に用いられる画像の解像度よりも高い解像度の画像である。このため、画像送信部144は、必要性判定部143で前記所定の行動の検知が必要であると判定された場合に、前記第1アルゴリズムで前記所定の行動の検知に用いられる画像の解像度よりも高い解像度の画像を撮像部11に生成させる。そして、前記検知依頼通信信号に収容される前記画像は、静止画であって良いが、本実施形態では、管理サーバ装置SVにもがきを検知させるので、前記検知依頼通信信号に収容される前記画像は、所定の時間長の動画である。前記所定の時間長は、前記もがきの検知に必要な時間で適宜に予め設定され、例えば、3秒、5秒、10秒および15秒等の数秒から十数秒である。
When the
ナースコール処理部145は、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として収容した第1イベント通知通信信号を管理サーバ装置SVへ通知し、音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うものである。より具体的には、ナースコール処理部143は、ナースコール受付操作部13が入力操作されると、自機のセンサIDおよび前記イベント情報としてナースコールを収容した第1イベント通知通信信号をSU通信IF部15を介して管理サーバ装置SVへ送信する。そして、ナースコール処理部143は、音入出力部12等を用い、端末装置SP、TAとの間で例えばVoIP(Voice over Internet Protocol)によって音声通話を行う。
When the nurse call
ストリーミング処理部146は、通信IF部3を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、撮像部11で生成した動画(例えばライブの動画)をストリーミング再生でSU通信IF部15を介して配信するものである。
When a video distribution request is received from the fixed terminal SP or the mobile terminal TA via the communication IF
管理サーバ装置SVは、ネットワークNWを介して他の装置SU、TA、SPと通信する通信機能を備え、センサ装置SUから前記所定のイベントの通知を受けると、被監視者Obに対する監視に関する情報(監視情報(本実施形態では例えば前記所定のイベント(センサ装置SUで検知した所定の行動の種類やセンサ装置SUで受け付けたナースコール)、被監視者Obの画像(静止画および動画)、および、前記通知を受けた時刻等))を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知(再通知、再報知、送信)し、クライアント(本実施形態では端末装置SP、TA等)の要求に応じたデータを前記クライアントに提供し、被監視者監視システムMS全体を管理する装置である。そして、本実施形態では、管理サーバ装置SVは、前記所定のイベントを検知させるために画像をセンサ装置SUから受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知し、前記所定のイベントを検知した場合に、前記検知した所定のイベントを前記監視情報として管理し、前記検知した所定のイベントを、前記所定のイベントを検知させるために画像を送信した前記センサ装置SUで検知されたイベントの通知を受ける端末装置SP、TAへ通知する。このような管理サーバ装置SVは、例えば、図3に示すように、サーバ側通信インターフェース部(SV通信IF部)21と、サーバ側制御処理部(SV制御処理部)22と、サーバ側記憶部(SV記憶部)23とを備える。 The management server device SV has a communication function to communicate with other devices SU, TA, and SP via the network NW, and upon receiving notification of the predetermined event from the sensor device SU, information ( Monitoring information (in this embodiment, for example, the predetermined event (type of predetermined action detected by the sensor device SU, nurse call received by the sensor device SU), image (still image and moving image) of the monitored person Ob, and time of receiving the notification, etc.)), notifies (re-notify, re-notify, or transmits) the predetermined event to predetermined terminal devices SP and TA, and clients (terminal devices SP, TA, etc. in this embodiment). ) to the client, and manages the monitored person monitoring system MS as a whole. Then, in this embodiment, when the management server device SV receives an image from the sensor device SU for detecting the predetermined event, the management server device SV detects the predetermined event based on the received image, and detects the predetermined event. when the event is detected, the detected predetermined event is managed as the monitoring information, and the detected predetermined event is detected by the sensor device SU which transmitted an image for detecting the predetermined event. Notifies the terminal devices SP and TA that receive notification of the event. Such a management server device SV includes, for example, a server-side communication interface unit (SV communication IF unit) 21, a server-side control processing unit (SV control processing unit) 22, and a server-side storage unit, as shown in FIG. (SV storage unit) 23 .
SV通信IF部21は、SU通信IF部15と同様に、SV制御処理部22に接続され、SV制御処理部22の制御に従って通信を行うための通信回路である。SV通信IF部21は、例えば、IEEE802.11規格等に従った通信インターフェース回路を備えて構成される。
The SV communication IF
SV記憶部23は、SV制御処理部22に接続され、SV制御処理部22の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、管理サーバ装置SVの各部21、23を当該各部の機能に応じてそれぞれ制御するSV制御プログラムや、被監視者Obに対する監視に関する所定の情報処理を実行するSV監視処理プログラム等の制御処理プログラムが含まれる。前記SV監視処理プログラムには、センサ装置SUから前記所定のイベントの通知を受信すると被監視者Obに対する監視に関する監視情報を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知する監視処理プログラムや、前記所定のイベントを検知させるために画像をセンサ装置SUから受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知するSV検知処理プログラムや、前記SV検知処理プログラムで前記所定のイベントを検知した場合に、前記検知した所定のイベントを、前記所定のイベントを検知させるために画像を送信した前記センサ装置SUで検知されたイベントの通知を受ける端末装置SP、TAへ通知する通知処理プログラム等が含まれる。前記各種の所定のデータには、自機の、管理サーバ装置SVを特定し管理サーバ装置SVを識別するためのサーバ識別子(サーバID)や、被監視者Obの前記監視情報や、前記所定のイベントの通知先等の装置SU、SP、TA間の情報を表す装置間情報や、センサ装置SUに関するセンサ情報等の各プログラムを実行する上で必要なデータ等が含まれる。これら監視情報、装置間情報およびセンサ情報それぞれを記憶するために、SV記憶部23は、監視情報記憶部231、装置間情報記憶部232およびセンサ情報記憶部233を機能的に備える。
The
監視情報記憶部231は、各装置SU、SP、TAそれぞれとの間で送受信した被監視者Obの監視情報を記憶するものである。より具体的には、監視情報記憶部231には、本実施形態では、前記監視情報として、第1イベント通知通信信号および検知依頼通信信号等の通信信号に収容された各情報に基づいて、センサID、イベント情報(事象情報、本実施形態では起床、離床、転落、転倒、もがきおよびナースコール)、受信時刻、対象画像(静止画および動画)および対処の有無(対応の受付の有無)が互いに対応付けて記憶される。
The monitoring
この監視情報は、本実施形態では、テーブル形式で監視情報記憶部321に記憶されている。この監視情報を登録する監視情報テーブルMTは、例えば、図4に示すように、各装置SU、SP、TAから受信した通信信号に収容されたセンサIDを登録するセンサIDフィールド2311と、前記受信した通信信号に収容されたイベント情報または前記受信した通信信号に収容された画像に基づいて後述のように第2アルゴリズムで検知されたイベントを登録するイベントフィールド(イベントフィールド)2312と、前記受信した通信信号の受信時刻を登録する受信時刻フィールド2313と、前記受信した通信信号に収容された前記静止画または前記受信した通信信号に収容された画像に基づく静止画を登録する静止画フィールド2314と、ライブ動画の取得先として、前記受信した通信信号に収容されたセンサIDに対応するセンサ装置SUの通信アドレス(例えばIPアドレス等)を登録する動画フィールド2315と、前記受信した通信信号に収容されたイベント情報に対する対応の受付の有無を登録する対応フィールド2316とを備え、前記受信した通信信号ごと(各イベントごと)にレコードを備える。静止画フィールド2314には、例えば、静止画の画像データが登録されて良く、また例えば、静止画の画像データのファイル名が登録されて良い。対応フィールド2316には、前記受信した通信信号に収容されたイベント情報に対する対処(対応、処置、措置)する意思がある旨(“対応する”)を端末装置SP、TAで受け付けたか否かを表すフラグ(対応フラグ)が登録される。例えば、本実施形態では、対応フィールド2316には、前記受信した通信信号に収容されたイベント情報(イベントフィールド2312に登録されたイベント情報)に対処する意思がある旨(“対応する”)を端末装置SP、TAで受け付けたことを意味する対応フラグ「1」、あるいは、前記受信した通信信号に収容されたイベント情報に対処する意思がある旨(“対応する”)を端末装置SP、TAで受け付けていないことを意味する対応フラグ「0」が登録される。なお、デフォルトでは、対応フィールド2316には、未受付を意味する対応フラグ「0」が登録される。なお、第1イベント通知通信信号に、前記所定の行動を検知した検知時刻または前記ナースコールを受け付けたナースコール受付時刻が収容されている場合には、受信時刻に代え、前記検知時刻または前記ナースコール受付時刻が登録されても良い。
This monitoring information is stored in the monitoring information storage unit 321 in the form of a table in this embodiment. For example, as shown in FIG. 4, the monitoring information table MT for registering this monitoring information includes a
装置間情報記憶部232は、前記装置間情報として、本実施形態では、通知先対応関係および通信アドレス対応関係等を記憶するものである。前記通知先対応関係は、センサ装置SUから送信された第1イベント通知通信信号に収容された前記所定のイベント、および、検知依頼通信信号に収容された画像に基づいて検知された前記所定のイベント等の通知先(再通知先、再報知先、送信先)を示す、送信元であるセンサIDと通知先(再通知先)である端末IDとの対応関係である。前記端末IDは、端末装置SP、TAを特定し端末装置SP、TAを識別するための端末識別子である。前記通信アドレス対応関係は、各装置SU、SP、TAのID(センサID、端末ID)とその通信アドレスとの対応関係である。
The inter-device
これら通知先対応関係および通信アドレス対応関係は、それぞれ、本実施形態では、テーブル形式で装置間情報記憶部232に記憶されている。この通知先対応関係を登録する通知先対応関係情報テーブルATは、例えば、図5Aに示すように、送信元のセンサ装置SUのセンサIDを登録する送信元フィールド2321と、送信元フィールド2321に登録されたセンサIDに対応するセンサ装置SUから通知された通信信号による前記所定のイベントを通知する通知先の端末装置SP、TAにおける端末IDを登録する通知先フィールド2322とを備え、センサID(センサ装置SU)ごとにレコードを備える。前記通信アドレス対応関係を登録する通信アドレス対応関係情報テーブルDTは、例えば、図5Bに示すように、端末装置SP、TAの端末IDを登録する端末IDフィールド2323と、端末IDフィールド2323に登録された端末IDに対応する端末装置SP、TAの通信アドレスを登録する通信アドレスフィールド2324とを備え、端末ID(端末装置SP、TA)ごとにレコードを備える。
These notification destination correspondence and communication address correspondence are respectively stored in the inter-device
なお、センサID、サーバIDおよび端末IDそれぞれは、例えば所定の記号列から成るシリアル番号等であって良く、また例えば通信アドレスであって良い(この場合通信アドレス対応関係は省略できる)。 Each of the sensor ID, server ID, and terminal ID may be, for example, a serial number or the like consisting of a predetermined symbol string, or may be, for example, a communication address (in this case, communication address correspondence can be omitted).
センサ情報記憶部233は、前記センサ情報を記憶するものである。本実施形態では、前記センサ情報は、センサ装置SUに関する情報であり、センサ装置SUのセンサIDと被監視者Obの被監視者名とを互いに対応付けた情報である。
The sensor
このようなセンサ情報は、本実施形態では、テーブル形式でセンサ情報記憶部233に記憶される。より具体的には、センサ情報を登録するセンサ情報テーブルSTは、例えば、図6に示すように、センサIDを登録するセンサIDフィールド2331と、前記センサIDフィールド2331に登録されているセンサIDを持つセンサ装置SUの配設場所を登録する配設場所フィールド2332と、前記センサIDフィールド2331に登録されているセンサIDを持つセンサ装置SUによって監視される被監視者Ob(すなわち、前記センサIDフィールド2331に登録されているセンサIDを持つセンサ装置SUの配設場所に居る被監視者Ob)の被監視者名を登録する被監視者名フィールド2333と、前記センサIDフィールド2331に登録されているセンサIDを持つセンサ装置SU、その配設場所およびその被監視者Obに関する備考を登録する備考フィールド2334とを備え、センサID(すなわち、センサ装置SU)ごとにレコードを持つ。被監視者名フィールド2333には、センサ装置SUが1対1で被監視者Obを監視する場合、1つの被監視者名が登録され、センサ装置SUが1対多で複数の被監視者Obを監視する場合、複数の被監視者名が登録される。
Such sensor information is stored in the sensor
SV制御処理部22は、管理サーバ装置SVの各部21、23を当該各部の機能に応じてそれぞれ制御し、センサ装置SUから前記所定のイベントの通知を受けると、被監視者Obに対する監視に関する監視情報を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知し、クライアントの要求に応じたデータを前記クライアントに提供し、被監視者監視支援システムMS全体を管理するための回路である。そして、本実施形態では、SV制御処理部22は、前記所定のイベントを検知させるために画像をセンサ装置SUから受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知し、前記所定のイベントを検知した場合に、前記検知した所定のイベントを前記監視情報として管理し、前記検知した所定のイベントを、前記所定のイベントを検知させるために画像を送信した前記センサ装置SUで検知されたイベントの通知を受ける端末装置SP、TAへ通知する。前記所定のイベントは、上述のように、本実施形態では前記センサ装置SUから受信した画像に基づいて第2アルゴリズムで検知されるもがきである。SV制御処理部22は、例えば、CPUおよびその周辺回路を備えて構成される。SV制御処理部22は、前記制御処理プログラムが実行されることによって、サーバ側制御部(SV制御部)221、監視処理部222、サーバ側検知処理部223(SV検知処理部)223および通知処理部224を機能的に備える。
The SV
SV制御部221は、管理サーバ装置SVの各部21、23を当該各部の機能に応じてそれぞれ制御し、管理サーバ装置SVの全体制御を司るものである。
The
監視処理部222は、センサ装置SUから前記所定のイベントの通知を受信すると被監視者Obに対する監視に関する監視情報を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知するものである。より具体的には、監視処理部222は、センサ装置SUから前記第1イベント通知通信信号を受信すると、この受信した第1イベント通知通信信号に収容された、被監視者Obに対する監視に関する監視情報を監視情報記憶部231に記憶(記録)する。監視処理部222は、この受信した第1イベント通知通信信号を送信したセンサ装置SUに対応する通知先(再通知先、転送先、送信先)を、装置間情報記憶部232に記憶された前記通知先対応関係から選定(検索)し、この選定結果に基づいて第2イベント通知通信信号を生成し、この生成した第2イベント通知通信信号をSV通信IF部21で送信する。この通知先の端末装置SP、TAの選定(検索処理)は、前記受信した第1イベント通知通信信号を送信したセンサ装置SUに対応するセンサID(前記第1イベント通知通信信号に収容されたセンサID)に基づいて実施される。前記第1イベント通知通信信号に収容されたイベント情報が前記所定の行動(起床、離床、転落および転倒のうちの1または複数)である場合には、前記第2イベント通知通信信号には、第1イベント通知通信信号に収容されたセンサID、イベント情報および対象画像、ならびに、動画のダウンロード先として、第1イベント通知通信信号に収容されたセンサIDを持つセンサ装置SUに対応する通信アドレスが収容される。この通信アドレスは、前記受信した第1イベント通知通信信号を送信したセンサ装置SUに対応するセンサIDに基づいて通信アドレス対応関係から選定(検索)される。前記第1イベント通知通信信号に収容されたイベント情報が前記ナースコールである場合には、前記第2イベント通知通信信号には、第1イベント通知通信信号に収容されたセンサIDおよびイベント情報が収容される。
The
SV検知処理部223は、前記所定のイベントを検知させるために画像をセンサ装置SUから受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知するものである。より具体的には、SV検知処理部223は、センサ装置SUから検知依頼通信信号を受信した場合に、この検知依頼通信信号に収容された画像に基づいて第2アルゴリズムで前記所定の行動(本実施形態ではもがき)を前記所定のイベントの一例として検知する。
The SV
本実施形態では、もがきは、時系列な複数の静止画において、被監視者Obの体幹が略定位置であって前記被監視者Obの体幹を中心に被監視者Obが略周期的に繰り返し移動(振動)しているか否かによって検知される。より詳しくは、SV検知処理部223は、検知依頼通信信号に収容された所定の時間長の動画における各フレームそれぞれについて、第2アルゴリズムとして、次のように各処理を実施することによって、もがきの有無を判定する。まず、SV検知処理部223は、フレームの画像から例えば背景差分法によって被監視者Obの人物領域を抽出する。次に、SV検知処理部223は、この抽出した人物領域における中心位置および輪郭それぞれを検出する。例えば、SV検知処理部223は、人物領域に外接する外接円を求め、この求めた外接円の中心を人物領域の中心位置として求める。また例えば、SV検知処理部223は、人物領域に外接する外接矩形を求め、この求めた外接矩形における対角線の交点を人物領域の中心位置として求める。一方、例えば、SV検知処理部223は、人物領域のエッジをエッジフィルタによって人物領域の輪郭として求める。そして、SV検知処理部223は、これら各フレームにおける各人物領域の各中心位置および各人物領域の各輪郭に基づいて被監視者Obのもがきの有無を判定する。例えば、SV検知処理部223は、これら各フレームにおける各人物領域の各中心位置が、前記各中心位置の平均位置に対し予め設定された所定の範囲内に存在する場合であって、これら各フレームにおける各人物領域の各輪郭の動きが略周期的に繰り返し移動(振動)している場合に、被監視者Obがもがいていると判定し、前記もがきを検知し、この場合を除く他の場合に、被監視者Obがもがいていないと判定する。
In this embodiment, the struggle is performed in a plurality of time-series still images, in which the trunk of the monitored person Ob is at a substantially fixed position, and the monitored person Ob is at a substantially periodic position centered on the trunk of the monitored person Ob. It is detected by whether it moves (vibrates) repeatedly. More specifically, the SV
第2アルゴリズムの情報処理時間は、同性能の情報処理装置で情報処理した場合に、第1アルゴリズムの情報処理時間よりも長い。特に、上述のように、前記被監視者Obの体幹を中心に被監視者Obが略周期的に繰り返し移動(振動)しているか否かによってもがきを検知する場合、所定時間長の動画を解析する必要があるため、第2アルゴリズムの情報処理時間は、同性能の情報処理装置で情報処理した場合に、第1アルゴリズムの情報処理時間よりも長くなる。一方、管理サーバ装置SVは、コスト的に、センサ装置SUの情報処理部品よりも高性能な情報処理部品を用いることが可能であるため、あるいは、情報処理量的に、センサ装置SUの情報処理部品よりも高性能な情報処理部品を用いることが必要であるため、第2アルゴリズムの情報処理時間の短縮化が可能となる。 The information processing time of the second algorithm is longer than the information processing time of the first algorithm when information processing is performed by an information processing apparatus having the same performance. In particular, as described above, when detecting a struggle based on whether or not the monitored person Ob is repeatedly moving (vibrating) approximately periodically around the body trunk of the monitored person Ob, a moving image of a predetermined length of time is generated. Since the analysis is necessary, the information processing time of the second algorithm is longer than that of the first algorithm when information processing is performed by an information processing apparatus having the same performance. On the other hand, the management server device SV can use information processing components with higher performance than the information processing components of the sensor device SU in terms of cost, or because the information processing components of the sensor device SU can be used in terms of the amount of information processing. Since it is necessary to use an information processing component with higher performance than the component, it is possible to shorten the information processing time of the second algorithm.
なお、センサ装置SUが1対多で複数の被監視者Obを監視する場合には、SV検知処理部223は、フレームの画像から例えば背景差分法によって被監視者Obの人物領域を抽出し、複数の人物領域それぞれにラベル(識別符号)をそれぞれ付ける。SV検知処理部223は、フレームの画像から背景差分法によって人物領域を抽出するたびに、フレームの画像上で最も近い位置同士の人物領域に同一のラベルを付ける。そして、SV検知処理部223は、ラベル付けされた各人物領域それぞれに対し、上述の各処理を実施し、前記もがきを検知する。
When the sensor unit SU monitors a plurality of monitored persons Ob in a one-to-many manner, the SV
SV検知処理部223は、前記所定のイベント(本実施形態ではもがき)を検知した場合には、この受信した検知依頼通信信号に収容されたセンサID、前記検知した所定のイベント(本実施形態ではもがき)を表すイベント情報、前記受信した検知依頼通信信号の受信時刻、前記受信した検知依頼通信信号に収容された動画のうちのいずれかのフレームの画像、前記受信した検知依頼通信信号に収容されたセンサIDを持つセンサ装置SUに対応する通信アドレス、および、対応フラグ「0」を、監視情報テーブルMTに新たに追加したレコードにおける各フィールド2311~2316に登録する。これによって、SV検知処理部223は、被監視者Obの監視情報をSV記憶部23の監視情報記憶部231に記憶して管理する。なお、この処理は、SV検知処理部223から前記所定のイベント(本実施形態ではもがき)の検知の通知を監視処理部222が受けて、SV検知処理部223に代え監視処理部222によって実施されても良い。そして、SV検知処理部223は、前記所定のイベント(本実施形態ではもがき)を検知した旨を通知処理部224へ通知する。
When the SV
通知処理部224は、SV検知処理部223で前記所定のイベント(本実施形態ではもがき)を検知した場合に、前記検知した所定のイベントを、前記所定のイベントを検知させるために画像を送信した前記センサ装置SUで検知されたイベントの通知を受ける端末装置SP、TAへ通知するものである。より具体的には、SV検知処理部223から、前記所定のイベント(本実施形態ではもがき)を検知した旨の通知を受けると、前記所定のイベント(本実施形態ではもがき)の検知に用いられた画像(本実施形態では動画)を収容した検知依頼通信信号を送信したセンサ装置SUに対応する通知先を、装置間情報記憶部232に記憶された前記通知先対応関係から選定(検索)し、この選定結果に基づいて第2イベント通知通信信号を生成し、この生成した第2イベント通知通信信号をSV通信IF部21で送信する。前記第2イベント通知通信信号には、前記検知依頼通信信号に収容されたセンサID、前記検知した所定のイベント(本実施形態ではもがき)を表すイベント情報、前記検知依頼通信信号に収容された動画のうちのいずれかのフレームの画像、ならびに、動画のダウンロード先として、前記検知依頼通信信号に収容されたセンサIDを持つセンサ装置SUに対応する通信アドレスが収容される。
When the SV
なお、管理サーバ装置SVは、図3に破線で示すように、必要に応じて、さらに、SV制御処理部22に接続され例えば各種コマンドや各種データ等を入力するサーバ側入力部(SV入力部)24、SV入力部24で入力された各種コマンドや各種データおよび被監視者Obに対する監視に関する監視情報等を出力するサーバ側出力部(SV出力部)25、および、外部機器との間でデータの入出力を行うサーバ側インターフェース部(SVIF部)26等を備えても良い。
3, the management server device SV is further connected to the SV
このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。 Such a management server device SV can be configured by, for example, a computer with a communication function.
固定端末装置SPは、ネットワークNWを介して他の装置SU、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、センサ装置SUで得られた監視情報を表示したり等することによって、被監視者監視支援システムMSのユーザインターフェース(UI)として機能する機器である。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。 The fixed terminal device SP has a communication function to communicate with other devices SU, SV, and TA via the network NW, a display function to display predetermined information, and an input function to input predetermined instructions and data. By inputting predetermined instructions and data given to the management server device SV and the portable terminal device TA, and displaying the monitoring information obtained by the sensor device SU, the user interface of the monitored person monitoring support system MS ( It is a device that functions as a UI). Such a fixed terminal device SP can be composed of, for example, a computer with a communication function.
携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUで得られた前記監視情報を表示したり、センサ装置SUとの間で音声通話によってナースコールの応答や声かけしたり等するための機器である。 The mobile terminal device TA has a communication function of communicating with other devices SV, SP, and SU via the network NW, a display function of displaying predetermined information, an input function of inputting predetermined instructions and data, and a voice call. inputting predetermined instructions and data given to the management server device SV and the sensor device SU, displaying the monitoring information obtained by the sensor device SU in response to a notification from the management server device SV, It is a device for responding to a nurse call or calling out to the sensor unit SU through voice communication.
このような携帯端末装置TAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。 Such a mobile terminal device TA can be configured by a portable communication terminal device such as a so-called tablet computer, smart phone, or mobile phone.
次に、本実施形態の動作について説明する。図7は、前記センサ装置の動作を示すフローチャートである。図8は、図7に示すフローチャートにおける検知依頼の処理の動作を示すフローチャートである。図9は、前記管理サーバ装置の動作を示すフローチャートである。図10は、図9に示すフローチャートにおける高度な行動検知の処理の動作を示すフローチャートである。 Next, the operation of this embodiment will be described. FIG. 7 is a flow chart showing the operation of the sensor device. FIG. 8 is a flow chart showing the operation of detection request processing in the flow chart shown in FIG. FIG. 9 is a flow chart showing the operation of the management server device. FIG. 10 is a flow chart showing the operation of advanced action detection processing in the flow chart shown in FIG.
上記構成の被監視者監視支援システムMSでは、各装置SU、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。センサ装置SUでは、その制御処理プログラムの実行によって、SU制御処理部14には、SU制御部141、SU検知処理部142、必要性判定部143、画像送信部144、ナースコール処理部145およびストリーミング処理部146が機能的に構成される。管理サーバ装置SVでは、その制御処理プログラムの実行によって、SV制御処理部21には、SV制御部211、監視処理部222、SV検知処理部223および通知処理部224が機能的に構成される。
In the monitored person monitoring support system MS configured as described above, each device SU, SV, SP, and TA initializes each necessary part when the power is turned on, and starts its operation. In the sensor unit SU, by executing the control processing program, the SU
まず、センサ装置SUの動作について説明する。センサ装置SUは、各フレームごとに、あるいは、数フレームおきに、次のように動作することで、被監視者Obにおける所定の動作を検知し、また、ナースコールの受付の有無を判定している。 First, the operation of the sensor device SU will be described. The sensor unit SU operates as follows for each frame or every few frames, thereby detecting a predetermined action of the person to be monitored Ob and determining whether or not a nurse call has been received. there is
図7において、まず、センサ装置SUは、SU制御処理部14のSU制御部141によって、撮像部11から1フレーム分の画像(画像データ)を前記対象画像として取得する(S11)。
In FIG. 7, first, the sensor unit SU acquires an image (image data) for one frame from the
次に、センサ装置SUは、SU制御処理部14のSU検知処理部142によって、被監視者Obにおける所定の行動を前記所定のイベントの一例として第1アルゴリズムで検知する第1検知処理を前記処理S11で取得した対象画像に基づいて実行する(S12)。より具体的には、SU検知処理部142は、第1アルゴリズムにより、起床の成否を判定し、離床の成否を判定し、転落の成否を判定し、そして、転倒の成否を判定する。
Next, the sensor unit SU causes the SU
次に、センサ装置SUは、SU検知処理部142によって、前記第1検知処理S12で被監視者Obにおける所定の行動が検知されたか否かを判定する。本実施形態では、SU検知処理部142は、前記第1検知処理S12で被監視者Obにおける起床、離床、転落および転倒のうちの少なくともいずれかが検知されたか否かを判定する。この判定の結果、前記所定の行動が検知されていない場合(No)には、センサ装置SUは、次に、処理S15を実行した後に、処理S16を実行し、一方、前記所定の行動が検知されている場合(Yes)には、センサ装置SUは、次の処理S14を実行した後に、処理S16を実行する。
Next, the sensor unit SU determines whether or not the SU
この処理S14では、処理S12および処理S13で検知した所定の行動を管理サーバ装置SVを介して所定の端末装置SP、TAへ通知するために、センサ装置SUは、SU検知処理部142によって、前記所定のイベントとして前記所定の行動の検知に関する第1イベント通知通信信号を管理サーバ装置SVへ送信する。より具体的には、SU検知処理部142は、自機のセンサID、前記所定のイベント(ここでは、起床、離床、転落および転倒のうちの1または複数)および前記対象画像を収容した第1イベント通知通信信号を、SU通信IF部15を介して管理サーバ装置SVへ送信する。
In this processing S14, the sensor device SU causes the SU
前記処理S15では、センサ装置SUは、SU制御処理部14によって、必要性に応じて、前記第1アルゴリズムと異なる第2アルゴリズムで前記所定の行動の検知を管理サーバSVに依頼する検知依頼の処理を実行する。
In the process S15, the sensor unit SU performs a detection request process for requesting the management server SV to detect the predetermined action by the SU
この検知依頼の処理では、より具体的には、図8に示す各処理が実行される。図8において、まず、センサ装置SUは、必要性判定部143によって、被監視者Obにおける所定の行動を前記所定のイベントの一例として検知する、前記第1アルゴリズムと異なる第2アルゴリズムで、撮像部11で生成された画像に基づいて前記所定の行動を検知する必要性を判定する(S151)。本実施形態では、前記第2アルゴリズムで検知される前記所定の行動は、上述したように、被監視者Obにおけるもがきである。必要性判定部143は、まず、上述のように抽出した頭部の位置が寝具BDの所在領域内から寝具BDの所在領域外へ変化した場合であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ変化するまでの第1変化時間と前記転落判定時間閾値および前記第1必要性判定閾値それぞれとを比較し、そして、前記抽出した頭部の位置が寝具BDの所在領域を除く居室RM内であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ変化するまでの第2変化時間と前記転倒判定時間閾値および前記第2必要性判定閾値それぞれとを比較する。これら比較の結果、必要性判定部143は、前記第1変化時間が前記転落判定時間閾値より大きい(長い)場合であって、前記第1変化時間が前記第1必要性判定閾値以下である場合、または、前記第2変化時間が前記転倒判定時間閾値より大きい場合であって前記第2変化時間が前記第2必要性判定閾値以下である場合、もがきの検知の必要性があると判定し(Yes)、次に、画像送信部144によって処理S152を実行し、一方、前記第1変化時間が前記第1必要性判定閾値より大きい(長い)場合、および、前記第2変化時間が前記第2必要性判定閾値より大きい場合等の、前記もがきの検知の必要性があると判定される場合を除く他の場合、もがきの検知の必要性がないと判定(No)、本処理を終了する。
More specifically, each process shown in FIG. 8 is executed in this detection request process. In FIG. 8, first, the sensor unit SU uses a second algorithm different from the first algorithm for detecting a predetermined action of the monitored person Ob as an example of the predetermined event by the
前記処理S152では、画像送信部144は、前記第1アルゴリズムで前記所定の行動の検知に用いられる画像の解像度よりも高い解像度の画像を撮像部11に生成させ、より高解像度な画像を取得する。本実施形態では、前記高解像度な画像は、動画であり、画像送信部144は、撮像部11により高解像度な所定の時間長の動画を生成させて取得する。
In the process S152, the
そして、この処理S152の次に、画像送信部144は、この高解像度な所定の時間長の動画に基づいて検知依頼通信信号を生成し、この生成した検知依頼通信信号を管理サーバ装置SVへ送信し(S153)、本処理を終了する。なお、画像送信部144は、例えば、所定の時間長の動画の生成後に1または複数の通信信号から成る検知依頼通信信号で前記動画を管理サーバ装置SVへ送信して良く、また例えば、監視の中断をより短くする観点から、所定の時間長の動画の生成中に適宜な時間間隔で生成した複数の通信信号から成る検知依頼通信信号で前記動画を管理サーバ装置SVへ送信して良い。
After processing S152, the
これら処理S152および処理S153の各処理を実行する間、被監視者Obの監視が中断する(予め設定された各フレームごとに、あるいは、数フレームおきに、図7に示す処理が実行できない)が、第2アルゴリズムで所定のイベント(本実施形態ではもがき)を検知する検知処理を実施しないので、画像の送信後に、直ちに、被監視者Obの監視が可能となる。特に、処理S152および処理S153の各処理を実行する第1実行時間が第2アルゴリズムによる検知処理を実行する第2実行時間より短い場合に効果的である。 During the execution of each of the processes S152 and S153, the monitoring of the monitored person Ob is interrupted (the process shown in FIG. 7 cannot be executed for each preset frame or every several frames). Since the second algorithm does not perform detection processing for detecting a predetermined event (struggle in this embodiment), it is possible to monitor the monitored person Ob immediately after the image is transmitted. In particular, it is effective when the first execution time for executing each process of the process S152 and the process S153 is shorter than the second execution time for executing the detection process by the second algorithm.
前記処理S16では、センサ装置SUは、ナースコール処理部145によって、ナースコールを受け付けているか否かを判定する。すなわち、図7に示す処理S11ないし処理S14または処理S11ないし処理S15は、各フレームごとに、あるいは、数フレームおきに、繰り返し実行されるが、前回における処理S14または処理S15の実行から今般における処理S14または処理S15の実行までの間(前回における処理S14および処理S15の各実行と、今般における処理S14および処理S15の各実行との全ての組合せを含む)に、ナースコール受付操作部13が操作されたか否かが判定される。この判定の結果、ナースコール受付操作部13が操作されず、ナースコールを受け付けていない場合(No)には、センサ装置SUは、今回の本処理を終了し、一方、ナースコール受付操作部13が操作され、ナースコールを受け付けている場合(Yes)には、センサ装置SUは、次の処理S17を実行した後に、今回の本処理を終了する。
In the process S16, the sensor unit SU determines whether or not a nurse call is accepted by the nurse
この処理S17では、処理S16でその受付が判明したナースコールを管理サーバ装置SVを介して所定の端末装置SP、TAへ通知するために、センサ装置SUは、ナースコール処理部145によって、前記所定のイベントとしてナースコールに関する第1イベント通知通信信号を管理サーバ装置SVへ送信する。より具体的には、ナースコール処理部145は、自機のセンサIDおよびナースコール受付情報を収容した第1イベント通知通信信号を、SU通信IF部15を介して管理サーバ装置SVへ送信する。
In this processing S17, the sensor device SU is controlled by the nurse
被監視者Obにおける所定の行動の検知やナースコールの受付それぞれに関し、センサ装置SUは、以上のように動作している。 The sensor unit SU operates as described above in relation to detection of a predetermined action of the monitored person Ob and reception of a nurse call.
次に、管理サーバ装置SVの動作について説明する。一方、図9において、管理サーバ装置SVは、SV制御処理部22のSV制御部221によって、SV通信IF部21で通信信号を受信したか否かを判定する(S21)。この判定の結果、通信信号を受信していない場合(No)には、管理サーバ装置SVは、処理をS21に戻し、前記判定の結果、通信信号を受信している場合(Yes)には、管理サーバ装置SVは、次の処理S22を実行する。すなわち、管理サーバ装置SVは、通信信号の受信を待ち受けている。
Next, the operation of the management server device SV will be explained. On the other hand, in FIG. 9, the management server device SV determines whether or not the SV communication IF
処理S22では、管理サーバ装置SVは、SV制御部221によって、この受信した通信信号の種類を判定する。この判定の結果、管理サーバ装置SVは、前記受信した通信信号が第1イベント通知通信信号である場合(第1イベント通知)には、処理S23を実行した後に処理S26を実行し、前記受信した通信信号が検知依頼通信信号である場合(検知依頼)には、処理S24を実行した後に処理S26を実行し、そして、前記受信した通信信号がこれら第1イベント通知通信信号および検知依頼通信信号のいずれでもではない場合(その他)には、処理S25を実行した後に処理S26を実行する。
In process S22, the management server device SV uses the
前記処理S23では、管理サーバ装置SVは、SV制御処理部22の監視処理部222によって、処理S21でセンサ装置SUから受信した第1イベント通知通信信号を処理する。より具体的には、まず、監視処理部222は、処理S21でセンサ装置SUから受信した第1イベント通知通信信号に収容された、被監視者Obに対する監視に関する監視情報を監視情報記憶部231に記憶(記録)する。そして、監視処理部222は、処理S21で受信した第1イベント通知通信信号を送信したセンサ装置SUに対応する通知先を装置間情報記憶部232に記憶された前記通知先対応関係から選定(検索)する。次に、監視処理部222は、この選定した通知先の端末装置SP、TA宛に、前記処理S21で受信した第1イベント通知通信信号に起因した第2イベント通知通信信号を生成して送信する。
In the processing S23, the management server device SV uses the
前記処理S24では、管理サーバ装置SVは、SV制御処理部22によって、処理S21でセンサ装置SUから受信した検知依頼通信信号を処理する高度な行動検知の処理を実行する。
In the process S24, the SV
この高度な行動検知の処理では、センサ装置SUで上述のように実施される行動の解析処理よりも詳細な解析処理が実施され、センサ装置SUにおける行動検知の情報処理よりも高度な情報処理によって行動が検知される。より具体的には、図10に示す各処理が実行される。図10において、まず、管理サーバ装置SVは、SV制御処理部22のSV検知処理部223によって第2検知処理を実行する。より具体的には、SV検知処理部223は、第2アルゴリズムにより、もがきの成否を判定する。より詳しくは、SV検知処理部223は、前記処理S21で受信した検知依頼通信信号に収容された所定の時間長の動画における各フレームそれぞれについて、第2アルゴリズムで、次の各処理を実施する。まず、SV検知処理部223は、フレームの画像から例えば背景差分法によって被監視者Obの人物領域を抽出する。次に、SV検知処理部223は、この抽出した人物領域における中心位置および輪郭それぞれを検出する。そして、SV検知処理部223は、これら各フレームにおける各人物領域の各中心位置および各人物領域の各輪郭に基づいて被監視者Obのもがきの有無を判定する。例えば、SV検知処理部223は、これら各フレームにおける各人物領域の各中心位置が、前記各中心位置の平均位置に対し予め設定された所定の範囲内に存在する場合であって、これら各フレームにおける各人物領域の各輪郭の動きが略周期的に繰り返し移動(振動)している場合に、被監視者Obがもがいていると判定し、前記もがきを検知し、この場合を除く他の場合に、被監視者Obがもがいていないと判定する。
In this advanced behavior detection processing, more detailed analysis processing than the behavior analysis processing performed in the sensor device SU as described above is performed, and by more advanced information processing than the behavior detection information processing in the sensor device SU, Action is detected. More specifically, each process shown in FIG. 10 is executed. In FIG. 10 , first, the management server device SV executes the second detection processing by the SV
次に、管理サーバ装置SVは、SV検知処理部223によって、前記第2検知処理S241で被監視者Obにおける所定の行動が検知されたか否かを判定する(S242)。本実施形態では、SV検知処理部142は、前記第2検知処理S241で被監視者Obのもがきが検知されたか否かを判定する。この判定の結果、前記所定の行動(ここではもがき)が検知されていない場合(No)には、本処理を終了し、一方、前記所定の行動(ここではもがき)が検知されている場合(Yes)には、センサ装置SUは、処理S243および処理S244それぞれを順次に実行した後に、本処理を終了する。
Next, the management server device SV determines whether or not the SV
この処理S243では、管理サーバ装置SVは、SV検知処理部223によって、前記第2検知処理S241で検知した被監視者Obにおける所定の行動(ここではもがき)に関する監視情報をSV記憶部23の監視情報記憶部231に記憶する。より具体的には、本実施形態では、SV検知処理部223は、前記処理S21で受信した検知依頼通信信号に収容されたセンサID、前記検知した所定のイベント(ここではもがき)を表すイベント情報、前記受信した検知依頼通信信号の受信時刻、前記受信した検知依頼通信信号に収容された動画のうちのいずれかのフレームの画像、前記受信した検知依頼通信信号に収容されたセンサIDを持つセンサ装置SUに対応する通信アドレス、および、対応フラグ「0」を、監視情報テーブルMTに新たに追加したレコードにおける各フィールド2311~2316に登録する。これによって、SV検知処理部223は、被監視者Obの監視情報を監視情報記憶部231に記憶して管理する。
In this process S243, the management server apparatus SV causes the SV
この処理S243の次に実行される処理S244では、管理サーバ装置SVは、通知処理部224によって、前記処理S241で検知した所定の行動(ここではもがき)を、これを検知させるために画像を送信した前記センサ装置SUで検知されたイベントの通知を受ける端末装置SP、TAへ通知する。より具体的には、知処理部224は、前記処理S21で受信した検知依頼通信信号を送信したセンサ装置SUに対応する通知先を、すなわち、前記検知依頼通信信号に収容されたセンサIDに対応する通知先を、装置間情報記憶部232に記憶された前記通知先対応関係から選定(検索)し、この選定結果に基づいて、前記処理S241で検知した所定の行動(ここではもがき)に関わる第2イベント通知通信信号を生成し、この生成した第2イベント通知通信信号をSV通信IF部21で送信する。
In a process S244 executed after the process S243, the management server device SV causes the
図9に戻って、前記処理S25では、管理サーバ装置SVは、SV制御処理部22によって、処理S21で受信した通信信号に応じた適宜な処理を実行する。
Returning to FIG. 9, in the process S25, the management server device SV causes the SV
そして、これら処理S23ないし処理S25それぞれの後に実行される前記処理S26では、管理サーバ装置SVは、SV制御処理部22によって、その稼働が終了(停止)か否かを判定する。この判定の結果、稼働の終了(停止)である場合(Yes)には、管理サーバ装置SVは、本処理を終了し、一方、稼働の終了(停止)ではない場合(No)には、管理サーバ装置SVは、処理を処理S21に戻す。
Then, in the process S26 executed after each of the processes S23 to S25, the management server apparatus SV uses the SV
なお、上述において、管理サーバ装置SVは、SV制御処理部22によって、処理S241で、第2検知処理結果を、処理S21で受信した検知依頼通信信号を送信した処理センサ装置SUへさらに返信し、センサ装置SUは、SU制御処理部14によって、検知依頼通信信号の送信後にその返信を管理サーバ装置SVから受信するまで、処理S15の実行をさらにスキップ(省略)しても良い。
In the above description, the SV
センサ装置SUから受信した第1イベント通知通信信号および検知依頼通信信号等に関し、監視サーバ装置SVは、以上のように動作している。本実施形態では、被監視者Obに関わる所定のイベントは、予め規定され、本実施形態では、被監視者Obにおける所定の行動およびナースコールを含む。被監視者Obにおける所定の行動は、予め規定され、本実施形態では、起床、離床、転落、転倒およびもがきを含む。そして、本実施形態では、これら起床、離床、転落、転倒およびもがきのうちの起床、離床、転落および転倒(前記所定の行動のうちの一部)は、第1アルゴリズムでセンサ装置SUによって検知され、これら起床、離床、転落、転倒およびもがきのうちのもがき(前記所定の行動のうちの他部(または残部))は、センサ装置SUからその検知の依頼を受けた管理サーバ装置SVによって第2アルゴリズムで検知される。 With respect to the first event notification communication signal, the detection request communication signal, etc. received from the sensor device SU, the monitoring server device SV operates as described above. In this embodiment, the predetermined event relating to the monitored person Ob is defined in advance, and in this embodiment, includes a predetermined action and a nurse call in the monitored person Ob. The predetermined behavior of the monitored person Ob is defined in advance, and includes getting up, getting out of bed, falling, falling, and struggling in this embodiment. Then, in the present embodiment, among the rising, leaving the bed, falling, falling, and struggling, getting up, leaving the bed, falling, and falling (part of the predetermined actions) are detected by the sensor device SU using the first algorithm. , waking up, getting out of bed, falling, falling, and struggling (the other part (or the remainder) of the predetermined behavior) are detected by the management server device SV, which receives a detection request from the sensor device SU. Algorithmically detected.
一方、固定端末装置SPおよび携帯端末装置TAは、通信信号の受信を待ち受けており、前記第2イベント通知通信信号をネットワークNWを介して管理サーバ装置SVから受信すると、この第2イベント通知通信信号に収容されたセンサIDおよびイベント情報等の各情報を、このセンサIDを持つセンサ装置SUで監視されている被監視者Obの監視情報として記憶(記録)し、前記監視情報を表示する。 On the other hand, the fixed terminal device SP and the portable terminal device TA are waiting for reception of a communication signal, and upon receiving the second event notification communication signal from the management server device SV via the network NW, the second event notification communication signal Each information such as the sensor ID and the event information stored in is stored (recorded) as monitoring information of the monitored person Ob monitored by the sensor device SU having this sensor ID, and the monitoring information is displayed.
この被監視者Obの監視に関する前記監視情報を表示するための監視情報画面の一例が図11に示されている。この監視情報画面52は、例えば、図11に示すように、メニューバー領域511と、前記受信した第2イベント通知通信信号に収容されたセンサIDを持つセンサ装置SUの配設場所および前記センサIDを持つ前記センサ装置SUによって監視される被監視者Obの名前を表示する被監視者名領域521と、前記受信した第2イベント通知通信信号の受信時刻(または前記所定の行動の検知時刻)からの経過時間、および、前記受信した第2イベント通知通信信号に収容された前記イベント情報(前記所定の行動の検知結果)を表示する検知情報表示領域522と、前記受信した第2イベント通知通信信号に収容された画像(すなわち、前記センサIDを持つ前記センサ装置SUによって撮像された対象画像)(ここでは静止画)を表示する画像領域523と、「対応する」ボタン524と、「話す」ボタン525と、「LIVEを見る」ボタン526とを備え、タッチパネルに表示されている。
FIG. 11 shows an example of a monitoring information screen for displaying the monitoring information regarding the monitoring of this monitored person Ob. For example, as shown in FIG. 11, the
被監視者名領域521にセンサ装置SUの配設場所および被監視者Obの名前を表示するために、携帯端末装置TAには、管理サーバ装置SVから前記センサ情報が受信されて図6に示すセンサ情報テーブルSTと同様なテーブルが記憶され、前記受信した第2イベント通知通信信号に収容されたセンサIDを検索キーに、センサ装置SUの配設場所および被監視者Obの名前が前記テーブルから検索され、表示される。検知情報表示領域522には、前記受信した第2イベント通知通信信号に収容された前記検知結果(本実施形態では、入床、起床、離床、転倒およびもがきの各名称)がそのまま表示されても良いが、本実施形態では、前記検知結果を象徴的に表すアイコンで表示されている。このアイコンで表示するために、携帯端末装置TAには、各行動およびその行動を象徴的に表すアイコンが互いに対応付けられて予め記憶される。図11に示す例では、検知情報表示領域522には、起床を象徴的に表す起床アイコンが表示されている。「対応する」ボタン524は、監視情報画面52では、この監視情報画面52に表示された検知結果に対し例えば救命、看護、介護および介助等の所定の対応(対処、処置、措置)を実施する意思が当該携帯端末装置TAのユーザにある旨を、当該携帯端末装置TAに入力するためのボタンである。「話す」ボタン525は、音声通話を要求するためのボタンであって、前記センサIDの前記センサ装置SUと当該携帯端末装置TAとをネットワークNWを介して通話可能に接続する指示を入力するためのボタンである。「LIVEを見る」ボタン526は、ライブでの動画を要求するためのボタンであって、前記センサIDの前記センサ装置SUによって撮像される動画を表示させる指示を入力するためのボタンである。
In order to display the installation location of the sensor unit SU and the name of the monitored person Ob in the monitored
そして、このような監視情報画面52の表示中に、携帯端末装置TAは、所定の入力操作を受け付けると、前記所定の入力操作の内容に応じた適宜な処理を実行し、本処理を終了し、そして、次の自機宛の通信信号を待ち受ける。
When the mobile terminal device TA receives a predetermined input operation while the
例えば、携帯端末装置TAは、「対応する」ボタン524の入力操作を受け付けると、まず、現在、監視情報画面52で表示されている被監視者Obの監視情報に、「対応する」を受け付けた旨を付して記憶する。そして、携帯端末装置TAは、監視情報画面52で表示されている被監視者Obの監視情報に対応するセンサID、イベント情報および「対応する」を受け付けた旨を表す情報(対応有意思情報)を収容した通信信号(対応有意思通知通信信号)を管理サーバ装置SVへ送信する。この対応有意思通知通信信号を受信した管理サーバ装置SVは、上述の図9に示す処理S25の一例として、まず、SV制御処理部22によって、監視情報記憶部231に記憶されている監視情報テーブルMTにおいて、前記受信した対応有意思通知通信信号に収容されているセンサIDおよびイベント情報それぞれをセンサIDフィールド2311およびイベントフィールド2312それぞれに登録し、かつ、対応フィールド2316に対応フラグ「0」を登録しているレコードの対応フィールド2316に、対応の受付を表す対応フラグ「1」を登録し、次に、前記受信した対応有意思通知通信信号に収容されたセンサID、イベント情報および対応有意思情報を収容した通信信号(対応有意思周知通信信号)を同報通信で端末装置SP、TAへ送信する。これによって、監視情報画面52で表示されている被監視者Obの監視情報に対応するセンサIDに関し、「対応する」を受け付けた旨が各端末装置SP、TA間で同期される。
For example, when the portable terminal device TA accepts the input operation of the "correspond"
また例えば、携帯端末装置TAは、「話す」ボタン525の入力操作を受け付けると、現在、監視情報画面52で表示されている被監視者Obを監視するセンサ装置SUへ、音声通話を要求する旨等の情報を収容した通信信号(通話要求通信信号)を送信し、これに応じたセンサ装置SUとネットワークNWを介して音声通話可能に接続する。これによって携帯端末装置TAとセンサ装置SUとの間で音声通話が可能となる。なお、携帯端末装置TAは、音声通話の終了の指示を入力するためのボタンである図略の「終了」ボタンの入力操作を受け付けると、監視情報画面52で表示されている被監視者Obを監視するセンサ装置SUへ、音声通話の終了を要求する旨等の情報を収容した通信信号(通話終了通信信号)を送信する。これによって携帯端末装置TAとセンサ装置SUとの間での音声通話が終了される。
Further, for example, when the mobile terminal device TA accepts the input operation of the “Talk”
また例えば、携帯端末装置TAは、「LIVEを見る」ボタン526の入力操作を受け付けると、現在、監視情報画面52で表示されている被監視者Obを監視するセンサ装置SUへ、ライブでの動画の配信を要求する旨等の情報を収容した通信信号(動画配信要求通信信号)を送信し、これに応じたセンサ装置SUとネットワークNWを介して動画のダウンロード可能に接続し、前記センサ装置SUからライブでの動画の配信を受け、この配信を受けた動画をストリーミング再生で表示する。このライブでの動画を表示する監視情報画面52では、画像領域523に動画が表示され、そして、「LIVEを見る」ボタン526に代え図略の「LIVE終了」ボタンが表示される。これによって携帯端末装置TAには、ライブでの動画が表示される。前記図略の「LIVE終了」ボタンは、動画の終了を要求するためのボタンであって、前記センサIDの前記センサ装置SUによって撮像される動画の配信を終了(停止)させ表示を終了(停止)させる指示を入力するためのボタンである。携帯端末装置TAは、「LIVE終了」ボタンの入力操作を受け付けると、現在、監視情報画面52で表示されている被監視者Obを監視するセンサ装置SUへ、動画配信の終了を要求する旨等の情報を収容した通信信号(動画配信終了通信信号)を送信し、静止画を表示する。これによって携帯端末装置TAは、ライブでの動画の表示を終了する。
Further, for example, when the mobile terminal device TA receives the input operation of the “Watch LIVE”
このような動作によって、被監視者監視支援システムMSは、各センサ装置SU、管理サーバ装置SV、固定端末装置SPおよび携帯端末装置TAによって、大略、各被監視者Obにおける所定の行動を検知し、ナースコールを受け付けて、各被監視者Obの監視を支援している。 Through such operations, the monitored person monitoring support system MS detects the predetermined behavior of each monitored person Ob by means of the sensor devices SU, the management server device SV, the fixed terminal device SP, and the mobile terminal device TA. , receives a nurse call and supports the monitoring of each monitored person Ob.
以上説明したように、実施形態におけるセンサ装置SU、これに実装されたセンサ装置SUの処理方法、および、被監視者監視支援システムMSは、第2アルゴリズムで所定のイベント(上述の例ではもがき)の検知が必要であると判定された場合に、第2アルゴリズムで前記所定のイベントを検知するのではなく、撮像部11で生成された画像を中央処理装置の一例である管理サーバ装置SVへ送信する。このため、画像の送信のために、SU検知処理部142の検知処理が中断しても、第2アルゴリズムで前記所定のイベントを検知する検知処理を実施しないので、画像の送信後に、直ちに、SU検知処理部142の検知処理が実施でき、監視の中断をより短時間にできる。特に、被監視者Obが複数であり、センサ装置SUが1対多で前記複数の被監視者Obを監視する場合、前記複数の被監視者Obのうちの1人が第2アルゴリズムで前記所定のイベントを検知する必要がある状態に陥っても、残余の被監視者Obに対する監視の中断も、より短時間にできる。また特に、同性能の情報処理装置で情報処理した際に、第2アルゴリズムの情報処理時間が第1アルゴリズムの情報処理時間よりも長い場合でも、センサ装置はSU、第2アルゴリズムで所定のイベントを検知する検知処理を実施しないので、第1アルゴリズムで所定のイベントを検知する検知処理を実施できる性能を持つ情報処理装置がセンサ装置SUに利用でき、より高い性能を持つ情報処理装置を必要としない。このため、その分、低コスト化が可能となる。
As described above, the sensor device SU in the embodiment, the processing method of the sensor device SU implemented in the sensor device SU, and the monitored person monitoring support system MS use the second algorithm to detect a predetermined event (struggle in the above example). When it is determined that detection is necessary, instead of detecting the predetermined event by the second algorithm, the image generated by the
上記センサ装置SU、その処理方法および被監視者監視支援システムMSは、第1アルゴリズムで所定のイベント(上述の例では起床、離床、転落および転倒)の検知に用いられる画像の解像度よりも高い解像度の画像を管理サーバ装置SVへ送信する。このため、管理サーバ装置SVでは、前記所定のイベント(上述の例ではもがき)を検知するために、より詳細な解析処理が可能となる。したがって、前記所定のイベント(上述の例ではもがき)を検知する検知性能の向上が可能となり、検知可能なイベントの種類の増大が可能となる。 The sensor unit SU, its processing method, and monitored person monitoring support system MS have a resolution higher than that of images used for detecting predetermined events (in the above example, getting up, getting out of bed, falling, and falling) in the first algorithm. image to the management server device SV. Therefore, in the management server device SV, more detailed analysis processing can be performed in order to detect the predetermined event (struggle in the above example). Therefore, it is possible to improve the detection performance of detecting the predetermined event (struggle in the above example), and to increase the types of detectable events.
本実施形態における、中央処理装置の一例である管理サーバ装置SVおよび被監視者監視システムMSは、前記所定のイベント(上述の例ではもがき)を検知させるために画像をセンサ装置SUから受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知する。このため、上記管理サーバ装置SVおよび被監視者監視支援システムMSは、前記所定のイベントを検知する検知処理をセンサ装置SUとの間で役割分担でき、センサ装置SUでの監視の中断をより短時間にでき、したがって、適材適所の最適な被監視者監視支援システムMSが構築できる。 In the present embodiment, the management server device SV and the monitored person monitoring system MS, which are examples of the central processing unit, receive an image from the sensor device SU in order to detect the predetermined event (struggle in the above example). and detecting the predetermined event based on the received image. Therefore, the management server device SV and the monitored person monitoring support system MS can share the detection processing of detecting the predetermined event with the sensor device SU, and the interruption of monitoring in the sensor device SU can be shortened. It can be done in a timely manner, and therefore, an optimal monitored person monitoring support system MS can be constructed with the right person in the right place.
なお、上述の実施形態において、処理S151における検知の必要性があると判定する条件に、上述のように抽出された動体領域の体幹領域が、数十秒間、動かない条件が、さらに追加されても良い。前記体幹領域は、前記動体領域から、例えば予め用意された体幹のモデルを用いたパターンマッチングによって、また例えば体幹検出用に学習したニューラルネットワークによって、検出される。あるいは、前記動体領域の体幹領域が、数十秒間、動かない条件は、前記動体領域の中心位置が、数十秒間、予め設定された所定の範囲内に留まる条件であっても良い。 In the above-described embodiment, a condition that the torso region of the moving body region extracted as described above does not move for several tens of seconds is added to the conditions for determining that detection is necessary in step S151. can be The trunk region is detected from the moving body region, for example, by pattern matching using a prepared trunk model, or by, for example, a neural network trained for trunk detection. Alternatively, the condition that the trunk region of the moving body region does not move for several tens of seconds may be a condition that the central position of the moving body region stays within a predetermined range set in advance for several tens of seconds.
また、上述の実施形態において、処理S241の第2検知処理で被監視者Obのもがきが検知されたが、さらに、被監視者Obの失神が検知されても良い。この場合では、処理S241の第2検知処理において、被監視者Obの体幹が略定位置であって前記被監視者Obの体幹を中心に被監視者Obが略周期的に繰り返し移動(振動)していない場合に、さらに、被監視者Obの体幹が略定位置である時間(定位置時間)が、予め設定された時間(定位置判定時間閾値)以上であるか否かによって前記失神が検知される。より具体的には、前記動画の時間長は、前記もがきの検知に必要な時間よりも長い、前記失神の検知に必要な時間で適宜に予め設定され、SV検知処理部223は、上述のように、被監視者Obがもがいていないと判定した場合に、さらに、その後の各フレームそれぞれについて、各人物領域における各中心位置を検出し、これら各フレームにおける各人物領域の各中心位置が、前記各中心位置の平均位置に対し予め設定された所定の範囲内に、前記定位置判定時間閾値以上、存在するか否かを判定する。この判定の結果、前記各中心位置が前記定位置判定時間閾値以上存在する場合には、被監視者Obの失神と判定し、前記各中心位置が前記定位置判定時間閾値以上存在しない場合(前記各中心位置が前記定位置判定時間閾値未満で前記各中心位置の平均位置に対し前記所定の範囲を超えた場合)には、失神ではなく、被監視者Obの意図的な行動と判定する。 Further, in the above-described embodiment, the writhing of the monitored person Ob is detected in the second detection process of the process S241, but the fainting of the monitored person Ob may be detected. In this case, in the second detection process of step S241, the body trunk of the monitored person Ob is at a substantially fixed position, and the monitored person Ob moves approximately periodically and repeatedly around the body trunk of the monitored person Ob ( (vibration), further depending on whether or not the time (fixed position time) during which the trunk of the monitored person Ob is in a substantially fixed position is equal to or longer than a preset time (fixed position determination time threshold). The syncope is detected. More specifically, the time length of the moving image is appropriately set in advance to the time required for detecting the fainting, which is longer than the time required for detecting the writhing. Further, when it is determined that the monitored person Ob is not struggling, each center position of each person area is detected for each subsequent frame, and each center position of each person area in each of these frames is determined as follows: It is determined whether or not the position exists within a predetermined range set in advance with respect to the average position of the center positions for a period equal to or longer than the fixed position determination time threshold. As a result of this determination, when each of the center positions exists for the predetermined position determination time threshold or longer, it is determined that the monitored person Ob has fainted. When each center position is less than the fixed position determination time threshold and exceeds the predetermined range with respect to the average position of each center position), it is determined that the monitored person Ob is not fainting but that the monitored person Ob is acting intentionally.
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。 Although this specification discloses various aspects of the technology as described above, the main technologies are summarized below.
一態様にかかるセンサ装置は、監視対象である被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されて前記センサ装置から受信したイベントを管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備え、前記被監視者の監視を支援するための被監視者監視支援システムの前記センサ装置であって、画像を生成する撮像部と、前記所定のイベントを検知する第1アルゴリズムで、前記撮像部で生成された画像に基づいて前記所定のイベントを検知する第1検知処理部と、前記第1検知処理部で前記所定のイベントを検知しなかった場合に、前記所定のイベントを検知する、前記第1アルゴリズムと異なる第2アルゴリズムで、前記撮像部で生成された画像に基づいて前記所定のイベントを検知する必要性を判定する必要性判定部と、前記必要性判定部で前記所定のイベントの検知が必要であると判定された場合に、前記所定のイベントを検知させるために前記撮像部で生成された画像を前記中央処理装置へ送信する画像送信部とを備える。好ましくは、上述のセンサ装置において、前記被監視者は、複数であり、当該センサ装置は、1対多で前記複数の被監視者を監視する。好ましくは、上述のセンサ装置において、前記所定のイベントは、複数の種類を含み、前記第1および第2アルゴリズムは、異種類のイベントを検知する。好ましくは、上述のセンサ装置において、同性能の情報処理装置で情報処理した場合に、第2アルゴリズムの情報処理時間は、第1アルゴリズムの情報処理時間よりも長い。好ましくは、上述のセンサ装置において、前記画像送信部は、前記必要性判定部で前記所定のイベントの検知が必要であると判定された場合に、前記所定のイベントを検知させる命令(指令)を表す情報、および、前記撮像部で生成された画像を収容する通信信号(検知依頼通信信号)を生成し、前記生成した通信信号(検知依頼通信信号)を前記中央処理装置へ送信する。好ましくは、上述のセンサ装置において、前記画像は、所定の時間の動画である。 A sensor device according to one aspect includes: a sensor device provided corresponding to a monitored person who is a monitoring target, detecting a predetermined event related to the monitored person; and a terminal that is communicatively connected to the central processing unit and receives notification of the event detected by the sensor device via the central processing unit. The sensor device of the monitored person monitoring support system for assisting the monitoring of the monitored person, comprising: an imaging unit for generating an image; and a first algorithm for detecting the predetermined event, a first detection processing unit for detecting the predetermined event based on the image generated by the imaging unit; and detecting the predetermined event when the first detection processing unit does not detect the predetermined event. a necessity determination unit that determines the necessity of detecting the predetermined event based on the image generated by the imaging unit, using a second algorithm different from the first algorithm; an image transmission unit configured to transmit an image generated by the imaging unit to the central processing unit in order to detect the predetermined event when it is determined that event detection is necessary. Preferably, in the sensor device described above, there are a plurality of monitored persons, and the sensor device monitors the plurality of monitored persons on a one-to-many basis. Preferably, in the sensor device described above, the predetermined event includes a plurality of types, and the first and second algorithms detect different types of events. Preferably, in the sensor device described above, the information processing time of the second algorithm is longer than the information processing time of the first algorithm when information processing is performed by an information processing device having the same performance. Preferably, in the sensor device described above, the image transmission unit issues a command to detect the predetermined event when the necessity determination unit determines that the predetermined event needs to be detected. A communication signal (detection request communication signal) containing the information to be represented and the image generated by the imaging unit is generated, and the generated communication signal (detection request communication signal) is transmitted to the central processing unit. Preferably, in the sensor device described above, the image is a moving image of a predetermined time.
このようなセンサ装置は、第2アルゴリズムで所定のイベントの検知が必要であると判定された場合に、第2アルゴリズムで所定のイベントを検知するのではなく、撮像部で生成された画像を中央処理装置へ送信する。このため、画像の送信のために、第1検知処理部の検知処理が中断しても、第2アルゴリズムで所定のイベントを検知する検知処理を実施しないので、画像の送信後に、直ちに、第1検知処理部の検知処理が実施でき、監視の中断をより短時間にできる。特に、被監視者が複数であり、センサ装置が1対多で前記複数の被監視者を監視する場合、前記複数の被監視者のうちの1人が第2アルゴリズムで所定のイベントを検知する必要がある状態に陥っても、残余の被監視者に対する監視の中断も、より短時間にできる。また特に、同性能の情報処理装置で情報処理した際に、第2アルゴリズムの情報処理時間が第1アルゴリズムの情報処理時間よりも長い場合でも、センサ装置は、第2アルゴリズムで所定のイベントを検知する検知処理を実施しないので、第1アルゴリズムで所定のイベントを検知する検知処理を実施できる性能を持つ情報処理装置がセンサ装置に利用でき、より高い性能を持つ情報処理装置を必要としない。このため、その分、低コスト化が可能となる。 In such a sensor device, when the second algorithm determines that it is necessary to detect a predetermined event, instead of detecting the predetermined event with the second algorithm, the image generated by the imaging unit is centered. Send to processor. Therefore, even if the detection processing of the first detection processing unit is interrupted for image transmission, the detection processing for detecting a predetermined event by the second algorithm is not performed. The detection processing of the detection processing unit can be performed, and the interruption of monitoring can be shortened. In particular, when there are a plurality of monitored persons and the sensor devices monitor the plurality of monitored persons in a one-to-many manner, one of the plurality of monitored persons detects a predetermined event by the second algorithm. Even if it falls into a necessary state, it is possible to interrupt the monitoring of the remaining persons to be monitored in a shorter time. In particular, even if the information processing time of the second algorithm is longer than the information processing time of the first algorithm when information processing is performed by an information processing device having the same performance, the sensor device detects a predetermined event using the second algorithm. Therefore, an information processing device capable of performing detection processing for detecting a predetermined event using the first algorithm can be used as the sensor device, and an information processing device with higher performance is not required. Therefore, the cost can be reduced accordingly.
他の一態様では、上述のセンサ装置において、前記撮像部は、互いに異なる複数の解像度で前記画像を生成し、前記画像送信部は、前記第1アルゴリズムで前記所定のイベントの検知に用いられる画像の解像度よりも高い解像度の画像を前記中央処理装置へ送信する。好ましくは、上述のセンサ装置において、前記画像送信部は、前記必要性判定部で前記所定のイベントの検知が必要であると判定された場合に、前記第1アルゴリズムで前記所定のイベントの検知に用いられる画像の解像度よりも高い解像度の画像を前記撮像部に生成させ、前記生成させた高い解像度の画像を前記中央処理装置へ送信する。 In another aspect, in the sensor device described above, the imaging unit generates the images with a plurality of mutually different resolutions, and the image transmission unit generates the images used for detecting the predetermined event in the first algorithm. to the central processing unit. Preferably, in the sensor device described above, when the necessity determination unit determines that the detection of the predetermined event is necessary, the image transmission unit uses the first algorithm to detect the predetermined event. The imaging unit is caused to generate an image with a resolution higher than the resolution of the image to be used, and the generated high-resolution image is transmitted to the central processing unit.
このようなセンサ装置は、前記第1アルゴリズムで前記所定のイベントの検知に用いられる画像の解像度よりも高い解像度の画像を前記中央処理装置へ送信する。このため、中央処理装置では、前記所定のイベントを検知するために、より詳細な解析処理が可能となる。したがって、前記所定のイベントを検知する検知性能の向上が可能となり、検知可能なイベントの種類の増大が可能となる。 Such a sensor device transmits to the central processing unit an image with a higher resolution than the image used for detecting the predetermined event in the first algorithm. Therefore, the central processing unit can perform more detailed analysis processing in order to detect the predetermined event. Therefore, it is possible to improve the detection performance for detecting the predetermined event, and to increase the types of detectable events.
一態様にかかるセンサ装置の処理方法は、監視対象である被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されて前記センサ装置から受信したイベントを管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備え、前記被監視者の監視を支援するための被監視者監視支援システムの前記センサ装置の処理方法であって、画像を生成する撮像工程と、前記所定のイベントを検知する第1アルゴリズムで、前記撮像工程で生成された画像に基づいて前記所定のイベントを検知する検知処理工程と、前記検知処理工程で前記所定のイベントを検知しなかった場合に、前記所定のイベントを検知する、前記第1アルゴリズムと異なる第2アルゴリズムで、前記撮像工程で生成された画像に基づいて前記所定のイベントを検知する必要性を判定する必要性判定工程と、前記必要性判定工程で前記所定のイベントの検知が必要であると判定された場合に、前記所定のイベントを検知させるために前記撮像工程で生成された画像を前記中央処理装置へ送信する画像送信工程とを備える。 A processing method for a sensor device according to one aspect includes a sensor device provided corresponding to a monitored person to be monitored and detecting a predetermined event related to the monitored person; A central processing unit for managing events detected by the sensor device and received from the sensor device, and a notification of the event detected by the sensor device via the central processing unit communicably connected to the central processing unit. A method of processing the sensor device of a monitored person monitoring support system for assisting monitoring of the monitored person, comprising a terminal device receiving a a detection processing step of detecting the predetermined event based on the image generated in the imaging step; and detecting the predetermined event if the predetermined event is not detected in the detection processing step. a necessity determination step of determining the necessity of detecting the predetermined event based on the image generated in the imaging step by a second algorithm different from the first algorithm; an image transmission step of transmitting the image generated in the imaging step to the central processing unit in order to detect the predetermined event when it is determined that the predetermined event needs to be detected.
このようなセンサ装置の処理方法は、第2アルゴリズムで所定のイベントの検知が必要であると判定された場合に、第2アルゴリズムで所定のイベントを検知するのではなく、撮像工程で生成された画像を中央処理装置へ送信する。このため、画像の送信のために、第1検知処理工程の検知処理が中断しても、第2アルゴリズムで所定のイベントを検知する検知処理を実施しないので、画像の送信後に、直ちに、第1検知処理工程の検知処理が実施でき、監視の中断をより短時間にできる。特に、被監視者が複数であり、センサ装置が1対多で前記複数の被監視者を監視する場合、前記複数の被監視者のうちの1人が第2アルゴリズムで所定のイベントを検知する必要がある状態に陥っても、残余の被監視者に対する監視の中断も、より短時間にできる。また特に、同性能の情報処理装置で情報処理した際に、第2アルゴリズムの情報処理時間が第1アルゴリズムの情報処理時間よりも長い場合でも、センサ装置は、第2アルゴリズムで所定のイベントを検知する検知処理を実施しないので、第1アルゴリズムで所定のイベントを検知する検知処理を実施できる性能を持つ情報処理装置がセンサ装置に利用でき、より高い性能を持つ情報処理装置を必要としない。このため、その分、低コスト化が可能となる。 In such a sensor device processing method, when the second algorithm determines that the predetermined event needs to be detected, the event generated in the imaging process is not detected by the second algorithm. Send the image to the central processing unit. Therefore, even if the detection processing of the first detection processing step is interrupted for image transmission, the detection processing for detecting a predetermined event by the second algorithm is not executed. The detection process of the detection process can be performed, and the interruption of monitoring can be shortened. In particular, when there are a plurality of monitored persons and the sensor devices monitor the plurality of monitored persons in a one-to-many manner, one of the plurality of monitored persons detects a predetermined event by the second algorithm. Even if it falls into a necessary state, it is possible to interrupt the monitoring of the remaining persons to be monitored in a shorter time. In particular, even if the information processing time of the second algorithm is longer than the information processing time of the first algorithm when information processing is performed by an information processing device having the same performance, the sensor device detects a predetermined event using the second algorithm. Therefore, an information processing device capable of performing detection processing for detecting a predetermined event using the first algorithm can be used as the sensor device, and an information processing device with higher performance is not required. Therefore, the cost can be reduced accordingly.
他の一態様にかかる中央処理装置は、監視対象である被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されて前記センサ装置から受信したイベントを管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備え、前記被監視者の監視を支援するための被監視者監視支援システムの前記中央処理装置であって、前記所定のイベントを検知させるために画像を前記センサ装置から受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知する第2検知処理部と、前記第2検知処理部で前記所定のイベントを検知した場合に、前記検知した所定のイベントを、前記所定のイベントを検知させるために画像を送信した前記センサ装置で検知されたイベントの通知を受ける端末装置へ通知する通知処理部とを備える。好ましくは、上述の中央処理装置において、前記被監視者監視支援システムのセンサ装置は、これら上述のいずれかのセンサ装置である。 A central processing unit according to another aspect includes a sensor device that is provided corresponding to a monitored person who is a monitoring target, detects a predetermined event related to the monitored person, and is communicably connected to the sensor device, A central processing unit for managing events detected by the sensor device and received from the sensor device, and a notification of the event detected by the sensor device via the central processing unit communicably connected to the central processing unit. the central processing unit of a monitored person monitoring support system for supporting monitoring of the monitored person, wherein an image is received from the sensor device for detecting the predetermined event a second detection processing unit for detecting the predetermined event based on the received image; and when the second detection processing unit detects the predetermined event, the detected predetermined event is a notification processing unit that notifies a terminal device that receives notification of an event detected by the sensor device that has transmitted an image for detecting a predetermined event. Preferably, in the central processing unit described above, the sensor device of the monitored person monitoring support system is any one of the sensor devices described above.
このような中央処理装置は、前記所定のイベントを検知させるために画像を前記センサ装置から受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知する。このため、上記中央処理装置は、前記所定のイベントを検知する検知処理をセンサ装置との間で役割分担でき、センサ装置での監視の中断をより短時間にでき、したがって、適材適所の最適な被監視者監視支援システムが構築できる。 Such a central processing unit detects the predetermined event based on the received image when an image is received from the sensor device for detecting the predetermined event. Therefore, the central processing unit can share the detection processing for detecting the predetermined event with the sensor device, and the interruption of monitoring by the sensor device can be shortened. A monitored person monitoring support system can be constructed.
他の一態様にかかる被監視者監視支援システムは、監視対象である被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されて前記センサ装置から受信したイベントを管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備え、前記被監視者の監視を支援するための被監視者監視支援システムであって、前記センサ装置は、これら上述のいずれかのセンサ装置であり、前記中央処理装置は、請求項3に記載の中央処理装置であり、前記第2検知処理部は、前記第2アルゴリズムで、前記受信した画像に基づいて前記所定のイベントを検知する。
A monitored person monitoring support system according to another aspect includes a sensor device that is provided corresponding to a monitored person to be monitored, detects a predetermined event related to the monitored person, and is capable of communicating with the sensor device. a central processing unit connected to manage events detected by the sensor device and received from the sensor device; and a central processing unit communicatively connected to the central processing unit and detected by the sensor device via the central processing unit. A monitored person monitoring support system comprising a terminal device for receiving notification of an event and for supporting monitoring of said monitored person, wherein said sensor device is any one of the above-described sensor devices, and said central processing unit The device is the central processing unit according to
このような被監視者監視支援システムは、センサ装置が第1アルゴリズムで所定のイベントを検知し、中央処理装置が第2アルゴリズムで所定のイベントを検知する。このため、上記被監視者監視支援システムは、前記所定のイベントを検知する検知処理をセンサ装置と中央処理装置との間で役割分担でき、センサ装置での監視の中断をより短時間にでき、したがって、適材適所の最適な被監視者監視支援システムが構築できる。 In such a monitored person monitoring support system, the sensor device detects a predetermined event using a first algorithm, and the central processing unit detects a predetermined event using a second algorithm. Therefore, in the monitored person monitoring support system, the detection process for detecting the predetermined event can be shared between the sensor device and the central processing unit, and the interruption of monitoring by the sensor device can be shortened. Therefore, it is possible to construct an optimal monitored person monitoring support system with the right person in the right place.
この出願は、2017年10月13日に出願された日本国特許出願特願2017-199066を基礎とするものであり、その内容は、本願に含まれるものである。 This application is based on Japanese Patent Application No. 2017-199066 filed on October 13, 2017, the content of which is included in the present application.
本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。 While embodiments of the present invention have been illustrated and described in detail, this is done by way of illustration and example only, and not limitation. The scope of the invention should be construed by the language of the appended claims.
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。 Although the present invention has been adequately and fully described above through embodiments with reference to the drawings in order to express the present invention, modifications and/or improvements to the above-described embodiments can be easily made by those skilled in the art. It should be recognized that it is possible. Therefore, to the extent that modifications or improvements made by those skilled in the art do not depart from the scope of the claims set forth in the claims, such modifications or improvements do not fall within the scope of the claims. is interpreted to be subsumed by
本発明によれば、被監視者の監視を支援するための被監視者監視支援システムにおけるセンサ装置、中央処理装置および該センサ装置の処理方法ならびに前記被監視者監視支援システムが提供できる。 According to the present invention, it is possible to provide a sensor device, a central processing unit, a processing method of the sensor device, and the monitored person monitoring support system in a monitored person monitoring support system for supporting monitoring of a monitored person.
Claims (4)
画像を生成する撮像部と、
前記所定のイベントを検知する第1アルゴリズムで、前記撮像部で生成された画像に基づいて前記所定のイベントを検知する第1検知処理部と、
前記第1検知処理部で前記所定のイベントを検知しなかった場合に、前記所定のイベントを検知する、前記第1アルゴリズムと異なる第2アルゴリズムで、前記撮像部で生成された画像に基づいて前記所定のイベントを検知する必要性を判定する必要性判定部と、
前記必要性判定部で前記所定のイベントの検知が必要であると判定された場合に、前記所定のイベントを検知させるために前記撮像部で生成された画像を前記中央処理装置へ送信する画像送信部とを備える、
センサ装置。 a sensor device provided corresponding to a monitored person to be monitored and detecting a predetermined event related to the monitored person; a central processing unit that manages received events; and a terminal device that is communicably connected to the central processing unit and receives notification of an event detected by the sensor device via the central processing unit, the monitored person The sensor device of the monitored person monitoring support system for supporting the monitoring of
an imaging unit that generates an image;
a first detection processing unit for detecting the predetermined event based on the image generated by the imaging unit using a first algorithm for detecting the predetermined event;
A second algorithm different from the first algorithm for detecting the predetermined event when the first detection processing unit does not detect the predetermined event, based on the image generated by the imaging unit. a necessity determination unit that determines the necessity of detecting a predetermined event;
Image transmission for transmitting an image generated by the imaging unit to the central processing unit for detecting the predetermined event when the necessity determining unit determines that the predetermined event needs to be detected. and
sensor device.
前記画像送信部は、前記第1アルゴリズムで前記所定のイベントの検知に用いられる画像の解像度よりも高い解像度の画像を前記中央処理装置へ送信する、
請求項1に記載のセンサ装置。 The imaging unit generates the images at a plurality of resolutions different from each other,
The image transmission unit transmits to the central processing unit an image having a resolution higher than that of the image used for detecting the predetermined event in the first algorithm.
A sensor device according to claim 1 .
画像を生成する撮像工程と、
前記所定のイベントを検知する第1アルゴリズムで、前記撮像工程で生成された画像に基づいて前記所定のイベントを検知する検知処理工程と、
前記検知処理工程で前記所定のイベントを検知しなかった場合に、前記所定のイベントを検知する、前記第1アルゴリズムと異なる第2アルゴリズムで、前記撮像工程で生成された画像に基づいて前記所定のイベントを検知する必要性を判定する必要性判定工程と、
前記必要性判定工程で前記所定のイベントの検知が必要であると判定された場合に、前記所定のイベントを検知させるために前記撮像工程で生成された画像を前記中央処理装置へ送信する画像送信工程とを備える、
センサ装置の処理方法。 a sensor device provided corresponding to a monitored person to be monitored and detecting a predetermined event related to the monitored person; a central processing unit that manages received events; and a terminal device that is communicably connected to the central processing unit and receives notification of an event detected by the sensor device via the central processing unit, the monitored person A method of processing the sensor device of a monitored person monitoring support system for supporting the monitoring of
an imaging step to generate an image;
a detection processing step of detecting the predetermined event based on the image generated in the imaging step with a first algorithm for detecting the predetermined event;
A second algorithm different from the first algorithm for detecting the predetermined event when the predetermined event is not detected in the detection processing step, and detecting the predetermined event based on the image generated in the imaging step a necessity determination step of determining the necessity of detecting an event;
Image transmission for transmitting an image generated in the imaging step to the central processing unit for detecting the predetermined event when the necessity determining step determines that the predetermined event needs to be detected. and
A method of processing a sensor device.
前記センサ装置は、請求項1または請求項2に記載のセンサ装置であり、
前記中央処理装置は、前記所定のイベントを検知させるために画像を前記センサ装置から受信した場合に、前記受信した画像に基づいて前記所定のイベントを検知する第2検知処理部と、前記第2検知処理部で前記所定のイベントを検知した場合に、前記検知した所定のイベントを、前記所定のイベントを検知させるために画像を送信した前記センサ装置で検知されたイベントの通知を受ける端末装置へ通知する通知処理部とを備え、
前記第2検知処理部は、前記第2アルゴリズムで、前記受信した画像に基づいて前記所定のイベントを検知する、
被監視者監視支援システム。 a sensor device provided corresponding to a monitored person to be monitored and detecting a predetermined event related to the monitored person; a central processing unit that manages received events; and a terminal device that is communicably connected to the central processing unit and receives notification of an event detected by the sensor device via the central processing unit, the monitored person A monitored person monitoring support system for supporting the monitoring of
The sensor device is the sensor device according to claim 1 or claim 2,
The central processing unit includes a second detection processing unit that detects the predetermined event based on the received image when an image is received from the sensor device for detecting the predetermined event; When the detection processing unit detects the predetermined event, the detected predetermined event is sent to the terminal device that receives the notification of the event detected by the sensor device that transmitted the image for detecting the predetermined event. A notification processing unit that notifies ,
The second detection processing unit detects the predetermined event based on the received image with the second algorithm.
Monitored person monitoring support system.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017199066 | 2017-10-13 | ||
JP2017199066 | 2017-10-13 | ||
PCT/JP2018/030177 WO2019073685A1 (en) | 2017-10-13 | 2018-08-13 | Sensor device for monitored person monitoring assistance system, central processing device, sensor device processing method, and monitored person monitoring assistance system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019073685A1 JPWO2019073685A1 (en) | 2020-12-03 |
JP7234931B2 true JP7234931B2 (en) | 2023-03-08 |
Family
ID=66101367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019547932A Active JP7234931B2 (en) | 2017-10-13 | 2018-08-13 | Sensor Device of Monitored Person Monitoring Support System, Processing Method of Sensor Device, and Monitored Person Monitoring Support System |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7234931B2 (en) |
WO (1) | WO2019073685A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006120023A (en) | 2004-10-25 | 2006-05-11 | Hitachi Building Systems Co Ltd | Monitoring notification system |
JP2007049521A (en) | 2005-08-11 | 2007-02-22 | Sony Corp | Monitoring system, image processing apparatus, management apparatus, event monitoring method and program |
WO2017026309A1 (en) | 2015-08-10 | 2017-02-16 | コニカミノルタ株式会社 | Sensor device and care support system |
-
2018
- 2018-08-13 WO PCT/JP2018/030177 patent/WO2019073685A1/en active Application Filing
- 2018-08-13 JP JP2019547932A patent/JP7234931B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006120023A (en) | 2004-10-25 | 2006-05-11 | Hitachi Building Systems Co Ltd | Monitoring notification system |
JP2007049521A (en) | 2005-08-11 | 2007-02-22 | Sony Corp | Monitoring system, image processing apparatus, management apparatus, event monitoring method and program |
WO2017026309A1 (en) | 2015-08-10 | 2017-02-16 | コニカミノルタ株式会社 | Sensor device and care support system |
Also Published As
Publication number | Publication date |
---|---|
WO2019073685A1 (en) | 2019-04-18 |
JPWO2019073685A1 (en) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7021634B2 (en) | Central processing unit and central processing method of the monitored person monitoring system and the monitored person monitoring system | |
JP6226110B1 (en) | Monitored person monitoring apparatus, method and system | |
JP6740633B2 (en) | Central processing unit and central processing method of monitored person monitoring system, and monitored person monitoring system | |
WO2018230104A1 (en) | Central processing device and central processing method for person-to-be-monitored monitoring assist system, and person-to-be-monitored monitoring assist system | |
JP7234931B2 (en) | Sensor Device of Monitored Person Monitoring Support System, Processing Method of Sensor Device, and Monitored Person Monitoring Support System | |
JP6504255B2 (en) | Care support system and care support method | |
JP6686523B2 (en) | Monitored person monitoring apparatus, method and system | |
JP6895090B2 (en) | Detection system and display processing method of detection system | |
JP6673382B2 (en) | Terminal device, program and method | |
WO2020100461A1 (en) | Sensor device for to-be-monitored person monitoring assistance system, monitoring image storage method, and to-be-monitored person monitoring assistance system | |
JP7137155B2 (en) | Monitored Person Monitoring Support System, Monitored Person Monitoring Support Method and Program | |
JP6187732B1 (en) | Terminal device, terminal device operation control method, and monitored person monitoring system | |
JP6123961B1 (en) | Terminal device of monitored person monitoring system, terminal side monitoring processing method of the terminal device, and monitored person monitoring system | |
JP6172424B1 (en) | Terminal device, terminal device control method, and monitored person monitoring system | |
JP7167946B2 (en) | IMAGE RECORDING SYSTEM AND METHOD AND MONITORING SUPPORT SYSTEM | |
JP6245415B1 (en) | Terminal device, operation control method of terminal device, and monitored person monitoring system | |
JP7425413B2 (en) | Monitored person monitoring support device, monitored person monitoring support method, monitored person monitoring support system, and monitored person monitoring support server device | |
WO2020031531A1 (en) | Movement behavioral abnormality determination device and corresponding method, and person-to-be-monitored monitoring supporting system | |
JP2020188487A (en) | Central processing device, monitored person monitoring method, and monitored person monitoring system | |
WO2017130684A1 (en) | Monitored-person monitoring device, method thereof, and system thereof | |
JPWO2018230103A1 (en) | Monitored person monitoring apparatus and method, and monitored person monitoring support system | |
JP2019212172A (en) | Monitored person monitoring support system and method, and central management device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7234931 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |