JPWO2020031531A1 - Movement behavior abnormality determination device and its method, and monitored person monitoring support system - Google Patents
Movement behavior abnormality determination device and its method, and monitored person monitoring support system Download PDFInfo
- Publication number
- JPWO2020031531A1 JPWO2020031531A1 JP2020536372A JP2020536372A JPWO2020031531A1 JP WO2020031531 A1 JPWO2020031531 A1 JP WO2020031531A1 JP 2020536372 A JP2020536372 A JP 2020536372A JP 2020536372 A JP2020536372 A JP 2020536372A JP WO2020031531 A1 JPWO2020031531 A1 JP WO2020031531A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- movement behavior
- abnormality
- unit
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005856 abnormality Effects 0.000 title claims abstract description 289
- 238000012544 monitoring process Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 claims description 69
- 239000013598 vector Substances 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 49
- 230000002159 abnormal effect Effects 0.000 claims description 30
- 239000000284 extract Substances 0.000 claims description 16
- 230000005484 gravity Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 8
- 230000006399 behavior Effects 0.000 description 235
- 238000004891 communication Methods 0.000 description 139
- 238000012545 processing Methods 0.000 description 106
- 238000003384 imaging method Methods 0.000 description 32
- 230000009471 action Effects 0.000 description 31
- 238000005259 measurement Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000011410 subtraction method Methods 0.000 description 6
- 210000000746 body region Anatomy 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000000474 nursing effect Effects 0.000 description 4
- 230000002265 prevention Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Dentistry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本発明の移動行動異常判定装置、移動行動異常判定方法および被監視者監視支援システムは、所定の第1期間における時系列な複数の画像を取得し、この取得した複数の画像に基づいて対象者の移動行動を検出し、この検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する。The movement behavior abnormality determination device, the movement behavior abnormality determination method, and the monitored person monitoring support system of the present invention acquire a plurality of time-series images in a predetermined first period, and the subject is based on the acquired plurality of images. The movement behavior of the above is detected, and it is determined whether or not there is an abnormality in the movement behavior based on the detected movement behavior.
Description
本発明は、対象者における移動行動の異常を判定する移動行動異常判定装置および移動行動異常判定方法ならびに前記移動行動異常判定装置を備えた被監視者監視支援システムに関する。 The present invention relates to a movement behavior abnormality determination device for determining an abnormality in movement behavior in a subject, a movement behavior abnormality determination method, and a monitored person monitoring support system provided with the movement behavior abnormality determination device.
近年、超高齢社会の突入に伴って、看護業界や介護業界等の業務を補完する技術が、研究、開発されており、例えば、特許文献1に開示されている。
In recent years, with the entry of a super-aging society, technologies for complementing operations in the nursing industry, long-term care industry, etc. have been researched and developed, and are disclosed in, for example,
この特許文献1に開示された転倒防止装置は、前記装置のユーザの動きの測定結果を収集するための少なくとも1つのセンサと、前記測定結果から前記ユーザの歩行に関するパラメータに対する値を推定するため、および、前記ユーザが通常の転倒リスクにある場合の前記ユーザの動きから決定されるパラメータの値と前記推定値の比較から前記ユーザの転倒リスクを決定するための、プロセッサとを有し、前記プロセッサは、(i)前記測定結果の各々の大きさが閾値を超える、前記収集された測定結果における連続する測定結果のクラスタを識別する、(ii)前記測定結果の各々の大きさが閾値を超える、前記収集された測定結果における連続する測定結果のクラスタを、その大きさが前記閾値未満である前記測定結果のサブセットを除いて、識別し、ただし前記サブセットは時間閾値未満の期間に及ぶことを条件とする、または、(iii)前記収集された測定結果における連続する測定結果のクラスタを識別し、その大きさが第1の閾値を超える前記収集された測定結果内の第1の収集された測定結果は、クラスタ内の第1の測定結果をあらわし、その大きさが第2の閾値を下回る前記クラスタ内の第1の測定結果後の最初の収集された測定結果は、前記クラスタ内の最後の測定結果をあらわし、ただし前記最後の測定結果は前記第1の測定結果後の最短期間を上回ることを条件とする、ことにより前記収集された測定結果においてステップ境界を識別することにより前記ユーザの歩行に関するパラメータに対する前記値を推定する。そして、この転倒防止装置では、前記センサは、加速時計、磁力計およびジャイロスコープであり、ペンダントとしてユーザの首から吊り下げられて装着される(例えばその[0031]段落、[0032]段落および[0085]段落参照)。
The fall prevention device disclosed in
前記特許文献1に開示された転倒防止装置は、転倒リスクの高いことを警告するので、転倒そのものを予防できる。このため、例えば、転倒を検知して看護師や介護士等に報知するシステムでは、転倒の報知が低減され、これら看護師や介護士等における例えば報知による駆け付け等の負担の軽減が期待できる。また、転倒による怪我等を回避でき、対象者自身の負担の軽減も期待できる。しかしながら、前記特許文献1に開示された転倒防止装置では、対象者は、センサを装着しなければならず、装着行為や装着状態が煩わしいという問題や、装着を忘れてしまうという問題がある。
Since the fall prevention device disclosed in
本発明は、上述の事情に鑑みて為された発明であり、その目的は、装着の必要が無く、非接触で移動行動の異常を判定できる移動行動異常判定装置および移動行動異常判定方法ならびに前記移動行動異常判定装置を備えた被監視者監視支援システムを提供することである。 The present invention has been made in view of the above circumstances, and an object of the present invention is a movement behavior abnormality determination device and a movement behavior abnormality determination method capable of determining a movement behavior abnormality in a non-contact manner without the need for wearing, and the above-mentioned. It is to provide a monitored person monitoring support system equipped with a movement behavior abnormality determination device.
上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した移動行動異常判定装置、移動行動異常判定方法および被監視者監視支援システムは、所定の第1期間における時系列な複数の画像を取得し、この取得した複数の画像に基づいて対象者の移動行動を検出し、この検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する。 In order to achieve at least one of the above-mentioned objects, the movement behavior abnormality determination device, the movement behavior abnormality determination method, and the monitored person monitoring support system reflecting one aspect of the present invention are time-series in a predetermined first period. A plurality of images are acquired, the movement behavior of the target person is detected based on the acquired plurality of images, and it is determined whether or not there is an abnormality in the movement behavior based on the detected movement behavior.
発明の1または複数の実施形態により与えられる利点および特徴は、以下に与えられる詳細な説明および添付図面から十分に理解される。これら詳細な説明及び添付図面は、例としてのみ与えられるものであり本発明の限定の定義として意図されるものではない。 The advantages and features provided by one or more embodiments of the invention are fully understood from the detailed description and accompanying drawings provided below. These detailed descriptions and accompanying drawings are given by way of example only and are not intended as a limited definition of the present invention.
以下、図面を参照して、本発明の1または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。 Hereinafter, one or more embodiments of the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the disclosed embodiments. It should be noted that the configurations with the same reference numerals in the respective drawings indicate that they are the same configurations, and the description thereof will be omitted as appropriate. In the present specification, when they are generically referred to, they are indicated by reference numerals without subscripts, and when they refer to individual configurations, they are indicated by reference numerals with subscripts.
実施形態における被監視者監視支援システムは、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者、対象者)を監視する監視者(ユーザ)の前記監視を支援するものである。この被監視者監視支援システムは、本実施形態では、被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されたイベントの通知を受けて前記イベントを管理する中央管理装置、および、前記中央管理装置と通信可能に接続され前記中央管理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備える。そして、本実施形態の被監視者監視支援システムでは、前記センサ装置が前記被監視者を対象者として、前記対象者における移動行動の異常を判定する移動行動異常判定装置を備える。なお、後述するように、前記中央管理装置が前記移動行動異常判定装置を備えても良い。前記移動行動異常判定装置は、本実施形態では、所定の第1期間における時系列な複数の画像を取得する画像取得部と、前記画像取得部で取得した複数の画像に基づいて対象者の移動行動を検出する移動行動検出部と、前記移動行動検出部で検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定部とを備える。前記端末装置は、1種類の装置であって良いが、本実施形態態では、前記端末装置は、固定端末装置と携帯端末装置との2種類の装置である。これら固定端末装置と携帯端末装置との主な相違は、固定端末装置が固定的に運用される一方、携帯端末装置が例えば看護師や介護士等の監視者(ユーザ)に携行されて運用される点であり、これら固定端末装置と携帯端末装置とは、略同様である。以下、より具体的に説明する。 The monitored person monitoring support system in the embodiment supports the monitoring of the monitor (user) who monitors the monitored person (watching target person, target person) which is the monitoring target (watching target) to be monitored (watched). Is what you do. In the present embodiment, the monitored person monitoring support system is provided in response to the monitored person, and is communicably connected to a sensor device that detects a predetermined event related to the monitored person and the sensor device. A central management device that receives notification of an event detected by the sensor device and manages the event, and a notification of an event detected by the sensor device via the central management device that is communicably connected to the central management device. Equipped with a terminal device to receive. Then, in the monitored person monitoring support system of the present embodiment, the sensor device includes a moving behavior abnormality determining device that determines the abnormality of the moving behavior in the target person with the monitored person as the target person. As will be described later, the central management device may include the movement behavior abnormality determination device. In the present embodiment, the moving behavior abnormality determining device moves a target person based on an image acquisition unit that acquires a plurality of time-series images in a predetermined first period and a plurality of images acquired by the image acquisition unit. It includes a movement behavior detection unit that detects an action, and an abnormality determination unit that determines whether or not there is an abnormality in the movement behavior based on the movement behavior detected by the movement behavior detection unit. The terminal device may be one type of device, but in the present embodiment, the terminal device is two types of devices, a fixed terminal device and a mobile terminal device. The main difference between these fixed terminal devices and mobile terminal devices is that while fixed terminal devices are operated in a fixed manner, mobile terminal devices are carried and operated by observers (users) such as nurses and caregivers, for example. The fixed terminal device and the mobile terminal device are substantially the same. Hereinafter, a more specific description will be given.
図1は、実施形態における被監視者監視支援システムの構成を示す図である。図2は、前記被監視者監視支援システムにおけるセンサ装置の構成を示す図である。図3は、前記センサ装置の配設位置を説明するための図である。図4は、前記被監視者監視支援システムにおける管理サーバ装置の構成を示す図である。図5は、対象者(被監視者)の移動行動の検出処理を説明するための図である。図5Aは、6個の画像を1個に互いに重ねた場合(部屋RMの床面FLに投影した場合)における前記6個の画像それぞれから抽出された6個の頭部画像を示し、図5Bは、これら6個の頭部画像それぞれにおける中心位置を示す。図6は、初段階における移動行動の異常判定処理を説明するための図である。図6Aは、正常と判定される場合における基準ベクトルRBおよび各画像間ベクトルIVを示し、図6Bは、異常と判定される場合における基準ベクトルRBおよび各画像間ベクトルIVを示す。 FIG. 1 is a diagram showing a configuration of a monitored person monitoring support system in the embodiment. FIG. 2 is a diagram showing a configuration of a sensor device in the monitored person monitoring support system. FIG. 3 is a diagram for explaining the arrangement position of the sensor device. FIG. 4 is a diagram showing a configuration of a management server device in the monitored person monitoring support system. FIG. 5 is a diagram for explaining the detection process of the moving behavior of the target person (monitored person). FIG. 5A shows six head images extracted from each of the six images when the six images are superimposed on each other (projected onto the floor FL of the room RM), and FIG. 5B shows. Indicates the center position in each of these six head images. FIG. 6 is a diagram for explaining the abnormality determination process of the moving behavior in the initial stage. FIG. 6A shows the reference vector RB and each inter-image vector IV when it is determined to be normal, and FIG. 6B shows the reference vector RB and each inter-image vector IV when it is determined to be abnormal.
実施形態における被監視者監視支援システムMSは、被監視者Obの監視を支援するシステムであり、例えば、図1に示すように、1または複数のセンサ装置SU(SU−1〜SU−4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA−1、TA−2)と、構内交換機(PBX、Private branch exchange)CXとを備え、これらは、有線や無線で、LAN(Local Area Network)等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWは、通信信号を中継する例えばリピーター、ブリッジおよびルーター等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SU−1〜SU−4、管理サーバ装置SV、固定端末装置SP、複数の携帯端末装置TA−1、TA−2および構内交換機CXは、L2スイッチの集線装置(ハブ、HUB)LSおよびアクセスポイントAPを含む有線および無線の混在したLAN(例えばIEEE802.11規格に従ったLAN等)NWによって互いに通信可能に接続されている。より詳しくは、複数のセンサ装置SU−1〜SU−4、管理サーバ装置SV、固定端末装置SPおよび構内交換機CXは、集線装置LSに接続され、複数の携帯端末装置TA−1、TA−2は、アクセスポイントAPを介して集線装置LSに接続されている。そして、ネットワークNWは、TCP(Transmission control protocol)およびIP(Internet protocol)等のインターネットプロトコル群が用いられることによっていわゆるイントラネットを構成する。 The monitored person monitoring support system MS in the embodiment is a system that supports monitoring of the monitored person Ob, and for example, as shown in FIG. 1, one or a plurality of sensor devices SU (SU-1 to SU-4). A management server device SV, a fixed terminal device SP, one or more portable terminal devices TA (TA-1, TA-2), and a private branch exchange (PBX, Private network change) CX. It is connected by wire or wirelessly via a network (network, communication line) NW such as LAN (Local Area Network) so that it can communicate with each other. The network NW may be provided with repeaters such as repeaters, bridges and routers that relay communication signals. In the example shown in FIG. 1, the plurality of sensor devices SU-1 to SU-4, the management server device SV, the fixed terminal device SP, the plurality of mobile terminal devices TA-1, TA-2, and the premises exchange CX are L2 switches. Concentrators (hubs, HUBs) LS and mixed wired and wireless LANs including access point APs (eg LANs according to the 802.11 standard) NWs are communicatively connected to each other. More specifically, the plurality of sensor devices SU-1 to SU-4, the management server device SV, the fixed terminal device SP, and the private branch exchange CX are connected to the line concentrator LS, and the plurality of mobile terminal devices TA-1 and TA-2 are connected. Is connected to the concentrator LS via the access point AP. Then, the network NW constitutes a so-called intranet by using a group of Internet protocols such as TCP (Transmission Control Protocol) and IP (Internet Protocol).
構内交換機(回線切換機)CXは、ネットワークNWに接続され、携帯端末装置TA同士における発信、着信および通話等の内線電話の制御を行って前記携帯端末装置TA同士の内線電話を実施し、そして、例えば固定電話網や携帯電話網等の公衆電話網PNを介して例えば固定電話機や携帯電話機等の外線電話機TLに接続され、外線電話機TLと携帯端末装置TAとの間における発信、着信および通話等の外線電話の制御を行って外線電話機TLと携帯端末装置TAとの間における外線電話を実施するものである。構内交換機CXは、例えば、デジタル交換機や、IP−PBX(Internet Protocol Private Branch eXchange)等である。 The premises exchange (line switching machine) CX is connected to the network NW, controls the extension telephones such as outgoing calls, incoming calls, and calls between the mobile terminal devices TAs, and executes the extension telephones between the mobile terminal devices TAs. , For example, connected to an outside line telephone TL such as a fixed telephone or a mobile phone via a public telephone network PN such as a fixed telephone network or a mobile phone network, and makes, receives, and makes a call between the outside line telephone TL and the mobile terminal device TA. The outside line telephone is controlled between the outside line telephone TL and the mobile terminal device TA to carry out the outside line telephone. The private branch exchange CX is, for example, a digital exchange, an IP-PBX (Internet Protocol Private Branch eXchange), or the like.
被監視者監視支援システムMSは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者)Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視支援システムMSは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視支援システムMSは、複数の被監視者Obが入居する複数の居室RMや、ナースステーション等の複数の部屋を備える介護施設の建物に配設されている。 The monitored person monitoring support system MS is arranged at an appropriate place according to the monitored person Ob. The monitored person (person to be watched over) Ob is, for example, a person who needs nursing care due to illness or injury, a person who needs nursing care due to deterioration of physical ability, or a person living alone. In particular, from the viewpoint of enabling early detection and early response, the monitored person Ob may be a person who needs the detection when a predetermined inconvenient event such as an abnormal state occurs in the person. preferable. Therefore, the monitored person monitoring support system MS is suitably arranged in buildings such as hospitals, welfare facilities for the elderly, and dwelling units, depending on the type of monitored person Ob. In the example shown in FIG. 1, the monitored person monitoring support system MS is arranged in a plurality of living room RMs in which a plurality of monitored person Obs move in, or in a building of a nursing care facility having a plurality of rooms such as a nurse station. ..
センサ装置SUは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能等を備え、被監視者Obに関わる所定のイベント(事象)を、管理サーバ装置SVへ通知し、後述のイベント動画を管理サーバ装置SVへ送信する装置である。そして、本実施形態では、センサ装置SUは、移動行動異常判定装置として機能し、前記被監視者Obを対象者Obとして、前記対象者Obにおける移動行動の異常を判定する。前記所定のイベント(事象)は、好適には対処が必要な所定のイベントであり、例えば、本実施形態では、被監視者Obにおける予め設定された所定の行動およびナースコールである。このため、本実施形態では、センサ装置SUは、被監視者Obにおける所定の行動を検知して検知結果を前記所定のイベントの一例として管理サーバ装置SVへ通知(送信)し、ナースコールを受け付けて前記ナースコールを前記所定のイベントの他の一例として管理サーバ装置SVへ通知(送信)し、端末装置SP、TAとの間で音声通話を行い、動画を含む画像を生成して端末装置SP、TAへ動画を配信する装置し、そして、被監視者(対象者)Obにおける移動行動の異常を判定する。前記移動行動は、例えば走行や歩行等の移動に関する行動であり、前記移動行動の異常は、転倒の予兆を表す歩行、例えば、目的地点に対し左右にふらついた歩行や、前記目的地点から乖離して行く歩行である。このようなセンサ装置SUは、例えば、図2に示すように、画像取得部11と、音入出力部12と、ナースコール受付操作部13と、センサ側制御処理部(SU制御処理部)14と、センサ側通信インターフェース部(SU通信IF部)15と、センサ側記憶部(SU記憶部)16とを備える。
The sensor device SU has a communication function for communicating with other devices SV, SP, TA via the network NW, and notifies a predetermined event (event) related to the monitored person Ob to the management server device SV, which will be described later. This is a device that transmits the event video of the above to the management server device SV. Then, in the present embodiment, the sensor device SU functions as a movement behavior abnormality determination device, and determines the abnormality of the movement behavior in the target person Ob with the monitored person Ob as the target person Ob. The predetermined event (event) is a predetermined event that needs to be dealt with preferably, and is, for example, a predetermined action and a nurse call in the monitored person Ob in the present embodiment. Therefore, in the present embodiment, the sensor device SU detects a predetermined action in the monitored person Ob, notifies (transmits) the detection result to the management server device SV as an example of the predetermined event, and accepts the nurse call. The nurse call is notified (transmitted) to the management server device SV as another example of the predetermined event, a voice call is made between the terminal device SP and TA, an image including a moving image is generated, and the terminal device SP. , A device that delivers a moving image to the TA, and determines an abnormality in the movement behavior of the monitored person (target person) Ob. The moving behavior is, for example, an action related to movement such as running or walking, and the abnormality of the moving behavior is walking that indicates a sign of a fall, for example, walking that sways to the left or right with respect to the destination point, or deviates from the destination point. It is a walking that goes on. As shown in FIG. 2, for example, such a sensor device SU includes an
画像取得部11は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、所定の第1期間における時系列な複数の画像を取得する装置である。本実施形態では、前記所定のイベントの一例である所定の行動を画像から検出するので、画像取得部11は、時系列な複数の画像(画像データ)を生成する撮像部11である。撮像部11は、本実施形態では、前記所定のイベントの一例である所定の行動を検出可能であって、前記移動行動の異常を判定可能である時間間隔で、前記時系列な複数の画像を生成する。撮像部11は、時系列な複数の画像として、好ましくは、例えば5fpsや10fpsや15fpsや24fpsや30fps等の動画を生成する。撮像部11は、監視すべき監視対象である被監視者Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室(部屋)RM)を監視可能に配置され、例えば、図3に示すように、前記所在空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像(画像データ)を生成し、前記撮像対象の画像(対象画像)をSU制御処理部14へ出力する。好ましくは、監視対象の被監視者Ob全体を撮像できる蓋然性が高いことから、撮像部11は、例えば、床面FLに配置された、被監視者Obが横臥する寝具(例えばベッド等)における、被監視者Obの頭部が位置すると予定されている予め設定された頭部予定位置(通常、枕の配設位置)の直上から撮像対象を撮像できるように天井面CEに配設される。あるいは、例えば、前記所在空間全体を撮像できる蓋然性が高いことから、撮像部11は、天井面CEの略中央位置に配設される。センサ装置SUは、この撮像部11によって、被監視者Obを、被監視者Obの上方から撮像した画像、好ましくは前記頭部予定位置の直上や前記天井面CEの略中央位置から撮像した画像を取得する。
The
このような撮像部11は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Obを監視できるように、本実施形態では、赤外線の画像を生成する装置である。このような撮像部11は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するエリアイメージセンサ、および、エリアイメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データ、好ましくは動画データを生成する画像処理部等を備えるデジタル赤外線カメラである。撮像部11の前記結像光学系は、本実施形態では、その配設された居室RM全体を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。
Such an
音入出力部12は、音を入出力する回路である。すなわち、音入出力部12は、SU制御処理部14に接続され、SU制御処理部14の制御に従って音を表す電気信号に応じた音を生成して出力するための回路であって、外部の音を取得してセンサ装置SUに入力するための回路である。音入出力部12は、例えば、音の電気信号(音データ)を音の機械振動信号(音響信号)に変換するスピーカ等と、可聴領域の音の機械振動信号を電気信号に変換するマイクロフォン等とを備えて構成される。音入出力部12は、外部の音を表す電気信号をSU制御処理部14へ出力し、また、SU制御処理部14から入力された電気信号を音の機械振動信号に変換して出力する。
The sound input /
ナースコール受付操作部13は、SU制御処理部14に接続され、ナースコールを当該センサ装置SUに入力するための例えば押しボタン式スイッチ等のスイッチ回路である。なお、ナースコール受付操作部13は、有線でSU制御処理部14に接続されて良く、また、例えばBluetooth(登録商標)規格等の近距離無線通信でSU制御処理部14に接続されて良い。
The nurse call
SU通信IF部15は、SU制御処理部14に接続され、SU制御処理部14の制御に従って通信を行うための通信回路である。SU通信IF部15は、SU制御処理部14から入力された転送すべきデータを収容した通信信号を、この被監視者監視支援システムMSのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。SU通信IF部15は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをSU制御処理部14が処理可能な形式のデータに変換してSU制御処理部14へ出力する。SU通信IF部15は、例えば、IEEE802.11規格等に従った通信インターフェース回路を備えて構成される。
The SU communication IF
SU記憶部16は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、センサ装置SUの各部11〜13、15、16を当該各部の機能に応じてそれぞれ制御するSU制御プログラムや、被監視者Obに対する監視に関する所定の情報処理を実行するSU監視処理プログラムや、被監視者Obにおける移動行動の異常判定に関する所定の情報処理を実行する移動行動異常判定プログラムや、年月日時分秒で計時するSU時計プログラム等の制御処理プログラムが含まれる。前記SU監視処理プログラムには、被監視者Obにおける所定の行動を検知して検知結果を前記所定のイベント(事象)の一例として管理サーバ装置SVを介して所定の端末装置SP、TAへ通知する行動検知処理プログラムや、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として管理サーバ装置SVへ通知し、SU音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うナースコール処理プログラムや、撮像部11で生成した動画を、その動画を要求した端末装置SP、TAへストリーミングで配信するストリーミング処理プログラム等が含まれる。前記移動行動異常判定プログラムには、前記画像取得部の一例としての撮像部11で取得した複数の画像に基づいて被監視者(対象者)Obの移動行動を検出する移動行動検出プログラムや、前記移動行動検出プログラムで検出した検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定プログラム等が含まれる。前記各種の所定のデータには、自機の、センサ装置SUを特定し識別するための識別子であるセンサ装置識別子(センサID)、管理サーバ装置SVの通信アドレス、撮像部11で生成された動画、第1および第2回数カウンタCT1、CT2等の、各プログラムを実行する上で必要なデータ等が含まれる。SU記憶部16は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。SU記憶部16は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるSU制御処理部14のワーキングメモリとなるRAM(Random Access Memory)等を含む。そして、本実施形態では、SU記憶部16は、前記第1および第2回数カウンタCT1、CT2それぞれを記憶する第1および第2回数記憶部161、162を機能的に備える。前記第1回数カウンタCT1は、前記第2期間に含まれる複数の第1期間それぞれにおける初段階において前記移動行動に異常があると判定した第1回数を数えるために、前記第1回数を表すカウンタである。前記第2回数カウンタCT2は、前記第3期間に含まれる複数の第2期間それぞれにおける中間段階において前記移動行動に異常があると判定した第2回数を数えるために、前記第2回数を表すカウンタである。
The
SU制御処理部14は、センサ装置SUの各部11〜13、15、16を当該各部の機能に応じてそれぞれ制御し、被監視者Obに関わる所定のイベント(事象)を、管理サーバ装置SVへ通知し、イベント動画を管理サーバ装置SVへ送信するための回路である。そして、本実施形態では、SU制御処理部14は、前記被監視者Obを対象者Obとして、前記対象者Obにおける移動行動の異常を判定する。より具体的には、本実施形態では、SU制御処理部14は、被監視者Obにおける所定の行動を検知してその検知結果を前記所定のイベントの一例として管理サーバ装置SVへ通知(報知、送信)し、ナースコールを受け付けてそのナースコールを前記所定のイベントの他の一例として管理サーバ装置SVへ通知(報知、送信)し、端末装置SP、TAとの間で音声通話を行い、動画を含む画像を生成して端末装置SP、TAへ動画を配信し、そして、被監視者(対象者)Obにおける移動行動の異常を判定する。SU制御処理部14は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。SU制御処理部14は、前記制御処理プログラムが実行されることによって、センサ側制御部(SU制御部)141、行動検知処理部142、ナースコール処理部143、ストリーミング処理部144、移動行動検出部145、異常判定部146およびセンサ側時計部(SU時計部)147を機能的に備え、異常判定部146は、第1ないし第3判定部1461〜1463を機能的に備える。
The SU
SU制御部141は、センサ装置SUの各部11〜13、15、16を当該各部の機能に応じてそれぞれ制御し、センサ装置SUの全体制御を司るものである。
The
行動検知処理部142は、被監視者Obにおける、予め設定された所定の行動を検知して検知結果を前記所定のイベントの一例として管理サーバ装置SVへ通知するものである。より具体的には、本実施形態では、前記所定の行動は、例えば、被監視者Obが起きた起床、被監視者Obが寝具から離れた離床、被監視者Obが寝具から落ちた転落、および、被監視者Obが倒れた転倒の4つの行動である。そして、行動検知処理部142は、例えば、撮像部11で撮像した対象画像に基づいて被監視者Obの頭部を検出し、この検出した被監視者Obの頭部における大きさの時間変化に基づいて被監視者Obの起床、離床、転倒および転落を検知する。より詳しくは、まず、寝具BDの所在領域、第1閾値Th1、第2閾値Th2および第3閾値Th3が前記各種の所定のデータの1つとして予めSU記憶部16に記憶される。前記第1閾値Th1は、寝具BDの所在領域内における横臥姿勢の頭部の大きさと座位姿勢の頭部の大きさとを識別するための閾値である。前記第2閾値Th2は、寝具BDの所在領域を除く居室RM内における立位姿勢の頭部の大きさであるか否かを識別するための閾値である。前記第3閾値Th3は、寝具BDの所在領域を除く居室RM内における横臥姿勢の頭部の大きさであるか否かを識別するための閾値である。そして、行動検知処理部142は、対象画像から例えば背景差分法やフレーム差分法によって被監視者Obの人物の領域として動体領域を抽出する。次に、行動検知処理部142は、この抽出した動体領域から、例えば円形や楕円形のハフ変換によって、また例えば予め用意された頭部のモデルを用いたパターンマッチングによって、また例えば頭部検出用に学習したニューラルネットワークによって、被監視者Obの頭部領域を抽出する。次に、行動検知処理部142は、この抽出した頭部の位置および大きさから起床、離床、転倒および転落を検知する。例えば、行動検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域内であって、前記抽出した頭部の大きさが前記第1閾値Th1を用いることによって横臥姿勢の大きさから座位姿勢の大きさへ時間変化した場合には、起床と判定し、前記起床を検知する。例えば、行動検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域内から寝具の所在領域外へ時間変化した場合であって、前記抽出した頭部の大きさが前記第2閾値Th2を用いることによって或る大きさから立位姿勢の大きさへ時間変化した場合には、離床と判定し、前記離床を検知する。例えば、行動検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域内から寝具BDの所在領域外へ時間変化した場合であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転落と判定し、前記転落を検知する。例えば、行動検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域を除く居室RM内であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転倒と判定し、前記転倒を検知する。
The action
このように前記所定の行動を検知すると、行動検知処理部142は、被監視者Obに関わる所定のイベント(事象)の内容を表すイベント情報(事象情報)を収容した、前記イベントを通知するための通信信号(第1イベント通知通信信号)をSU通信IF部15で管理サーバ装置SVへ通知する。より詳しくは、行動検知処理部142は、自機のセンサID、前記イベントの内容を表すイベント情報、前記所定の行動を検知した時刻(検知時刻)、前記所定の行動の検知に用いられた対象画像を収容した第1イベント通知通信信号を、SU通信IF部15を介して管理サーバ装置SVへ送信する。前記イベント情報は、本実施形態では、起床、離床、転落、転倒およびナースコール(NC)のうちの1または複数であり、ここでは、行動検知処理部142は、検知した起床、離床、転落および転倒のうちの1または複数を前記イベント情報として第1イベント通知通信信号に収容する。前記画像は、静止画および動画のうちの少なくとも一方であって良く、本実施形態では、まず、静止画が報知され、ユーザの要求に応じて動画が配信される。なお、まず、動画が配信されても良く、また、静止画および動画が送信され、画面分割で静止画および動画が端末装置SP、TAに表示されても良い。
When the predetermined action is detected in this way, the action
ナースコール処理部143は、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として収容した第1イベント通知通信信号を管理サーバ装置SVへ通知し、音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うものである。より具体的には、ナースコール処理部143は、ナースコール受付操作部13が入力操作されると、自機のセンサID、前記ナースコールを検知した時刻(検知時刻)、および、前記イベント情報としてナースコールを収容した第1イベント通知通信信号をSU通信IF部15を介して管理サーバ装置SVへ送信する。そして、ナースコール処理部143は、音入出力部12等を用い、端末装置SP、TAとの間で例えばVoIP(Voice over Internet Protocol)によって音声通話を行う。
When the nurse call
ストリーミング処理部144は、SU通信IF部15を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、撮像部11で生成した動画(例えばライブの動画)をストリーミング再生でSU通信IF部15を介して配信するものである。
When the
移動行動検出部145は、前記画像取得部の一例としての撮像部11で取得した複数の画像に基づいて被監視者(対象者)Obの移動行動を検出するものである。より具体的には、本実施形態では、移動行動検出部145は、前記複数の画像それぞれについて、当該画像から前記被監視者Obの頭部の画像を頭部画像として抽出し、前記抽出した頭部画像における中心位置または重心位置を移動位置として抽出し、前記複数の画像における、前記抽出した各移動位置を前記対象者の移動行動として検出する。より詳しくは、移動行動検出部145は、前記複数の画像それぞれについて、上述の行動検知処理部142と同様に、まず、当該画像から例えば背景差分法やフレーム差分法によって被監視者Obの人物の領域として動体領域を抽出する。次に、移動行動検出部145は、この抽出した動体領域から、例えば円形や楕円形のハフ変換によって、また例えば予め用意された頭部のモデルを用いたパターンマッチングによって、また例えば頭部検出用に学習したニューラルネットワークによって、被監視者Obの頭部領域を前記頭部画像として抽出する。なお、行動検知処理部142が抽出した被監視者Obの頭部領域が前記頭部画像として流用されても良い。次に、移動行動検出部145は、この抽出した被監視者Obの頭部領域(頭部画像)における例えば中心位置を移動位置として求める。なお、前記中心位置に代え、重心位置が用いられても良い。前記中心位置は、例えば、被監視者Obの頭部領域(頭部画像)に外接する外接矩形における2つの対角線の交点、あるいは、被監視者Obの頭部領域(頭部画像)に外接する外接円の中心点である。前記重心位置は、被監視者Obの頭部領域(頭部画像)を構成する各画素の分布の中心点である。そして、移動行動検出部145は、前記複数の画像における、前記抽出した各移動位置を前記被監視者Obの移動行動として求める。例えば、図5Aに示すように、6個の画像(フレーム)それぞれについて、6個の頭部領域(頭部画像)HP−1〜HP−6が抽出され、これら抽出された6個の頭部領域(頭部画像)HP−1〜HP−6それぞれから、その各中心位置が移動位置MPとして求められると、図5Bに示すように、6個の移動位置MP−1〜MP−6が前記被監視者Obの移動行動として求められる。これら6個の移動位置MP−1〜MP−6を順に線分で連結することで、前記被監視者Obの移動軌跡が分かる。
The moving
異常判定部146は、移動行動検出部145で検出した検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定するものである。前記移動行動の異常の有無は、転倒の予兆を表す歩行であるか否か、例えば、目的地点に対し左右にふらついた歩行であるか否かや、前記目的地点から乖離して行く歩行であるか否かによって判定される。そして、一段階で移動行動の異常が判定されても良いが、本実施形態では、判定期間の長短に応じた複数段階、例えば三段階で前記異常の有無が判定される。このため、異常判定部146は、所定の第1期間において初段階で異常の有無を判定する第1判定部1461と、前記第1期間より長い所定の第2期間において中間段階で異常の有無を判定する第2判定部1462と、前記第2期間より長い所定の第3期間において最終段階で異常の有無を判定する第3判定部1463とを機能的に備えている。
The
より具体的には、第1判定部1461は、前記第1期間における最初の画像の移動位置を始点とすると共に前記第1期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度を求め、前記求めた複数の角度のうち、所定の角度閾値Than以上である角度の個数を求め、前記求めた個数が所定の第1判定閾値DTh1以上である場合に、初段階において前記移動行動に異常があると判定するものである。前記第1期間は、本実施形態では、上記ふらつく歩行か否かや目的地点から乖離して行く歩行か否かを判定するために必要な時間であり、複数のサンプルを用いて適宜に設定され、例えば、数秒以下の時間である。前記角度閾値Thanは、本実施形態では、上記ふらつく歩行か否かや目的地点から乖離して行く歩行か否かを判定するために必要な角度であり、複数のサンプルを用いて適宜に設定される。前記第1判定閾値DTh1は、本実施形態では、上記ふらつく歩行か否かや目的地点から乖離して行く歩行か否かを判定するために必要な回数であり、複数のサンプルを用いて適宜に設定される。例えば、上述の図5に示す例では、図6Aに示すように、前記第1期間における最初の画像の移動位置MP−1を始点とすると共に前記第1期間における最後の画像の移動位置MP−6を終点とするベクトルが基準ベクトルRVとして求められ、前記6個の画像(フレーム)それぞれについて、当該画像の移動位置MP−kと当該画像に時系列順で後続に隣接する画像の移動位置MP−(k+1)とを時系列順に始点および終点とするベクトルが画像間ベクトルIV−1〜IV−5として求められる。続いて、これら画像間ベクトルIV−1〜IV−5それぞれについて、当該画像間ベクトルIV−k(k=1、2、3、4、5)と基準ベクトルRVとの間の角度θkが求められ、これら求められた角度θ1〜θ5のうち、角度閾値Than以上である角度の個数Nanが求められる。そして、この求められた個数Nanが第1判定閾値DTh1以上である場合に、初段階において前記移動行動に異常があると判定される。一例として、前記角度閾値Thanが70度であり、前記第1判定閾値DTh1が3個である場合には、図6Aに示す場合は、前記個数Nanが0と求められ、初段階において異常無し(正常)と判定される。一方、図6Bに示す場合では、前記個数Nanが4と求められ、初段階において異常有りと判定される。
More specifically, the
そして、第1判定部1461は、初段階において前記移動行動に異常があると判定すると、初段階において前記移動行動に異常がある旨を表す初段階異常情報および自機のセンサIDを収容した通信信号(初段階異常通知通信信号)を管理サーバ装置SV宛に生成し、この生成した初段階異常通知通信信号をSU通信IF部15で送信する。
Then, when the
第2判定部1462は、前記第2期間に含まれる複数の第1期間それぞれにおける前記初段階において前記移動行動に異常があると判定した第1回数を求め、前記求めた第1回数が所定の第2判定閾値DTh2以上である場合に、中間段階において前記移動行動に異常があると判定するものである。前記第2期間は、上述のように前記第1期間より長ければ、任意で適宜に設定され、例えば監視者が中間判定したい期間(例えば1日や2日等)で設定される。前記第2期間に含まれる複数の第1期間が互いに隣接する2つの第1期間において一部重複するように、前記第2期間が設定されて良く、あるいは、前記第2期間に含まれる複数の第1期間が互いに独立であるように(互いに隣接する2つの第1期間において重複しないように)、前記第2期間が前記第1期間の整数倍で設定されて良い。前記第2判定閾値DTh2は、本実施形態では、複数のサンプルを用いて適宜に設定される。
The
そして、第2判定部1462は、中間段階において前記移動行動に異常があると判定すると、中間段階において前記移動行動に異常がある旨を表す中間段階異常情報および自機のセンサIDを収容した通信信号(中間段階異常通知通信信号)を管理サーバ装置SV宛に生成し、この生成した中間段階異常通知通信信号をSU通信IF部15で送信する。
Then, when the
第3判定部1463は、前記第3期間に含まれる複数の第2期間それぞれにおける前記中間段階において前記移動行動に異常があると判定した第2回数を求め、前記求めた第2回数が所定の第3判定閾値DTh3以上である場合に、最終段階において前記移動行動に異常があると判定するものである。前記第3期間は、上述のように前記第2期間より長ければ、任意で適宜に設定され、例えば監視者が最終判定したい期間(例えば1週間や2週間や1ヶ月等)で設定される。前記第3期間に含まれる複数の第2期間が互いに隣接する2つの第1期間において一部重複するように、前記第3期間が設定されて良く、あるいは、前記第3期間に含まれる複数の第2期間が互いに独立であるように(互いに隣接する2つの第2期間において重複しないように)、前記第3期間が前記第2期間の整数倍で設定されて良い。前記第3判定閾値DTh3は、本実施形態では、複数のサンプルを用いて適宜に設定される。
The
そして、第3判定部1463は、最終段階において前記移動行動に異常があると判定すると、最終段階において前記移動行動に異常がある旨を表す最終段階異常情報および自機のセンサIDを収容した通信信号(最終段階異常通知通信信号)を管理サーバ装置SV宛に生成し、この生成した最終段階異常通知通信信号をSU通信IF部15で送信する。
Then, when the third determination unit 1464 determines that the movement behavior is abnormal in the final stage, the communication accommodating the final stage abnormality information indicating that the movement behavior is abnormal in the final stage and the sensor ID of the own machine. A signal (final stage abnormality notification communication signal) is generated to the management server device SV, and the generated final stage abnormality notification communication signal is transmitted by the SU communication IF
SU時計部147は、年月日時分秒で計時するものである。
The
図1には、一例として、第1ないし第4センサ装置SU−1〜SU−4が示されており、第1センサ装置SU−1は、被監視者Obの一人であるAさんOb−1の居室RM−1(不図示)に配設され、第2センサ装置SU−2は、被監視者Obの一人であるBさんOb−2の居室RM−2(不図示)に配設され、第3センサ装置SU−3は、被監視者Obの一人であるCさんOb−3の居室RM−3(不図示)に配設され、そして、第4センサ装置SU−4は、被監視者Obの一人であるDさんOb−4の居室RM−4(不図示)に配設されている。 In FIG. 1, the first to fourth sensor devices SU-1 to SU-4 are shown as an example, and the first sensor device SU-1 is Mr. A Ob-1 who is one of the monitored persons Ob. The second sensor device SU-2 is arranged in the living room RM-2 (not shown) of Mr. B Ob-2, who is one of the monitored persons Ob, and is arranged in the living room RM-2 (not shown). The third sensor device SU-3 is arranged in the living room RM-3 (not shown) of Mr. C Ob-3, who is one of the monitored persons Ob, and the fourth sensor device SU-4 is the monitored person. It is arranged in the living room RM-4 (not shown) of Mr. D Ob-4, who is one of the Obs.
管理サーバ装置SVは、ネットワークNWを介して他の装置SU、TA、SPと通信する通信機能を備え、センサ装置SUから前記所定のイベントの通知を受けると、被監視者Obに対する監視に関する情報(監視情報(本実施形態では例えば前記所定のイベント(センサ装置SUで検知した所定の行動の種類やセンサ装置SUで受け付けたナースコール)、被監視者Obの画像(静止画および動画)、および、前記検知時刻等))を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知(再通知、再報知、送信)し、クライアント(本実施形態では端末装置SP、TA等)の要求に応じたデータを前記クライアントに提供し、被監視者監視支援システムMS全体を管理する装置である。そして、本実施形態では、管理サーバ装置SVは、センサ装置SUから受信した、初段階における移動行動の異常判定結果、中間段階における移動行動の異常判定結果および最終段階における移動行動の異常判定結果を各センサ装置SUごとに(各被監視者Obごとに)管理する。このような管理サーバ装置SVは、例えば、図3に示すように、サーバ側通信インターフェース部(SV通信IF部)21と、サーバ側制御処理部(SV制御処理部)22と、サーバ側記憶部(SV記憶部)23とを備える。 The management server device SV has a communication function for communicating with other devices SU, TA, and SP via the network NW, and when the sensor device SU notifies the predetermined event, the information regarding the monitoring of the monitored person Ob ( Monitoring information (in the present embodiment, for example, the predetermined event (type of predetermined action detected by the sensor device SU or a nurse call received by the sensor device SU), an image (still image and moving image) of the monitored person Ob, and The detection time, etc.)) is managed, the predetermined event is notified (re-notification, re-notification, transmission) to the predetermined terminal device SP, TA, and the request of the client (terminal device SP, TA, etc. in the present embodiment) is performed. This is a device that provides the client with data according to the above and manages the entire monitored person monitoring support system MS. Then, in the present embodiment, the management server device SV receives the abnormality determination result of the movement behavior in the first stage, the abnormality determination result of the movement behavior in the intermediate stage, and the abnormality determination result of the movement behavior in the final stage received from the sensor device SU. It is managed for each sensor device SU (for each monitored person Ob). As shown in FIG. 3, such a management server device SV includes, for example, a server-side communication interface unit (SV communication IF unit) 21, a server-side control processing unit (SV control processing unit) 22, and a server-side storage unit. (SV storage unit) 23 is provided.
SV通信IF部21は、SU通信IF部15と同様に、SV制御処理部22に接続され、SV制御処理部22の制御に従って通信を行うための通信回路である。SV通信IF部21は、例えば、IEEE802.11規格等に従った通信インターフェース回路を備えて構成される。
Similar to the SU communication IF
SV記憶部23は、SV制御処理部22に接続され、SV制御処理部22の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、管理サーバ装置SVの各部21、23を当該各部の機能に応じてそれぞれ制御するSV制御プログラムや、被監視者Obに対する監視に関する所定の情報処理を実行する監視処理プログラムや、センサ装置SUから受信した各段階における移動行動の異常判定結果を管理する判定処理プログラムや、年月日時分秒で計時を行うSV時計プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、自機の、管理サーバ装置SVを特定し管理サーバ装置SVを識別するためのサーバ識別子(サーバID)や、被監視者Obの前記監視情報や、前記所定のイベント(事象)の通知先等の装置SU、SP、TA間の情報を表す装置間情報や、センサ装置SUに関するセンサ情報や、端末装置SP、TAに関する端末情報や、各段階における移動行動の異常判定結果等の各プログラムを実行する上で必要なデータ等が含まれる。これら監視情報、装置間情報、センサ情報、端末情報、各段階における移動行動の異常判定結果それぞれを記憶するために、SV記憶部23は、監視情報記憶部231、装置間情報記憶部232、センサ情報記憶部233、端末情報記憶部234および判定結果記憶部235を機能的に備える。
The
SV監視情報記憶部231は、各装置SU、SP、TAそれぞれとの間で送受信した被監視者Obの監視情報を記憶するものである。より具体的には、SV監視情報記憶部231には、本実施形態では、前記監視情報として、第1イベント通知通信信号等の通信信号に収容された各情報に基づいて、センサID、イベント情報(事象情報、本実施形態では起床、離床、転落、転倒およびナースコール)、検知時刻、対象画像、ライブ動画の取得先としてセンサ装置SUの通信アドレスおよび対処の有無(対応の受付の有無)が互いに対応付けて記憶される。前記対処の有無は、端末装置SP、TAで受信した通信信号に収容されたイベント情報に対する対処(対応、処置、措置)する意思が前記端末装置SP、TAを扱う監視者にある旨を、前記端末装置SP、TAで受け付けたか否かを表す情報である。
The SV monitoring
装置間情報記憶部232は、前記装置間情報として、本実施形態では、センサ装置SUから送信された第1イベント通知通信信号等の通知先(再通知先、再報知先、送信先)を示す、送信元であるセンサIDと通知先(再通知先)である端末IDとの対応関係(通知先対応関係)、および、各装置SU、SP、TAのID(センサID、端末ID)とその通信アドレスとの対応関係(通信アドレス対応関係)等を記憶するものである。前記端末IDは、端末装置SP、TAを特定し端末装置SP、TAを識別するための端末識別子である。
In the present embodiment, the inter-device
なお、センサID、サーバIDおよび端末IDそれぞれは、例えば所定の記号列から成るシリアル番号等であって良く、また例えば通信アドレスであって良い(この場合通信アドレス対応関係は省略できる)。 Each of the sensor ID, the server ID, and the terminal ID may be, for example, a serial number consisting of a predetermined symbol string or the like, or may be, for example, a communication address (in this case, the communication address correspondence relationship can be omitted).
センサ情報記憶部233は、前記センサ情報を記憶するものである。本実施形態では、前記センサ情報は、センサ装置SUに関する情報であり、センサ装置SUのセンサIDと被監視者Obの被監視者名とを互いに対応付けた情報である。
The sensor
端末情報記憶部234は、前記端末情報として、本実施形態では、端末装置SP、TAにログインしている監視者(ユーザ)(端末装置SP、TAを扱っている監視者)を示すログイン監視者情報、および、監視者の勤務状況(勤務シフト、勤務時間)を示す監視者勤務情報等を記憶するものである。
In the present embodiment, the terminal
判定結果記憶部235は、センサ装置SUから受信した、初段階における移動行動の異常判定結果、中間段階における移動行動の異常判定結果および最終段階における移動行動の異常判定結果を、送信元のセンサ装置SUの持つセンサIDおよび受信時刻と対応付けて記憶するものである。
The determination
SV制御処理部22は、管理サーバ装置SVの各部21、23を当該各部の機能に応じてそれぞれ制御し、センサ装置SUから前記所定のイベントの通知を受けると、被監視者Obに対する監視に関する監視情報を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知(再通知、再報知、送信)し、クライアントの要求に応じたデータを前記クライアントに提供し、被監視者監視支援システムMS全体を管理するための回路である。そして、本実施形態では、SV制御処理部22は、センサ装置SUから受信した各段階における移動行動の異常判定結果を管理する。SV制御処理部22は、例えば、CPUおよびその周辺回路を備えて構成される。SV制御処理部22は、前記制御処理プログラムが実行されることによって、サーバ側制御部(SV制御部)221、監視処理部222、判定結果処理部223およびサーバ側時計部(SV時計部)224を機能的に備える。
The SV
SV制御部221は、管理サーバ装置SVの各部21、23を当該各部の機能に応じてそれぞれ制御し、管理サーバ装置SVの全体制御を司るものである。
The
監視処理部222は、センサ装置SUから前記所定のイベントの通知を受信すると被監視者Obに対する監視に関する監視情報を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知するものである。より具体的には、監視処理部222は、センサ装置SUから前記第1イベント通知通信信号を受信すると、この受信した第1イベント通知通信信号に収容された、被監視者Obに対する監視に関する監視情報をSV監視情報記憶部231に記憶(記録)する。監視処理部222は、前記受信した第1イベント通知通信信号を送信したセンサ装置SUに対応する通知先(再通知先、転送先、送信先)を、装置間情報記憶部232に記憶された前記通知先対応関係から選定(検索)し、これら選定結果に基づいて第2イベント通知通信信号を生成し、この生成した第2イベント通知通信信号をSV通信IF部21で送信する。この通知先の端末装置SP、TAの選定(検索処理)は、前記受信した第1イベント通知通信信号を送信したセンサ装置SUに対応するセンサIDに基づいて実施される。前記第1イベント通知通信信号に収容されたイベント情報が前記所定の行動(起床、離床、転落および転倒のうちの1または複数)である場合には、前記第2イベント通知通信信号には、第1イベント通知通信信号に収容されたセンサID、イベント情報および対象画像、ならびに、動画のダウンロード先として、第1イベント通知通信信号に収容されたセンサIDを持つセンサ装置SUに対応する通信アドレスが収容される。前記第1イベント通知通信信号に収容されたイベント情報が前記ナースコールである場合には、前記第2イベント通知通信信号には、第1イベント通知通信信号に収容されたセンサIDおよびイベント情報が収容される。
When the
判定結果処理部223は、センサ装置SUから受信した各段階における移動行動の異常判定結果を管理するものである。
The determination
より具体的には、初段階異常通知通信信号が受信されると、判定結果処理部223は、この受信した初段階異常通知通信信号に収容された初段階異常情報およびセンサIDと、その受信時刻とを対応付けてSV記憶部23の判定結果記憶部235に記憶する。中間段階異常通知通信信号が受信されると、判定結果処理部223は、この受信した中間段階異常通知通信信号に収容された中間段階異常情報およびセンサIDと、その受信時刻とを対応付けてSV記憶部23の判定結果記憶部235に記憶する。最終階異常通知通信信号が受信されると、判定結果処理部223は、この受信した最終階異常通知通信信号に収容された最終段階異常情報およびセンサIDと、その受信時刻とを対応付けてSV記憶部23の判定結果記憶部235に記憶する。なお、初段階異常通知通信信号、中間段階異常通知通信信号および最終段階異常通知通信信号それぞれに、センサ装置SUでその判定時刻が収容される場合には、前記受信時刻に代え、前記判定時刻が用いられても良い。そして、クライアントとして端末装置SP、TAから、初段階異常情報や中間段階異常情報や最終段階異常情報が要求されると、判定結果処理部223は、SV記憶部23の判定結果記憶部235に記憶されている初段階異常情報や中間段階異常情報や最終段階異常情報を、要求元の端末装置SP、TAへ返信する。この返信を受信した端末装置SP、TAは、初段階異常情報や中間段階異常情報や最終段階異常情報を表示する。なお、管理サーバ装置は、上述のように第1イベント通知通信信号の受信による第2イベント通知通信信号の送信と同様に、初段階異常通知通信信号、中間段階異常通知通信信号および最終階異常通知通信信号を受信した場合に、送信元のセンサ装置SUに対応する送信先の端末装置SP、TAへ、初段階異常情報、中間段階異常情報および最終段階異常情報を送信しても良い。
More specifically, when the first-stage abnormality notification communication signal is received, the determination
SV時計部224は、年月日時分秒で計時を行うものである。
The
なお、管理サーバ装置SVは、図4に破線で示すように、必要に応じて、さらに、SV制御処理部22に接続され例えば各種コマンドや各種データ等を入力するサーバ側入力部(SV入力部)24、SV入力部24で入力された各種コマンドや各種データおよび被監視者Obに対する監視に関する監視情報等を出力するサーバ側出力部(SV出力部)25、および、外部機器との間でデータの入出力を行うサーバ側インターフェース部(SVIF部)26等を備えても良い。
As shown by the broken line in FIG. 4, the management server device SV is further connected to the SV
このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。 Such a management server device SV can be configured by, for example, a computer having a communication function.
この管理サーバ装置SVは、中央処理装置の一例に相当する。 This management server device SV corresponds to an example of a central processing unit.
固定端末装置SPは、ネットワークNWを介して他の装置SU、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUで得られた監視情報を表示したり等することによって、被監視者監視支援システムMSのユーザインターフェース(UI)として機能する機器である。本実施形態では、固定端末装置SPは、初段階異常情報や中間段階異常情報や最終段階異常情報を表示する。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。 The fixed terminal device SP includes a communication function for communicating with other devices SU, SV, and TA via a network NW, a display function for displaying predetermined information, an input function for inputting predetermined instructions and data, and the like. The person to be monitored by inputting predetermined instructions and data given to the management server device SV and the mobile terminal device TA, displaying the monitoring information obtained by the sensor device SU by the notification from the management server device SV, and the like. It is a device that functions as a user interface (UI) of the monitoring support system MS. In the present embodiment, the fixed terminal device SP displays the first stage abnormality information, the intermediate stage abnormality information, and the final stage abnormality information. Such a fixed terminal device SP can be configured by, for example, a computer having a communication function.
携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUで得られた前記監視情報を表示したり、センサ装置SUとの間で音声通話によってナースコールの応答や声かけしたり等するための機器である。本実施形態では、携帯端末装置TAは、初段階異常情報や中間段階異常情報や最終段階異常情報を表示する。このような携帯端末装置TAは、例えば、通信機能付きのタブレット型コンピュータや、いわゆるスマートフォンによって構成可能である。 The mobile terminal device TA has a communication function for communicating with other devices SV, SP, and SU via a network NW, a display function for displaying predetermined information, an input function for inputting predetermined instructions and data, and a voice call. It is equipped with a call function to perform, inputting predetermined instructions and data given to the management server device SV and the sensor device SU, displaying the monitoring information obtained by the sensor device SU by notification from the management server device SV, and displaying the monitoring information. It is a device for answering and calling a nurse call by voice call with the sensor device SU. In the present embodiment, the mobile terminal device TA displays the first stage abnormality information, the intermediate stage abnormality information, and the final stage abnormality information. Such a mobile terminal device TA can be configured by, for example, a tablet computer having a communication function or a so-called smartphone.
次に、本実施形態における被監視者監視支援システムMSの動作について説明する。図7は、前記被監視者監視支援システムにおけるイベントの通知に関する動作を示すシーケンス図である。図8は、前記センサ装置における移動行動の異常判定に関する動作を示すフローチャートである。 Next, the operation of the monitored person monitoring support system MS in this embodiment will be described. FIG. 7 is a sequence diagram showing an operation related to event notification in the monitored person monitoring support system. FIG. 8 is a flowchart showing an operation related to abnormality determination of the movement behavior in the sensor device.
このような被監視者監視支援システムMSでは、各装置SU、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。センサ装置SUでは、その制御処理プログラムの実行によって、SU制御処理部14には、SU制御部141、行動検知処理部142、ナースコール処理部143、SUストリーミング処理部144、移動行動検出部145、異常判定部146およびSU時計部147が機能的に構成され、異常判定部146には、第1ないし第3判定部1461〜1463が機能的に構成される。管理サーバ装置SVでは、その制御処理プログラムの実行によって、SV制御処理部22には、SV制御部221、監視処理部222、判定結果処理部223およびSV時計部224が機能的に構成される。
In such a monitored person monitoring support system MS, each device SU, SV, SP, and TA executes necessary initialization of each part when the power is turned on, and starts its operation. In the sensor device SU, by executing the control processing program, the SU
まず、被監視者監視支援システムMSにおけるイベントの通知に関する動作について説明する。図7において、センサ装置SUは、イベントを検知すると(C1)、この検知したイベントを通知するために、第1イベント通知通信信号を管理サーバ装置SVへ送信する(C2)。より具体的には、センサ装置SUは、その稼働を始めると、各フレームごとに、あるいは、数フレームおきに、次のように動作することで、前記所定のイベントを検知し、前記所定のイベントを検知した場合に第1イベント通知通信信号を管理サーバ装置SVへ送信する。センサ装置SUは、撮像部11から1フレーム分の画像(画像データ)を対象画像として取得し、この取得した対象画像に基づいて被監視者Obにおける所定の行動を検知し、前記所定の行動を検知すると、その検知結果を所定の端末装置SP、TAへ通知するために、前記イベント情報として検知した前記所定の行動を収容した、行動検知の第1イベント通知通信信号を、SU通信IF部15で管理サーバ装置SVへ送信する。このように動作している間に、センサ装置SUは、ナースコールを受け付けているか否かを判定し、ナースコールを受け付けると、そのナースコールの受付を所定の端末装置SP、TAへ通知するために、センサ装置SUは、前記イベント情報として前記受け付けたナースコールを収容した、ナースコール検知の第1イベント通知通信信号を、SU通信IF部15で管理サーバ装置SVへ送信する。
First, the operation related to event notification in the monitored person monitoring support system MS will be described. In FIG. 7, when the sensor device SU detects an event (C1), the sensor device SU transmits a first event notification communication signal to the management server device SV (C2) in order to notify the detected event. More specifically, when the sensor device SU starts its operation, it operates at each frame or every few frames as follows to detect the predetermined event and detect the predetermined event. Is detected, the first event notification communication signal is transmitted to the management server device SV. The sensor device SU acquires an image (image data) for one frame from the
続いて、センサ装置SUから第1イベント通知通信信号を受信すると(C3)、管理サーバ装置SVは、監視処理部222によって、この受信した第1イベント通知通信信号による監視情報を記録(記憶)し(C4)、前記受信した第1イベント通知通信信号に応じた第2イベント通知通信信号を所定の端末装置SP、TAへ送信する(C5)。より具体的には、監視処理部222は、第1イベント通知通信信号をネットワークNWを介してセンサ装置SUから受信すると、この受信した第1イベント通知通信信号に収容されたセンサIDおよびイベント情報等の各情報を、このセンサIDを持つセンサ装置SUで監視されている被監視者Obの監視情報としてSV記憶部23に記憶(記録)する。そして、監視処理部222は、前記受信した第1イベント通知通信信号に収容されたセンサIDに対応する端末IDを持つ端末装置SP、TA宛に第2イベント通知通信信号を生成し、この生成した第2イベント通知通信信号をSV通信IF部21で送信する。
Subsequently, when the first event notification communication signal is received from the sensor device SU (C3), the management server device SV records (stores) the monitoring information by the received first event notification communication signal by the
続いて、管理サーバ装置SVから第2イベント通知通信信号を受信すると(C6)、この第2イベント通知通信信号を受信した端末装置SP、TAは、この第2イベント通知通信信号に収容されたセンサIDおよびイベント情報等の各情報を、このセンサIDを持つセンサ装置SUで監視されている被監視者Obの監視情報として記憶し、前記監視情報を表示する(C7)。これによってセンサ装置SUで検知されたイベントが管理サーバ装置SVを介して所定の端末装置SP、TAに表示される。 Subsequently, when the second event notification communication signal is received from the management server device SV (C6), the terminal devices SP and TA that have received the second event notification communication signal are the sensors accommodated in the second event notification communication signal. Each information such as ID and event information is stored as monitoring information of the monitored person Ob monitored by the sensor device SU having this sensor ID, and the monitoring information is displayed (C7). As a result, the event detected by the sensor device SU is displayed on the predetermined terminal devices SP and TA via the management server device SV.
前記監視情報を参照した看護師や介護士等の監視者NSは、例えば通話するために、通話要求を端末装置SP、TAに入力する。この入力を受け付けると、端末装置SP、TAは、表示中の監視情報にかかるセンサIDを持つセンサ装置SUに通話を要求するための通信信号(通話要求通信信号)を送信する。この通話の要求に応じて端末装置SP、TAとセンサ装置SUとは、VoIPで通話可能に接続され、監視者NSは、被監視者Obと通話する。 An observer NS such as a nurse or a caregiver who has referred to the monitoring information inputs a call request to the terminal devices SP and TA in order to make a call, for example. Upon receiving this input, the terminal devices SP and TA transmit a communication signal (call request communication signal) for requesting a call to the sensor device SU having the sensor ID related to the monitoring information being displayed. In response to this call request, the terminal device SP, TA and the sensor device SU are connected so as to be able to make a call by VoIP, and the observer NS makes a call with the monitored person Ob.
また例えば、動画をライブで参照するために、監視者NSは、動画要求を端末装置SP、TAに入力する。この入力を受け付けると、端末装置SP、TAは、表示中の監視情報にかかるセンサIDを持つセンサ装置SUに動画を要求するための通信信号(動画要求通信信号)を送信する。この動画の要求に応じて端末装置SP、TAとセンサ装置SUとは、ストリーミングで動画を再生可能に接続され、監視者NSは、端末装置SP、TAに表示された動画を参照する。 Further, for example, in order to refer to the moving image live, the observer NS inputs the moving image request to the terminal devices SP and TA. Upon receiving this input, the terminal devices SP and TA transmit a communication signal (video request communication signal) for requesting a moving image to the sensor device SU having the sensor ID related to the monitoring information being displayed. In response to the request for the moving image, the terminal device SP, TA and the sensor device SU are connected so as to be able to play the moving image by streaming, and the observer NS refers to the moving image displayed on the terminal device SP, TA.
次に、センサ装置SUにおける移動行動の異常判定に関する処理について説明する。上述のようにイベントの検知よってイベントを通知する一方で、センサ装置SUは、次のように動作することで移動行動の異常の有無を判定している。 Next, the process related to the abnormality determination of the moving behavior in the sensor device SU will be described. While notifying the event by detecting the event as described above, the sensor device SU determines the presence or absence of an abnormality in the moving behavior by operating as follows.
移動行動の異常判定に関する処理では、まず、センサ装置SUは、SU制御処理部14の移動行動検出部145によって、前回の、初段階における移動行動の異常の有無を判定してから(前回における後述の処理S13を実行してから)、前記第1期間に相当する所定数のフレーム(画像)を前記画像取得部としての撮像部11から新たに取得したか否かを判定する(S11)。この判定の結果、所定数のフレームを取得した場合(Yes)には、移動行動検出部145は、次に、処理S12を実行し、一方、前記判定の結果、所定数のフレームを取得していない場合(No)には、移動行動検出部145は、処理を処理S11に戻す。すなわち、移動行動検出部145は、初段階における移動行動の異常の有無を前回において判定してから新たに所定数のフレームを撮像部11から取得するまで処理S11を繰り返す。
In the process related to the abnormality determination of the movement behavior, the sensor device SU first determines the presence or absence of the abnormality of the movement behavior in the previous initial stage by the movement
この処理S12では、センサ装置SUは、移動行動検出部145によって、処理S11で撮像部11から取得した所定数のフレームに基づいて被監視者Obの移動行動を検出する。例えば、上述の図5に示す例では、移動行動検出部145は、6個のフレームそれぞれについて、当該フレームから前記被監視者Obの頭部の画像を頭部画像HPとして抽出し、この抽出した頭部画像HPにおける中心位置(または重心位置)を移動位置MPとして抽出し、これら6個のフレームにおける、これら抽出した6個の移動位置MP−1〜MP−6を被監視者Obの移動行動として検出する。
In this process S12, the sensor device SU detects the moving behavior of the monitored person Ob by the moving
処理S12に続いて、センサ装置SUは、SU制御処理部14における異常判定部146の第1判定部1461によって、初段階において移動行動に異常があるか否かを判定する(S13)。例えば、上述の図6に示す例では、第1判定部1461は、まず、6個のフレームのうちの最初および最後それぞれの各フレームから求めた各移動位置MP−1、MP−6それぞれを、始点および終点とする基準ベクトルRVを求める。次に、第1判定部1461は、6個のフレームそれぞれについて、当該フレームおよびこれに後続に隣接するフレームそれぞれから求めた各移動位置MP−k、MP−(k+1)それぞれを始点および終点とする画像間ベクトルIV−kを求める(k=1、2、3、4、5)。次に、第1判定部1461は、これら画像間ベクトルIV−1〜IV−5それぞれについて、当該画像間ベクトルIV−kと基準ベクトルRVとの間の角度θkを求める。次に、第1判定部1461は、これら求められた角度θ1〜θ5のうち、角度閾値Than以上である角度の個数Nanを求める。そして、第1判定部1461は、この求めた個数Nanが第1判定閾値DTh1以上である場合に、初段階において移動行動に異常があると判定し、一方、この求めた個数Nanが第1判定閾値DTh1未満である場合に、初段階において移動行動に異常が無い(すなわち正常とみなせる)と判定する。この判定の結果、初段階において移動行動に異常が無いと判定した場合(No)には、センサ装置SUは、次に、処理S16を実行し、一方、前記判定の結果、初段階において移動行動に異常が有ると判定した場合(Yes)には、センサ装置SUは、次に、処理S14および処理S15の各処理を順次に実行した後に、処理S16を実行する。
Following the process S12, the sensor device SU determines whether or not there is an abnormality in the movement behavior in the first stage by the
この処理S14では、センサ装置SUは、SU制御処理部14における異常判定部146の第2判定部1462によって、前記第2期間に含まれる複数の第1期間それぞれにおける初段階において前記移動行動に異常があると判定した第1回数を数えるために、SU記憶部16の第1回数記憶部161に記憶されている第1回数カウンタCT1を1だけインクリメントする(CT1+1→CT1)。
In this process S14, the sensor device SU is abnormal in the moving behavior at the initial stage in each of the plurality of first periods included in the second period by the
前記処理S14に続いて実行される処理S15では、センサ装置SUは、SU制御処理部14における異常判定部146の第1判定部1461によって、初段階異常を通知するために、初段階異常通知通信信号を管理サーバ装置SVへ送信する。センサ装置SUから初段階異常通知通信信号を受信すると、管理サーバ装置SVは、SV制御処理部22の判定結果処理部223によって、この受信した初段階異常通知通信信号に収容された初段階異常情報およびセンサIDと、その受信時刻とを対応付けてSV記憶部23の判定結果記憶部235に記憶(記録)し、これによって初段階異常情報を管理する。なお、上述したように、管理サーバ装置SVは、初段階異常情報を所定の端末装置SP、TAへ通知(転送)しても良い。後述の中間段階異常情報の通知や最終段階異常情報の通知も同様に、前記通知を受けることで、看護師や介護士等の監視者は、当該被監視者Obに気を配ることができ、転倒防止策を講じることも可能となる。
In the process S15 executed after the process S14, the sensor device SU uses the
前記処理S16では、センサ装置SUは、SU制御処理部14における異常判定部146の第2判定部1462によって、前回の、中間段階における移動行動の異常の有無を判定してから(前回における後述の処理S17を実行してから)、前記第2期間が経過したか否かを判定する。この判定の結果、前記第2期間が経過していないと判定した場合(No)には、センサ装置SUは、処理を処理S11に戻す。これによって、前記第2期間内において、次の前記第1期間での初段階において前記移動行動の異常の有無が判定される。一方、前記判定の結果、前記第2期間が経過していると判定した場合(Yes)には、センサ装置SUは、次に、処理S17を実行する。
In the process S16, the sensor device SU determines the presence or absence of an abnormality in the movement behavior in the previous and intermediate stages by the
この処理S17では、センサ装置SUは、SU制御処理部14における異常判定部146の第2判定部1462によって、中間段階において移動行動に異常があるか否かを判定する。より具体的には、第2判定部1462は、SU記憶部16の第1回数記憶部161に記憶されている第1回数カウンタCT1が前記第2判定閾値DTh2以上であるか否かを判定する。この判定の結果、前記第1回数カウンタCT1が前記第2判定閾値DTh2未満である場合には、第2判定部1462は、中間段階において移動行動に異常が無い(すなわち正常とみなせる)と判定し(No)、第1回数カウンタCT1をリセットした後に、処理S20を実行し、一方、前記判定の結果、前記第1回数カウンタCT1が前記第2判定閾値DTh2以上である場合には、中間段階において移動行動に異常が有ると判定し(Yes)、センサ装置SUは、第1回数カウンタCT1をリセットした後に、処理S18および処理S19の各処理を順次に実行した後に、処理S20を実行する。
In this process S17, the sensor device SU determines whether or not there is an abnormality in the movement behavior in the intermediate stage by the
この処理S18では、センサ装置SUは、SU制御処理部14における異常判定部146の第3判定部1462によって、前記第3期間に含まれる複数の第2期間それぞれにおける中間段階において前記移動行動に異常があると判定した第2回数を数えるために、SU記憶部16の第2回数記憶部162に記憶されている第2回数カウンタCT2を1だけインクリメントする(CT2+1→CT2)。
In this process S18, the sensor device SU is abnormal in the moving behavior at the intermediate stage in each of the plurality of second periods included in the third period by the
前記処理S18に続いて実行される処理S19では、センサ装置SUは、SU制御処理部14における異常判定部146の第2判定部1462によって、中間段階異常を通知するために。中間段階異常通知通信信号を管理サーバ装置SVへ送信する。センサ装置SUから中間段階異常通知通信信号を受信すると、管理サーバ装置SVは、SV制御処理部22の判定結果処理部223によって、この受信した中間段階異常通知通信信号に収容された中間段階異常情報およびセンサIDと、その受信時刻とを対応付けてSV記憶部23の判定結果記憶部235に記憶(記録)し、これによって中間段階異常情報を管理する。なお、上述したように、管理サーバ装置SVは、中間段階異常情報を所定の端末装置SP、TAへ通知(転送)しても良い。
In the process S19 executed following the process S18, the sensor device SU notifies the intermediate stage abnormality by the
前記処理S20では、センサ装置SUは、SU制御処理部14における異常判定部146の第3判定部1462によって、前回の、最終段階における移動行動の異常の有無を判定してから(前回における後述の処理S21を実行してから)、前記第3期間が経過したか否かを判定する。この判定の結果、前記第3期間が経過していないと判定した場合(No)には、センサ装置SUは、処理を処理S11に戻す。これによって、前記第3期間内において、次の前記第2期間での中間段階において前記移動行動の異常の有無が判定される。一方、前記判定の結果、前記第3期間が経過していると判定した場合(Yes)には、センサ装置SUは、次に、処理S21を実行する。
In the process S20, the sensor device SU determines the presence or absence of an abnormality in the movement behavior in the previous and final stages by the
この処理S21では、センサ装置SUは、SU制御処理部14における異常判定部146の第3判定部1463によって、最終段階において移動行動に異常があるか否かを判定する。より具体的には、第3判定部1463は、SU記憶部16の第2回数記憶部162に記憶されている第2回数カウンタCT2が前記第3判定閾値DTh3以上であるか否かを判定する。この判定の結果、前記第2回数カウンタCT2が前記第3判定閾値DTh3未満である場合には、第3判定部1463は、最終段階において移動行動に異常が無い(すなわち正常とみなせる)と判定し(No)、第2回数カウンタCT2をリセットした後に、処理S23を実行し、一方、前記判定の結果、前記第2回数カウンタCT2が前記第3判定閾値DTh3以上である場合には、最終段階において移動行動に異常が有ると判定し(Yes)、センサ装置SUは、第2回数カウンタCT2をリセットした後に、処理S22を実行した後に、処理S23を実行する。
In this process S21, the sensor device SU determines whether or not there is an abnormality in the movement behavior at the final stage by the
この処理S22では、センサ装置SUは、SU制御処理部14における異常判定部146の第3判定部1463によって、最終段階異常を通知するために。最終段階異常通知通信信号を管理サーバ装置SVへ送信する。センサ装置SUから最終段階異常通知通信信号を受信すると、管理サーバ装置SVは、SV制御処理部22の判定結果処理部223によって、この受信した最終段階異常通知通信信号に収容された最終段階異常情報およびセンサIDと、その受信時刻とを対応付けてSV記憶部23の判定結果記憶部235に記憶(記録)し、これによって最終段階異常情報を管理する。なお、上述したように、管理サーバ装置SVは、最終段階異常情報を所定の端末装置SP、TAへ通知(転送)しても良い。
In this process S22, the sensor device SU notifies the final stage abnormality by the
前記処理S23では、センサ装置SUは、SU制御処理部14によって、その稼働が終了(停止)か否かを判定する。この判定の結果、稼働の終了(停止)である場合(Yes)には、センサ装置SUは、本処理を終了し、一方、稼働の終了(停止)ではない場合(No)には、センサ装置SUは、処理を処理S11に戻す。
In the process S23, the sensor device SU determines whether or not its operation is completed (stopped) by the SU
以上説明したように、本実施形態における被監視者監視支援システムMS、移動行動異常判定装置を備えたセンサ装置SU、および、これに実装された移動行動異常判定方法は、時系列な複数の画像に基づいて対象者(被監視者)Obの移動行動に異常があるか否かを判定するので、装着の必要が無く、非接触で移動行動の異常を判定できる。 As described above, the monitored person monitoring support system MS, the sensor device SU provided with the movement behavior abnormality determination device, and the movement behavior abnormality determination method implemented therein are a plurality of time-series images. Since it is determined whether or not there is an abnormality in the movement behavior of the target person (monitored person) Ob based on the above, it is not necessary to wear it, and it is possible to determine the abnormality in the movement behavior without contact.
上記被監視者監視支援システムMS、移動行動異常判定装置を備えたセンサ装置SUおよび移動行動異常判定方法は、複数の画像(フレーム)それぞれについて対象者Obの頭部画像HPを抽出し、これら抽出した複数の対象者Obの頭部画像HPに基づく基準ベクトルRVに対する各画像間ベクトルIVの各方向ズレで対象者Obの移動行動に異常があるか否かを判定するので、ふらつきを検出し易い頭部を用いて移動行動の異常を判定できる。 The monitored person monitoring support system MS, a sensor device SU equipped with a movement behavior abnormality determination device, and a movement behavior abnormality determination method extract head image HP of the subject Ob for each of a plurality of images (frames), and extract these. Since it is determined whether or not there is an abnormality in the movement behavior of the subject Ob by the deviation of each direction of the inter-image vector IV with respect to the reference vector RV based on the head image HP of the plurality of subject Obs, it is easy to detect the wobble. Abnormal movement behavior can be determined using the head.
上記被監視者監視支援システムMS、移動行動異常判定装置を備えたセンサ装置SUおよび移動行動異常判定方法は、第1期間より長い第2期間で対象者の移動行動に異常があるか否かを判定するので、より正確に移動行動の異常を判定できる。 The above-mentioned monitored person monitoring support system MS, a sensor device SU equipped with a movement behavior abnormality determination device, and a movement behavior abnormality determination method determine whether or not there is an abnormality in the movement behavior of the subject in the second period, which is longer than the first period. Since it is determined, it is possible to more accurately determine the abnormality of the moving behavior.
上記被監視者監視支援システムMS、移動行動異常判定装置を備えたセンサ装置SUおよび移動行動異常判定方法は、第2期間より長い第3期間で対象者の移動行動に異常があるか否かを判定するので、さらにより正確に移動行動の異常を判定できる。 The above-mentioned monitored person monitoring support system MS, a sensor device SU equipped with a movement behavior abnormality determination device, and a movement behavior abnormality determination method determine whether or not there is an abnormality in the movement behavior of the subject in a third period longer than the second period. Since the determination is made, it is possible to more accurately determine the abnormality of the moving behavior.
上記被監視者監視支援システムMS、移動行動異常判定装置を備えたセンサ装置SUおよび移動行動異常判定方法は、初段階異常情報、中間段階異常情報および最終段階異常情報を管理サーバ装置SVで管理しているので、端末装置SP、TAから初段階異常情報、中間段階異常情報および最終段階異常情報を管理サーバ装置SVに要求し、端末装置SP、TAで初段階異常情報、中間段階異常情報および最終段階異常情報を参照することで、看護師や介護士等の監視者は、該当の被監視者Obに気を配ることができ、転倒防止策を講じることも可能となる。 The monitored person monitoring support system MS, the sensor device SU equipped with the movement behavior abnormality judgment device, and the movement behavior abnormality judgment method manage the first stage abnormality information, the intermediate stage abnormality information, and the final stage abnormality information by the management server device SV. Therefore, the terminal device SP and TA request the first stage abnormality information, the intermediate stage abnormality information and the final stage abnormality information from the management server device SV, and the terminal device SP and TA request the first stage abnormality information, the intermediate stage abnormality information and the final stage abnormality information. By referring to the stage abnormality information, the observer such as a nurse or a caregiver can pay attention to the corresponding monitored person Ob, and can take measures to prevent the fall.
なお、上述の実施形態では、移動行動異常判定装置は、センサ装置SUに備えられ、被監視者監視支援システムMSに組み込まれたが、被監視者監視支援システムMSに組み込まれることなく、単体(単独)で用いられても良い。 In the above-described embodiment, the movement behavior abnormality determination device is provided in the sensor device SU and incorporated in the monitored person monitoring support system MS, but is not incorporated in the monitored person monitoring support system MS and is a single unit ( It may be used alone).
また、上述の被監視者監視支援システムMSでは、移動行動異常判定装置は、センサ装置SUに備えられたが、この形態に限定されない。例えば、移動行動異常判定装置は、例えば管理サーバ装置SV等のセンサ装置SUを除く他の、画像取得部を備えたコンピュータに備えられても良い。この場合では、例えば、前記画像取得部は、外部機器からデータの入力を受けるインターフェース部であり、前記インターフェース部は、前記外部機器として、時系列な複数の画像を生成する撮像部から、前記第1期間で前記時系列な複数の画像の入力を受ける。この画像取得部を備えたコンピュータで構成される移動行動異常判定装置は、リモートで対象者を監視できる。あるいは、例えば、前記画像取得部は、通信を行う通信インターフェース部であり、前記通信インターフェース部は、時系列な複数の画像を管理するサーバ装置と通信し、前記サーバ装置から、前記第1期間で前記時系列な複数の画像を受信する。この画像取得部を備えたコンピュータで構成される移動行動異常判定装置は、前記サーバ装置に蓄積された対象者における時系列な複数の画像を用いて前記対象者における移動行動の異常を解析できる。あるいは、例えば、前記画像取得部は、記録媒体からデータを読み込むドライブ装置であり、前記ドライブ装置は、時系列な複数の画像を記録した記録媒体から、前記第1期間で前記時系列な複数の画像を読み込む。この画像取得部を備えたコンピュータで構成される移動行動異常判定装置は、前記記録媒体に蓄積された対象者における時系列な複数の画像を用いて前記対象者における移動行動の異常を解析できる。これら各態様において、前記画像取得部を備えたコンピュータで構成される移動行動異常判定装置は、被監視者監視支援システムMSに組み込まれて用いられても(例えば管理サーバ装置SVに備えられる)、単体で用いられても良い。 Further, in the above-mentioned monitored person monitoring support system MS, the movement behavior abnormality determination device is provided in the sensor device SU, but the present invention is not limited to this form. For example, the movement behavior abnormality determination device may be provided in a computer provided with an image acquisition unit other than the sensor device SU such as the management server device SV. In this case, for example, the image acquisition unit is an interface unit that receives data input from an external device, and the interface unit is the first from an imaging unit that generates a plurality of time-series images as the external device. Receives the input of the plurality of time-series images in one period. A mobile behavior abnormality determination device composed of a computer equipped with this image acquisition unit can remotely monitor the target person. Alternatively, for example, the image acquisition unit is a communication interface unit that performs communication, and the communication interface unit communicates with a server device that manages a plurality of time-series images, and is transmitted from the server device in the first period. The plurality of time-series images are received. The movement behavior abnormality determination device composed of a computer provided with this image acquisition unit can analyze the movement behavior abnormality in the target person by using a plurality of time-series images of the target person stored in the server device. Alternatively, for example, the image acquisition unit is a drive device that reads data from a recording medium, and the drive device is a time-series plurality of images from a recording medium that has recorded a plurality of time-series images in the first period. Load the image. The movement behavior abnormality determination device including the computer provided with the image acquisition unit can analyze the movement behavior abnormality in the target person by using a plurality of time-series images of the target person stored in the recording medium. In each of these aspects, even if the mobile behavior abnormality determination device configured by the computer provided with the image acquisition unit is incorporated and used in the monitored person monitoring support system MS (for example, the management server device SV is provided). It may be used alone.
また、上述の実施形態では、移動行動の異常の有無は、対象者Obの頭部画像HPを用いて判定されたが、対象者Obの画像(画像での対象者Ob全体の画像)を用いて判定されても良い。これによれば、体全体のふらつきや目的地点からの乖離(逸脱)で移動行動の異常を判定できる。 Further, in the above-described embodiment, the presence or absence of abnormalities in the movement behavior was determined using the head image HP of the subject Ob, but the image of the subject Ob (the image of the entire subject Ob in the image) was used. May be judged. According to this, it is possible to determine an abnormality in the movement behavior based on the wobbling of the whole body or the deviation (deviation) from the destination point.
この場合では、移動行動検出部145は、前記複数の画像それぞれについて、当該画像から前記対象者の画像を対象者画像として抽出し、前記抽出した対象者画像における中心位置または重心位置を移動位置として抽出し、前記複数の画像における、前記抽出した各移動位置を前記対象者の移動行動として検出する。より具体的には、移動行動検出部145は、前記複数の画像それぞれについて、上述の行動検知処理部142と同様に、まず、当該画像から例えば背景差分法やフレーム差分法によって前記対象者画像として動体領域を抽出する。次に、移動行動検出部145は、この抽出した対象者画像(動体領域)における例えば中心位置を移動位置として求める。なお、前記中心位置に代え、重心位置が用いられても良い。前記中心位置は、例えば、対象者画像に外接する外接矩形における2つの対角線の交点、あるいは、対象者画像に外接する外接円の中心点である。前記重心位置は、対象者画像を構成する各画素の分布の中心点である。そして、移動行動検出部145は、前記複数の画像における、前記抽出した各移動位置を前記被監視者Obの移動行動として求める。
In this case, the moving
そして、異常判定部146は、前記第1期間における最初の画像の移動位置を始点とすると共に前記第1期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルRVとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルIVとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度θを求め、前記求めた複数の角度θのうち、所定の角度閾値Than以上である角度の個数を求め、前記求めた個数が所定の第1判定閾値DTh1以上である場合に、前記移動行動に異常があると判定する。さらに、上述の実施形態と同様に、前記移動行動に異常があるとの判定を、初段階において前記移動行動に異常があるとの判定として、異常判定部146は、さらに、前記第2期間に含まれる複数の第1期間それぞれにおける前記初段階において前記移動行動に異常があると判定した第1回数を求め、前記求めた第1回数が所定の第2判定閾値以上である場合に、中間段階において前記移動行動に異常があると判定して良く、さらに、前記第3期間に含まれる複数の第2期間それぞれにおける前記中間段階において前記移動行動に異常があると判定した第2回数を求め、前記求めた第2回数が所定の第3判定閾値以上である場合に、最終段階において前記移動行動に異常があると判定して良い。
Then, the
また、上述の実施形態では、移動行動異常判定装置を備えたセンサ装置USは、初段階において移動行動に異常があると判定した場合に、初段階異常を通知するために、初段階異常通知通信信号を管理サーバ装置SVへ送信するが、これに代え、あるいは、これに追加して、初段階において移動行動に異常がある旨の警告を出力しても良い。同様に、前記センサ装置USは、中間段階において移動行動に異常があると判定した場合に、中間段階異常を通知するために、中間段階異常通知通信信号を管理サーバ装置SVへ送信するが、これに代え、あるいは、これに追加して、中間段階において移動行動に異常がある旨の警告を出力しても良い。同様に、前記センサ装置USは、最終段階において移動行動に異常があると判定した場合に、最終段階異常を通知するために、最終段階異常通知通信信号を管理サーバ装置SVへ送信するが、これに代え、あるいは、これに追加して、最終段階において前記移動行動に異常がある旨の警告を出力しても良い。前記警告の出力では、例えば、前記センサ装置SUは、SU制御処理部14の制御部141によって、音入出力部12から、警告音や警告メッセージ等を出力する。これによれば、被監視者(対象者)Obに警告することで、転倒が低減でき、転倒したとしても、防護体勢が取れることで怪我等が低減できる。
Further, in the above-described embodiment, the sensor device US provided with the movement behavior abnormality determination device notifies the initial stage abnormality notification communication when it is determined that there is an abnormality in the movement behavior in the initial stage. The signal is transmitted to the management server device SV, but instead of or in addition to this, a warning indicating that there is an abnormality in the movement behavior may be output at the initial stage. Similarly, when the sensor device US determines that there is an abnormality in the movement behavior in the intermediate stage, the sensor device US transmits an intermediate stage abnormality notification communication signal to the management server device SV in order to notify the intermediate stage abnormality. Alternatively, or in addition to this, a warning that there is an abnormality in the movement behavior may be output in the intermediate stage. Similarly, when the sensor device US determines that there is an abnormality in the movement behavior in the final stage, the sensor device US transmits a final stage abnormality notification communication signal to the management server device SV in order to notify the final stage abnormality. Alternatively, or in addition to this, a warning indicating that the movement behavior is abnormal may be output at the final stage. In the output of the warning, for example, the sensor device SU outputs a warning sound, a warning message, or the like from the sound input /
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。 The present specification discloses various aspects of the technology as described above, of which the main technologies are summarized below.
一態様にかかる移動行動異常判定装置は、所定の第1期間における時系列な複数の画像を取得する画像取得部と、前記画像取得部で取得した複数の画像に基づいて対象者の移動行動を検出する移動行動検出部と、前記移動行動検出部で検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定部とを備える。好ましくは、上述の移動行動異常判定装置において、前記移動行動は、例えば走行や歩行等の移動に関する行動であり、前記移動行動の異常は、転倒の予兆を表す歩行、例えば、目的地点に対し左右にふらついた歩行や、前記目的地点から乖離して行く歩行である。好ましくは、上述の移動行動異常判定装置において、前記画像取得部は、時系列な複数の画像を生成する撮像部である。好ましくは、上述の移動行動異常判定装置において、前記画像取得部は、外部機器からデータの入力を受けるインターフェース部であり、前記インターフェース部は、前記外部機器として、時系列な複数の画像を生成する撮像部から、前記第1期間で前記時系列な複数の画像の入力を受ける。好ましくは、上述の移動行動異常判定装置において、前記画像取得部は、通信を行う通信インターフェース部であり、前記通信インターフェース部は、時系列な複数の画像を管理するサーバ装置と通信し、前記サーバ装置から、前記第1期間で前記時系列な複数の画像を受信する。好ましくは、上述の移動行動異常判定装置において、前記画像取得部は、記録媒体からデータを読み込むドライブ装置であり、前記ドライブ装置は、時系列な複数の画像を記録した記録媒体から、前記第1期間で前記時系列な複数の画像を読み込む。 The movement behavior abnormality determination device according to one aspect performs the movement behavior of the target person based on the image acquisition unit that acquires a plurality of time-series images in a predetermined first period and the plurality of images acquired by the image acquisition unit. It includes a movement behavior detection unit to detect, and an abnormality determination unit for determining whether or not there is an abnormality in the movement behavior based on the movement behavior detected by the movement behavior detection unit. Preferably, in the above-mentioned movement behavior abnormality determining device, the movement behavior is an action related to movement such as running or walking, and the abnormality of the movement behavior is walking indicating a sign of a fall, for example, left or right with respect to a destination point. It is a staggering walk or a walk that deviates from the destination. Preferably, in the above-mentioned movement behavior abnormality determination device, the image acquisition unit is an imaging unit that generates a plurality of time-series images. Preferably, in the above-mentioned mobile behavior abnormality determination device, the image acquisition unit is an interface unit that receives data input from an external device, and the interface unit generates a plurality of time-series images as the external device. The image pickup unit receives input of a plurality of time-series images in the first period. Preferably, in the above-mentioned mobile behavior abnormality determination device, the image acquisition unit is a communication interface unit that performs communication, and the communication interface unit communicates with a server device that manages a plurality of time-series images, and the server. The device receives the plurality of time-series images in the first period. Preferably, in the above-mentioned movement behavior abnormality determination device, the image acquisition unit is a drive device that reads data from a recording medium, and the drive device is the first from a recording medium that has recorded a plurality of time-series images. A plurality of the time-series images are read in a period.
このような移動行動異常判定装置は、時系列な複数の画像に基づいて対象者の移動行動に異常があるか否かを判定するので、装着の必要が無く、非接触で移動行動の異常を判定できる。 Since such a movement behavior abnormality determination device determines whether or not there is an abnormality in the movement behavior of the subject based on a plurality of time-series images, there is no need to wear it, and the movement behavior abnormality can be detected in a non-contact manner. Can be judged.
他の一態様では、上述の移動行動異常判定装置において、前記移動行動検出部は、前記複数の画像それぞれについて、当該画像から前記対象者の画像を対象者画像として抽出し、前記抽出した対象者画像における中心位置または重心位置を移動位置として抽出し、前記複数の画像における、前記抽出した各移動位置を前記対象者の移動行動として検出し、前記異常判定部は、前記第1期間における最初の画像の移動位置を始点とすると共に前記第1期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度を求め、前記求めた複数の角度のうち、所定の角度閾値以上である角度の個数を求め、前記求めた個数が所定の第1判定閾値以上である場合に、前記移動行動に異常があると判定する。 In another aspect, in the above-mentioned movement behavior abnormality determination device, the movement behavior detection unit extracts an image of the target person as a target person image from the plurality of images for each of the plurality of images, and the extracted target person. The center position or the center of gravity position in the image is extracted as the movement position, each of the extracted movement positions in the plurality of images is detected as the movement behavior of the target person, and the abnormality determination unit is the first in the first period. A vector whose starting point is the moving position of the image and whose ending position is the moving position of the last image in the first period is obtained as a reference vector, and for each of the plurality of images, the moving position of the image and the moving position of the image are in chronological order. A vector whose start point and end point are the moving positions of adjacent images in chronological order is obtained as an inter-image vector, and for each of the obtained plurality of inter-image vectors, between the inter-image vector and the reference vector. The angle is obtained, and among the plurality of obtained angles, the number of angles that are equal to or greater than the predetermined angle threshold is obtained, and when the obtained number is equal to or greater than the predetermined first determination threshold, there is an abnormality in the movement behavior. Is determined.
このような移動行動異常判定装置は、複数の画像それぞれについて対象者の画像を抽出し、これら抽出した複数の対象者の画像に基づく基準ベクトルに対する各画像間ベクトルの各方向ズレで対象者の移動行動に異常があるか否かを判定するので、体全体のふらつきや目的地点からの乖離(逸脱)で移動行動の異常を判定できる。 Such a movement behavior abnormality determination device extracts an image of the target person for each of the plurality of images, and moves the target person by a deviation of each direction of each image-to-image vector with respect to a reference vector based on the extracted images of the plurality of target persons. Since it is determined whether or not there is an abnormality in the behavior, it is possible to determine the abnormality in the movement behavior by the wobbling of the whole body or the deviation (deviation) from the destination point.
他の一態様では、上述の移動行動異常判定装置において、前記移動行動検出部は、前記複数の画像それぞれについて、当該画像から前記対象者の頭部の画像を頭部画像として抽出し、前記抽出した頭部画像における中心位置または重心位置を移動位置として抽出し、前記複数の画像における、前記抽出した各移動位置を前記対象者の移動行動として検出し、前記異常判定部は、前記第1期間における最初の画像の移動位置を始点とすると共に前記第1期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度を求め、前記求めた複数の角度のうち、所定の角度閾値以上である角度の個数を求め、前記求めた個数が所定の第1判定閾値以上である場合に、前記移動行動に異常があると判定する。 In another aspect, in the above-mentioned movement behavior abnormality determination device, the movement behavior detection unit extracts an image of the head of the subject as a head image from the images for each of the plurality of images, and the extraction The center position or the center of gravity position in the head image is extracted as the movement position, each of the extracted movement positions in the plurality of images is detected as the movement behavior of the target person, and the abnormality determination unit uses the first period. A vector whose starting point is the moving position of the first image in the above and whose ending point is the moving position of the last image in the first period is obtained as a reference vector, and for each of the plurality of images, the moving position of the image and the moving position of the image are used. A vector whose start point and end point are the moving positions of adjacent images in chronological order is obtained as an inter-image vector, and for each of the obtained plurality of inter-image vectors, the inter-image vector and the reference vector are used. The number of angles between the two is obtained, and the number of angles that are equal to or greater than the predetermined angle threshold among the plurality of obtained angles is obtained. Judge that there is an abnormality.
このような移動行動異常判定装置は、複数の画像それぞれについて対象者の頭部の画像を抽出し、これら抽出した複数の対象者の頭部の画像に基づく基準ベクトルに対する各画像間ベクトルの各方向ズレで対象者の移動行動に異常があるか否かを判定するので、ふらつきを検出し易い頭部を用いて移動行動の異常を判定できる。 Such a movement behavior abnormality determination device extracts images of the head of the target person for each of the plurality of images, and each direction of the vector between the images with respect to the reference vector based on the images of the heads of the plurality of extracted subjects. Since it is determined whether or not there is an abnormality in the movement behavior of the subject based on the deviation, it is possible to determine the abnormality in the movement behavior using the head that can easily detect the wobbling.
他の一態様では、これら上述の移動行動異常判定装置において、前記画像取得部は、前記第1期間より長い所定の第2期間における時系列な複数の画像を取得し、前記異常判定部は、前記判定した異常を初段階での異常とし、さらに、前記第2期間に含まれる複数の第1期間それぞれにおける前記初段階において前記移動行動に異常があると判定した第1回数を求め、前記求めた第1回数が所定の第2判定閾値以上である場合に、次段階において前記移動行動に異常があると判定する。好ましくは、上述の移動行動異常判定装置において、前記第2期間に含まれる複数の第1期間は、互いに隣接する2つの第1期間において一部重複する。好ましくは、上述の移動行動異常判定装置において、前記第2期間に含まれる複数の第1期間は、互いに独立である(互いに隣接する2つの第1期間において重複しない)。 In another aspect, in the above-mentioned movement behavior abnormality determination device, the image acquisition unit acquires a plurality of time-series images in a predetermined second period longer than the first period, and the abnormality determination unit obtains a plurality of time-series images. The determined abnormality is regarded as an abnormality in the first stage, and further, the first number of times that the movement behavior is determined to be abnormal in the first stage in each of the plurality of first periods included in the second period is obtained, and the determination is made. When the first number of times is equal to or greater than the predetermined second determination threshold value, it is determined that the movement behavior is abnormal in the next step. Preferably, in the above-mentioned mobile behavior abnormality determination device, the plurality of first periods included in the second period partially overlap in two adjacent first periods. Preferably, in the above-mentioned mobile behavior abnormality determination device, the plurality of first periods included in the second period are independent of each other (the two first periods adjacent to each other do not overlap).
このような移動行動異常判定装置は、第1期間より長い第2期間で対象者の移動行動に異常があるか否かを判定するので、より正確に移動行動の異常を判定できる。 Since such a movement behavior abnormality determination device determines whether or not there is an abnormality in the movement behavior of the subject in the second period longer than the first period, it is possible to more accurately determine the abnormality in the movement behavior.
他の一態様では、上述の移動行動異常判定装置において、前記画像取得部は、前記第2期間より長い所定の第3期間における時系列な複数の画像を取得し、前記異常判定部は、前記判定した次段階での異常を中間段階での異常とし、さらに、前記第3期間に含まれる複数の第2期間それぞれにおける前記中間段階において前記移動行動に異常があると判定した第2回数を求め、前記求めた第2回数が所定の第3判定閾値以上である場合に、最終段階において前記移動行動に異常があると判定する。好ましくは、上述の移動行動異常判定装置において、前記第3期間に含まれる複数の第2期間は、互いに隣接する2つの第2期間において一部重複する。好ましくは、上述の移動行動異常判定装置において、前記第3期間に含まれる複数の第2期間は、互いに独立である(互いに隣接する2つの第2期間において重複しない)。 In another aspect, in the above-mentioned movement behavior abnormality determination device, the image acquisition unit acquires a plurality of time-series images in a predetermined third period longer than the second period, and the abnormality determination unit obtains the plurality of time-series images. The determined abnormality in the next stage is defined as an abnormality in the intermediate stage, and the second number of times that the movement behavior is determined to be abnormal in the intermediate stage in each of the plurality of second periods included in the third period is obtained. When the obtained second number of times is equal to or greater than a predetermined third determination threshold value, it is determined that there is an abnormality in the movement behavior at the final stage. Preferably, in the above-mentioned mobile behavior abnormality determination device, the plurality of second periods included in the third period partially overlap in the two adjacent second periods. Preferably, in the above-mentioned mobile behavior abnormality determination device, the plurality of second periods included in the third period are independent of each other (they do not overlap in the two adjacent second periods).
このような移動行動異常判定装置は、第2期間より長い第3期間で対象者の移動行動に異常があるか否かを判定するので、さらにより正確に移動行動の異常を判定できる。 Since such a movement behavior abnormality determination device determines whether or not there is an abnormality in the movement behavior of the subject in a third period longer than the second period, it is possible to more accurately determine the abnormality in the movement behavior.
他の一態様にかかる移動行動異常判定方法は、所定の第1期間における時系列な複数の画像を取得する画像取得工程と、前記画像取得工程で取得した複数の画像に基づいて対象者の移動行動を検出する移動行動検出工程と、前記移動行動検出工程で検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定工程とを備える。 The movement behavior abnormality determination method according to the other aspect is an image acquisition step of acquiring a plurality of time-series images in a predetermined first period, and a movement of the target person based on the plurality of images acquired in the image acquisition step. It includes a movement behavior detection step of detecting an action and an abnormality determination step of determining whether or not there is an abnormality in the movement behavior based on the movement behavior detected in the movement behavior detection step.
このような移動行動異常判定方法は、時系列な複数の画像に基づいて対象者の移動行動に異常があるか否かを判定するので、装着の必要が無く、非接触で移動行動の異常を判定できる。 In such a movement behavior abnormality determination method, since it is determined whether or not there is an abnormality in the movement behavior of the subject based on a plurality of time-series images, there is no need to wear it, and the movement behavior abnormality can be detected in a non-contact manner. Can be judged.
他の一態様にかかる被監視者監視支援システムは、監視対象である被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されたイベントの通知を受けて前記イベントを管理する中央管理装置、および、前記中央管理装置と通信可能に接続され前記中央管理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備え、前記被監視者の監視を支援するための被監視者監視支援システムであって、前記センサ装置または前記中央管理装置は、前記被監視者を前記対象者とした、これら上述のいずれかの移動行動異常判定装置を備える。 The monitored person monitoring support system according to the other aspect is provided corresponding to the monitored person to be monitored, and can communicate with the sensor device and the sensor device that detect a predetermined event related to the monitored person. A central management device that is connected and receives notification of an event detected by the sensor device and manages the event, and is communicably connected to the central management device and detected by the sensor device via the central management device. It is a monitored person monitoring support system for supporting the monitoring of the monitored person, comprising a terminal device for receiving notification of the event, and the sensor device or the central management device uses the monitored person as the target person. The device is provided with any of the above-mentioned movement behavior abnormality determination devices.
これによれば、これら上述のいずれかの移動行動異常判定装置を備える被監視者監視支援システムが提供できる。このような被監視者監視支援システムは、これら上述のいずれかの移動行動異常判定装置を備えるので、装着の必要が無く、非接触で移動行動の異常を判定できる。 According to this, it is possible to provide a monitored person monitoring support system provided with any of the above-mentioned movement behavior abnormality determination devices. Since such a monitored person monitoring support system is provided with any of the above-mentioned movement behavior abnormality determination devices, it is not necessary to wear the system, and it is possible to determine the movement behavior abnormality without contact.
この出願は、2018年8月10日に出願された日本国特許出願特願2018−151307を基礎とするものであり、その内容は、本願に含まれるものである。 This application is based on Japanese Patent Application No. 2018-151307 filed on August 10, 2018, the contents of which are included in the present application.
本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。 Although embodiments of the present invention have been illustrated and described in detail, they are merely illustrations and examples and are not limited. The scope of the invention should be construed by the wording of the accompanying claims.
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。 In order to express the present invention, the present invention has been appropriately and sufficiently described through the embodiments with reference to the drawings above, but those skilled in the art can easily change and / or improve the above embodiments. It should be recognized that it can be done. Therefore, unless the modified or improved form implemented by a person skilled in the art is at a level that deviates from the scope of rights of the claims stated in the claims, the modified form or the improved form is the scope of rights of the claims. It is interpreted as being comprehensively included in.
本発明によれば、対象者における移動行動の異常を判定する移動行動異常判定装置および移動行動異常判定方法ならびに前記移動行動異常判定装置を備えた被監視者監視支援システムが提供できる。
According to the present invention, it is possible to provide a monitored person monitoring support system provided with a moving behavior abnormality determining device for determining an abnormality in moving behavior in a subject, a moving behavior abnormality determining method, and the moving behavior abnormality determining device.
Claims (7)
前記画像取得部で取得した複数の画像に基づいて対象者の移動行動を検出する移動行動検出部と、
前記移動行動検出部で検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定部とを備える、
移動行動異常判定装置。An image acquisition unit that acquires a plurality of time-series images in a predetermined first period,
A movement behavior detection unit that detects the movement behavior of the target person based on a plurality of images acquired by the image acquisition unit, and a movement behavior detection unit.
It is provided with an abnormality determination unit that determines whether or not there is an abnormality in the movement behavior based on the movement behavior detected by the movement behavior detection unit.
Movement behavior abnormality judgment device.
前記異常判定部は、前記第1期間における最初の画像の移動位置を始点とすると共に前記第1期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度を求め、前記求めた複数の角度のうち、所定の角度閾値以上である角度の個数を求め、前記求めた個数が所定の第1判定閾値以上である場合に、前記移動行動に異常があると判定する、
請求項1に記載の移動行動異常判定装置。For each of the plurality of images, the moving behavior detection unit extracts the image of the target person as the target person image, extracts the center position or the center of gravity position in the extracted target person image as the moving position, and then extracts the image of the target person as the moving position. Each of the extracted movement positions in a plurality of images is detected as the movement behavior of the target person, and the movement behavior is detected.
The abnormality determination unit obtains a vector whose starting point is the moving position of the first image in the first period and whose ending position is the moving position of the last image in the first period as a reference vector, and for each of the plurality of images. , A vector having the moving position of the image and the moving position of the image adjacent to the image in chronological order as the start point and the end point in chronological order is obtained as an inter-image vector, and each of the obtained plurality of inter-image vectors is obtained. , The angle between the image-to-image vector and the reference vector is obtained, the number of angles that are equal to or greater than the predetermined angle threshold among the obtained plurality of angles is obtained, and the obtained number is the predetermined first determination threshold value. If the above is the case, it is determined that the movement behavior is abnormal.
The movement behavior abnormality determination device according to claim 1.
前記異常判定部は、前記第1期間における最初の画像の移動位置を始点とすると共に前記第1期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度を求め、前記求めた複数の角度のうち、所定の角度閾値以上である角度の個数を求め、前記求めた個数が所定の第1判定閾値以上である場合に、前記移動行動に異常があると判定する、
請求項1に記載の移動行動異常判定装置。For each of the plurality of images, the moving behavior detection unit extracts an image of the subject's head as a head image from the image, and extracts the center position or the center of gravity position in the extracted head image as the moving position. Then, each of the extracted moving positions in the plurality of images is detected as the moving behavior of the target person.
The abnormality determination unit obtains a vector whose starting point is the moving position of the first image in the first period and whose ending position is the moving position of the last image in the first period as a reference vector, and for each of the plurality of images. , A vector having the moving position of the image and the moving position of the image adjacent to the image in chronological order as the start point and the end point in chronological order is obtained as an inter-image vector, and each of the obtained plurality of inter-image vectors is obtained. , The angle between the image-to-image vector and the reference vector is obtained, the number of angles that are equal to or greater than the predetermined angle threshold among the obtained plurality of angles is obtained, and the obtained number is the predetermined first determination threshold value. If the above is the case, it is determined that the movement behavior is abnormal.
The movement behavior abnormality determination device according to claim 1.
前記異常判定部は、前記判定した異常を初段階での異常とし、さらに、前記第2期間に含まれる複数の第1期間それぞれにおける前記初段階において前記移動行動に異常があると判定した第1回数を求め、前記求めた第1回数が所定の第2判定閾値以上である場合に、次段階において前記移動行動に異常があると判定する、
請求項2または請求項3に記載の移動行動異常判定装置。The image acquisition unit acquires a plurality of time-series images in a predetermined second period longer than the first period.
The abnormality determination unit determines that the determined abnormality is an abnormality in the first stage, and further determines that the movement behavior is abnormal in the first stage in each of the plurality of first periods included in the second period. The number of times is calculated, and when the obtained first number of times is equal to or greater than a predetermined second determination threshold value, it is determined that the movement behavior is abnormal in the next stage.
The movement behavior abnormality determination device according to claim 2 or 3.
前記異常判定部は、前記判定した次段階での異常を中間段階での異常とし、さらに、前記第3期間に含まれる複数の第2期間それぞれにおける前記中間段階において前記移動行動に異常があると判定した第2回数を求め、前記求めた第2回数が所定の第3判定閾値以上である場合に、最終段階において前記移動行動に異常があると判定する、
請求項4に記載の移動行動異常判定装置。The image acquisition unit acquires a plurality of time-series images in a predetermined third period longer than the second period.
The abnormality determination unit considers the abnormality in the next stage determined as the abnormality in the intermediate stage, and further determines that the movement behavior is abnormal in the intermediate stage in each of the plurality of second periods included in the third period. The determined second number of times is obtained, and when the determined second number of times is equal to or greater than a predetermined third determination threshold value, it is determined that the movement behavior is abnormal at the final stage.
The moving behavior abnormality determination device according to claim 4.
前記画像取得工程で取得した複数の画像に基づいて対象者の移動行動を検出する移動行動検出工程と、
前記移動行動検出工程で検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定工程とを備える、
移動行動異常判定方法。An image acquisition process for acquiring a plurality of time-series images in a predetermined first period, and
A movement behavior detection step of detecting the movement behavior of the target person based on a plurality of images acquired in the image acquisition step, and a movement behavior detection step.
It includes an abnormality determination step of determining whether or not there is an abnormality in the movement behavior based on the movement behavior detected in the movement behavior detection step.
Movement behavior abnormality judgment method.
前記センサ装置または前記中央管理装置は、前記被監視者を前記対象者とした請求項1ないし請求項5のいずれか1項に記載の移動行動異常判定装置を備える、
被監視者監視支援システム。
A sensor device that is provided in response to the monitored person to be monitored and detects a predetermined event related to the monitored person, is communicably connected to the sensor device, and notifies the notification of the event detected by the sensor device. It is provided with a central management device that receives and manages the event, and a terminal device that is communicably connected to the central management device and receives notification of an event detected by the sensor device via the central management device, and is monitored. It is a monitored person monitoring support system to support the monitoring of people.
The sensor device or the central management device includes the movement behavior abnormality determination device according to any one of claims 1 to 5, wherein the monitored person is the target person.
Observed person monitoring support system.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018151307 | 2018-08-10 | ||
JP2018151307 | 2018-08-10 | ||
PCT/JP2019/025205 WO2020031531A1 (en) | 2018-08-10 | 2019-06-25 | Movement behavioral abnormality determination device and corresponding method, and person-to-be-monitored monitoring supporting system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020031531A1 true JPWO2020031531A1 (en) | 2021-09-30 |
JP7352197B2 JP7352197B2 (en) | 2023-09-28 |
Family
ID=69414693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020536372A Active JP7352197B2 (en) | 2018-08-10 | 2019-06-25 | Mobile behavior abnormality determination device and method, and monitored person monitoring support system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7352197B2 (en) |
WO (1) | WO2020031531A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017026308A1 (en) * | 2015-08-10 | 2017-02-16 | コニカミノルタ株式会社 | Care assistance system |
JP2018097416A (en) * | 2016-12-08 | 2018-06-21 | 株式会社 日立産業制御ソリューションズ | Imaging apparatus and interest action detection method |
JP2019211900A (en) * | 2018-06-01 | 2019-12-12 | 株式会社デンソー | Object identification device, system for moving object, object identification method, learning method of object identification model and learning device for object identification model |
-
2019
- 2019-06-25 JP JP2020536372A patent/JP7352197B2/en active Active
- 2019-06-25 WO PCT/JP2019/025205 patent/WO2020031531A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017026308A1 (en) * | 2015-08-10 | 2017-02-16 | コニカミノルタ株式会社 | Care assistance system |
JP2018097416A (en) * | 2016-12-08 | 2018-06-21 | 株式会社 日立産業制御ソリューションズ | Imaging apparatus and interest action detection method |
JP2019211900A (en) * | 2018-06-01 | 2019-12-12 | 株式会社デンソー | Object identification device, system for moving object, object identification method, learning method of object identification model and learning device for object identification model |
Also Published As
Publication number | Publication date |
---|---|
WO2020031531A1 (en) | 2020-02-13 |
JP7352197B2 (en) | 2023-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6680352B2 (en) | Monitored person monitoring apparatus, method and system | |
WO2016199495A1 (en) | Behavior detection device, behavior detection method and program, and subject monitoring device | |
JP6992749B2 (en) | Central processing unit, central processing method and program of monitored person monitoring system and monitored person monitoring system | |
JP6142975B1 (en) | Monitored person monitoring apparatus and method, and monitored person monitoring system | |
JP7137154B2 (en) | Behavior detection device and method, and monitored person monitoring support system | |
WO2018230104A1 (en) | Central processing device and central processing method for person-to-be-monitored monitoring assist system, and person-to-be-monitored monitoring assist system | |
JP6504255B2 (en) | Care support system and care support method | |
JP6740633B2 (en) | Central processing unit and central processing method of monitored person monitoring system, and monitored person monitoring system | |
JPWO2020031531A1 (en) | Movement behavior abnormality determination device and its method, and monitored person monitoring support system | |
WO2020100461A1 (en) | Sensor device for to-be-monitored person monitoring assistance system, monitoring image storage method, and to-be-monitored person monitoring assistance system | |
JP6895090B2 (en) | Detection system and display processing method of detection system | |
JP7259540B2 (en) | Determination device, control program for determination device, and determination method | |
JP2017151676A (en) | Monitored person monitor device, method of monitoring monitored person and program thereof | |
WO2019142566A1 (en) | Monitored person monitoring support system and monitored person monitoring support method | |
JP6292363B2 (en) | Terminal device, terminal device display method, and monitored person monitoring system | |
JP7234931B2 (en) | Sensor Device of Monitored Person Monitoring Support System, Processing Method of Sensor Device, and Monitored Person Monitoring Support System | |
JP6481537B2 (en) | Monitored person monitoring device and monitored person monitoring method | |
JP7425413B2 (en) | Monitored person monitoring support device, monitored person monitoring support method, monitored person monitoring support system, and monitored person monitoring support server device | |
JP7063333B2 (en) | Observed person monitoring device and method, and monitored person monitoring support system | |
JPWO2018096805A1 (en) | Monitored person monitoring apparatus setting device and method, and monitored person monitoring system | |
JP6737355B2 (en) | Head detection device, head detection method, and monitored person monitoring device | |
JP7167946B2 (en) | IMAGE RECORDING SYSTEM AND METHOD AND MONITORING SUPPORT SYSTEM | |
JP2020188487A (en) | Central processing device, monitored person monitoring method, and monitored person monitoring system | |
JP6737089B2 (en) | Monitored person monitoring system and monitored person monitoring method | |
JP2020140418A (en) | Mobile terminal control program, mobile terminal, and monitoring system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230816 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7352197 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |