JPWO2020031531A1 - Movement behavior abnormality determination device and its method, and monitored person monitoring support system - Google Patents
Movement behavior abnormality determination device and its method, and monitored person monitoring support system Download PDFInfo
- Publication number
- JPWO2020031531A1 JPWO2020031531A1 JP2020536372A JP2020536372A JPWO2020031531A1 JP WO2020031531 A1 JPWO2020031531 A1 JP WO2020031531A1 JP 2020536372 A JP2020536372 A JP 2020536372A JP 2020536372 A JP2020536372 A JP 2020536372A JP WO2020031531 A1 JPWO2020031531 A1 JP WO2020031531A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- movement behavior
- abnormality
- unit
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005856 abnormality Effects 0.000 title claims abstract description 289
- 238000012544 monitoring process Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 claims description 69
- 239000013598 vector Substances 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 49
- 230000002159 abnormal effect Effects 0.000 claims description 30
- 239000000284 extract Substances 0.000 claims description 16
- 230000005484 gravity Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 8
- 230000006399 behavior Effects 0.000 description 235
- 238000004891 communication Methods 0.000 description 139
- 238000012545 processing Methods 0.000 description 106
- 238000003384 imaging method Methods 0.000 description 32
- 230000009471 action Effects 0.000 description 31
- 238000005259 measurement Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000011410 subtraction method Methods 0.000 description 6
- 210000000746 body region Anatomy 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000000474 nursing effect Effects 0.000 description 4
- 230000002265 prevention Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Dentistry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本発明の移動行動異常判定装置、移動行動異常判定方法および被監視者監視支援システムは、所定の第１期間における時系列な複数の画像を取得し、この取得した複数の画像に基づいて対象者の移動行動を検出し、この検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する。The movement behavior abnormality determination device, the movement behavior abnormality determination method, and the monitored person monitoring support system of the present invention acquire a plurality of time-series images in a predetermined first period, and the subject is based on the acquired plurality of images. The movement behavior of the above is detected, and it is determined whether or not there is an abnormality in the movement behavior based on the detected movement behavior.
Description
本発明は、対象者における移動行動の異常を判定する移動行動異常判定装置および移動行動異常判定方法ならびに前記移動行動異常判定装置を備えた被監視者監視支援システムに関する。 The present invention relates to a movement behavior abnormality determination device for determining an abnormality in movement behavior in a subject, a movement behavior abnormality determination method, and a monitored person monitoring support system provided with the movement behavior abnormality determination device.
近年、超高齢社会の突入に伴って、看護業界や介護業界等の業務を補完する技術が、研究、開発されており、例えば、特許文献１に開示されている。
In recent years, with the entry of a super-aging society, technologies for complementing operations in the nursing industry, long-term care industry, etc. have been researched and developed, and are disclosed in, for example,
この特許文献１に開示された転倒防止装置は、前記装置のユーザの動きの測定結果を収集するための少なくとも１つのセンサと、前記測定結果から前記ユーザの歩行に関するパラメータに対する値を推定するため、および、前記ユーザが通常の転倒リスクにある場合の前記ユーザの動きから決定されるパラメータの値と前記推定値の比較から前記ユーザの転倒リスクを決定するための、プロセッサとを有し、前記プロセッサは、（ｉ）前記測定結果の各々の大きさが閾値を超える、前記収集された測定結果における連続する測定結果のクラスタを識別する、（ｉｉ）前記測定結果の各々の大きさが閾値を超える、前記収集された測定結果における連続する測定結果のクラスタを、その大きさが前記閾値未満である前記測定結果のサブセットを除いて、識別し、ただし前記サブセットは時間閾値未満の期間に及ぶことを条件とする、または、（ｉｉｉ）前記収集された測定結果における連続する測定結果のクラスタを識別し、その大きさが第１の閾値を超える前記収集された測定結果内の第１の収集された測定結果は、クラスタ内の第１の測定結果をあらわし、その大きさが第２の閾値を下回る前記クラスタ内の第１の測定結果後の最初の収集された測定結果は、前記クラスタ内の最後の測定結果をあらわし、ただし前記最後の測定結果は前記第１の測定結果後の最短期間を上回ることを条件とする、ことにより前記収集された測定結果においてステップ境界を識別することにより前記ユーザの歩行に関するパラメータに対する前記値を推定する。そして、この転倒防止装置では、前記センサは、加速時計、磁力計およびジャイロスコープであり、ペンダントとしてユーザの首から吊り下げられて装着される（例えばその［００３１］段落、［００３２］段落および［００８５］段落参照）。
The fall prevention device disclosed in
前記特許文献１に開示された転倒防止装置は、転倒リスクの高いことを警告するので、転倒そのものを予防できる。このため、例えば、転倒を検知して看護師や介護士等に報知するシステムでは、転倒の報知が低減され、これら看護師や介護士等における例えば報知による駆け付け等の負担の軽減が期待できる。また、転倒による怪我等を回避でき、対象者自身の負担の軽減も期待できる。しかしながら、前記特許文献１に開示された転倒防止装置では、対象者は、センサを装着しなければならず、装着行為や装着状態が煩わしいという問題や、装着を忘れてしまうという問題がある。
Since the fall prevention device disclosed in
本発明は、上述の事情に鑑みて為された発明であり、その目的は、装着の必要が無く、非接触で移動行動の異常を判定できる移動行動異常判定装置および移動行動異常判定方法ならびに前記移動行動異常判定装置を備えた被監視者監視支援システムを提供することである。 The present invention has been made in view of the above circumstances, and an object of the present invention is a movement behavior abnormality determination device and a movement behavior abnormality determination method capable of determining a movement behavior abnormality in a non-contact manner without the need for wearing, and the above-mentioned. It is to provide a monitored person monitoring support system equipped with a movement behavior abnormality determination device.
上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した移動行動異常判定装置、移動行動異常判定方法および被監視者監視支援システムは、所定の第１期間における時系列な複数の画像を取得し、この取得した複数の画像に基づいて対象者の移動行動を検出し、この検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する。 In order to achieve at least one of the above-mentioned objects, the movement behavior abnormality determination device, the movement behavior abnormality determination method, and the monitored person monitoring support system reflecting one aspect of the present invention are time-series in a predetermined first period. A plurality of images are acquired, the movement behavior of the target person is detected based on the acquired plurality of images, and it is determined whether or not there is an abnormality in the movement behavior based on the detected movement behavior.
発明の１または複数の実施形態により与えられる利点および特徴は、以下に与えられる詳細な説明および添付図面から十分に理解される。これら詳細な説明及び添付図面は、例としてのみ与えられるものであり本発明の限定の定義として意図されるものではない。 The advantages and features provided by one or more embodiments of the invention are fully understood from the detailed description and accompanying drawings provided below. These detailed descriptions and accompanying drawings are given by way of example only and are not intended as a limited definition of the present invention.
以下、図面を参照して、本発明の１または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。 Hereinafter, one or more embodiments of the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the disclosed embodiments. It should be noted that the configurations with the same reference numerals in the respective drawings indicate that they are the same configurations, and the description thereof will be omitted as appropriate. In the present specification, when they are generically referred to, they are indicated by reference numerals without subscripts, and when they refer to individual configurations, they are indicated by reference numerals with subscripts.
実施形態における被監視者監視支援システムは、監視すべき（見守るべき）監視対象（見守り対象）である被監視者（見守り対象者、対象者）を監視する監視者（ユーザ）の前記監視を支援するものである。この被監視者監視支援システムは、本実施形態では、被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されたイベントの通知を受けて前記イベントを管理する中央管理装置、および、前記中央管理装置と通信可能に接続され前記中央管理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備える。そして、本実施形態の被監視者監視支援システムでは、前記センサ装置が前記被監視者を対象者として、前記対象者における移動行動の異常を判定する移動行動異常判定装置を備える。なお、後述するように、前記中央管理装置が前記移動行動異常判定装置を備えても良い。前記移動行動異常判定装置は、本実施形態では、所定の第１期間における時系列な複数の画像を取得する画像取得部と、前記画像取得部で取得した複数の画像に基づいて対象者の移動行動を検出する移動行動検出部と、前記移動行動検出部で検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定部とを備える。前記端末装置は、１種類の装置であって良いが、本実施形態態では、前記端末装置は、固定端末装置と携帯端末装置との２種類の装置である。これら固定端末装置と携帯端末装置との主な相違は、固定端末装置が固定的に運用される一方、携帯端末装置が例えば看護師や介護士等の監視者（ユーザ）に携行されて運用される点であり、これら固定端末装置と携帯端末装置とは、略同様である。以下、より具体的に説明する。 The monitored person monitoring support system in the embodiment supports the monitoring of the monitor (user) who monitors the monitored person (watching target person, target person) which is the monitoring target (watching target) to be monitored (watched). Is what you do. In the present embodiment, the monitored person monitoring support system is provided in response to the monitored person, and is communicably connected to a sensor device that detects a predetermined event related to the monitored person and the sensor device. A central management device that receives notification of an event detected by the sensor device and manages the event, and a notification of an event detected by the sensor device via the central management device that is communicably connected to the central management device. Equipped with a terminal device to receive. Then, in the monitored person monitoring support system of the present embodiment, the sensor device includes a moving behavior abnormality determining device that determines the abnormality of the moving behavior in the target person with the monitored person as the target person. As will be described later, the central management device may include the movement behavior abnormality determination device. In the present embodiment, the moving behavior abnormality determining device moves a target person based on an image acquisition unit that acquires a plurality of time-series images in a predetermined first period and a plurality of images acquired by the image acquisition unit. It includes a movement behavior detection unit that detects an action, and an abnormality determination unit that determines whether or not there is an abnormality in the movement behavior based on the movement behavior detected by the movement behavior detection unit. The terminal device may be one type of device, but in the present embodiment, the terminal device is two types of devices, a fixed terminal device and a mobile terminal device. The main difference between these fixed terminal devices and mobile terminal devices is that while fixed terminal devices are operated in a fixed manner, mobile terminal devices are carried and operated by observers (users) such as nurses and caregivers, for example. The fixed terminal device and the mobile terminal device are substantially the same. Hereinafter, a more specific description will be given.
図１は、実施形態における被監視者監視支援システムの構成を示す図である。図２は、前記被監視者監視支援システムにおけるセンサ装置の構成を示す図である。図３は、前記センサ装置の配設位置を説明するための図である。図４は、前記被監視者監視支援システムにおける管理サーバ装置の構成を示す図である。図５は、対象者（被監視者）の移動行動の検出処理を説明するための図である。図５Ａは、６個の画像を１個に互いに重ねた場合（部屋ＲＭの床面ＦＬに投影した場合）における前記６個の画像それぞれから抽出された６個の頭部画像を示し、図５Ｂは、これら６個の頭部画像それぞれにおける中心位置を示す。図６は、初段階における移動行動の異常判定処理を説明するための図である。図６Ａは、正常と判定される場合における基準ベクトルＲＢおよび各画像間ベクトルＩＶを示し、図６Ｂは、異常と判定される場合における基準ベクトルＲＢおよび各画像間ベクトルＩＶを示す。 FIG. 1 is a diagram showing a configuration of a monitored person monitoring support system in the embodiment. FIG. 2 is a diagram showing a configuration of a sensor device in the monitored person monitoring support system. FIG. 3 is a diagram for explaining the arrangement position of the sensor device. FIG. 4 is a diagram showing a configuration of a management server device in the monitored person monitoring support system. FIG. 5 is a diagram for explaining the detection process of the moving behavior of the target person (monitored person). FIG. 5A shows six head images extracted from each of the six images when the six images are superimposed on each other (projected onto the floor FL of the room RM), and FIG. 5B shows. Indicates the center position in each of these six head images. FIG. 6 is a diagram for explaining the abnormality determination process of the moving behavior in the initial stage. FIG. 6A shows the reference vector RB and each inter-image vector IV when it is determined to be normal, and FIG. 6B shows the reference vector RB and each inter-image vector IV when it is determined to be abnormal.
実施形態における被監視者監視支援システムＭＳは、被監視者Ｏｂの監視を支援するシステムであり、例えば、図１に示すように、１または複数のセンサ装置ＳＵ（ＳＵ−１〜ＳＵ−４）と、管理サーバ装置ＳＶと、固定端末装置ＳＰと、１または複数の携帯端末装置ＴＡ（ＴＡ−１、ＴＡ−２）と、構内交換機（ＰＢＸ、Ｐｒｉｖａｔｅ ｂｒａｎｃｈ ｅｘｃｈａｎｇｅ）ＣＸとを備え、これらは、有線や無線で、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の網（ネットワーク、通信回線）ＮＷを介して通信可能に接続される。ネットワークＮＷは、通信信号を中継する例えばリピーター、ブリッジおよびルーター等の中継機が備えられても良い。図１に示す例では、これら複数のセンサ装置ＳＵ−１〜ＳＵ−４、管理サーバ装置ＳＶ、固定端末装置ＳＰ、複数の携帯端末装置ＴＡ−１、ＴＡ−２および構内交換機ＣＸは、Ｌ２スイッチの集線装置（ハブ、ＨＵＢ）ＬＳおよびアクセスポイントＡＰを含む有線および無線の混在したＬＡＮ（例えばＩＥＥＥ８０２．１１規格に従ったＬＡＮ等）ＮＷによって互いに通信可能に接続されている。より詳しくは、複数のセンサ装置ＳＵ−１〜ＳＵ−４、管理サーバ装置ＳＶ、固定端末装置ＳＰおよび構内交換機ＣＸは、集線装置ＬＳに接続され、複数の携帯端末装置ＴＡ−１、ＴＡ−２は、アクセスポイントＡＰを介して集線装置ＬＳに接続されている。そして、ネットワークＮＷは、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ ｃｏｎｔｒｏｌ ｐｒｏｔｏｃｏｌ）およびＩＰ（Ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ）等のインターネットプロトコル群が用いられることによっていわゆるイントラネットを構成する。 The monitored person monitoring support system MS in the embodiment is a system that supports monitoring of the monitored person Ob, and for example, as shown in FIG. 1, one or a plurality of sensor devices SU (SU-1 to SU-4). A management server device SV, a fixed terminal device SP, one or more portable terminal devices TA (TA-1, TA-2), and a private branch exchange (PBX, Private network change) CX. It is connected by wire or wirelessly via a network (network, communication line) NW such as LAN (Local Area Network) so that it can communicate with each other. The network NW may be provided with repeaters such as repeaters, bridges and routers that relay communication signals. In the example shown in FIG. 1, the plurality of sensor devices SU-1 to SU-4, the management server device SV, the fixed terminal device SP, the plurality of mobile terminal devices TA-1, TA-2, and the premises exchange CX are L2 switches. Concentrators (hubs, HUBs) LS and mixed wired and wireless LANs including access point APs (eg LANs according to the 802.11 standard) NWs are communicatively connected to each other. More specifically, the plurality of sensor devices SU-1 to SU-4, the management server device SV, the fixed terminal device SP, and the private branch exchange CX are connected to the line concentrator LS, and the plurality of mobile terminal devices TA-1 and TA-2 are connected. Is connected to the concentrator LS via the access point AP. Then, the network NW constitutes a so-called intranet by using a group of Internet protocols such as TCP (Transmission Control Protocol) and IP (Internet Protocol).
構内交換機（回線切換機）ＣＸは、ネットワークＮＷに接続され、携帯端末装置ＴＡ同士における発信、着信および通話等の内線電話の制御を行って前記携帯端末装置ＴＡ同士の内線電話を実施し、そして、例えば固定電話網や携帯電話網等の公衆電話網ＰＮを介して例えば固定電話機や携帯電話機等の外線電話機ＴＬに接続され、外線電話機ＴＬと携帯端末装置ＴＡとの間における発信、着信および通話等の外線電話の制御を行って外線電話機ＴＬと携帯端末装置ＴＡとの間における外線電話を実施するものである。構内交換機ＣＸは、例えば、デジタル交換機や、ＩＰ−ＰＢＸ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ Ｐｒｉｖａｔｅ Ｂｒａｎｃｈ ｅＸｃｈａｎｇｅ）等である。 The premises exchange (line switching machine) CX is connected to the network NW, controls the extension telephones such as outgoing calls, incoming calls, and calls between the mobile terminal devices TAs, and executes the extension telephones between the mobile terminal devices TAs. , For example, connected to an outside line telephone TL such as a fixed telephone or a mobile phone via a public telephone network PN such as a fixed telephone network or a mobile phone network, and makes, receives, and makes a call between the outside line telephone TL and the mobile terminal device TA. The outside line telephone is controlled between the outside line telephone TL and the mobile terminal device TA to carry out the outside line telephone. The private branch exchange CX is, for example, a digital exchange, an IP-PBX (Internet Protocol Private Branch eXchange), or the like.
被監視者監視支援システムＭＳは、被監視者Ｏｂに応じて適宜な場所に配設される。被監視者（見守り対象者）Ｏｂは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Ｏｂは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視支援システムＭＳは、被監視者Ｏｂの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図１に示す例では、被監視者監視支援システムＭＳは、複数の被監視者Ｏｂが入居する複数の居室ＲＭや、ナースステーション等の複数の部屋を備える介護施設の建物に配設されている。 The monitored person monitoring support system MS is arranged at an appropriate place according to the monitored person Ob. The monitored person (person to be watched over) Ob is, for example, a person who needs nursing care due to illness or injury, a person who needs nursing care due to deterioration of physical ability, or a person living alone. In particular, from the viewpoint of enabling early detection and early response, the monitored person Ob may be a person who needs the detection when a predetermined inconvenient event such as an abnormal state occurs in the person. preferable. Therefore, the monitored person monitoring support system MS is suitably arranged in buildings such as hospitals, welfare facilities for the elderly, and dwelling units, depending on the type of monitored person Ob. In the example shown in FIG. 1, the monitored person monitoring support system MS is arranged in a plurality of living room RMs in which a plurality of monitored person Obs move in, or in a building of a nursing care facility having a plurality of rooms such as a nurse station. ..
センサ装置ＳＵは、ネットワークＮＷを介して他の装置ＳＶ、ＳＰ、ＴＡと通信する通信機能等を備え、被監視者Ｏｂに関わる所定のイベント（事象）を、管理サーバ装置ＳＶへ通知し、後述のイベント動画を管理サーバ装置ＳＶへ送信する装置である。そして、本実施形態では、センサ装置ＳＵは、移動行動異常判定装置として機能し、前記被監視者Ｏｂを対象者Ｏｂとして、前記対象者Ｏｂにおける移動行動の異常を判定する。前記所定のイベント（事象）は、好適には対処が必要な所定のイベントであり、例えば、本実施形態では、被監視者Ｏｂにおける予め設定された所定の行動およびナースコールである。このため、本実施形態では、センサ装置ＳＵは、被監視者Ｏｂにおける所定の行動を検知して検知結果を前記所定のイベントの一例として管理サーバ装置ＳＶへ通知（送信）し、ナースコールを受け付けて前記ナースコールを前記所定のイベントの他の一例として管理サーバ装置ＳＶへ通知（送信）し、端末装置ＳＰ、ＴＡとの間で音声通話を行い、動画を含む画像を生成して端末装置ＳＰ、ＴＡへ動画を配信する装置し、そして、被監視者（対象者）Ｏｂにおける移動行動の異常を判定する。前記移動行動は、例えば走行や歩行等の移動に関する行動であり、前記移動行動の異常は、転倒の予兆を表す歩行、例えば、目的地点に対し左右にふらついた歩行や、前記目的地点から乖離して行く歩行である。このようなセンサ装置ＳＵは、例えば、図２に示すように、画像取得部１１と、音入出力部１２と、ナースコール受付操作部１３と、センサ側制御処理部（ＳＵ制御処理部）１４と、センサ側通信インターフェース部（ＳＵ通信ＩＦ部）１５と、センサ側記憶部（ＳＵ記憶部）１６とを備える。
The sensor device SU has a communication function for communicating with other devices SV, SP, TA via the network NW, and notifies a predetermined event (event) related to the monitored person Ob to the management server device SV, which will be described later. This is a device that transmits the event video of the above to the management server device SV. Then, in the present embodiment, the sensor device SU functions as a movement behavior abnormality determination device, and determines the abnormality of the movement behavior in the target person Ob with the monitored person Ob as the target person Ob. The predetermined event (event) is a predetermined event that needs to be dealt with preferably, and is, for example, a predetermined action and a nurse call in the monitored person Ob in the present embodiment. Therefore, in the present embodiment, the sensor device SU detects a predetermined action in the monitored person Ob, notifies (transmits) the detection result to the management server device SV as an example of the predetermined event, and accepts the nurse call. The nurse call is notified (transmitted) to the management server device SV as another example of the predetermined event, a voice call is made between the terminal device SP and TA, an image including a moving image is generated, and the terminal device SP. , A device that delivers a moving image to the TA, and determines an abnormality in the movement behavior of the monitored person (target person) Ob. The moving behavior is, for example, an action related to movement such as running or walking, and the abnormality of the moving behavior is walking that indicates a sign of a fall, for example, walking that sways to the left or right with respect to the destination point, or deviates from the destination point. It is a walking that goes on. As shown in FIG. 2, for example, such a sensor device SU includes an
画像取得部１１は、ＳＵ制御処理部１４に接続され、ＳＵ制御処理部１４の制御に従って、所定の第１期間における時系列な複数の画像を取得する装置である。本実施形態では、前記所定のイベントの一例である所定の行動を画像から検出するので、画像取得部１１は、時系列な複数の画像（画像データ）を生成する撮像部１１である。撮像部１１は、本実施形態では、前記所定のイベントの一例である所定の行動を検出可能であって、前記移動行動の異常を判定可能である時間間隔で、前記時系列な複数の画像を生成する。撮像部１１は、時系列な複数の画像として、好ましくは、例えば５ｆｐｓや１０ｆｐｓや１５ｆｐｓや２４ｆｐｓや３０ｆｐｓ等の動画を生成する。撮像部１１は、監視すべき監視対象である被監視者Ｏｂが所在を予定している空間（所在空間、図１に示す例では配設場所の居室（部屋）ＲＭ）を監視可能に配置され、例えば、図３に示すように、前記所在空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像（画像データ）を生成し、前記撮像対象の画像（対象画像）をＳＵ制御処理部１４へ出力する。好ましくは、監視対象の被監視者Ｏｂ全体を撮像できる蓋然性が高いことから、撮像部１１は、例えば、床面ＦＬに配置された、被監視者Ｏｂが横臥する寝具（例えばベッド等）における、被監視者Ｏｂの頭部が位置すると予定されている予め設定された頭部予定位置（通常、枕の配設位置）の直上から撮像対象を撮像できるように天井面ＣＥに配設される。あるいは、例えば、前記所在空間全体を撮像できる蓋然性が高いことから、撮像部１１は、天井面ＣＥの略中央位置に配設される。センサ装置ＳＵは、この撮像部１１によって、被監視者Ｏｂを、被監視者Ｏｂの上方から撮像した画像、好ましくは前記頭部予定位置の直上や前記天井面ＣＥの略中央位置から撮像した画像を取得する。
The
このような撮像部１１は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Ｏｂを監視できるように、本実施形態では、赤外線の画像を生成する装置である。このような撮像部１１は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するエリアイメージセンサ、および、エリアイメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データ、好ましくは動画データを生成する画像処理部等を備えるデジタル赤外線カメラである。撮像部１１の前記結像光学系は、本実施形態では、その配設された居室ＲＭ全体を撮像できる画角を持つ広角な光学系（いわゆる広角レンズ（魚眼レンズを含む））であることが好ましい。
Such an
音入出力部１２は、音を入出力する回路である。すなわち、音入出力部１２は、ＳＵ制御処理部１４に接続され、ＳＵ制御処理部１４の制御に従って音を表す電気信号に応じた音を生成して出力するための回路であって、外部の音を取得してセンサ装置ＳＵに入力するための回路である。音入出力部１２は、例えば、音の電気信号（音データ）を音の機械振動信号（音響信号）に変換するスピーカ等と、可聴領域の音の機械振動信号を電気信号に変換するマイクロフォン等とを備えて構成される。音入出力部１２は、外部の音を表す電気信号をＳＵ制御処理部１４へ出力し、また、ＳＵ制御処理部１４から入力された電気信号を音の機械振動信号に変換して出力する。
The sound input /
ナースコール受付操作部１３は、ＳＵ制御処理部１４に接続され、ナースコールを当該センサ装置ＳＵに入力するための例えば押しボタン式スイッチ等のスイッチ回路である。なお、ナースコール受付操作部１３は、有線でＳＵ制御処理部１４に接続されて良く、また、例えばＢｌｕｅｔｏｏｔｈ（登録商標）規格等の近距離無線通信でＳＵ制御処理部１４に接続されて良い。
The nurse call
ＳＵ通信ＩＦ部１５は、ＳＵ制御処理部１４に接続され、ＳＵ制御処理部１４の制御に従って通信を行うための通信回路である。ＳＵ通信ＩＦ部１５は、ＳＵ制御処理部１４から入力された転送すべきデータを収容した通信信号を、この被監視者監視支援システムＭＳのネットワークＮＷで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークＮＷを介して他の装置ＳＶ、ＳＰ、ＴＡへ送信する。ＳＵ通信ＩＦ部１５は、ネットワークＮＷを介して他の装置ＳＶ、ＳＰ、ＴＡから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをＳＵ制御処理部１４が処理可能な形式のデータに変換してＳＵ制御処理部１４へ出力する。ＳＵ通信ＩＦ部１５は、例えば、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路を備えて構成される。
The SU communication IF
ＳＵ記憶部１６は、ＳＵ制御処理部１４に接続され、ＳＵ制御処理部１４の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、センサ装置ＳＵの各部１１〜１３、１５、１６を当該各部の機能に応じてそれぞれ制御するＳＵ制御プログラムや、被監視者Ｏｂに対する監視に関する所定の情報処理を実行するＳＵ監視処理プログラムや、被監視者Ｏｂにおける移動行動の異常判定に関する所定の情報処理を実行する移動行動異常判定プログラムや、年月日時分秒で計時するＳＵ時計プログラム等の制御処理プログラムが含まれる。前記ＳＵ監視処理プログラムには、被監視者Ｏｂにおける所定の行動を検知して検知結果を前記所定のイベント（事象）の一例として管理サーバ装置ＳＶを介して所定の端末装置ＳＰ、ＴＡへ通知する行動検知処理プログラムや、ナースコール受付操作部１３でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として管理サーバ装置ＳＶへ通知し、ＳＵ音入出力部１２等を用いることで端末装置ＳＰ、ＴＡとの間で音声通話を行うナースコール処理プログラムや、撮像部１１で生成した動画を、その動画を要求した端末装置ＳＰ、ＴＡへストリーミングで配信するストリーミング処理プログラム等が含まれる。前記移動行動異常判定プログラムには、前記画像取得部の一例としての撮像部１１で取得した複数の画像に基づいて被監視者（対象者）Ｏｂの移動行動を検出する移動行動検出プログラムや、前記移動行動検出プログラムで検出した検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定プログラム等が含まれる。前記各種の所定のデータには、自機の、センサ装置ＳＵを特定し識別するための識別子であるセンサ装置識別子（センサＩＤ）、管理サーバ装置ＳＶの通信アドレス、撮像部１１で生成された動画、第１および第２回数カウンタＣＴ１、ＣＴ２等の、各プログラムを実行する上で必要なデータ等が含まれる。ＳＵ記憶部１６は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。ＳＵ記憶部１６は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるＳＵ制御処理部１４のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。そして、本実施形態では、ＳＵ記憶部１６は、前記第１および第２回数カウンタＣＴ１、ＣＴ２それぞれを記憶する第１および第２回数記憶部１６１、１６２を機能的に備える。前記第１回数カウンタＣＴ１は、前記第２期間に含まれる複数の第１期間それぞれにおける初段階において前記移動行動に異常があると判定した第１回数を数えるために、前記第１回数を表すカウンタである。前記第２回数カウンタＣＴ２は、前記第３期間に含まれる複数の第２期間それぞれにおける中間段階において前記移動行動に異常があると判定した第２回数を数えるために、前記第２回数を表すカウンタである。
The
ＳＵ制御処理部１４は、センサ装置ＳＵの各部１１〜１３、１５、１６を当該各部の機能に応じてそれぞれ制御し、被監視者Ｏｂに関わる所定のイベント（事象）を、管理サーバ装置ＳＶへ通知し、イベント動画を管理サーバ装置ＳＶへ送信するための回路である。そして、本実施形態では、ＳＵ制御処理部１４は、前記被監視者Ｏｂを対象者Ｏｂとして、前記対象者Ｏｂにおける移動行動の異常を判定する。より具体的には、本実施形態では、ＳＵ制御処理部１４は、被監視者Ｏｂにおける所定の行動を検知してその検知結果を前記所定のイベントの一例として管理サーバ装置ＳＶへ通知（報知、送信）し、ナースコールを受け付けてそのナースコールを前記所定のイベントの他の一例として管理サーバ装置ＳＶへ通知（報知、送信）し、端末装置ＳＰ、ＴＡとの間で音声通話を行い、動画を含む画像を生成して端末装置ＳＰ、ＴＡへ動画を配信し、そして、被監視者（対象者）Ｏｂにおける移動行動の異常を判定する。ＳＵ制御処理部１４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成される。ＳＵ制御処理部１４は、前記制御処理プログラムが実行されることによって、センサ側制御部（ＳＵ制御部）１４１、行動検知処理部１４２、ナースコール処理部１４３、ストリーミング処理部１４４、移動行動検出部１４５、異常判定部１４６およびセンサ側時計部（ＳＵ時計部）１４７を機能的に備え、異常判定部１４６は、第１ないし第３判定部１４６１〜１４６３を機能的に備える。
The SU
ＳＵ制御部１４１は、センサ装置ＳＵの各部１１〜１３、１５、１６を当該各部の機能に応じてそれぞれ制御し、センサ装置ＳＵの全体制御を司るものである。
The
行動検知処理部１４２は、被監視者Ｏｂにおける、予め設定された所定の行動を検知して検知結果を前記所定のイベントの一例として管理サーバ装置ＳＶへ通知するものである。より具体的には、本実施形態では、前記所定の行動は、例えば、被監視者Ｏｂが起きた起床、被監視者Ｏｂが寝具から離れた離床、被監視者Ｏｂが寝具から落ちた転落、および、被監視者Ｏｂが倒れた転倒の４つの行動である。そして、行動検知処理部１４２は、例えば、撮像部１１で撮像した対象画像に基づいて被監視者Ｏｂの頭部を検出し、この検出した被監視者Ｏｂの頭部における大きさの時間変化に基づいて被監視者Ｏｂの起床、離床、転倒および転落を検知する。より詳しくは、まず、寝具ＢＤの所在領域、第１閾値Ｔｈ１、第２閾値Ｔｈ２および第３閾値Ｔｈ３が前記各種の所定のデータの１つとして予めＳＵ記憶部１６に記憶される。前記第１閾値Ｔｈ１は、寝具ＢＤの所在領域内における横臥姿勢の頭部の大きさと座位姿勢の頭部の大きさとを識別するための閾値である。前記第２閾値Ｔｈ２は、寝具ＢＤの所在領域を除く居室ＲＭ内における立位姿勢の頭部の大きさであるか否かを識別するための閾値である。前記第３閾値Ｔｈ３は、寝具ＢＤの所在領域を除く居室ＲＭ内における横臥姿勢の頭部の大きさであるか否かを識別するための閾値である。そして、行動検知処理部１４２は、対象画像から例えば背景差分法やフレーム差分法によって被監視者Ｏｂの人物の領域として動体領域を抽出する。次に、行動検知処理部１４２は、この抽出した動体領域から、例えば円形や楕円形のハフ変換によって、また例えば予め用意された頭部のモデルを用いたパターンマッチングによって、また例えば頭部検出用に学習したニューラルネットワークによって、被監視者Ｏｂの頭部領域を抽出する。次に、行動検知処理部１４２は、この抽出した頭部の位置および大きさから起床、離床、転倒および転落を検知する。例えば、行動検知処理部１４２は、この抽出した頭部の位置が寝具ＢＤの所在領域内であって、前記抽出した頭部の大きさが前記第１閾値Ｔｈ１を用いることによって横臥姿勢の大きさから座位姿勢の大きさへ時間変化した場合には、起床と判定し、前記起床を検知する。例えば、行動検知処理部１４２は、この抽出した頭部の位置が寝具ＢＤの所在領域内から寝具の所在領域外へ時間変化した場合であって、前記抽出した頭部の大きさが前記第２閾値Ｔｈ２を用いることによって或る大きさから立位姿勢の大きさへ時間変化した場合には、離床と判定し、前記離床を検知する。例えば、行動検知処理部１４２は、この抽出した頭部の位置が寝具ＢＤの所在領域内から寝具ＢＤの所在領域外へ時間変化した場合であって、前記抽出した頭部の大きさが前記第３閾値Ｔｈ３を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転落と判定し、前記転落を検知する。例えば、行動検知処理部１４２は、この抽出した頭部の位置が寝具ＢＤの所在領域を除く居室ＲＭ内であって、前記抽出した頭部の大きさが前記第３閾値Ｔｈ３を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転倒と判定し、前記転倒を検知する。
The action
このように前記所定の行動を検知すると、行動検知処理部１４２は、被監視者Ｏｂに関わる所定のイベント（事象）の内容を表すイベント情報（事象情報）を収容した、前記イベントを通知するための通信信号（第１イベント通知通信信号）をＳＵ通信ＩＦ部１５で管理サーバ装置ＳＶへ通知する。より詳しくは、行動検知処理部１４２は、自機のセンサＩＤ、前記イベントの内容を表すイベント情報、前記所定の行動を検知した時刻（検知時刻）、前記所定の行動の検知に用いられた対象画像を収容した第１イベント通知通信信号を、ＳＵ通信ＩＦ部１５を介して管理サーバ装置ＳＶへ送信する。前記イベント情報は、本実施形態では、起床、離床、転落、転倒およびナースコール（ＮＣ）のうちの１または複数であり、ここでは、行動検知処理部１４２は、検知した起床、離床、転落および転倒のうちの１または複数を前記イベント情報として第１イベント通知通信信号に収容する。前記画像は、静止画および動画のうちの少なくとも一方であって良く、本実施形態では、まず、静止画が報知され、ユーザの要求に応じて動画が配信される。なお、まず、動画が配信されても良く、また、静止画および動画が送信され、画面分割で静止画および動画が端末装置ＳＰ、ＴＡに表示されても良い。
When the predetermined action is detected in this way, the action
ナースコール処理部１４３は、ナースコール受付操作部１３でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として収容した第１イベント通知通信信号を管理サーバ装置ＳＶへ通知し、音入出力部１２等を用いることで端末装置ＳＰ、ＴＡとの間で音声通話を行うものである。より具体的には、ナースコール処理部１４３は、ナースコール受付操作部１３が入力操作されると、自機のセンサＩＤ、前記ナースコールを検知した時刻（検知時刻）、および、前記イベント情報としてナースコールを収容した第１イベント通知通信信号をＳＵ通信ＩＦ部１５を介して管理サーバ装置ＳＶへ送信する。そして、ナースコール処理部１４３は、音入出力部１２等を用い、端末装置ＳＰ、ＴＡとの間で例えばＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）によって音声通話を行う。
When the nurse call
ストリーミング処理部１４４は、ＳＵ通信ＩＦ部１５を介して固定端末装置ＳＰまたは携帯端末装置ＴＡから動画の配信の要求があった場合に、この要求のあった固定端末装置ＳＰまたは携帯端末装置ＴＡへ、撮像部１１で生成した動画（例えばライブの動画）をストリーミング再生でＳＵ通信ＩＦ部１５を介して配信するものである。
When the
移動行動検出部１４５は、前記画像取得部の一例としての撮像部１１で取得した複数の画像に基づいて被監視者（対象者）Ｏｂの移動行動を検出するものである。より具体的には、本実施形態では、移動行動検出部１４５は、前記複数の画像それぞれについて、当該画像から前記被監視者Ｏｂの頭部の画像を頭部画像として抽出し、前記抽出した頭部画像における中心位置または重心位置を移動位置として抽出し、前記複数の画像における、前記抽出した各移動位置を前記対象者の移動行動として検出する。より詳しくは、移動行動検出部１４５は、前記複数の画像それぞれについて、上述の行動検知処理部１４２と同様に、まず、当該画像から例えば背景差分法やフレーム差分法によって被監視者Ｏｂの人物の領域として動体領域を抽出する。次に、移動行動検出部１４５は、この抽出した動体領域から、例えば円形や楕円形のハフ変換によって、また例えば予め用意された頭部のモデルを用いたパターンマッチングによって、また例えば頭部検出用に学習したニューラルネットワークによって、被監視者Ｏｂの頭部領域を前記頭部画像として抽出する。なお、行動検知処理部１４２が抽出した被監視者Ｏｂの頭部領域が前記頭部画像として流用されても良い。次に、移動行動検出部１４５は、この抽出した被監視者Ｏｂの頭部領域（頭部画像）における例えば中心位置を移動位置として求める。なお、前記中心位置に代え、重心位置が用いられても良い。前記中心位置は、例えば、被監視者Ｏｂの頭部領域（頭部画像）に外接する外接矩形における２つの対角線の交点、あるいは、被監視者Ｏｂの頭部領域（頭部画像）に外接する外接円の中心点である。前記重心位置は、被監視者Ｏｂの頭部領域（頭部画像）を構成する各画素の分布の中心点である。そして、移動行動検出部１４５は、前記複数の画像における、前記抽出した各移動位置を前記被監視者Ｏｂの移動行動として求める。例えば、図５Ａに示すように、６個の画像（フレーム）それぞれについて、６個の頭部領域（頭部画像）ＨＰ−１〜ＨＰ−６が抽出され、これら抽出された６個の頭部領域（頭部画像）ＨＰ−１〜ＨＰ−６それぞれから、その各中心位置が移動位置ＭＰとして求められると、図５Ｂに示すように、６個の移動位置ＭＰ−１〜ＭＰ−６が前記被監視者Ｏｂの移動行動として求められる。これら６個の移動位置ＭＰ−１〜ＭＰ−６を順に線分で連結することで、前記被監視者Ｏｂの移動軌跡が分かる。
The moving
異常判定部１４６は、移動行動検出部１４５で検出した検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定するものである。前記移動行動の異常の有無は、転倒の予兆を表す歩行であるか否か、例えば、目的地点に対し左右にふらついた歩行であるか否かや、前記目的地点から乖離して行く歩行であるか否かによって判定される。そして、一段階で移動行動の異常が判定されても良いが、本実施形態では、判定期間の長短に応じた複数段階、例えば三段階で前記異常の有無が判定される。このため、異常判定部１４６は、所定の第１期間において初段階で異常の有無を判定する第１判定部１４６１と、前記第１期間より長い所定の第２期間において中間段階で異常の有無を判定する第２判定部１４６２と、前記第２期間より長い所定の第３期間において最終段階で異常の有無を判定する第３判定部１４６３とを機能的に備えている。
The
より具体的には、第１判定部１４６１は、前記第１期間における最初の画像の移動位置を始点とすると共に前記第１期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度を求め、前記求めた複数の角度のうち、所定の角度閾値Ｔｈａｎ以上である角度の個数を求め、前記求めた個数が所定の第１判定閾値ＤＴｈ１以上である場合に、初段階において前記移動行動に異常があると判定するものである。前記第１期間は、本実施形態では、上記ふらつく歩行か否かや目的地点から乖離して行く歩行か否かを判定するために必要な時間であり、複数のサンプルを用いて適宜に設定され、例えば、数秒以下の時間である。前記角度閾値Ｔｈａｎは、本実施形態では、上記ふらつく歩行か否かや目的地点から乖離して行く歩行か否かを判定するために必要な角度であり、複数のサンプルを用いて適宜に設定される。前記第１判定閾値ＤＴｈ１は、本実施形態では、上記ふらつく歩行か否かや目的地点から乖離して行く歩行か否かを判定するために必要な回数であり、複数のサンプルを用いて適宜に設定される。例えば、上述の図５に示す例では、図６Ａに示すように、前記第１期間における最初の画像の移動位置ＭＰ−１を始点とすると共に前記第１期間における最後の画像の移動位置ＭＰ−６を終点とするベクトルが基準ベクトルＲＶとして求められ、前記６個の画像（フレーム）それぞれについて、当該画像の移動位置ＭＰ−ｋと当該画像に時系列順で後続に隣接する画像の移動位置ＭＰ−（ｋ＋１）とを時系列順に始点および終点とするベクトルが画像間ベクトルＩＶ−１〜ＩＶ−５として求められる。続いて、これら画像間ベクトルＩＶ−１〜ＩＶ−５それぞれについて、当該画像間ベクトルＩＶ−ｋ（ｋ＝１、２、３、４、５）と基準ベクトルＲＶとの間の角度θｋが求められ、これら求められた角度θ１〜θ５のうち、角度閾値Ｔｈａｎ以上である角度の個数Ｎａｎが求められる。そして、この求められた個数Ｎａｎが第１判定閾値ＤＴｈ１以上である場合に、初段階において前記移動行動に異常があると判定される。一例として、前記角度閾値Ｔｈａｎが７０度であり、前記第１判定閾値ＤＴｈ１が３個である場合には、図６Ａに示す場合は、前記個数Ｎａｎが０と求められ、初段階において異常無し（正常）と判定される。一方、図６Ｂに示す場合では、前記個数Ｎａｎが４と求められ、初段階において異常有りと判定される。
More specifically, the
そして、第１判定部１４６１は、初段階において前記移動行動に異常があると判定すると、初段階において前記移動行動に異常がある旨を表す初段階異常情報および自機のセンサＩＤを収容した通信信号（初段階異常通知通信信号）を管理サーバ装置ＳＶ宛に生成し、この生成した初段階異常通知通信信号をＳＵ通信ＩＦ部１５で送信する。
Then, when the
第２判定部１４６２は、前記第２期間に含まれる複数の第１期間それぞれにおける前記初段階において前記移動行動に異常があると判定した第１回数を求め、前記求めた第１回数が所定の第２判定閾値ＤＴｈ２以上である場合に、中間段階において前記移動行動に異常があると判定するものである。前記第２期間は、上述のように前記第１期間より長ければ、任意で適宜に設定され、例えば監視者が中間判定したい期間（例えば１日や２日等）で設定される。前記第２期間に含まれる複数の第１期間が互いに隣接する２つの第１期間において一部重複するように、前記第２期間が設定されて良く、あるいは、前記第２期間に含まれる複数の第１期間が互いに独立であるように（互いに隣接する２つの第１期間において重複しないように）、前記第２期間が前記第１期間の整数倍で設定されて良い。前記第２判定閾値ＤＴｈ２は、本実施形態では、複数のサンプルを用いて適宜に設定される。
The
そして、第２判定部１４６２は、中間段階において前記移動行動に異常があると判定すると、中間段階において前記移動行動に異常がある旨を表す中間段階異常情報および自機のセンサＩＤを収容した通信信号（中間段階異常通知通信信号）を管理サーバ装置ＳＶ宛に生成し、この生成した中間段階異常通知通信信号をＳＵ通信ＩＦ部１５で送信する。
Then, when the
第３判定部１４６３は、前記第３期間に含まれる複数の第２期間それぞれにおける前記中間段階において前記移動行動に異常があると判定した第２回数を求め、前記求めた第２回数が所定の第３判定閾値ＤＴｈ３以上である場合に、最終段階において前記移動行動に異常があると判定するものである。前記第３期間は、上述のように前記第２期間より長ければ、任意で適宜に設定され、例えば監視者が最終判定したい期間（例えば１週間や２週間や１ヶ月等）で設定される。前記第３期間に含まれる複数の第２期間が互いに隣接する２つの第１期間において一部重複するように、前記第３期間が設定されて良く、あるいは、前記第３期間に含まれる複数の第２期間が互いに独立であるように（互いに隣接する２つの第２期間において重複しないように）、前記第３期間が前記第２期間の整数倍で設定されて良い。前記第３判定閾値ＤＴｈ３は、本実施形態では、複数のサンプルを用いて適宜に設定される。
The
そして、第３判定部１４６３は、最終段階において前記移動行動に異常があると判定すると、最終段階において前記移動行動に異常がある旨を表す最終段階異常情報および自機のセンサＩＤを収容した通信信号（最終段階異常通知通信信号）を管理サーバ装置ＳＶ宛に生成し、この生成した最終段階異常通知通信信号をＳＵ通信ＩＦ部１５で送信する。
Then, when the third determination unit 1464 determines that the movement behavior is abnormal in the final stage, the communication accommodating the final stage abnormality information indicating that the movement behavior is abnormal in the final stage and the sensor ID of the own machine. A signal (final stage abnormality notification communication signal) is generated to the management server device SV, and the generated final stage abnormality notification communication signal is transmitted by the SU communication IF
ＳＵ時計部１４７は、年月日時分秒で計時するものである。
The
図１には、一例として、第１ないし第４センサ装置ＳＵ−１〜ＳＵ−４が示されており、第１センサ装置ＳＵ−１は、被監視者Ｏｂの一人であるＡさんＯｂ−１の居室ＲＭ−１（不図示）に配設され、第２センサ装置ＳＵ−２は、被監視者Ｏｂの一人であるＢさんＯｂ−２の居室ＲＭ−２（不図示）に配設され、第３センサ装置ＳＵ−３は、被監視者Ｏｂの一人であるＣさんＯｂ−３の居室ＲＭ−３（不図示）に配設され、そして、第４センサ装置ＳＵ−４は、被監視者Ｏｂの一人であるＤさんＯｂ−４の居室ＲＭ−４（不図示）に配設されている。 In FIG. 1, the first to fourth sensor devices SU-1 to SU-4 are shown as an example, and the first sensor device SU-1 is Mr. A Ob-1 who is one of the monitored persons Ob. The second sensor device SU-2 is arranged in the living room RM-2 (not shown) of Mr. B Ob-2, who is one of the monitored persons Ob, and is arranged in the living room RM-2 (not shown). The third sensor device SU-3 is arranged in the living room RM-3 (not shown) of Mr. C Ob-3, who is one of the monitored persons Ob, and the fourth sensor device SU-4 is the monitored person. It is arranged in the living room RM-4 (not shown) of Mr. D Ob-4, who is one of the Obs.
管理サーバ装置ＳＶは、ネットワークＮＷを介して他の装置ＳＵ、ＴＡ、ＳＰと通信する通信機能を備え、センサ装置ＳＵから前記所定のイベントの通知を受けると、被監視者Ｏｂに対する監視に関する情報（監視情報（本実施形態では例えば前記所定のイベント（センサ装置ＳＵで検知した所定の行動の種類やセンサ装置ＳＵで受け付けたナースコール）、被監視者Ｏｂの画像（静止画および動画）、および、前記検知時刻等））を管理し、前記所定のイベントを所定の端末装置ＳＰ、ＴＡへ通知（再通知、再報知、送信）し、クライアント（本実施形態では端末装置ＳＰ、ＴＡ等）の要求に応じたデータを前記クライアントに提供し、被監視者監視支援システムＭＳ全体を管理する装置である。そして、本実施形態では、管理サーバ装置ＳＶは、センサ装置ＳＵから受信した、初段階における移動行動の異常判定結果、中間段階における移動行動の異常判定結果および最終段階における移動行動の異常判定結果を各センサ装置ＳＵごとに（各被監視者Ｏｂごとに）管理する。このような管理サーバ装置ＳＶは、例えば、図３に示すように、サーバ側通信インターフェース部（ＳＶ通信ＩＦ部）２１と、サーバ側制御処理部（ＳＶ制御処理部）２２と、サーバ側記憶部（ＳＶ記憶部）２３とを備える。 The management server device SV has a communication function for communicating with other devices SU, TA, and SP via the network NW, and when the sensor device SU notifies the predetermined event, the information regarding the monitoring of the monitored person Ob ( Monitoring information (in the present embodiment, for example, the predetermined event (type of predetermined action detected by the sensor device SU or a nurse call received by the sensor device SU), an image (still image and moving image) of the monitored person Ob, and The detection time, etc.)) is managed, the predetermined event is notified (re-notification, re-notification, transmission) to the predetermined terminal device SP, TA, and the request of the client (terminal device SP, TA, etc. in the present embodiment) is performed. This is a device that provides the client with data according to the above and manages the entire monitored person monitoring support system MS. Then, in the present embodiment, the management server device SV receives the abnormality determination result of the movement behavior in the first stage, the abnormality determination result of the movement behavior in the intermediate stage, and the abnormality determination result of the movement behavior in the final stage received from the sensor device SU. It is managed for each sensor device SU (for each monitored person Ob). As shown in FIG. 3, such a management server device SV includes, for example, a server-side communication interface unit (SV communication IF unit) 21, a server-side control processing unit (SV control processing unit) 22, and a server-side storage unit. (SV storage unit) 23 is provided.
ＳＶ通信ＩＦ部２１は、ＳＵ通信ＩＦ部１５と同様に、ＳＶ制御処理部２２に接続され、ＳＶ制御処理部２２の制御に従って通信を行うための通信回路である。ＳＶ通信ＩＦ部２１は、例えば、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路を備えて構成される。
Similar to the SU communication IF
ＳＶ記憶部２３は、ＳＶ制御処理部２２に接続され、ＳＶ制御処理部２２の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、管理サーバ装置ＳＶの各部２１、２３を当該各部の機能に応じてそれぞれ制御するＳＶ制御プログラムや、被監視者Ｏｂに対する監視に関する所定の情報処理を実行する監視処理プログラムや、センサ装置ＳＵから受信した各段階における移動行動の異常判定結果を管理する判定処理プログラムや、年月日時分秒で計時を行うＳＶ時計プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、自機の、管理サーバ装置ＳＶを特定し管理サーバ装置ＳＶを識別するためのサーバ識別子（サーバＩＤ）や、被監視者Ｏｂの前記監視情報や、前記所定のイベント（事象）の通知先等の装置ＳＵ、ＳＰ、ＴＡ間の情報を表す装置間情報や、センサ装置ＳＵに関するセンサ情報や、端末装置ＳＰ、ＴＡに関する端末情報や、各段階における移動行動の異常判定結果等の各プログラムを実行する上で必要なデータ等が含まれる。これら監視情報、装置間情報、センサ情報、端末情報、各段階における移動行動の異常判定結果それぞれを記憶するために、ＳＶ記憶部２３は、監視情報記憶部２３１、装置間情報記憶部２３２、センサ情報記憶部２３３、端末情報記憶部２３４および判定結果記憶部２３５を機能的に備える。
The
ＳＶ監視情報記憶部２３１は、各装置ＳＵ、ＳＰ、ＴＡそれぞれとの間で送受信した被監視者Ｏｂの監視情報を記憶するものである。より具体的には、ＳＶ監視情報記憶部２３１には、本実施形態では、前記監視情報として、第１イベント通知通信信号等の通信信号に収容された各情報に基づいて、センサＩＤ、イベント情報（事象情報、本実施形態では起床、離床、転落、転倒およびナースコール）、検知時刻、対象画像、ライブ動画の取得先としてセンサ装置ＳＵの通信アドレスおよび対処の有無（対応の受付の有無）が互いに対応付けて記憶される。前記対処の有無は、端末装置ＳＰ、ＴＡで受信した通信信号に収容されたイベント情報に対する対処（対応、処置、措置）する意思が前記端末装置ＳＰ、ＴＡを扱う監視者にある旨を、前記端末装置ＳＰ、ＴＡで受け付けたか否かを表す情報である。
The SV monitoring
装置間情報記憶部２３２は、前記装置間情報として、本実施形態では、センサ装置ＳＵから送信された第１イベント通知通信信号等の通知先（再通知先、再報知先、送信先）を示す、送信元であるセンサＩＤと通知先（再通知先）である端末ＩＤとの対応関係（通知先対応関係）、および、各装置ＳＵ、ＳＰ、ＴＡのＩＤ（センサＩＤ、端末ＩＤ）とその通信アドレスとの対応関係（通信アドレス対応関係）等を記憶するものである。前記端末ＩＤは、端末装置ＳＰ、ＴＡを特定し端末装置ＳＰ、ＴＡを識別するための端末識別子である。
In the present embodiment, the inter-device
なお、センサＩＤ、サーバＩＤおよび端末ＩＤそれぞれは、例えば所定の記号列から成るシリアル番号等であって良く、また例えば通信アドレスであって良い（この場合通信アドレス対応関係は省略できる）。 Each of the sensor ID, the server ID, and the terminal ID may be, for example, a serial number consisting of a predetermined symbol string or the like, or may be, for example, a communication address (in this case, the communication address correspondence relationship can be omitted).
センサ情報記憶部２３３は、前記センサ情報を記憶するものである。本実施形態では、前記センサ情報は、センサ装置ＳＵに関する情報であり、センサ装置ＳＵのセンサＩＤと被監視者Ｏｂの被監視者名とを互いに対応付けた情報である。
The sensor
端末情報記憶部２３４は、前記端末情報として、本実施形態では、端末装置ＳＰ、ＴＡにログインしている監視者（ユーザ）（端末装置ＳＰ、ＴＡを扱っている監視者）を示すログイン監視者情報、および、監視者の勤務状況（勤務シフト、勤務時間）を示す監視者勤務情報等を記憶するものである。
In the present embodiment, the terminal
判定結果記憶部２３５は、センサ装置ＳＵから受信した、初段階における移動行動の異常判定結果、中間段階における移動行動の異常判定結果および最終段階における移動行動の異常判定結果を、送信元のセンサ装置ＳＵの持つセンサＩＤおよび受信時刻と対応付けて記憶するものである。
The determination
ＳＶ制御処理部２２は、管理サーバ装置ＳＶの各部２１、２３を当該各部の機能に応じてそれぞれ制御し、センサ装置ＳＵから前記所定のイベントの通知を受けると、被監視者Ｏｂに対する監視に関する監視情報を管理し、前記所定のイベントを所定の端末装置ＳＰ、ＴＡへ通知（再通知、再報知、送信）し、クライアントの要求に応じたデータを前記クライアントに提供し、被監視者監視支援システムＭＳ全体を管理するための回路である。そして、本実施形態では、ＳＶ制御処理部２２は、センサ装置ＳＵから受信した各段階における移動行動の異常判定結果を管理する。ＳＶ制御処理部２２は、例えば、ＣＰＵおよびその周辺回路を備えて構成される。ＳＶ制御処理部２２は、前記制御処理プログラムが実行されることによって、サーバ側制御部（ＳＶ制御部）２２１、監視処理部２２２、判定結果処理部２２３およびサーバ側時計部（ＳＶ時計部）２２４を機能的に備える。
The SV
ＳＶ制御部２２１は、管理サーバ装置ＳＶの各部２１、２３を当該各部の機能に応じてそれぞれ制御し、管理サーバ装置ＳＶの全体制御を司るものである。
The
監視処理部２２２は、センサ装置ＳＵから前記所定のイベントの通知を受信すると被監視者Ｏｂに対する監視に関する監視情報を管理し、前記所定のイベントを所定の端末装置ＳＰ、ＴＡへ通知するものである。より具体的には、監視処理部２２２は、センサ装置ＳＵから前記第１イベント通知通信信号を受信すると、この受信した第１イベント通知通信信号に収容された、被監視者Ｏｂに対する監視に関する監視情報をＳＶ監視情報記憶部２３１に記憶（記録）する。監視処理部２２２は、前記受信した第１イベント通知通信信号を送信したセンサ装置ＳＵに対応する通知先（再通知先、転送先、送信先）を、装置間情報記憶部２３２に記憶された前記通知先対応関係から選定（検索）し、これら選定結果に基づいて第２イベント通知通信信号を生成し、この生成した第２イベント通知通信信号をＳＶ通信ＩＦ部２１で送信する。この通知先の端末装置ＳＰ、ＴＡの選定（検索処理）は、前記受信した第１イベント通知通信信号を送信したセンサ装置ＳＵに対応するセンサＩＤに基づいて実施される。前記第１イベント通知通信信号に収容されたイベント情報が前記所定の行動（起床、離床、転落および転倒のうちの１または複数）である場合には、前記第２イベント通知通信信号には、第１イベント通知通信信号に収容されたセンサＩＤ、イベント情報および対象画像、ならびに、動画のダウンロード先として、第１イベント通知通信信号に収容されたセンサＩＤを持つセンサ装置ＳＵに対応する通信アドレスが収容される。前記第１イベント通知通信信号に収容されたイベント情報が前記ナースコールである場合には、前記第２イベント通知通信信号には、第１イベント通知通信信号に収容されたセンサＩＤおよびイベント情報が収容される。
When the
判定結果処理部２２３は、センサ装置ＳＵから受信した各段階における移動行動の異常判定結果を管理するものである。
The determination
より具体的には、初段階異常通知通信信号が受信されると、判定結果処理部２２３は、この受信した初段階異常通知通信信号に収容された初段階異常情報およびセンサＩＤと、その受信時刻とを対応付けてＳＶ記憶部２３の判定結果記憶部２３５に記憶する。中間段階異常通知通信信号が受信されると、判定結果処理部２２３は、この受信した中間段階異常通知通信信号に収容された中間段階異常情報およびセンサＩＤと、その受信時刻とを対応付けてＳＶ記憶部２３の判定結果記憶部２３５に記憶する。最終階異常通知通信信号が受信されると、判定結果処理部２２３は、この受信した最終階異常通知通信信号に収容された最終段階異常情報およびセンサＩＤと、その受信時刻とを対応付けてＳＶ記憶部２３の判定結果記憶部２３５に記憶する。なお、初段階異常通知通信信号、中間段階異常通知通信信号および最終段階異常通知通信信号それぞれに、センサ装置ＳＵでその判定時刻が収容される場合には、前記受信時刻に代え、前記判定時刻が用いられても良い。そして、クライアントとして端末装置ＳＰ、ＴＡから、初段階異常情報や中間段階異常情報や最終段階異常情報が要求されると、判定結果処理部２２３は、ＳＶ記憶部２３の判定結果記憶部２３５に記憶されている初段階異常情報や中間段階異常情報や最終段階異常情報を、要求元の端末装置ＳＰ、ＴＡへ返信する。この返信を受信した端末装置ＳＰ、ＴＡは、初段階異常情報や中間段階異常情報や最終段階異常情報を表示する。なお、管理サーバ装置は、上述のように第１イベント通知通信信号の受信による第２イベント通知通信信号の送信と同様に、初段階異常通知通信信号、中間段階異常通知通信信号および最終階異常通知通信信号を受信した場合に、送信元のセンサ装置ＳＵに対応する送信先の端末装置ＳＰ、ＴＡへ、初段階異常情報、中間段階異常情報および最終段階異常情報を送信しても良い。
More specifically, when the first-stage abnormality notification communication signal is received, the determination
ＳＶ時計部２２４は、年月日時分秒で計時を行うものである。
The
なお、管理サーバ装置ＳＶは、図４に破線で示すように、必要に応じて、さらに、ＳＶ制御処理部２２に接続され例えば各種コマンドや各種データ等を入力するサーバ側入力部（ＳＶ入力部）２４、ＳＶ入力部２４で入力された各種コマンドや各種データおよび被監視者Ｏｂに対する監視に関する監視情報等を出力するサーバ側出力部（ＳＶ出力部）２５、および、外部機器との間でデータの入出力を行うサーバ側インターフェース部（ＳＶＩＦ部）２６等を備えても良い。
As shown by the broken line in FIG. 4, the management server device SV is further connected to the SV
このような管理サーバ装置ＳＶは、例えば、通信機能付きのコンピュータによって構成可能である。 Such a management server device SV can be configured by, for example, a computer having a communication function.
この管理サーバ装置ＳＶは、中央処理装置の一例に相当する。 This management server device SV corresponds to an example of a central processing unit.
固定端末装置ＳＰは、ネットワークＮＷを介して他の装置ＳＵ、ＳＶ、ＴＡと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置ＳＶや携帯端末装置ＴＡに与える所定の指示やデータを入力したり、管理サーバ装置ＳＶからの通知によってセンサ装置ＳＵで得られた監視情報を表示したり等することによって、被監視者監視支援システムＭＳのユーザインターフェース（ＵＩ）として機能する機器である。本実施形態では、固定端末装置ＳＰは、初段階異常情報や中間段階異常情報や最終段階異常情報を表示する。このような固定端末装置ＳＰは、例えば、通信機能付きのコンピュータによって構成可能である。 The fixed terminal device SP includes a communication function for communicating with other devices SU, SV, and TA via a network NW, a display function for displaying predetermined information, an input function for inputting predetermined instructions and data, and the like. The person to be monitored by inputting predetermined instructions and data given to the management server device SV and the mobile terminal device TA, displaying the monitoring information obtained by the sensor device SU by the notification from the management server device SV, and the like. It is a device that functions as a user interface (UI) of the monitoring support system MS. In the present embodiment, the fixed terminal device SP displays the first stage abnormality information, the intermediate stage abnormality information, and the final stage abnormality information. Such a fixed terminal device SP can be configured by, for example, a computer having a communication function.
携帯端末装置ＴＡは、ネットワークＮＷを介して他の装置ＳＶ、ＳＰ、ＳＵと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置ＳＶやセンサ装置ＳＵに与える所定の指示やデータを入力したり、管理サーバ装置ＳＶからの通知によってセンサ装置ＳＵで得られた前記監視情報を表示したり、センサ装置ＳＵとの間で音声通話によってナースコールの応答や声かけしたり等するための機器である。本実施形態では、携帯端末装置ＴＡは、初段階異常情報や中間段階異常情報や最終段階異常情報を表示する。このような携帯端末装置ＴＡは、例えば、通信機能付きのタブレット型コンピュータや、いわゆるスマートフォンによって構成可能である。 The mobile terminal device TA has a communication function for communicating with other devices SV, SP, and SU via a network NW, a display function for displaying predetermined information, an input function for inputting predetermined instructions and data, and a voice call. It is equipped with a call function to perform, inputting predetermined instructions and data given to the management server device SV and the sensor device SU, displaying the monitoring information obtained by the sensor device SU by notification from the management server device SV, and displaying the monitoring information. It is a device for answering and calling a nurse call by voice call with the sensor device SU. In the present embodiment, the mobile terminal device TA displays the first stage abnormality information, the intermediate stage abnormality information, and the final stage abnormality information. Such a mobile terminal device TA can be configured by, for example, a tablet computer having a communication function or a so-called smartphone.
次に、本実施形態における被監視者監視支援システムＭＳの動作について説明する。図７は、前記被監視者監視支援システムにおけるイベントの通知に関する動作を示すシーケンス図である。図８は、前記センサ装置における移動行動の異常判定に関する動作を示すフローチャートである。 Next, the operation of the monitored person monitoring support system MS in this embodiment will be described. FIG. 7 is a sequence diagram showing an operation related to event notification in the monitored person monitoring support system. FIG. 8 is a flowchart showing an operation related to abnormality determination of the movement behavior in the sensor device.
このような被監視者監視支援システムＭＳでは、各装置ＳＵ、ＳＶ、ＳＰ、ＴＡは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。センサ装置ＳＵでは、その制御処理プログラムの実行によって、ＳＵ制御処理部１４には、ＳＵ制御部１４１、行動検知処理部１４２、ナースコール処理部１４３、ＳＵストリーミング処理部１４４、移動行動検出部１４５、異常判定部１４６およびＳＵ時計部１４７が機能的に構成され、異常判定部１４６には、第１ないし第３判定部１４６１〜１４６３が機能的に構成される。管理サーバ装置ＳＶでは、その制御処理プログラムの実行によって、ＳＶ制御処理部２２には、ＳＶ制御部２２１、監視処理部２２２、判定結果処理部２２３およびＳＶ時計部２２４が機能的に構成される。
In such a monitored person monitoring support system MS, each device SU, SV, SP, and TA executes necessary initialization of each part when the power is turned on, and starts its operation. In the sensor device SU, by executing the control processing program, the SU
まず、被監視者監視支援システムＭＳにおけるイベントの通知に関する動作について説明する。図７において、センサ装置ＳＵは、イベントを検知すると（Ｃ１）、この検知したイベントを通知するために、第１イベント通知通信信号を管理サーバ装置ＳＶへ送信する（Ｃ２）。より具体的には、センサ装置ＳＵは、その稼働を始めると、各フレームごとに、あるいは、数フレームおきに、次のように動作することで、前記所定のイベントを検知し、前記所定のイベントを検知した場合に第１イベント通知通信信号を管理サーバ装置ＳＶへ送信する。センサ装置ＳＵは、撮像部１１から１フレーム分の画像（画像データ）を対象画像として取得し、この取得した対象画像に基づいて被監視者Ｏｂにおける所定の行動を検知し、前記所定の行動を検知すると、その検知結果を所定の端末装置ＳＰ、ＴＡへ通知するために、前記イベント情報として検知した前記所定の行動を収容した、行動検知の第１イベント通知通信信号を、ＳＵ通信ＩＦ部１５で管理サーバ装置ＳＶへ送信する。このように動作している間に、センサ装置ＳＵは、ナースコールを受け付けているか否かを判定し、ナースコールを受け付けると、そのナースコールの受付を所定の端末装置ＳＰ、ＴＡへ通知するために、センサ装置ＳＵは、前記イベント情報として前記受け付けたナースコールを収容した、ナースコール検知の第１イベント通知通信信号を、ＳＵ通信ＩＦ部１５で管理サーバ装置ＳＶへ送信する。
First, the operation related to event notification in the monitored person monitoring support system MS will be described. In FIG. 7, when the sensor device SU detects an event (C1), the sensor device SU transmits a first event notification communication signal to the management server device SV (C2) in order to notify the detected event. More specifically, when the sensor device SU starts its operation, it operates at each frame or every few frames as follows to detect the predetermined event and detect the predetermined event. Is detected, the first event notification communication signal is transmitted to the management server device SV. The sensor device SU acquires an image (image data) for one frame from the
続いて、センサ装置ＳＵから第１イベント通知通信信号を受信すると（Ｃ３）、管理サーバ装置ＳＶは、監視処理部２２２によって、この受信した第１イベント通知通信信号による監視情報を記録（記憶）し（Ｃ４）、前記受信した第１イベント通知通信信号に応じた第２イベント通知通信信号を所定の端末装置ＳＰ、ＴＡへ送信する（Ｃ５）。より具体的には、監視処理部２２２は、第１イベント通知通信信号をネットワークＮＷを介してセンサ装置ＳＵから受信すると、この受信した第１イベント通知通信信号に収容されたセンサＩＤおよびイベント情報等の各情報を、このセンサＩＤを持つセンサ装置ＳＵで監視されている被監視者Ｏｂの監視情報としてＳＶ記憶部２３に記憶（記録）する。そして、監視処理部２２２は、前記受信した第１イベント通知通信信号に収容されたセンサＩＤに対応する端末ＩＤを持つ端末装置ＳＰ、ＴＡ宛に第２イベント通知通信信号を生成し、この生成した第２イベント通知通信信号をＳＶ通信ＩＦ部２１で送信する。
Subsequently, when the first event notification communication signal is received from the sensor device SU (C3), the management server device SV records (stores) the monitoring information by the received first event notification communication signal by the
続いて、管理サーバ装置ＳＶから第２イベント通知通信信号を受信すると（Ｃ６）、この第２イベント通知通信信号を受信した端末装置ＳＰ、ＴＡは、この第２イベント通知通信信号に収容されたセンサＩＤおよびイベント情報等の各情報を、このセンサＩＤを持つセンサ装置ＳＵで監視されている被監視者Ｏｂの監視情報として記憶し、前記監視情報を表示する（Ｃ７）。これによってセンサ装置ＳＵで検知されたイベントが管理サーバ装置ＳＶを介して所定の端末装置ＳＰ、ＴＡに表示される。 Subsequently, when the second event notification communication signal is received from the management server device SV (C6), the terminal devices SP and TA that have received the second event notification communication signal are the sensors accommodated in the second event notification communication signal. Each information such as ID and event information is stored as monitoring information of the monitored person Ob monitored by the sensor device SU having this sensor ID, and the monitoring information is displayed (C7). As a result, the event detected by the sensor device SU is displayed on the predetermined terminal devices SP and TA via the management server device SV.
前記監視情報を参照した看護師や介護士等の監視者ＮＳは、例えば通話するために、通話要求を端末装置ＳＰ、ＴＡに入力する。この入力を受け付けると、端末装置ＳＰ、ＴＡは、表示中の監視情報にかかるセンサＩＤを持つセンサ装置ＳＵに通話を要求するための通信信号（通話要求通信信号）を送信する。この通話の要求に応じて端末装置ＳＰ、ＴＡとセンサ装置ＳＵとは、ＶｏＩＰで通話可能に接続され、監視者ＮＳは、被監視者Ｏｂと通話する。 An observer NS such as a nurse or a caregiver who has referred to the monitoring information inputs a call request to the terminal devices SP and TA in order to make a call, for example. Upon receiving this input, the terminal devices SP and TA transmit a communication signal (call request communication signal) for requesting a call to the sensor device SU having the sensor ID related to the monitoring information being displayed. In response to this call request, the terminal device SP, TA and the sensor device SU are connected so as to be able to make a call by VoIP, and the observer NS makes a call with the monitored person Ob.
また例えば、動画をライブで参照するために、監視者ＮＳは、動画要求を端末装置ＳＰ、ＴＡに入力する。この入力を受け付けると、端末装置ＳＰ、ＴＡは、表示中の監視情報にかかるセンサＩＤを持つセンサ装置ＳＵに動画を要求するための通信信号（動画要求通信信号）を送信する。この動画の要求に応じて端末装置ＳＰ、ＴＡとセンサ装置ＳＵとは、ストリーミングで動画を再生可能に接続され、監視者ＮＳは、端末装置ＳＰ、ＴＡに表示された動画を参照する。 Further, for example, in order to refer to the moving image live, the observer NS inputs the moving image request to the terminal devices SP and TA. Upon receiving this input, the terminal devices SP and TA transmit a communication signal (video request communication signal) for requesting a moving image to the sensor device SU having the sensor ID related to the monitoring information being displayed. In response to the request for the moving image, the terminal device SP, TA and the sensor device SU are connected so as to be able to play the moving image by streaming, and the observer NS refers to the moving image displayed on the terminal device SP, TA.
次に、センサ装置ＳＵにおける移動行動の異常判定に関する処理について説明する。上述のようにイベントの検知よってイベントを通知する一方で、センサ装置ＳＵは、次のように動作することで移動行動の異常の有無を判定している。 Next, the process related to the abnormality determination of the moving behavior in the sensor device SU will be described. While notifying the event by detecting the event as described above, the sensor device SU determines the presence or absence of an abnormality in the moving behavior by operating as follows.
移動行動の異常判定に関する処理では、まず、センサ装置ＳＵは、ＳＵ制御処理部１４の移動行動検出部１４５によって、前回の、初段階における移動行動の異常の有無を判定してから（前回における後述の処理Ｓ１３を実行してから）、前記第１期間に相当する所定数のフレーム（画像）を前記画像取得部としての撮像部１１から新たに取得したか否かを判定する（Ｓ１１）。この判定の結果、所定数のフレームを取得した場合（Ｙｅｓ）には、移動行動検出部１４５は、次に、処理Ｓ１２を実行し、一方、前記判定の結果、所定数のフレームを取得していない場合（Ｎｏ）には、移動行動検出部１４５は、処理を処理Ｓ１１に戻す。すなわち、移動行動検出部１４５は、初段階における移動行動の異常の有無を前回において判定してから新たに所定数のフレームを撮像部１１から取得するまで処理Ｓ１１を繰り返す。
In the process related to the abnormality determination of the movement behavior, the sensor device SU first determines the presence or absence of the abnormality of the movement behavior in the previous initial stage by the movement
この処理Ｓ１２では、センサ装置ＳＵは、移動行動検出部１４５によって、処理Ｓ１１で撮像部１１から取得した所定数のフレームに基づいて被監視者Ｏｂの移動行動を検出する。例えば、上述の図５に示す例では、移動行動検出部１４５は、６個のフレームそれぞれについて、当該フレームから前記被監視者Ｏｂの頭部の画像を頭部画像ＨＰとして抽出し、この抽出した頭部画像ＨＰにおける中心位置（または重心位置）を移動位置ＭＰとして抽出し、これら６個のフレームにおける、これら抽出した６個の移動位置ＭＰ−１〜ＭＰ−６を被監視者Ｏｂの移動行動として検出する。
In this process S12, the sensor device SU detects the moving behavior of the monitored person Ob by the moving
処理Ｓ１２に続いて、センサ装置ＳＵは、ＳＵ制御処理部１４における異常判定部１４６の第１判定部１４６１によって、初段階において移動行動に異常があるか否かを判定する（Ｓ１３）。例えば、上述の図６に示す例では、第１判定部１４６１は、まず、６個のフレームのうちの最初および最後それぞれの各フレームから求めた各移動位置ＭＰ−１、ＭＰ−６それぞれを、始点および終点とする基準ベクトルＲＶを求める。次に、第１判定部１４６１は、６個のフレームそれぞれについて、当該フレームおよびこれに後続に隣接するフレームそれぞれから求めた各移動位置ＭＰ−ｋ、ＭＰ−（ｋ＋１）それぞれを始点および終点とする画像間ベクトルＩＶ−ｋを求める（ｋ＝１、２、３、４、５）。次に、第１判定部１４６１は、これら画像間ベクトルＩＶ−１〜ＩＶ−５それぞれについて、当該画像間ベクトルＩＶ−ｋと基準ベクトルＲＶとの間の角度θｋを求める。次に、第１判定部１４６１は、これら求められた角度θ１〜θ５のうち、角度閾値Ｔｈａｎ以上である角度の個数Ｎａｎを求める。そして、第１判定部１４６１は、この求めた個数Ｎａｎが第１判定閾値ＤＴｈ１以上である場合に、初段階において移動行動に異常があると判定し、一方、この求めた個数Ｎａｎが第１判定閾値ＤＴｈ１未満である場合に、初段階において移動行動に異常が無い（すなわち正常とみなせる）と判定する。この判定の結果、初段階において移動行動に異常が無いと判定した場合（Ｎｏ）には、センサ装置ＳＵは、次に、処理Ｓ１６を実行し、一方、前記判定の結果、初段階において移動行動に異常が有ると判定した場合（Ｙｅｓ）には、センサ装置ＳＵは、次に、処理Ｓ１４および処理Ｓ１５の各処理を順次に実行した後に、処理Ｓ１６を実行する。
Following the process S12, the sensor device SU determines whether or not there is an abnormality in the movement behavior in the first stage by the
この処理Ｓ１４では、センサ装置ＳＵは、ＳＵ制御処理部１４における異常判定部１４６の第２判定部１４６２によって、前記第２期間に含まれる複数の第１期間それぞれにおける初段階において前記移動行動に異常があると判定した第１回数を数えるために、ＳＵ記憶部１６の第１回数記憶部１６１に記憶されている第１回数カウンタＣＴ１を１だけインクリメントする（ＣＴ１＋１→ＣＴ１）。
In this process S14, the sensor device SU is abnormal in the moving behavior at the initial stage in each of the plurality of first periods included in the second period by the
前記処理Ｓ１４に続いて実行される処理Ｓ１５では、センサ装置ＳＵは、ＳＵ制御処理部１４における異常判定部１４６の第１判定部１４６１によって、初段階異常を通知するために、初段階異常通知通信信号を管理サーバ装置ＳＶへ送信する。センサ装置ＳＵから初段階異常通知通信信号を受信すると、管理サーバ装置ＳＶは、ＳＶ制御処理部２２の判定結果処理部２２３によって、この受信した初段階異常通知通信信号に収容された初段階異常情報およびセンサＩＤと、その受信時刻とを対応付けてＳＶ記憶部２３の判定結果記憶部２３５に記憶（記録）し、これによって初段階異常情報を管理する。なお、上述したように、管理サーバ装置ＳＶは、初段階異常情報を所定の端末装置ＳＰ、ＴＡへ通知（転送）しても良い。後述の中間段階異常情報の通知や最終段階異常情報の通知も同様に、前記通知を受けることで、看護師や介護士等の監視者は、当該被監視者Ｏｂに気を配ることができ、転倒防止策を講じることも可能となる。
In the process S15 executed after the process S14, the sensor device SU uses the
前記処理Ｓ１６では、センサ装置ＳＵは、ＳＵ制御処理部１４における異常判定部１４６の第２判定部１４６２によって、前回の、中間段階における移動行動の異常の有無を判定してから（前回における後述の処理Ｓ１７を実行してから）、前記第２期間が経過したか否かを判定する。この判定の結果、前記第２期間が経過していないと判定した場合（Ｎｏ）には、センサ装置ＳＵは、処理を処理Ｓ１１に戻す。これによって、前記第２期間内において、次の前記第１期間での初段階において前記移動行動の異常の有無が判定される。一方、前記判定の結果、前記第２期間が経過していると判定した場合（Ｙｅｓ）には、センサ装置ＳＵは、次に、処理Ｓ１７を実行する。
In the process S16, the sensor device SU determines the presence or absence of an abnormality in the movement behavior in the previous and intermediate stages by the
この処理Ｓ１７では、センサ装置ＳＵは、ＳＵ制御処理部１４における異常判定部１４６の第２判定部１４６２によって、中間段階において移動行動に異常があるか否かを判定する。より具体的には、第２判定部１４６２は、ＳＵ記憶部１６の第１回数記憶部１６１に記憶されている第１回数カウンタＣＴ１が前記第２判定閾値ＤＴｈ２以上であるか否かを判定する。この判定の結果、前記第１回数カウンタＣＴ１が前記第２判定閾値ＤＴｈ２未満である場合には、第２判定部１４６２は、中間段階において移動行動に異常が無い（すなわち正常とみなせる）と判定し（Ｎｏ）、第１回数カウンタＣＴ１をリセットした後に、処理Ｓ２０を実行し、一方、前記判定の結果、前記第１回数カウンタＣＴ１が前記第２判定閾値ＤＴｈ２以上である場合には、中間段階において移動行動に異常が有ると判定し（Ｙｅｓ）、センサ装置ＳＵは、第１回数カウンタＣＴ１をリセットした後に、処理Ｓ１８および処理Ｓ１９の各処理を順次に実行した後に、処理Ｓ２０を実行する。
In this process S17, the sensor device SU determines whether or not there is an abnormality in the movement behavior in the intermediate stage by the
この処理Ｓ１８では、センサ装置ＳＵは、ＳＵ制御処理部１４における異常判定部１４６の第３判定部１４６２によって、前記第３期間に含まれる複数の第２期間それぞれにおける中間段階において前記移動行動に異常があると判定した第２回数を数えるために、ＳＵ記憶部１６の第２回数記憶部１６２に記憶されている第２回数カウンタＣＴ２を１だけインクリメントする（ＣＴ２＋１→ＣＴ２）。
In this process S18, the sensor device SU is abnormal in the moving behavior at the intermediate stage in each of the plurality of second periods included in the third period by the
前記処理Ｓ１８に続いて実行される処理Ｓ１９では、センサ装置ＳＵは、ＳＵ制御処理部１４における異常判定部１４６の第２判定部１４６２によって、中間段階異常を通知するために。中間段階異常通知通信信号を管理サーバ装置ＳＶへ送信する。センサ装置ＳＵから中間段階異常通知通信信号を受信すると、管理サーバ装置ＳＶは、ＳＶ制御処理部２２の判定結果処理部２２３によって、この受信した中間段階異常通知通信信号に収容された中間段階異常情報およびセンサＩＤと、その受信時刻とを対応付けてＳＶ記憶部２３の判定結果記憶部２３５に記憶（記録）し、これによって中間段階異常情報を管理する。なお、上述したように、管理サーバ装置ＳＶは、中間段階異常情報を所定の端末装置ＳＰ、ＴＡへ通知（転送）しても良い。
In the process S19 executed following the process S18, the sensor device SU notifies the intermediate stage abnormality by the
前記処理Ｓ２０では、センサ装置ＳＵは、ＳＵ制御処理部１４における異常判定部１４６の第３判定部１４６２によって、前回の、最終段階における移動行動の異常の有無を判定してから（前回における後述の処理Ｓ２１を実行してから）、前記第３期間が経過したか否かを判定する。この判定の結果、前記第３期間が経過していないと判定した場合（Ｎｏ）には、センサ装置ＳＵは、処理を処理Ｓ１１に戻す。これによって、前記第３期間内において、次の前記第２期間での中間段階において前記移動行動の異常の有無が判定される。一方、前記判定の結果、前記第３期間が経過していると判定した場合（Ｙｅｓ）には、センサ装置ＳＵは、次に、処理Ｓ２１を実行する。
In the process S20, the sensor device SU determines the presence or absence of an abnormality in the movement behavior in the previous and final stages by the
この処理Ｓ２１では、センサ装置ＳＵは、ＳＵ制御処理部１４における異常判定部１４６の第３判定部１４６３によって、最終段階において移動行動に異常があるか否かを判定する。より具体的には、第３判定部１４６３は、ＳＵ記憶部１６の第２回数記憶部１６２に記憶されている第２回数カウンタＣＴ２が前記第３判定閾値ＤＴｈ３以上であるか否かを判定する。この判定の結果、前記第２回数カウンタＣＴ２が前記第３判定閾値ＤＴｈ３未満である場合には、第３判定部１４６３は、最終段階において移動行動に異常が無い（すなわち正常とみなせる）と判定し（Ｎｏ）、第２回数カウンタＣＴ２をリセットした後に、処理Ｓ２３を実行し、一方、前記判定の結果、前記第２回数カウンタＣＴ２が前記第３判定閾値ＤＴｈ３以上である場合には、最終段階において移動行動に異常が有ると判定し（Ｙｅｓ）、センサ装置ＳＵは、第２回数カウンタＣＴ２をリセットした後に、処理Ｓ２２を実行した後に、処理Ｓ２３を実行する。
In this process S21, the sensor device SU determines whether or not there is an abnormality in the movement behavior at the final stage by the
この処理Ｓ２２では、センサ装置ＳＵは、ＳＵ制御処理部１４における異常判定部１４６の第３判定部１４６３によって、最終段階異常を通知するために。最終段階異常通知通信信号を管理サーバ装置ＳＶへ送信する。センサ装置ＳＵから最終段階異常通知通信信号を受信すると、管理サーバ装置ＳＶは、ＳＶ制御処理部２２の判定結果処理部２２３によって、この受信した最終段階異常通知通信信号に収容された最終段階異常情報およびセンサＩＤと、その受信時刻とを対応付けてＳＶ記憶部２３の判定結果記憶部２３５に記憶（記録）し、これによって最終段階異常情報を管理する。なお、上述したように、管理サーバ装置ＳＶは、最終段階異常情報を所定の端末装置ＳＰ、ＴＡへ通知（転送）しても良い。
In this process S22, the sensor device SU notifies the final stage abnormality by the
前記処理Ｓ２３では、センサ装置ＳＵは、ＳＵ制御処理部１４によって、その稼働が終了（停止）か否かを判定する。この判定の結果、稼働の終了（停止）である場合（Ｙｅｓ）には、センサ装置ＳＵは、本処理を終了し、一方、稼働の終了（停止）ではない場合（Ｎｏ）には、センサ装置ＳＵは、処理を処理Ｓ１１に戻す。
In the process S23, the sensor device SU determines whether or not its operation is completed (stopped) by the SU
以上説明したように、本実施形態における被監視者監視支援システムＭＳ、移動行動異常判定装置を備えたセンサ装置ＳＵ、および、これに実装された移動行動異常判定方法は、時系列な複数の画像に基づいて対象者（被監視者）Ｏｂの移動行動に異常があるか否かを判定するので、装着の必要が無く、非接触で移動行動の異常を判定できる。 As described above, the monitored person monitoring support system MS, the sensor device SU provided with the movement behavior abnormality determination device, and the movement behavior abnormality determination method implemented therein are a plurality of time-series images. Since it is determined whether or not there is an abnormality in the movement behavior of the target person (monitored person) Ob based on the above, it is not necessary to wear it, and it is possible to determine the abnormality in the movement behavior without contact.
上記被監視者監視支援システムＭＳ、移動行動異常判定装置を備えたセンサ装置ＳＵおよび移動行動異常判定方法は、複数の画像（フレーム）それぞれについて対象者Ｏｂの頭部画像ＨＰを抽出し、これら抽出した複数の対象者Ｏｂの頭部画像ＨＰに基づく基準ベクトルＲＶに対する各画像間ベクトルＩＶの各方向ズレで対象者Ｏｂの移動行動に異常があるか否かを判定するので、ふらつきを検出し易い頭部を用いて移動行動の異常を判定できる。 The monitored person monitoring support system MS, a sensor device SU equipped with a movement behavior abnormality determination device, and a movement behavior abnormality determination method extract head image HP of the subject Ob for each of a plurality of images (frames), and extract these. Since it is determined whether or not there is an abnormality in the movement behavior of the subject Ob by the deviation of each direction of the inter-image vector IV with respect to the reference vector RV based on the head image HP of the plurality of subject Obs, it is easy to detect the wobble. Abnormal movement behavior can be determined using the head.
上記被監視者監視支援システムＭＳ、移動行動異常判定装置を備えたセンサ装置ＳＵおよび移動行動異常判定方法は、第１期間より長い第２期間で対象者の移動行動に異常があるか否かを判定するので、より正確に移動行動の異常を判定できる。 The above-mentioned monitored person monitoring support system MS, a sensor device SU equipped with a movement behavior abnormality determination device, and a movement behavior abnormality determination method determine whether or not there is an abnormality in the movement behavior of the subject in the second period, which is longer than the first period. Since it is determined, it is possible to more accurately determine the abnormality of the moving behavior.
上記被監視者監視支援システムＭＳ、移動行動異常判定装置を備えたセンサ装置ＳＵおよび移動行動異常判定方法は、第２期間より長い第３期間で対象者の移動行動に異常があるか否かを判定するので、さらにより正確に移動行動の異常を判定できる。 The above-mentioned monitored person monitoring support system MS, a sensor device SU equipped with a movement behavior abnormality determination device, and a movement behavior abnormality determination method determine whether or not there is an abnormality in the movement behavior of the subject in a third period longer than the second period. Since the determination is made, it is possible to more accurately determine the abnormality of the moving behavior.
上記被監視者監視支援システムＭＳ、移動行動異常判定装置を備えたセンサ装置ＳＵおよび移動行動異常判定方法は、初段階異常情報、中間段階異常情報および最終段階異常情報を管理サーバ装置ＳＶで管理しているので、端末装置ＳＰ、ＴＡから初段階異常情報、中間段階異常情報および最終段階異常情報を管理サーバ装置ＳＶに要求し、端末装置ＳＰ、ＴＡで初段階異常情報、中間段階異常情報および最終段階異常情報を参照することで、看護師や介護士等の監視者は、該当の被監視者Ｏｂに気を配ることができ、転倒防止策を講じることも可能となる。 The monitored person monitoring support system MS, the sensor device SU equipped with the movement behavior abnormality judgment device, and the movement behavior abnormality judgment method manage the first stage abnormality information, the intermediate stage abnormality information, and the final stage abnormality information by the management server device SV. Therefore, the terminal device SP and TA request the first stage abnormality information, the intermediate stage abnormality information and the final stage abnormality information from the management server device SV, and the terminal device SP and TA request the first stage abnormality information, the intermediate stage abnormality information and the final stage abnormality information. By referring to the stage abnormality information, the observer such as a nurse or a caregiver can pay attention to the corresponding monitored person Ob, and can take measures to prevent the fall.
なお、上述の実施形態では、移動行動異常判定装置は、センサ装置ＳＵに備えられ、被監視者監視支援システムＭＳに組み込まれたが、被監視者監視支援システムＭＳに組み込まれることなく、単体（単独）で用いられても良い。 In the above-described embodiment, the movement behavior abnormality determination device is provided in the sensor device SU and incorporated in the monitored person monitoring support system MS, but is not incorporated in the monitored person monitoring support system MS and is a single unit ( It may be used alone).
また、上述の被監視者監視支援システムＭＳでは、移動行動異常判定装置は、センサ装置ＳＵに備えられたが、この形態に限定されない。例えば、移動行動異常判定装置は、例えば管理サーバ装置ＳＶ等のセンサ装置ＳＵを除く他の、画像取得部を備えたコンピュータに備えられても良い。この場合では、例えば、前記画像取得部は、外部機器からデータの入力を受けるインターフェース部であり、前記インターフェース部は、前記外部機器として、時系列な複数の画像を生成する撮像部から、前記第１期間で前記時系列な複数の画像の入力を受ける。この画像取得部を備えたコンピュータで構成される移動行動異常判定装置は、リモートで対象者を監視できる。あるいは、例えば、前記画像取得部は、通信を行う通信インターフェース部であり、前記通信インターフェース部は、時系列な複数の画像を管理するサーバ装置と通信し、前記サーバ装置から、前記第１期間で前記時系列な複数の画像を受信する。この画像取得部を備えたコンピュータで構成される移動行動異常判定装置は、前記サーバ装置に蓄積された対象者における時系列な複数の画像を用いて前記対象者における移動行動の異常を解析できる。あるいは、例えば、前記画像取得部は、記録媒体からデータを読み込むドライブ装置であり、前記ドライブ装置は、時系列な複数の画像を記録した記録媒体から、前記第１期間で前記時系列な複数の画像を読み込む。この画像取得部を備えたコンピュータで構成される移動行動異常判定装置は、前記記録媒体に蓄積された対象者における時系列な複数の画像を用いて前記対象者における移動行動の異常を解析できる。これら各態様において、前記画像取得部を備えたコンピュータで構成される移動行動異常判定装置は、被監視者監視支援システムＭＳに組み込まれて用いられても（例えば管理サーバ装置ＳＶに備えられる）、単体で用いられても良い。 Further, in the above-mentioned monitored person monitoring support system MS, the movement behavior abnormality determination device is provided in the sensor device SU, but the present invention is not limited to this form. For example, the movement behavior abnormality determination device may be provided in a computer provided with an image acquisition unit other than the sensor device SU such as the management server device SV. In this case, for example, the image acquisition unit is an interface unit that receives data input from an external device, and the interface unit is the first from an imaging unit that generates a plurality of time-series images as the external device. Receives the input of the plurality of time-series images in one period. A mobile behavior abnormality determination device composed of a computer equipped with this image acquisition unit can remotely monitor the target person. Alternatively, for example, the image acquisition unit is a communication interface unit that performs communication, and the communication interface unit communicates with a server device that manages a plurality of time-series images, and is transmitted from the server device in the first period. The plurality of time-series images are received. The movement behavior abnormality determination device composed of a computer provided with this image acquisition unit can analyze the movement behavior abnormality in the target person by using a plurality of time-series images of the target person stored in the server device. Alternatively, for example, the image acquisition unit is a drive device that reads data from a recording medium, and the drive device is a time-series plurality of images from a recording medium that has recorded a plurality of time-series images in the first period. Load the image. The movement behavior abnormality determination device including the computer provided with the image acquisition unit can analyze the movement behavior abnormality in the target person by using a plurality of time-series images of the target person stored in the recording medium. In each of these aspects, even if the mobile behavior abnormality determination device configured by the computer provided with the image acquisition unit is incorporated and used in the monitored person monitoring support system MS (for example, the management server device SV is provided). It may be used alone.
また、上述の実施形態では、移動行動の異常の有無は、対象者Ｏｂの頭部画像ＨＰを用いて判定されたが、対象者Ｏｂの画像（画像での対象者Ｏｂ全体の画像）を用いて判定されても良い。これによれば、体全体のふらつきや目的地点からの乖離（逸脱）で移動行動の異常を判定できる。 Further, in the above-described embodiment, the presence or absence of abnormalities in the movement behavior was determined using the head image HP of the subject Ob, but the image of the subject Ob (the image of the entire subject Ob in the image) was used. May be judged. According to this, it is possible to determine an abnormality in the movement behavior based on the wobbling of the whole body or the deviation (deviation) from the destination point.
この場合では、移動行動検出部１４５は、前記複数の画像それぞれについて、当該画像から前記対象者の画像を対象者画像として抽出し、前記抽出した対象者画像における中心位置または重心位置を移動位置として抽出し、前記複数の画像における、前記抽出した各移動位置を前記対象者の移動行動として検出する。より具体的には、移動行動検出部１４５は、前記複数の画像それぞれについて、上述の行動検知処理部１４２と同様に、まず、当該画像から例えば背景差分法やフレーム差分法によって前記対象者画像として動体領域を抽出する。次に、移動行動検出部１４５は、この抽出した対象者画像（動体領域）における例えば中心位置を移動位置として求める。なお、前記中心位置に代え、重心位置が用いられても良い。前記中心位置は、例えば、対象者画像に外接する外接矩形における２つの対角線の交点、あるいは、対象者画像に外接する外接円の中心点である。前記重心位置は、対象者画像を構成する各画素の分布の中心点である。そして、移動行動検出部１４５は、前記複数の画像における、前記抽出した各移動位置を前記被監視者Ｏｂの移動行動として求める。
In this case, the moving
そして、異常判定部１４６は、前記第１期間における最初の画像の移動位置を始点とすると共に前記第１期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルＲＶとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルＩＶとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度θを求め、前記求めた複数の角度θのうち、所定の角度閾値Ｔｈａｎ以上である角度の個数を求め、前記求めた個数が所定の第１判定閾値ＤＴｈ１以上である場合に、前記移動行動に異常があると判定する。さらに、上述の実施形態と同様に、前記移動行動に異常があるとの判定を、初段階において前記移動行動に異常があるとの判定として、異常判定部１４６は、さらに、前記第２期間に含まれる複数の第１期間それぞれにおける前記初段階において前記移動行動に異常があると判定した第１回数を求め、前記求めた第１回数が所定の第２判定閾値以上である場合に、中間段階において前記移動行動に異常があると判定して良く、さらに、前記第３期間に含まれる複数の第２期間それぞれにおける前記中間段階において前記移動行動に異常があると判定した第２回数を求め、前記求めた第２回数が所定の第３判定閾値以上である場合に、最終段階において前記移動行動に異常があると判定して良い。
Then, the
また、上述の実施形態では、移動行動異常判定装置を備えたセンサ装置ＵＳは、初段階において移動行動に異常があると判定した場合に、初段階異常を通知するために、初段階異常通知通信信号を管理サーバ装置ＳＶへ送信するが、これに代え、あるいは、これに追加して、初段階において移動行動に異常がある旨の警告を出力しても良い。同様に、前記センサ装置ＵＳは、中間段階において移動行動に異常があると判定した場合に、中間段階異常を通知するために、中間段階異常通知通信信号を管理サーバ装置ＳＶへ送信するが、これに代え、あるいは、これに追加して、中間段階において移動行動に異常がある旨の警告を出力しても良い。同様に、前記センサ装置ＵＳは、最終段階において移動行動に異常があると判定した場合に、最終段階異常を通知するために、最終段階異常通知通信信号を管理サーバ装置ＳＶへ送信するが、これに代え、あるいは、これに追加して、最終段階において前記移動行動に異常がある旨の警告を出力しても良い。前記警告の出力では、例えば、前記センサ装置ＳＵは、ＳＵ制御処理部１４の制御部１４１によって、音入出力部１２から、警告音や警告メッセージ等を出力する。これによれば、被監視者（対象者）Ｏｂに警告することで、転倒が低減でき、転倒したとしても、防護体勢が取れることで怪我等が低減できる。
Further, in the above-described embodiment, the sensor device US provided with the movement behavior abnormality determination device notifies the initial stage abnormality notification communication when it is determined that there is an abnormality in the movement behavior in the initial stage. The signal is transmitted to the management server device SV, but instead of or in addition to this, a warning indicating that there is an abnormality in the movement behavior may be output at the initial stage. Similarly, when the sensor device US determines that there is an abnormality in the movement behavior in the intermediate stage, the sensor device US transmits an intermediate stage abnormality notification communication signal to the management server device SV in order to notify the intermediate stage abnormality. Alternatively, or in addition to this, a warning that there is an abnormality in the movement behavior may be output in the intermediate stage. Similarly, when the sensor device US determines that there is an abnormality in the movement behavior in the final stage, the sensor device US transmits a final stage abnormality notification communication signal to the management server device SV in order to notify the final stage abnormality. Alternatively, or in addition to this, a warning indicating that the movement behavior is abnormal may be output at the final stage. In the output of the warning, for example, the sensor device SU outputs a warning sound, a warning message, or the like from the sound input /
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。 The present specification discloses various aspects of the technology as described above, of which the main technologies are summarized below.
一態様にかかる移動行動異常判定装置は、所定の第１期間における時系列な複数の画像を取得する画像取得部と、前記画像取得部で取得した複数の画像に基づいて対象者の移動行動を検出する移動行動検出部と、前記移動行動検出部で検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定部とを備える。好ましくは、上述の移動行動異常判定装置において、前記移動行動は、例えば走行や歩行等の移動に関する行動であり、前記移動行動の異常は、転倒の予兆を表す歩行、例えば、目的地点に対し左右にふらついた歩行や、前記目的地点から乖離して行く歩行である。好ましくは、上述の移動行動異常判定装置において、前記画像取得部は、時系列な複数の画像を生成する撮像部である。好ましくは、上述の移動行動異常判定装置において、前記画像取得部は、外部機器からデータの入力を受けるインターフェース部であり、前記インターフェース部は、前記外部機器として、時系列な複数の画像を生成する撮像部から、前記第１期間で前記時系列な複数の画像の入力を受ける。好ましくは、上述の移動行動異常判定装置において、前記画像取得部は、通信を行う通信インターフェース部であり、前記通信インターフェース部は、時系列な複数の画像を管理するサーバ装置と通信し、前記サーバ装置から、前記第１期間で前記時系列な複数の画像を受信する。好ましくは、上述の移動行動異常判定装置において、前記画像取得部は、記録媒体からデータを読み込むドライブ装置であり、前記ドライブ装置は、時系列な複数の画像を記録した記録媒体から、前記第１期間で前記時系列な複数の画像を読み込む。 The movement behavior abnormality determination device according to one aspect performs the movement behavior of the target person based on the image acquisition unit that acquires a plurality of time-series images in a predetermined first period and the plurality of images acquired by the image acquisition unit. It includes a movement behavior detection unit to detect, and an abnormality determination unit for determining whether or not there is an abnormality in the movement behavior based on the movement behavior detected by the movement behavior detection unit. Preferably, in the above-mentioned movement behavior abnormality determining device, the movement behavior is an action related to movement such as running or walking, and the abnormality of the movement behavior is walking indicating a sign of a fall, for example, left or right with respect to a destination point. It is a staggering walk or a walk that deviates from the destination. Preferably, in the above-mentioned movement behavior abnormality determination device, the image acquisition unit is an imaging unit that generates a plurality of time-series images. Preferably, in the above-mentioned mobile behavior abnormality determination device, the image acquisition unit is an interface unit that receives data input from an external device, and the interface unit generates a plurality of time-series images as the external device. The image pickup unit receives input of a plurality of time-series images in the first period. Preferably, in the above-mentioned mobile behavior abnormality determination device, the image acquisition unit is a communication interface unit that performs communication, and the communication interface unit communicates with a server device that manages a plurality of time-series images, and the server. The device receives the plurality of time-series images in the first period. Preferably, in the above-mentioned movement behavior abnormality determination device, the image acquisition unit is a drive device that reads data from a recording medium, and the drive device is the first from a recording medium that has recorded a plurality of time-series images. A plurality of the time-series images are read in a period.
このような移動行動異常判定装置は、時系列な複数の画像に基づいて対象者の移動行動に異常があるか否かを判定するので、装着の必要が無く、非接触で移動行動の異常を判定できる。 Since such a movement behavior abnormality determination device determines whether or not there is an abnormality in the movement behavior of the subject based on a plurality of time-series images, there is no need to wear it, and the movement behavior abnormality can be detected in a non-contact manner. Can be judged.
他の一態様では、上述の移動行動異常判定装置において、前記移動行動検出部は、前記複数の画像それぞれについて、当該画像から前記対象者の画像を対象者画像として抽出し、前記抽出した対象者画像における中心位置または重心位置を移動位置として抽出し、前記複数の画像における、前記抽出した各移動位置を前記対象者の移動行動として検出し、前記異常判定部は、前記第１期間における最初の画像の移動位置を始点とすると共に前記第１期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度を求め、前記求めた複数の角度のうち、所定の角度閾値以上である角度の個数を求め、前記求めた個数が所定の第１判定閾値以上である場合に、前記移動行動に異常があると判定する。 In another aspect, in the above-mentioned movement behavior abnormality determination device, the movement behavior detection unit extracts an image of the target person as a target person image from the plurality of images for each of the plurality of images, and the extracted target person. The center position or the center of gravity position in the image is extracted as the movement position, each of the extracted movement positions in the plurality of images is detected as the movement behavior of the target person, and the abnormality determination unit is the first in the first period. A vector whose starting point is the moving position of the image and whose ending position is the moving position of the last image in the first period is obtained as a reference vector, and for each of the plurality of images, the moving position of the image and the moving position of the image are in chronological order. A vector whose start point and end point are the moving positions of adjacent images in chronological order is obtained as an inter-image vector, and for each of the obtained plurality of inter-image vectors, between the inter-image vector and the reference vector. The angle is obtained, and among the plurality of obtained angles, the number of angles that are equal to or greater than the predetermined angle threshold is obtained, and when the obtained number is equal to or greater than the predetermined first determination threshold, there is an abnormality in the movement behavior. Is determined.
このような移動行動異常判定装置は、複数の画像それぞれについて対象者の画像を抽出し、これら抽出した複数の対象者の画像に基づく基準ベクトルに対する各画像間ベクトルの各方向ズレで対象者の移動行動に異常があるか否かを判定するので、体全体のふらつきや目的地点からの乖離（逸脱）で移動行動の異常を判定できる。 Such a movement behavior abnormality determination device extracts an image of the target person for each of the plurality of images, and moves the target person by a deviation of each direction of each image-to-image vector with respect to a reference vector based on the extracted images of the plurality of target persons. Since it is determined whether or not there is an abnormality in the behavior, it is possible to determine the abnormality in the movement behavior by the wobbling of the whole body or the deviation (deviation) from the destination point.
他の一態様では、上述の移動行動異常判定装置において、前記移動行動検出部は、前記複数の画像それぞれについて、当該画像から前記対象者の頭部の画像を頭部画像として抽出し、前記抽出した頭部画像における中心位置または重心位置を移動位置として抽出し、前記複数の画像における、前記抽出した各移動位置を前記対象者の移動行動として検出し、前記異常判定部は、前記第１期間における最初の画像の移動位置を始点とすると共に前記第１期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度を求め、前記求めた複数の角度のうち、所定の角度閾値以上である角度の個数を求め、前記求めた個数が所定の第１判定閾値以上である場合に、前記移動行動に異常があると判定する。 In another aspect, in the above-mentioned movement behavior abnormality determination device, the movement behavior detection unit extracts an image of the head of the subject as a head image from the images for each of the plurality of images, and the extraction The center position or the center of gravity position in the head image is extracted as the movement position, each of the extracted movement positions in the plurality of images is detected as the movement behavior of the target person, and the abnormality determination unit uses the first period. A vector whose starting point is the moving position of the first image in the above and whose ending point is the moving position of the last image in the first period is obtained as a reference vector, and for each of the plurality of images, the moving position of the image and the moving position of the image are used. A vector whose start point and end point are the moving positions of adjacent images in chronological order is obtained as an inter-image vector, and for each of the obtained plurality of inter-image vectors, the inter-image vector and the reference vector are used. The number of angles between the two is obtained, and the number of angles that are equal to or greater than the predetermined angle threshold among the plurality of obtained angles is obtained. Judge that there is an abnormality.
このような移動行動異常判定装置は、複数の画像それぞれについて対象者の頭部の画像を抽出し、これら抽出した複数の対象者の頭部の画像に基づく基準ベクトルに対する各画像間ベクトルの各方向ズレで対象者の移動行動に異常があるか否かを判定するので、ふらつきを検出し易い頭部を用いて移動行動の異常を判定できる。 Such a movement behavior abnormality determination device extracts images of the head of the target person for each of the plurality of images, and each direction of the vector between the images with respect to the reference vector based on the images of the heads of the plurality of extracted subjects. Since it is determined whether or not there is an abnormality in the movement behavior of the subject based on the deviation, it is possible to determine the abnormality in the movement behavior using the head that can easily detect the wobbling.
他の一態様では、これら上述の移動行動異常判定装置において、前記画像取得部は、前記第１期間より長い所定の第２期間における時系列な複数の画像を取得し、前記異常判定部は、前記判定した異常を初段階での異常とし、さらに、前記第２期間に含まれる複数の第１期間それぞれにおける前記初段階において前記移動行動に異常があると判定した第１回数を求め、前記求めた第１回数が所定の第２判定閾値以上である場合に、次段階において前記移動行動に異常があると判定する。好ましくは、上述の移動行動異常判定装置において、前記第２期間に含まれる複数の第１期間は、互いに隣接する２つの第１期間において一部重複する。好ましくは、上述の移動行動異常判定装置において、前記第２期間に含まれる複数の第１期間は、互いに独立である（互いに隣接する２つの第１期間において重複しない）。 In another aspect, in the above-mentioned movement behavior abnormality determination device, the image acquisition unit acquires a plurality of time-series images in a predetermined second period longer than the first period, and the abnormality determination unit obtains a plurality of time-series images. The determined abnormality is regarded as an abnormality in the first stage, and further, the first number of times that the movement behavior is determined to be abnormal in the first stage in each of the plurality of first periods included in the second period is obtained, and the determination is made. When the first number of times is equal to or greater than the predetermined second determination threshold value, it is determined that the movement behavior is abnormal in the next step. Preferably, in the above-mentioned mobile behavior abnormality determination device, the plurality of first periods included in the second period partially overlap in two adjacent first periods. Preferably, in the above-mentioned mobile behavior abnormality determination device, the plurality of first periods included in the second period are independent of each other (the two first periods adjacent to each other do not overlap).
このような移動行動異常判定装置は、第１期間より長い第２期間で対象者の移動行動に異常があるか否かを判定するので、より正確に移動行動の異常を判定できる。 Since such a movement behavior abnormality determination device determines whether or not there is an abnormality in the movement behavior of the subject in the second period longer than the first period, it is possible to more accurately determine the abnormality in the movement behavior.
他の一態様では、上述の移動行動異常判定装置において、前記画像取得部は、前記第２期間より長い所定の第３期間における時系列な複数の画像を取得し、前記異常判定部は、前記判定した次段階での異常を中間段階での異常とし、さらに、前記第３期間に含まれる複数の第２期間それぞれにおける前記中間段階において前記移動行動に異常があると判定した第２回数を求め、前記求めた第２回数が所定の第３判定閾値以上である場合に、最終段階において前記移動行動に異常があると判定する。好ましくは、上述の移動行動異常判定装置において、前記第３期間に含まれる複数の第２期間は、互いに隣接する２つの第２期間において一部重複する。好ましくは、上述の移動行動異常判定装置において、前記第３期間に含まれる複数の第２期間は、互いに独立である（互いに隣接する２つの第２期間において重複しない）。 In another aspect, in the above-mentioned movement behavior abnormality determination device, the image acquisition unit acquires a plurality of time-series images in a predetermined third period longer than the second period, and the abnormality determination unit obtains the plurality of time-series images. The determined abnormality in the next stage is defined as an abnormality in the intermediate stage, and the second number of times that the movement behavior is determined to be abnormal in the intermediate stage in each of the plurality of second periods included in the third period is obtained. When the obtained second number of times is equal to or greater than a predetermined third determination threshold value, it is determined that there is an abnormality in the movement behavior at the final stage. Preferably, in the above-mentioned mobile behavior abnormality determination device, the plurality of second periods included in the third period partially overlap in the two adjacent second periods. Preferably, in the above-mentioned mobile behavior abnormality determination device, the plurality of second periods included in the third period are independent of each other (they do not overlap in the two adjacent second periods).
このような移動行動異常判定装置は、第２期間より長い第３期間で対象者の移動行動に異常があるか否かを判定するので、さらにより正確に移動行動の異常を判定できる。 Since such a movement behavior abnormality determination device determines whether or not there is an abnormality in the movement behavior of the subject in a third period longer than the second period, it is possible to more accurately determine the abnormality in the movement behavior.
他の一態様にかかる移動行動異常判定方法は、所定の第１期間における時系列な複数の画像を取得する画像取得工程と、前記画像取得工程で取得した複数の画像に基づいて対象者の移動行動を検出する移動行動検出工程と、前記移動行動検出工程で検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定工程とを備える。 The movement behavior abnormality determination method according to the other aspect is an image acquisition step of acquiring a plurality of time-series images in a predetermined first period, and a movement of the target person based on the plurality of images acquired in the image acquisition step. It includes a movement behavior detection step of detecting an action and an abnormality determination step of determining whether or not there is an abnormality in the movement behavior based on the movement behavior detected in the movement behavior detection step.
このような移動行動異常判定方法は、時系列な複数の画像に基づいて対象者の移動行動に異常があるか否かを判定するので、装着の必要が無く、非接触で移動行動の異常を判定できる。 In such a movement behavior abnormality determination method, since it is determined whether or not there is an abnormality in the movement behavior of the subject based on a plurality of time-series images, there is no need to wear it, and the movement behavior abnormality can be detected in a non-contact manner. Can be judged.
他の一態様にかかる被監視者監視支援システムは、監視対象である被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されたイベントの通知を受けて前記イベントを管理する中央管理装置、および、前記中央管理装置と通信可能に接続され前記中央管理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備え、前記被監視者の監視を支援するための被監視者監視支援システムであって、前記センサ装置または前記中央管理装置は、前記被監視者を前記対象者とした、これら上述のいずれかの移動行動異常判定装置を備える。 The monitored person monitoring support system according to the other aspect is provided corresponding to the monitored person to be monitored, and can communicate with the sensor device and the sensor device that detect a predetermined event related to the monitored person. A central management device that is connected and receives notification of an event detected by the sensor device and manages the event, and is communicably connected to the central management device and detected by the sensor device via the central management device. It is a monitored person monitoring support system for supporting the monitoring of the monitored person, comprising a terminal device for receiving notification of the event, and the sensor device or the central management device uses the monitored person as the target person. The device is provided with any of the above-mentioned movement behavior abnormality determination devices.
これによれば、これら上述のいずれかの移動行動異常判定装置を備える被監視者監視支援システムが提供できる。このような被監視者監視支援システムは、これら上述のいずれかの移動行動異常判定装置を備えるので、装着の必要が無く、非接触で移動行動の異常を判定できる。 According to this, it is possible to provide a monitored person monitoring support system provided with any of the above-mentioned movement behavior abnormality determination devices. Since such a monitored person monitoring support system is provided with any of the above-mentioned movement behavior abnormality determination devices, it is not necessary to wear the system, and it is possible to determine the movement behavior abnormality without contact.
この出願は、２０１８年８月１０日に出願された日本国特許出願特願２０１８−１５１３０７を基礎とするものであり、その内容は、本願に含まれるものである。 This application is based on Japanese Patent Application No. 2018-151307 filed on August 10, 2018, the contents of which are included in the present application.
本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。 Although embodiments of the present invention have been illustrated and described in detail, they are merely illustrations and examples and are not limited. The scope of the invention should be construed by the wording of the accompanying claims.
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。 In order to express the present invention, the present invention has been appropriately and sufficiently described through the embodiments with reference to the drawings above, but those skilled in the art can easily change and / or improve the above embodiments. It should be recognized that it can be done. Therefore, unless the modified or improved form implemented by a person skilled in the art is at a level that deviates from the scope of rights of the claims stated in the claims, the modified form or the improved form is the scope of rights of the claims. It is interpreted as being comprehensively included in.
本発明によれば、対象者における移動行動の異常を判定する移動行動異常判定装置および移動行動異常判定方法ならびに前記移動行動異常判定装置を備えた被監視者監視支援システムが提供できる。
According to the present invention, it is possible to provide a monitored person monitoring support system provided with a moving behavior abnormality determining device for determining an abnormality in moving behavior in a subject, a moving behavior abnormality determining method, and the moving behavior abnormality determining device.
Claims (7)
前記画像取得部で取得した複数の画像に基づいて対象者の移動行動を検出する移動行動検出部と、
前記移動行動検出部で検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定部とを備える、
移動行動異常判定装置。An image acquisition unit that acquires a plurality of time-series images in a predetermined first period,
A movement behavior detection unit that detects the movement behavior of the target person based on a plurality of images acquired by the image acquisition unit, and a movement behavior detection unit.
It is provided with an abnormality determination unit that determines whether or not there is an abnormality in the movement behavior based on the movement behavior detected by the movement behavior detection unit.
Movement behavior abnormality judgment device.
前記異常判定部は、前記第１期間における最初の画像の移動位置を始点とすると共に前記第１期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度を求め、前記求めた複数の角度のうち、所定の角度閾値以上である角度の個数を求め、前記求めた個数が所定の第１判定閾値以上である場合に、前記移動行動に異常があると判定する、
請求項１に記載の移動行動異常判定装置。For each of the plurality of images, the moving behavior detection unit extracts the image of the target person as the target person image, extracts the center position or the center of gravity position in the extracted target person image as the moving position, and then extracts the image of the target person as the moving position. Each of the extracted movement positions in a plurality of images is detected as the movement behavior of the target person, and the movement behavior is detected.
The abnormality determination unit obtains a vector whose starting point is the moving position of the first image in the first period and whose ending position is the moving position of the last image in the first period as a reference vector, and for each of the plurality of images. , A vector having the moving position of the image and the moving position of the image adjacent to the image in chronological order as the start point and the end point in chronological order is obtained as an inter-image vector, and each of the obtained plurality of inter-image vectors is obtained. , The angle between the image-to-image vector and the reference vector is obtained, the number of angles that are equal to or greater than the predetermined angle threshold among the obtained plurality of angles is obtained, and the obtained number is the predetermined first determination threshold value. If the above is the case, it is determined that the movement behavior is abnormal.
The movement behavior abnormality determination device according to claim 1.
前記異常判定部は、前記第１期間における最初の画像の移動位置を始点とすると共に前記第１期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度を求め、前記求めた複数の角度のうち、所定の角度閾値以上である角度の個数を求め、前記求めた個数が所定の第１判定閾値以上である場合に、前記移動行動に異常があると判定する、
請求項１に記載の移動行動異常判定装置。For each of the plurality of images, the moving behavior detection unit extracts an image of the subject's head as a head image from the image, and extracts the center position or the center of gravity position in the extracted head image as the moving position. Then, each of the extracted moving positions in the plurality of images is detected as the moving behavior of the target person.
The abnormality determination unit obtains a vector whose starting point is the moving position of the first image in the first period and whose ending position is the moving position of the last image in the first period as a reference vector, and for each of the plurality of images. , A vector having the moving position of the image and the moving position of the image adjacent to the image in chronological order as the start point and the end point in chronological order is obtained as an inter-image vector, and each of the obtained plurality of inter-image vectors is obtained. , The angle between the image-to-image vector and the reference vector is obtained, the number of angles that are equal to or greater than the predetermined angle threshold among the obtained plurality of angles is obtained, and the obtained number is the predetermined first determination threshold value. If the above is the case, it is determined that the movement behavior is abnormal.
The movement behavior abnormality determination device according to claim 1.
前記異常判定部は、前記判定した異常を初段階での異常とし、さらに、前記第２期間に含まれる複数の第１期間それぞれにおける前記初段階において前記移動行動に異常があると判定した第１回数を求め、前記求めた第１回数が所定の第２判定閾値以上である場合に、次段階において前記移動行動に異常があると判定する、
請求項２または請求項３に記載の移動行動異常判定装置。The image acquisition unit acquires a plurality of time-series images in a predetermined second period longer than the first period.
The abnormality determination unit determines that the determined abnormality is an abnormality in the first stage, and further determines that the movement behavior is abnormal in the first stage in each of the plurality of first periods included in the second period. The number of times is calculated, and when the obtained first number of times is equal to or greater than a predetermined second determination threshold value, it is determined that the movement behavior is abnormal in the next stage.
The movement behavior abnormality determination device according to claim 2 or 3.
前記異常判定部は、前記判定した次段階での異常を中間段階での異常とし、さらに、前記第３期間に含まれる複数の第２期間それぞれにおける前記中間段階において前記移動行動に異常があると判定した第２回数を求め、前記求めた第２回数が所定の第３判定閾値以上である場合に、最終段階において前記移動行動に異常があると判定する、
請求項４に記載の移動行動異常判定装置。The image acquisition unit acquires a plurality of time-series images in a predetermined third period longer than the second period.
The abnormality determination unit considers the abnormality in the next stage determined as the abnormality in the intermediate stage, and further determines that the movement behavior is abnormal in the intermediate stage in each of the plurality of second periods included in the third period. The determined second number of times is obtained, and when the determined second number of times is equal to or greater than a predetermined third determination threshold value, it is determined that the movement behavior is abnormal at the final stage.
The moving behavior abnormality determination device according to claim 4.
前記画像取得工程で取得した複数の画像に基づいて対象者の移動行動を検出する移動行動検出工程と、
前記移動行動検出工程で検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定工程とを備える、
移動行動異常判定方法。An image acquisition process for acquiring a plurality of time-series images in a predetermined first period, and
A movement behavior detection step of detecting the movement behavior of the target person based on a plurality of images acquired in the image acquisition step, and a movement behavior detection step.
It includes an abnormality determination step of determining whether or not there is an abnormality in the movement behavior based on the movement behavior detected in the movement behavior detection step.
Movement behavior abnormality judgment method.
前記センサ装置または前記中央管理装置は、前記被監視者を前記対象者とした請求項１ないし請求項５のいずれか１項に記載の移動行動異常判定装置を備える、
被監視者監視支援システム。
A sensor device that is provided in response to the monitored person to be monitored and detects a predetermined event related to the monitored person, is communicably connected to the sensor device, and notifies the notification of the event detected by the sensor device. It is provided with a central management device that receives and manages the event, and a terminal device that is communicably connected to the central management device and receives notification of an event detected by the sensor device via the central management device, and is monitored. It is a monitored person monitoring support system to support the monitoring of people.
The sensor device or the central management device includes the movement behavior abnormality determination device according to any one of claims 1 to 5, wherein the monitored person is the target person.
Observed person monitoring support system.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018151307 | 2018-08-10 | ||
| JP2018151307 | 2018-08-10 | ||
| PCT/JP2019/025205 WO2020031531A1 (en) | 2018-08-10 | 2019-06-25 | Movement behavioral abnormality determination device and corresponding method, and person-to-be-monitored monitoring supporting system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020031531A1 true JPWO2020031531A1 (en) | 2021-09-30 |
| JP7352197B2 JP7352197B2 (en) | 2023-09-28 |
Family
ID=69414693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020536372A Active JP7352197B2 (en) | 2018-08-10 | 2019-06-25 | Mobile behavior abnormality determination device and method, and monitored person monitoring support system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7352197B2 (en) |
| WO (1) | WO2020031531A1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017026308A1 (en) * | 2015-08-10 | 2017-02-16 | コニカミノルタ株式会社 | Care assistance system |
| JP2018097416A (en) * | 2016-12-08 | 2018-06-21 | 株式会社 日立産業制御ソリューションズ | Imaging apparatus and interest action detection method |
| JP2019211900A (en) * | 2018-06-01 | 2019-12-12 | 株式会社デンソー | Object identification device, system for moving object, object identification method, learning method of object identification model and learning device for object identification model |
-
2019
- 2019-06-25 JP JP2020536372A patent/JP7352197B2/en active Active
- 2019-06-25 WO PCT/JP2019/025205 patent/WO2020031531A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017026308A1 (en) * | 2015-08-10 | 2017-02-16 | コニカミノルタ株式会社 | Care assistance system |
| JP2018097416A (en) * | 2016-12-08 | 2018-06-21 | 株式会社 日立産業制御ソリューションズ | Imaging apparatus and interest action detection method |
| JP2019211900A (en) * | 2018-06-01 | 2019-12-12 | 株式会社デンソー | Object identification device, system for moving object, object identification method, learning method of object identification model and learning device for object identification model |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020031531A1 (en) | 2020-02-13 |
| JP7352197B2 (en) | 2023-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6680352B2 (en) | Monitored person monitoring apparatus, method and system | |
| WO2016199495A1 (en) | Behavior detection device, behavior detection method and program, and subject monitoring device | |
| JP6992749B2 (en) | Central processing unit, central processing method and program of monitored person monitoring system and monitored person monitoring system | |
| JP6142975B1 (en) | Monitored person monitoring apparatus and method, and monitored person monitoring system | |
| JP7137154B2 (en) | Behavior detection device and method, and monitored person monitoring support system | |
| WO2018230104A1 (en) | Central processing device and central processing method for person-to-be-monitored monitoring assist system, and person-to-be-monitored monitoring assist system | |
| JP6504255B2 (en) | Care support system and care support method | |
| JP6740633B2 (en) | Central processing unit and central processing method of monitored person monitoring system, and monitored person monitoring system | |
| JPWO2020031531A1 (en) | Movement behavior abnormality determination device and its method, and monitored person monitoring support system | |
| WO2020100461A1 (en) | Sensor device for to-be-monitored person monitoring assistance system, monitoring image storage method, and to-be-monitored person monitoring assistance system | |
| JP6895090B2 (en) | Detection system and display processing method of detection system | |
| JP7259540B2 (en) | Determination device, control program for determination device, and determination method | |
| JP2017151676A (en) | Monitored person monitor device, method of monitoring monitored person and program thereof | |
| WO2019142566A1 (en) | Monitored person monitoring support system and monitored person monitoring support method | |
| JP6292363B2 (en) | Terminal device, terminal device display method, and monitored person monitoring system | |
| JP7234931B2 (en) | Sensor Device of Monitored Person Monitoring Support System, Processing Method of Sensor Device, and Monitored Person Monitoring Support System | |
| JP6481537B2 (en) | Monitored person monitoring device and monitored person monitoring method | |
| JP7425413B2 (en) | Monitored person monitoring support device, monitored person monitoring support method, monitored person monitoring support system, and monitored person monitoring support server device | |
| JP7063333B2 (en) | Observed person monitoring device and method, and monitored person monitoring support system | |
| JPWO2018096805A1 (en) | Monitored person monitoring apparatus setting device and method, and monitored person monitoring system | |
| JP6737355B2 (en) | Head detection device, head detection method, and monitored person monitoring device | |
| JP7167946B2 (en) | IMAGE RECORDING SYSTEM AND METHOD AND MONITORING SUPPORT SYSTEM | |
| JP2020188487A (en) | Central processing device, monitored person monitoring method, and monitored person monitoring system | |
| JP6737089B2 (en) | Monitored person monitoring system and monitored person monitoring method | |
| JP2020140418A (en) | Mobile terminal control program, mobile terminal, and monitoring system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220517 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230411 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230816 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230829 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7352197 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |