JP2013058063A - Image processing apparatus, method and program, and monitoring system - Google Patents
Image processing apparatus, method and program, and monitoring system Download PDFInfo
- Publication number
- JP2013058063A JP2013058063A JP2011195690A JP2011195690A JP2013058063A JP 2013058063 A JP2013058063 A JP 2013058063A JP 2011195690 A JP2011195690 A JP 2011195690A JP 2011195690 A JP2011195690 A JP 2011195690A JP 2013058063 A JP2013058063 A JP 2013058063A
- Authority
- JP
- Japan
- Prior art keywords
- image
- visitor
- frames
- background image
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置、方法、プログラム、および監視システムに関し、特に監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理装置、方法、プログラム、および監視システムに関する。 The present invention relates to an image processing device, a method, a program, and a monitoring system, and in particular, detects a state of a resident who is a monitoring target using a captured image captured by a camera installed for monitoring purposes, and performs a certain period of time. The present invention relates to an image processing apparatus, a method, a program, and a monitoring system for displaying the state of the monitor.
従来から、様々な場面において人の動きが監視されている。
たとえば、介護施設や病院においては入院患者が発作を起こしたり徘徊してないかなどを監視する必要があり、また、人通りがある場所においては不審者がいないかや、混雑状況を監視する必要がある。
Conventionally, human movements are monitored in various scenes.
For example, in nursing homes and hospitals, it is necessary to monitor whether inpatients have seizures or hesitation, and there is a need to monitor suspicious people in crowded places and the congestion situation. There is.
このようなときは監視する人員を配置すれば監視することができるが、広い範囲を監視する場合や、病室などのように見通しがきかない場所が多い場合は多数の人員を配置しなければならず現実的には監視コストの面などから実現性が乏しいことが多い。 In such a case, it is possible to monitor by arranging the personnel to be monitored, but when monitoring a wide range or when there are many places where visibility is not possible such as hospital rooms, a large number of personnel must be allocated. In reality, there are many cases where feasibility is poor in terms of monitoring costs.
また、一定人数に絞って人員を配置したとしても監視する人員が別の場所を監視している間の監視対象の状態はわからなくなってしまう。つまり、病院において、監視員が見ていない間に徘徊し、監視しているときには寝ている状態であるときは、当該監視対象者が徘徊していることに気がつかず、徘徊したという証拠も残らない。 In addition, even if the personnel are limited to a certain number of people, the state of the monitoring target cannot be understood while the monitoring personnel are monitoring another place. In other words, if the person in the hospital is hesitating while not watching and is sleeping when he is monitoring, he / she will not be aware that the person being monitored is jealous and there will be evidence that he / she has been jealous. Absent.
このような場面での監視には監視したい場所に監視カメラを設置して監視を行っている。また、監視カメラだけとは限らず、監視カメラに警報スイッチなどの操作装置を組み合わせた監視システムも提案されている（たとえば、特許文献１参照）。 For monitoring in such a situation, a surveillance camera is installed at a location where monitoring is desired. Moreover, not only the monitoring camera but also a monitoring system in which an operation device such as an alarm switch is combined with the monitoring camera has been proposed (for example, see Patent Document 1).
しかし、監視カメラを設置して監視を行ったとしても、カメラの台数が多くなれば監視負担が増加し、結局カメラを監視する人員を増やす結果となり根本的な解決にはならない上に、監視の見落としを完全になくすことができるようになるわけではない。 However, even if surveillance cameras are installed and monitored, if the number of cameras increases, the burden of surveillance will increase, eventually resulting in an increase in the number of people monitoring the cameras and not a fundamental solution. It will not be possible to completely eliminate oversight.
たとえば、病室の監視において従来行われている、複数台のカメラで撮像された映像を一定台数のモニタに、映像を切り替えて映し出す映像を介した監視においては、一定の病室の監視が終わった後、再度の画面が切り替わるまでの間に発作等の異常を来したとしても、監視時に正常な状態であれば（映像を介した監視においては正常に見えれば）異常を来した事実には気がつかず、本来すべき対処ができないという問題がある。このような問題はカメラの台数が多くなるほどに顕著である。 For example, in the conventional monitoring of a hospital room, the monitoring of a certain hospital room is completed in the monitoring through the video that is displayed by switching the images captured by multiple cameras to the fixed number of monitors. Even if an abnormality such as a seizure occurs before the screen is switched again, if it is in a normal state at the time of monitoring (if it looks normal in monitoring via video), the fact that the abnormality has occurred is not noticed. , There is a problem that can not be dealt with originally. Such a problem becomes more prominent as the number of cameras increases.
また、警報スイッチなどの操作装置を組み合わせたとしても、監視対象者が操作できる状態であればいいが、重篤患者や、徘徊を監視する際には何の効果も発揮しないという問題もある。 Further, even if an operation device such as an alarm switch is combined, it may be in a state that can be operated by the person to be monitored, but there is a problem that no effect is exhibited when monitoring a serious patient or hemorrhoids.
さらに、人通りがある場所を監視する場合においては、一時的な混雑や、一時的な一定の場所への寄りつき具合などは常時監視においては見落としがちになるという問題がある。 Further, when monitoring a place where there is traffic, there is a problem that temporary congestion and a temporary approach to a certain place tend to be overlooked during constant monitoring.
つまり、人員によっても監視カメラにおいても常時監視には見落としのリスクは必ずつきものであり、いずれの場合においても後々録画された映像を再検討することによって確認するなどの対処を行う他はないという問題があった。このような完全に監視ができないという問題は、監視者に対する監視対象者が多いときの共通の問題である。 In other words, there is always a risk of oversight in personnel monitoring as well as surveillance cameras, and in any case there is no other way to deal with such as confirming by reviewing the recorded video later. was there. Such a problem that the monitoring cannot be performed is a common problem when there are a large number of monitoring target persons.
本発明はこのような点に鑑みてなされたものであり、監視対象者の一定時間の行動状態を把握することができる画像処理装置、方法、プログラム、および監視システムを提供することを目的とする。 The present invention has been made in view of these points, and an object thereof is to provide an image processing device, a method, a program, and a monitoring system capable of grasping an action state of a monitoring target person for a certain period of time. .
本発明では上記問題を解決するために、監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理装置において、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段と、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段と、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段と、前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段と、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段とを備えることを特徴とする画像処理装置が提供される。 In the present invention, in order to solve the above-described problem, a captured image captured by a camera installed for the purpose of monitoring is used to detect the status of a visitor who is a monitoring target and display the status for a certain period of time. In the image processing apparatus, when the visitor moves, from the captured image of a plurality of frames obtained by thinning out the number of frames set so that the moving part of the visitor is not located at the same position in the captured image between frames. Short background generation means for generating a short background image, and a background image from a plurality of frames of the short background image, wherein the number of frames is set so that the visitor is not at the same position in the short background image between frames. Background generating means for generating, change extracting means for generating a change extracted image from the difference between the short background image and the captured image, the short background image and the background image A continuous extraction unit that generates a continuous extraction image from the difference, the change extraction image, and a visitor information calculation unit that calculates information indicating a state of a visitor who is a monitoring target person from the continuous extraction image. An image processing apparatus is provided.
これにより、短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成し、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成し、変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する。そして、継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成し、滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する。 Thereby, when the visitor moves, the short background generation unit thins out the number of frames set so that the moved part of the visitor is not in the same position in the captured image between frames. A short background image is generated from the captured image, and the background generation unit thins out the number of frames set so that the visitor is not at the same position in the short background image between frames, and the short background image of a plurality of frames Then, a background image is generated, and the change extraction means generates a change extraction image from the difference between the short background image and the captured image. Then, the continuous extraction means generates a continuous extraction image from the difference between the short background image and the background image, and the visitor information calculation means is a visitor who is a monitoring target person from the change extraction image and the continuous extraction image. The information indicating the state of is calculated.
また、本発明では、監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理方法において、短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成するステップと、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成するステップと、変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成するステップと、継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成するステップと、滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出するステップとを含むことを特徴とする画像処理方法が提供される。 Further, in the present invention, in an image processing method for detecting the status of a visitor who is a monitoring subject using a captured image captured by a camera installed for monitoring purposes, and displaying a status for a certain period of time, When the visitor moves, the short background generation unit thins out the number of frames set so that the moving part of the visitor is not in the same position in the captured image between frames. A step of generating a short background image from the image, and a background generation means from the short background image of a plurality of frames obtained by thinning out the number of frames set so that the visitor is not at the same position in the short background image between frames. A step of generating a background image; a step of generating a change extraction image from a difference between the short background image and the captured image; A step of generating a continuous extraction image from the difference between the short background image and the background image, and a visitor information calculation means that determines the status of the changer extracted image and the status of the resident who is the monitoring target person from the continuous extraction image. And a step of calculating information to be displayed.
これにより、短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成し、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成し、変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する。そして、継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成し、滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する。 Thereby, when the visitor moves, the short background generation unit thins out the number of frames set so that the moved part of the visitor is not in the same position in the captured image between frames. A short background image is generated from the captured image, and the background generation unit thins out the number of frames set so that the visitor is not at the same position in the short background image between frames, and the short background image of a plurality of frames Then, a background image is generated, and the change extraction means generates a change extraction image from the difference between the short background image and the captured image. Then, the continuous extraction means generates a continuous extraction image from the difference between the short background image and the background image, and the visitor information calculation means is a visitor who is a monitoring target person from the change extraction image and the continuous extraction image. The information indicating the state of is calculated.
また、本発明では、監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理プログラムにおいて、コンピュータを、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段、前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段、および前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段として機能させることを特徴とする画像処理プログラムが提供される。 Further, in the present invention, in an image processing program for detecting the status of a visitor who is a monitoring target using a captured image captured by a camera installed for monitoring purposes, and displaying a status for a certain period of time, When the resident moves, the computer thins out the number of frames set so that the moving part of the resident is not located at the same position in the captured image between frames. Short background generation means for generating an image, a background for generating a background image from a plurality of frames of the short background image obtained by thinning out the number of frames set so that the visitor is not at the same position in the short background image between frames Generation means, change extraction means for generating a change extraction image from the difference between the short background image and the captured image, the short background image and the background image A continuous extraction unit that generates a continuous extraction image from a minute, and a change information that functions as a visitor information calculation unit that calculates information indicating a status of a visitor who is a monitoring target person from the continuous extraction image. An image processing program is provided.
これにより、短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成し、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成し、変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する。そして、継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成し、滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する。 Thereby, when the visitor moves, the short background generation unit thins out the number of frames set so that the moved part of the visitor is not in the same position in the captured image between frames. A short background image is generated from the captured image, and the background generation unit thins out the number of frames set so that the visitor is not at the same position in the short background image between frames, and the short background image of a plurality of frames Then, a background image is generated, and the change extraction means generates a change extraction image from the difference between the short background image and the captured image. Then, the continuous extraction means generates a continuous extraction image from the difference between the short background image and the background image, and the visitor information calculation means is a visitor who is a monitoring target person from the change extraction image and the continuous extraction image. The information indicating the state of is calculated.
さらに、本発明では、監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理装置を含む監視システムにおいて、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段と、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段と、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段と、前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段と、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段とを備える画像処理装置と、前記画像処理装置が処理した画像を保存する画像保存手段と、前記画像に対してモザイク処理を施すモザイク処理手段とを備えることを特徴とする監視システムが提供される。 Furthermore, the present invention includes an image processing device for detecting the status of a visitor who is a monitoring target using a captured image captured by a camera installed for monitoring purposes and displaying the status for a certain period of time. In the monitoring system, when the visitor moves, the moving part of the visitor is shortened from the captured image of a plurality of frames, which is thinned out from the number of frames set so that the moved part is not located at the same position in the captured image between frames. Short background generating means for generating a background image, and generating a background image from a plurality of frames of the short background image obtained by thinning out the number of frames set so that the visitor is not at the same position in the short background image between frames Background generating means, change extraction means for generating a change extraction image from the difference between the short background image and the captured image, the short background image and the background image Image processing comprising: continuous extraction means for generating a continuous extraction image from the difference of the above; the change extraction image; and a visitor information calculation means for calculating information indicating the status of the visitor who is the monitoring target from the continuous extraction image. There is provided a monitoring system comprising: an apparatus; an image storage unit that stores an image processed by the image processing device; and a mosaic processing unit that performs a mosaic process on the image.
これにより、画像処理装置が、短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成し、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成し、変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する。そして、継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成し、滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する。そして、画像保存手段が、前記画像処理装置が処理した画像を保存し、モザイク処理手段が、前記画像に対してモザイク処理を施す。 As a result, the image processing apparatus has the number of frames thinned out so that the short background generation unit is not located at the same position in the captured image between frames when the visitor moves. A plurality of frames, wherein a short background image is generated from the plurality of frames of the captured images, and the background generation unit thins out the number of frames set so that the visitor is not at the same position in the short background image between frames. A background image is generated from the short background image, and a change extracting means generates a change extracted image from the difference between the short background image and the captured image. Then, the continuous extraction means generates a continuous extraction image from the difference between the short background image and the background image, and the visitor information calculation means is a visitor who is a monitoring target person from the change extraction image and the continuous extraction image. The information indicating the state of is calculated. The image storage unit stores the image processed by the image processing device, and the mosaic processing unit performs mosaic processing on the image.
本発明の画像処理装置、方法、プログラム、および監視システムによれば、監視対象者の一定時間の行動状態を把握することができる According to the image processing apparatus, the method, the program, and the monitoring system of the present invention, it is possible to grasp the behavioral state of the monitoring target person for a certain period of time.
以下、本発明の実施の形態を図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
〔第１の実施の形態〕
図１は、本実施の形態に係る発明の概念を示す図である。
本実施の形態においては、老人ホームの居住スペースなどの監視をする場合を例にとって説明する。
[First Embodiment]
FIG. 1 is a diagram showing the concept of the invention according to the present embodiment.
In this embodiment, a case where the living space of a nursing home is monitored will be described as an example.
図１に示すように、画像処理装置１００は、セレクタ１１０、活動検出部１２０、モザイク・モノクロ部１３０、メモリ１４０、グラフ合成部１５０、および接点入力・出力処理部１６０を備える。
As shown in FIG. 1, the
セレクタ１１０は、活動検出部１２０の動き検出部１２１から出力される背景画像と、不図示のカメラから出力される画像を選択的にモザイク・モノクロ部１３０へ出力する。
The
活動検出部１２０は、動き検出部１２１および滞在者検出部１２２を備えている。活動検出部１２０の詳細に関しては図２を用いて詳しく説明する。
The
図２は、活動検出部を詳細に示すブロック図である。
図２に示すように、活動検出部１２０は、動き検出部１２１および滞在者検出部１２２を備えている。また、動き検出部１２１は、短背景生成部１２３、背景生成部１２４、変化検出部１２５、および継続検出部１２６を備えている。
FIG. 2 is a block diagram illustrating the activity detection unit in detail.
As shown in FIG. 2, the
短背景生成部１２３は、カメラが撮像した映像を構成する撮像画像のうち一定数間引きした撮像画像から短背景画像を生成する。具体的には、撮像画像の前後フレーム間で、移動者がその画像における同一位置にいない程度に間引きして一定フレームごとに抜き出した撮像画像を用いて短背景画像を生成する。
The short
このような間引きを行うことにより、一定フレームごとに抜き出した撮像画像の差分をとって適宜加算して短背景画像を生成すると、一定フレーム間の撮像画像にはほとんど同じ位置には移動者が写っていないことから、共通部分としては抽出されず、背景と静止している滞在者のみが抽出されることになる。このような間引きは、たとえば、１〜４フレームごとに撮像画像を抽出し、短背景画像を生成する。 By performing such decimation, a difference between captured images extracted every fixed frame is taken and added as appropriate to generate a short background image. The captured image between fixed frames shows a moving person at almost the same position. Therefore, the common part is not extracted, and only the visitors who are stationary with the background are extracted. Such thinning out, for example, extracts a captured image every 1 to 4 frames and generates a short background image.
背景生成部１２４は、短背景画像を用いて背景画像を生成する。背景は日光等の影響や撮像範囲内の物が移動したときなど一定ではないため背景画像も更新をする必要がある。たとえば６４〜２５６フレームごとに抜き出した短背景画像を用いて背景画像を生成することにより、背景画像内に移動者や一旦静止したがその後動き出したような滞在者を含まないようにすることが可能となる。
The
変化検出部１２５は、短背景画像と撮像画像の差分から変化抽出画像を生成する。具体的には、短背景画像にはカメラから見て撮像対象者の位置的に変化していない部分と背景が映し出されていることから、撮像画像との差分をとることによりカメラから見て撮像対象者の位置的に変化した部分を抽出することができる。この位置的に変化した部分のみ抽出された画像が変化抽出画像である。
The
継続検出部１２６は、短背景画像と背景画像の差分から継続抽出画像を生成する。具体的には、短背景画像には撮像対象の位置的に変化していない部分と背景が映し出されていることから、背景画像との差分をとることにより位置的に変化していない部分、すなわちその場に立ち止まっているような滞在者など、継続して同一の場所にある部分を抽出することができる。たとえば監視対象が静止しているが腕を振っているときには、振っている腕以外の胴体部分などが継続して同一の場所にある部分にあたる。この継続部分のみ抽出した画像が継続抽出画像である。一方で、振っている腕の部分のみや、移動している滞在者全体はカメラから見て撮像対象者の位置的に変化した部分といえる。この変化部分のみ抽出した画像が変化抽出画像である。
The
滞在者検出部１２２は、変化検出部１２５が検出する変化検出結果、および継続検出部１２６が検出する継続検出結果から、移動頻度や動き頻度などの監視対象者である滞在者の情報を算出する。
以下、図１に戻って画像処理装置１００の説明を続ける。
The
Hereinafter, returning to FIG. 1, the description of the
モザイク・モノクロ部１３０は、入力された画像をモザイク処理、もしくは／およびモノクロ処理を行う。
The mosaic /
グラフ合成部１５０は、モザイク・モノクロ部１３０から出力される画像、および活動検出部１２０からメモリ１４０を介して出力される画像を合成してモニタに出力する。
The
接点入力・出力処理部１６０は、メモリ１４０を介して監視対象の異常信号（アラーム出力）が出力されるとパトライトなどを点灯させるなどの異常を発報し、また、スイッチ操作などを受け付けて異常発報を停止させる処理を行う。
The contact input /
また、画像処理装置１００には、コンピュータ２１０と保存メモリ２２０が接続されている。
In addition, a
コンピュータ２１０は、ユーザからの入力を受け取り、画像処理装置１００の制御信号を出力する。また、画像処理装置１００から処理済みのデータを受け取る。処理済みのデータとは、たとえば監視対象のモニタリング結果などである。
The
保存メモリ２２０は、画像処理装置１００から処理済みのデータを受け取り格納する。また、コンピュータ２１０からの要求に応じて保存データを出力する。
The
図３は、背景生成部の処理内容を示すブロック図である。
図３に示すように、背景生成部１２４は、背景メモリ部１７０と更新速度制御部１８０を備えている。
FIG. 3 is a block diagram showing the processing contents of the background generation unit.
As illustrated in FIG. 3, the
背景メモリ部１７０は、乗算器１７１，１７２、加算器１７３、フレームメモリ１７４、および整数化部１７５を備え、更新速度制御部１８０は、フレームカウンタ１８１、コンパレータ１８２、および更新周期レジスタ１８３を備えている。
The
フレームカウンタ１８１は、入力される垂直同期信号をカウントアップし、フレームカウンタ１８１の値が更新周期レジスタ１８３に格納されている間引き数になると、コンパレータ１８２からフレームメモリ１７４に対して画像を保存するようにイネーブル信号を出力する。
The
一方、背景メモリ部１７０には、カメラから入力される入力画像に対して乗算器１７１で乗算した画像データと、フレームメモリ１７４に保存されている画像データに対して乗算器１７２で乗算した画像データとを、加算器１７３で加算してフレームメモリ１７４に格納する。そして、整数化部１７５で整数化して背景画像として出力する。
On the other hand, in the
乗算器１７１で乗算される値をαとしたとき、乗算器１７２で乗算される値を１−αとする。このαの値を調整することにより何フレーム程度で背景画像がリフレッシュされるかを設定することができる。この図において背景生成部１２４の構成を説明したが、短背景生成部１２３も同様の構成である。
When the value multiplied by the
図４は、本実施の形態に係る画像処理装置を適用したシステムのシステム構成例を示す図であり、図４（Ａ）は、最小構成のシステム構成例を示した図であり、図４（Ｂ）は、セキュリティを重視した場合のシステム構成例を示す図であり、図４（Ｃ）は、プライバシーを重視した場合のシステム構成例を示す図である。 FIG. 4 is a diagram showing a system configuration example of a system to which the image processing apparatus according to the present embodiment is applied. FIG. 4A is a diagram showing a system configuration example of the minimum configuration, and FIG. FIG. 4B is a diagram illustrating an example of a system configuration when security is emphasized, and FIG. 4C is a diagram illustrating an example of a system configuration when privacy is emphasized.
図４（Ａ）に示すように、画像処理装置１００にはカメラ電源２４０を介して４台のカメラ２３０が接続されており、カメラ２３０で撮影された撮影データが画像処理装置１００に入力される。また、画像処理装置１００から出力された処理済みの映像データがビデオモニタ２５０に出力されることにより表示される。
As shown in FIG. 4A, four cameras 230 are connected to the
また、本システム構成例においてはアラーム出力が４系統と背景更新入力が４系統接続されている。 In this system configuration example, four alarm outputs and four background update inputs are connected.
図４（Ｂ）は、カメラ電源２４０と画像処理装置１００の間に録画装置２６０が接続されている。これにより、カメラ２３０で撮像された映像が画像処理を施すことなく録画装置２６０に記憶され、記憶された映像データが画像処理装置１００に入力されることにより、画像処理が行われる。
In FIG. 4B, a
これにより、図４（Ａ）に示す最小構成のシステムと同じ精度で監視対象のモニタリングをすることが可能である。 Thereby, it is possible to monitor the monitoring target with the same accuracy as the system with the minimum configuration shown in FIG.
一方で、図４（Ｃ）は、画像処理装置１００とビデオモニタ２５０の間に録画装置２６０が接続されている。これにより、カメラ２３０で撮像された映像が、画像処理装置１００によって画像処理された後の映像データが録画装置２６０によって記憶される。
On the other hand, in FIG. 4C, a
プライバシーを重視して画像処理装置１００によってモザイク処理を施すとき、図４（Ｂ）と比較して図４（Ｃ）の構成のときは録画装置２６０にはモザイク処理が施された映像データが記憶されることになる。
When mosaic processing is performed by the
したがって、図４（Ｂ）に示す構成例の録画装置２６０に録画された映像データを見返すことによりわかる内容でも図４（Ｃ）に示す構成例の録画装置２６０に録画された映像データを見返しても、モザイク処理が施されていることによりわかりにくい動作がある。一方で、図４（Ｃ）に示す構成例の録画装置２６０に録画された映像データはモザイク処理した映像データのみが録画されることから、プライバシーに十分配慮したシステム構成であると言える。
Therefore, even if the contents can be understood by reviewing the video data recorded in the
図５は、画像処理装置が行う監視対象者である滞在者の状態と継続検出および変化検出の関係を示す図である。 FIG. 5 is a diagram illustrating a relationship between a state of a visitor who is a monitoring target performed by the image processing apparatus and continuation detection and change detection.
図５に示すように、画像処理装置１００は、監視対象の継続検出と変化検出を行う。図５に示すように継続を検出したとき、変化を検出したとき、両方を検出するとき、および両方とも検出がないときの状態ができる。
As illustrated in FIG. 5, the
具体的には、監視対象の継続検出も変化検出もされないとき（ベン図においては右上がりの斜線も左上がりの斜線も描かれていない部分）は監視対象は「不在」の状態であると判断でき、継続検出がされた部分と離れた位置で変化検出がされたとき、もしくは変化検出のみ検出されたとき（ベン図においては右上がりの斜線のみ描かれている部分）は監視対象が「移動者」の状態であると判断できる。 Specifically, when neither the continuation detection nor the change detection of the monitoring target is performed (in the Venn diagram, neither the right-up diagonal line nor the left-up diagonal line is drawn), it can be determined that the monitoring target is “absent”. When the change detection is performed at a position away from the portion where the continuous detection is performed, or when only the change detection is detected (the portion where only the upward slanting line is drawn in the Venn diagram), the monitoring target is “moving person” It can be determined that
また、継続検出された部分およびその部分の周辺で変化検出がされたとき（ベン図においては右上がりの斜線と左上がりの斜線が両方描かれている部分）は監視対象が全体としては静止していながら体の一部が動いている「動き（動きのある静止者）」の状態であると判断でき、継続検出のみが検出されて変化検出がされないとき（ベン図においては左上がりの斜線のみ描かれている部分）は、監視対象が「静止（動きのない静止者）」の状態であると判断できる。 In addition, when changes are detected in the continuously detected part and in the vicinity of that part (in the Venn diagram, the part where both the upward and downward diagonal lines are drawn), the monitoring target is not stationary as a whole. However, when it can be determined that the body part is in a “motion (moving still person)” state, only continuous detection is detected and no change is detected. It can be determined that the monitoring target is in a state of “still (still person with no movement)”.
図６は、監視対象者である滞在者の状態遷移図である。
監視対象が撮像範囲に入ると、監視対象は「不在」の状態から「移動者」の状態になり、その監視対象が撮像範囲から外れると、監視対象は「移動者」の状態から「不在」の状態となる。
FIG. 6 is a state transition diagram of a visitor who is a monitoring target person.
When the monitoring target enters the imaging range, the monitoring target is changed from the “absent” state to the “moving person” state. When the monitoring target is out of the imaging range, the monitoring target is changed from the “moving person” state to the “absent” state. It becomes the state of.
移動者が移動し続けているときは、監視対象は「移動者」の状態のままであり、その監視対象が静止したときは、原則的に「動きのない静止者」の状態となるが、静止したものの部分的に動きがあるときは「動きのある静止者」の状態となる。 When the moving person continues to move, the monitoring target remains in the “moving person” state, and when the monitoring target is stationary, the moving object is in principle the “moving stationary person” state. When there is some movement even though it is stationary, it becomes a “moving still person” state.
動きのない静止者が静止し続けているときは、監視対象は「動きのない静止者」の状態のままであり、その監視対象が動いたときは、「動きのある静止者」の状態となる。動きのない静止者が移動し始めるときも「動きのある静止者」の状態を経由して「移動者」の状態となる。 When a stationary person who does not move continues to be stationary, the monitoring target remains in the state of a stationary person who does not move. Become. Even when a stationary person who does not move starts to move, the state of “moving person” is set via the state of “moving stationary person”.
動きのある静止者が静止した状態で腕などの身体の一部が動いている状態を続けているときは、監視対象は「動きのある静止者」の状態のままであり、その監視対象が完全に静止したときは、「動きのない静止者」の状態となる。一方で、動きのある静止者が動き始めたときは、「移動者」の状態となる。 When a moving still person is standing still and a part of the body such as an arm is moving, the monitoring target remains in the “moving still person” state, and the monitoring target is When it is completely stationary, it becomes a “still person with no movement”. On the other hand, when a moving still person starts to move, the state becomes “moving person”.
本実施の形態に係る変化検出や継続検出は、撮像画像を横６４×縦４０のブロックに区切ったブロック画像に基づいて行う。もちろん撮像画像をそのまま用いて変化検出等をすることも可能であるが、ブロックに区切ることによって処理が格段に減るのでリソースが有効活用できる一方、監視対象である滞在者の状態を見誤らないからである。このブロックの区切り数は適用する場面に応じて適宜変更することができる。 Change detection and continuation detection according to the present embodiment are performed based on a block image obtained by dividing a captured image into 64 × 40 blocks. Of course, it is possible to detect changes using the captured image as it is, but the processing can be greatly reduced by dividing it into blocks, so resources can be used effectively, but the status of the visitors being monitored is not mistaken. It is. The number of block delimiters can be appropriately changed according to the scene to be applied.
図７は、本実施の形態の画像処理装置による画像処理の手順を示すフローチャートである。以下、図７に示す処理をステップ番号に沿って説明する。 FIG. 7 is a flowchart showing a procedure of image processing by the image processing apparatus according to the present embodiment. In the following, the process illustrated in FIG. 7 will be described in order of step number.
〔ステップＳ１１〕変化検出部１２５は、入力された画像における変化検出をしたブロックメモリの内容を取得する。ブロックメモリはブロック画像が保存するメモリであって、変化検出部１２５はブロックメモリ内からブロック画像を読み出して、変化検出部分があるかを判断する。
[Step S11] The
具体的には、カメラ２３０で撮像された入力画像と、短背景生成部１２３が生成した短背景画像の差分をとり、差分として抽出された部分を含むブロック画像におけるブロックを変化検出をしたブロックと判断する。
Specifically, the difference between the input image captured by the camera 230 and the short background image generated by the short
〔ステップＳ１２〕継続検出部１２６は、入力された画像における継続検出をしたブロックメモリの内容を取得する。変化検出部１２５はブロックメモリ内からブロック画像を読み出して、変化検出部分があるかを判断する。
[Step S12] The
具体的には、短背景生成部１２３が生成した短背景画像と、背景生成部１２４が生成した背景画像との差分をとり、差分として抽出された部分を含むブロック画像におけるブロックを継続検出したブロックと判断する。
Specifically, a block in which a difference between the short background image generated by the short
〔ステップＳ１３〕滞在者検出部１２２は、監視対象の活動状態判定処理を行う。つまり、監視対象である滞在者が不在、移動、動き、もしくは静止のいずれの状態であるかを判断する。この判断は図５の説明内容に基づく。
[Step S13] The
〔ステップＳ１４〕滞在者検出部１２２は、監視対象の活動状態記録処理を行う。つまり、監視対象である滞在者の移動頻度や動き頻度などから滞在者の活動状況を算出し、各滞在者の活動状態として記録する。
[Step S14] The
〔ステップＳ１５〕滞在者検出部１２２は、滞在者の活動状態に応じてアラーム処理を行う。つまり、監視対象である滞在者の活動状態が危険な状態であると判断するとアラームを出力する。
[Step S15] The
〔ステップＳ１６〕滞在者検出部１２２は、グラフ表示処理を行う。つまり、監視対象である滞在者の活動状況が一目でわかるように活動状況を表したグラフを生成し、表示する。
[Step S16] The
以下、上述の画像処理中に含まれる各処理やグラフについてフローチャートや表示例を用いて具体的に説明する。 Hereinafter, each process and graph included in the above-described image processing will be specifically described with reference to flowcharts and display examples.
図８は、滞在者検出部による活動状態判定処理の手順を示すフローチャートである。以下、図８に示す処理をステップ番号に沿って説明する。 FIG. 8 is a flowchart showing a procedure of activity state determination processing by the visitor detection unit. In the following, the process illustrated in FIG. 8 will be described in order of step number.
〔ステップＳ２１〕滞在者検出部１２２は、変化検出結果と、継続検出結果を合成する。各検出結果は、上述の通り撮像画像を６４×４０にブロック分けしたブロック画像となっており、各ブロックが「検出なし」、「変化」、「継続」、「変化と継続の両方を含む」の４つの状態のいずれかに属するかを各検出結果の合成結果から判断する。
[Step S21] The
〔ステップＳ２２〕滞在者検出部１２２は、合成した検出結果の輪郭線を追跡し、少なくとも変化検出もしくは継続検出がされた部分を含むブロックの固まりを特定し、そのブロックの固まりを滞在者が撮像された部分と判断する。固まりの特定とは具体的には、少なくとも変化検出もしくは継続検出がされた部分の外周輪郭を追跡後、その輪郭に外接する長方形で囲み、たとえば右上と左下の座標を記憶する。なお、検出できる滞在者の最大数はたとえば１２８とする。
[Step S22] The
〔ステップＳ２３〕滞在者検出部１２２は、滞在者と判断した各固まり内の状態を参照し、各監視対象である滞在者の状態を判断する。具体的には、各固まりの外接長方形内のブロックに変化検出はあるが、継続検出がないときは、その滞在者は移動者であると判断する。
[Step S23] The
また、外接長方形内に変化検出と継続検出の両方があるときは、その滞在者は動きがある静止者であると判断し、外接長方形内に継続検出はあるが、変化検出がないときは、その滞在者は動きのない静止者であると判断する。 Also, when there is both change detection and continuation detection within the circumscribed rectangle, the visitor is determined to be a stationary person with movement, and there is continuation detection within the circumscribed rectangle, but when there is no change detection, The visitor is determined to be a stationary person who does not move.
〔ステップＳ２４〕滞在者検出部１２２は、前回の滞在者の活動状態検出結果と比較し、新規の滞在者の登録と、既存の滞在者の状態の更新と静止フラグをＯＮ／ＯＦＦする。具体的には、前回の外接長方形と、今回の外接長方形の座標をたとえば画面の右上にあるものから順に比較し、近くにあるものを既存の滞在者の変化後のものとし、前回はなかったものを新規の滞在者とし、前回はあったが今回なかった、もしくは今回は一定以下の大きさものを消滅した（撮影範囲から外れた）滞在者とする。さらに、前回消滅したと判断された滞在者の外接長方形が残っている場合、次の滞在者の状態は未登録とする。この未登録という状態については、継続検出ブロックのリセットをする処理とともに後述する。
[Step S24] The
〔ステップＳ２５〕滞在者検出部１２２は、消滅した滞在者の外接長方形を元にブロック検出画像を作成する。このブロック検出画像は後述する継続検出リセット用に用いられる画像であって、継続検出をリセットしたいブロックを１として、それ以外のブロックを０とした画像であり、消滅と判定された滞在者の外接長方形を元に作成される。
[Step S25] The
図９は、ブロック検出画像を説明する図であり、図９（Ａ）は、継続検出リセット前を示す図であり、図９（Ｂ）は、継続検出リセット後を示す図である。 FIG. 9 is a diagram for explaining a block detection image, FIG. 9A is a diagram showing before the continuous detection reset, and FIG. 9B is a diagram showing after the continuous detection reset.
図９（Ａ）では、１フレーム前の表示例であって、外接長方形３１０内に現フレームの継続検出ブロックの固まり３２０が残っている状態を示している。現フレームの継続検出ブロックを囲う外接長方形が、あらかじめ設定された大きさより小さいと判断したとき、外接長方形３１０に関連づけられた滞在者は消滅したと判断する。本実施の形態に係る画像処理によると、滞在者が撮像範囲から外れたからといって必ずしもすぐに継続検出ブロックは消えずに一定時間残ってしまうからである。そして、継続検出ブロックが残っていると、その残った継続検出ブロックに基づいて、本来は撮像範囲内にはいない滞在者の移動検出、および動き検出が行われてしまうという不具合が生じるおそれがある。
FIG. 9A shows a display example one frame before, and shows a state in which a
つまり、消滅した滞在者の継続検出ブロックが撮像画像内に残っていると誤検出の原因となるので、当該継続検出ブロックは撮像画像内から消去（リセット）する。具体的には、現フレームの継続検出ブロックを囲う外接長方形があらかじめ設定された大きさより小さいとき、当該継続検出ブロックのブロック座標を記録する。 That is, if the continuation detection block of the disappeared visitor remains in the captured image, it causes a false detection, so the continuation detection block is erased (reset) from the captured image. Specifically, when the circumscribed rectangle surrounding the continuous detection block of the current frame is smaller than a preset size, the block coordinates of the continuous detection block are recorded.
現フレームの継続検出ブロックを囲う外接長方形があらかじめ設定された大きさより小さいとする条件を満たすものが複数あるときは、すべてのブロック座標を記録する。この継続検出したブロックに１が設定され、継続検出がなかったブロックに０が設定されている画像をブロック検出画像とする。 When there are a plurality of conditions that satisfy the condition that the circumscribed rectangle surrounding the continuous detection block of the current frame is smaller than a preset size, all block coordinates are recorded. An image in which 1 is set for the continuously detected block and 0 is set for a block that has not been continuously detected is defined as a block detected image.
なお、現フレームの継続検出ブロックを囲う外接長方形があらかじめ設定された大きさより小さいと判断されたとき現フレームの外接長方形は、次のフレームでは滞在者の状態として未登録と設定する。 When it is determined that the circumscribed rectangle surrounding the continuation detection block of the current frame is smaller than a preset size, the circumscribed rectangle of the current frame is set as unregistered as the visitor state in the next frame.
図１０は、滞在者検出部による活動状態記録処理の手順を示すフローチャートである。以下、図１０に示す処理をステップ番号に沿って説明する。 FIG. 10 is a flowchart showing a procedure of activity state recording processing by the visitor detection unit. In the following, the process illustrated in FIG. 10 will be described in order of step number.
〔ステップＳ３１〕滞在者検出部１２２は、前回の記録から単位時間ｎ秒経過したかを判断する。前回の記録から単位時間ｎ秒経過したと判断したときは処理をステップＳ３２へ進め、経過していないと判断したときは処理をステップＳ３３へ進める。本実施の形態においては、単位時間ｎ秒を１秒であるとする。
[Step S31] The
〔ステップＳ３２〕滞在者検出部１２２は、単位時間ごとの頻度記録処理を行う。具体的には、単位時間ごとの滞在者の移動頻度、動き頻度、および連続静止時間を記録する。
[Step S32] The
〔ステップＳ３３〕滞在者検出部１２２は、前回の記録から集計時間ｍ分経過したかを判断する。前回の記録から集計時間ｍ分経過したと判断したときは、処理をステップＳ３４へ進め、経過してないと判断したときは処理を終了する。本実施の形態においては、集計時間ｍ分を１分であるとする。
[Step S33] The
〔ステップＳ３４〕滞在者検出部１２２は、集計時間ごとの頻度記録処理を行う。具体的には、集計時間ごとの滞在者の移動頻度、および動き頻度を記録する。
[Step S34] The
以下、上述の活動状態記録処理中に含まれる各処理についてフローチャートを用いて具体的に説明する。 Hereinafter, each process included in the above-described activity state recording process will be specifically described with reference to flowcharts.
図１１は、滞在者検出部による単位時間ごとの頻度記録処理の手順を示すフローチャートである。以下、図１１に示す処理をステップ番号に沿って説明する。 FIG. 11 is a flowchart showing a procedure of frequency recording processing for each unit time by the visitor detection unit. In the following, the process illustrated in FIG. 11 will be described in order of step number.
〔ステップＳ４１〕滞在者検出部１２２は、滞在者がいるか否かを判断する。滞在者がいると判断したときは、処理をステップＳ４２へ進め、滞在者がいないと判断したときは処理をステップＳ４３へ進める。
[Step S41] The
〔ステップＳ４２〕滞在者検出部１２２は、滞在タイマをカウントアップし、最初の滞在者の記録を読み込む。この最初の滞在者とは、たとえば画面の一番右上にある外接長方形に関連づけられた滞在者を最初の滞在者とする。
[Step S42] The
〔ステップＳ４３〕滞在者検出部１２２は、滞在タイマをリセットする。つまり、滞在者が誰か１人でもいるときは滞在タイマがカウントアップされ続け（ステップＳ４２）、撮像範囲内に滞在者が１人もいなくなったときに初めて滞在タイマがリセットされる。
[Step S43] The
〔ステップＳ４４〕滞在者検出部１２２は、滞在者が１秒間に１度でも移動した否かを判断する。１度でも移動したときは、処理をステップＳ４５へ進め、移動していないときは、処理をステップＳ４６へ進める。
[Step S44] The
〔ステップＳ４５〕滞在者検出部１２２は、単位時間移動頻度を１加算する。
〔ステップＳ４６〕滞在者検出部１２２は、滞在者が１秒間に１度でも動きがあったか否かを判断する。１度でも動きがあったときは、処理をステップＳ４７へ進め、動きがなかったときは、処理をステップＳ４８へ進める。
[Step S45] The
[Step S46] The
〔ステップＳ４７〕滞在者検出部１２２は、単位時間動き頻度を１加算する。
〔ステップＳ４８〕滞在者検出部１２２は、判断対象の滞在者の静止フラグがＯＮになっているか否かを判断する。ＯＮになっているときは、処理をステップＳ４９へ進め、ＯＮになっていないときは処理をステップＳ５０へ進める。
[Step S47] The
[Step S48] The
〔ステップＳ４９〕滞在者検出部１２２は、静止タイマをカウントアップする。
〔ステップＳ５０〕滞在者検出部１２２は、他にも滞在者がいるか否かを判断する。他にも滞在者がいるときは処理をステップＳ５１へ進め、他に滞在者がいないときは処理を５２へ進める。
[Step S49] The
[Step S50] The
〔ステップＳ５１〕滞在者検出部１２２は、次の滞在者の記録を読み込む。
〔ステップＳ５２〕滞在者検出部１２２は、単位時間移動頻度、および単位時間動き頻度を記録する。たとえば、集計時間が１分であって、単位時間が１秒であるときは６０個の単位時間の記録を集計することになる。記録はリングバッファになっており、バッファ内に記録がいっぱいになると一番古いものに現在の結果を上書きする。
[Step S51] The
[Step S52] The
〔ステップＳ５３〕滞在者検出部１２２は、静止タイマをカウントアップしたか否かを判断する。カウントアップしたときは、処理をステップＳ５５へ進め、カウントアップしていないときは、処理をステップＳ５４へ進める。
[Step S53] The
〔ステップＳ５４〕滞在者検出部１２２は、静止タイマをリセットする。ステップＳ５４に処理が流れてきたということは、静止タイマのカウントアップがされていないということである。静止タイマは１つだけなので、静止タイマがカウントアップされていないということは、すべての滞在者の静止フラグがＯＦＦとなっている、つまり滞在者は移動状態であるか、動きがある静止者であると判断されているということであるから、このタイミングが正しい静止タイマのリセットタイミングであるということになる。
[Step S54] The
なお、静止タイマが１つであるのは、老人ホームの監視対象者は老人ホームに滞在しているご老人であって、静止し続けている場合は危険な状態である可能性が高いということに基づいている。 The one stationary timer means that the person being monitored in the nursing home is an elderly person staying in the nursing home, and is likely to be in a dangerous state if it remains stationary. Based on.
〔ステップＳ５５〕滞在者検出部１２２は、静止タイマのカウント、および滞在タイマのカウントを滞在者の記録として当該滞在者に関連づけて記録する。
[Step S55] The
図１２は、滞在者検出部による集計時間ごとの頻度記録処理の手順を示すフローチャートである。以下、図１２に示す処理をステップ番号に沿って説明する。 FIG. 12 is a flowchart illustrating a procedure of frequency recording processing for each counting time by the visitor detection unit. In the following, the process illustrated in FIG. 12 will be described in order of step number.
〔ステップＳ６１〕滞在者検出部１２２は、現在の単位時間記録結果を読み込む。
〔ステップＳ６２〕滞在者検出部１２２は、読み込んだ現在の単位時間記録において、単位時間移動頻度が１以上であるか否かを判断する。１以上であるときは、処理をステップＳ６３へ進め、１未満であるときは、処理をステップＳ６４へ進める。
[Step S61] The
[Step S62] The
〔ステップＳ６３〕滞在者検出部１２２は、集計期間移動頻度を１加算する。
〔ステップＳ６４〕滞在者検出部１２２は、読み込んだ現在の単位時間記録において、単位時間動き移動頻度が１以上であるか否かを判断する。１以上であるときは、処理をステップＳ６５へ進め、１未満であるときは、処理をステップＳ６６へ進める。
[Step S63] The
[Step S64] The
〔ステップＳ６５〕滞在者検出部１２２は、集計期間動き頻度を１加算する。
〔ステップＳ６６〕滞在者検出部１２２は、５９秒前までの集計を行ったか否かを判断する。５９秒前までの集計を行ったときは、処理をステップＳ６８へ進め、５９秒前までは集計を行っていないときは、処理をステップＳ６７へ進める。
[Step S65] The
[Step S66] The
〔ステップＳ６７〕滞在者検出部１２２は、集計を行った１秒前の単位時間記録結果を読み込む。
[Step S67] The
〔ステップＳ６８〕滞在者検出部１２２は、集計期間移動頻度、および集計期間動き頻度を記録する。本実施の形態のように単位時間が１秒で、集計時間が１分であって、グラフ表示範囲が２４時間であるときは、２４×６０＝１４４０個の単位時間の記録を集計することになる。グラフ表示範囲が２４時間であるときは、２４時間分の記録ができるリングバッファになっており、バッファ内に記録がいっぱいになると一番古いものに現在の結果を上書きする。
[Step S68] The
図１３は、滞在者検出部によるアラーム処理の手順を示すフローチャートである。以下、図１３に示す処理をステップ番号に沿って説明する。 FIG. 13 is a flowchart illustrating a procedure of alarm processing by the visitor detection unit. In the following, the process illustrated in FIG. 13 will be described in order of step number.
〔ステップＳ７１〕滞在者検出部１２２は、静止タイマのカウントを読み込む。
〔ステップＳ７２〕滞在者検出部１２２は、アラーム出力済みか否かを判断する。アラーム出力済みであるときは、処理をステップＳ７３へ進め、アラーム出力がされていないときは、処理をステップＳ７７へ進める。
[Step S71] The
[Step S72] The
〔ステップＳ７３〕滞在者検出部１２２は、静止タイマのカウントが出力開始時間を超えているか否かを判断する。出力開始時間を超えているときは、処理をステップＳ７４へ進め、超えてないときは処理をステップＳ７５へ進める。なお、出力開始時間は滞在者が静止し続けている時間としては異常である可能性があると判断できる時間、つまり目視確認が必要であると判断できる時間であって監視対象や設置場所に応じて適宜設定される。
[Step S73] The
〔ステップＳ７４〕滞在者検出部１２２は、アラーム停止信号入力があるか否かを判断する。アラーム停止信号入力があるときは、処理をステップＳ７５へ進め、アラーム停止信号入力がないときは、処理をステップＳ７９へ進める。
[Step S74] The
〔ステップＳ７５〕滞在者検出部１２２は、アラーム出力フラグをＯＦＦに設定する。
〔ステップＳ７６〕滞在者検出部１２２は、静止タイマをリセットする。
[Step S75] The
[Step S76] The
〔ステップＳ７７〕滞在者検出部１２２は、静止タイマのカウントが出力開始時間を超えているか否かを判断する。出力開始時間を超えているときは、処理をステップＳ７８へ進め、超えていないときは、処理をステップＳ７９へ進める。
[Step S77] The
〔ステップＳ７８〕滞在者検出部１２２は、アラーム出力フラグをＯＮに設定する。
〔ステップＳ７９〕滞在者検出部１２２は、アラーム出力フラグのＯＮ／ＯＦＦと、静止タイマのカウントを記録する。
[Step S78] The
[Step S79] The
〔ステップＳ８０〕滞在者検出部１２２は、アラーム出力フラグがＯＮに設定されているときは、アラーム出力を行い、アラーム出力フラグがＯＦＦに設定されているときは、アラーム出力をＯＦＦする。
[Step S80] The
図１４は、本実施の形態に係る画像処理装置で処理をしたときの画像表示例を示す図である。 FIG. 14 is a diagram illustrating an image display example when processing is performed by the image processing apparatus according to the present embodiment.
図１４に示す例として、画像処理された画像は４分割された画面に４つのカメラ２３０で撮像され、画像処理された画像があるときを示している。各画像において変化検出および継続検出は半透明で表示され、背景画像と合成されて表示される。 As an example shown in FIG. 14, an image processed image is captured on four divided screens by four cameras 230 and there is an image processed image. In each image, change detection and continuation detection are displayed translucently and are combined with the background image and displayed.
本実施の形態においては、右上がりの斜線で変化検出を示し、右下がりの斜線で継続検出を示している。つまり、左上の画像に示された滞在者は変化検出と継続検出がされているので動きのある静止者の状態であることが判断でき、右の上下の画像に示された滞在者は変化検出のみされているので移動者の状態であると判断でき、左下の画像に示された滞在者は継続検出のみされているので動きのない静止者の状態であると判断できる。 In the present embodiment, change detection is indicated by a right-upward oblique line, and continuation detection is indicated by a right-downward oblique line. In other words, since the visitor shown in the upper left image has been detected for change and continuation, it can be judged that the visitor is in motion, and the visitor shown in the upper right image is detected for change. Therefore, it can be determined that the user is in the state of a moving person, and the stayer shown in the lower left image is only detected continuously, so that it can be determined that the person is in a stationary state without movement.
また、各画像の下部にはグラフ（以下、状態グラフという。）が表示されている。この状態グラフは各画像で表示された撮像範囲における撮像対象の移動頻度、動き頻度をグラフ化したものが表示されている。
以下、この状態グラフについて詳細に説明する。
In addition, a graph (hereinafter referred to as a state graph) is displayed at the bottom of each image. This state graph is a graph showing the movement frequency and movement frequency of the imaging target in the imaging range displayed in each image.
Hereinafter, this state graph will be described in detail.
図１５は、状態グラフを構成する棒グラフの拡大図である。
図１５に示すように、棒グラフは１０個のコマを複合して１本の棒グラフを構成している。棒グラフ１本で１２分（表示単位）であり、状態グラフ１つで２４時間を表すとすると、表示グラフは棒グラフ１２０本で構成されることになる。
FIG. 15 is an enlarged view of the bar graph constituting the state graph.
As shown in FIG. 15, the bar graph is composed of 10 frames to constitute one bar graph. If one bar graph is 12 minutes (display unit) and one state graph represents 24 hours, the display graph is composed of 120 bar graphs.
棒グラフは、表示単位（本実施の形態においては１２分）の間の移動頻度、動き頻度、および静止または不在を１０段階表示になるように正規化したものである。 The bar graph is obtained by normalizing the movement frequency, movement frequency, and stillness or absence during the display unit (12 minutes in the present embodiment) so as to be displayed in 10 steps.
図１６は、状態グラフを示す拡大図であり、図１６（Ａ）は、移動頻度グラフを示す拡大図であり、図１６（Ｂ）は、動き頻度グラフを示す拡大図であり、図１６（Ｃ）は、移動頻度グラフと動き頻度グラフを重ねて表示した重ね合わせグラフを示す拡大図である。 16 is an enlarged view showing a state graph, FIG. 16 (A) is an enlarged view showing a movement frequency graph, FIG. 16 (B) is an enlarged view showing a movement frequency graph, and FIG. C) is an enlarged view showing a superimposed graph in which a movement frequency graph and a movement frequency graph are displayed in an overlapping manner.
図１６（Ａ）、（Ｂ）は、それぞれ移動頻度、もしくは動き頻度のみを表示するグラフであって、図１６（Ｃ）は、移動頻度、および動き頻度を表示するグラフを重ね合わせた重ね合わせグラフである。 FIGS. 16A and 16B are graphs that display only the movement frequency or the movement frequency, respectively, and FIG. 16C is an overlay in which the graphs that display the movement frequency and the movement frequency are superimposed. It is a graph.
図１６（Ａ），（Ｂ）に示すように、状態グラフを構成する棒グラフにおいて、移動頻度は右上がりの斜線で示され、動き頻度は右下がりの斜線で示されている。つまり、図１６（Ｃ）に示す重ね合わせグラフにおいては、移動頻度と動き頻度が重なる部分に関しては移動頻度を優先的に表示することとしている。 As shown in FIGS. 16A and 16B, in the bar graphs constituting the state graph, the movement frequency is indicated by a right-upward oblique line, and the movement frequency is indicated by a right-downward oblique line. That is, in the superimposed graph shown in FIG. 16C, the movement frequency is preferentially displayed for a portion where the movement frequency and the movement frequency overlap.
本実施の形態において重ね合わせのときに移動頻度を優先的に表示するのは、通常は静止状態が長いほど滞在者に何か異常が起きている可能性が高いことに起因する。つまり、動き頻度を優先的に表示して、移動頻度が動き頻度に隠れて見えなくなると滞在者に起きた異常を見過ごす可能性が高くなるからである。 The reason why the movement frequency is preferentially displayed in the present embodiment is that the longer the stationary state, the higher the possibility that something is wrong with the visitor. That is, if the movement frequency is preferentially displayed and the movement frequency is hidden behind the movement frequency and cannot be seen, there is a high possibility that the visitor will overlook the abnormality.
図１７は、重ね合わせグラフの下部にアラーム出力状況を示すグラフを表示したアラームグラフを示す拡大図であり、図１７（Ａ）は、第１のアラームグラフを示す拡大図であり、図１７（Ｂ）は、第２のアラームグラフを示す拡大図である。 FIG. 17 is an enlarged view showing an alarm graph in which a graph indicating the alarm output status is displayed at the bottom of the superimposed graph, and FIG. 17A is an enlarged view showing the first alarm graph, and FIG. B) is an enlarged view showing a second alarm graph.
図１７に示すように、重ね合わせグラフの下部にアラーム出力を示す出力状況グラフが表示させることができる。出力状況グラフは、たとえば滞在、静止、アラームの３段階であって、滞在期間を白抜きで、静止期間を右上がりの鎖線で、アラーム出力期間を右下がりの一点鎖線で示している。 As shown in FIG. 17, an output status graph indicating an alarm output can be displayed at the bottom of the overlay graph. The output status graph includes, for example, three stages of stay, stillness, and alarm. The stay period is outlined, the stationary period is indicated by a chain line that goes up to the right, and the alarm output period is shown by a one-dot chain line that goes down to the right.
図１７（Ａ）に示す第１のアラームグラフの場合であって、重ね合わせグラフのみが表示されているときを考える。このとき、右側にある重ね合わせの山４１１と、左側にある重ね合わせの山４１２の間の移動も動きも検出されていない時間ｔは、滞在者が不在なために移動も動きも検出されていないのか、滞在者が長時間静止状態なのかが判別できない。
Consider the case of the first alarm graph shown in FIG. 17A where only the overlay graph is displayed. At this time, during the time t when no movement or movement is detected between the overlapping
そこで、重ね合わせグラフの下部に出力状況グラフを表示したアラームグラフを表示させることにより、滞在者が不在なために移動も動きも検出されていないのか、滞在者が長時間静止状態なのかを判別することができる。 Therefore, by displaying an alarm graph with an output status graph at the bottom of the overlay graph, it is determined whether no movement or movement has been detected due to the absence of a visitor, or whether the visitor has been stationary for a long time. can do.
具体的には、滞在者が静止状態であると判断されたときである静止期間と、アラーム出力がされているときであるアラーム出力期間を表示することによって、重ね合わせグラフにおける移動も動きも検出されていない時間が不在によるものなのか、滞在者の長時間の静止によるものなのかを判別することができる。 Specifically, by displaying the stationary period when the visitor is determined to be stationary and the alarm output period when the alarm is being output, both movement and movement in the overlay graph are detected. It is possible to determine whether the time that has not been taken is due to the absence or due to the stay of the visitor for a long time.
一方、図１７（Ｂ）に示す第２のアラームグラフの場合を考えると、第２のアラームグラフは、滞在者を２人検出し、１人ずつ退出した場合を表している。ここで、最初に退出した滞在者を滞在者Ａとし、次いで退出した滞在者を滞在者Ｂとして説明する。 On the other hand, considering the case of the second alarm graph shown in FIG. 17B, the second alarm graph represents a case where two stayers are detected and one visitor leaves. Here, the staying person who left first will be referred to as staying person A, and then the staying person who has left the stay will be described as staying person B.
当初滞在者２人（滞在者Ａおよび滞在者Ｂ）を検出し、時間ｔ１に滞在者２人とも静止状態になる。そして、時間ｔ２に滞在者Ａが退出する。山４１３における動きと移動の検出は、静止していた滞在者Ａが静止状態から動き状態、移動状態となって退出したことを表している。
Initially, two stayers (stayer A and stayer B) are detected, and both stayers are stationary at time t1. Then, the resident A leaves at time t2. The detection of the movement and movement in the
このとき、依然として滞在者Ｂが静止状態であるときは、静止タイマはリセットされないので、このまま静止状態が続けばアラーム出力されるはずである。しかし、出力状況グラフにおいてアラーム出力がされている旨の表示がないので、山４１３において、滞在者Ｂも動いていたことがわかる。
At this time, when the visitor B is still in the stationary state, the stationary timer is not reset, so if the stationary state continues as it is, an alarm should be output. However, since there is no indication that the alarm is being output in the output status graph, it can be seen that the resident B was also moving in the
山４１２における動きと移動の検出は、静止していた滞在者Ａが静止状態から動き状態、移動状態となって退出したことを表している。
The detection of the movement and movement in the
このようにアラーム出力フラグにおいて、重ね合わせグラフのみならず出力状況グラフを合わせて表示することにより滞在者の状況を見誤ることなく一目で状況確認を行うことができるようになる。 As described above, in the alarm output flag, by displaying not only the overlay graph but also the output status graph, it is possible to check the status at a glance without mistaking the status of the visitor.
〔第２の実施の形態〕
次に、本発明の第２の実施の形態について説明する。本実施の形態の画像処理装置は、通行量や混雑度を計測するために用いることが異なる以外は、基本的な処理等については第１の実施の形態と同様である。このため、上記第１の実施の形態とほぼ同様の構成部分については同一の符号を付すなどして適宜その説明を省略する。
以下、本発明の実施の形態を図面を参照して詳細に説明する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described. The image processing apparatus of the present embodiment is the same as that of the first embodiment in basic processing and the like except that it is used for measuring the traffic volume and the degree of congestion. For this reason, about the component similar to the said 1st Embodiment, the same code | symbol is attached | subjected etc., and the description is abbreviate | omitted suitably.
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１８は、本実施の形態の画像処理装置による画像処理の手順を示すフローチャートである。以下、図１８に示す処理をステップ番号に沿って説明する。 FIG. 18 is a flowchart illustrating a procedure of image processing by the image processing apparatus according to the present embodiment. In the following, the process illustrated in FIG. 18 will be described in order of step number.
〔ステップＳ８１〕変化検出部１２５は、入力された画像における変化検出をしたブロックメモリの内容を取得する。ブロックメモリはブロック画像が保存するメモリであって、変化検出部１２５はブロックメモリ内からブロック画像を読み出して、変化検出部分があるかを判断する。
[Step S81] The
具体的には、カメラ２３０で撮像された入力画像と、短背景生成部１２３が生成した短背景画像の差分をとり、差分として抽出された部分を含むブロック画像におけるブロックを変化検出をしたブロックと判断する。
Specifically, the difference between the input image captured by the camera 230 and the short background image generated by the short
〔ステップＳ８２〕継続検出部１２６は、入力された画像における継続検出をしたブロックメモリの内容を取得する。変化検出部１２５はブロックメモリ内からブロック画像を読み出して、変化検出部分があるかを判断する。
[Step S82] The
具体的には、短背景生成部１２３が生成した短背景画像と、背景生成部１２４が生成した背景画像との差分をとり、差分として抽出された部分を含むブロック画像におけるブロックを継続検出したブロックと判断する。
Specifically, a block in which a difference between the short background image generated by the short
〔ステップＳ８３〕滞在者検出部１２２は、監視対象の活動状態判定処理を行う。つまり、監視対象である滞在者が不在、移動、動き、もしくは静止のいずれの状態であるかを判断する。
[Step S83] The
〔ステップＳ８４〕滞在者検出部１２２は、監視対象の活動状態記録処理を行う。つまり、監視対象である滞在者の移動頻度や動き頻度などから滞在者の活動状況を算出し、各滞在者の活動状態として記録する。
[Step S84] The
〔ステップＳ８６〕滞在者検出部１２２は、グラフ表示処理を行う。つまり、監視対象である滞在者の活動状況が一目でわかるように活動状況を表したグラフを生成し、表示する。
[Step S86] The
以下、上述の画像処理中に含まれる各処理やグラフについてフローチャートや表示例を用いて具体的に説明する。 Hereinafter, each process and graph included in the above-described image processing will be specifically described with reference to flowcharts and display examples.
図１９は、滞在者検出部による活動状態判定処理の手順を示すフローチャートである。以下、図１９に示す処理をステップ番号に沿って説明する。 FIG. 19 is a flowchart illustrating a procedure of activity state determination processing by the visitor detection unit. In the following, the process illustrated in FIG. 19 will be described in order of step number.
〔ステップＳ９１〕滞在者検出部１２２は、変化検出結果と、継続検出結果を合成する。各検出結果は、上述の通り撮像画像を６４×４０にブロック分けしたブロック画像となっており、各ブロックが「検出なし」、「変化」、「継続」、「変化と継続の両方を含む」の４つの状態のいずれかに属するかを各検出結果の合成結果から判断する。
[Step S91] The
〔ステップＳ９２〕滞在者検出部１２２は、合成した検出結果の輪郭線を追跡し、少なくとも変化検出もしくは継続検出がされた部分を含むブロックの固まりを特定し、そのブロックの固まりを滞在者が撮像された部分と判断する。固まりの特定とは具体的には、少なくとも変化検出もしくは継続検出がされた部分の外周輪郭を追跡後、その輪郭に外接する長方形で囲み、たとえば右上と左下の座標を記憶する。なお、検出できる滞在者の最大数はたとえば１２８とする。
[Step S92] The
〔ステップＳ９３〕滞在者検出部１２２は、滞在者と判断した各固まり内の状態を参照し、各監視対象である滞在者の状態を判断する。具体的には、各固まりの外接長方形内のブロックに変化検出はあるが、継続検出がないときは、その滞在者は移動者であると判断する。
[Step S93] The
また、外接長方形内に変化検出と継続検出の両方があるときは、その滞在者は動きがある静止者であると判断し、外接長方形内に継続検出はあるが、変化検出がないときは、その滞在者は動きのない静止者であると判断する。 Also, when there is both change detection and continuation detection within the circumscribed rectangle, the visitor is determined to be a stationary person with movement, and there is continuation detection within the circumscribed rectangle, but when there is no change detection, The visitor is determined to be a stationary person who does not move.
〔ステップＳ９４〕滞在者検出部１２２は、前回の滞在者の活動状態検出結果と比較し、新規の滞在者の登録と、既存の滞在者の状態の更新と静止フラグをＯＮ／ＯＦＦする。具体的には、前回の外接長方形と、今回の外接長方形の座標をたとえば画面の右上にあるものから順に比較し、近くにあるものを既存の滞在者の変化後のものとし、前回はなかったものを新規の滞在者とし、前回はあったが今回なかった、もしくは今回は一定以下の大きさものを消滅した（撮影範囲から外れた）滞在者とする。さらに、前回消滅したと判断された滞在者の外接長方形が残っている場合、次の滞在者の状態は未登録とする。この未登録という状態については、継続検出ブロックのリセットをする処理とともに後述する。
[Step S94] The
〔ステップＳ９５〕滞在者検出部１２２は、消滅した滞在者の外接長方形を元にブロック検出画像を作成する。このブロック検出画像は後述する継続検出リセット用に用いられる画像であって、継続検出をリセットしたいブロックを１として、それ以外のブロックを０とした画像であり、消滅と判定された滞在者の外接長方形を元に作成される。
[Step S95] The
図２０は、滞在者検出部による活動状態記録処理の手順を示すフローチャートである。以下、図２０に示す処理をステップ番号に沿って説明する。 FIG. 20 is a flowchart showing a procedure of activity state recording processing by the visitor detection unit. In the following, the process illustrated in FIG. 20 will be described in order of step number.
〔ステップＳ１０１〕滞在者検出部１２２は、前回の記録から単位時間ｎ秒経過したかを判断する。前回の記録から単位時間ｎ秒経過したと判断したときは処理をステップＳ１０２へ進め、経過していないと判断したときは処理をステップＳ１０３へ進める。本実施の形態においては、単位時間ｎ秒を１秒であるとする。
[Step S101] The
〔ステップＳ１０２〕滞在者検出部１２２は、単位時間ごとの通行量記録処理を行う。具体的には、たとえば単位時間ごとの入場者数、および退場者数を記録する。
[Step S102] The
〔ステップＳ１０３〕滞在者検出部１２２は、前回の記録から集計時間ｍ分経過したかを判断する。前回の記録から集計時間ｍ分経過したと判断したときは、処理をステップＳ１０４へ進め、経過してないと判断したときは処理を終了する。本実施の形態においては、集計時間ｍ分を１分であるとする。
[Step S103] The
〔ステップＳ１０４〕滞在者検出部１２２は、集計時間ごとの通行量記録処理を行う。具体的には、たとえば集計時間ごとの入場者数、および退場者数を記録する。
[Step S104] The
以下、上述の活動状態記録処理中に含まれる各処理についてフローチャートを用いて具体的に説明する。 Hereinafter, each process included in the above-described activity state recording process will be specifically described with reference to flowcharts.
図２１は、滞在者検出部による単位時間ごとの通行量記録処理の手順を示すフローチャートである。以下、図２１に示す処理をステップ番号に沿って説明する。 FIG. 21 is a flowchart illustrating a procedure of traffic volume recording processing per unit time by the visitor detection unit. In the following, the process illustrated in FIG. 21 will be described in order of step number.
〔ステップＳ１１１〕滞在者検出部１２２は、滞在者がいるか否かを判断する。滞在者がいると判断したときは処理をステップＳ１１２へ進め、滞在者がいないと判断したときは処理をステップＳ１１９へ進める。
[Step S111] The
〔ステップＳ１１２〕滞在者検出部１２２は、最初の滞在者の記録を読み込む。この最初の滞在者とは、たとえば画面の一番右上にある外接長方形に関連づけられた滞在者を最初の滞在者とする。
[Step S112] The
〔ステップＳ１１３〕滞在者検出部１２２は、滞在者が１秒間に１度でも新規登録された否かを判断する。１度でも新規登録されたときは、処理をステップＳ１１４へ進め、１度も新規登録されていないときは、処理をステップＳ１１５へ進める。
[Step S113] The
〔ステップＳ１１４〕滞在者検出部１２２は、単位時間入場者数を１加算する。
〔ステップＳ１１５〕滞在者検出部１２２は、滞在者が１秒間に１度でも消滅登録されたか否かを判断する。１度でも消滅登録されたときは、処理をステップＳ１１６へ進め、１度も消滅登録されなかったときは、処理をステップＳ１１７へ進める。
[Step S114] The
[Step S115] The
〔ステップＳ１１６〕滞在者検出部１２２は、単位時間退場者数を１加算する。
〔ステップＳ１１７〕滞在者検出部１２２は、他にも滞在者がいるか否かを判断する。他にも滞在者がいるときは処理をステップＳ１１８へ進め、他に滞在者がいないときは処理を１１９へ進める。
[Step S116] The
[Step S117] The
〔ステップＳ１１８〕滞在者検出部１２２は、次の滞在者の記録を読み込む。
〔ステップＳ１１９〕滞在者検出部１２２は、単位時間入場者数、および単位時間退場者数を記録する。たとえば、集計時間が１分であって、単位時間が１秒であるときは６０個の単位時間の記録を集計することになる。記録はリングバッファになっており、バッファ内に記録がいっぱいになると一番古いものに現在の結果を上書きする。
[Step S118] The
[Step S119] The
図２２は、滞在者検出部による集計時間ごとの通行量記録処理の手順を示すフローチャートである。以下、図２２に示す処理をステップ番号に沿って説明する。 FIG. 22 is a flowchart illustrating a procedure of traffic volume recording processing for each counting time by the visitor detection unit. In the following, the process illustrated in FIG. 22 will be described in order of step number.
〔ステップＳ１２１〕滞在者検出部１２２は、現在の新規または既存状態の滞在者数を集計単位時間滞在者数とする。
[Step S121] The
〔ステップＳ１２２〕滞在者検出部１２２は、現在の単位時間記録結果を読み込む。
〔ステップＳ１２３〕滞在者検出部１２２は、集計期間入場者数に単位時間入場者数を加算する。
[Step S122] The
[Step S123] The
〔ステップＳ１２４〕滞在者検出部１２２は、集計期間退場者数に単位時間退場者数を加算する。
[Step S124] The
〔ステップＳ１２５〕滞在者検出部１２２は、５９秒前までの集計を行ったか否かを判断する。５９秒前までの集計を行ったときは、処理をステップＳ１２７へ進め、５９秒前までは集計を行っていないときは、処理をステップＳ１２６へ進める。
[Step S125] The
〔ステップＳ１２６〕滞在者検出部１２２は、集計を行った１秒前の単位時間記録結果を読み込む。
[Step S126] The
〔ステップＳ１２７〕滞在者検出部１２２は、集計期間入場者数、および集計期間退場者数を記録する。本実施の形態のように単位時間が１秒で、集計時間が１分であって、グラフ表示範囲が２４時間であるときは、２４×６０＝１４４０個の単位時間の記録を集計することになる。グラフ表示範囲が２４時間であるときは、２４時間分の記録ができるリングバッファになっており、バッファ内に記録がいっぱいになると一番古いものに現在の結果を上書きする。
[Step S127] The
図２３は、状態グラフを示す拡大図であり、図２３（Ａ）は、入場者数グラフを示す拡大図であり、図２３（Ｂ）は、退場者数グラフを示す拡大図であり、図２３（Ｃ）は、滞在者数グラフを示す拡大図であり、図２３（Ｄ）は、入場者数グラフ、退場者数グラフ、および滞在者数グラフを並べて表示したグラフを示す拡大図である。 FIG. 23 is an enlarged view showing a state graph, FIG. 23 (A) is an enlarged view showing an attendance number graph, and FIG. 23 (B) is an enlarged view showing an exit number graph. 23 (C) is an enlarged view showing the number of visitors graph, and FIG. 23 (D) is an enlarged view showing a graph in which the number of visitors graph, the number of visitors left graph, and the number of visitors graph are displayed side by side. .
上述の処理を行うことにより、通行量を一目で判断することが可能となる。さらに、このグラフに加えて、たとえば小売店などの売り場の一部などに撮像範囲を指定するなどすれば、その売り場に対する顧客の寄りつき具合なども一目で把握することが可能となったり、その寄りつきが時間に依存するかなども把握することが可能となる。 By performing the above-described processing, the traffic volume can be determined at a glance. In addition to this graph, for example, by specifying the imaging range for a part of a sales floor such as a retail store, it is possible to grasp the customer's closeness to the sales floor at a glance. It is possible to grasp whether or not depends on time.
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、画像処理装置が有すべき機能の処理内容を記述した画像処理プログラムが提供される。その画像処理プログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述した画像処理プログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ＨＤＤ、ＦＤ、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録装置には、ＭＯ（Magneto
Optical disk）などがある。
The above processing functions can be realized by a computer. In that case, an image processing program describing the processing contents of the functions that the image processing apparatus should have is provided. By executing the image processing program on a computer, the above processing functions are realized on the computer. The image processing program describing the processing contents can be recorded on a computer-readable recording medium. Examples of the computer-readable recording medium include a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory. Magnetic recording devices include HDDs, FDs, magnetic tapes, and the like. Optical discs include DVD (Digital Versatile Disc), DVD-RAM, CD-ROM, CD-R (Recordable) / RW (ReWritable), and the like. Magneto-optical recording devices include MO (Magneto
Optical disk).
画像処理プログラムを流通させる場合には、たとえば、その画像処理プログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにその画像処理プログラムを転送することもできる。 When distributing the image processing program, for example, portable recording media such as a DVD and a CD-ROM in which the image processing program is recorded are sold. It is also possible to store the program in a storage device of a server computer and transfer the image processing program from the server computer to another computer via a network.
画像処理プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録された画像処理プログラムもしくはサーバコンピュータから転送された画像処理プログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置から画像処理プログラムを読み取り、画像処理プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接画像処理プログラムを読み取り、その画像処理プログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータから画像処理プログラムが転送される毎に、逐次、受け取った画像処理プログラムに従った処理を実行することもできる。 The computer that executes the image processing program stores, for example, the image processing program recorded on the portable recording medium or the image processing program transferred from the server computer in its own storage device. Then, the computer reads the image processing program from its own storage device and executes processing according to the image processing program. The computer can also read the image processing program directly from the portable recording medium and execute processing according to the image processing program. The computer can also sequentially execute processing according to the received image processing program every time the image processing program is transferred from the server computer.
なお、本発明は、上述の実施の形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加えることができる。 The present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。 The above merely illustrates the principle of the present invention. In addition, many modifications and changes can be made by those skilled in the art, and the present invention is not limited to the precise configuration and application shown and described above, and all corresponding modifications and equivalents may be And the equivalents thereof are considered to be within the scope of the invention.
１００ 画像処理装置
１１０ セレクタ
１２０ 活動検出部
１２０ 棒グラフ
１２１ 検出部
１２２ 滞在者検出部
１２３ 短背景生成部
１２４ 背景生成部
１２５ 変化検出部
１２６ 継続検出部
１３０ モザイク・モノクロ部
１４０ メモリ
１５０ グラフ合成部
１６０ 接点入力・出力部
１６０ 接点入力・出力処理部
１７０ 背景メモリ部
１７１，１７２ 乗算器
１７３ 加算器
１７４ フレームメモリ
１７５ 整数化部
１８０ 更新速度制御部
１８１ フレームカウンタ
１８２ コンパレータ
１８３ 更新周期レジスタ
２１０ コンピュータ
２２０ 保存メモリ
２３０ カメラ
２４０ カメラ電源
２５０ ビデオモニタ
２６０ 録画装置
DESCRIPTION OF
Claims (12)
前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段と、
前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段と、
前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段と、
前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段と、
前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段と、
を備えることを特徴とする画像処理装置。 In an image processing apparatus for detecting the status of a visitor who is a monitoring target using a captured image captured by a camera installed for monitoring purposes, and displaying the status for a certain period of time,
When the visitor moves, a short background image is generated from the captured images of a plurality of frames by thinning out the number of frames set so that the moved part of the visitor is not located at the same position in the captured image between frames. Short background generation means for
Background generation means for generating a background image from a plurality of frames of the short background image, wherein the number of frames set so that the visitor is not at the same position in the short background image between frames;
Change extraction means for generating a change extraction image from the difference between the short background image and the captured image;
Continuous extraction means for generating a continuous extraction image from the difference between the short background image and the background image;
A visitor information calculation means for calculating information indicating a status of a visitor who is a monitoring target person from the change extraction image and the continuous extraction image;
An image processing apparatus comprising:
前記滞在者情報算出手段が算出した前記情報のうち一定時間のものを表示するグラフを生成し、そのグラフを表示することを特徴とする請求項２記載の画像処理装置。 The display means includes
The image processing apparatus according to claim 2, wherein a graph that displays the information calculated by the visitor information calculation unit for a certain period of time is generated, and the graph is displayed.
前記表示手段が、
前記継続検出に係る情報を優先して表示することを特徴とする請求項２記載の画像処理装置。 When it is determined that the visitor information calculation means has detected both change detection and continuation detection,
The display means is
The image processing apparatus according to claim 2, wherein information related to the continuation detection is displayed with priority.
アラーム出力のログを保存することを特徴とする請求項５記載の画像処理装置。 The alarm output means includes
6. The image processing apparatus according to claim 5, wherein an alarm output log is stored.
その生成したグラフの時系列に合わせて前記ログを表示することを特徴とする請求項６記載の画像処理装置。 The visitor information calculation means generates a graph of the information in time series,
The image processing apparatus according to claim 6, wherein the log is displayed in time series of the generated graph.
短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成するステップと、
背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成するステップと、
変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成するステップと、
継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成するステップと、
滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出するステップと、
を含むことを特徴とする画像処理方法。 In an image processing method for detecting a state of a visitor who is a monitoring target using a captured image captured by a camera installed for monitoring purposes, and displaying a state for a certain period of time,
When the visitor moves, the short background generation unit thins out the number of frames set so that the moving part of the visitor is not in the same position in the captured image between frames. Generating a short background image from the
A background generation unit that generates a background image from a plurality of frames of the short background image obtained by thinning out the number of frames set so that the visitor is not at the same position in the short background image between frames;
A step of generating a change extraction image from a difference between the short background image and the captured image;
A step of generating a continuous extraction image from a difference between the short background image and the background image;
A visitor information calculating unit calculating information indicating a status of a visitor who is a monitoring target person from the change extraction image and the continuous extraction image;
An image processing method comprising:
コンピュータを、
前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段、
前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段、
前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段、
前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段、および
前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段、
として機能させることを特徴とする画像処理プログラム。 In an image processing program for detecting the status of a visitor who is a monitoring target using a captured image captured by a camera installed for monitoring purposes and displaying the status for a certain period of time,
Computer
When the visitor moves, a short background image is generated from the captured images of a plurality of frames by thinning out the number of frames set so that the moved part of the visitor is not located at the same position in the captured image between frames. Short background generation means,
Background generation means for generating a background image from a plurality of frames of the short background image obtained by thinning out the number of frames set so that the visitor is not at the same position in the short background image between frames;
Change extraction means for generating a change extraction image from the difference between the short background image and the captured image;
Continuous extraction means for generating a continuous extraction image from the difference between the short background image and the background image, and a visitor that calculates information indicating the status of the monitoring target person from the change extraction image and the continuous extraction image Information calculation means,
An image processing program that functions as an image processing program.
前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段と、
前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段と、
前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段と、
前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段と、
前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段と、
を備える画像処理装置と、
前記画像処理装置が処理した画像を保存する画像保存手段と、
前記画像に対してモザイク処理を施すモザイク処理手段と、
を備えることを特徴とする監視システム。 In a monitoring system including an image processing device for detecting the status of a visitor who is a monitoring target using a captured image captured by a camera installed for monitoring purposes, and displaying the status for a certain period of time,
When the visitor moves, a short background image is generated from the captured images of a plurality of frames by thinning out the number of frames set so that the moved part of the visitor is not located at the same position in the captured image between frames. Short background generation means for
Background generation means for generating a background image from a plurality of frames of the short background image, wherein the number of frames set so that the visitor is not at the same position in the short background image between frames;
Change extraction means for generating a change extraction image from the difference between the short background image and the captured image;
Continuous extraction means for generating a continuous extraction image from the difference between the short background image and the background image;
A visitor information calculation means for calculating information indicating a status of a visitor who is a monitoring target person from the change extraction image and the continuous extraction image;
An image processing apparatus comprising:
Image storage means for storing an image processed by the image processing device;
Mosaic processing means for performing mosaic processing on the image;
A monitoring system comprising:
前記モザイク処理手段が処理した画像を保存することを特徴とする請求項１０記載の監視システム。 The image storage means is
The monitoring system according to claim 10, wherein the image processed by the mosaic processing unit is stored.
前記画像保存手段が保存した画像をモザイク処理することを特徴とする請求項１０記載の監視システム。 The mosaic processing means is
The monitoring system according to claim 10, wherein the image stored by the image storage unit is subjected to mosaic processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011195690A JP2013058063A (en) | 2011-09-08 | 2011-09-08 | Image processing apparatus, method and program, and monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011195690A JP2013058063A (en) | 2011-09-08 | 2011-09-08 | Image processing apparatus, method and program, and monitoring system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013058063A true JP2013058063A (en) | 2013-03-28 |
Family
ID=48133909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011195690A Withdrawn JP2013058063A (en) | 2011-09-08 | 2011-09-08 | Image processing apparatus, method and program, and monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013058063A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5597781B1 (en) * | 2014-03-26 | 2014-10-01 | パナソニック株式会社 | Residence status analysis apparatus, residence status analysis system, and residence status analysis method |
| JP5613815B1 (en) * | 2013-10-29 | 2014-10-29 | パナソニック株式会社 | Residence status analysis apparatus, residence status analysis system, and residence status analysis method |
| JP5879616B1 (en) * | 2014-10-07 | 2016-03-08 | パナソニックＩｐマネジメント株式会社 | Activity status analysis system, activity status analysis device, activity status analysis method, activity status analysis program, and storage medium for storing the program |
| JP2017120656A (en) * | 2017-03-08 | 2017-07-06 | 大日本印刷株式会社 | Search system |
| WO2020202425A1 (en) * | 2019-04-01 | 2020-10-08 | 三菱電機株式会社 | Stay determination apparatus, stay determination method, and stay determination program |
| JP2022122984A (en) * | 2014-06-03 | 2022-08-23 | 日本電気株式会社 | Image processing system, image processing method, and program |
-
2011
- 2011-09-08 JP JP2011195690A patent/JP2013058063A/en not_active Withdrawn
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015087841A (en) * | 2013-10-29 | 2015-05-07 | パナソニック株式会社 | Congestion status analyzer, congestion status analyzing system, and congestion status analyzing method |
| JP5613815B1 (en) * | 2013-10-29 | 2014-10-29 | パナソニック株式会社 | Residence status analysis apparatus, residence status analysis system, and residence status analysis method |
| US10049283B2 (en) | 2014-03-26 | 2018-08-14 | Panasonic Intellectual Property Management Co., Ltd. | Stay condition analyzing apparatus, stay condition analyzing system, and stay condition analyzing method |
| EP2924613A1 (en) * | 2014-03-26 | 2015-09-30 | Panasonic Intellectual Property Management Co., Ltd. | Stay condition analyzing apparatus, stay condition analyzing system, and stay condition analyzing method |
| JP2015186202A (en) * | 2014-03-26 | 2015-10-22 | パナソニック株式会社 | Residence condition analysis device, residence condition analysis system and residence condition analysis method |
| JP5597781B1 (en) * | 2014-03-26 | 2014-10-01 | パナソニック株式会社 | Residence status analysis apparatus, residence status analysis system, and residence status analysis method |
| JP2022122984A (en) * | 2014-06-03 | 2022-08-23 | 日本電気株式会社 | Image processing system, image processing method, and program |
| JP7447932B2 (en) | 2014-06-03 | 2024-03-12 | 日本電気株式会社 | Image processing system, image processing method and program |
| JP5879616B1 (en) * | 2014-10-07 | 2016-03-08 | パナソニックＩｐマネジメント株式会社 | Activity status analysis system, activity status analysis device, activity status analysis method, activity status analysis program, and storage medium for storing the program |
| WO2016056192A1 (en) * | 2014-10-07 | 2016-04-14 | パナソニックＩｐマネジメント株式会社 | Activity status analysis system, activity status analysis device, activity status analysis method, activity status analysis program, and recording medium storing said program |
| JP2016076092A (en) * | 2014-10-07 | 2016-05-12 | パナソニックＩｐマネジメント株式会社 | Activity state analysis system, activity state analysis device, activity state analysis method, activity state analysis program, and storage medium for storing program |
| JP2017120656A (en) * | 2017-03-08 | 2017-07-06 | 大日本印刷株式会社 | Search system |
| WO2020202425A1 (en) * | 2019-04-01 | 2020-10-08 | 三菱電機株式会社 | Stay determination apparatus, stay determination method, and stay determination program |
| JPWO2020202425A1 (en) * | 2019-04-01 | 2021-09-27 | 三菱電機株式会社 | Stay judgment device, stay judgment method and stay judgment program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11157778B2 (en) | Image analysis system, image analysis method, and storage medium | |
| JP4673849B2 (en) | Computerized method and apparatus for determining a visual field relationship between a plurality of image sensors | |
| JP2013058063A (en) | Image processing apparatus, method and program, and monitoring system | |
| US8502868B2 (en) | Intelligent camera selection and object tracking | |
| JP5070376B2 (en) | Congestion state detection apparatus, method, and program | |
| JPWO2016157327A1 (en) | Video surveillance system and video surveillance method | |
| JP2018147160A (en) | Information processing device, information processing method, and program | |
| US9049348B1 (en) | Video analytics for simulating the motion tracking functionality of a surveillance camera | |
| JPWO2018198373A1 (en) | Video surveillance system | |
| JP2010009134A (en) | Image processing system, image processing method, and program | |
| TWI407386B (en) | Method of tracking images automatically | |
| US20160210516A1 (en) | Method and apparatus for providing multi-video summary | |
| JP5217106B2 (en) | Video surveillance system, surveillance video abnormality detection method, and surveillance video abnormality detection program | |
| US20170193309A1 (en) | Moving information analyzing system and moving information analyzing method | |
| JP6631618B2 (en) | Image monitoring apparatus and image monitoring method | |
| US20170300751A1 (en) | Smart history for computer-vision based security system | |
| KR20110093040A (en) | Apparatus and method for monitoring an object | |
| JP5228290B2 (en) | Monitoring system, monitoring apparatus and monitoring method | |
| JP5924081B2 (en) | Abandoned or removed detection system | |
| KR20120113014A (en) | Image recognition apparatus and vison monitoring method thereof | |
| JP5691750B2 (en) | Abandoned or taken away detection system and method for detecting a leaving or removed occurrence time in the detection system | |
| JP2008016897A (en) | Monitoring apparatus, monitoring system and monitoring method | |
| JP5691764B2 (en) | Abandoned or removed detection system | |
| KR20180020374A (en) | The System, Apparatus And MethodFor Searching Event | |
| US10783365B2 (en) | Image processing device and image processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141202 |