JP2008241707A - Automatic monitoring system - Google Patents
Automatic monitoring system Download PDFInfo
- Publication number
- JP2008241707A JP2008241707A JP2008067242A JP2008067242A JP2008241707A JP 2008241707 A JP2008241707 A JP 2008241707A JP 2008067242 A JP2008067242 A JP 2008067242A JP 2008067242 A JP2008067242 A JP 2008067242A JP 2008241707 A JP2008241707 A JP 2008241707A
- Authority
- JP
- Japan
- Prior art keywords
- object detection
- environment
- information
- image
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Geophysics And Detection Of Objects (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、監視対象となる領域（監視対象領域）を監視する監視システムなどにおける画像処理装置などに関し、特に、監視対象領域の状況に応じて複数の物体検出方法から適切な物体検出方法を選択することで、検出すべき物体の検出性能を向上させる画像処理装置などに関する。 The present invention relates to an image processing apparatus or the like in a monitoring system that monitors a region to be monitored (monitoring target region), and in particular, selects an appropriate object detection method from a plurality of object detection methods according to the status of the monitoring target region. The present invention relates to an image processing apparatus that improves the detection performance of an object to be detected.
例えば、テレビジョンカメラ（ＴＶカメラ）等の撮像装置を用いて、監視対象領域内に侵入する物体を監視することが行われている。また、監視員による有人監視ではなく、装置或いはシステムが自動的に監視を行う技術が検討等されている。
監視対象領域内に侵入する物体を自動的に検出する技術の一例として、背景差分法と呼ばれる方法を用いた監視技術が従来より広く用いられている。背景差分法による物体検出方法は、撮像装置等から得られる入力画像と検出すべき物体が映っていない基準となる背景画像との輝度（或いは、画素値）の差分を算出し、当該算出値が所定の閾値（しきい値）と比べて大きい変化領域に検出すべき物体が存在する或いはその可能性があるとして監視を行う。
For example, using an imaging device such as a television camera (TV camera), an object that enters the monitoring target area is monitored. In addition, a technique in which a device or a system automatically performs monitoring instead of manned monitoring by a monitor is being studied.
As an example of a technique for automatically detecting an object that enters a monitoring target area, a monitoring technique using a method called a background difference method has been widely used. The object detection method based on the background difference method calculates a difference in luminance (or pixel value) between an input image obtained from an imaging apparatus or the like and a reference background image on which an object to be detected is not reflected, and the calculated value is Monitoring is performed on the assumption that there is or may be an object to be detected in a change area larger than a predetermined threshold value (threshold value).
また、検出すべき物体を監視する方法としては、背景差分法以外にも、異なる時刻に得られた複数の入力画像の差分を用いるフレーム間差分法や、２つの画像間の局所部分の動きを算出することで画像内の動きの流れを検出するオプティカルフロー法などがあり、監視対象領域の環境条件に応じて適切な方法を実施する機能が実装される。 In addition to the background difference method, the method of monitoring the object to be detected includes an inter-frame difference method that uses a difference between a plurality of input images obtained at different times, and a local part motion between two images. There is an optical flow method for detecting the flow of motion in an image by calculating, and a function for implementing an appropriate method according to the environmental conditions of the monitoring target area is implemented.
しかしながら、それぞれの物体検出方法には、得手不得手がある。
例えば、背景差分法では、静止している物体を安定に検出することができるが、一方で監視対象領域の照度などが変わることに起因する誤検出が発生する可能性がある。また、フレーム間差分法では、監視対象領域の照度変化に対しては誤検出が少ないが、静止している物体を検出することができないという問題がある。また、オプティカルフロー法では、監視対象領域内の検出すべき物体以外のものが複雑に動く場合（例えば、木々が揺れる場合など）には、検出すべき物体の動きを正確に検出することができないという問題がある。
However, each object detection method has advantages and disadvantages.
For example, in the background subtraction method, a stationary object can be detected stably, but there is a possibility that erroneous detection due to a change in illuminance or the like of the monitoring target area may occur. Further, the inter-frame difference method has a problem in that a stationary object cannot be detected although there are few false detections with respect to a change in illuminance in the monitoring target area. In addition, in the optical flow method, when something other than the object to be detected in the monitoring target area moves in a complicated manner (for example, when the trees shake), the movement of the object to be detected cannot be detected accurately. There is a problem.
上記のことから、監視システムでは、監視対象領域の環境に応じて適切な物体検出方法が予め決定されて、システムに実装される。
しかしながら、監視対象領域の環境変化が生じたときには、実装した物体検出方法が最適ではなくなる場合があり、この場合、誤検出が発生して正確な監視が行われなくなってしまうという問題があった。
From the above, in the monitoring system, an appropriate object detection method is determined in advance according to the environment of the monitoring target region, and is installed in the system.
However, when an environmental change occurs in the monitoring target area, the mounted object detection method may not be optimal. In this case, there is a problem that erroneous detection occurs and accurate monitoring cannot be performed.
本発明は、このような従来の事情に鑑み為されたもので、例えば、監視対象領域の環境が変化するような場合においても、環境に適した物体検出方法を使用して物体検出の性能を向上させることができる画像処理装置などを提供することを目的とする。 The present invention has been made in view of such a conventional situation. For example, even when the environment of the monitoring target area changes, the object detection performance is improved by using an object detection method suitable for the environment. An object of the present invention is to provide an image processing apparatus that can be improved.
上記目的を達成するため、本発明に係る画像処理装置では、次のような構成とした。
すなわち、画像取得手段が、所定の領域の画像を取得する。環境情報取得手段が、前記所定の領域の環境に関する情報を取得する。物体検出手段が、複数の異なる物体検出方法のうちの１つ以上の物体検出方法を使用して、前記画像取得手段により取得された画像に基づいて物体を検出する。制御手段が、前記環境情報取得手段により取得された環境に関する情報に基づいて、前記物体検出手段により使用する物体検出方法を切り替える。
In order to achieve the above object, the image processing apparatus according to the present invention has the following configuration.
That is, the image acquisition unit acquires an image of a predetermined area. An environment information acquisition unit acquires information about the environment of the predetermined area. The object detection means detects an object based on the image acquired by the image acquisition means using one or more object detection methods of a plurality of different object detection methods. The control means switches the object detection method used by the object detection means based on the information about the environment acquired by the environment information acquisition means.
従って、所定の領域の画像に基づいて物体を検出するに際して、当該所定の領域の環境に関する情報に基づいて当該物体検出に使用する物体検出方法が切り替えられるため、例えば、当該所定の領域（例えば、監視対象領域）の環境が変化するような場合においても、環境に適した物体検出方法を使用して物体検出の性能を向上させることができる。 Accordingly, when an object is detected based on an image of a predetermined area, the object detection method used for the object detection is switched based on information about the environment of the predetermined area. For example, the predetermined area (for example, Even when the environment of the monitoring target area changes, the object detection performance can be improved by using an object detection method suitable for the environment.
ここで、画像に基づいて物体を検出する対象となる所定の領域としては、種々な領域が用いられてもよい。一例として、画像処理装置を監視装置に適用して、所定の領域として監視対象となる領域（監視対象領域）を用いることができる。
また、画像を取得する態様としては、例えば、カメラにより画像を撮像して取得する態様が用いられてもよく、或いは、外部から画像を入力する態様が用いられてもよい。
また、環境に関する情報としては、例えば、雨量や降雪量などの種々な環境に関する情報が用いられてもよく、また、複数の環境に関する情報が用いられるのが好ましい。
また、環境に関する情報を取得する態様としては、例えば、センサや画像処理などにより環境に関する情報を検出して取得する態様が用いられてもよく、或いは、外部から環境に関する情報を入力する態様が用いられてもよい。
Here, various areas may be used as the predetermined area to be detected based on the image. As an example, an image processing device can be applied to a monitoring device, and a region to be monitored (monitoring target region) can be used as a predetermined region.
Moreover, as an aspect which acquires an image, the aspect which images and acquires an image with a camera may be used, for example, or the aspect which inputs an image from the outside may be used.
In addition, as information related to the environment, for example, information related to various environments such as rainfall and snowfall may be used, and information related to a plurality of environments is preferably used.
In addition, as an aspect for acquiring information about the environment, for example, an aspect in which information about the environment is detected and acquired by a sensor or image processing may be used, or an aspect in which information about the environment is input from the outside is used. May be.
また、複数の物体検出方法の種類や数としては、種々な態様が用いられてもよい。それぞれの物体検出方法では、例えば、画像を用いて処理を行うことにより当該画像に含まれる物体の画像部分を検出することなどを行う。
また、複数の物体検出方法のうちから選択される物体検出方法の数としては、１つであってもよく、或いは、複数であってもよい。複数の物体検出方法が選択されて使用される場合には、例えば、これら複数の物体検出方法による物体検出結果を別個に取得する態様が用いられてもよく、或いは、これら複数の物体検出方法による物体検出結果を総合したものを最終的な物体検出結果として取得する態様が用いられてもよい。
また、環境に関する情報に基づいて使用する物体検出方法を切り替える制御の態様としては、種々な態様が用いられてもよい。
Various modes may be used as the types and numbers of the plurality of object detection methods. In each object detection method, for example, an image part of an object included in the image is detected by performing processing using the image.
Further, the number of object detection methods selected from the plurality of object detection methods may be one or may be plural. When a plurality of object detection methods are selected and used, for example, an aspect in which the object detection results obtained by the plurality of object detection methods are separately obtained may be used, or the plurality of object detection methods may be used. A mode may be used in which a total of object detection results is acquired as a final object detection result.
Various modes may be used as the mode of control for switching the object detection method to be used based on the environment-related information.
本発明に係る画像処理装置では、一構成例として、次のような構成とした。
すなわち、記憶手段が、物体検出条件情報を記憶する。この物体検出条件情報は、前記複数の物体検出方法のそれぞれについて、複数の環境のそれぞれに関する条件を規定する。
前記制御手段は、前記環境情報取得手段により取得された環境に関する情報及び前記記憶手段に記憶された物体検出条件情報に基づいて、前記複数の環境に関する条件について適合する数が多い物体検出方法を優先させて、前記物体検出手段により使用する物体検出方法を選択する。
The image processing apparatus according to the present invention has the following configuration as one configuration example.
That is, the storage means stores object detection condition information. The object detection condition information defines conditions regarding each of the plurality of environments for each of the plurality of object detection methods.
The control means prioritizes an object detection method having a large number of conditions that match the conditions related to the plurality of environments based on the information related to the environment acquired by the environment information acquisition means and the object detection condition information stored in the storage means. Then, the object detection method used by the object detection means is selected.
従って、複数の物体検出方法のそれぞれについて複数の環境に関する条件を規定しておいて、これら複数の物体検出方法の中で適合する環境条件の数が多い方から使用する物体検出方法として選択することにより、例えば、複数の環境に基づいて、所定の領域の現在における環境の状態に適した物体検出方法を選択して使用することができる。 Therefore, the conditions regarding a plurality of environments are defined for each of a plurality of object detection methods, and the object detection method to be used is selected from those having a larger number of environmental conditions that are suitable among the plurality of object detection methods. Thus, for example, based on a plurality of environments, it is possible to select and use an object detection method suitable for the current state of the environment in a predetermined region.
ここで、環境に関する条件としては、種々なものが用いられてもよく、例えば、その環境について取得される値に対する閾値を用いることができ、取得された値が閾値以上である場合（又は、閾値を超えた場合）、或いは、取得された値が閾値以下である場合（又は、閾値未満である場合）に、条件に適合する（条件が満たされた）と判定するように設定することができる。 Here, various conditions regarding the environment may be used. For example, a threshold value for a value acquired for the environment can be used, and the acquired value is equal to or greater than the threshold value (or the threshold value). If the acquired value is less than or equal to the threshold (or less than the threshold), it can be set to determine that the condition is met (the condition is satisfied) .
本発明に係る画像処理装置では、一構成例として、次のような構成とした。
すなわち、記憶手段が、物体検出条件情報を記憶する。この物体検出条件情報は、前記複数の物体検出方法のそれぞれについて、複数の環境のそれぞれに関する条件を規定する。また、記憶手段が、前記複数の環境のそれぞれに関する条件毎の重み付け度を記憶する。
前記制御手段は、前記環境情報取得手段により取得された環境に関する情報及び前記記憶手段に記憶された物体検出条件情報と重み付け度に基づいて、前記複数の環境に関する条件について適合するものの重み付け度の総和が大きい物体検出方法を優先させて、前記物体検出手段により使用する物体検出方法を選択する。
The image processing apparatus according to the present invention has the following configuration as one configuration example.
That is, the storage means stores object detection condition information. The object detection condition information defines conditions regarding each of the plurality of environments for each of the plurality of object detection methods. The storage unit stores a weighting degree for each condition related to each of the plurality of environments.
The control means, based on the information on the environment acquired by the environment information acquisition means and the object detection condition information stored in the storage means and the weighting degree, the sum of the weighting degrees that meet the conditions on the plurality of environments. The object detection method to be used is selected by giving priority to the object detection method having a large.
従って、複数の物体検出方法のそれぞれについて複数の環境に関する条件及びそれぞれの環境条件の重み付け度を規定しておいて、これら複数の物体検出方法の中で適合する環境条件の重み付け度の総和が大きい方から使用する物体検出方法として選択することにより、例えば、複数の環境に基づいて、それぞれの環境の重み付け度を加味して、所定の領域の現在における環境の状態に適した物体検出方法を選択して使用することができる。 Therefore, for each of the plurality of object detection methods, the conditions relating to the plurality of environments and the weighting degrees of the respective environmental conditions are defined, and the sum of the weighting degrees of the environmental conditions that are suitable among the plurality of object detection methods is large. By selecting the object detection method to be used from the other side, for example, based on a plurality of environments, the object detection method suitable for the current state of the environment in a predetermined region is selected by taking into account the weighting degree of each environment. Can be used.
ここで、物体検出条件情報と重み付け度を記憶する態様としては、例えば、これらを同一のメモリに記憶する態様が用いられてもよく、或いは、これらを別個なメモリに記憶する態様が用いられてもよい。
また、それぞれの環境条件毎の重み付け度を設定する態様としては、種々な態様が用いられてもよく、例えば、物体検出方法により物体検出を行うに際してその性能が大きく影響される環境条件ほど大きい重み付け度とするような態様を用いることができる。重み付け度としては、例えば、ポイント（点数）を用いることができる。
Here, as an aspect for storing the object detection condition information and the weighting degree, for example, an aspect in which these are stored in the same memory may be used, or an aspect in which these are stored in separate memories is used. Also good.
Various modes may be used as a mode for setting the degree of weighting for each environmental condition. For example, a larger weight is given to an environmental condition whose performance is greatly affected when object detection is performed by the object detection method. Such an embodiment can be used. As the weighting degree, for example, points (points) can be used.
なお、本発明は、方法や、プログラムや、記録媒体などとして提供することも可能である。
本発明に係る方法では、装置やシステムにおいて各手段が各種の処理を実行する。
本発明に係るプログラムでは、装置やシステムを構成するコンピュータに実行させるものであって、各種の機能を当該コンピュータにより実現する。
本発明に係る記録媒体では、装置やシステムを構成するコンピュータに実行させるプログラムを当該コンピュータの入力手段により読み取り可能に記録したものであって、当該プログラムは各種の処理を当該コンピュータに実行させる。
The present invention can also be provided as a method, a program, a recording medium, and the like.
In the method according to the present invention, each unit executes various processes in the apparatus or system.
The program according to the present invention is executed by a computer constituting the apparatus or system, and various functions are realized by the computer.
In the recording medium according to the present invention, a program to be executed by a computer constituting the apparatus or system is recorded so as to be readable by the input means of the computer, and the program causes the computer to execute various processes.
一例として、本発明に係るプログラムは、画像処理装置を構成するコンピュータに実行させるプログラムであって、所定の領域の画像を取得する機能と、前記所定の領域の環境に関する情報を取得する機能と、複数の異なる物体検出方法のうちの１つ以上の物体検出方法を使用して前記取得された画像に基づいて物体を検出する機能と、前記取得された環境に関する情報に基づいて前記使用する物体検出方法を切り替える機能と、を当該コンピュータに構成する。 As an example, a program according to the present invention is a program to be executed by a computer constituting an image processing apparatus, a function of acquiring an image of a predetermined area, a function of acquiring information regarding an environment of the predetermined area, A function of detecting an object based on the acquired image using one or more object detection methods of a plurality of different object detection methods, and the object detection to be used based on information about the acquired environment A function for switching the method is configured in the computer.
以上説明したように、本発明によると、所定の領域の画像に基づいて物体を検出するに際して、当該所定の領域の環境に関する情報に基づいて当該物体検出に使用する物体検出方法が切り替えられるため、例えば、当該所定の領域の環境が変化するような場合においても、環境に適した物体検出方法を使用して物体検出の性能を向上させることができる。 As described above, according to the present invention, when detecting an object based on an image of a predetermined area, the object detection method used for the object detection is switched based on information about the environment of the predetermined area. For example, even when the environment of the predetermined region changes, the object detection performance can be improved by using an object detection method suitable for the environment.
本発明に係る実施例を図面を参照して説明する。
図１には、本発明の一実施例に係る監視システムの構成例を示してある。
本例の監視システムは、監視装置１と、撮像装置２と、センサ３と、表示装置４を備えている。
監視装置１は、環境変化判定部１１と、物体検出テーブル１２と、物体検出方法選択部１３と、複数（本例では、４個）のスイッチＡ１〜Ａ４と、複数（本例では、４個）の物体検出部Ｂ１〜Ｂ４を備えている。また、本例では、センサ３は、監視装置１の機能の一部として設けられている。
なお、本例では、監視対象（検出対象）となる物体としては、例えば、人或いは物など、任意のものが用いられてもよい。
Embodiments according to the present invention will be described with reference to the drawings.
FIG. 1 shows a configuration example of a monitoring system according to an embodiment of the present invention.
The monitoring system of this example includes a monitoring device 1, an imaging device 2, a
The monitoring device 1 includes an environment
In this example, any object such as a person or an object may be used as an object to be monitored (detection target).
撮像装置２は、例えばカメラから構成されており、監視対象となる領域（監視対象領域）の画像を撮像し、撮像した画像を監視装置１へ送信する。
なお、本例の監視システムにおいて、画像はアナログ信号或いはデジタル信号（デジタルの画像データ）として処理され、例えば、画像のデータに対して圧縮処理及び伸張処理が行われてもよい。
表示装置４は、例えばディスプレイ画面などから構成されており、監視装置１から受信した画像などを画面に表示する。
The imaging device 2 is composed of, for example, a camera, captures an image of a region to be monitored (monitoring target region), and transmits the captured image to the monitoring device 1.
In the monitoring system of this example, an image is processed as an analog signal or a digital signal (digital image data), and for example, compression processing and expansion processing may be performed on image data.
The
センサ３は、撮像装置２による監視対象領域などに設置されており、当該監視対象領域の環境の状態を検出し、その検出結果を監視装置１へ送信する。環境の状態の検出としては、例えば、環境の状態そのものが検出されてもよく、或いは、過去の環境の状態からの変化が検出されてもよい。
ここで、センサ３としては、種々なものが用いられてもよく、例えば、磁気センサや、赤外線センサや、圧力センサや、熱センサや、振動センサや、雨量センサや、降雪センサや、照度センサや、風速計や、ドアセンサや、フェンスセンサや、音感センサなどを用いることができる。なお、ドアセンサは例えば扉の開閉の状態を検出し、フェンスセンサは例えばフェンスに設けられた複数の振動計により人などの存在を検出する。
本例では、センサ３として、複数種類のセンサが備えられており、それぞれ異なる環境の状態を検出する。
The
Here,
In this example, a plurality of types of sensors are provided as the
監視装置１に備えられた各処理部について説明する。
それぞれのスイッチＡ１〜Ａ４は、それぞれの物体検出部Ｂ１〜Ｂ４について、物体検出方法選択部１３と接続された状態と非接続な状態（つまり、接続されない状態）とを切り替える機能を有している。本例では、いずれか１つの物体検出部Ｂ１〜Ｂ４が物体検出方法選択部１３と接続される。
それぞれの物体検出部Ｂ１〜Ｂ４は、それぞれ異なる物体検出方法により画像に対して物体検出処理を行う機能を有しており、物体検出方法選択部１３から入力された画像に対して物体検出処理を行い、その画像や物体検出処理の結果などを表示装置４へ送信する。
Each processing unit provided in the monitoring device 1 will be described.
Each of the switches A1 to A4 has a function of switching between a state connected to the object detection
Each of the object detection units B1 to B4 has a function of performing object detection processing on an image using a different object detection method, and performs object detection processing on the image input from the object detection
ここで、各物体検出部Ｂ１〜Ｂ４で使用することが可能な物体検出方法の例として、背景差分法と、フレーム間差分法と、オプティカルフロー法と、テンプレートマッチング法について説明する。
背景差分法（ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ｍｅｔｈｏｄ）による物体検出方法では、入力画像と検出すべき物体が映っていない基準となる背景画像との輝度（或いは、画素値）の差分を算出し、当該算出値が所定の閾値（しきい値）と比べて大きい変化領域に検出すべき物体（オブジェクト）が存在する或いはその可能性があるとして監視を行う。背景差分法は、静止している物体を安定に検出することができるという特徴を有するが、監視対象領域の照度などが変わる場合や動く背景物体が存在する場合のように背景が安定していない場合には、背景画像と実際の背景との差が大きくなり誤検出が発生するという問題がある。
Here, a background difference method, an inter-frame difference method, an optical flow method, and a template matching method will be described as examples of object detection methods that can be used in each of the object detection units B1 to B4.
In the object detection method based on the background subtraction method, a difference in luminance (or pixel value) between an input image and a reference background image in which an object to be detected is not reflected is calculated, and the calculated value is predetermined. Monitoring is performed on the assumption that an object (object) to be detected exists in a change area larger than the threshold value (threshold value). The background subtraction method has the feature that a stationary object can be detected stably, but the background is not stable, such as when the illuminance of the monitored area changes or when there is a moving background object. In such a case, there is a problem that a difference between the background image and the actual background becomes large and erroneous detection occurs.
フレーム間差分法（ｆｒａｍｅ ｓｕｂｔｒａｃｔｉｏｎ ｍｅｔｈｏｄ）による物体検出方法では、撮像した時間が異なる複数の入力画像の輝度（或いは、画素値）の差分を算出し、当該算出値が所定の閾値（しきい値）と比べて大きい変化領域に検出すべき物体が存在する或いはその可能性があるとして監視を行う。フレーム間差分法は、動く背景が存在する場面でも移動している検出すべき物体を安定に検出することができるが、検出すべき物体が静止している場合にはフレーム間の差分が小さくなるため検出すべき物体を検出することができないという問題がある。 In the object detection method by the frame subtraction method (frame subtraction method), a difference in luminance (or pixel value) of a plurality of input images with different imaging times is calculated, and the calculated value is a predetermined threshold value (threshold value). Monitoring is performed on the assumption that an object to be detected exists or may be present in a large change area. The inter-frame difference method can stably detect a moving object to be detected even in a scene where a moving background exists, but the difference between frames becomes small when the object to be detected is stationary. Therefore, there is a problem that an object to be detected cannot be detected.
オプティカルフロー（ｏｐｔｉｃａｌ ｆｌｏｗ）による物体検出方法では、撮像した時間が異なる複数の入力画像間で入力画像の移動ベクトルの分布を算出し、移動ベクトル分布内で類似度が高い移動ベクトルがかたまって算出された領域に検出すべき物体が存在する或いはその可能性があるとして監視を行う。オプティカルフローを用いることにより、監視対象領域の照度変化があった場合や撮像装置２が動いた場合でも検出すべき物体を検出することが可能であるが、検出すべき物体が静止している場合には移動ベクトルを算出することができず検出すべき物体を検出することができなくなることがあり、また、入力画像の背景が複雑に動いている場合には類似度が高い移動ベクトルのかたまりを検出することが困難になるという問題がある。 In the object detection method by optical flow (optical flow), the distribution of the movement vector of the input image is calculated among a plurality of input images with different imaging times, and the movement vectors having high similarity in the movement vector distribution are collectively calculated. Monitoring is performed on the assumption that an object to be detected exists or is likely to be present in the area. By using the optical flow, it is possible to detect an object to be detected even when there is a change in illuminance in the monitoring target region or when the imaging device 2 moves, but the object to be detected is stationary May not be able to calculate the movement vector and detect the object to be detected, and if the background of the input image is moving in a complex manner, a group of movement vectors with high similarity may be displayed. There is a problem that it is difficult to detect.
テンプレートマッチング（ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ）による物体検出方法では、入力画像と予め用意した標準パターン（テンプレート）とを比較しながら走査し、画素の相関が最も高い入力画像の部分領域に検出すべき物体が存在する或いはその可能性があるとして監視を行う。テンプレートマッチングは、背景が複雑に動いている場面でも移動物体を追跡することができるが、検出すべき物体の向きなどが変化する場合には、標準パターンと実際の検出すべき物体とのずれが大きくなり相関が高い部分領域を見つけられなくなるという問題がある。なお、テンプレートとしては、例えば、検出対象の物体のテンプレートを用いるばかりでなく、背景をテンプレートとして用いて背景以外の任意の物体を検出してもよい。 In the object detection method based on template matching, an input image is scanned while comparing with a standard pattern (template) prepared in advance, and an object to be detected exists in a partial region of the input image having the highest pixel correlation. Alternatively, monitoring is performed as it is possible. Template matching can track a moving object even when the background is moving in a complex manner, but if the orientation of the object to be detected changes, the deviation between the standard pattern and the actual object to be detected There is a problem that it becomes impossible to find a partial region that is large and highly correlated. As the template, for example, not only a template of an object to be detected but also a background may be used as a template to detect any object other than the background.
環境変化判定部１１は、センサ３から監視対象領域の環境の状態の検出結果を受信し、当該検出結果に基づいて環境の状態の変化の有無を判定し、当該判定結果の情報や監視対象領域の環境の状態の情報を物体検出方法選択部１３へ出力する。
物体検出テーブル１２は、例えば監視装置１に備えられたメモリに記憶されており、この物体検出テーブル１２には、複数の物体検出方法のうちから環境に適した物体検出方法を決定するための参照情報が設定されている。
The environment
The object detection table 12 is stored in, for example, a memory provided in the monitoring device 1, and the object detection table 12 is a reference for determining an object detection method suitable for the environment from among a plurality of object detection methods. Information is set.
図２には、物体検出テーブル１２の一例を示してある。
本例の物体検出テーブル１２では、４個の物体検出部Ｂ１〜Ｂ４のそれぞれにより使用される物体検出方法（物体検出方法１〜４）のそれぞれについて、監視対象領域の環境の状態を表すセンサによる検出結果の情報に対して、検出すべき物体を精度よく検出することが可能な物体検出条件が記述されている。
本例では、物体検出条件として、「コントラスト」、「オブジェクトの大きさ」、「オブジェクトの速さ」、「雨量」、「降雪量」の５つに関する条件を用いている。
FIG. 2 shows an example of the object detection table 12.
In the object detection table 12 of this example, for each of the object detection methods (object detection methods 1 to 4) used by each of the four object detection units B1 to B4, a sensor that indicates the state of the environment of the monitoring target region is used. An object detection condition that can accurately detect an object to be detected is described with respect to the detection result information.
In this example, five conditions of “contrast”, “object size”, “object speed”, “rainfall”, and “snowfall” are used as object detection conditions.
「コントラスト」は、物体（オブジェクト）の外接矩形と背景構造物体との輝度値の差の平均値を％（パーセント）で表しており、例えば、夜間の場合など「コントラスト」が低下するとオブジェクトを検出し難くなる。従って、物体検出テーブル１２には、各物体検出方法において、オブジェクト検出が可能な最小の「コントラスト」が設定されている。
「オブジェクトの大きさ」は、物体（オブジェクト）の見かけの大きさを表しており、例えば、オブジェクトが撮像装置２から遠ざかるなど「オブジェクトの大きさ」が小さくなるとオブジェクトを検出し難くなる。従って、物体検出テーブル１２には、各物体検出方法において、オブジェクト検出が可能な最小のオブジェクトの、外接矩形の幅または高さの何れか小さい方の値が設定されている。
“Contrast” indicates the average value of the difference in luminance value between the circumscribed rectangle of the object (object) and the background structure object in% (percent). For example, when the “contrast” decreases at night, the object is detected. It becomes difficult to do. Therefore, in the object detection table 12, the minimum “contrast” that allows object detection in each object detection method is set.
The “object size” represents the apparent size of the object (object). For example, when the “object size” becomes small, such as when the object moves away from the imaging device 2, it becomes difficult to detect the object. Accordingly, the object detection table 12 is set with the smaller one of the width and height of the circumscribed rectangle of the smallest object that can be detected in each object detection method.
「オブジェクトの速さ」は、物体（オブジェクト）の外接矩形の移動ピクセル数を表しており、例えば、オブジェクトがゆっくり歩くなど「オブジェクトの速さ」が遅くなるとオブジェクトを検出し難くなる。従って、物体検出テーブル１２には、各物体検出方法において、オブジェクト検出が可能な最小の「オブジェクトの速さ」が設定されている。
「雨量」は、監視対象領域の１時間雨量を表しており、「雨量」が多くなるほどコントラストが低下したり、雨粒を誤検出するなどでオブジェクトを検出し難くなる。従って、物体検出テーブル１２には、各物体検出方法において、オブジェクト検出が可能な最大の「雨量」が設定されている。
The “object speed” represents the number of moving pixels of the circumscribed rectangle of the object (object). For example, when the “object speed” becomes slow, such as when the object slowly walks, it becomes difficult to detect the object. Therefore, in the object detection table 12, the minimum “object speed” capable of object detection in each object detection method is set.
“Rainfall” represents the one-hour rainfall in the monitoring target area. As the “rainfall” increases, the contrast decreases, and it becomes difficult to detect an object by erroneously detecting raindrops. Therefore, in the object detection table 12, the maximum “rainfall” that allows object detection in each object detection method is set.
「降雪量」は、監視対象領域の１時間あたりの降雪量を表しており、「降雪量」が多くなるほどコントラストが低下したり、降雪や積雪で誤検出するなどでオブジェクトを検出し難くなる。従って、物体検出テーブル１２には、各物体検出方法において、オブジェクト検出が可能な最大の「降雪量」が設定されている。
なお、使用するセンサに応じて更に項目を増やすこと或いは減らすことが可能であり、項目を増やすことでより最適な物体検出方法を選択することが可能となる。
“Snowfall” represents the amount of snowfall per hour in the monitoring target area, and as the “snowfall” increases, the contrast decreases or it becomes difficult to detect an object due to erroneous detection due to snowfall or snowfall. Therefore, in the object detection table 12, the maximum “snowfall amount” that allows object detection in each object detection method is set.
Note that the number of items can be further increased or decreased depending on the sensor to be used, and the more optimal object detection method can be selected by increasing the number of items.
具体的には、コントラストやオブジェクトの大きさ、オブジェクトの速さについては規定された値以上であれば条件を満たすこととなり、雨量や降雪量については規定された値以下であれば条件を満たすこととなる。一例として、物体検出方法２では、コントラストは１１［％（パーセント）］以上で条件が満たされ、オブジェクトの大きさは１０［ｐｉｘ（ピクセル）］以上で条件が満たされ、オブジェクトの速さは１０［ｐｉｘ／ｆｒ（ピクセル／フレーム）］以上で条件が満たされ、雨量は１０［ｍｍ／ｈ（ミリメートル／時）］以下で条件が満たされ、降雪量は３［ｃｍ／ｈ（センチメートル／時）］以下で条件が満たされる。
また、オブジェクト検出が可能な最大の「コントラスト」、オブジェクト検出が可能な最大の「オブジェクトの大きさ」、オブジェクト検出が可能な最大の「オブジェクトの速さ」、オブジェクト検出が可能な最小の「雨量」、オブジェクト検出が可能な最小の「降雪量」も設定しておき、各物体検出条件の最大値および最小値を用いて監視対象領域の環境の状態と照合することによって、より適切な物体検出方法を選択するようにしても良い。
Specifically, the contrast, the size of the object, and the speed of the object satisfy the condition if they are equal to or greater than the prescribed values, and the rain and snowfall conditions satisfy the condition if they are less than the prescribed values. It becomes. As an example, in the object detection method 2, the condition is satisfied when the contrast is 11 [% (percent)] or more, the condition is satisfied when the size of the object is 10 [pix (pixel)] or more, and the speed of the object is 10 [Pix / fr (pixel / frame)] or more is satisfied, the rainfall is 10 [mm / h (millimeter / hour)] or less, and the snowfall is 3 [cm / h (centimeter / hour). )] The following conditions are met.
In addition, the maximum “contrast” that allows object detection, the maximum “object size” that enables object detection, the maximum “object speed” that allows object detection, and the minimum “rainfall” that allows object detection ”,“ Minimum snowfall ”that can detect objects, and set the maximum and minimum values of each object detection condition and collate with the environmental condition of the monitored area to detect more appropriate objects. A method may be selected.
ここで、本例では、実際の監視対象領域の様子に基づいてセンサ３によりコントラストやオブジェクトの大きさやオブジェクトの速さに関する値を検出する場合には、撮像装置２により撮像される画像におけるコントラスト［％］やオブジェクトの大きさ［ｐｉｘ］やオブジェクトの速さ［ｐｉｘ／ｆｒ］に対応した値となるように検出値を換算することがセンサ３或いは環境変化判定部１１或いは物体検出方法選択部１３により行われる。このような換算を行うための数式などの情報が、例えば撮像装置２の設置場所などに基づいて、監視装置１に予め設定されている。
Here, in this example, when the
また、本例では、監視対象領域の環境の状態をセンサ３により検出する構成を示すが、他の構成例として、撮像装置２により撮像される監視対象領域の画像を処理した結果に基づいて監視対象領域の環境の状態を検出する構成を用いることも可能である。例えば、１つ以上の物体検出部Ｂ１〜Ｂ４による物体検出処理結果などに基づいて（フィードバックにより）監視対象領域の環境の状態を検出することが可能であり、或いは、物体検出方法選択部１３が監視対象領域の画像を処理して監視対象領域の環境の状態を検出するような構成を用いることも可能である。また、センサにより環境の状態を検出する構成と、画像に基づいて環境の状態を検出する構成の両方を用いることも可能である。
In this example, the configuration in which the environmental state of the monitoring target area is detected by the
物体検出方法選択部１３は、撮像装置２から監視対象領域の画像を入力し、環境変化判定部１１から監視対象領域の環境の状態の変化の有無の判定結果の情報や監視対象領域の環境の状態の情報を入力し、物体検出テーブル１２の情報を入力する。そして、物体検出方法選択部１３は、監視対象領域の環境の状態の変化があった場合には、監視対象領域の環境の状態の情報及び物体検出テーブル１２の情報に基づいて最も適切な１つの物体検出方法を決定（選択）し、決定した物体検出方法の処理を行う物体検出部（物体検出部Ｂ１〜Ｂ４のいずれか）と当該物体検出方法選択部１３とが接続される状態とするようにスイッチＡ１〜Ａ４のオンオフを制御する。また、物体検出方法選択部１３は、スイッチＡ１〜Ａ４を介して接続された物体検出部Ｂ１〜Ｂ４へ監視対象領域の画像などを出力する。
The object detection
なお、本例では、監視対象領域の環境の状態の変化があった場合に適切な物体検出方法の決定やスイッチＡ１〜Ａ４の制御を行う構成を示したが、例えば、初期的に物体検出部Ｂ１〜Ｂ４を選択する必要がある場合には、監視対象領域の環境の状態の変化がなくとも、物体検出方法の決定やスイッチＡ１〜Ａ４の制御を行い、また、例えば、監視対象領域の環境の状態の変化がなくとも、定期的なタイミングなどで、適切な物体検出方法の決定やスイッチＡ１〜Ａ４の制御を行うような構成が用いられてもよい。 In this example, the configuration in which the appropriate object detection method is determined and the switches A1 to A4 are controlled when there is a change in the environmental state of the monitoring target region is shown. When it is necessary to select B1 to B4, the object detection method is determined and the switches A1 to A4 are controlled even if there is no change in the environmental state of the monitoring target area. Even if there is no change in the state, a configuration may be used in which an appropriate object detection method is determined and the switches A1 to A4 are controlled at regular timing.
ここで、物体検出方法選択部１３により監視対象領域の環境の状態の情報及び物体検出テーブル１２の情報に基づいて物体検出方法を決定する処理の一例を示す。
本例では、現在におけるセンサ３による検出結果の情報（監視対象領域の環境の状態の情報）に基づく環境状態と物体検出テーブル１２の情報に基づく物体検出条件とを照合して、現在の環境状態により満たされる物体検出条件の数を各物体検出方法について検出し、その数が最も多い物体検出方法を使用するように選択する。
Here, an example of processing for determining the object detection method by the object detection
In this example, the current environmental state is checked by comparing the environmental state based on the current detection result information (information on the environmental state of the monitoring target area) with the object detection condition based on the information in the object detection table 12. Is detected for each object detection method, and the object detection method with the largest number is selected to be used.
なお、２つ以上の物体検出方法について、満たされる物体検出条件の数が同一である場合には、例えば、そのうちの任意の物体検出方法が選択されてもよく、或いは、優先順位を付けるための情報が予め設定されていて、その情報に基づいて優先順位が高い方の物体検出方法が選択されるような構成が用いられてもよい。優先順位としては、一例として、複数の物体検出方法に順番付けをしておいて、順番が小さい物体検出方法を優先的に選択するようなことができる。 When two or more object detection methods have the same number of satisfied object detection conditions, for example, any object detection method may be selected, or a priority order may be given. A configuration in which information is preset and an object detection method with a higher priority is selected based on the information may be used. As an example of the priority order, a plurality of object detection methods may be ordered, and an object detection method with a smaller order may be preferentially selected.
図３には、物体検出テーブル１２と環境状態とを照合した結果の一例を示してある。
本例の環境状態では、コントラストが１０［％］であり、オブジェクトの大きさが２０［ｐｉｘ］であり、オブジェクトの速さが１０［ｐｉｘ／ｆｒ］であり、雨量が１５［ｍｍ／ｈ］であり、降雪量が０［ｃｍ／ｈ］であるとした。
図３のテーブルでは、環境状態が物体検出条件を満たすところには丸印（“○”）を示してあり、満たさないところにはバツ印（“×”）を示してある。
本例では、環境状態により満たされる物体検出条件の数（丸印の数）が最も多いものとして、物体検出方法１が選択される。
FIG. 3 shows an example of the result of collating the object detection table 12 and the environmental state.
In the environmental state of this example, the contrast is 10 [%], the object size is 20 [pix], the object speed is 10 [pix / fr], and the rainfall is 15 [mm / h]. It was assumed that the amount of snowfall was 0 [cm / h].
In the table of FIG. 3, a circle (“◯”) is shown where the environmental condition satisfies the object detection condition, and a cross (“X”) is shown where it does not satisfy the object detection condition.
In this example, the object detection method 1 is selected as the one with the largest number of object detection conditions (the number of circles) satisfied by the environmental state.
また、物体検出方法選択部１３により監視対象領域の環境の状態の情報及び物体検出テーブル１２の情報に基づいて物体検出方法を決定する処理の他の一例を示す。
本例では、各物体検出条件についてポイント（点数）が設定されており、現在におけるセンサ３による検出結果の情報（監視対象領域の環境の状態の情報）に基づく環境状態と物体検出テーブル１２の情報に基づく物体検出条件とを照合して、現在の環境状態により満たされる物体検出条件のポイントの総和値を各物体検出方法について検出し、その値が最も大きい物体検出方法を使用するように選択する。
In addition, another example of processing for determining the object detection method by the object detection
In this example, points (points) are set for each object detection condition, and the environmental state and the information of the object detection table 12 based on the information of the detection result by the current sensor 3 (information on the environmental state of the monitoring target area). Are detected for each object detection method and selected to use the object detection method with the largest value. .
なお、２つ以上の物体検出方法について、満たされる物体検出条件のポイントの総和値が同一である場合には、例えば、そのうちの任意の物体検出方法が選択されてもよく、或いは、優先順位を付けるための情報が予め設定されていて、その情報に基づいて優先順位が高い方の物体検出方法が選択されるような構成が用いられてもよい。優先順位としては、一例として、複数の物体検出方法に順番付けをしておいて、順番が小さい物体検出方法を優先的に選択するようなことができる。 When the sum of the points of the object detection conditions that are satisfied is the same for two or more object detection methods, for example, any object detection method may be selected, or priority may be set. A configuration may be used in which information for attaching is set in advance, and an object detection method with a higher priority is selected based on the information. As an example of the priority order, a plurality of object detection methods may be ordered, and an object detection method with a smaller order may be preferentially selected.
図４には、各物体検出条件毎の重み付けを用いた場合において、物体検出テーブル１２と環境状態とを照合した結果の一例を示してある。
本例では、各物体検出条件毎の重要度に基づく重み付けとして、雨量以外の物体検出条件については満たされた場合に１０ポイントを付与し、雨量の物体検出条件については満たされた場合に６０ポイントを付与し、いずれの物体検出条件についても満たされなかった場合には０ポイントを付与する（つまり、ポイントを付与しない）という情報が監視装置１のメモリに予め設定されている。
FIG. 4 shows an example of a result of collating the object detection table 12 and the environmental state when weighting for each object detection condition is used.
In this example, as the weighting based on the importance for each object detection condition, 10 points are given when the object detection condition other than the rain is satisfied, and 60 points when the object detection condition for the rain is satisfied. When no object detection condition is satisfied, information indicating that 0 points are given (that is, points are not given) is preset in the memory of the monitoring device 1.
図４のテーブルでは、図３に示された場合と同一の環境状態が取得された場合を例として、各物体検出方法について各物体検出条件のところに付与されるポイントを示してあり、また、各物体検出方法について付与されるポイントの合計値（総和値）を示してある。
本例では、各物体検出方法について複数の物体検出条件のポイントを加算し、当該加算結果の値（総和値）が最も大きい物体検出方法を選択する。図４の例では、現在の環境に最適な物体検出方法として、ポイントの合計値が９０ポイントとなる物体検出方法１が選択される。
The table of FIG. 4 shows points given to each object detection condition for each object detection method, taking as an example the case where the same environmental state as that shown in FIG. 3 is acquired, The total value (total value) of points given for each object detection method is shown.
In this example, a plurality of object detection condition points are added for each object detection method, and the object detection method having the largest value (total value) of the addition results is selected. In the example of FIG. 4, the object detection method 1 in which the total value of points is 90 points is selected as the optimal object detection method for the current environment.
ここで、物体検出条件の重要度に基づく重み付けとしては、例えば、監視対象領域毎などについて、任意に設定することが可能である。一例として、複数の物体検出条件に対して、優先順位の高い方から「雨量＞降雪量＞コントラスト＞オブジェクトの速さ＞オブジェクトの大きさ」というように優先順位を付けておいて、雨量とコントラストが同時に判断された場合には、雨量の条件が満たされた場合には４０ポイントを付与し、コントラストの条件が満たされた場合には３０ポイントを付与し、これら以外の項目の条件が満たされた場合には１０ポイントを付与する、というようなことが可能である。 Here, the weighting based on the importance of the object detection condition can be arbitrarily set for each monitoring target region, for example. As an example, with respect to a plurality of object detection conditions, priority is given in the order of “rainfall> snowfall> contrast> object speed> object size” from the highest priority, and the rainfall and contrast. Is determined at the same time, 40 points are awarded when the rain conditions are met, and 30 points are awarded when the contrast conditions are met, and the conditions of the other items are met. In such a case, it is possible to give 10 points.
図５を参照して、本例の監視装置１により監視対象領域の環境状態に応じた物体検出方法を選択して物体検出を行う処理の手順の一例を示す。
監視装置１では、まず、環境変化判定部１１により、外部のセンサ３により検出された環境の状態の情報（センサ情報）を受信して取得する（ステップＳ１）。
次に、環境変化判定部１１により、例えば、現在の画像フレームのタイミングで取得されたセンサ情報と、１つ前の画像フレームのタイミングで取得されたセンサ情報とを比較して、監視対象領域の環境の状態に所定の変化が発生したか否かを判定する（ステップＳ２）。
With reference to FIG. 5, an example of a procedure for performing object detection by selecting an object detection method according to the environmental state of the monitoring target area by the monitoring apparatus 1 of the present example will be described.
In the monitoring device 1, first, the environment
Next, the environment
なお、本例では、監視装置１において、過去に取得されたセンサ情報が、環境変化判定部１１などに設けられた記録手段（例えば、メモリ）に記録される。一例として、変化があった場合に記録されたセンサ情報を更新する構成とすると、新たに検出されたセンサ情報と記録されたセンサ情報とが異なるか否かを判定して、異なる場合には監視対象領域の環境の状態が変化したものとして検出することができる。
In this example, in the monitoring device 1, sensor information acquired in the past is recorded in a recording unit (for example, a memory) provided in the environment
ここで、上記した所定の変化としては、例えば、任意の変化が検出されてもよく、或いは、予め設定された閾値以上の変化が検出されてもよく、或いは、検出すべき変化の態様が予め設定されていてそのような変化が検出されてもよい。
一例として、外部のセンサ３として雨量センサを用いる場合には、前フレームとの検出値の差が３［ｍｍ／ｈ］以上になった時に変化があったと判定するようなことができる。
Here, as the above-described predetermined change, for example, an arbitrary change may be detected, a change that is equal to or greater than a preset threshold value may be detected, or the mode of the change to be detected is determined in advance. Such a change may be detected by setting.
As an example, when a rainfall sensor is used as the
また、例えば、監視対象領域の視程の変化を検出する場合には、外部のセンサ３の代わりに、撮像装置２から入力される画像の信号を用いて監視対象領域の環境の状態の変化を検出することも可能である。この場合、一例として、監視対象領域内に白と黒のパターンを持つ標準物を設置しておいて、白と黒のパターンの輝度値の差を２５５（本例では、１画素を８ビットと仮定する）で割った結果値を用いて監視対象領域の環境の状態の変化を検出することができる。視程が短くなるにつれて白と黒のパターンの輝度値の差が小さくなるため、これに基づいて、白と黒のパターンの輝度値の差を計測することで監視対象領域の視程を計測することができ、これにより、検出すべき物体と背景構造物との輝度値の差を表す「コントラスト」に対応して評価することができる。
具体例として、標準的な検出すべき物体について背景構造物とのコントラストが２０［％］である場合には、視程の低下によって白と黒のパターンの輝度値の差が８０［％］に減少したとすると、検出すべき物体のコントラストは１６［％］であるとみなすことができる。
Further, for example, when detecting a change in the visibility of the monitoring target area, a change in the environmental state of the monitoring target area is detected using an image signal input from the imaging device 2 instead of the
As a specific example, when the contrast between the standard object to be detected and the background structure is 20 [%], the difference in luminance value between the white and black patterns is reduced to 80 [%] due to the decrease in visibility. If so, the contrast of the object to be detected can be regarded as 16 [%].
環境変化判定部１１により監視対象領域の環境の状態に所定の変化が発生したことが判定された場合には（ステップＳ２）、物体検出方法選択部１３により、監視対象領域の環境の状態や物体検出テーブル１２の内容に基づいて現在の環境状態に最も適した物体検出方法を選択し（ステップＳ３）、選択した物体検出方法が使用されるように、スイッチＡ１〜Ａ４の切り替えが必要であれば、スイッチＡ１〜Ａ４を切り替える（ステップＳ４）。これにより、環境状態に適した物体検出方法が変更された場合には、それに合わせて画像処理に使用される物体検出部Ｂ１〜Ｂ４が変更される。
When it is determined by the environment
上記したように環境変化判定部１１により監視対象領域の環境の状態に所定の変化が発生したことが判定されたことに応じて物体検出方法の選択及び（必要であれば）変更が行われた場合においても、或いは、環境変化判定部１１により監視対象領域の環境の状態に所定の変化が発生したことが判定されなかった場合においても、選択された物体検出部（物体検出部Ｂ１〜Ｂ４のいずれか）により選択された物体検出方法の物体検出処理が行われ（ステップＳ５）、表示装置４により当該物体検出処理の結果の表示が行われる（ステップＳ６）。
そして、このような表示処理の後、以上と同様な処理（ステップＳ１〜ステップＳ６）が繰り返して行なわれる。
As described above, the object detection method is selected and changed (if necessary) in response to the fact that the environmental
And after such a display process, the process (step S1-step S6) similar to the above is performed repeatedly.
ここで、本例では、物体検出方法の選択及び変更の処理において、監視対象領域の現在における環境の状態に最適な１つの物体検出方法を選択及び変更する構成を示したが、他の構成例として、例えば環境の状態に適した方から順に、複数の物体検出方法を選択して使用するように変更する構成を用いることもでき、この場合、選択された２つ以上の物体検出方法（物体検出部）のそれぞれで物体検出処理を行う。
また、複数の物体検出方法で物体検出処理を行う場合には、例えば、これら各物体検出方法で取得された物体検出処理結果の論理和を最終的な物体検出処理結果として、物体の見逃しを少なくするような構成とすることもでき、或いは、これら各物体検出方法で取得された物体検出処理結果の論理積を最終的な物体検出処理結果として、誤検出を少なくするような構成とすることもできる。ここで、論理和では、複数の物体検出方法で検出された物体の全て（重複するものは同じであるとみなす）を最終的に検出されたものとし、また、論理積では、全ての物体検出方法で（重複して）検出された物体を最終的に検出されたものとする。
Here, in this example, in the selection and change processing of the object detection method, the configuration in which one object detection method optimal for the current environment state of the monitoring target region is selected and changed is shown. For example, it is possible to use a configuration in which a plurality of object detection methods are selected and used in order from the one suitable for the state of the environment. In this case, two or more selected object detection methods (objects) are used. Each of the detection units) performs object detection processing.
In addition, when performing object detection processing using a plurality of object detection methods, for example, the logical sum of the object detection processing results obtained by each of these object detection methods is used as a final object detection processing result, so that object detection is reduced. Alternatively, the logical product of the object detection processing results obtained by each of these object detection methods can be used as the final object detection processing result to reduce erroneous detection. it can. Here, in the logical sum, all the objects detected by a plurality of object detection methods (all overlapping objects are regarded as the same) are finally detected. In the logical product, all the objects are detected. Assume that an object detected by the method (overlapping) is finally detected.
以上のように、本例の監視システムでは、監視対象領域の画像を撮像する撮像装置２と、撮像装置２により撮像された画像を処理して監視対象領域内の監視に関する情報（監視情報）を収集する監視装置１と、撮像装置２により撮像された画像或いは監視装置１により収集された監視情報のうちの少なくとも一方を表示する表示装置４を有する。
ここで、監視情報としては、種々な情報が用いられてもよく、例えば、撮像された画像に基づいて検出された物体の位置や大きさ（サイズ）や移動経路（軌跡）や数などの情報や、或いは、検出された物体を囲む線又は検出された物体を示すマークなどを表示するための情報などを用いることができる。
As described above, in the monitoring system of this example, the imaging device 2 that captures an image of the monitoring target area, and the information (monitoring information) related to monitoring in the monitoring target area by processing the image captured by the imaging device 2 The monitoring apparatus 1 to collect and the
Here, various types of information may be used as the monitoring information. For example, information such as the position and size (size), moving path (trajectory), and number of objects detected based on the captured image is used. Alternatively, information for displaying a line surrounding the detected object, a mark indicating the detected object, or the like can be used.
また、本例の監視装置１では、監視対象領域の画像に含まれる物体の画像などの監視情報を検出する２つ以上の物体検出部Ｂ１〜Ｂ４と、これらの物体検出部Ｂ１〜Ｂ４の使用状態を切り替えるスイッチＡ１〜Ａ４と、監視対象領域の環境の状態の変化の有無を判定する環境変化判定部１１と、物体検出条件を格納した物体検出テーブル１２と、環境変化判定部１１による判定結果に基づいて使用する１つ（又は、２つ以上）の物体検出方法（物体検出部）を選択して切り替える物体検出選択部１３を備えた。
Further, in the monitoring apparatus 1 of this example, two or more object detection units B1 to B4 that detect monitoring information such as an image of an object included in the image of the monitoring target region, and use of these object detection units B1 to B4 Switches A1 to A4 that switch states, an environment
また、本例の監視装置１の物体検出方法選択部１３は、種々な環境の状態に基づいて選択すべき物体検出方法を決定するための対応表となる物体検出テーブル１２を参照して、使用する１つ（又は、２つ以上）の物体検出方法を選択する。この場合、複数の環境に関する物体検出条件について、重み付けを行わない態様（つまり、重み付け度が全て同一である態様）を用いることや、或いは、重み付けを行う態様（つまり、少なくとも１つの重み付け度が異なる態様）を用いることができる。
Further, the object detection
また、本例の監視装置１の環境変化判定部１１や物体検出方法選択部１３は、外部のセンサ３から入力される情報を用いて監視対象領域の環境の状態を検出などする。なお、センサ以外の外部装置から入力される情報を用いて監視対象領域の環境の状態が検出などされてもよい。
また、本例では、予め、監視装置１に備えられる全ての物体検出部Ｂ１〜Ｂ４のそれぞれについて、環境の状態或いはその変化に対する物体検出性能の評価（例えば、測定）をしておいて、その評価結果に基づいて物体検出テーブル１２の内容を作成して監視装置１に記憶させる。
In addition, the environment
Further, in this example, for each of all the object detection units B1 to B4 provided in the monitoring device 1, evaluation (for example, measurement) of the object detection performance with respect to the environmental state or a change thereof is performed in advance. Based on the evaluation result, the contents of the object detection table 12 are created and stored in the monitoring device 1.
従って、本例の監視システムでは、監視装置１において、監視対象領域の環境の状態の変化に応じて、最適な物体検出方法を選択して使用することにより、監視対象領域の環境の状態に対して常に最適な物体検出方法を使用して監視を行うことができる。具体的には、例えば、監視対象領域の環境変化が発生するような場面においても、複数の物体検出方法から変化した環境に最適な物体検出方法を選択して使用することにより、画像に基づいて検出すべき物体のみを正確に検出することが可能であり、正確な監視を行うことが可能である。 Therefore, in the monitoring system of the present example, the monitoring apparatus 1 selects and uses the optimum object detection method according to the change in the environmental state of the monitoring target area, so that the monitoring apparatus 1 can respond to the environmental state of the monitoring target area. Therefore, monitoring can always be performed using an optimal object detection method. Specifically, for example, even in a situation where the environment of the monitoring target area changes, an object detection method that is optimal for the environment changed from a plurality of object detection methods is selected and used based on the image. Only the object to be detected can be accurately detected, and accurate monitoring can be performed.
なお、本例の監視装置１（画像処理装置の一例）では、物体検出方法選択部１３により撮像装置２から所定の領域（本例では、監視対象領域）の画像を取得する機能により画像取得手段が構成されており、環境変化判定部１１によりセンサ３から当該所定の領域の環境に関する情報を取得する機能により環境情報取得手段が構成されており、複数の物体検出部Ｂ１〜Ｂ４のうちでスイッチＡ１〜Ａ４により切り替えられた物体検出部により物体検出処理を行う機能により物体検出手段が構成されており、環境変化判定部１１や物体検出テーブル１２や物体検出方法選択部１３やスイッチＡ１〜Ａ４により物体検出処理に使用する物体検出部Ｂ１〜Ｂ４を選択して切り替える機能により制御手段が構成されている。
Note that in the monitoring apparatus 1 (an example of an image processing apparatus) of this example, the object detection
また、本例の監視装置１では、図２に示されるような物体検出テーブル１２の情報により物体検出条件情報が構成されており、一例として、図３に示されるように、満たされる条件の数に基づいて物体検出方法を選択することができ、他の一例として、図４に示されるように、重み付け度（本例では、ポイント）を規定しておいて、満たされる条件のポイントの総和に基づいて物体検出方法を選択することができる。本例の監視装置１では、物体検出テーブル１２を記憶するメモリの機能や、（必要な場合には）重み付け度を記憶するメモリの機能により、記憶手段が構成されている。 Further, in the monitoring apparatus 1 of this example, the object detection condition information is configured by the information of the object detection table 12 as shown in FIG. 2, and as an example, the number of conditions that are satisfied as shown in FIG. As another example, as shown in FIG. 4, a weighting degree (points in this example) is defined, and the sum of points satisfying the condition is selected. Based on this, an object detection method can be selected. In the monitoring apparatus 1 of this example, a storage unit is configured by a function of a memory that stores the object detection table 12 and a function of a memory that stores a weighting degree (when necessary).
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
Here, the configuration of the system and apparatus according to the present invention is not necessarily limited to the configuration described above, and various configurations may be used. The present invention can also be provided as, for example, a method or method for executing the processing according to the present invention, a program for realizing such a method or method, or a recording medium for recording the program. It is also possible to provide various systems and devices.
The application field of the present invention is not necessarily limited to the above-described fields, and the present invention can be applied to various fields.
In addition, as various processes performed in the system and apparatus according to the present invention, for example, the processor executes a control program stored in a ROM (Read Only Memory) in hardware resources including a processor and a memory. A controlled configuration may be used, and for example, each functional unit for executing the processing may be configured as an independent hardware circuit.
The present invention can also be understood as a computer-readable recording medium such as a floppy (registered trademark) disk or a CD (Compact Disc) -ROM storing the control program, and the program (itself). The processing according to the present invention can be performed by inputting the program from the recording medium to the computer and causing the processor to execute the program.
１・・監視装置、 ２・・撮像装置、 ３・・センサ、 ４・・表示装置、 １１・・環境変化判定部、 １２・・物体検出テーブル、 １３・・物体検出方法選択部、 Ａ１〜Ａ４・・スイッチ、 Ｂ１〜Ｂ４・・物体検出部、 1 .... Monitoring device, 2 .... Imaging device, 3 .... Sensor, 4 .... Display device, 11 .... Environment change determination unit, 12 .... Object detection table, 13 .... Object detection method selection unit, A1 to A4 ..Switch, B1 to B4
Claims (4)
所定の領域の画像を取得する画像取得手段と、
前記所定の領域の環境に関する情報を取得する環境情報取得手段と、
複数の異なる物体検出方法のうちの１つ以上の物体検出方法を使用して前記画像取得手段により取得された画像に基づいて物体を検出する物体検出手段と、
前記環境情報取得手段により取得された環境に関する情報に基づいて前記物体検出手段により使用する物体検出方法を切り替える制御手段と、
を備えたことを特徴とする画像処理装置。 In the image processing apparatus,
Image acquisition means for acquiring an image of a predetermined area;
Environmental information acquisition means for acquiring information relating to the environment of the predetermined area;
Object detection means for detecting an object based on an image acquired by the image acquisition means using one or more object detection methods of a plurality of different object detection methods;
Control means for switching an object detection method used by the object detection means based on information about the environment acquired by the environment information acquisition means;
An image processing apparatus comprising:
前記複数の物体検出方法のそれぞれについて複数の環境のそれぞれに関する条件を規定する物体検出条件情報を記憶する記憶手段を備え、
前記制御手段は、前記環境情報取得手段により取得された環境に関する情報及び前記記憶手段に記憶された物体検出条件情報に基づいて、前記複数の環境に関する条件について適合する数が多い物体検出方法を優先させて、前記物体検出手段により使用する物体検出方法を選択する、
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
Storage means for storing object detection condition information that defines conditions for each of a plurality of environments for each of the plurality of object detection methods;
The control means prioritizes an object detection method having a large number of conditions that match the conditions related to the plurality of environments based on the information related to the environment acquired by the environment information acquisition means and the object detection condition information stored in the storage means. And selecting an object detection method to be used by the object detection means.
An image processing apparatus.
前記複数の物体検出方法のそれぞれについて複数の環境のそれぞれに関する条件を規定する物体検出条件情報及び前記複数の環境のそれぞれに関する条件毎の重み付け度を記憶する記憶手段を備え、
前記制御手段は、前記環境情報取得手段により取得された環境に関する情報及び前記記憶手段に記憶された物体検出条件情報と重み付け度に基づいて、前記複数の環境に関する条件について適合するものの重み付け度の総和が大きい物体検出方法を優先させて、前記物体検出手段により使用する物体検出方法を選択する、
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
Storage means for storing object detection condition information defining conditions relating to each of a plurality of environments for each of the plurality of object detection methods and a weighting degree for each condition relating to each of the plurality of environments;
The control means, based on the information on the environment acquired by the environment information acquisition means and the object detection condition information stored in the storage means and the weighting degree, the sum of the weighting degrees that meet the conditions on the plurality of environments. Priority is given to an object detection method with a large, and an object detection method to be used by the object detection means is selected
An image processing apparatus.
所定の領域の画像を取得する機能と、
前記所定の領域の環境に関する情報を取得する機能と、
複数の異なる物体検出方法のうちの１つ以上の物体検出方法を使用して前記取得された画像に基づいて物体を検出する機能と、
前記取得された環境に関する情報に基づいて前記使用する物体検出方法を切り替える機能と、を当該コンピュータに構成することを特徴とするプログラム。 A program to be executed by a computer constituting the image processing apparatus,
A function to acquire an image of a predetermined area;
A function of acquiring information relating to the environment of the predetermined area;
A function of detecting an object based on the acquired image using one or more object detection methods of a plurality of different object detection methods;
A program configured to configure the computer with a function of switching the object detection method to be used based on the acquired information on the environment.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008067242A JP4694589B2 (en) | 2008-03-17 | 2008-03-17 | Automatic monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008067242A JP4694589B2 (en) | 2008-03-17 | 2008-03-17 | Automatic monitoring system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006219128A Division JP4664878B2 (en) | 2006-08-11 | 2006-08-11 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008241707A true JP2008241707A (en) | 2008-10-09 |
| JP4694589B2 JP4694589B2 (en) | 2011-06-08 |
Family
ID=39913210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008067242A Active JP4694589B2 (en) | 2008-03-17 | 2008-03-17 | Automatic monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4694589B2 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011060167A (en) * | 2009-09-14 | 2011-03-24 | Secom Co Ltd | Moving object tracking device |
| CN102257529A (en) * | 2008-12-22 | 2011-11-23 | 日本电气株式会社 | Person-judging device, method, and program |
| JP2012124659A (en) * | 2010-12-07 | 2012-06-28 | Hitachi Kokusai Electric Inc | Monitoring system and monitoring method |
| JP2012181660A (en) * | 2011-03-01 | 2012-09-20 | Nippon Telegr & Teleph Corp <Ntt> | Detector, load reduction method and program |
| US20130215270A1 (en) * | 2012-02-16 | 2013-08-22 | Fujitsu Ten Limited | Object detection apparatus |
| JP2014006057A (en) * | 2012-06-21 | 2014-01-16 | Tanita Corp | Biometric measurement device |
| WO2014118872A1 (en) * | 2013-01-29 | 2014-08-07 | 有限会社ラムロック映像技術研究所 | Monitor system |
| JP2014157453A (en) * | 2013-02-15 | 2014-08-28 | Omron Corp | Image processing apparatus, image processing method, and image processing program |
| CN104050620A (en) * | 2013-03-13 | 2014-09-17 | 株式会社电装 | Object detection apparatus |
| JP2014215877A (en) * | 2013-04-26 | 2014-11-17 | 株式会社デンソー | Object detection device |
| JP2015058747A (en) * | 2013-09-17 | 2015-03-30 | 本田技研工業株式会社 | Vehicle lamp body control device |
| JP2016012752A (en) * | 2014-06-27 | 2016-01-21 | 株式会社 日立産業制御ソリューションズ | Video monitoring device, video monitoring system, and video monitoring method |
| KR101842488B1 (en) * | 2017-07-11 | 2018-03-27 | 한국비전기술주식회사 | Smart monitoring system applied with patten recognition technic based on detection and tracking of long distance-moving object |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08241414A (en) * | 1995-03-07 | 1996-09-17 | Matsushita Electric Ind Co Ltd | Moving object detection and trace device and threshold decision device |
| JPH10289393A (en) * | 1997-04-15 | 1998-10-27 | Fujitsu Ltd | Event detecting device for monitoring road |
| JP2002176640A (en) * | 2000-09-28 | 2002-06-21 | Hitachi Kokusai Electric Inc | Object detection method and intruded body monitoring device |
| JP2002352340A (en) * | 2001-05-30 | 2002-12-06 | Hitachi Ltd | Image monitoring device |
| JP2005149143A (en) * | 2003-11-14 | 2005-06-09 | Konica Minolta Holdings Inc | Object detecting device and method, and computer program |
| JP2005286503A (en) * | 2004-03-29 | 2005-10-13 | Toshiba Corp | Moving object detector and program |
| JP2006099611A (en) * | 2004-09-30 | 2006-04-13 | Nissan Motor Co Ltd | Figure detection device and method |
-
2008
- 2008-03-17 JP JP2008067242A patent/JP4694589B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08241414A (en) * | 1995-03-07 | 1996-09-17 | Matsushita Electric Ind Co Ltd | Moving object detection and trace device and threshold decision device |
| JPH10289393A (en) * | 1997-04-15 | 1998-10-27 | Fujitsu Ltd | Event detecting device for monitoring road |
| JP2002176640A (en) * | 2000-09-28 | 2002-06-21 | Hitachi Kokusai Electric Inc | Object detection method and intruded body monitoring device |
| JP2002352340A (en) * | 2001-05-30 | 2002-12-06 | Hitachi Ltd | Image monitoring device |
| JP2005149143A (en) * | 2003-11-14 | 2005-06-09 | Konica Minolta Holdings Inc | Object detecting device and method, and computer program |
| JP2005286503A (en) * | 2004-03-29 | 2005-10-13 | Toshiba Corp | Moving object detector and program |
| JP2006099611A (en) * | 2004-09-30 | 2006-04-13 | Nissan Motor Co Ltd | Figure detection device and method |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102257529A (en) * | 2008-12-22 | 2011-11-23 | 日本电气株式会社 | Person-judging device, method, and program |
| US8571274B2 (en) | 2008-12-22 | 2013-10-29 | Nec Corporation | Person-judging device, method, and program |
| JP2011060167A (en) * | 2009-09-14 | 2011-03-24 | Secom Co Ltd | Moving object tracking device |
| JP2012124659A (en) * | 2010-12-07 | 2012-06-28 | Hitachi Kokusai Electric Inc | Monitoring system and monitoring method |
| JP2012181660A (en) * | 2011-03-01 | 2012-09-20 | Nippon Telegr & Teleph Corp <Ntt> | Detector, load reduction method and program |
| US20130215270A1 (en) * | 2012-02-16 | 2013-08-22 | Fujitsu Ten Limited | Object detection apparatus |
| JP2014006057A (en) * | 2012-06-21 | 2014-01-16 | Tanita Corp | Biometric measurement device |
| JP5870470B2 (en) * | 2013-01-29 | 2016-03-01 | 有限会社 ラムロック映像技術研究所 | Monitoring system |
| WO2014118872A1 (en) * | 2013-01-29 | 2014-08-07 | 有限会社ラムロック映像技術研究所 | Monitor system |
| US9905009B2 (en) | 2013-01-29 | 2018-02-27 | Ramrock Video Technology Laboratory Co., Ltd. | Monitor system |
| KR101767497B1 (en) | 2013-01-29 | 2017-08-11 | 유겐가이샤 라므롯쿠에조우기쥬츠켄큐쇼 | Monitor system |
| JP2014157453A (en) * | 2013-02-15 | 2014-08-28 | Omron Corp | Image processing apparatus, image processing method, and image processing program |
| JP2014178736A (en) * | 2013-03-13 | 2014-09-25 | Denso Corp | Object detection device |
| CN104050620B (en) * | 2013-03-13 | 2018-02-13 | 株式会社电装 | Body detection device |
| CN104050620A (en) * | 2013-03-13 | 2014-09-17 | 株式会社电装 | Object detection apparatus |
| JP2014215877A (en) * | 2013-04-26 | 2014-11-17 | 株式会社デンソー | Object detection device |
| JP2015058747A (en) * | 2013-09-17 | 2015-03-30 | 本田技研工業株式会社 | Vehicle lamp body control device |
| JP2016012752A (en) * | 2014-06-27 | 2016-01-21 | 株式会社 日立産業制御ソリューションズ | Video monitoring device, video monitoring system, and video monitoring method |
| KR101842488B1 (en) * | 2017-07-11 | 2018-03-27 | 한국비전기술주식회사 | Smart monitoring system applied with patten recognition technic based on detection and tracking of long distance-moving object |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4694589B2 (en) | 2011-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4694589B2 (en) | Automatic monitoring system | |
| JP7163945B2 (en) | Movement situation estimation device, movement situation estimation method, and program recording medium | |
| EP2549738B1 (en) | Method and camera for determining an image adjustment parameter | |
| JP4730431B2 (en) | Target tracking device | |
| TWI482123B (en) | Multi-state target tracking mehtod and system | |
| US20160142680A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP5274216B2 (en) | Monitoring system and monitoring method | |
| US10334150B2 (en) | Camera system and method of tracking object using the same | |
| US8718379B2 (en) | Method and apparatus for image capturing tampering detection | |
| JP4664878B2 (en) | Image processing device | |
| JP2006311578A (en) | Video monitoring system | |
| JP2009188977A (en) | Target tracking device | |
| US8311345B2 (en) | Method and system for detecting flame | |
| JP5177068B2 (en) | Target tracking device, target tracking method | |
| JP7125843B2 (en) | Fault detection system | |
| JP5950628B2 (en) | Object detection apparatus, object detection method, and program | |
| JP4171310B2 (en) | Intruder detection method and intruder detection apparatus | |
| JP2001160146A (en) | Method and device for recognizing image | |
| JP7243372B2 (en) | Object tracking device and object tracking method | |
| JP2021007055A (en) | Discriminator learning device, discriminator learning method, and computer program | |
| JP5710230B2 (en) | Monitoring system and monitoring method | |
| JP2007336431A (en) | Video monitoring apparatus and method | |
| JP2002092751A (en) | Monitoring system | |
| JP3736836B2 (en) | Object detection method, object detection apparatus, and program | |
| JP4645321B2 (en) | Moving object detection device using images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080820 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090325 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20101128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110208 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110223 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4694589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |