JP5832910B2 - Image monitoring device - Google Patents

Image monitoring device Download PDF

Info

Publication number
JP5832910B2
JP5832910B2 JP2012013865A JP2012013865A JP5832910B2 JP 5832910 B2 JP5832910 B2 JP 5832910B2 JP 2012013865 A JP2012013865 A JP 2012013865A JP 2012013865 A JP2012013865 A JP 2012013865A JP 5832910 B2 JP5832910 B2 JP 5832910B2
Authority
JP
Japan
Prior art keywords
image
background
area
region
detection target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012013865A
Other languages
Japanese (ja)
Other versions
JP2013152669A (en
Inventor
匠 宗片
匠 宗片
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2012013865A priority Critical patent/JP5832910B2/en
Publication of JP2013152669A publication Critical patent/JP2013152669A/en
Application granted granted Critical
Publication of JP5832910B2 publication Critical patent/JP5832910B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Burglar Alarm Systems (AREA)

Description

本発明は、監視領域を撮像した画像から背景画像を用いて検出対象物を検出する画像監視装置に関する。   The present invention relates to an image monitoring apparatus that detects a detection target using a background image from an image obtained by capturing a monitoring area.

従来、監視領域に存在する移動物体を除いて背景画像を更新するために、背景のみが写った背景画像と現在の状態が写った現画像とを比較し、物体・形状を認識し、現画像に抽出物があればその部分に背景画像を嵌込み、その画像を新たな背景画像として更新する技術があった（特許文献１）。   Conventionally, in order to update the background image excluding moving objects that exist in the monitoring area, the background image showing only the background is compared with the current image showing the current state, the object / shape is recognized, and the current image There is a technique in which a background image is inserted into the extracted portion and the image is updated as a new background image (Patent Document 1).

また、画面内に移動物体が存在する場合においても移動物体を除いた背景画像を生成し好適な背景画像を得ることが可能な背景画像生成システムが開示されている（特許文献２）。ここでは、現画像と一時刻前の画像とのフレーム間差分による時間的な変化がある領域を除いて背景画像を更新する技術が開示されている。   In addition, a background image generation system that can generate a background image excluding a moving object and obtain a suitable background image even when a moving object exists in the screen is disclosed (Patent Document 2). Here, a technique is disclosed in which a background image is updated excluding an area where there is a temporal change due to an inter-frame difference between the current image and an image one time ago.

また、画面を分割し、分割された小領域毎に背景更新するか否かを判定し、時間的な画像の変化がない（現画像と一時刻前の画像とのフレーム間差分で変化がない）小領域については早く背景画像に取り込まれるように更新率を変える技術が開示されている（特許文献３）。   Also, the screen is divided, and it is determined whether or not the background is updated for each of the divided small areas, and there is no temporal change in the image (no change in the interframe difference between the current image and the previous image) ) A technique for changing the update rate so that a small area is quickly incorporated into a background image is disclosed (Patent Document 3).

特開平１０−３２８１１号公報JP 10-32811 A 特開２００１−４３４５８号公報JP 2001-43458 A 特開２０００−９０２７７号公報JP 2000-90277 A

監視領域内に存在する検出対象を背景画像を用いて精度よく検出するためには、検出対象となる移動物体は背景画像に取り込まず、背景物は確実に背景に取り込む必要がある。しかし、例えば、人物を検出対象とする場合、監視領域内で静止している人物は、現画像と一時刻前の画像とのフレーム間差分において時間的な変化がなく、一方で背景画像と現画像との背景差分画像では変化がある領域として抽出される。そのため、従来の技術では、静止している人物と、監視領域内に「持ち込まれた背景物」のように監視領域内で静止している物体とを区別することができず、静止人物を背景画像に取り込んでしまったり、それを防ごうとすると背景物を取り込むことができなかったりするという問題があった。   In order to accurately detect the detection target existing in the monitoring area using the background image, the moving object to be detected is not captured in the background image, and the background object needs to be reliably captured in the background. However, for example, when a person is a detection target, a person who is stationary in the monitoring area has no temporal change in the interframe difference between the current image and the image one hour before, while the background image and the current image are not detected. In the background difference image from the image, it is extracted as a region having a change. Therefore, in the conventional technology, it is impossible to distinguish a stationary person from an object stationary in the monitoring area such as a “background object brought into the monitoring area”. There was a problem that the image could be captured in the image, or the background object could not be captured if it was to prevent it.

ここで、静止する人物が動き出すまでの時間を考慮し、時間的な変化がない背景差分領域については、時間をかけて背景画像に取り込もうとすることも考えられる。しかし、この場合、持ち込まれた背景物を背景画像に取り込むまでに時間がかかってしまうという問題がある。   Here, in consideration of the time until the stationary person starts to move, it may be considered that the background difference area having no temporal change is taken into the background image over time. However, in this case, there is a problem that it takes time until the brought-in background object is taken into the background image.

本発明の１つの態様は、監視領域を順次撮影して監視画像を取得する撮像部と、検出対象物体が撮影されていない監視領域の画像である背景画像を記憶している記憶部と、前記監視画像および前記背景画像を用いて検出対象物体を検出する画像処理部と、を備える画像監視装置において、前記画像処理部は、前記背景画像と前記監視画像を差分処理し、背景差分領域を抽出する背景差分抽出手段と、順次撮影された前記監視画像を差分処理し、フレーム間差分領域を抽出するフレーム間差分抽出手段と、前記監視画像の画像特徴から検出対象物体が存在する検出対象物体領域を識別する検出対象物体識別器と、前記監視画像の各領域の画素値を所定の透過率で制御して、当該画素値にて前記背景画像の対応する領域の画素値を順次更新する背景画像更新手段と、を有し、前記背景画像更新手段は、前記背景差分領域であって前記フレーム間差分領域でない領域、かつ前記検出対象物体領域でない領域内について前記透過率を第一の透過率に設定し、前記背景差分領域であって前記フレーム間差分領域でない領域、かつ前記検出対象物体領域である領域について前記透過率を前記第一の透過率よりも高い透過率に設定することを特徴とした画像監視装置である。   One aspect of the present invention includes an imaging unit that sequentially captures a monitoring area to acquire a monitoring image, a storage unit that stores a background image that is an image of the monitoring area in which the detection target object is not captured, And an image processing unit that detects a detection target object using the monitoring image and the background image. The image processing unit performs a differential process on the background image and the monitoring image and extracts a background difference region. A background difference extraction unit that performs difference processing on the sequentially captured monitoring images and extracts an inter-frame difference region, and a detection target object region in which a detection target object exists from the image features of the monitoring image A detection target object discriminator that controls the pixel value of each area of the monitoring image with a predetermined transmittance, and sequentially updates the pixel value of the corresponding area of the background image with the pixel value. Image update means, and the background image update means sets the transmittance to the first transmittance for the background difference area that is not the inter-frame difference area and that is not the detection target object area. The transmittance is set to be higher than the first transmittance for the region that is the background difference region that is not the inter-frame difference region and the detection target object region. This is an image monitoring apparatus.

ここで、前記背景画像更新手段は、前記背景差分領域でなく前記フレーム間差分領域でない領域について、前記背景画像の画素値を前記監視画像の画素値に更新することが好適である。   Here, it is preferable that the background image update unit updates the pixel value of the background image to the pixel value of the monitoring image for an area that is not the background difference area but is not the inter-frame difference area.

また、前記背景画像更新手段は、前記背景差分領域かつ前記フレーム間差分領域である領域について、前記背景画像の画素値の更新を行わないことが好適である。   In addition, it is preferable that the background image update unit does not update the pixel value of the background image in the background difference area and the area that is the inter-frame difference area.

また、前記背景画像更新手段は、前記背景差分領域かつ前記フレーム間差分領域であり、かつ前記検出対象物体領域である領域については前記背景画像の画素値の更新を行わず、前記検出対象物体でない領域については更新を行うことが好適である。   Further, the background image update means does not update the pixel value of the background image for the region that is the background difference region and the inter-frame difference region and is the detection target object region, and is not the detection target object. It is preferable to update the area.

また、前記背景画像更新手段は、前記検出対象物体識別器において前記監視画像内の各領域について求められた検出対象物らしさに応じた前記透過率を用いて前記背景画像の当該領域に対応する領域の画素値を更新することが好適である。   In addition, the background image update means uses the transmittance according to the detection object likeness obtained for each region in the monitoring image in the detection target object classifier to correspond to the region of the background image. It is preferable to update the pixel value.

本発明によれば、監視領域内で静止する人物を誤って背景画像に取り込むことを防止しつつ、背景物は速やかに背景画像に取り込むことを可能とする。これにより、正しい背景画像を用いて、被検出対象物の検出確度を高めることができる。   According to the present invention, it is possible to quickly capture a background object in a background image while preventing a person who is stationary in the monitoring area from being erroneously captured in the background image. Thereby, the detection accuracy of a detection target object can be improved using a correct background image.

本発明の実施の形態における画像監視装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the image monitoring apparatus in embodiment of this invention. 本発明の実施の形態における画像監視処理を示すフローチャートである。It is a flowchart which shows the image monitoring process in embodiment of this invention. 本発明の実施の形態における背景画像更新処理を説明する図である。It is a figure explaining the background image update process in embodiment of this invention. 本発明の実施の形態における背景画像更新処理を示すフローチャートである。It is a flowchart which shows the background image update process in embodiment of this invention.

本発明の実施の形態における画像監視装置は、図１の機能ブロック図に示すように、撮像部１００、記憶部１０１及び画像処理部１１０を含んで構成される。画像監視装置では、撮像部１００で撮影された画像を画像処理部１１０に取り込み、画像処理部１１０において取り込まれた画像を用いて検出対象物体の検出処理が行われる。検出対象物体が検出されると出力部１２０から警報信号が出力される。   The image monitoring apparatus according to the embodiment of the present invention includes an imaging unit 100, a storage unit 101, and an image processing unit 110, as shown in the functional block diagram of FIG. In the image monitoring apparatus, an image captured by the imaging unit 100 is captured in the image processing unit 110, and detection processing of the detection target object is performed using the image captured in the image processing unit 110. When the detection target object is detected, an alarm signal is output from the output unit 120.

撮像部１００は、ＣＣＤ素子やＣ−ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される所謂監視カメラ等の撮像装置を備える。撮像部１００は、監視領域を所定時間間隔にて撮像し、その画像（以下、監視画像という）を画像処理部１１０へ出力する。撮像装置で取得される画像は、例えば、サイズ３２０（横）×２４０（縦）の２５６階調の濃淡画像で表される。   The imaging unit 100 includes an imaging device such as a so-called monitoring camera configured to include an imaging device such as a CCD device or a C-MOS device, an optical system component, an analog / digital converter, and the like. The imaging unit 100 images the monitoring area at predetermined time intervals, and outputs the image (hereinafter referred to as a monitoring image) to the image processing unit 110. The image acquired by the imaging apparatus is represented by a grayscale image of 256 gradations of size 320 (horizontal) × 240 (vertical), for example.

記憶部１０１は、フラッシュメモリなどのメモリ装置で構成される。記憶部１０１は、各種プログラム及び各種データを記憶している。これら各種プログラムや各種データは、画像処理部１１０より読み出されて使用される。   The storage unit 101 includes a memory device such as a flash memory. The storage unit 101 stores various programs and various data. These various programs and various data are read from the image processing unit 110 and used.

なお、記憶部１０１には、画像監視プログラム起動時に人物等の検出対象物体を含まない監視領域の画像を取得した背景画像が記憶される。また、記憶部１０１には、現画像より１フレーム前に撮像された入力画像、及び、背景画像と１フレーム前に撮像された入力画像との差分である背景差分領域画像が記憶される。また、記憶部１０１には、検出対象物体の検出処理に必要な情報を記憶しておいてもよい。例えば、監視領域内で滞留する人物を検出対象とする場合であれば、背景差分領域を追跡処理した際の追跡情報を記憶部１０１に記憶させる。   The storage unit 101 stores a background image obtained by acquiring an image of a monitoring area that does not include a detection target object such as a person when the image monitoring program is started. In addition, the storage unit 101 stores an input image captured one frame before the current image and a background difference area image that is a difference between the background image and the input image captured one frame before. The storage unit 101 may store information necessary for detection processing of the detection target object. For example, if a person staying in the monitoring area is to be detected, tracking information when the background difference area is tracked is stored in the storage unit 101.

画像処理部１１０は、背景差分抽出手段１１１、フレーム間差分抽出手段１１２、検出対象物体識別器１１３、背景画像更新手段１１４、検出対象物体検出手段１１５の各手段を含んで構成される。画像処理部１１０及び記憶部１０１は、ＣＰＵ等の処理部、記憶部、入力部及び出力部を含む一般的なコンピュータにより実現することができる。画像処理部１１０の各手段は、記憶部１０１に記憶されている画像監視プログラムを実行することにより実現される。   The image processing unit 110 includes a background difference extraction unit 111, an interframe difference extraction unit 112, a detection target object identifier 113, a background image update unit 114, and a detection target object detection unit 115. The image processing unit 110 and the storage unit 101 can be realized by a general computer including a processing unit such as a CPU, a storage unit, an input unit, and an output unit. Each unit of the image processing unit 110 is realized by executing an image monitoring program stored in the storage unit 101.

以下、図２のフローチャートを参照して、本実施の形態における画像監視処理について説明する。本実施の形態では、監視領域内で滞留する人物を検出対象とする場合を例に示す。ただし、本発明の適用範囲はこれに限定されるものではなく、人物以外の検出対象物体、例えば車両、船舶、ロボット、置き去りにされた鞄等の不審物の検出に適用することもできる。   Hereinafter, the image monitoring process in the present embodiment will be described with reference to the flowchart of FIG. In the present embodiment, a case where a person staying in the monitoring area is a detection target is shown as an example. However, the scope of application of the present invention is not limited to this, and the present invention can also be applied to detection of objects to be detected other than humans, for example, suspicious objects such as vehicles, ships, robots, and traps left behind.

なお、背景画像更新処理を開始する前に、図３に示すように、記憶部１０１には人物の映っていない状態で取得した背景画像（ａ）、１フレーム前に撮像された入力画像（ｃ）、当該入力画像（ｃ）と背景画像（ａ）との背景差分画像が記憶されているものとする。   Before starting the background image update process, as shown in FIG. 3, the background image (a) acquired in a state where no person is shown in the storage unit 101 (c), the input image (c) captured one frame before ), A background difference image between the input image (c) and the background image (a) is stored.

ステップＳ３００では、撮像部１００は現在の監視領域を撮影した現画像を画像処理部に出力する。現画像は、例えば、図３（ｂ）に示す画像となる。   In step S300, the imaging unit 100 outputs a current image obtained by capturing the current monitoring area to the image processing unit. The current image is, for example, the image shown in FIG.

ステップＳ３０１では、記憶部１０１から読み出した背景画像と現画像との輝度差分計算を行い、背景差分領域を抽出する。まず、画像処理部１１０の背景差分抽出手段１１１において、背景画像に存在しない物体の領域を抽出する。記憶部１０１に記憶されている背景画像（ａ）と現画像（ｂ）との対応する画素間において輝度差分処理を行う。そして、輝度差分値が閾値以上の画素を抽出画素、閾値未満の画素を非抽出画素として２値化する。さらに、２値化した抽出画素のうち画像内で連続して存在する画素群を纏めて背景差分領域としてラベリングする。例えば、図３（ｄ）に示すように、領域２２１〜２２３が背景差分領域として抽出される。ここでは、背景差分領域は、監視領域内に侵入した人物が撮像された領域２２１、２２３、及び、監視領域内に持ち込まれた椅子が撮像された領域２２２を含む。   In step S301, a luminance difference between the background image read from the storage unit 101 and the current image is calculated, and a background difference area is extracted. First, the background difference extraction unit 111 of the image processing unit 110 extracts a region of an object that does not exist in the background image. A luminance difference process is performed between corresponding pixels of the background image (a) and the current image (b) stored in the storage unit 101. Then, binarization is performed with pixels having a luminance difference value greater than or equal to a threshold as extracted pixels and pixels less than the threshold as unextracted pixels. Further, among the binarized extracted pixels, a group of pixels that exist continuously in the image are collectively labeled as a background difference area. For example, as shown in FIG. 3D, areas 221 to 223 are extracted as background difference areas. Here, the background difference area includes areas 221 and 223 where a person who has entered the monitoring area is imaged, and an area 222 where a chair brought into the monitoring area is imaged.

さらに、画像処理部１１０のフレーム間差分抽出手段１１２において、１フレーム前の入力画像と現画像とで輝度差分処理を行い、フレーム間差分領域を抽出する。まず、画像処理部１１０のフレーム間差分抽出手段１１２において、１フレームの間に移動による変化があった領域を時間的な変化が生じたフレーム間差分領域として抽出する。現画像（ｂ）と１フレーム前の入力画像（ｃ）との対応する画素間において輝度差分処理を行う。そして、輝度差分値が閾値以上の画素を抽出画素、閾値未満の画素を非抽出画素として２値化する。さらに、２値化した抽出画素のうち画像内で連続して存在する画素群を纏めてフレーム間差分領域としてラベリングする。例えば、図３（ｅ）に示すように、領域２４１がフレーム間差分領域として抽出される。ここで、図３（ｄ）において背景差分領域として抽出された領域２２１，２２２は１フレーム前から移動しておらず時間変化がないためフレーム間差分領域としては抽出されず、１フレーム前に存在していなかった領域２２３のみがフレーム間差分領域として抽出される。   Further, the inter-frame difference extraction unit 112 of the image processing unit 110 performs luminance difference processing between the input image one frame before and the current image, and extracts an inter-frame difference area. First, in the inter-frame difference extraction unit 112 of the image processing unit 110, an area that has changed due to movement during one frame is extracted as an inter-frame difference area in which a temporal change has occurred. Luminance difference processing is performed between corresponding pixels of the current image (b) and the input image (c) one frame before. Then, binarization is performed with pixels having a luminance difference value greater than or equal to a threshold as extracted pixels and pixels less than the threshold as unextracted pixels. Further, among the binarized extracted pixels, a group of pixels that are continuously present in the image are collectively labeled as an inter-frame difference area. For example, as shown in FIG. 3E, the area 241 is extracted as the inter-frame difference area. Here, the regions 221 and 222 extracted as the background difference region in FIG. 3D are not extracted as the inter-frame difference region because they have not moved from the previous frame and do not change over time, and exist one frame before. Only the area 223 that has not been extracted is extracted as an inter-frame difference area.

なお、背景差分領域として抽出され、かつ、フレーム間差分領域として抽出されなかった領域を静止物体領域とする。例えば、図３（ｆ）の領域２５１，２５２が静止物体領域である。図３（ｄ）における領域２２１，２２２は、背景差分領域があるがフレーム間差分領域ではないので静止物体領域とされ、領域２２３は背景差分領域かつフレーム間差分領域であるので静止物体領域とされない。   Note that an area extracted as a background difference area and not extracted as an inter-frame difference area is defined as a stationary object area. For example, the areas 251 and 252 in FIG. 3F are stationary object areas. Regions 221 and 222 in FIG. 3 (d) have a background difference region but are not inter-frame difference regions and are therefore stationary object regions, and region 223 is a background difference region and an inter-frame difference region, and is not a stationary object region. .

ステップＳ３０２では、静止物体領域が人物を撮像した領域であるか否かが判定される。人物の判定は、画像処理部１１０の検出対象物体識別器１１３によって行われる。検出対象物体識別器１１３は、背景差分領域であり、かつフレーム間差分領域でない静止物体領域に対して識別処理を行い、人物領域を検出する。   In step S302, it is determined whether or not the stationary object region is a region where a person is imaged. The person is determined by the detection target object classifier 113 of the image processing unit 110. The detection target object discriminator 113 performs a discrimination process on a stationary object region that is a background difference region and is not an inter-frame difference region, and detects a person region.

検出対象物体識別器１１３は、事前収集した大量の人物データと人物以外のデータから統計的に人物と人物以外の物体との識別境界を決定する識別器を予め生成し、この識別器によって人物と人物以外を判定する人物識別器として機能する。例えば、非特許文献（Detecting Pedestrians Using Patterns of Motion and Appearance（P.Viola 、M.Jones ＆ D.Snow, IEEE International Conference on Computer Vision， Pp、734,0ct.,2003））に記載されているように、予め撮影した様々な外観の人間の画像を使用してアダブースト（AdaBoost）によって学習したハールライク（Haar-Like）特徴に基づくカスケード型識別器によって人間であるか否かの判定が実現できる。この識別器に抽出された各静止物体領域に対応する現画像の領域の画像を入力し、人物が撮像された領域であるかを判定する。   The detection target object discriminator 113 generates in advance a discriminator that statistically determines a discrimination boundary between a person and an object other than a person from a large amount of human data collected in advance and data other than the person. It functions as a person discriminator for judging other than a person. For example, as described in non-patent literature (Detecting Pedestrians Using Patterns of Motion and Appearance (P. Viola, M. Jones & D. Snow, IEEE International Conference on Computer Vision, Pp, 734, 0ct., 2003)) In addition, it is possible to determine whether or not a person is a human by using a cascade classifier based on Haar-Like features learned by using AdaBoost using various human images that have been photographed in advance. The image of the area of the current image corresponding to each stationary object area extracted to this discriminator is input, and it is determined whether or not the person has been imaged.

例えば、図３（ｆ）の静止物体領域である領域２５１，２５２に対応する現画像の領域の画像を検出対象物体識別器１１３に入力し、人物と判定された静止物体領域を人物領域として出力する。ここでは、領域２５１が検出対象物体識別器１１３によって人物領域と判定され、領域２５２は人物領域とは判定されなかったものとすると、図３（ｇ）の領域２６１が人物領域として出力される。   For example, an image of the current image area corresponding to the areas 251 and 252 which are the stationary object areas in FIG. 3F is input to the detection target object classifier 113, and the stationary object area determined to be a person is output as the person area. To do. Here, assuming that the area 251 is determined as a person area by the detection target object discriminator 113 and the area 252 is not determined as a person area, the area 261 in FIG. 3G is output as the person area.

なお、検出対象物体識別器１１３は、静止物体領域に対して識別処理するものだけでなく、監視画像全体について人物領域を検出するものであってもよい。具体的には、所定の大きさの検出用領域を監視画像上に設定し、当該検出用領域に対して識別処理をする。この処理を監視画像全体を漏れなく探索するように検出用領域を少しずつずらしながら繰り返すようにすればよい。   The detection target object discriminator 113 is not limited to performing identification processing on a stationary object region, but may be one that detects a person region in the entire monitoring image. Specifically, a detection area having a predetermined size is set on the monitoring image, and identification processing is performed on the detection area. This process may be repeated while gradually shifting the detection area so as to search the entire monitoring image without omission.

なお、検出対象物体識別器１１３における人物と人物以外の識別手法は別の方法を用いてもよい。例えば、人物識別は人物の全身の画像特徴を用いなくてもよい。例えば、人物の頭部とそれ以外を識別する頭部識別器を予め生成しておき、背景変化領域から人物の頭部の位置を検出し、検出された頭部と背景変化領域から人物の全身の領域を推定して、人物領域としてもよい。   Note that another method may be used as a method for identifying a person and a person other than the person in the detection target object classifier 113. For example, the person identification may not use the image feature of the person's whole body. For example, a head discriminator for discriminating between a person's head and others is generated in advance, the position of the person's head is detected from the background change area, and the person's whole body is detected from the detected head and background change area. This area may be estimated to be a person area.

人物の全身を検出するのではなく、頭部を検出することで人物同士の重なりや什器等で人物の一部が隠れた場合でも、頭部のみが見えていれば頭部検出は可能であるため、人物の一部が見えていない状況でも人物か否かを判定することが出来る。   Rather than detecting the whole body of a person, even if a part of the person is hidden by detecting the head, such as overlapping people or furniture, head detection is possible if only the head is visible Therefore, it is possible to determine whether or not the person is a person even when a part of the person is not visible.

ステップＳ３０３では、背景画像の更新処理が行われる。画像処理部１１０の背景画像更新手段１１４は、背景差分抽出手段１１１、フレーム間差分抽出手段１１２及び検出対象物体識別器１１３の処理結果に応じて、画像内の領域を以下の４つに分類し、領域毎に合成係数を決めて背景画像を更新する。
（１）背景差分領域ではなく、かつ、フレーム間差分領域ではない。
（２）背景差分領域であり、かつ、フレーム間差分領域である。
（３）背景差分領域であり、かつ、フレーム間差分領域ではなく、かつ、人物領域ではない。
（４）背景差分領域であり、かつ、フレーム間差分領域ではなく、かつ、人物領域である。 In step S303, a background image update process is performed. The background image update unit 114 of the image processing unit 110 classifies the region in the image into the following four types according to the processing results of the background difference extraction unit 111, the interframe difference extraction unit 112, and the detection target object discriminator 113. The background image is updated by determining the synthesis coefficient for each region.
(1) It is not a background difference area and is not an inter-frame difference area.
(2) A background difference area and an inter-frame difference area.
(3) A background difference area, not an inter-frame difference area, and not a person area.
(4) It is a background difference area, not an inter-frame difference area, and a person area.

以下、図４のフローチャートを参照し、本実施の形態における背景画像更新処理について説明する。以下の処理は背景画像及び監視領域を撮像した入力画像の各画素についてそれぞれ行われる。すなわち、撮像部１００において撮像される画像の全画素から順に選択された１つの画素を着目画素として、当該着目画素に対して処理を行う。   Hereinafter, background image update processing according to the present embodiment will be described with reference to the flowchart of FIG. The following processing is performed for each pixel of the input image obtained by capturing the background image and the monitoring area. That is, processing is performed on the target pixel with one pixel selected in order from all the pixels of the image captured by the imaging unit 100 as the target pixel.

ステップＳ４００では、着目画素が背景差分領域内であるかを判定する。着目画素が背景差分領域内であればステップＳ４０１へ進み、着目画素が背景差分領域内でなければステップＳ４０３へ進む。   In step S400, it is determined whether the pixel of interest is in the background difference area. If the target pixel is within the background difference area, the process proceeds to step S401, and if the target pixel is not within the background difference area, the process proceeds to step S403.

ステップＳ４０１では、着目画素がフレーム間差分領域内であるかを判定する。着目画素がフレーム間差分領域内であればステップＳ４０６へ進み、着目画素がフレーム間差分領域内でなければステップＳ４０２へ進む。ここで、ステップＳ４０２に進んだ場合、着目画素は静止物体領域に含まれる画素である。   In step S401, it is determined whether the target pixel is in the inter-frame difference area. If the target pixel is in the inter-frame difference area, the process proceeds to step S406. If the target pixel is not in the inter-frame difference area, the process proceeds to step S402. If the process proceeds to step S402, the pixel of interest is a pixel included in the stationary object region.

ステップＳ４０２では、着目画素が人物領域内であるかを判定する。すなわち、着目画素が検出対象物体識別器１１３において人物領域と判定された画像領域内の画素であるか否かが判定される。着目画素が人物領域内であればステップＳ４０５へ進み、人物領域内でなければステップＳ４０４へ進む。   In step S402, it is determined whether the pixel of interest is in the person area. That is, it is determined whether or not the pixel of interest is a pixel in the image area determined as the person area by the detection target object classifier 113. If the pixel of interest is within the person area, the process proceeds to step S405, and if it is not within the person area, the process proceeds to step S404.

ステップＳ４０３〜Ｓ４０６では、アルファブレンドの合成係数αが設定される。アルファブレンドは、背景画像の画素値と入力画像の画素値をある決まった係数で合成する既知の処理である。具体的には、更新後の背景画素値Ｂｎｅｗ、現在の背景画素値Ｂ、現画素値Ｉ、背景画像と入力画像の画素を合成する割合を決定する合成係数αとしたとき、更新式は数式（１）で表される。
［数１］
Bnew = B × α + ( 1.0 - α ) × I （但し、0 <= α <= 1 )・・・（１） In steps S403 to S406, the alpha blend composition factor α is set. Alpha blending is a known process for combining a pixel value of a background image and a pixel value of an input image with a certain coefficient. Specifically, when the updated background pixel value Bnew, the current background pixel value B, the current pixel value I, and the synthesis coefficient α that determines the ratio of the background image and the input image pixel to be synthesized, It is represented by (1).
[Equation 1]
Bnew = B × α + (1.0-α) × I (However, 0 <= α <= 1) (1)

ステップＳ４０３では、ステップＳ４００において着目画素が背景差分領域内でないと判定されたので、背景画像更新におけるアルファブレンドの合成係数αを０に設定する。これは、着目画素が背景画像からの変化がない画素であるので、背景画像の画素を現画像の画素（着目画素）で完全に置換することを意味する。つまり、背景画像の画素に対する現画像の画素の透過率が０％になるように合成制御された画素が新たな背景画像の画素として更新されるといえる。   In step S403, since it is determined in step S400 that the pixel of interest is not in the background difference area, the alpha blend composition coefficient α in the background image update is set to zero. This means that the pixel of the background image is completely unchanged from the pixel of the current image (the pixel of interest) because the pixel of interest is a pixel that has not changed from the background image. That is, it can be said that the pixel whose composition is controlled so that the transmittance of the pixel of the current image with respect to the pixel of the background image becomes 0% is updated as the pixel of the new background image.

ステップＳ４０４では、ステップＳ４０２において着目画素が人物領域内でないと判定されたので、背景画像更新におけるアルファブレンドの合成係数αを値Ｃ１に設定する。これは、背景変化はあるが時間変化がなく、かつ、人物ではない領域、つまり、静止している人物以外の静止物体が撮像された領域であるので、合成係数αは現画像（着目画素）が背景に取り込まれやすい値Ｃ１とする。   In step S404, since it is determined in step S402 that the pixel of interest is not in the person region, the alpha blend composition coefficient α in the background image update is set to the value C1. This is a region where there is a background change but there is no time change and is not a person, that is, a region where a stationary object other than a stationary person is imaged. Therefore, the synthesis coefficient α is the current image (pixel of interest). Is a value C1 that is easily captured in the background.

ステップＳ４０５では、ステップＳ４０２において着目画素が人物領域内であると判定されたので、背景画像更新におけるアルファブレンドの合成係数αを値Ｃ２に設定する。これは、背景変化はあるが時間変化がなく、かつ、人物である領域、つまり、静止している人物が撮像された領域であるので、合成係数αは現画像（着目画素）が背景に取り込まれにくい値Ｃ２とする。   In step S405, since it is determined in step S402 that the target pixel is in the person area, the alpha blend composition coefficient α in the background image update is set to the value C2. This is a region where there is a background change but there is no time change, and since it is a region that is a person, that is, a region where a stationary person is imaged, the synthesis coefficient α is taken into the background from the current image (pixel of interest) It is assumed that the value C2 is less likely to be lost.

ステップＳ４０６では、ステップＳ４０１でフレーム間差分領域内であると判定されたので、背景画像更新におけるアルファブレンドの合成係数αを１に設定する。これは、背景変化があり、かつ、時間変化もある領域、つまり、移動している物体が撮像された領域なので着目画素の画素値で背景画像が更新されないようにすることを意味する。つまり、背景画像の画素に対する現画像の画素の透過率が１００％になるように合成制御された画素が新たな背景画像の画素として更新されるといえる。   In step S406, since it is determined in step S401 that it is within the inter-frame difference region, the alpha blend composition coefficient α in the background image update is set to 1. This means that the background image is not updated with the pixel value of the pixel of interest because there is a background change and there is also a time change, that is, a region where a moving object is imaged. That is, it can be said that the pixel whose synthesis is controlled so that the transmittance of the pixel of the current image with respect to the pixel of the background image becomes 100% is updated as the pixel of the new background image.

また、ステップＳ４０１でフレーム間差分領域内であると判定された着目画素について、さらに人物領域内であるか否かを判定し、判定結果に応じて、アルファブレンドの合成計数αの値を設定してもよい。例えば、人物領域内であれば合成係数αの値を１に設定し、人物領域外であれば少なくとも１より小さい値Ｃ３に設定すればよい。これは、背景変化も時間変化もあり、かつ人物領域である領域は移動している人物が撮像された領域なので着目画素の画素値で背景画像が更新されないようにし、背景変化も時間変化もあり、かつ人物領域でない領域は検出対象である人物以外の移動物体、例えば植栽の枝や旗等の風によって揺れた物体が撮像された領域の可能性が高いので、合成係数αの値を少なくとも移動している人物が撮像された領域よりも背景に取り込まれやすい値にする。ここで、値Ｃ３は値Ｃ２よりも大きく１よりも小さい値に設定してもよい。また、値Ｃ１に設定するようにしてもよい。また、合成係数αを１に設定して背景が更新されないようしているが、背景更新処理自体を行わないようにしてもよい。   Further, it is determined whether or not the target pixel determined to be within the inter-frame difference area in step S401 is further within the person area, and the value of the alpha blend composition count α is set according to the determination result. May be. For example, the value of the synthesis coefficient α may be set to 1 if it is within the person area, and may be set to a value C3 that is at least smaller than 1 if it is outside the person area. This is because there is both background change and time change, and since the area that is a person area is an area where a moving person is imaged, the background image is not updated with the pixel value of the pixel of interest, and there is also background change and time change In addition, since the region that is not a person region is likely to be a region where a moving object other than a person to be detected, for example, an object that is shaken by wind such as a planting branch or a flag, is imaged, the value of the synthesis coefficient α is at least The moving person is set to a value that is more easily captured in the background than the imaged area. Here, the value C3 may be set to a value larger than the value C2 and smaller than 1. Alternatively, the value C1 may be set. Further, the background is not updated by setting the synthesis coefficient α to 1, but the background update process itself may not be performed.

ここで、値Ｃ１及びＣ２は、０より大きく１より小さい値であり、値Ｃ１＜値Ｃ２とする。数式（１）において、合成係数αが大きいほど現在の背景画像の画素値が新たな背景画像の画素値として取り込まれる割合が大きい。言い換えれば、現画像の画素値が新たな背景画像の画素値として取り込まれる割合が小さい。つまり、背景画像の画素に対する現画像の画素の透過率が高くなるように合成制御された画素が新たな背景画像の画素として更新されるといえる。そこで、値Ｃ１＜値Ｃ２とすることで、上記（３）の領域に比べて上記（４）の領域の方が現在の背景画素の画素値が取り込まれる割合が大きくなり、より時間をかけて背景画素が現画素の画素値に置換される。これにより、背景に存在しない静止物体ではあるが、人物領域か否かによって背景画像への更新度合いを変えて、静止人物の画像領域を背景画像に取り込まれにくくすると同時に、人物以外の物体の画像領域については背景画像に速やかに更新することが可能となる。   Here, the values C1 and C2 are larger than 0 and smaller than 1, and value C1 <value C2. In Equation (1), the larger the synthesis coefficient α, the greater the proportion of the current background image pixel value taken in as a new background image pixel value. In other words, the rate at which the pixel value of the current image is captured as the pixel value of the new background image is small. In other words, it can be said that the pixel whose composition is controlled so that the transmittance of the pixel of the current image with respect to the pixel of the background image becomes high is updated as the pixel of the new background image. Therefore, by setting the value C1 <value C2, the ratio of the current background pixel value is increased in the area (4) compared to the area (3), and more time is taken. The background pixel is replaced with the pixel value of the current pixel. As a result, although it is a stationary object that does not exist in the background, the degree of update to the background image is changed depending on whether or not it is a person area, and the image area of a stationary person is made difficult to be captured in the background image. The area can be quickly updated to the background image.

値Ｃ１及びＣ２の好適な値については、人物識別器の精度が関係する。人物識別器の精度が非常に高く、人物と人物以外を正しく識別可能であれば、値Ｃ１は０に近い値Ｃ１ｘとして放置物を背景に取り込まれやすくし、値Ｃ２は１に近い値Ｃ２ｘとして人物を背景に取り込まれ難くする。一方、人物識別器の精度があまり高くない場合は、放置物を人物と誤識別したり、逆に、人物を放置物と誤識別したりする危険性がある。そこで、値Ｃ１は０より大きめ、すなわち値Ｃ１ｘより大きい値Ｃ１ｙとしてある程度時間をかけて放置物が背景に取り込まれるようにし、値Ｃ２は１より小さめ、すなわち値Ｃ２ｘより小さい値Ｃ２ｙとして徐々に人物が背景に取り込まれるようにする。但し、いずれの場合も値Ｃ１＜値Ｃ２の条件は維持する。   The preferred values of values C1 and C2 are related to the accuracy of the person classifier. If the accuracy of the person classifier is very high and a person and a person other than a person can be correctly identified, the value C1 is set to a value C1x close to 0, and the abandoned object is easily captured in the background, and the value C2 is set to a value C2x close to 1. Make people difficult to capture in the background. On the other hand, if the accuracy of the person classifier is not so high, there is a risk of misidentifying the abandoned object as a person, or conversely, misidentifying a person as an abandoned object. Therefore, the value C1 is larger than 0, that is, the value C1y larger than the value C1x is allowed to be taken into the background over time, and the value C2 is smaller than 1, that is, the value C2y smaller than the value C2x is gradually To be captured in the background. However, in any case, the condition of value C1 <value C2 is maintained.

ステップＳ４０７では、設定された合成係数αを用いて背景画像の画素を現画像の画素とのアルファブレンドにより更新する。これにより、人物以外の領域の背景画像の画素が現画像の画素を用いて更新される。背景画像を常に最新の状態に保っておくことで、照度変化や背景物の移動などで生じる変化に対応し、背景変化領域の処理において人物以外の領域を誤抽出しないようにする効果がある。   In step S407, the background image pixel is updated by alpha blending with the pixel of the current image using the set synthesis coefficient α. Thereby, the pixels of the background image in the area other than the person are updated using the pixels of the current image. By keeping the background image always up-to-date, it is possible to cope with changes caused by changes in illuminance, movement of background objects, and the like, so that areas other than the person are not erroneously extracted in the processing of the background change area.

このとき、ステップＳ４０３〜４０６での処理のように合成係数αを設定することで、仮に人物識別器の識別精度が十分でなく、放置物を人物と誤判定した場合においてもアルファブレンドで徐々に背景更新がなされるので、放置物が背景差分領域として抽出され続けることを防止することができる。   At this time, by setting the synthesis coefficient α as in the processing in steps S403 to S406, the identification accuracy of the person classifier is not sufficient, and even if the abandoned object is erroneously determined as a person, the alpha blending is gradually performed. Since the background is updated, it is possible to prevent the abandoned object from being continuously extracted as the background difference area.

以上の処理により背景画像更新処理を終了し、図２のステップＳ３０４に処理を戻す。以下の処理では、画像処理部１１０の検出対象物体検出手段１１５において、監視領域内に検出対象が存在するか否かを判定・検出する。本実施の形態では、監視領域内で滞留する人物を検出対象とする場合を例に示す。すなわち、現画像内に一定時間以上滞留している人物が撮像されている場合に「検出対象あり」と判定し、結果を出力する。   With the above processing, the background image update processing is terminated, and the processing returns to step S304 in FIG. In the following processing, the detection target object detection unit 115 of the image processing unit 110 determines and detects whether or not a detection target exists in the monitoring area. In the present embodiment, a case where a person staying in the monitoring area is a detection target is shown as an example. That is, when a person who has stayed in the current image for a certain period of time is captured, it is determined that there is a detection target, and the result is output.

ステップＳ３０４では、検出対象物体検出手段１１５はＳ３０１の背景差分領域と１フレーム前の背景差分領域との間で領域同士の対応づけを行い、追跡された背景差分領域について追跡回数をカウントする。   In step S304, the detection target object detection unit 115 associates the areas between the background difference area of S301 and the background difference area of the previous frame, and counts the number of tracking for the tracked background difference area.

ステップＳ３０５では、ステップＳ３０４において追跡回数が一定以上の背景差分領域が存在する場合は、「検出対象あり」と判定し、出力部１２０に結果を出力する。それ以外の場合は処理を終了する。   In step S <b> 305, when there is a background difference area whose tracking number is equal to or greater than a certain number in step S <b> 304, it is determined that “detection target exists” and the result is output to the output unit 120. Otherwise, the process ends.

具体的には、背景差分抽出手段１１１で抽出された背景差分領域に対して追跡処理を行う。１フレーム前の入力画像に対する背景差分領域と現フレームの現画像に対する背景差分領域との間で同一の物体（人物）を撮像した領域を対応付ける。対応付けがなされた領域について追跡されている回数をカウントする。追跡されている背景差分領域の中で追跡回数のカウントが一定以上のものがあれば、監視領域内に一定時間以上滞留している人物が存在すると判定し、結果を出力部１２０へ出力する。   Specifically, the tracking process is performed on the background difference area extracted by the background difference extraction unit 111. An area in which the same object (person) is imaged is associated between the background difference area for the input image one frame before and the background difference area for the current image of the current frame. Counts the number of times the area that has been associated is tracked. If there is a track count that exceeds a certain number in the tracked background difference area, it is determined that there is a person staying in the monitor area for a certain period of time, and the result is output to the output unit 120.

ステップＳ３０６では、出力部１２０は検出対象物体検出手段１１５からの入力を受けて警報を出力する。すなわち、検出対象物体検出手段１１５にて監視領域内に一定時間以上滞留している人物が存在すると判定された場合に警報を出力する。   In step S306, the output unit 120 receives an input from the detection target object detection unit 115 and outputs an alarm. That is, when the detection target object detection unit 115 determines that there is a person who stays in the monitoring area for a certain time or longer, an alarm is output.

なお、検出対象物体検出手段１１５については、滞留する人物を検出対象とする例を示したが、背景差分領域を用いて検出対象となる物体を検出するものであればこれに限らない。   The detection target object detection means 115 has been described as an example in which a staying person is a detection target. However, the detection target object detection unit 115 is not limited to this as long as it detects an object to be detected using a background difference region.

また、上記実施の形態では、検出対象物体識別器１１３は、静止物体領域が人物であるか否かを真か偽の２値で出力する態様としたが、これに限定されるものではない。   In the above embodiment, the detection target object discriminator 113 outputs a true or false binary value indicating whether or not the stationary object region is a person. However, the present invention is not limited to this.

例えば、検出対象物体識別器１１３は、識別結果を連続値で出力する識別器に変更してもよい。上記非特許文献に記載されているアダブースト（Adaboost）の識別手法では、識別結果は真か偽の２値で出力される。これをリアル・アダブースト（RealAdaboost）のように識別結果を連続値で出力するような識別手法に代えてもよい。リアル・アダブーストでは、識別の信頼性が高いほど大きい値が出力され、信頼性が低いほど小さい値が出力され、識別の信頼性が連続値として出力される。   For example, the detection target object classifier 113 may be changed to a classifier that outputs the identification result as a continuous value. In the Adaboost identification method described in the above non-patent document, the identification result is output as a binary value of true or false. This may be replaced with an identification method in which the identification result is output as a continuous value such as Real Adaboost. In Real Adaboost, a higher value is output as the identification reliability is higher, a smaller value is output as the reliability is lower, and the identification reliability is output as a continuous value.

この場合、背景更新処理部におけるアルファブレンドの合成係数αを検出対象物体識別器１１３が出力する連続値に応じて変えることが好適である。検出対象物体識別器１１３の出力値が大きい、つまり、人物らしさが高いと識別される程、背景更新処理の合成係数αを１に近い値として背景に取り込まれにくくする。逆に、検出対象物体識別器１１３の出力値が小さい、つまり、人物らしさが低い程、背景更新処理の合成係数αを０に近い値として背景に取り込まれやすくする。このように、識別の信頼性の大きさによって背景更新の度合いを可変にすることで、人物らしさが高い領域程背景更新されにくく、人物らしさが低い領域程早く背景更新することができる。   In this case, it is preferable to change the alpha blend composition coefficient α in the background update processing unit according to the continuous value output by the detection target object discriminator 113. The greater the output value of the detection target object discriminator 113, that is, the higher the person-likeness is, the less the background update processing composite coefficient α is set to 1 and the less likely it is to be captured in the background. Conversely, the smaller the output value of the detection target object discriminator 113, that is, the lower the personness, the easier it is to capture the background update processing synthesis coefficient α as a value close to 0 in the background. As described above, by changing the degree of background update according to the degree of reliability of identification, the background is more difficult to be updated in the region having a higher human character, and the background can be updated earlier in the region having a lower human character.

また、検出対象物体識別器１１３で検出可能な物体は人物に限定されるものではない。例えば、ペット、自動車、船舶、自動掃除機、自動ロボット、鞄等の物体の特徴量を事前収集して統計的にそれらの物体との識別境界を決定する識別器を構成することができる。これによって、人物以外の検出対象物体を検出する画像監視装置を構成することができる。   Further, the object that can be detected by the detection target object classifier 113 is not limited to a person. For example, it is possible to configure a discriminator that pre-collects feature quantities of objects such as pets, automobiles, ships, automatic vacuum cleaners, automatic robots, cages and the like and statistically determines discrimination boundaries with those objects. Thus, it is possible to configure an image monitoring apparatus that detects a detection target object other than a person.

以上のように、監視領域内に常に人物が存在するような環境においては、人物が静止する状況が十分に考えられるため、静止人物と背景物を区別して背景画像を更新することが重要となる。一方で、監視領域内に持ち込まれ、その後放置された物体（放置物）のように、人物以外の静止する物体は背景画像に取り込まれる。本実施の形態における画像監視装置では、監視領域内で静止している人物は背景差分領域として正しく抽出される。このため、背景差分領域としては検出されないので、誤って放置物等が滞留している人物として判定されることを防止できる。このため、滞留している人物を精度良く判定可能である。   As described above, in an environment in which a person is always present in the monitoring area, a situation where the person is stationary is sufficiently considered. Therefore, it is important to update the background image by distinguishing the stationary person from the background object. . On the other hand, a stationary object other than a person, such as an object (left object) that is brought into the monitoring area and then left, is captured in the background image. In the image monitoring apparatus according to the present embodiment, a person who is stationary in the monitoring area is correctly extracted as a background difference area. For this reason, since it is not detected as a background difference area, it can be prevented that the left object or the like is erroneously determined as a person. For this reason, it is possible to accurately determine the person who is staying.

また、本実施の形態では、画像監視装置の各部の機能を１つのコンピュータで実現する態様を説明したがこれに限定されるものではない。画像監視装置の各部の機能は一般的なコンピュータをプログラムにより制御することによって実現できるものであり、これらの装置の各機能を適宜組み合わせて１つのコンピュータで処理させてもよいし、各機能をネットワーク等で接続された複数のコンピュータで分散処理させてもよい。   In the present embodiment, the mode in which the function of each unit of the image monitoring apparatus is realized by one computer has been described. However, the present invention is not limited to this. The functions of each part of the image monitoring apparatus can be realized by controlling a general computer by a program, and each function of these apparatuses may be appropriately combined and processed by one computer, or each function may be networked. Alternatively, distributed processing may be performed by a plurality of computers connected by, for example.

１００ 撮像部、１０１ 記憶部、１１０ 画像処理部、１１１ 背景差分抽出手段、１１２ フレーム間差分抽出手段、１１３ 検出対象物体識別器、１１４ 背景画像更新手段、１１５ 検出対象物体検出手段、１２０ 出力部。   DESCRIPTION OF SYMBOLS 100 Imaging part, 101 Memory | storage part, 110 Image processing part, 111 Background difference extraction means, 112 Interframe difference extraction means, 113 Detection target object identification device, 114 Background image update means, 115 Detection target object detection means, 120 Output part.

Claims (5)

監視領域を順次撮影して監視画像を取得する撮像部と、
検出対象物体が撮影されていない監視領域の画像である背景画像を記憶している記憶部と、
前記監視画像および前記背景画像を用いて所定の検出対象物体を検出する画像処理部と、
を備える画像監視装置において、
前記画像処理部は、
前記背景画像と前記監視画像を差分処理し、背景差分領域を抽出する背景差分抽出手段と、
順次撮影された前記監視画像を差分処理し、フレーム間差分領域を抽出するフレーム間差分抽出手段と、
前記監視画像の画像特徴から検出対象物体が存在する検出対象物体領域を識別する検出対象物体識別器と、
前記監視画像の各領域の画素値を所定の透過率で制御して、当該画素値にて前記背景画像の対応する領域の画素値を順次更新する背景画像更新手段と、を有し、
前記背景画像更新手段は、前記背景差分領域であって前記フレーム間差分領域でない領域、かつ前記検出対象物体領域でない領域内について前記透過率を第一の透過率に設定し、前記背景差分領域であって前記フレーム間差分領域でない領域、かつ前記検出対象物体領域である領域について前記透過率を前記第一の透過率よりも高い第二の透過率に設定することを特徴とした画像監視装置。 An imaging unit that sequentially captures a monitoring area and obtains a monitoring image;
A storage unit that stores a background image that is an image of a monitoring area in which a detection target object is not captured;
An image processing unit for detecting a predetermined detection target object using the monitoring image and the background image;
In an image monitoring apparatus comprising:
The image processing unit
Background difference extraction means for differentially processing the background image and the monitoring image and extracting a background difference area;
An inter-frame difference extracting means for differentially processing the monitoring images taken sequentially and extracting an inter-frame difference area;
A detection target object discriminator for identifying a detection target object region where a detection target object exists from the image features of the monitoring image;
Background image update means for controlling the pixel value of each area of the monitoring image with a predetermined transmittance and sequentially updating the pixel value of the corresponding area of the background image with the pixel value;
The background image update means sets the transmittance to a first transmittance in a region that is the background difference region that is not the inter-frame difference region and that is not the detection target object region, and the background difference region An image monitoring apparatus, wherein the transmittance is set to a second transmittance higher than the first transmittance for a region that is not the inter-frame difference region and a region that is the detection target object region. 前記背景画像更新手段は、
前記背景差分領域でなく前記フレーム間差分領域でない領域について、前記背景画像の画素値を前記監視画像の画素値に更新する請求項１に記載の画像監視装置。 The background image update means includes
The image monitoring apparatus according to claim 1, wherein the pixel value of the background image is updated to the pixel value of the monitoring image for an area that is not the background difference area and is not the inter-frame difference area. 前記背景画像更新手段は、
前記背景差分領域かつ前記フレーム間差分領域である領域について、前記背景画像の画素値の更新を行わない請求項１または請求項２に記載の画像監視装置。 The background image update means includes
The image monitoring apparatus according to claim 1, wherein pixel values of the background image are not updated for the background difference area and the area that is the inter-frame difference area. 前記背景画像更新手段は、
前記背景差分領域かつ前記フレーム間差分領域であり、かつ前記検出対象物体領域である領域については前記背景画像の画素値の更新を行わず、前記検出対象物体でない領域については更新を行うことを特徴とする請求項１または請求項２に記載の画像監視装置。 The background image update means includes
A pixel value of the background image is not updated for a region that is the background difference region and the inter-frame difference region and is the detection target object region, and is updated for a region that is not the detection target object. The image monitoring apparatus according to claim 1 or 2. 前記背景画像更新手段は、
前記検出対象物体識別器において前記監視画像内の各領域について求められた検出対象物らしさに応じた前記透過率を用いて前記背景画像の当該領域に対応する領域の画素値を更新することを特徴とする請求項１から請求項４のいずれか１項に記載の画像監視装置。 The background image update means includes
The pixel value of a region corresponding to the region of the background image is updated using the transmittance according to the likelihood of the detection target obtained for each region in the monitoring image in the detection target object classifier. The image monitoring apparatus according to any one of claims 1 to 4.
JP2012013865A 2012-01-26 2012-01-26 Image monitoring device Active JP5832910B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012013865A JP5832910B2 (en) 2012-01-26 2012-01-26 Image monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012013865A JP5832910B2 (en) 2012-01-26 2012-01-26 Image monitoring device

Publications (2)

Publication Number Publication Date
JP2013152669A JP2013152669A (en) 2013-08-08
JP5832910B2 true JP5832910B2 (en) 2015-12-16

Family

ID=49048945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012013865A Active JP5832910B2 (en) 2012-01-26 2012-01-26 Image monitoring device

Country Status (1)

Country Link
JP (1) JP5832910B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6167772B2 (en) * 2013-09-05 2017-07-26 富士通株式会社 Information processing apparatus, information processing apparatus control method, and program thereof
JP6602009B2 (en) * 2014-12-16 2019-11-06 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP6931290B2 (en) * 2017-03-03 2021-09-01 キヤノン株式会社 Image generator and its control method
JP7080614B2 (en) * 2017-09-29 2022-06-06 キヤノン株式会社 Image processing equipment, image processing system, image processing method, and program
JP7067023B2 (en) 2017-11-10 2022-05-16 富士通株式会社 Information processing device, background update method and background update program
JP6945517B2 (en) * 2018-12-14 2021-10-06 三菱電機インフォメーションシステムズ株式会社 Leftovers detection device, leftovers detection method and leftovers detection program
JP7096175B2 (en) * 2019-01-23 2022-07-05 Kddi株式会社 Object extraction method and device
EP3800615A1 (en) * 2019-10-01 2021-04-07 Axis AB Method and device for image analysis
JP6866450B2 (en) * 2019-10-10 2021-04-28 キヤノン株式会社 Image processing equipment, image processing methods, and programs
CN113011226B (en) * 2019-12-19 2024-05-03 合肥君正科技有限公司 Method for detecting shielding of color objects of in-car monitoring picture

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3185362B2 (en) * 1992-05-28 2001-07-09 松下電器産業株式会社 Moving object detection device
JP2000090277A (en) * 1998-09-10 2000-03-31 Hitachi Denshi Ltd Reference background image updating method, method and device for detecting intruding object
JP5106356B2 (en) * 2008-11-17 2012-12-26 セコム株式会社 Image monitoring device
JP5154461B2 (en) * 2009-01-27 2013-02-27 セコム株式会社 Moving object tracking device

Also Published As

Publication number Publication date
JP2013152669A (en) 2013-08-08

Similar Documents

Publication Publication Date Title
JP5832910B2 (en) Image monitoring device
JP6655878B2 (en) Image recognition method and apparatus, program
JP6554169B2 (en) Object recognition device and object recognition system
US10032283B2 (en) Modification of at least one parameter used by a video processing algorithm for monitoring of a scene
JP5218168B2 (en) Imaging device, moving object detection method, moving object detection circuit, program, and monitoring system
JP5722381B2 (en) Video analysis
JP6639523B2 (en) Automatic learning image sorting device, automatic learning image sorting method, and automatic learning image sorting program
JP2010122746A (en) Image monitoring device
CN104603838B (en) Apparatus and method for monitoring object from captured image
JP5865710B2 (en) Image processing device
JP2014186547A (en) Moving object tracking system, method and program
JP7074174B2 (en) Discriminator learning device, discriminator learning method and computer program
JP2009211122A (en) Image processor and object estimation program
JP6527183B2 (en) Leftover object detection device
US20200311438A1 (en) Representative image generation device and representative image generation method
JP4740755B2 (en) Monitoring device using images
JP6819689B2 (en) Image processing equipment, stagnant object tracking system, image processing method and recording medium
JP6939065B2 (en) Image recognition computer program, image recognition device and image recognition method
JP2004295416A (en) Image processing apparatus
JP6350331B2 (en) TRACKING DEVICE, TRACKING METHOD, AND TRACKING PROGRAM
JP4096757B2 (en) Image tracking device
JP4645321B2 (en) Moving object detection device using images
JP6124739B2 (en) Image sensor
JP6527729B2 (en) Image processing apparatus and image processing program
JP2017228303A (en) Moving object tracking device, method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151028

R150 Certificate of patent or registration of utility model

Ref document number: 5832910

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250