JP6308612B2 - Image processing apparatus, image processing method, and image processing program - Google Patents
Image processing apparatus, image processing method, and image processing program Download PDFInfo
- Publication number
- JP6308612B2 JP6308612B2 JP2013227074A JP2013227074A JP6308612B2 JP 6308612 B2 JP6308612 B2 JP 6308612B2 JP 2013227074 A JP2013227074 A JP 2013227074A JP 2013227074 A JP2013227074 A JP 2013227074A JP 6308612 B2 JP6308612 B2 JP 6308612B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- target area
- stop
- input
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000004148 unit process Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 description 28
- 230000007613 environmental effect Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
この発明は、ビデオカメラ等の撮像装置で撮像した対象エリアの動画像を処理して、撮像されているオブジェクトを検出する技術に関する。 The present invention relates to a technique for processing a moving image of a target area imaged by an imaging device such as a video camera and detecting an object being imaged.
従来、ビデオカメラ等の撮像装置を利用して、不審者の侵入や、不審物の放置を監視する監視システムが実用化されている。この監視システムは、撮像装置で撮像した監視対象エリア（撮像装置の撮像エリア）のフレーム画像を時系列に処理し、撮像されているオブジェクト（不審者や不審物等）を検出し、追跡する処理を行う画像処理装置を備えている。上位装置は、画像処理装置におけるオブジェクトの検出結果に応じて、オブジェクトの検出や、追跡結果を係員に対して報知する処理や、検出したオブジェクトが撮像されているフレーム画像を表示器に表示する処理等を行う。 2. Description of the Related Art Conventionally, a monitoring system for monitoring the intrusion of a suspicious person or leaving a suspicious object using an imaging device such as a video camera has been put into practical use. This monitoring system processes a frame image of a monitoring target area (imaging area of an imaging device) imaged by an imaging device in time series, and detects and tracks an imaged object (suspicious person, suspicious object, etc.) An image processing apparatus is provided. The host device performs object detection, processing for notifying an attendant of the tracking result according to the object detection result in the image processing device, and processing for displaying a frame image in which the detected object is captured on the display. Etc.
画像処理装置は、例えば、監視対象エリアの背景画像を記憶している。画像処理装置は、監視対象エリアを撮像したフレーム画像の画素毎に、その画素が背景を撮像している背景画素であるか、背景でないオブジェクト（物体）を撮像している前景画素であるかを判定した２値化画像（背景差分画像）を生成し、このフレーム画像に撮像されているオブジェクト（前景画素の塊）を検出する。 For example, the image processing apparatus stores a background image of the monitoring target area. The image processing apparatus determines, for each pixel of the frame image obtained by imaging the monitoring target area, whether the pixel is a background pixel imaging the background or a foreground pixel imaging an object (object) that is not the background. The determined binarized image (background difference image) is generated, and an object (a foreground pixel block) captured in the frame image is detected.
また、画像処理装置は、上述した背景差分画像の生成に用いる背景画像を、監視対象エリア内の明るさ等の環境変化に対応させるために、撮像装置が撮像しているフレーム画像（オブジェクトの検出にかかる処理を行ったフレーム画像）を用いて更新している。このため、オブジェクトが監視対象エリア内である程度の時間停止すると、このオブジェクトが背景画像に取り込まれ、その結果、背景画像に取り込まれたオブジェクトが検出できない見逃しが発生することがある。また、この背景に取り込まれたオブジェクトが移動を開始すると、このオブジェクトによって隠れていた背景（撮像されていなかった背景）をオブジェクトとして誤検出することもある。 The image processing apparatus also detects a frame image (object detection) captured by the imaging apparatus so that the background image used for generating the background difference image described above corresponds to environmental changes such as brightness in the monitoring target area. The image is updated using the frame image that has been subjected to the process. For this reason, when the object stops for a certain period of time in the monitoring target area, the object is captured in the background image, and as a result, there is a case in which the object captured in the background image cannot be detected. In addition, when an object captured in this background starts to move, a background hidden by this object (a background that has not been imaged) may be erroneously detected as an object.
そこで、監視対象エリア内で一時的に停止したオブジェクトの見逃しや、このオブジェクトが動きだしたときに背景をオブジェクトとして誤検出するのを防止するために、背景画像に加えて、時系列的な背景情報を用いることが提案されている（特許文献１参照）。この時系列的な背景情報は、監視対象エリアを撮像したフレーム画像において、時間的な変化が少ない静止領域の画像情報である。 Therefore, in order to prevent the object temporarily stopped in the monitoring target area from being overlooked and the background from being erroneously detected as an object when the object starts to move, time-series background information is added to the background image. Has been proposed (see Patent Document 1). This time-series background information is image information of a still area with little temporal change in a frame image obtained by imaging the monitoring target area.
しかしながら、特許文献１は、停止しているオブジェクトに対して、別のオブジェクトが重なって停止すると、重なって停止している複数のオブジェクトにかかる領域を１つの静止領域として検出するので、いずれかのオブジェクトが移動すると、停止状態を継続している他のオブジェクトが、複数に分離することがある。具体的には、移動したオブジェクトによって隠れていた部分（停止状態を継続している他のオブジェクトの一部）が、この停止状態を継続している他のオブジェクトの一部として検出されずに、別のオブジェクトとして誤検出されることがある。 However, in Patent Document 1, when another object overlaps and stops with respect to a stopped object, an area related to the plurality of stopped objects is detected as one stationary area. When the object moves, other objects that are kept stopped may be separated into a plurality of objects. Specifically, the part that was hidden by the moved object (a part of another object that is still in the stopped state) is not detected as a part of the other object that is still in the stopped state, It may be erroneously detected as another object.
この発明の目的は、動画像にかかるフレーム画像に撮像されているオブジェクトを適正に検出することができる技術を提供することにある。 An object of the present invention is to provide a technique capable of appropriately detecting an object captured in a frame image related to a moving image.
この発明の画像処理装置は、上記目的を達するために、以下のように構成している。 In order to achieve the above object, the image processing apparatus of the present invention is configured as follows.
画像入力部には、対象エリアを、ビデオカメラ等の撮像装置で撮像した動画像にかかるフレーム画像が入力される。また、背景画像記憶部は、対象エリアを複数に分割した領域毎に、その領域に属する画像入力部に入力された対象エリアの動画像にかかるフレーム画像の画素を対応づけた分割情報、および、画像入力部に入力された対象エリアの動画像にかかるフレーム画像の各画素について、その画素が属する領域の代表画素値を基準とした背景モデル、を対象エリアの背景画像として記憶する。例えば、背景モデルは、その画素が属する領域の代表画素値を基準とした画素値の発生頻度をモデル化したものにすればよい。この場合には、対象エリアを複数に分割した領域毎に、その領域内における、画像入力部に入力された対象エリアの動画像にかかるフレーム画像の背景画素の画素値の中央値を代表画素値とすればよい。また、各領域の代表画素値は、以下に示す、オブジェクトの検出にかかる処理を行ったフレーム画像を用いて更新すればよい。 The images input unit, the target area, a frame image is input in accordance with the moving image captured by an imaging apparatus such as a video camera. Further, the background image storage unit, for each region obtained by dividing the target area into a plurality of division information that associates the pixels of the frame image related to the moving image of the target area input to the image input unit belonging to the region, and For each pixel of the frame image applied to the moving image of the target area input to the image input unit, a background model based on the representative pixel value of the region to which the pixel belongs is stored as a background image of the target area. For example, the background model may be a model of the pixel value occurrence frequency based on the representative pixel value of the region to which the pixel belongs. In this case, for each region obtained by dividing the target area into a plurality of regions, the median value of the pixel values of the background pixels of the frame image relating to the moving image of the target area input to the image input unit in the region is set as the representative pixel value. And it is sufficient. In addition, the representative pixel value of each region may be updated using a frame image that has been subjected to processing related to object detection as described below.
オブジェクト検出部は、画像入力部に入力された対象エリアの動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出する。オブジェクト種別判定部は、オブジェクト検出部が検出したオブジェクトについて、このオブジェクトが対象エリア内で停止している停止オブジェクトであるかどうかを判定する。停止オブジェクト画像記憶部は、オブジェクト種別判定部が停止していると判定した停止オブジェクト毎に、その停止オブジェクトにかかる画像を停止オブジェクト画像として記憶する。 The object detection unit processes a frame image related to the moving image of the target area input to the image input unit, and detects an object captured in the frame image. The object type determination unit determines whether the object detected by the object detection unit is a stopped object stopped in the target area. The stop object image storage unit stores an image related to the stop object as a stop object image for each stop object that is determined to be stopped by the object type determination unit.
また、オブジェクト検出部は、背景画像記憶部が記憶する背景画像に加えて、停止オブジェクト画像記憶部が記憶する停止オブジェクト画像を用い、画像入力部に入力された対象エリアの動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出する。 The object detection unit uses a stop object image stored in the stop object image storage unit in addition to the background image stored in the background image storage unit, and uses the frame image related to the moving image of the target area input to the image input unit. To detect an object imaged in the frame image.
このように、停止しているオブジェクト毎に、停止オブジェクト画像を記憶する構成としているので、重なって停止している複数のオブジェクトにおいて、いずれかのオブジェクトが移動しても、停止状態を継続している他のオブジェクトが、複数に分離されて検出されるのを防止できる。具体的には、移動したオブジェクトによって隠れていた部分（停止状態を継続している他のオブジェクトの一部）は、この停止状態を継続している他のオブジェクトにかかる停止オブジェクト画像によって、この他のオブジェクトの一部として検出できる。したがって、動画像にかかるフレーム画像に撮像されているオブジェクトを適正に検出することができる。 As described above, since the stopped object image is stored for each stopped object, even if any of the plurality of stopped objects overlaps, the stopped state continues. It is possible to prevent other objects being detected separately from each other. Specifically, the part hidden by the moved object (a part of other objects that are still in the stopped state) is displayed by the stopped object image for the other objects that are still in the stopped state. Can be detected as part of the object. Therefore, it is possible to appropriately detect the object captured in the frame image related to the moving image.
また、オブジェクト検出部は、画像入力部に入力された対象エリアの動画像にかかるフレーム画像の画素毎に、その画素が、背景画像記憶部が記憶する背景画像、停止オブジェクト画像記憶部が記憶する停止オブジェクト画像、または、これら以外の画像のどれに相当するかを対応付けた分布画像を生成し、このフレーム画像に撮像されているオブジェクトを検出する構成にしてもよい。 The object detection unit stores, for each pixel of the frame image related to the moving image of the target area input to the image input unit, the pixel stored in the background image stored in the background image storage unit and the stop object image storage unit. A distribution image in which a stop object image or an image other than these images is associated may be generated, and an object captured in the frame image may be detected.
これにより、対象エリア内で移動しているオブジェクト、および対象エリア内で停止しているオブジェクトを適正に検出することができる。 Thereby, it is possible to appropriately detect an object moving in the target area and an object stopped in the target area.
また、停止オブジェクト画像記憶部に停止オブジェクト画像が記憶されている停止オブジェクトが移動したかどうかを判定する移動判定部と、この移動判定部が移動したと判定した停止オブジェクトについて、停止オブジェクト画像記憶部に記憶されている停止オブジェクト画像を削除する停止オブジェクト画像削除部と、を追加的に設けてもよい。これにより、停止オブジェクト画像を無駄に記憶することがなく、また、停止オブジェクト画像を用いるオブジェクト検出部の処理負荷を抑えることができる。 Further, a movement determination unit that determines whether or not a stop object whose stop object image is stored in the stop object image storage unit has moved, and a stop object image storage unit that determines whether the movement determination unit has moved. And a stop object image deleting unit that deletes the stop object image stored in the image may be additionally provided. Thereby, the stop object image is not stored in vain and the processing load of the object detection unit using the stop object image can be suppressed.
この発明によれば、動画像にかかるフレーム画像に撮像されているオブジェクトを適正に検出することができる。 According to the present invention, it is possible to appropriately detect an object captured in a frame image related to a moving image.
以下、この発明の実施形態である画像処理装置について説明する。 Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described.
図１は、この画像処理装置の主要部の構成を示すブロック図である。画像処理装置１は、制御部２と、画像入力部３と、画像処理部４と、入出力部５と、を備えている。
FIG. 1 is a block diagram showing a configuration of a main part of the image processing apparatus. The image processing apparatus 1 includes a control unit 2, an image input unit 3, an
制御部２は、画像処理装置１本体各部の動作を制御する。 The control unit 2 controls the operation of each part of the main body of the image processing apparatus 1.
画像入力部３は、ビデオカメラ１０が撮像している動画像にかかるフレーム画像が入力される。ビデオカメラ１０は、不審者の侵入や、不審物の放置等を監視する監視対象エリア（この発明で言う対象エリアに相当する。）が撮像エリア内に収まるように設置している。ビデオカメラ１０は、監視対象エリアを撮像したフレーム画像を１秒間に数十フレーム（例えば、１０〜３０フレーム）出力する。
The image input unit 3 receives a frame image related to a moving image captured by the
画像処理部４は、画像入力部３に入力された動画像にかかるフレーム画像を時系列に処理し、フレーム画像に撮像されているオブジェクトを検出するオブジェクト検出処理を行う。このオブジェクト検出処理の詳細については、後述する。また、画像処理部４は、後述する背景画像や、監視対象エリア内で停止しているオブジェクト（停止オブジェクト）の画像（停止オブジェクト画像）を記憶するメモリ４ａを有している。このメモリ４ａが、この発明で言う背景画像記憶部、および停止オブジェクト画像記憶部に相当する。メモリ４ａが記憶する背景画像、および停止オブジェクト画像の詳細については後述する。画像処理部４は、検出したオブジェクトについて、フレーム画像上の位置を検出し、フレーム画像間におけるオブジェクトの位置の変化から、このオブジェクトの移動軌跡を取得する追跡も行える。
The
なお、画像処理部４は、画像入力部３に入力されたフレーム画像に対する画像処理等を実行するマイコンを備えている。この発明にかかる画像処理プログラムは、このマイコンを動作させるプログラムである。また、このマイコンが、この発明にかかる画像処理方法を実行する。また、画像処理装置１全体、または画像処理装置１の一部（例えば、制御部２、および画像処理部４）を汎用コンピュータやパーソナルコンピュータで構成してもよいし、ボードコンピュータで画像処理装置１の一部（例えば、制御部２、および画像処理部４）を構成してもよい。この場合には、この発明にかかる画像処理プログラムは、これらのコンピュータを動作させる。また、これらのコンピュータが、この発明にかかる画像処理方法を実行する。
The
入出力部５は、図示していない上位装置との間におけるデータの入出力を制御する。入出力部５は、画像処理部４でオブジェクトが検出されたときに、その旨を上位装置（不図示）に通知する信号を出力する。入出力部５は、オブジェクトの検出を通知する信号を出力する構成であってもよいし、オブジェクトを検出したフレーム画像とともに、オブジェクトの検出を通知する信号を出力する構成であってもよいし、その他の形態であってもよい。
The input / output unit 5 controls data input / output with a host device (not shown). When the
なお、上位装置は、画像処理装置１の入出力部５から出力された信号によって、監視対象エリア内に位置するオブジェクトの検出が通知されたときに、その旨を音声等で出力して、周辺にいる係員等に通知する構成であってもよいし、さらには、オブジェクトを検出したフレーム画像が送信されてきている場合に、そのフレーム画像を表示器に表示する構成であってもよい。 When the host device is notified of detection of an object located in the monitoring target area by a signal output from the input / output unit 5 of the image processing device 1, the host device outputs a message to that effect and It may be configured to notify a staff member or the like in the office, or may further be configured to display the frame image on a display when a frame image in which an object is detected is transmitted.
次に、この画像処理装置１におけるオブジェクト検出処理の概要について説明する。 Next, an outline of object detection processing in the image processing apparatus 1 will be described.
画像処理装置１は、監視対象エリアの背景画像Ｌ１（図２参照）をメモリ４ａに記憶している。この背景画像は、第１階層である。 The image processing apparatus 1 stores a background image L1 (see FIG. 2) of the monitoring target area in the memory 4a. This background image is the first layer.
画像処理装置１は、画像処理部４が、メモリ４ａに記憶している背景画像を用いて、画像入力部３に入力された監視対象エリアを撮像したフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出する。画像処理部４における、オブジェクトを検出する処理の詳細については、後述する。
In the image processing apparatus 1, the
画像処理部４は、図３（Ａ）に示すオブジェクトＡが撮像されているフレーム画像を処理し、このオブジェクトＡが監視対象エリア内で停止していると判定すると（オブジェクトＡが停止オブジェクトであると判定すると、）、このオブジェクトＡにかかる停止オブジェクト画像Ｌ２（図３（Ｂ）参照）をメモリ４ａに記憶する。
When the
さらに、画像処理部４は、図４（Ａ）に示すオブジェクトＡ、Ｂが撮像されているフレーム画像を処理し、このオブジェクトＢが監視対象エリア内で停止していると判定すると（オブジェクトＢが停止オブジェクトであると判定すると、）、このオブジェクトＢにかかる停止オブジェクト画像Ｌ３（図４（Ｂ）参照）をメモリ４ａに記憶する。
Furthermore, when the
ただし、図４に示す例は、オブジェクトＢが、オブジェクトＡよりもビデオカメラ１０に近い場合のフレーム画像である。すなわち、フレーム画像において、オブジェクトＡの上にオブジェクトＢが重なっている。
However, the example shown in FIG. 4 is a frame image when the object B is closer to the
この例の画像処理装置１は、背景画像Ｌ１、および停止オブジェクト画像Ｌ２、Ｌ３・・・Ｌｎを階層として取り扱う。最下位の階層（第１階層）が、背景画像Ｌ１である。また、ビデオカメラ１０により近いオブジェクトにかかる停止オブジェクト画像ほど、上位の階層である。すなわち、この例では、背景画像Ｌ１が第１階層、停止オブジェクト画像Ｌ２が第２階層、停止オブジェクト画像Ｌ３が第３階層である。
The image processing apparatus 1 in this example handles the background image L1 and the stop object images L2, L3,. The lowest hierarchy (first hierarchy) is the background image L1. Further, the higher the stop object image of the object closer to the
また、詳細については後述するが、画像処理部４は、停止オブジェクト画像をメモリ４ａに記憶しているときは、背景画像Ｌ１に加えて、記憶している全ての停止オブジェクト画像Ｌ２〜Ｌｎを用いて、画像入力部３に入力された監視対象エリアを撮像したフレーム画像を処理し、撮像されているオブジェクトを検出する。
Although details will be described later, when the stop object image is stored in the memory 4a, the
これにより、図５に示すように、画像入力部３に入力された監視対象エリアを撮像したフレーム画像に別のオブジェクトＣが撮像されているときには、このオブジェクトＣをオブジェクトＡ、Ｂと区別して検出できる。 Thus, as shown in FIG. 5, when another object C is captured in the frame image obtained by capturing the monitoring target area input to the image input unit 3, this object C is detected separately from the objects A and B. it can.
また、画像処理部４は、図６（Ａ）に示すように、画像入力部３に入力された監視対象エリアを撮像したフレーム画像にオブジェクトＡが撮像されていないと、このオブジェクトＡにかかる停止オブジェクト画像Ｌ２をメモリ４ａから削除する。また、画像処理部４は、図６（Ｂ）に示すように、画像入力部３に入力された監視対象エリアを撮像したフレーム画像にオブジェクトＢが撮像されていないと、このオブジェクトＢにかかる停止オブジェクト画像Ｌ３をメモリ４ａから削除する。
Further, as shown in FIG. 6A, the
ここで、メモリ４ａに記憶している背景画像Ｌ１について説明する。背景画像Ｌ１は、（１）対象エリアを複数に分割した領域毎に、その領域に属するフレーム画像の画素を対応づけた分割情報と、
（２）フレーム画像の各画素について、その画素が属する領域の代表画素値（この例では、代表輝度値）を基準とした画素値（輝度値）の発生頻度をモデル化した背景モデルと、で構成されるデータである。
Here, the background image L1 stored in the memory 4a will be described. The background image L1 includes (1) division information that associates the pixels of the frame image belonging to the area for each area obtained by dividing the target area into a plurality of areas,
(2) For each pixel of the frame image, a background model that models the frequency of occurrence of a pixel value (luminance value) based on the representative pixel value (in this example, the representative luminance value) of the region to which the pixel belongs, It is data that is composed.
画像処理部４は、画像入力部３に入力された、オブジェクトが撮像されていないフレーム画像（例えば、図２に示したフレーム画像）を処理して、背景画像Ｌ１にかかるデータを生成する。
The
図７は、背景画像データ生成処理を示すフローチャートである。画像処理部４は、画像入力部３に入力された、オブジェクトが撮像されていないフレーム画像を、予め定めた条件に基づいて複数の領域に分割する（ｓ１）。図８は、フレーム画像を複数の領域に分割した例を示している。図８において、破線で囲まれている部分が分割した領域である。
FIG. 7 is a flowchart showing background image data generation processing. The
ｓ１では、輝度Ｙ、および色味（Ｕ，Ｖ）が類似し、且つ、比較的位置が近い画素が同じ領域（クラスタ）に属するように分割する。この場合、輝度Ｙ、および色味（Ｕ，Ｖ）にかかる類似度の閾値や、同じ領域に属する画素間の距離の最大値等を条件として設定している。 In s1, the pixels are divided so that pixels having similar brightness Y and color (U, V) and relatively close positions belong to the same region (cluster). In this case, the threshold value of the degree of similarity relating to the luminance Y and the color (U, V), the maximum value of the distance between pixels belonging to the same region, and the like are set as conditions.
また、ｓ１では、輝度Ｙ、および色味（Ｕ，Ｖ）の時間的変化の傾向が類似し、且つ、比較的位置が近い画素が同じ領域に属するように分割してもよい。この場合には、輝度Ｙ、および色味（Ｕ，Ｖ）の時間的変化の傾向を得るために、複数のフレームの背景画像を用いる。また、輝度Ｙ、および色味（Ｕ，Ｖ）の時間的変化の傾向にかかる類似度の閾値や、同じ領域に属する画素間の距離の最大値等を条件として設定しておく。 Moreover, in s1, you may divide | segment so that the tendency of the temporal change of the brightness | luminance Y and a color (U, V) is similar, and the pixel with a comparatively near position may belong to the same area | region. In this case, a background image of a plurality of frames is used in order to obtain a tendency of temporal change in luminance Y and color (U, V). In addition, the threshold value of the degree of similarity according to the tendency of temporal change in luminance Y and color (U, V), the maximum value of the distance between pixels belonging to the same region, and the like are set as conditions.
画像処理部４は、ｓ１で分割した領域毎に、その領域に属するフレーム画像の画素を対応づけた分割情報を生成する（ｓ２）。フレーム画像の各画素は、いずれかの領域に属する。
For each region divided in s1, the
画像処理部４は、フレーム画像の画素毎に背景モデルを算出する（ｓ３）。ｓ３では、ｓ１で分割した領域毎に、以下に示す処理を行う。
The
（１）処理対象の領域について代表輝度値を得る。代表輝度値とは、その領域に属する全ての画素の輝度値の中央値（出現頻度が最も高い輝度値）である。 (1) Obtain a representative luminance value for the region to be processed. The representative luminance value is the median value (the luminance value with the highest appearance frequency) of the luminance values of all the pixels belonging to the region.
（２）処理対象の領域に属する画素毎に、その画素の輝度値と、ここで算出した代表輝度値との差（代表輝度値−画素の輝度値）を中心とする予め定めた分布（例えば、ガウス分布）を、この対象画素の背景モデルとする。 (2) For each pixel belonging to the region to be processed, a predetermined distribution centered on the difference (representative luminance value−pixel luminance value) between the luminance value of the pixel and the representative luminance value calculated here (for example, , Gaussian distribution) as the background model of the target pixel.
図９は、ある画素の背景モデルを示す図である。図９に示す背景モデルは、代表輝度値との輝度値の差がＤであった画素について設定したものである。図９に示す閾値は、その画素が背景であるかどうかを判定する判定基準である。すなわち、各画素の背景モデルは、その画素が属する領域の代表輝度値を基準とした輝度値の発生頻度をモデル化したものである。 FIG. 9 is a diagram illustrating a background model of a certain pixel. The background model shown in FIG. 9 is set for a pixel whose difference in luminance value from the representative luminance value is D. The threshold shown in FIG. 9 is a criterion for determining whether or not the pixel is the background. That is, the background model of each pixel is a model of the frequency of occurrence of luminance values with reference to the representative luminance value of the area to which the pixel belongs.
なお、背景モデルにかかる分布については、各画素に個別に設定してもよいし、全ての画素で同じに設定してもよい。 The distribution relating to the background model may be set individually for each pixel, or may be set to be the same for all pixels.
画像処理部４は、ｓ２で生成した分割情報、および、ｓ３で生成した各画素の背景モデルを背景画像Ｌ１にかかるデータとしてメモリ４ａに記憶する（ｓ４）。
The
また、メモリ４ａに記憶する停止オブジェクト画像Ｌｎも、上述した背景画像Ｌ１と同様に、
（１）停止オブジェクトを複数に分割した領域毎に、その領域に属するフレーム画像の画素を対応づけた分割情報と、
（２）停止オブジェクトにかかる各画素について、その画素が属する領域の代表輝度値を基準とした輝度値の発生頻度をモデル化した停止オブジェクトモデルと、で構成されるデータである。
In addition, the stop object image Ln stored in the memory 4a is also similar to the background image L1 described above.
(1) For each area obtained by dividing the stop object into a plurality of pieces, division information that associates the pixels of the frame image belonging to the area;
(2) For each pixel related to the stop object, the data is composed of a stop object model that models the occurrence frequency of the luminance value with reference to the representative luminance value of the area to which the pixel belongs.
なお、停止オブジェクト画像Ｌｎのデータには、フレーム画像において、停止オブジェクトを撮像していない画素についての分割情報、および停止オブジェクトモデルが含まれない。言い換えれば、停止オブジェクト画像Ｌｎのデータは、フレーム画像において、停止オブジェクトを撮像している画素の分割情報、および停止オブジェクトモデルで構成される。 Note that the data of the stop object image Ln does not include the division information and the stop object model for the pixels that have not captured the stop object in the frame image. In other words, the data of the stop object image Ln is composed of the division information of the pixels capturing the stop object and the stop object model in the frame image.
停止オブジェクト画像Ｌｎの分割は、上述のｓ１と同様の手法で行う。また、各画素の停止オブジェクトモデルは、上述のｓ３と同様の手法で設定する。 The stop object image Ln is divided by the same method as in s1 described above. In addition, the stop object model of each pixel is set by the same method as in s3 described above.
次に、この画像処理装置１におけるフレーム画像の処理動作について説明する。まず、一連の処理動作の概略を説明し、その後で、いくつかの処理について詳細に説明する。図１０は、画像処理装置の動作を示すフローチャートである。 Next, a frame image processing operation in the image processing apparatus 1 will be described. First, an outline of a series of processing operations will be described, and then several processes will be described in detail. FIG. 10 is a flowchart showing the operation of the image processing apparatus.
画像処理装置１は、画像入力部３に入力されたフレーム画像の中で、時間的にもっとも古い未処理のフレーム画像を処理対象のフレーム画像に決定する（ｓ１１）。 The image processing apparatus 1 determines the oldest unprocessed frame image in time among the frame images input to the image input unit 3 as a processing target frame image (s11).
画像処理部４は、ｓ１１で決定した処理対象のフレーム画像について分布画像を生成する（ｓ１２）。この分布画像は、処理対象のフレーム画像の画素毎に、その画素が背景画像Ｌ１、その時点でメモリ４ａに記憶している停止オブジェクト画像Ｌ２〜Ｌｎ、または、これら以外の画像のどれに属するかを判定した画像である。メモリ４ａに複数の停止オブジェクト画像Ｌ２〜Ｌｎを記憶しているときには、どの停止オブジェクト画像Ｌ２〜Ｌｎにかかる画素であるかを判定している。
The
停止オブジェクト画像をメモリ４ａに記憶していない場合には、ｓ１２で生成される分布画像は、処理対象フレーム画像の画素毎に、その画素が背景画像Ｌ１に属する画素（Ｌ１）であるか、他のオブジェクトに属する画素（前景画素）であるかの２値画像になる。 When the stop object image is not stored in the memory 4a, the distribution image generated in s12 is, for each pixel of the processing target frame image, whether the pixel belongs to the background image L1 (L1) or other This is a binary image as to whether the pixel (foreground pixel) belonging to the object.
また、図３（Ｂ）に示した停止オブジェクト画像Ｌ２をメモリ４ａに記憶している場合には、ｓ１２で生成される分布画像は、処理対象フレーム画像の画素毎に、その画素が背景画像Ｌ１に属する画素（Ｌ１）であるか、停止オブジェクト画像Ｌ２に属する画素（Ｌ２）であるか、他のオブジェクトに属する画素（前景画素）であるかの３値画像になる。 Further, when the stopped object image L2 shown in FIG. 3B is stored in the memory 4a, the distribution image generated in s12 is the background image L1 for each pixel of the processing target frame image. Is a pixel (L1) belonging to, a pixel (L2) belonging to the stopped object image L2, or a pixel (foreground pixel) belonging to another object.
また、図３（Ｂ）に示した停止オブジェクト画像Ｌ２、および図４（Ｂ）に示した停止オブジェクト画像Ｌ３をメモリ４ａに記憶している場合には、ｓ１２で生成される分布画像は、処理対象フレーム画像の画素毎に、その画素が背景画像Ｌ１に属する画素（Ｌ１）であるか、オブジェクト画像Ｌ２に属する画素（Ｌ２）であるか、オブジェクト画像Ｌ３に属する画素（Ｌ３）であるか、他のオブジェクトに属する画素（前景画素）であるかの４値画像になる。 Further, when the stopped object image L2 shown in FIG. 3B and the stopped object image L3 shown in FIG. 4B are stored in the memory 4a, the distribution image generated in s12 is processed. For each pixel of the target frame image, whether the pixel is a pixel (L1) belonging to the background image L1, a pixel (L2) belonging to the object image L2, or a pixel (L3) belonging to the object image L3, It becomes a four-value image as to whether it is a pixel (foreground pixel) belonging to another object.
例えば、図３（Ｂ）に示した停止オブジェクト画像Ｌ２、および図４（Ｂ）に示した停止オブジェクト画像Ｌ３をメモリ４ａに記憶している場合において、処理対象フレーム画像が図５に示すフレーム画像である場合、図１１に示す分布画像が生成される。 For example, when the stop object image L2 shown in FIG. 3B and the stop object image L3 shown in FIG. 4B are stored in the memory 4a, the processing target frame image is the frame image shown in FIG. In this case, the distribution image shown in FIG. 11 is generated.
画像処理部４は、ｓ１２で生成した分布画像を処理し、撮像されているオブジェクトを検出するオブジェクト検出処理を行う（ｓ１３）。ｓ１３では、ｓ１２で生成した分布画像において、前景画素と判定した画素の塊を１つのオブジェクトとして検出する。ｓ１３で検出されるオブジェクトは、１つであるとは限らない（複数検出されることもあれば、１つも検出されないこともある。）。図１１に示す例では、オブジェクトＣが検出される。このｓ１２、およびｓ１３にかかる処理が、この発明で言うオブジェクト検出部に相当する。また、処理対象のフレーム画像に撮像されているオブジェクトＡ、Ｂ（停止オブジェクト画像Ｌ２、Ｌ３にかかるオブジェクト）については、後述する処理で検出される。
The
画像処理部４は、ｓ１３で検出したオブジェクト毎に、そのオブジェクトが監視対象エリア内で停止している停止オブジェクトであるかどうかを判定する（ｓ１４）。ｓ１４では、予め定めた所定フレーム（例えば１０フレーム）にわたって、検出された位置がほとんど変化していないオブジェクトを停止オブジェクトであると判定する。上述したように、画像処理部４は、検出したオブジェクトを追跡しているので、このオブジェクトについて取得している移動軌跡から、ｓ１４にかかる判定が行える。このｓ１４にかかる処理が、この発明で言うオブジェクト種別判定部に相当する。
The
画像処理部４は、ｓ１４で停止オブジェクトであると判定したオブジェクトがあれば、そのオブジェクトについて停止オブジェクト画像Ｌｎを生成する（ｓ１５、ｓ１６）。ｓ１６では、複数のオブジェクトについて、停止オブジェクト画像Ｌｎを生成することもある。画像処理部４は、ｓ１６で生成した停止オブジェクト画像Ｌｎをメモリ４ａに記憶する。
If there is an object determined to be a stop object in s14, the
画像処理部４は、移動した停止オブジェクトの有無を判定する（ｓ１７）。停止オブジェクトとは、停止オブジェクト画像Ｌｎをメモリ４ａに記憶しているオブジェクトである。ｓ１７では、停止オブジェクト毎に、その停止オブジェクトがメモリ４ａに記憶している位置にあるかどうかによって、判定する。このｓ１７にかかる処理が、この発明で言う移動判定部に相当する。
The
画像処理部４は、ｓ１７で移動したと判定した停止オブジェクトがあれば、その停止オブジェクトにかかる停止オブジェクト画像Ｌｎをメモリ４ａから削除する（ｓ１８）。このｓ１８にかかる処理が、この発明で言う停止オブジェクト画像削除部に相当する。
If there is a stop object determined to have moved in s17, the
なお、ｓ１７にかかる処理で、停止状態を維持している停止オブジェクトを適正に検出できる。また、移動した停止オブジェクトについては、上述のｓ１３で検出される。 In addition, the process concerning s17 can detect the stop object which has maintained the stop state appropriately. The stopped object that has moved is detected in s13 described above.
画像処理部４は、代表輝度値を更新し（ｓ１９）、ｓ１１に戻る。ｓ１９では、背景画像Ｌ１を分割した各領域の代表輝度値を更新するだけでなく、メモリ４ａに記憶している停止オブジェクト画像Ｌｎ毎に、その停止オブジェクト画像Ｌｎを分割した各領域の代表輝度値も更新する。具体的には、背景画像Ｌ１にかかる各領域の代表輝度値は、その領域において背景画素であると判定された画素の輝度値の中央値に更新する。同様に、停止オブジェクト画像Ｌｎにかかる各領域の代表輝度値は、その領域において停止オブジェクト画像Ｌｎであると判定された画素の輝度値の中央値に更新する。これにより、背景画像Ｌ１にかかる各画素の背景モデルや、停止オブジェクト画像Ｌｎにかかる各画素の停止オブジェクトモデルは、監視対象エリア内の明るさ等の環境変化に応じて変化する。言い換えれば、背景画像Ｌ１にかかる各画素の背景モデルや、停止オブジェクト画像Ｌｎにかかる各画素の停止オブジェクトモデルは、監視対象エリア内の明るさ等の環境変化に応じて更新される。
The
次に、上述したｓ１２にかかる分布画像生成処理について詳細に説明する。図１２は、この分布画像生成処理を示すフローチャートである。 Next, the distribution image generation processing according to s12 described above will be described in detail. FIG. 12 is a flowchart showing this distribution image generation processing.
画像処理部４は、最上位階層を取得する（ｓ２１）。ｓ２１で取得する最上位階層は、メモリ４ａに記憶している停止オブジェクト画像の中で最上位に位置する階層である（最も、ビデオカメラ１０側に位置する停止オブジェクトにかかる停止オブジェクト画像である。）。最上位階層は、図３に示す例では、停止オブジェクト画像Ｌ２であり、図４に示す例では、停止オブジェクト画像Ｌ３である。また、メモリ４ａに停止オブジェクト画像を１つも記憶していなければ、ｓ２１では、図２に示す背景画像Ｌ１を最上位階層として取得する。
The
画像処理部４は、処理対象のフレーム画像のいずれかの画素を判定対象画素に決定する（ｓ２２）。画像処理部４は、本処理を行っていない未判定の画素を、判定対象画素に決定する。画像処理部４は、ｓ２１で取得した最上位階層を判定対象階層に設定する（ｓ２３）。
The
画像処理部４は、判定対象画素が、判定対象階層の画素であるかどうかを判定する（ｓ２４）。ｓ２４では、
（１）判定対象階層に、判定対象画素に対応する画素があるかどうか判定する。ここで、判定対象階層に、判定対象画素に対応する画素がないと判定すると、判定対象画素は、判定対象階層の画素でないと判定し、以下に示す（２）以降の処理を行わない。
The
(1) It is determined whether there is a pixel corresponding to the determination target pixel in the determination target hierarchy. Here, if it is determined that there is no pixel corresponding to the determination target pixel in the determination target hierarchy, the determination target pixel is determined not to be a pixel in the determination target hierarchy, and the following processing (2) and subsequent steps are not performed.
（２）判定対象階層に、判定対象画素に対応する画素があれば、その画素が属する領域の代表輝度値を得る。この代表輝度値は、前回のフレーム画像に対する処理のｓ１９で更新された値である。 (2) If there is a pixel corresponding to the determination target pixel in the determination target hierarchy, the representative luminance value of the region to which the pixel belongs is obtained. This representative luminance value is the value updated in s19 of the process for the previous frame image.
（３）判定対象階層にある対応する画素の停止オブジェクトモデル（または、背景モデル）を用いて、判定対象画素がｓ２３、または、後述するｓ２６で決定した判定対象階層の画素であるかどうかを判定する。ここでは、判定対象階層にある対応する画素の停止オブジェクトモデル（または、背景モデル）において、判定対象画素の輝度値と、（２）で得た代表輝度値と、の差に対応する頻度が閾値以上であれば、この判定対象画素を判定対象階層の画素であると判定し、反対に、この頻度が閾値未満であれば、この判定対象画素を判定対象階層の画素でないと判定する。 (3) Using the stop object model (or background model) of the corresponding pixel in the determination target hierarchy, determine whether the determination target pixel is a pixel in the determination target hierarchy determined in s23 or s26 described later. To do. Here, in the stop object model (or background model) of the corresponding pixel in the determination target hierarchy, the frequency corresponding to the difference between the luminance value of the determination target pixel and the representative luminance value obtained in (2) is a threshold value. If it is above, this determination target pixel is determined to be a pixel of the determination target hierarchy, and conversely, if this frequency is less than the threshold, it is determined that this determination target pixel is not a pixel of the determination target hierarchy.
画像処理部４は、ｓ２４で判定対象画素が判定対象階層の画素でないと判定すると、この時点における判定対象階層が最下位層である背景画像Ｌ１であるかどうかを判定する（ｓ２５）。画像処理部４は、ｓ２５で判定対象階層が背景画像Ｌ１でないと判定すると、判定対象階層を１つ下の階層に変更し（ｓ２６）、ｓ２４に戻る。
If the
画像処理部４は、ｓ２４で判定対象画素が判定対象階層の画素であると判定すると、この判定対象画素に対して、この時点における判定対象階層を対応付ける（ｓ２７）。また、画像処理部４は、ｓ２５で判定対象階層が背景画像Ｌ１であると判定すると、この判定対象画素に対して、前景画素を対応付ける（ｓ２８）。
When the
画像処理部４は、ｓ２７、またはｓ２８にかかる処理が完了すると、処理対象フレーム画像において、未処理の画素があるかどうかを判定し（ｓ２９）、未処理の画素があればｓ２２に戻る。画像処理部４は、ｓ２９で未処理の画素がないと判定すると、本処理を終了する。
When the processing related to s27 or s28 is completed, the
画像処理部４は、この図１２に示した処理を行うことで、図１１に示した分布画像を生成することができる。
The
なお、上記の説明では、判定対象階層を、上位の層から下位の層に変更するとしているが、下位の層から上位の層に変更するようにしてもよい。 In the above description, the determination target hierarchy is changed from an upper layer to a lower layer, but may be changed from a lower layer to an upper layer.
次に、上述したｓ１４にかかる種別判定処理について詳細に説明する。図１３は、この種別判定処理を示すフローチャートである。 Next, the type determination process according to s14 described above will be described in detail. FIG. 13 is a flowchart showing this type determination processing.
画像処理部４は、ｓ１３で検出したオブジェクト毎に、図１３に示す種別判定処理を行う。画像処理部４は、処理対象のオブジェクトについて、前回処理したフレーム画像における撮像位置と、今回処理したフレーム画像における撮像位置とが、ほぼ同じであるかどうかを判定する（ｓ３１）。ｓ３１では、処理対象のオブジェクトの撮像位置が完全に一致しているかどうかを判定しているのではなく、両フレーム画像におけるオブジェクトの重なり部分の割合が、当該オブジェクト全体の所定値（例えば、９０％）以上であるかどうかによって判定する。
The
画像処理部４は、ｓ３１で同じ位置でないと判定すると、この処理対象のオブジェクトを停止オブジェクトでないと判定する（ｓ３３）。
If the
また、画像処理部４は、ｓ３１で同じ位置であると判定すると、この処理対象のオブジェクトについて、所定フレーム数（例えば、１０フレーム）連続して、同じ位置であると判定しているかどうかを判定する（ｓ３２）。画像処理部４は、所定フレーム数連続して同じ位置であると判定していなければ、ｓ３３で停止オブジェクトでないと判定する。一方、画像処理部４は、ｓ３２で所定フレーム数連続して同じ位置であると判定していれば、停止オブジェクトであると判定する（ｓ３４）。
If the
次に、ｓ１６にかかる停止オブジェクト画像生成処理について説明する。図１４は、この停止オブジェクト画像生成処理を示すフローチャートである。画像処理部４は、ｓ１４で停止オブジェクトであると判定したオブジェクト毎に、図１４に示す処理を行う。
Next, the stop object image generation process according to s16 will be described. FIG. 14 is a flowchart showing this stop object image generation processing. The
画像処理部４は、処理対象である停止オブジェクトの階層を判断する（ｓ４１）。ここで言う階層は、上述したようにビデオカメラ１０に近いほど上位の階層である。画像処理部４は、停止オブジェクトの追跡結果から、この停止オブジェクトの階層を判断する。
The
画像処理部４は、処理対象の停止オブジェクトにかかる停止オブジェクト画像Ｌｎ（ｎは、ｓ４１で判断した階層であり、メモリ４ａに記憶している他の停止オブジェクト画像と重複しない階層である。）にかかるデータを生成する（ｓ４２）。ｓ４２にかかる処理は、上述したので、ここでは説明を省略する。
The
画像処理部４は、ｓ４２で生成した停止オブジェクト画像Ｌｎにかかるデータをメモリ４ａに記憶し（ｓ４３）、本処理を終了する。
The
なお、この例では、階層を整数で設定する構成としているので、例えば、第２階層、第３階層が存在している状態であるときに、ｓ４１において、第２階層と、第３階層との間の階層に位置する停止オブジェクトであると判断すると、この停止オブジェクトの階層を第３階層とし、この時点で第３階層であった停止オブジェクトを第４階層に設定しなおす。また、第３階層が存在していない状態で第２階層、第４階層が存在している場合、第２階層と、第４階層との間の階層に位置する停止オブジェクトであると判断すると、この停止オブジェクトの階層は、第３階層に設定される。 In this example, since the hierarchy is set as an integer, for example, when the second hierarchy and the third hierarchy exist, in s41, the second hierarchy and the third hierarchy If it is determined that the object is a stop object located in the middle hierarchy, the hierarchy of the stop object is set as the third hierarchy, and the stop object that was the third hierarchy at this time is reset to the fourth hierarchy. Further, when the second hierarchy and the fourth hierarchy exist in the state where the third hierarchy does not exist, if it is determined that the object is a stop object located in a hierarchy between the second hierarchy and the fourth hierarchy, The hierarchy of this stop object is set to the third hierarchy.
次に、ｓ１７にかかる移動オブジェクト判定処理について説明する。図１５は、この移動オブジェクト判定処理を示すフローチャートである。この移動オブジェクト判定処理の対象になるオブジェクトは、今回のフレーム画像に対する処理を開始する時点において、メモリ４ａに停止オブジェクト画像Ｌｎを記憶していた停止オブジェクトである。画像処理部４は、対象となる停止オブジェクト毎に、図１５に示す処理を行う。
Next, the moving object determination process according to s17 will be described. FIG. 15 is a flowchart showing this moving object determination processing. The object that is the target of the moving object determination process is a stop object that has stored the stop object image Ln in the memory 4a at the time when the process for the current frame image is started. The
画像処理部４は、処理対象である停止オブジェクトの総画素数を得る（ｓ５１）。画像処理部４は、処理対象である停止オブジェクトについて、ｓ１２で生成した分布画像において、この停止オブジェクトにかかる画素の中で、この停止オブジェクトよりも下位の層にかかる画素であると判定された画素の総数を得る（ｓ５２）。画像処理部４は、処理対象である停止オブジェクトにおいて、ｓ５２で得た画素数の割合が予め定めた割合（例えば、５０％）以上であれば、処理対象のオブジェクトが移動したと判定する（ｓ５３、ｓ５４）。反対に、画像処理部４は、ｓ５３で予め定めた割合未満であると判定すると、処理対象のオブジェクトが移動していないと判定する（ｓ５３、ｓ５５）。
The
なお、この移動オブジェクト判定処理は、ｓ５２にかかる処理を以下のようにしてもよい。画像処理部４は、処理対象である停止オブジェクトにかかる画素の中で、処理対象のオブジェクトの階層を含む、上位の階層にかかる画素の総数を得る。この場合、前景画素も上位の階層の画素とする。そして、ｓ５１で得た総画素数から、ここで得た画素数差し引いた画素数（すなわち、上記の例におけるｓ５２で得た画素数）を得る構成としてもよい。
In this moving object determination process, the process related to s52 may be as follows. The
また、処理対象である停止オブジェクトにおいて、上述した上位の階層にかかる画素数の割合が予め定めた割合（例えば、５０％）未満であれば、処理対象のオブジェクトが移動したと判定するようにしてもよい。 In addition, in the stop object that is the processing target, if the ratio of the number of pixels in the upper hierarchy described above is less than a predetermined ratio (for example, 50%), it is determined that the processing target object has moved. Also good.
例えば、図４（Ａ）に示す状態から、オブジェクトＢが移動し、図１６（Ａ）に示す状態になったとき、ｓ１２で生成される分布画像は、図１６（Ｂ）に示すものになる。図１６において破線で囲む領域が、オブジェクトＢが停止していた位置である。また、移動したオブジェクトＢにかかる画素は、前景画素として検出される。すなわち、オブジェクトＢは、上述のｓ１３で検出される。また、移動したオブジェクトＢがオブジェクトＡに重なっていた領域については、停止オブジェクト画像Ｌ２により、オブジェクトＡにかかる画素であると判定される。すなわち、オブジェクトＡは、２つのオブジェクトに分離されることなく、１つのオブジェクトとして検出できる。 For example, when the object B moves from the state shown in FIG. 4 (A) to the state shown in FIG. 16 (A), the distribution image generated in s12 is as shown in FIG. 16 (B). . In FIG. 16, the area surrounded by the broken line is the position where the object B has stopped. Further, the pixel related to the moved object B is detected as a foreground pixel. That is, the object B is detected in the above s13. The area where the moved object B overlaps the object A is determined to be a pixel related to the object A by the stop object image L2. That is, the object A can be detected as one object without being separated into two objects.
このように、この画像処理装置１は、背景画像Ｌ１だけでなく監視対象エリア内で停止したオブジェクト毎に、そのオブジェクトにかかる画像（停止オブジェクト画像Ｌｎ）を生成し、フレーム画像に撮像されているオブジェクトを背景画像Ｌ１および停止オブジェクト画像Ｌｎを用いて検出するので、撮像されているオブジェクトを適正に検出できる。具体的には、対象エリア内で停止しているオブジェクトは、上述のｓ１７で移動していないオブジェクトとして検出される。また、対象エリア内で移動しているオブジェクトは、上述のｓ１３で検出される。また、図１６（Ｂ）で示したように、ｓ１７で移動したと判定された停止オブジェクトは、前景画素としてｓ１３で検出されている。また、ｓ１７で移動したと判定された停止オブジェクトに隠れていた部分（停止状態を継続している他のオブジェクトの一部）は、この停止状態を継続している他のオブジェクトにかかる停止オブジェクト画像Ｌｎによって、この他のオブジェクトの一部として検出されるので、１つのオブジェクトが複数に分離するのを抑えられる。したがって、フレーム画像に撮像されているオブジェクトの検出が適正に行える。 As described above, the image processing apparatus 1 generates an image (stopped object image Ln) related to each object stopped in the monitoring target area as well as the background image L1, and is captured in the frame image. Since the object is detected using the background image L1 and the stop object image Ln, the object being imaged can be detected appropriately. Specifically, an object stopped in the target area is detected as an object that has not moved in s17 described above. Further, the object moving in the target area is detected in s13 described above. Further, as shown in FIG. 16B, the stopped object determined to have moved in s17 is detected as a foreground pixel in s13. Further, the portion hidden by the stopped object determined to have moved in s17 (a part of the other object that continues the stopped state) is the stopped object image related to the other object that continues the stopped state. Since it is detected as a part of this other object by Ln, it is possible to suppress the separation of one object into a plurality of objects. Therefore, it is possible to appropriately detect the object captured in the frame image.
また、画像処理部４は、移動したと判定したオブジェクトについては、上述したｓ１８で、メモリ４ａに記憶している当該オブジェクトにかかる停止オブジェクト画像を削除する。したがって、停止オブジェクト画像Ｌｎをメモリ４ａに無駄に記憶することがない。また、すでに存在していないオブジェクトにかかる停止オブジェクト画像Ｌｎを用いて、フレーム画像に対する上述の処理が行われるのを抑制できるので、画像処理部４の処理負荷を抑えることができる。
For the object determined to have moved, the
さらに、背景画像Ｌ１にかかる各画素の背景モデルや、停止オブジェクト画像Ｌｎにかかる各画素の停止オブジェクトモデルにおいて、輝度値についてはその画素が対応する領域の代表輝度値の差分を基準にした分布でモデル化し、各領域の代表輝度値をｓ１９で更新する構成としているので、監視対象エリア内の明るさ等の環境変化の影響を抑えたオブジェクトの検出が行える。 Further, in the background model of each pixel related to the background image L1 and the stop object model of each pixel related to the stop object image Ln, the luminance value has a distribution based on the difference between the representative luminance values of the region corresponding to the pixel. Since modeling is performed and the representative luminance value of each region is updated in s19, it is possible to detect an object while suppressing the influence of environmental changes such as brightness in the monitored area.
１…画像処理装置
２…制御部
３…画像入力部
４…画像処理部
４ａ…メモリ
５…入出力部
１０…ビデオカメラ
DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus 2 ... Control part 3 ...
Claims (7)
前記対象エリアを複数に分割した領域毎に、その領域に属する前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像の画素を対応づけた分割情報、および、前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像の各画素について、その画素が属する領域の代表画素値を基準とした背景モデル、を前記対象エリアの背景画像として記憶する背景画像記憶部と、
前記背景画像記憶部が記憶する前記背景画像を用いて、前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出するオブジェクト検出部と、
前記オブジェクト検出部が検出したオブジェクトについて、このオブジェクトが前記対象エリア内で停止している停止オブジェクトであるかどうかを判定するオブジェクト種別判定部と、
前記オブジェクト種別判定部が停止していると判定した停止オブジェクト毎に、その停止オブジェクトにかかる画像を停止オブジェクト画像として記憶する停止オブジェクト画像記憶部と、を備え、
前記オブジェクト検出部は、前記背景画像記憶部が記憶する前記背景画像に加えて、前記停止オブジェクト画像記憶部が記憶する前記停止オブジェクト画像を用い、前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出する、画像処理装置。 An image input unit for inputting a frame image according to the moving image captured the Target area,
For each area obtained by dividing the target area into a plurality of areas, division information in which pixels of a frame image related to a moving image of the target area input to the image input section belonging to the area are associated with each other, and the image input section A background image storage unit that stores, as a background image of the target area, a background model based on a representative pixel value of a region to which the pixel belongs, for each pixel of the frame image related to the input moving image of the target area;
An object for processing a frame image applied to a moving image of the target area input to the image input unit using the background image stored in the background image storage unit and detecting an object captured in the frame image A detection unit;
For the object detected by the object detection unit, an object type determination unit that determines whether the object is a stopped object stopped in the target area;
A stop object image storage unit that stores an image of the stop object as a stop object image for each stop object that is determined to be stopped by the object type determination unit;
It said object detection unit, in addition to the background image in which the background image storage unit stores, the use of the stop object image paused object image storage unit stores, video of the target area input to the image input unit An image processing apparatus that processes a frame image of an image and detects an object captured in the frame image.
前記移動判定部が移動したと判定した停止オブジェクトについて、前記停止オブジェクト画像記憶部に記憶されている前記停止オブジェクト画像を削除する停止オブジェクト画像削除部と、を備えた請求項１、または２に記載の画像処理装置。 Wherein the movement determination section for determining whether an outage object the stop object image to stop the object image storage unit is stored is moved,
For stopping the object by the mobile determining unit determines that moves, according to claim 1 or 2, provided with a stop object image deleting unit that deletes the stop object image stored in the stop object image storage unit Image processing apparatus.
前記対象エリアを複数に分割した領域毎に、その領域に属する前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像の画素を対応づけた分割情報、および、前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像の各画素について、その画素が属する領域の代表画素値を基準とした背景モデル、を前記対象エリアの背景画像として記憶する背景画像記憶部と、を備える画像処理装置のコンピュータが、
前記対象エリアの前記背景画像を用いて、前記画像入力部に入力された前記対象エリアを撮像した動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップで検出したオブジェクトについて、このオブジェクトが前記対象エリア内で停止している停止オブジェクトであるかどうかを判定するオブジェクト種別判定ステップと、
前記オブジェクト種別判定ステップで停止していると判定した停止オブジェクト毎に、その停止オブジェクトにかかる画像を停止オブジェクト画像として停止オブジェクト画像記憶部に記憶する停止オブジェクト画像記憶ステップと、を実行する画像処理方法であって、
前記オブジェクト検出ステップは、前記背景画像記憶部が記憶する前記背景画像に加えて、前記停止オブジェクト画像記憶部が記憶する停止オブジェクト画像を用い、前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出するステップである、画像処理方法。 An image input unit for inputting a frame image related to a moving image obtained by imaging the target area;
For each area obtained by dividing the target area into a plurality of areas, division information in which pixels of a frame image related to a moving image of the target area input to the image input section belonging to the area are associated with each other, and the image input section A background image storage unit that stores, as a background image of the target area, a background model based on a representative pixel value of a region to which the pixel belongs, for each pixel of the frame image related to the input moving image of the target area; An image processing apparatus computer comprising:
Using said background image, the target area input to the image input unit processes the frame images of the moving image captured, the object detecting step of detecting an object imaged in the frame image of the target area When,
For the object detected in the object detection step, an object type determination step for determining whether this object is a stopped object stopped in the target area;
An image processing method for executing, for each stop object determined to be stopped in the object type determination step, a stop object image storage step of storing an image relating to the stop object as a stop object image in a stop object image storage unit Because
The object detection step uses a stop object image stored in the stop object image storage unit in addition to the background image stored in the background image storage unit, and a moving image of the target area input to the image input unit An image processing method, which is a step of processing the frame image according to the above and detecting an object imaged in the frame image.
前記対象エリアを複数に分割した領域毎に、その領域に属する前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像の画素を対応づけた分割情報、および、前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像の各画素について、その画素が属する領域の代表画素値を基準とした背景モデル、を前記対象エリアの背景画像として記憶する背景画像記憶部と、を備える画像処理装置のコンピュータに、
前記対象エリアの前記背景画像を用いて、前記画像入力部に入力された前記対象エリアを撮像した動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップで検出したオブジェクトについて、このオブジェクトが前記対象エリア内で停止している停止オブジェクトであるかどうかを判定するオブジェクト種別判定ステップと、
前記オブジェクト種別判定ステップで停止していると判定した停止オブジェクト毎に、その停止オブジェクトにかかる画像を停止オブジェクト画像として停止オブジェクト画像記憶部に記憶する停止オブジェクト画像記憶ステップと、を実行させる画像処理プログラムであって、
前記オブジェクト検出ステップは、前記背景画像記憶部が記憶する前記背景画像に加えて、前記停止オブジェクト画像記憶部が記憶する停止オブジェクト画像を用い、前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出するス
テップである、画像処理プログラム。 An image input unit for inputting a frame image related to a moving image obtained by imaging the target area;
For each area obtained by dividing the target area into a plurality of areas, division information in which pixels of a frame image related to a moving image of the target area input to the image input section belonging to the area are associated with each other, and the image input section A background image storage unit that stores, as a background image of the target area, a background model based on a representative pixel value of a region to which the pixel belongs, for each pixel of the frame image related to the input moving image of the target area; A computer of an image processing apparatus comprising:
Using said background image, the target area input to the image input unit processes the frame images of the moving image captured, the object detecting step of detecting an object imaged in the frame image of the target area When,
For the object detected in the object detection step, an object type determination step for determining whether this object is a stopped object stopped in the target area;
Stopped and the every determination was stopped object are in the object type determination step, the image processing to be executed and stopped object image storing step, a storing stop object image storing section images according to the stop object as a stop object image A program,
The object detection step uses a stop object image stored in the stop object image storage unit in addition to the background image stored in the background image storage unit, and a moving image of the target area input to the image input unit An image processing program which is a step of processing the frame image according to the above and detecting an object imaged in the frame image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013227074A JP6308612B2 (en) | 2013-10-31 | 2013-10-31 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013227074A JP6308612B2 (en) | 2013-10-31 | 2013-10-31 | Image processing apparatus, image processing method, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015088027A JP2015088027A (en) | 2015-05-07 |
| JP6308612B2 true JP6308612B2 (en) | 2018-04-11 |
Family
ID=53050729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013227074A Active JP6308612B2 (en) | 2013-10-31 | 2013-10-31 | Image processing apparatus, image processing method, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6308612B2 (en) |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8588466B2 (en) * | 2007-07-05 | 2013-11-19 | Nec Corporation | Object area detection system, device, method, and program for detecting an object |
-
2013
- 2013-10-31 JP JP2013227074A patent/JP6308612B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015088027A (en) | 2015-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9639759B2 (en) | Video processing apparatus and video processing method | |
| JP4668921B2 (en) | Object detection in images | |
| JP6525545B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND COMPUTER PROGRAM | |
| US9514541B2 (en) | Image processing apparatus and image processing method | |
| JP6414066B2 (en) | Image processing system, image processing method, and program | |
| JP6436077B2 (en) | Image processing system, image processing method, and program | |
| KR20130025944A (en) | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation | |
| WO2016021147A1 (en) | Image processing system for detecting retention of moving body from image, image processing method, and recording medium | |
| JP2012003414A (en) | Gesture recognition device, gesture recognition method and program | |
| US20170220894A1 (en) | Image processing device, image processing method, and program | |
| JP7446060B2 (en) | Information processing device, program and information processing method | |
| JP4969291B2 (en) | Moving object tracking device | |
| JP2013101419A (en) | Image signal processor | |
| KR101396838B1 (en) | Video stabilization method and system by selection one of various motion models | |
| JP7176590B2 (en) | Image processing device, image processing method, and program | |
| JP2014110020A (en) | Image processor, image processing method and image processing program | |
| WO2020095644A1 (en) | State-change detection device, state-change detection method, and computer-readable recording medium | |
| JP6308612B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6399122B2 (en) | Face detection apparatus and control method thereof | |
| JP6603123B2 (en) | Animal body detection apparatus, detection method, and program | |
| Ortego et al. | Multi-feature stationary foreground detection for crowded video-surveillance | |
| JP2012104053A (en) | Background difference processing device, background difference processing method and computer program | |
| JP2012104872A (en) | Image processing unit, and image processing program | |
| JP2013246601A (en) | Image process device | |
| US20230177705A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161018 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171027 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180309 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6308612 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |