JP5948984B2 - Image processing apparatus, image processing method, and image processing program - Google Patents
Image processing apparatus, image processing method, and image processing program Download PDFInfo
- Publication number
- JP5948984B2 JP5948984B2 JP2012053468A JP2012053468A JP5948984B2 JP 5948984 B2 JP5948984 B2 JP 5948984B2 JP 2012053468 A JP2012053468 A JP 2012053468A JP 2012053468 A JP2012053468 A JP 2012053468A JP 5948984 B2 JP5948984 B2 JP 5948984B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- specular
- image
- unit
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
この発明は、赤外線カメラで撮像した撮像エリアのフレーム画像を処理して撮像されている物体を検出する画像処理装置、画像処理方法、および画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and an image processing program for detecting an object being imaged by processing a frame image of an imaging area captured by an infrared camera.
従来、ビデオカメラ等の撮像装置を利用して、不審者の侵入や、不審物の放置を監視する監視システムが実用化されている。この種の監視システムは、撮像装置の撮像エリアを、不審者の侵入や、不審物の放置を監視する監視対象エリアに合わせている。また、撮像装置が撮像した監視対象エリアのフレーム画像を処理し、撮像されている物体（不審者や不審物等）を検出する画像処理装置を備えている。 2. Description of the Related Art Conventionally, a monitoring system for monitoring the intrusion of a suspicious person or leaving a suspicious object using an imaging device such as a video camera has been put into practical use. In this type of monitoring system, the imaging area of the imaging device is matched with a monitoring target area for monitoring the intrusion of a suspicious person or the leaving of a suspicious object. In addition, the image processing apparatus includes an image processing apparatus that processes a frame image of the monitoring target area captured by the imaging apparatus and detects an imaged object (such as a suspicious person or a suspicious object).
画像処理装置は、入力されたフレーム画像の画素毎に、背景モデルを用いて、背景が撮像されている背景画素、または背景でない物体が撮像されている前景画素のいずれであるかを判定する。画像処理装置は、この判定結果に基づいて、背景が撮像されている背景領域と、物体（人や車両等）が撮像されている前景領域と、で区別した背景差分画像（２値化画像）を生成する。この背景差分画像における前景領域が、物体が撮像されている領域である。 For each pixel of the input frame image, the image processing apparatus determines whether the background pixel is a background pixel in which a background is captured or a foreground pixel in which an object that is not a background is captured. Based on the determination result, the image processing apparatus distinguishes a background difference image (binarized image) from a background region where a background is imaged and a foreground region where an object (such as a person or a vehicle) is imaged. Is generated. The foreground area in the background difference image is an area where an object is imaged.
一方で、可視光カメラは、比較的暗い場所では、露光量が不足し、検出対象である物体を撮像することできない。そこで、遠赤外線カメラで撮像したフレーム画像（熱画像）を処理して、撮像されている人物を検出する装置が提案されている（特許文献１参照）。 On the other hand, in a relatively dark place, the visible light camera has a shortage of exposure and cannot capture an object that is a detection target. In view of this, an apparatus for processing a frame image (thermal image) captured by a far-infrared camera and detecting a person being captured has been proposed (see Patent Document 1).
この特許文献１は、遠赤外線カメラで撮像した熱画像の各画素について、人物の温度に相当する輝度値（画素値）の上限しきい値と下限しきい値との範囲内にある画素と、この範囲内にない画素と、で区別した２値化画像を生成し、撮像されている人物を検出する構成である。
This
しかしながら、遠赤外線カメラで撮像したフレーム画像において、日光が水溜まりや、金属等で反射した領域（鏡面領域）を撮像した画素は、この領域に照射された日光の遠赤外線エネルギー量に応じた画素値を示す。すなわち、遠赤外線カメラで撮像したフレーム画像において、鏡面領域を撮像した画素の画素値は、この領域において放射されている遠赤外線エネルギーの大きさに応じた値になるのではなく、この領域に照射された日光の遠赤外線エネルギー量に応じた値になる。このため、日光が水溜まりや、金属等で反射した鏡面領域が遠赤外線カメラで撮像したフレーム画像に含まれている場合、このフレーム画像を処理したときに、この鏡面領域を人や車両等の物体が撮像されている前景領域であると誤検出することがあった。 However, in a frame image captured by a far-infrared camera, a pixel that captures an area (mirror surface area) where sunlight is pooled or is reflected by a metal or the like is a pixel value corresponding to the amount of far-infrared energy of sunlight irradiated to this area. Indicates. That is, in the frame image captured by the far-infrared camera, the pixel value of the pixel that captured the mirror surface area is not a value corresponding to the magnitude of the far-infrared energy radiated in this area, but is irradiated to this area. It becomes a value according to the amount of far-infrared energy of sunlight. For this reason, when the mirror image area captured by a far-infrared camera includes a mirror surface area where sunlight is pooled or is reflected by metal or the like, when this frame image is processed, this mirror area is converted into an object such as a person or a vehicle. May be erroneously detected as a foreground region being imaged.
この発明の目的は、赤外線カメラで撮像した撮像エリアのフレーム画像に撮像されている水溜まりや、金属等で反射した日光を物体として誤検出するのを抑え、撮像されている人や車両等の物体の検出精度を向上させた画像処理装置、画像処理方法、および画像処理プログラムを提供することにある。 An object of the present invention is to suppress erroneous detection of a water pool captured in a frame image of an imaging area captured by an infrared camera or sunlight reflected by a metal as an object, and an object such as a person or a vehicle being imaged The present invention provides an image processing apparatus, an image processing method, and an image processing program with improved detection accuracy.
この発明の画像処理装置は、上記課題を解決し、その目的を達するために、以下のように構成している。 The image processing apparatus of the present invention is configured as follows in order to solve the above-described problems and achieve the object.
画像入力部には、赤外線カメラが撮像した撮像エリアのフレーム画像が入力される。赤外線カメラは、例えば１秒間に１０〜６０フレームのフレーム画像を撮像し、撮像したフレーム画像を画像入力部に入力する。 A frame image of the imaging area captured by the infrared camera is input to the image input unit. For example, the infrared camera captures a frame image of 10 to 60 frames per second, and inputs the captured frame image to the image input unit.
背景モデル記憶部は、画像入力部に入力されたフレーム画像の各画素について、その画素の画素値の頻度をモデル化した背景モデルを記憶する。背景モデルは、例えば過去に入力されたフレーム画像の各画素について、その画素の画素値の頻度をモデル化したものであり、ガウス分布の密度関数等であらわされる。背景モデルは、フレーム画像が画像入力部に入力される毎に、そのフレーム画像を用いて更新すればよい。 The background model storage unit stores a background model obtained by modeling the frequency of the pixel value of each pixel of the frame image input to the image input unit. The background model is obtained by modeling the frequency of the pixel value of each pixel of a frame image input in the past, for example, and is represented by a Gaussian density function or the like. The background model may be updated using the frame image every time the frame image is input to the image input unit.
背景差分画像生成部は、画像入力部に入力されたフレーム画像の各画素について、その画素が前景画素であるか、背景画素であるかを、背景モデル記憶部が当該画素について記憶する背景モデルを用いて判定し、背景差分画像を生成する。具体的には、背景差分画像生成部は、画像入力部に入力されたフレーム画像の画素毎に、その画素の画素値が、その画素の背景モデルにおける頻度が閾値よりも高ければ背景画素、反対に、その画素の背景モデルにおける頻度が閾値よりも低ければ前景画素と判定する。すなわち、背景差分画像生成部は、その画素値があらわれる頻度が閾値よりも低い画素を前景画素と判定し、その画素値があらわれる頻度が閾値よりも高い画素を背景画素と判定する。 The background difference image generation unit, for each pixel of the frame image input to the image input unit, whether the pixel is a foreground pixel or a background pixel, a background model that the background model storage unit stores for the pixel To determine a background difference image. Specifically, for each pixel of the frame image input to the image input unit, the background difference image generation unit determines that the pixel value of the pixel is the background pixel if the frequency of the pixel in the background model is higher than the threshold value. If the frequency of the pixel in the background model is lower than the threshold value, the pixel is determined to be a foreground pixel. That is, the background difference image generation unit determines a pixel whose frequency of occurrence of the pixel value is lower than the threshold as a foreground pixel, and determines a pixel of the frequency of occurrence of the pixel value as higher than the threshold as a background pixel.
物体検出部は、背景差分画像生成部が生成した背景差分画像から、撮像されている物体を検出する。背景差分画像生成部が生成した背景差分画像は、物体が撮像されている前景画素と、背景が撮像されている背景画素とで２値化した２値化画像である。したがって、前景画素が集まっている領域を前景領域とすることで、撮像されている物体を検出することができる。 The object detection unit detects an imaged object from the background difference image generated by the background difference image generation unit. The background difference image generated by the background difference image generation unit is a binarized image binarized with the foreground pixels in which the object is imaged and the background pixels in which the background is imaged. Therefore, an object being imaged can be detected by setting the area where the foreground pixels are gathered as the foreground area.
また、鏡面画素判定部は、画像入力部に入力されたフレーム画像の各画素について、その画素の画素値が鏡面画素値記憶部に記憶する鏡面画素の画素値の範囲内であるかどうかに基づき、当該画素が前記鏡面画素であるかどうかを判定する。ここでいう鏡面画素とは、水溜まりや、金属等で反射した日光を撮像した画素である。また、鏡面画素値記憶部は、画素値の下限値と上限値とによって規定した鏡面画素の画素値の範囲を記憶する。 Further, the mirror pixel determination unit, for each pixel of the input frame image images input unit, whether the pixel value of the pixel is within the range of the pixel values of the specular pixels stored in mirror pixel value storage unit based determines whether the pixel is the specular pixels. A mirror surface pixel here is a pixel which imaged sunlight reflected by a puddle or metal. The specular pixel value storage unit stores a range of specular pixel values defined by a lower limit value and an upper limit value of the pixel values.
鏡面画素の画素値は、上空を撮像したときの画素値と近似する。赤外線カメラで水溜まりや、金属等が反射した日光が撮像されるのは、晴天時であり、曇天時や雨天時に撮像されることはない。曇天時や雨天時は、水溜まりや、金属等に照射される日光が雲で散乱されているからである。このことから、例えば、晴天時に、赤外線カメラで上空を撮像したフレーム画像を用い、画素値に対する画素数の分布を基に、鏡面画素として判定する画素の画素値の下限値と、上限値とを決定し、これを鏡面画素の画素値の範囲として鏡面画素値記憶部に記憶させておけばよい。また、画像入力部に入力されたフレーム画像を用いて、鏡面画素値記憶部が記憶する鏡面画素の画素値の範囲については、適当な間隔で更新するのが好ましい。 The pixel value of the specular pixel approximates the pixel value when the sky is imaged. The infrared camera captures the water pool or sunlight reflected by metal or the like when the weather is clear, and is not captured when it is cloudy or rainy. This is because, during cloudy weather or rainy weather, the sun irradiates water pools or metals and the like is scattered by clouds. From this, for example, in a clear sky, using a frame image obtained by imaging the sky with an infrared camera, based on the distribution of the number of pixels with respect to the pixel value, the lower limit value and upper limit value of the pixel value determined as a mirror surface pixel It may be determined and stored in the mirror pixel value storage unit as a range of pixel values of the mirror pixel. Moreover, it is preferable to update the range of the pixel value of the specular pixel stored in the specular pixel value storage unit at an appropriate interval using the frame image input to the image input unit.
鏡面領域設定部は、鏡面画素判定部の判定結果に基づき、画像入力部に入力されたフレーム画像に対して鏡面領域を設定する。鏡面領域設定部は、鏡面画素が集まっている領域を鏡面領域として設定すればよい。 The specular area setting unit sets a specular area for the frame image input to the image input unit based on the determination result of the specular pixel determination unit. The specular area setting unit may set an area where specular pixels are gathered as a specular area.
さらに、物体検出部は、鏡面領域設定部が設定した鏡面領域に対して、撮像されている物体の検出を行わない。したがって、鏡面領域を人や車両等の物体が撮像されている前景領域であると誤検出することがなく、撮像されている人や車両等の物体の検出精度を向上させることができる。この場合、処理負荷を抑える観点から、背景差分画像生成部は、鏡面領域設定部が設定した鏡面領域内の画素について、その画素が前景画素であるか、背景画素であるかについても判定しない構成にするのがよい。 Furthermore, the object detection unit does not detect the object being imaged with respect to the specular region set by the specular region setting unit. Accordingly, the mirror surface area is not erroneously detected as a foreground area where an object such as a person or a vehicle is imaged, and the detection accuracy of an object such as a person or vehicle being imaged can be improved. In this case, from the viewpoint of reducing the processing load, the background difference image generation unit does not determine whether the pixel in the mirror area set by the mirror area setting unit is a foreground pixel or a background pixel. It is good to make it.
また、鏡面画素判定部は、予め定めた第１の時間継続して、画像入力部に入力されたフレーム画像において、その画素値が鏡面画素値記憶部が記憶する鏡面画素として判定する画素値の範囲内であった画素を鏡面画素と判定するのが好ましい。これにより、一時的にノイズが生じた画素や、一時的に物体で反射された日光等を撮像した画素が、鏡面画素として判定するのを防止できる。 Further, the specular pixel determination unit continues for a predetermined first time, and in the frame image input to the image input unit, the pixel value is determined as the specular pixel stored in the specular pixel value storage unit. It is preferable to determine a pixel within the range as a mirror pixel. Accordingly, it is possible to prevent a pixel in which noise is temporarily generated or a pixel in which sunlight or the like temporarily reflected by an object is imaged as a specular pixel.
また、鏡面画素判定部は、鏡面画素であると判定した画素について、予め定めた第２の時間継続して、画像入力部に入力されたフレーム画像において、その画素値が鏡面画素値記憶部が記憶する鏡面画素として判定する画素値の範囲外であっときに、その画素を鏡面画素でないと判定するのが好ましい。これにより、一時的なノイズによって、鏡面画素を鏡面画素でないと判定するのを防止できる。 The specular pixel determination unit continues the second predetermined time for the pixel determined to be a specular pixel, and the specular pixel value storage unit stores the pixel value in the frame image input to the image input unit. When the pixel value is outside the range of the pixel value to be determined as the mirror surface pixel to be stored, it is preferable to determine that the pixel is not a mirror surface pixel. Thereby, it can prevent determining with a temporary noise that a mirror surface pixel is not a mirror surface pixel.
また、物体検出部が検出した物体が、人であるか、人以外の車両等の物体であるかを、判定するようにしてもよい。この場合、物体検出部が検出した物体に対応する前景画素に基づいて設定した前景領域内に位置する画素の画素値の分布に基づき、この物体が人であるかどうかを判定する物体判定部を設ければよい。 Moreover, you may make it determine whether the object which the object detection part detected is a person or objects, such as vehicles other than a person. In this case, based on the distribution of pixel values of pixels located in the foreground region set based on the foreground pixels corresponding to the object detected by the object detection unit, an object determination unit that determines whether the object is a person What is necessary is just to provide.
人は、放射する熱量が部位によって異なることから、人を撮像した画素の画素値が、ある程度分散する。一方、人でない物体は、放射する熱量が全体的に均一であるので、人でない物体を撮像した画素の画素値は、ある値に集中する。したがって、検出した物体に対応する画素の画素値の分布から、この物体が人であるかどうかの判定が行える。 Since the amount of heat radiated varies depending on the part of a person, the pixel values of the pixels that image the person are dispersed to some extent. On the other hand, since the amount of heat radiated from a non-human object is uniform throughout, the pixel values of the pixels that image the non-human object are concentrated on a certain value. Therefore, it is possible to determine whether or not this object is a person from the distribution of pixel values of pixels corresponding to the detected object.
また、検出した物体のサイズが、予め定めた大きさよりも小さければ、この領域に物体が撮像されていないと判定してもよいし、予め定めた第３の時間継続して、画像入力部に入力されたフレーム画像から検出されなかった物体を、撮像されている物体として検出しない構成としてもよい。 Further, if the size of the detected object is smaller than a predetermined size, it may be determined that the object is not imaged in this region, and the image input unit continues to the predetermined third time. It is good also as a structure which does not detect the object which was not detected from the input frame image as the imaged object.
この発明によれば、赤外線カメラで撮像した撮像エリアのフレーム画像に撮像されている水溜まりや、金属等で反射した日光を物体として誤検出するのを抑え、撮像されている人や車両等の物体の検出精度を向上させることができる。 According to the present invention, it is possible to suppress erroneous detection of a water pool captured in a frame image of an imaging area captured by an infrared camera or sunlight reflected by a metal as an object, and an object such as a person or a vehicle being imaged. Detection accuracy can be improved.
以下、この発明の実施形態である画像処理装置について説明する。 Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described.
図１は、この画像処理装置の主要部の構成を示すブロック図である。画像処理装置１は、制御部２と、画像入力部３と、画像処理部４と、入出力部５と、を備えている。
FIG. 1 is a block diagram showing a configuration of a main part of the image processing apparatus. The
制御部２は、画像処理装置１本体各部の動作を制御する。
The
画像入力部３には、遠赤外線カメラ１０が撮像したフレーム画像が入力される。遠赤外線カメラ１０は、人や車両等の物体の侵入を監視する監視対象エリアが撮像エリア内に収まるように設置している。遠赤外線カメラ１０は、１秒間に１０〜６０フレームのフレーム画像を撮像し、撮像したフレーム画像を画像入力部３に入力する。
A frame image captured by the far-
画像処理部４は、画像入力部３に入力されたフレーム画像を処理し、このフレーム画像に撮像されている物体（背景でない物体）を検出する。また、画像処理部４は、画像入力部３に入力されたフレーム画像を処理するときに用いる背景モデルを記憶するメモリ４ａを有している。画像処理部４は、メモリ４ａに記憶している背景モデルを、画像入力部３に入力されたフレーム画像を用いて更新する。また、メモリ４ａは、鏡面画素であると判定する画素値の範囲、鏡面画素設定確認時間（この発明でいう第１の時間に相当する。）、鏡面画素設定解除確認時間（この発明でいう第２の時間に相当する。）、物体検出確認時間（この発明でいう第３の時間に相当する。）や、動作時に発生したデータ（この発明で言う閾値、鏡面領域、前景領域等）も記憶する。 The image processing unit 4 processes the frame image input to the image input unit 3 and detects an object (non-background object) captured in the frame image. The image processing unit 4 has a memory 4 a that stores a background model used when processing the frame image input to the image input unit 3. The image processing unit 4 updates the background model stored in the memory 4 a using the frame image input to the image input unit 3. Further, the memory 4a has a range of pixel values determined to be a specular pixel, a specular pixel setting confirmation time (corresponding to the first time in the present invention), a specular pixel setting release confirmation time (first in the present invention). 2), object detection confirmation time (corresponding to the third time in the present invention), and data generated during operation (threshold value, specular area, foreground area, etc. in the present invention) are also stored. To do.
なお、画像処理部４は、画像入力部３に入力されたフレーム画像に対する画像処理等を実行するマイコンを備えている。この発明にかかる画像処理プログラムは、このマイコンを動作させるプログラムであり、予めインストールしている。 The image processing unit 4 includes a microcomputer that executes image processing on the frame image input to the image input unit 3. The image processing program according to the present invention is a program for operating this microcomputer and is installed in advance.
入出力部５は、図示していない上位装置との間におけるデータの入出力を制御する。入出力部５は、画像処理部４で物体が検出されたときに、その旨を上位装置（不図示）に通知する信号を出力する。入出力部５は、物体の検出を通知する信号を出力する構成であってもよいし、物体を検出したフレーム画像とともに、物体の検出を通知する信号を出力する構成であってもよい。また、入出力部５は、遠赤外線カメラ１０が撮像したフレーム画像（画像入力部３に入力されたフレーム画像）を、上位装置に送信する構成であってもよい。 The input / output unit 5 controls data input / output with a host device (not shown). When the image processing unit 4 detects an object, the input / output unit 5 outputs a signal for notifying a higher-level device (not shown) to that effect. The input / output unit 5 may be configured to output a signal notifying the detection of the object, or may be configured to output a signal notifying the detection of the object together with the frame image in which the object is detected. The input / output unit 5 may be configured to transmit a frame image captured by the far-infrared camera 10 (a frame image input to the image input unit 3) to a higher-level device.
なお、上位装置は、画像処理装置１の入出力部５から出力された信号によって、監視対象エリア内に位置する物体の検出が通知されたとき、その旨を音声等で出力して、周辺にいる係員等に通知する構成であってもよいし、さらには、物体を検出したフレーム画像が送信されてきている場合に、そのフレーム画像を表示器に表示する構成であってもよい。また、遠赤外線カメラ１０が撮像したフレーム画像を記録する記録装置を設け、必要に応じて確認できるように構成してもよい。
When the host device is notified of detection of an object located in the monitoring target area by a signal output from the input / output unit 5 of the
次に、メモリ４ａが記憶する各種データについて説明する。 Next, various data stored in the memory 4a will be described.
まず、背景モデルについて説明する。背景モデルは、画像入力部３に入力されたフレーム画像の画素毎に、その画素の画素値の頻度（発生確率）をモデル化したものである。具体的には、画像入力部３に入力された直近のｎフレームのフレーム画像を用い、フレーム画像の画素毎に、その画素の画素値の頻度（発生確率）を、混合ガウス分布を利用してモデル化したものである。メモリ４ａは、画像入力部３に入力されたフレーム画像の画素毎に、背景モデルを記憶している。また、画像処理部４は、各画素の背景モデルを、画像入力部３にフレーム画像が入力されるたびに更新する。背景モデルを生成する手法については、全ての画素（前景画素、および背景画素）を用いて生成する方法や、背景画素のみを用いて（前景画素を用いないで）生成する方法等、様々な方法がすでに公知であるので、ここでは説明を省略する。背景モデルは、遠赤外線カメラ１０の特性や、撮像環境等に応じた方法を公知の方法から選択すればよい。
First, the background model will be described. The background model is obtained by modeling the frequency (occurrence probability) of the pixel value of each pixel of the frame image input to the image input unit 3. Specifically, using the frame image of the latest n frames input to the image input unit 3, the frequency (occurrence probability) of the pixel value of each pixel of the frame image is calculated using a mixed Gaussian distribution. Modeled. The memory 4 a stores a background model for each pixel of the frame image input to the image input unit 3. The image processing unit 4 updates the background model of each pixel every time a frame image is input to the image input unit 3. Regarding the method of generating the background model, various methods such as a method of generating using all the pixels (foreground pixels and background pixels), a method of generating using only the background pixels (without using the foreground pixels), etc. Is already known, and the description thereof is omitted here. For the background model, a method corresponding to the characteristics of the far-
図２は、ある画素の背景モデルを示す図である。図２において、横軸が画素値であり、縦軸が頻度（発生確率）である。図２に示す閾値Ｄが、背景画素であるか、前景画素であるかを判定する境界値である。画像処理部４は、遠赤外線カメラ１０が時刻ｔにおいて撮像したフレーム画像を処理するときに、遠赤外線カメラ１０が時刻ｔ−１〜時刻ｔ−ｎの間に撮像したｎフレームのフレーム画像を用いて生成した背景モデルを用いる。
FIG. 2 is a diagram illustrating a background model of a certain pixel. In FIG. 2, the horizontal axis represents pixel values, and the vertical axis represents frequency (occurrence probability). The threshold value D shown in FIG. 2 is a boundary value for determining whether the pixel is a background pixel or a foreground pixel. When the far-
画像処理部４は、画像入力部３に入力されたフレーム画像の画素毎に、その画素の背景モデルにおける、その画素の画素値の頻度が閾値Ｄ以上であれば背景画素と判定し、閾値Ｄ未満であれば前景画素と判定する。画像入力部３に入力されたフレーム画像の各画素に対する閾値Ｄは、同じ値である。閾値Ｄは、メモリ４ａに記憶している。また、画像処理部４は、画像入力部３に入力されたフレーム画像から、閾値Ｄを算出し設定する（メモリ４ａに記憶している閾値Ｄを更新する）機能を有している。この閾値Ｄを設定する処理の詳細については、後述する。 For each pixel of the frame image input to the image input unit 3, the image processing unit 4 determines a background pixel if the frequency of the pixel value of the pixel in the background model of the pixel is equal to or higher than the threshold D, and the threshold D If it is less than that, it is determined as a foreground pixel. The threshold value D for each pixel of the frame image input to the image input unit 3 is the same value. The threshold value D is stored in the memory 4a. Further, the image processing unit 4 has a function of calculating and setting the threshold value D (updating the threshold value D stored in the memory 4a) from the frame image input to the image input unit 3. Details of the processing for setting the threshold value D will be described later.
次に、鏡面画素として判定する画素の画素値の範囲について説明する。画像処理部４は、鏡面画素として判定する画素値の下限値と、上限値とをメモリ４ａに記憶している。ここで言う鏡面画素とは、水溜まりや、金属等で反射した日光を撮像した画素である。例えば、遠赤外線カメラ１０の撮像エリアである監視対象エリアに、図３に示すような水溜まりがある場合、この水溜まりで反射した日光を撮像した画素が鏡面画素である。鏡面画素は、反射された日光の遠赤外線エネルギー量に応じた画素値になるので、背景差分画像を生成するときに、前景画素と判定される。
Next, the pixel value range of pixels determined as mirror pixels will be described. The image processing unit 4 stores a lower limit value and an upper limit value of pixel values determined as mirror pixels in the memory 4a. The mirror surface pixel referred to here is a pixel obtained by imaging sunlight reflected by a puddle or metal. For example, when a monitoring target area that is an imaging area of the far-
鏡面画素の画素値は、上空を撮像したときの画素値と近似する。遠赤外線カメラ１０で水溜まりや、金属等が反射した日光が撮像されるのは、晴天時であり、曇天時や雨天時に撮像されることはない。曇天時や雨天時は、水溜まりや、金属等に照射される日光が雲で散乱されているからである。このことから、この例では、晴天時に、遠赤外線カメラ１０で上空を撮像したフレーム画像を用い、画素値に対する画素数の分布を基に、鏡面画素として判定する画素の画素値の下限値と、上限値とを決定し、メモリ４ａに予め記憶している。
The pixel value of the specular pixel approximates the pixel value when the sky is imaged. The far-
晴天時の空は、非常に低い遠赤外線エネルギーを放出している。遠赤外線カメラ１０で晴天時の空を撮像したフレーム画像における、画素値に対する画素数の分布は、図４に示すように非常に低い画素値に集中する。図４において、横軸が画素値であり、縦軸が画素数である。この例では、図４に示す画素値Ａが鏡面画素として判定する画素値の下限値でありし、画素値Ｂが鏡面画素として判定する画素値の上限値である。
The clear sky emits very low far-infrared energy. The distribution of the number of pixels with respect to the pixel value in the frame image obtained by imaging the sky in the clear sky with the far-
また、鏡面画素として判定する画素値の下限値Ａ、および上限値Ｂは、遠赤外線カメラ１０で撮像した晴天時の空のフレーム画像により決定している。したがって、下限値Ａ、および上限値Ｂは、遠赤外線カメラ１０の特性や、監視対象エリアである撮像エリアの環境も考慮した値である。また、メモリ４ａが記憶する鏡面画素として判定する画素の画素値の下限値Ａ、および上限値Ｂは、１週間や１カ月等の適当な間隔で更新すればよい。
Further, the lower limit value A and the upper limit value B of the pixel value determined as the mirror surface pixel are determined by a clear sky image of the sky imaged by the far
メモリ４ａが記憶する鏡面画素設定確認時間、鏡面画素設定解除確認時間、および物体検出確認時間は、数秒（１〜３秒）程度の時間である。鏡面画素設定確認時間、鏡面画素設定解除確認時間、および物体検出確認時間は、すべて同じ時間であってもよいし、すべて異なる時間であってもよい。ただし、物体検出確認時間は、鏡面画素設定確認時間以上に設定するのが好ましい。物体検出確認時間は、鏡面画素設定確認時間以上に設定することで、鏡面領域であると判定される前に、この鏡面領域を物体であると誤検出するのを防止できる。 The specular pixel setting confirmation time, the specular pixel setting cancellation confirmation time, and the object detection confirmation time stored in the memory 4a are about several seconds (1 to 3 seconds). The mirror pixel setting confirmation time, the mirror pixel setting release confirmation time, and the object detection confirmation time may all be the same time, or may be different times. However, the object detection confirmation time is preferably set to be longer than the specular pixel setting confirmation time. By setting the object detection confirmation time to be equal to or longer than the mirror surface pixel setting confirmation time, it is possible to prevent erroneous detection of the mirror surface area as an object before it is determined to be the mirror surface area.
なお、鏡面画素設定確認時間、鏡面画素設定解除確認時間、および物体検出確認時間は、フレーム画像数で設定する構成であってもよい。例えば、遠赤外線カメラ１０が、１秒間に１０フレームのフレーム画像を出力する構成であれば、１秒（時間）ではなく、１０フレーム（フレーム画像数）を設定する構成であってもよい。
The mirror pixel setting confirmation time, the mirror pixel setting release confirmation time, and the object detection confirmation time may be set by the number of frame images. For example, if the far-
次に、この画像処理装置の動作について説明する。ここでは、最初に画像処理装置１の動作の概略を説明し、その後、各動作について詳細に説明する。図５は、画像処理装置の動作を示すフローチャートである。
Next, the operation of this image processing apparatus will be described. Here, an outline of the operation of the
遠赤外線カメラ１０は、撮像エリアを撮像したフレーム画像を画像入力部３に入力している。画像処理部４は、画像入力部３に入力されたフレーム画像（１フレーム）を取り込む（ｓ１）。画像処理部４は、画像入力部３に入力されたフレーム画像を、入力された順番に取り込み、以下に示す処理を繰り返す。
The far-
画像処理部４は、今回取り込んだフレーム画像に対して水溜まりや、金属等で反射した日光を撮像している鏡面領域を設定する鏡面領域設定処理を行う（ｓ２）。ｓ２では、今回取り込んだフレーム画像に対して、鏡面領域が設定されないこともあれば、１または複数の鏡面領域が設定されることもある。 The image processing unit 4 performs a specular region setting process for setting a specular region in which sunlight is reflected from a puddle or metal or the like on the frame image captured this time (s2). In s2, a mirror area may not be set for the frame image captured this time, or one or a plurality of mirror areas may be set.
画像処理部４は、今回取り込んだフレーム画像に対する背景差分画像を生成する背景差分画像生成処理を行う（ｓ３）。 The image processing unit 4 performs background difference image generation processing for generating a background difference image for the frame image captured this time (s3).
画像処理部は、ｓ３で生成した背景差分画像から、今回取り込んだフレーム画像に撮像されている物体を検出する物体検出処理を行う（ｓ４）。ｓ４では、物体が検出されないこともあれば、１または複数の物体が検出されることもある。 The image processing unit performs an object detection process for detecting an object captured in the frame image captured this time from the background difference image generated in s3 (s4). In s4, an object may not be detected, or one or more objects may be detected.
画像処理部４は、ｓ４で今回取り込んだフレーム画像に撮像されている物体を検出すると、ｓ４で検出した物体毎に、その物体が人であるか、人以外のものであるかを判定する種別判定処理を行う（ｓ５、ｓ６）。画像処理装置１は、ｓ６にかかる判定結果を入出力部５から出力し（ｓ７）、物体の検出を上位装置に通知する。
When the image processing unit 4 detects an object captured in the frame image captured this time in s4, for each object detected in s4, a type for determining whether the object is a person or something other than a person Determination processing is performed (s5, s6). The
なお、画像処理装置１は、ｓ５で、物体を検出していないと判定すると、ｓ６、およびｓ７にかかる処理を行うことなく、以下に示すｓ８にかかる処理を行う。
If the
画像処理部４は、ｓ１で今回取り込んだフレーム画像を用いて、メモリ４ａに記憶している背景モデルを更新する背景モデル更新処理を行い（ｓ８）、ｓ１に戻る。ｓ８では、フレーム画像の各画素について、背景モデルを更新する。 The image processing unit 4 performs background model update processing for updating the background model stored in the memory 4a using the frame image captured this time in s1 (s8), and returns to s1. In s8, the background model is updated for each pixel of the frame image.
なお、背景モデルの更新は、特定の手法に限定されることはなく、上述したように公知の手法のいずれかで行えばよい。 The update of the background model is not limited to a specific method, and may be performed by any known method as described above.
画像処理装置１は、この図５に示す処理を繰り返す。
The
次に、ｓ２にかかる鏡面領域設定処理の詳細について説明する。図６は、鏡面領域設定処理を示すフローチャートである。 Next, details of the specular area setting process according to s2 will be described. FIG. 6 is a flowchart showing the specular area setting process.
画像処理部４は、ｓ１で今回取り込んだフレーム画像の画素毎に、以下に示すｓ１１〜ｓ１７の処理を行い、鏡面画素であるかどうかを判定する。 The image processing unit 4 performs the following processing of s11 to s17 for each pixel of the frame image captured this time in s1, and determines whether or not it is a mirror pixel.
画像処理部４は、鏡面画素であるかどうかを判定する判定対象の画素の画素値がメモリ４ａに記憶している鏡面画素の下限値Ａと、上限値Ｂとの範囲内であるかどうかを判定する（ｓ１１）。画像処理部４は、ｓ１１でその画素値が下限値Ａと、上限値Ｂとの範囲内でないと判定すると、前回取り込んだフレーム画像において、鏡面画素と判定した画素であるかどうかを判定する（ｓ１２）。画像処理部４は、前回取り込んだフレーム画像においても、鏡面画素でないと判定した画素であれば、この画素を鏡面画素でないと判定する（ｓ１３）。 The image processing unit 4 determines whether or not the pixel value of the determination target pixel for determining whether or not it is a specular pixel is within the range between the lower limit value A and the upper limit value B of the specular pixel stored in the memory 4a. Determine (s11). If the image processing unit 4 determines that the pixel value is not within the range between the lower limit value A and the upper limit value B in s11, the image processing unit 4 determines whether or not it is a pixel determined to be a specular pixel in the previously captured frame image ( s12). The image processing unit 4 determines that this pixel is not a specular pixel if it is determined that it is not a specular pixel in the previously captured frame image (s13).
また、画像処理部４は、前回取り込んだフレーム画像において、鏡面画素であると判定した画素であれば、この画素の画素値が下限値Ａと上限値Ｂとの範囲外であった時間が鏡面画素設定解除確認時間継続しているかどうかを判定する（ｓ１４）。画像処理部４は、鏡面画素であると判定した各画素について、その画素値が鏡面画素の下限値Ａと、上限値Ｂとの範囲外である継続時間をカウントしている。このカウント値は、メモリ４ａに記憶している。 Further, if the image processing unit 4 is a pixel determined to be a mirror surface pixel in the previously captured frame image, the time when the pixel value of this pixel is outside the range between the lower limit value A and the upper limit value B is a mirror surface. It is determined whether or not the pixel setting cancellation confirmation time is continued (s14). For each pixel determined to be a mirror pixel, the image processing unit 4 counts the duration for which the pixel value is outside the range between the lower limit value A and the upper limit value B of the mirror surface pixel. This count value is stored in the memory 4a.
画像処理部４は、この画素の画素値が下限値Ａと上限値Ｂとの範囲外であった時間が鏡面画素設定解除確認時間継続していれば、ｓ１３で、この画素を鏡面画素でないと判定する。一方、画像処理部４は、この画素の画素値が下限値Ａと上限値Ｂとの範囲外であった時間が鏡面画素設定解除確認時間継続していなければ、この画素を鏡面画素であると判定する（ｓ１５）。 If the time during which the pixel value of this pixel is outside the range between the lower limit value A and the upper limit value B continues for the specular pixel setting release confirmation time, the image processing unit 4 determines that this pixel is not a specular pixel in s13. judge. On the other hand, if the time during which the pixel value of this pixel is outside the range between the lower limit value A and the upper limit value B has not continued for the mirror pixel setting cancellation confirmation time, the image processing unit 4 regards this pixel as a mirror pixel. Determine (s15).
また、画像処理部４は、ｓ１１で、その画素値が下限値Ａと、上限値Ｂとの範囲内であると判定した画素については、前回取り込んだフレーム画像において、鏡面画素と判定した画素であるかどうかを判定する（ｓ１６）。画像処理部４は、前回取り込んだフレーム画像において、鏡面画素であると判定した画素であれば、ｓ１５で、この画素を鏡面画素であると判定する。 In addition, the image processing unit 4 determines in s11 that the pixel value is determined to be within the range between the lower limit value A and the upper limit value B, as a pixel determined as a specular pixel in the previously captured frame image. It is determined whether or not there is (s16). The image processing unit 4 determines that this pixel is a specular pixel in s15 if it is a pixel determined to be a specular pixel in the previously captured frame image.
また、画像処理部４は、前回取り込んだフレーム画像において、鏡面画素でないと判定した画素であれば、この画素の画素値が下限値Ａと上限値Ｂとの範囲内であった時間が鏡面画素設定確認時間継続しているかどうかを判定する（ｓ１７）。画像処理部４は、鏡面画素でないと判定した各画素について、その画素値が鏡面画素の下限値Ａと、上限値Ｂとの範囲内である継続時間をカウントしている。このカウント値は、メモリ４ａに記憶している。 Further, if the image processing unit 4 is a pixel that is determined not to be a specular pixel in the previously captured frame image, the time during which the pixel value of this pixel is within the range between the lower limit value A and the upper limit value B is a specular pixel. It is determined whether the setting confirmation time is continued (s17). For each pixel determined not to be a mirror surface pixel, the image processing unit 4 counts the duration for which the pixel value is within the range between the lower limit value A and the upper limit value B of the mirror surface pixel. This count value is stored in the memory 4a.
画像処理部４は、この画素の画素値が下限値Ａと上限値Ｂとの範囲内であった時間が鏡面画素設定確認時間継続していれば、ｓ１５で、この画素を鏡面画素であると判定する。一方、画像処理部４は、この画素の画素値が下限値Ａと上限値Ｂとの範囲内であった時間が鏡面画素設定確認時間継続していなければ、ｓ１３で、この画素を鏡面画素でないと判定する。 If the time during which the pixel value of this pixel is within the range between the lower limit value A and the upper limit value B continues for the specular pixel setting confirmation time, the image processing unit 4 determines that this pixel is a specular pixel in s15. judge. On the other hand, if the time during which the pixel value of the pixel is within the range between the lower limit value A and the upper limit value B has not continued for the specular pixel setting confirmation time, the image processing unit 4 determines that the pixel is not a specular pixel in s13. Is determined.
このように、画像処理部４は、フレーム画像の画素毎に、その画素値が下限値Ａと上限値Ｂとの範囲内であった時間が鏡面画素設定確認時間継続したときに、鏡面画素であると判定する。また、画像処理部４は、フレーム画像の画素毎に、その画素値が下限値Ａと上限値Ｂとの範囲外であった時間が鏡面画素設定解除確認時間継続したときに、鏡面画素でないと判定する。 As described above, the image processing unit 4 determines that each pixel of the frame image has a specular pixel when the pixel value is within the range between the lower limit value A and the upper limit value B for the specular pixel setting confirmation time. Judge that there is. Further, the image processing unit 4 determines that each pixel of the frame image is not a mirror pixel when the pixel value is outside the range between the lower limit value A and the upper limit value B and the mirror pixel setting release confirmation time continues. judge.
したがって、画像処理部４は、一時的に、その画素値が下限値Ａと上限値Ｂとの範囲内になった画素を、鏡面画素であると判定することがない。また、画像処理部４は、一時的に、その画素値が下限値Ａと上限値Ｂとの範囲外になった画素を、鏡面画素でないと判定することがない。 Accordingly, the image processing unit 4 temporarily does not determine that a pixel whose pixel value is within the range between the lower limit value A and the upper limit value B is a specular pixel. In addition, the image processing unit 4 temporarily does not determine that a pixel whose pixel value is outside the range between the lower limit value A and the upper limit value B is not a specular pixel.
画像処理部４は、ｓ１５で鏡面画素であると判定した画素の分布に基づいて、今回取り込んだフレーム画像上に鏡面領域を設定する（ｓ１８）。ｓ１８では、鏡面画素が集まっている領域を鏡面領域に設定する。このため、設定した鏡面領域には、上記の処理で鏡面画素でないと判定された画素が含まれることもある。画像処理部４は、ｓ１８で設定した鏡面領域をメモリ４ａに記憶する。例えば、フレーム画像に対して、図３に示した水溜まりが撮像されている領域を鏡面領域に設定し、この領域をメモリ４ａに記憶する。 The image processing unit 4 sets a specular region on the frame image captured this time based on the distribution of pixels determined to be specular pixels in s15 (s18). In s18, the area where the specular pixels are gathered is set as the specular area. For this reason, the set mirror surface area may include pixels determined not to be mirror surface pixels by the above processing. The image processing unit 4 stores the mirror surface area set in s18 in the memory 4a. For example, with respect to the frame image, an area where the puddle shown in FIG. 3 is imaged is set as a mirror surface area, and this area is stored in the memory 4a.
なお、設定した鏡面領域内に含まれている、鏡面画素でないと判定した画素については、この判定結果を維持する。 In addition, this determination result is maintained about the pixel determined to be not a mirror surface pixel contained in the set mirror surface area | region.
次に、ｓ３にかかる背景差分画像生成処理の詳細について説明する。図７は、背景差分画像生成処理を示すフローチャートである。 Next, details of the background difference image generation processing according to s3 will be described. FIG. 7 is a flowchart showing background difference image generation processing.
画像処理部４は、ｓ１で今回取り込んだフレーム画像において、上記処理で設定した鏡面領域以外の各画素について、その画素が前景画素であるか、背景画素であるかを判定する（ｓ２１）。言い換えれば、上記処理で設定した鏡面領域内の画素については、前景画素であるか、背景画素であるかの判定を行わない。画像処理部４は、メモリ４ａに記憶している背景モデル、および閾値Ｄを用いて、前景画素であるか、背景画素であるかの判定を行う。 The image processing unit 4 determines, for each pixel other than the specular area set in the above process, whether the pixel is a foreground pixel or a background pixel in the frame image captured this time in s1 (s21). In other words, it is not determined whether the pixels in the specular region set by the above processing are foreground pixels or background pixels. The image processing unit 4 determines whether the pixel is a foreground pixel or a background pixel by using the background model and the threshold value D stored in the memory 4a.
画像処理部４は、ｓ２１で背景画素であると判定した画素について、画素値の分布を示すヒストグラムを生成する（ｓ２２）。言い換えれば、画像処理部４は、ｓ１８で設定した鏡面領域内に位置する画素、および、ｓ２１で前景画素と判定した画素を用いないで、このヒストグラムを生成する。 The image processing unit 4 generates a histogram indicating the distribution of pixel values for the pixels determined to be background pixels in s21 (s22). In other words, the image processing unit 4 generates this histogram without using the pixels located in the specular area set in s18 and the pixels determined as the foreground pixels in s21.
図８は、フレーム画像における背景画素の画素値の分布を示すヒストグラムである。図８（Ａ）は、日光が照射されているとき（晴天時の日中）のヒストグラムであり、図８（Ｂ）は、日光が照射されていないとき（夕方〜明け方までの時間帯や、曇天時等）のヒストグラムである。ただし、図８（Ａ）、（Ｂ）は、ともに路面等の背景が雨で濡れていない状態である。また、図８（Ｃ）、（Ｄ）は、降雨時のヒストグラムであり、ともに路面等の背景が雨で濡れている状態である。図８（Ｄ）は、図８（Ｃ）よりも降雨量が多い状態である。図８（Ａ）〜（Ｄ）は、横軸が画素値であり、縦軸が画素数である。 FIG. 8 is a histogram showing the distribution of pixel values of background pixels in a frame image. FIG. 8 (A) is a histogram when the sunlight is irradiated (daytime in fine weather), and FIG. 8 (B) is a time zone when the sunlight is not irradiated (from evening to dawn) This is a histogram of cloudy weather. However, FIGS. 8A and 8B show a state in which the background such as the road surface is not wet by rain. Further, FIGS. 8C and 8D are histograms at the time of raining, and both are in a state where the background such as the road surface is wet with rain. FIG. 8D shows a state where there is more rainfall than FIG. 8C. 8A to 8D, the horizontal axis represents the pixel value, and the vertical axis represents the number of pixels.
図８（Ａ）〜（Ｄ）に示すように、降雨時には、背景である路面等が雨に濡れるので、背景画素の画素値は、ある値に集中する。また、降雨量が多くなるにつれて、路面等の濡れ具合が均一に近づくので、背景画素であると判定される路面等を撮像した画素の画素値が、ある値に集中する度合が大きくなる（ヒストグラムの分散δが小さくなる）。 As shown in FIGS. 8A to 8D, when it rains, the road surface as a background gets wet with rain, so the pixel values of the background pixels are concentrated on a certain value. Also, as the amount of rainfall increases, the degree of wetness of the road surface and the like approaches uniformly, so the degree of concentration of pixel values of pixels that image the road surface and the like that are determined to be background pixels increases to a certain value (histogram) Of the dispersion δ becomes smaller).
一方で、降雨時には、前景である人や車両等の物体も、背景である路面と同様に雨に濡れるので、背景画素だけでなく、前景画素の画素値も低下する。 On the other hand, when it rains, objects such as people and vehicles in the foreground get wet in the same manner as the road surface in the background, so that not only the background pixels but also the pixel values of the foreground pixels are lowered.
画像処理部４は、ｓ２２で生成したヒストグラムの分散δに基づき閾値Ｄを算出する（ｓ２３）。具体的には、閾値Ｄを、
閾値Ｄ＝α−β／δ
により算出した値に決定する（α、およびβは、予め個別に設定した値である。）。
The image processing unit 4 calculates a threshold value D based on the histogram variance δ generated in s22 (s23). Specifically, the threshold value D is set to
Threshold value D = α−β / δ
(Α and β are values individually set in advance).
閾値Ｄは、ｓ２２で生成したヒストグラムの分散δが小さくなるにつれて、すなわち降雨量が多くなるにつれて、小さくなる。 The threshold D decreases as the variance δ of the histogram generated in s22 decreases, that is, as the rainfall increases.
画像処理部４は、メモリ４ａに記憶している閾値Ｄを、ｓ２３で算出した値に更新し（ｓ２４）、終了する。 The image processing unit 4 updates the threshold value D stored in the memory 4a to the value calculated in s23 (s24), and ends.
上記の説明から明らかなように、今回取り込んだフレーム画像によって算出した閾値Ｄは、次回取り込んだフレーム画像の各画素に対して前景画素であるか、背景画素であるかを判定するときに用いる。すなわち、今回取り込んだフレーム画像の各画素に対して、前景画素であるか、背景画素であるかを判定するときに用いる閾値Ｄは、前回取り込んだフレーム画像によって算出した値である。 As is clear from the above description, the threshold value D calculated from the frame image captured this time is used to determine whether each pixel of the frame image captured next time is a foreground pixel or a background pixel. That is, the threshold value D used when determining whether each pixel of the frame image captured this time is a foreground pixel or a background pixel is a value calculated from the previously captured frame image.
このように、閾値Ｄは、遠赤外線カメラ１０の撮像エリアの天候の変化にともなって、ほぼリアルタイムに設定される。したがって、遠赤外線カメラ１０が撮像したフレーム画像の各画素に対して、その画素が前景画素であるか、背景画素であるかの判定精度が、この遠赤外線カメラ１０の撮像エリアの天候の変化にともなって低下するのを抑えることができる。
Thus, the threshold value D is set almost in real time with changes in the weather in the imaging area of the far-
なお、上記の説明では、ｓ２２でヒストグラムを生成するとき、ｓ１８で設定した鏡面領域内に位置する画素、および、ｓ２１で前景画素と判定した画素を用いないとしたが、例えば、遠赤外線カメラ１０の撮像対象エリアに、屋根等が設けられていることで、降雨時に雨で濡れない領域がある場合には、降雨時に雨で濡れる領域を閾値算出領域として設定しておいてもよい。この場合、設定している閾値算出領域内であって、且つ、ｓ２１で背景画素であると判定した画素により、上述のヒストグラムを生成すればよい。 In the above description, when generating a histogram in s22, it is assumed that the pixel located in the mirror area set in s18 and the pixel determined as the foreground pixel in s21 are not used. If there is an area that is not wetted by rain when it rains because the image capturing target area is provided with a roof or the like, an area that is wetted by rain when it rains may be set as a threshold calculation area. In this case, the above-described histogram may be generated by pixels that are within the set threshold calculation area and are determined to be background pixels in s21.
次に、ｓ４にかかる物体検出処理の詳細について説明する。図９は、物体検出処理を示すフローチャートである。 Next, details of the object detection processing according to s4 will be described. FIG. 9 is a flowchart showing the object detection process.
画像処理部４は、ｓ２１で前景画素であると判定した画素の分布に基づいて、今回取り込んだフレーム画像上に前景領域を設定する（ｓ３１）。ｓ３１では、前景画素が集まっている領域を前景領域に設定する。このため、設定した前景領域には、上記の処理で背景画素であると判定された画素が含まれることもある。画像処理部４は、ｓ３１で設定した前景領域をメモリ４ａに記憶する。例えば、フレーム画像に対して、図３に示した車両や、人が撮像されている領域を個別に前景領域に設定し、この領域をメモリ４ａに記憶する。 The image processing unit 4 sets a foreground region on the frame image captured this time based on the distribution of pixels determined to be foreground pixels in s21 (s31). In s31, the area where the foreground pixels are gathered is set as the foreground area. For this reason, the set foreground region may include pixels determined to be background pixels in the above processing. The image processing unit 4 stores the foreground area set in s31 in the memory 4a. For example, for the frame image, the area shown in FIG. 3 where the vehicle and the person are captured is individually set as the foreground area, and this area is stored in the memory 4a.
画像処理部４は、ｓ３１で設定した前景領域毎に、予め定めたサイズよりも大きいかどうかを判定し（ｓ３２）、予め定めたサイズよりも小さい前景領域をノイズと判定する（ｓ３３）。ｓ３３では、この前景領域（予め定めたサイズよりも小さい前景領域）に、物体が撮像されていないと判定する。 The image processing unit 4 determines whether each foreground area set in s31 is larger than a predetermined size (s32), and determines that the foreground area smaller than the predetermined size is noise (s33). In s33, it is determined that no object is captured in this foreground area (a foreground area smaller than a predetermined size).
一方、画像処理部４は、ｓ３２で予め定めたサイズよりも大きいと判定した前景領域毎に、その前景領域がメモリ４ａに記憶している物体検出確認時間継続して検出されているかどうかを判定する（ｓ３４）。画像処理部４は、ｓ３４で物体検出確認時間継続して検出されている前景領域を物体として検出する（ｓ３５）。画像処理部４は、ｓ３２で予め定めたサイズよりも大きいと判定した前景領域毎に、フレーム画像上に設定した継続時間をカウントしている。このカウント値は、メモリ４ａに記憶している。 On the other hand, the image processing unit 4 determines, for each foreground area determined to be larger than the predetermined size in s32, whether or not the foreground area is continuously detected in the object detection confirmation time stored in the memory 4a. (S34). The image processing unit 4 detects, as an object, the foreground area detected continuously in the object detection confirmation time in s34 (s35). The image processing unit 4 counts the duration set on the frame image for each foreground area determined to be larger than the predetermined size in s32. This count value is stored in the memory 4a.
なお、画像処理部４は、物体検出確認時間継続して検出されていない前景領域を物体として検出しないが、この前景領域をノイズとして判定することもない。 Note that the image processing unit 4 does not detect the foreground area that has not been detected continuously for the object detection confirmation time as an object, but does not determine the foreground area as noise.
これにより、画像処理部４は、遠赤外線カメラ１０の撮像エリア内に、物体検出確認時間以上滞在した物体を、物体として検出する。このため、画像処理部４が、遠赤外線カメラ１０の撮像レンズの近くを飛行した鳥や虫等を、物体として検出するのを防止できる。
As a result, the image processing unit 4 detects an object staying in the imaging area of the far-
また、物体検出確認時間は、上述したように、鏡面画素設定確認時間以上に設定することで、ｓ１８で鏡面領域に設定される前に、画像処理部４が、この鏡面領域を物体であると誤検出するのを防止できる。 In addition, as described above, the object detection confirmation time is set to be equal to or longer than the specular pixel setting confirmation time, so that the image processing unit 4 determines that the specular area is an object before the specular area is set in s18. It is possible to prevent erroneous detection.
次に、ｓ６にかかる種別判定処理の詳細について説明する。図１０は、種別判定処理を示すフローチャートである。 Next, details of the type determination process according to s6 will be described. FIG. 10 is a flowchart showing the type determination process.
画像処理部４は、ｓ３５で物体として検出した前景領域毎に、その前景領域内の画素の画素値の分布を示すヒストグラムを生成する（ｓ４１）。車両等の物体は、表面が略均一な材質であるので、遠赤外線エネルギーの放射度合が略均一である。このため、車両等の物体にかかる前景領域は、画素値の分布を示すヒストグラムの分散δが比較的小さい。 For each foreground area detected as an object in s35, the image processing unit 4 generates a histogram indicating the distribution of pixel values of pixels in the foreground area (s41). Since an object such as a vehicle is made of a material having a substantially uniform surface, the irradiance of far-infrared energy is approximately uniform. For this reason, the foreground area of an object such as a vehicle has a relatively small histogram variance δ indicating the distribution of pixel values.
これに対し、人は、体の部位によって遠赤外線エネルギーの放射量が異なり、また、雨に濡れていても、衣服や合羽が肌に密着している部分と、肌から離れている部分とがあるので、画素値の分布を示すヒストグラムの分散δが比較的大きい。 On the other hand, the amount of radiation of far-infrared energy differs depending on the part of the body, and even if it is wet, the part where clothes and feathers are in close contact with the skin and the part away from the skin Therefore, the variance δ of the histogram indicating the pixel value distribution is relatively large.
画像処理部は、ｓ４１で生成したヒストグラムの分散δが予め定めた値Ｃ以上であれば人、それ以外（分散δが予め定めた値Ｃ未満）であれば人でない物体と判定する（ｓ４２〜ｓ４４）。また、この種別判定においては、前景領域の大きさ等も加味して、その種別を判定してもよい。 If the variance δ of the histogram generated in s41 is greater than or equal to the predetermined value C, the image processing unit determines that the person is a human, and otherwise (the variance δ is less than the predetermined value C) determines that the object is not a human (s42 to s42). s44). In this type determination, the type may be determined in consideration of the size of the foreground area.
なお、上記の判定に用いる値Ｃもメモリ４ａに記憶している。 Note that the value C used for the above determination is also stored in the memory 4a.
このように、この画像処理装置１は、遠赤外線カメラ１０の撮像エリアの天候の変化に応じて、前景画素であるか、背景画素であるかを判定する閾値Ｄを算出し、更新する。したがって、遠赤外線カメラ１０が撮像したフレーム画像の各画素に対して、その画素が前景画素であるか、背景画素であるかの判定精度が、この遠赤外線カメラ１０の撮像エリアの天候の変化にともなって低下するのを抑えることができる。その結果、遠赤外線カメラ１０が撮像したフレーム画像に対する前景領域の設定も適正に行えるので遠赤外線カメラ１０で撮像した撮像エリアのフレーム画像に撮像されている人や車両等の物体の検出精度が、この遠赤外線カメラ１０の撮像エリアの天候の変化にともなって低下するのを抑えることができる。
As described above, the
なお、上記の例では、画像処理装置１は、前景画素であるか、背景画素であるかを判定する閾値Ｄを算出し、更新する構成を備えているとしたが、閾値Ｄについては、予め設定した固定値にしてもよい。
In the above example, the
また、画像処理部４は、設定した鏡面領域内の画素については、その画素が前景画素であるか背景画素であるかを判定しないので、この鏡面領域が物体として誤検出されることがない。 Further, since the image processing unit 4 does not determine whether the pixel in the set mirror area is a foreground pixel or a background pixel, the mirror area is not erroneously detected as an object.
また、画像処理部４は、物体として検出した、前景領域内の画素の画素値の分布を示すヒストグラムの分散δにより、その物体の種別を判定するので、検出した物体が人であるかどうかについて精度よく判定できる。 Further, the image processing unit 4 determines the type of the object based on the variance δ of the histogram indicating the pixel value distribution of the pixels in the foreground area detected as an object, so whether or not the detected object is a person. Judgment can be made with high accuracy.
なお、上記の例では、画像処理装置１は、前景画素であるか、背景画素であるかを判定する閾値Ｄを算出し、更新する構成を備えているとしたが、閾値Ｄについては、予め設定した固定値にしてもよい。
In the above example, the
１…画像処理装置
２…制御部
３…画像入力部
４…画像処理部
４ａ…メモリ
５…入出力部
１０…遠赤外線カメラ
DESCRIPTION OF
Claims (11)
前記画像入力部に入力されたフレーム画像の各画素について、その画素の画素値の頻度をモデル化した背景モデルを記憶する背景モデル記憶部と、
前記画像入力部に入力されたフレーム画像の各画素について、その画素が前景画素であるか、背景画素であるかを、前記背景モデル記憶部が当該画素について記憶する背景モデルを用いて判定し、背景差分画像を生成する背景差分画像生成部と、
前記背景差分画像生成部が生成した背景差分画像から、撮像されている物体を検出する物体検出部と、
画素値の下限値と上限値とによって規定した鏡面画素の画素値の範囲を記憶する鏡面画素値記憶部と、
前記画像入力部に入力されたフレーム画像の各画素について、その画素の画素値が前記鏡面画素値記憶部に記憶する前記鏡面画素の画素値の範囲内であるかどうかに基づき、当該画素が前記鏡面画素であるかどうかを判定する鏡面画素判定部と、
前記鏡面画素判定部の判定結果に基づき、前記画像入力部に入力されたフレーム画像に対して鏡面領域を設定する鏡面領域設定部と、を備え、
前記物体検出部は、前記鏡面領域設定部が設定した前記鏡面領域に対して、撮像されている物体の検出を行わない、画像処理装置。 An image input unit for inputting a frame image of an imaging area captured by an infrared camera;
For each pixel of the frame image input to the image input unit, a background model storage unit that stores a background model that models the frequency of the pixel value of the pixel;
For each pixel of the frame image input to the image input unit, the background model storage unit determines whether the pixel is a foreground pixel or a background pixel using the background model stored for the pixel, A background difference image generation unit for generating a background difference image;
An object detection unit for detecting an imaged object from the background difference image generated by the background difference image generation unit;
A specular pixel value storage unit for storing a range of pixel values of specular pixels defined by a lower limit value and an upper limit value of the pixel value;
For each pixel of the frame image input before Symbol image input unit, based on whether the pixel value of the pixel is within the range of the pixel values of the specular pixels stored in the mirror pixel value storage section, the pixel is A mirror pixel determination unit that determines whether the pixel is a mirror pixel;
A specular region setting unit configured to set a specular region for the frame image input to the image input unit based on the determination result of the specular pixel determination unit;
The image processing apparatus, wherein the object detection unit does not detect an object being imaged with respect to the specular region set by the specular region setting unit.
前記画像入力部に入力されたフレーム画像の各画素について、背景モデル記憶部に記憶している当該画素の画素値の頻度をモデル化した背景モデルを用いて、その画素が前景画素であるか、背景画素であるかを判定し、背景差分画像を生成する背景差分画像生成ステップと、
前記背景差分画像生成ステップで生成した背景差分画像から、撮像されている物体を検出する物体検出ステップと、
前記画像入力部に入力されたフレーム画像の各画素について、その画素の画素値が、画素値の下限値と上限値とによって規定した鏡面画素の画素値の範囲内であるかどうかに基づき、当該画素が前記鏡面画素であるかどうかを判定する鏡面画素判定ステップと、
前記鏡面画素判定ステップの判定結果に基づき、前記画像入力部に入力されたフレーム画像に対して鏡面領域を設定する鏡面領域設定ステップと、を備え、
前記物体検出ステップは、前記鏡面領域設定ステップが設定した前記鏡面領域に対して、撮像されている物体の検出を行わない、画像処理方法。 An image processing method for detecting an imaged object from a background difference image generated by processing a frame image of an imaging area captured by an infrared camera input to an image input unit,
For each pixel of the frame image input to the image input unit, using a background model that models the frequency of the pixel value of the pixel stored in the background model storage unit, whether the pixel is a foreground pixel, A background difference image generation step of determining whether the pixel is a background pixel and generating a background difference image;
An object detection step of detecting an imaged object from the background difference image generated in the background difference image generation step ;
For each pixel of the input frame image prior Symbol image input unit, based on whether the pixel value of the pixel is in the range of lower and upper limits and the pixel values of the specular pixels defined by the pixel values, A specular pixel determination step of determining whether the pixel is the specular pixel;
A specular region setting step for setting a specular region for the frame image input to the image input unit based on the determination result of the specular pixel determination step;
The object detection step is an image processing method in which the object being imaged is not detected in the mirror surface area set in the mirror surface area setting step.
前記画像入力部に入力されたフレーム画像の各画素について、背景モデル記憶部に記憶している当該画素の画素値の頻度をモデル化した背景モデルを用いて、その画素が前景画素であるか、背景画素であるかを判定し、背景差分画像を生成する背景差分画像生成ステップと、
前記背景差分画像生成ステップで生成した背景差分画像から、撮像されている物体を検出する物体検出ステップと、
前記画像入力部に入力されたフレーム画像の各画素について、その画素の画素値が、画素値の下限値と上限値とによって規定した鏡面画素の画素値の範囲内であるかどうかに基づき、当該画素が前記鏡面画素であるかどうかを判定する鏡面画素判定ステップと、
前記鏡面画素判定ステップの判定結果に基づき、前記画像入力部に入力されたフレーム画像に対して鏡面領域を設定する鏡面領域設定ステップと、をコンピュータに実行させ、
前記物体検出ステップは、前記鏡面領域設定ステップが設定した前記鏡面領域に対して、撮像されている物体の検出を行わないステップである、画像処理プログラム。 An image processing program for causing a computer to execute image processing for detecting an imaged object from a background difference image generated by processing a frame image of an imaging area captured by an infrared camera input to an image input unit,
For each pixel of the frame image input to the image input unit, using a background model that models the frequency of the pixel value of the pixel stored in the background model storage unit, whether the pixel is a foreground pixel, A background difference image generation step of determining whether the pixel is a background pixel and generating a background difference image;
An object detection step of detecting an imaged object from the background difference image generated in the background difference image generation step ;
For each pixel of the input frame image prior Symbol image input unit, based on whether the pixel value of the pixel is in the range of lower and upper limits and the pixel values of the specular pixels defined by the pixel values, A specular pixel determination step of determining whether the pixel is the specular pixel;
Based on the determination result of the specular pixel determination step, causing the computer to execute a specular region setting step for setting a specular region for the frame image input to the image input unit,
The object detection step is an image processing program which is a step in which an object being imaged is not detected in the mirror surface area set in the mirror surface area setting step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012053468A JP5948984B2 (en) | 2012-03-09 | 2012-03-09 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012053468A JP5948984B2 (en) | 2012-03-09 | 2012-03-09 | Image processing apparatus, image processing method, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013186818A JP2013186818A (en) | 2013-09-19 |
| JP5948984B2 true JP5948984B2 (en) | 2016-07-06 |
Family
ID=49388150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012053468A Active JP5948984B2 (en) | 2012-03-09 | 2012-03-09 | Image processing apparatus, image processing method, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5948984B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019069599A1 (en) * | 2017-10-05 | 2019-04-11 | ソニー株式会社 | Image processing device and image processing method |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3888793B2 (en) * | 1998-12-28 | 2007-03-07 | セコム株式会社 | Image sensor |
| JP3898157B2 (en) * | 2003-06-04 | 2007-03-28 | 本田技研工業株式会社 | Infrared image recognition device |
| EP2013817A2 (en) * | 2006-04-17 | 2009-01-14 | Objectvideo, Inc. | Video segmentation using statistical pixel modeling |
| JP5279475B2 (en) * | 2008-12-19 | 2013-09-04 | パナソニック株式会社 | Surveillance camera device |
-
2012
- 2012-03-09 JP JP2012053468A patent/JP5948984B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013186818A (en) | 2013-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5948983B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2013186819A (en) | Image processing device, image processing method, and image processing program | |
| US9258531B2 (en) | System and method for video-quality enhancement | |
| KR101339026B1 (en) | Method and apparatus for thermal camera visibility enhancing | |
| US10896495B2 (en) | Method for detecting and tracking target object, target object tracking apparatus, and computer-program product | |
| JP2009100256A (en) | Object detecting device | |
| JP2010539740A (en) | Runway monitoring system and method | |
| JP2011174648A (en) | Apparatus and method for image processing, and air conditioning control apparatus | |
| JP4611776B2 (en) | Image signal processing device | |
| WO2018084191A1 (en) | Congestion state analysis system | |
| CN105469054B (en) | The model building method of normal behaviour and the detection method of abnormal behaviour | |
| JP4491360B2 (en) | Image signal processing device | |
| JP4990030B2 (en) | Moving object detection device | |
| KR101297121B1 (en) | Tunnel fire detection device using infrared imaging and thereof | |
| JP5948984B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5950628B2 (en) | Object detection apparatus, object detection method, and program | |
| CN111063145A (en) | Intelligent processor for electronic fence | |
| CN112330544A (en) | Image smear processing method, device, equipment and medium | |
| JP3567114B2 (en) | Image monitoring apparatus and image monitoring method | |
| JP6369058B2 (en) | Image processing device | |
| JP6340837B2 (en) | Image processing device | |
| JP6124739B2 (en) | Image sensor | |
| JP6405651B2 (en) | Image processing device | |
| Zaihidee et al. | Comparison of human segmentation using thermal and color image in outdoor environment | |
| Landge | Object Detection and Object Tracking Using Background Subtraction for Surveillance Application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150107 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151027 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160523 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5948984 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |