JP2001357388A - Device for monitoring road - Google Patents
Device for monitoring roadInfo
- Publication number
- JP2001357388A JP2001357388A JP2000175052A JP2000175052A JP2001357388A JP 2001357388 A JP2001357388 A JP 2001357388A JP 2000175052 A JP2000175052 A JP 2000175052A JP 2000175052 A JP2000175052 A JP 2000175052A JP 2001357388 A JP2001357388 A JP 2001357388A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- camera
- unit
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、例えば高速道路な
どにおいて、可視カメラと赤外カメラを使用して、道路
監視範囲に存在する車両や障害物を自動的に検出する道
路監視装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a road monitoring apparatus for automatically detecting vehicles and obstacles existing in a road monitoring area using a visible camera and an infrared camera, for example, on a highway. is there.
【０００２】[0002]
【従来の技術】従来、可視カメラと赤外カメラを使用し
た監視装置では、可視カメラによる画像処理で検出した
物体と赤外カメラによる画像処理で検出した物体の共通
部分を装置全体での物体として検出している。2. Description of the Related Art Conventionally, in a monitoring apparatus using a visible camera and an infrared camera, a common part of an object detected by image processing by a visible camera and an object detected by image processing by an infrared camera is regarded as an object in the entire apparatus. Detected.
【０００３】例えば、特公平４−５６３５９号公報で
は、可視カメラで得られた画像に時間差分方式を施して
物体を検出し、その物体と赤外カメラで得られた画像と
の共通部分を物体として検出している。具体的には、Ｉ
ＴＶ（可視）カメラおよび赤外線カメラより得られた画
像について時刻（ｔ１）と時刻（ｔ１＋Δｔ）の画像お
よび時刻（ｔ１＋Δｔ）と時刻（ｔ１＋２Δｔ）の画像
の差分を各々求め、２値化処理を施し、得られた２つの
画像にＡＮＤ処理を施して物体を検出する。更に、ＡＮ
Ｄ処理を施して得られた画像と赤外線カメラから得られ
た画像にＡＮＤ処理を施して最終的な物体を検出してい
る。For example, in Japanese Patent Publication No. 4-56359, an image obtained by a visible camera is subjected to a time difference method to detect an object, and a common portion between the object and an image obtained by an infrared camera is detected. Has been detected as Specifically, I
For the images obtained from the TV (visible) camera and the infrared camera, the difference between the images at the time (t1) and the time (t1 + Δt) and the image at the time (t1 + Δt) and the time (t1 + 2Δt) is obtained, and binarization processing is performed. An object is detected by performing an AND process on the two obtained images. Furthermore, AN
The final object is detected by performing an AND process on the image obtained by performing the D process and the image obtained by the infrared camera.
【０００４】また、特開平４−１３７０１６号公報で
は、可視カメラで得られた画像と赤外カメラで得られた
画像から物体を検出し、両画像で共通に得られる部分を
物体として検出している。具体的には、可視カメラで得
られた画像と赤外カメラで得られた画像を各々２値化処
理を施し、更に、２値化処理により得られた２つの画像
にＡＮＤ処理を施して、物体を検出している。In Japanese Patent Application Laid-Open No. Hei 4-137016, an object is detected from an image obtained by a visible camera and an image obtained by an infrared camera, and a portion obtained in common between both images is detected as an object. I have. Specifically, the image obtained by the visible camera and the image obtained by the infrared camera are respectively subjected to a binarization process, and further, the two images obtained by the binarization process are subjected to an AND process. An object is being detected.
【０００５】更に、一般的に画像処理により物体を検出
する方法として、予め物体が存在しない背景画像とカメ
ラからの入力画像に差分処理を施して得られる背景差分
画像を２値化処理し、得られた画像から物体を検出する
方法がある。そこで、可視カメラと赤外カメラで得られ
る各々の画像に対して、背景差分画像を２値化処理して
得られた画像から物体を検出し、その共通部分を最終的
な物体として検出する方法も考えられる。In general, as a method of detecting an object by image processing, a background difference image obtained by subjecting a background image having no object to an input image from a camera in advance is binarized to obtain a background difference image. There is a method of detecting an object from a captured image. Therefore, for each image obtained by the visible camera and the infrared camera, an object is detected from an image obtained by binarizing a background difference image, and a common part is detected as a final object. Is also conceivable.
【０００６】[0006]
【発明が解決しようとする課題】しかしながら、物体に
よっては背景となる道路と著しく同じ色の場合や道路と
著しく同じ温度の場合がある。また夜間の場合に照明設
備等がない環境においては、物体を十分認識できるほど
の照度が得られず、可視カメラで撮影された画像を用い
て物体を検出することは困難である。However, depending on the object, there may be a case where the color of the road is significantly the same as that of the background road or a case where the temperature of the road is significantly the same. Further, in an environment where there is no lighting equipment or the like in the night, illuminance sufficient to recognize the object cannot be obtained, and it is difficult to detect the object using an image captured by a visible camera.
【０００７】このように道路と同じ色の物体や夜間の場
合は、可視カメラの画像処理により物体として検出でき
ず、また道路と同じ温度の物体は、赤外カメラの画像処
理により物体として検出できない。即ち、そのような場
合、可視カメラあるいは赤外カメラのいずれか一方のみ
でしか物体を検出できず、両カメラの画像で共通して得
られた部分を物体として検出する従来例では、物体とし
て検出できないことになる。As described above, an object having the same color as a road or at night cannot be detected as an object by image processing of a visible camera, and an object having the same temperature as a road cannot be detected as an object by image processing of an infrared camera. . That is, in such a case, the object can be detected only by either the visible camera or the infrared camera, and in the conventional example of detecting the part obtained in common by the images of both cameras as the object, the object is detected as the object. You can't.
【０００８】[0008]
【課題を解決するための手段】上記課題を解決するた
め、本発明は可視カメラと赤外カメラで得られるそれぞ
れの入力画像と予め撮影した背景画像との差分処理をし
て背景差分画像を作成し、２つの背景差分画像を合成す
ることにより物体を検出するようにしたものである。In order to solve the above-mentioned problems, the present invention creates a background difference image by performing a difference process between each input image obtained by a visible camera and an infrared camera and a background image taken in advance. The object is detected by combining two background difference images.
【０００９】[0009]
【発明の実施の形態】図１は、本発明の第１の実施形態
を示すもので、道路監視装置の構成図である。この道路
監視装置１０は、可視カメラ２００と、赤外カメラ３０
０と、画像処理装置１００と、検出結果表示部５００と
を備える。FIG. 1 shows a first embodiment of the present invention, and is a configuration diagram of a road monitoring apparatus. The road monitoring device 10 includes a visible camera 200 and an infrared camera 30.
0, an image processing apparatus 100, and a detection result display unit 500.
【００１０】この画像処理装置１００は、可視カメラ入
力部２１０と、背景差分処理部２２０と、背景画像記憶
部２３０と、３値化処理部２４０と、背景画像更新部２
５０と、赤外カメラ入力部３１０と、背景差分処理部３
２０と、背景画像記憶部３３０と、３値化処理部３４０
と、背景画像更新部３５０と、物体検出部４１０とを備
える。The image processing apparatus 100 includes a visible camera input unit 210, a background difference processing unit 220, a background image storage unit 230, a ternarization processing unit 240, and a background image update unit 2.
50, infrared camera input unit 310, background difference processing unit 3
20, a background image storage unit 330, and a ternarization processing unit 340
, A background image updating unit 350, and an object detecting unit 410.
【００１１】この可視カメラ入力部２１０は、可視カメ
ラ２００からの入力画像が格納されている。The visible camera input unit 210 stores an input image from the visible camera 200.
【００１２】背景画像記憶部２３０は、可視カメラ２０
０において予め物体が存在しない画像が背景画像として
格納されている。The background image storage unit 230 stores the visible camera 20
At 0, an image in which no object exists is stored in advance as a background image.
【００１３】背景差分処理部２２０は、可視カメラ入力
部２１０で格納されている入力画像と背景画像記憶部２
３０に格納されている背景画像との差分処理を施し、背
景差分画像を作成する。The background difference processing unit 220 includes an input image stored in the visible camera input unit 210 and the background image storage unit 2.
The difference processing with respect to the background image stored in 30 is performed to create a background difference image.
【００１４】３値化処理部２４０は、背景差分処理部２
２０で作成した背景差分画像に３値化処理を施す。The ternarization processing unit 240 includes a background difference processing unit 2
A ternarization process is performed on the background difference image created in 20.
【００１５】背景更新部２５０では、３値化処理部２４
０で得られた結果に基づいて、背景画像の更新を行う。In the background updating section 250, the ternarization processing section 24
The background image is updated based on the result obtained at 0.
【００１６】赤外カメラ入力部３１０は、赤外カメラ３
００からの入力画像が格納されている。The infrared camera input unit 310 is connected to the infrared camera 3
The input image from 00 is stored.
【００１７】背景画像記憶部３３０は、赤外カメラ３０
０において予め物体が存在しない画像が背景画像として
格納されている。The background image storage unit 330 stores the infrared camera 30
At 0, an image in which no object exists is stored in advance as a background image.
【００１８】背景差分処理部３２０は、赤外カメラ入力
部３１０で格納されている入力画像と背景画像記憶部３
３０に格納されている背景画像との差分処理を施し、背
景差分画像を作成する。The background difference processing unit 320 is configured to store the input image stored in the infrared camera input unit 310 and the background image storage unit 3
The difference processing with respect to the background image stored in 30 is performed to create a background difference image.
【００１９】３値化処理部３４０は、背景差分処理部３
２０で作成した背景差分画像に３値化処理を施す。The ternarization processing section 340 includes a background difference processing section 3
A ternarization process is performed on the background difference image created in 20.
【００２０】背景更新部３５０では、３値化処理部３４
０で得られた結果に基づいて、背景画像の更新を行う。In the background updating section 350, the ternarization processing section 34
The background image is updated based on the result obtained at 0.
【００２１】物体検出部４１０は、可視カメラ２００の
入力画像に関する３値化処理部２４０と赤外カメラ３０
０の入力に関する３値化処理部３４０の結果に基づい
て、合成した背景差分画像の濃淡値により自動的に物体
を検出する。The object detection unit 410 includes a ternarization processing unit 240 for the input image of the visible camera 200 and the infrared camera 30.
Based on the result of the ternarization processing unit 340 regarding the input of 0, the object is automatically detected based on the gray value of the synthesized background difference image.
【００２２】検出結果表示部５００は、画像処理装置１
０から出力される物体検出結果をディスプレイなどの表
示装置に表示する。The detection result display section 500 includes the image processing device 1
The object detection result output from 0 is displayed on a display device such as a display.
【００２３】図２は第１の実施形態における物体検出処
理の説明図である。FIG. 2 is an explanatory diagram of the object detection processing in the first embodiment.
【００２４】以下に図１と図２を用いて、第１の実施形
態の道路監視装置における物体検出方法を具体的に説明
する。Hereinafter, an object detection method in the road monitoring device of the first embodiment will be described in detail with reference to FIGS.
【００２５】可視カメラ２００および赤外カメラ３００
は、道路および路上を走行する車両のように背景と物体
からなる画像を撮影する。また、可視カメラ２００およ
び赤外カメラ３００は監視領域が一致するように設置さ
れている。The visible camera 200 and the infrared camera 300
Captures an image composed of a background and an object, such as a road and a vehicle running on a road. In addition, the visible camera 200 and the infrared camera 300 are installed so that the monitoring areas match.
【００２６】可視カメラ２００および赤外カメラ３００
により撮影された画像は、それぞれ可視カメラ入力部２
１０および赤外カメラ入力部３１０に入力され、入力画
像として記憶される。The visible camera 200 and the infrared camera 300
The images captured by the camera are respectively input to the visible camera input unit 2
10 and input to the infrared camera input unit 310 and stored as an input image.
【００２７】また、背景画像記憶部２３０および背景画
像記憶部３３０には、各々可視カメラ２００および赤外
カメラ３００によって、予め物体などが存在しない背景
のみからなる画像が撮影され、背景画像として記憶され
ている。In the background image storage unit 230 and the background image storage unit 330, an image consisting of only a background having no object or the like is previously photographed by the visible camera 200 and the infrared camera 300 and stored as a background image. ing.
【００２８】背景差分処理部２２０では、可視カメラ入
力部２１０で記憶されている可視カメラ２００の図２
（ａ）に示す入力画像と背景記憶部２３０で記憶されて
いる背景画像において差分処理を施し、背景差分画像を
得る。In the background subtraction processing section 220, the visible camera 200 stored in the visible camera input section 210 shown in FIG.
Difference processing is performed on the input image shown in FIG. 2A and the background image stored in the background storage unit 230 to obtain a background difference image.
【００２９】３値化処理部２４０では、背景差分処理部
２２０で得られた背景差分画像を予め決められた閾値で
３値化処理を行う。閾値には、例えば、２値化処理で物
体を検出する閾値およびその閾値の半分の値を３値化処
理の閾値として用いれば良い。The ternarization processing section 240 performs ternarization processing on the background difference image obtained by the background difference processing section 220 at a predetermined threshold value. As the threshold, for example, a threshold for detecting an object in the binarization processing and a half value of the threshold may be used as the threshold for the ternarization processing.
【００３０】具体的に３値化処理によって得られた画像
を図２（ｃ）に示す。濃淡値を示す斜線の部分（３値化
レベル“２”）が、通常２値化処理によって物体として
検出される領域であり、網目の部分（３値化レベル
“１”）は、物体とは検出できないが、入力画像と背景
画像において若干差分がある領域である。FIG. 2C shows an image specifically obtained by the ternarization processing. The shaded portion indicating the gray level (the ternary level “2”) is a region that is normally detected as an object by the binarization process, and the mesh portion (the ternary level “1”) is the object. This is an area that cannot be detected, but has a slight difference between the input image and the background image.
【００３１】赤外カメラ３００で撮影された画像も同様
に、背景差分処理部３２０では、赤外カメラ入力部３１
０で記憶されている赤外カメラ３００の図２（ｂ）に示
す入力画像と背景記憶部３３０で記憶されている背景画
像において差分処理を施し、背景差分画像を得る。Similarly, the image captured by the infrared camera 300 is also input to the background difference processing unit 320 by the infrared camera input unit 31.
The difference processing is performed on the input image shown in FIG. 2B of the infrared camera 300 and the background image stored in the background storage unit 330 to obtain a background difference image.
【００３２】３値化処理部３４０では、背景差分処理部
３２０で得られた背景差分画像を予め決められた閾値で
３値化処理を行う。閾値には、例えば、２値化処理で物
体を検出する閾値およびその閾値の半分の値を３値化処
理の閾値として用いれば良い。具体的に３値化処理によ
って得られた画像を図２（ｄ）に示す。The ternarization processing section 340 performs ternarization processing on the background difference image obtained by the background difference processing section 320 at a predetermined threshold value. As the threshold, for example, a threshold for detecting an object in the binarization processing and a half value of the threshold may be used as the threshold for the ternarization processing. An image specifically obtained by the ternarization processing is shown in FIG.
【００３３】物体検出部４１０では、可視カメラ２００
の３値化処理部２４０によって得られた画像と赤外カメ
ラ３００の３値化処理部３４０によって得られた画像か
ら合成して物体領域を検出する。具体的な方法として
は、２つの３値化処理した画像の和をとり、濃淡値
“３”以上の画素を物体として検出する。In the object detection unit 410, the visible camera 200
And an image obtained by the ternarization processing unit 340 of the infrared camera 300 is synthesized from the image obtained by the ternarization processing unit 240 to detect an object region. As a specific method, the sum of two ternary-processed images is calculated, and a pixel having a gray scale value “3” or more is detected as an object.
【００３４】図を用いて具体的に説明すると、両画像で
物体と検出されている歩行者１ｃ，１ｄは、３値画像の
和が“４”なので図２（ｅ）の物体１ｅとして検出でき
る。また、どちらかの一方でしか検出できず、もう一方
ではわずかな差分しかない障害物２ｃ，２ｄや車両３
ｃ，３ｄでも、３値画像の和が“３”となり、図２
（ｅ）の物体２ｅ，３ｅとして検出できる。More specifically, the pedestrians 1c and 1d detected as objects in both images can be detected as the object 1e in FIG. 2E because the sum of the ternary images is "4". . In addition, the obstacles 2c and 2d and the vehicle 3 which can be detected only in one of them and the other has only a small difference
Also in c and 3d, the sum of the ternary images is “3”, and FIG.
(E) can be detected as the objects 2e and 3e.
【００３５】なお、一方でわずかな差分しかない障害物
の影４ｃは３値画像の和が“１”となり、また、一方で
しか検出できず、もう一方では全く検出できない車両の
影５ｃも３値画像の和が“２”となり、物体と誤って認
識することもない。On the other hand, the shadow 4c of the obstacle having only a small difference has the sum of the ternary images of "1", and the shadow 5c of the vehicle which can be detected only on one side and not detected on the other side is also 3. The sum of the value images is “2”, and there is no erroneous recognition as an object.
【００３６】背景画像更新部２５０では、可視カメラ２
００の背景画像を更新する。可視カメラ２００の入力は
天候や時間の変化と共に撮影される画像の明るさが変化
するので、正確な背景差分を得るためには常に背景画像
を更新する必要がある。具体的には３値化処理部２４０
で３値レベルが“２”（通常２値化処理によって物体と
して検出される領域）の背景画像の画素は、背景画像記
憶部２３０で記憶されている過去の背景画像の画素値を
保持する。In the background image updating section 250, the visible camera 2
The background image of 00 is updated. The input of the visible camera 200 changes the brightness of the captured image with the change of weather or time. Therefore, it is necessary to always update the background image in order to obtain an accurate background difference. Specifically, the ternarization processing unit 240
The pixel of the background image whose ternary level is “2” (a region normally detected as an object by the binarization process) holds the pixel value of the past background image stored in the background image storage unit 230.
【００３７】それ以外の物体として検出されなかった画
素は、可視カメラ入力部２１０で記憶されている入力画
像と背景画像記憶部２３０で記憶されている過去の背景
画像とをある一定の比率で合成することで、新たな背景
画像の画素値とする。物体として検出されなかった画素
について背景更新する場合は、可視カメラ入力部２１０
で記憶されている入力画像の画素値をそのまま新たな背
景画像の画素値とすることもできる。Pixels not detected as other objects are synthesized at a certain ratio between the input image stored in the visible camera input unit 210 and the past background image stored in the background image storage unit 230. By doing so, the pixel value of the new background image is set. To update the background of pixels not detected as an object, the visible camera input unit 210
The pixel value of the input image stored in step (1) can be used as it is as the pixel value of the new background image.
【００３８】赤外カメラ３００の方も同様で、背景画像
更新部３５０では、赤外カメラ３００の背景画像を更新
する。具体的には３値化処理部３４０で３値化レベルが
“２”（通常２値化処理によって物体として検出される
領域）の背景画像の画素は、背景画像記憶部３３０で記
憶されている過去の背景画像の画素値を保持する。The same applies to the infrared camera 300, and the background image updating section 350 updates the background image of the infrared camera 300. Specifically, the pixels of the background image whose ternarization level is “2” in the ternarization processing unit 340 (a region normally detected as an object by the binarization processing) are stored in the background image storage unit 330. The pixel value of the past background image is held.
【００３９】それ以外の物体として検出されなかった画
素は、赤外カメラ入力部３１０で記憶されている入力画
像と背景画像記憶部３３０で記憶されている過去の背景
画像とをある一定の比率で合成することで、新たな背景
画像の画素値とする。物体として検出されなかった画素
について背景更新する場合は、赤外カメラ入力部３１０
で記憶されている入力画像の画素値をそのまま新たな背
景画像の画素値とすることもできる。Pixels that are not detected as other objects are determined by a certain ratio between the input image stored in the infrared camera input unit 310 and the past background image stored in the background image storage unit 330. By combining, the pixel value of the new background image is obtained. To update the background of pixels not detected as an object, the infrared camera input unit 310
The pixel value of the input image stored in step (1) can be used as it is as the pixel value of the new background image.
【００４０】最後に検出結果表示部５００では、画像処
理装置１００で得られた物体検出結果をディスプレイな
どの表示装置に文字・矩形などを用いて表示する。Finally, the detection result display section 500 displays the object detection result obtained by the image processing apparatus 100 on a display device such as a display using characters and rectangles.
【００４１】この第１の実施形態によれば、可視カメラ
および赤外カメラの両方で検出できる物体はもちろん、
一方では物体として検出できるが、もう一方では物体と
しては検出できず、わずかな差分特徴しか得られない場
合でも、３値化画像の和を取ることにより総合的に判定
して、物体として検出することができる。According to the first embodiment, not only objects that can be detected by both the visible camera and the infrared camera, but also
On the one hand, it can be detected as an object, but on the other hand it cannot be detected as an object, and even if only a small difference feature is obtained, it is determined comprehensively by taking the sum of the ternary images and detected as an object be able to.
【００４２】そのため、どちらか一方でしか検出できな
い物体や夜間のような環境下でも、物体を正確に検出で
き、検出漏れのない道路監視が可能となる。Therefore, even in an environment where only one of them can be detected or an environment such as at night, the object can be accurately detected and road monitoring without omission of detection becomes possible.
【００４３】上述した第１の実施形態では、可視カメラ
と赤外カメラの入力画像と予め撮影した各々の背景画像
との差分から背景差分画像を求め、両背景差分画像を３
値化処理し、両３値化画像の和から物体を検出してい
た。In the above-described first embodiment, a background difference image is obtained from the difference between the input images of the visible camera and the infrared camera and each of the background images captured in advance.
A binarization process was performed, and an object was detected from the sum of the two ternary images.
【００４４】これに対して、第２の実施形態では、得ら
れた２つの背景差分画像を４値化処理し、両４値化画像
の和から物体を検出する。On the other hand, in the second embodiment, the obtained two background difference images are quaternized, and an object is detected from the sum of both quaternized images.
【００４５】図３は、本発明の第２の実施形態を示すも
ので、道路監視装置の構成図である。この道路監視装置
１２は、可視カメラ２００と、赤外カメラ３００と、画
像処理装置１０２と、検出結果表示部５００とを備え
る。FIG. 3 shows a second embodiment of the present invention, and is a configuration diagram of a road monitoring apparatus. The road monitoring device 12 includes a visible camera 200, an infrared camera 300, an image processing device 102, and a detection result display unit 500.
【００４６】この画像処理装置１０２は、可視カメラ入
力部２１０と、背景差分処理部２２０と、背景画像記憶
部２３０と、４値化処理部２４２と、背景画像更新部２
５０と、赤外カメラ入力部３１０と、背景差分処理部３
２０と、背景画像記憶部３３０と、４値化処理部３４２
と、背景画像更新部３５０と、物体検出部４１０とを備
える。第１の実施形態とは４値化処理部２４２と３４２
が異なっている。The image processing apparatus 102 includes a visible camera input unit 210, a background difference processing unit 220, a background image storage unit 230, a quaternization processing unit 242, and a background image update unit 2
50, infrared camera input unit 310, background difference processing unit 3
20, a background image storage unit 330, and a quaternary processing unit 342
, A background image updating unit 350, and an object detecting unit 410. What is the first embodiment?
Are different.
【００４７】この可視カメラ入力部２１０は、可視カメ
ラ２００からの入力画像が格納されている。The visible camera input section 210 stores an input image from the visible camera 200.
【００４８】背景画像記憶部２３０は、可視カメラ２０
０において予め物体が存在しない画像が背景画像として
格納されている。The background image storage section 230 stores the visible camera 20
At 0, an image in which no object exists is stored in advance as a background image.
【００４９】背景差分処理部２２０は、可視カメラ入力
部で格納されている入力画像と背景画像記憶部２３０に
格納されている背景画像との差分処理を施し、背景差分
画像を作成する。The background difference processing section 220 performs a difference process between the input image stored in the visible camera input section and the background image stored in the background image storage section 230 to create a background difference image.
【００５０】４値化処理部２４２は、背景差分処理部２
２０で作成した背景差分画像に４値化処理を施す。The quaternary processing section 242 is provided by the background difference processing section 2
The quaternization process is performed on the background difference image created in step 20.
【００５１】背景更新部２５０では、４値化処理部２４
２で得られた結果に基づいて、背景画像の更新を行う。In the background updating section 250, the quaternary processing section 24
The background image is updated based on the result obtained in step 2.
【００５２】赤外カメラ入力部３１０は、赤外カメラ３
００からの入力画像が格納されている。The infrared camera input unit 310 is connected to the infrared camera 3
The input image from 00 is stored.
【００５３】背景画像記憶部３３０は、赤外カメラ３０
０において予め物体が存在しない画像が背景画像として
格納されている。The background image storage section 330 stores the infrared camera 30
At 0, an image in which no object exists is stored in advance as a background image.
【００５４】背景差分処理部３２０は、赤外カメラ入力
部３１０で格納されている入力画像と背景画像記憶部３
３０に格納されている背景画像との差分処理を施し、背
景差分画像を作成する。The background difference processing section 320 stores the input image stored in the infrared camera input section 310 and the background image storage section 3.
The difference processing with respect to the background image stored in 30 is performed to create a background difference image.
【００５５】４値化処理部３４２は、背景差分処理部３
２０で作成した背景差分画像に４値化処理を施す。The quaternary processing section 342 is provided by the background difference processing section 3
The quaternization process is performed on the background difference image created in step 20.
【００５６】背景更新部３５０では、４値化処理部３４
２で得られた結果に基づいて、背景画像の更新を行う。In the background updating section 350, the quaternary processing section 34
The background image is updated based on the result obtained in step 2.
【００５７】物体検出部４１０は、可視カメラ２００の
入力画像に関する４値化処理部２４２と赤外カメラ３０
０の入力に関する４値化処理部３４２の結果に基づい
て、合成した背景差分画像の濃淡値により自動的に物体
を検出する。The object detection unit 410 includes a quaternization processing unit 242 for the input image of the visible camera 200 and the infrared camera 30
Based on the result of the quaternization processing unit 342 regarding the input of 0, an object is automatically detected based on the gray value of the synthesized background difference image.
【００５８】検出結果表示部５００は、画像処理装置１
２から出力される物体検出結果をディスプレイなどの表
示装置に表示する。The detection result display section 500 displays the image processing device 1
The object detection result output from 2 is displayed on a display device such as a display.
【００５９】図４は第２の実施形態における物体検出処
理の説明図である。FIG. 4 is an explanatory diagram of the object detection processing in the second embodiment.
【００６０】以下に図３と図４を用いて、第２の実施形
態の道路監視装置における物体検出方法を具体的に説明
する。Hereinafter, an object detection method in the road monitoring device according to the second embodiment will be described in detail with reference to FIGS.
【００６１】可視カメラ２００および赤外カメラ３００
は、道路および路上を走行する車両のように背景と物体
からなる画像を撮影する。また、可視カメラ２００およ
び赤外カメラ３００は監視領域が一致するように設置さ
れている。The visible camera 200 and the infrared camera 300
Captures an image composed of a background and an object, such as a road and a vehicle running on a road. In addition, the visible camera 200 and the infrared camera 300 are installed so that the monitoring areas match.
【００６２】可視カメラ２００および赤外カメラ３００
により撮影された画像は、それぞれ可視カメラ入力部２
１０および赤外カメラ入力部３１０に入力され、入力画
像として記憶される。The visible camera 200 and the infrared camera 300
The images captured by the camera are respectively input to the visible camera input unit 2
10 and input to the infrared camera input unit 310 and stored as an input image.
【００６３】また、背景画像記憶部２３０および背景画
像記憶部３３０には、各々可視カメラ２００および赤外
カメラ３００によって、予め物体などが存在しない背景
のみからなる画像が撮影され、背景画像として記憶され
ている。In the background image storage section 230 and the background image storage section 330, an image consisting of only a background having no object or the like is previously photographed by the visible camera 200 and the infrared camera 300, and stored as a background image. ing.
【００６４】背景差分処理部２２０では、可視カメラ入
力部２１０で記憶されている可視カメラ２００の図４
（ａ）に示す入力画像と背景記憶部２３０で記憶されて
いる背景画像において差分処理を施し、背景差分画像を
得る。In the background difference processing section 220, the visible camera 200 stored in the visible camera input section 210 shown in FIG.
Difference processing is performed on the input image shown in FIG. 2A and the background image stored in the background storage unit 230 to obtain a background difference image.
【００６５】４値化処理部２４２では、背景差分処理部
２２０で得られた背景差分画像を予め決められた閾値で
４値化処理を行う。閾値には、例えば、２値化処理で物
体を検出する閾値、その閾値の２倍、およびその閾値の
半分の値を４値化処理の閾値として用いれば良い。The quaternization processing unit 242 performs quaternization processing on the background difference image obtained by the background difference processing unit 220 using a predetermined threshold. As the threshold value, for example, a threshold value for detecting an object in the binarization process, twice the threshold value, and a half value of the threshold value may be used as the threshold value for the quaternization process.
【００６６】具体的に４値化処理によって得られた画像
を図４（ｃ）に示す。濃淡値を示す黒色の部分（４値化
レベル“３”）は、背景差分画像で通常の２値化処理に
おける閾値の倍以上の差分がある画素で、明らかに物体
として検出できる領域であり、斜線の部分（４値化レベ
ル“２”）は、背景差分画像で通常の２値化処理におけ
る閾値の倍以上の差分がないが、通常２値化処理によっ
て物体として検出される領域であり、網目の部分（４値
化レベル“１”）は、物体とは検出できないが、入力画
像と背景画像において若干差分がある領域である。FIG. 4C shows an image specifically obtained by the quaternization processing. A black portion (a quaternary level “3”) indicating a gray value is a pixel having a difference equal to or more than twice the threshold value in the normal binarization processing in the background difference image, and is a region that can be clearly detected as an object. The shaded portion (quaternary level “2”) is an area that is detected as an object by the normal binarization process, although the background difference image does not have a difference equal to or more than twice the threshold value in the normal binarization process, The mesh portion (quaternary level “1”) is an area that cannot be detected as an object but has a slight difference between the input image and the background image.
【００６７】赤外カメラ３００で撮影された画像も同様
に、背景差分処理部３２０では、赤外カメラ入力部３１
０で記憶されている赤外カメラ３００の図４（ｂ）に示
す入力画像と背景記憶部３３０で記憶されている背景画
像において差分処理を施し、背景差分画像を得る。Similarly, the image captured by the infrared camera 300 is also input to the background difference processing section 320 by the infrared camera input section 31.
The difference processing is performed on the input image shown in FIG. 4B of the infrared camera 300 and the background image stored in the background storage unit 330 to obtain a background difference image.
【００６８】４値化処理部３４２では、背景差分処理部
３２０で得られた背景差分画像を予め決められた閾値で
４値化処理を行う。閾値には、例えば、２値化処理で物
体を検出する閾値、その閾値の２倍、およびその閾値の
半分の値を４値化処理の閾値として用いれば良い。具体
的に４値化処理によって得られた画像を図４（ｄ）に示
す。The quaternization processing section 342 performs quaternization processing on the background difference image obtained by the background difference processing section 320 at a predetermined threshold value. As the threshold value, for example, a threshold value for detecting an object in the binarization process, twice the threshold value, and a half value of the threshold value may be used as the threshold value for the quaternization process. FIG. 4D shows an image specifically obtained by the quaternization processing.
【００６９】物体検出部４１０では、可視カメラ２００
の４値化処理部２４２によって得られた画像と赤外カメ
ラ３００の４値化処理部３４２によって得られた画像か
ら、物体領域を検出する。具体的な方法としては、２つ
の４値化処理した画像の和をとり、“３”以上の画素を
物体として検出する。In the object detection unit 410, the visible camera 200
The object area is detected from the image obtained by the quaternization processing unit 242 of the infrared camera 300 and the image obtained by the quaternization processing unit 342 of the infrared camera 300. As a specific method, a sum of two quaternized images is obtained, and pixels of “3” or more are detected as objects.
【００７０】図を用いて具体的に説明すると、両画像で
明らかに物体と検出されている歩行者１ｃ，１ｄは、４
値画像の和が“６”なので図４（ｅ）の物体１ｅとして
検出できる。また、どちらかの一方で明らかに検出で
き、もう一方では全く物体として検出できない障害物２
ｃ，２ｄも、４値画像の和が“３”なので図４（ｅ）の
物体２ｅとして検出できる。なお、車両３ｃ，３ｄは、
４値画像の和が“３”となり、図４（ｅ）の物体３ｅと
して検出でき、車両の影５ｃは４値画像の和が“２”と
なり、誤って物体として検出されることもなく、第１の
実施形態と同様の結果が得られる。More specifically, with reference to the drawings, pedestrians 1c and 1d clearly detected as objects in both images are 4
Since the sum of the value images is "6", it can be detected as the object 1e in FIG. An obstacle 2 that can be clearly detected on one side and not detected as an object on the other side
Since the sum of the quaternary images is "3", c and 2d can also be detected as the object 2e in FIG. The vehicles 3c and 3d are:
The sum of the quaternary images is "3", which can be detected as the object 3e in FIG. 4 (e). The shadow 5c of the vehicle has the sum of the quaternary images of "2" and is not erroneously detected as an object. A result similar to that of the first embodiment is obtained.
【００７１】背景画像更新部２５０では、可視カメラ２
００の背景画像を更新する。可視カメラ２００の入力は
天候や時間の変化と共に撮影される画像の明るさが変化
するので、正確な背景差分を得るためには常に背景画像
を更新する必要がある。具体的には４値化処理部２４２
で４値化レベルが“２”以上（通常２値化処理によって
物体として検出される領域）の背景画像の画素は、背景
画像記憶部２３０で記憶されている過去の背景画像の画
素値を保持する。In the background image updating unit 250, the visible camera 2
The background image of 00 is updated. The input of the visible camera 200 changes the brightness of the captured image with the change of weather or time. Therefore, it is necessary to always update the background image in order to obtain an accurate background difference. Specifically, the quaternary processing unit 242
The pixels of the background image having a quaternization level of “2” or more (a region normally detected as an object by the binarization processing) hold the pixel values of the past background image stored in the background image storage unit 230 I do.
【００７２】それ以外の物体として検出されなかった画
素は、可視カメラ入力部２１０で記憶されている入力画
像と背景画像記憶部２３０で記憶されている過去の背景
画像とある一定の比率で合成することで、新たな背景画
像の画素値とする。物体として検出されなかった画素に
ついて背景更新する場合は、可視カメラ入力部２１０で
記憶されている入力画像の画素値をそのまま新たな背景
画像の画素値とすることもできる。Pixels not detected as other objects are synthesized with the input image stored in the visible camera input unit 210 and the past background image stored in the background image storage unit 230 at a certain fixed ratio. Thus, the pixel value of the new background image is set. When the background is updated for a pixel not detected as an object, the pixel value of the input image stored in the visible camera input unit 210 can be used as it is as the pixel value of the new background image.
【００７３】赤外カメラ３００の方も同様で、背景画像
更新部３５０では、赤外カメラ３００の背景画像を更新
する。具体的には４値化処理部３４２で３値化レベルが
“２”以上（通常２値化処理によって物体として検出さ
れる領域）の背景画像の画素は、背景画像記憶部３３０
で記憶されている過去の背景画像の画素値を保持する。The same applies to the infrared camera 300, and the background image updating section 350 updates the background image of the infrared camera 300. Specifically, the pixels of the background image whose ternarization level is “2” or more (usually an area detected as an object by the binarization processing) in the quaternization processing unit 342 are stored in the background image storage unit 330.
Holds the pixel value of the past background image stored in.
【００７４】それ以外の物体として検出されなかった画
素は、赤外カメラ入力部３１０で記憶されている入力画
像と背景画像記憶部３３０で記憶されている過去の背景
画像とある一定の比率で合成することで、新たな背景画
像の画素値とする。物体として検出されなかった画素に
ついて背景更新する場合は、赤外カメラ入力部３１０で
記憶されている入力画像の画素値をそのまま新たな背景
画像の画素値とすることもできる。Pixels not detected as other objects are synthesized at a certain ratio with the input image stored in the infrared camera input unit 310 and the past background image stored in the background image storage unit 330. By doing so, the pixel value of the new background image is set. When the background is updated for a pixel not detected as an object, the pixel value of the input image stored in the infrared camera input unit 310 can be used as it is as the pixel value of a new background image.
【００７５】最後に検出結果表示部５００では、画像処
理装置１０２で得られた物体検出結果をディスプレイな
どの表示装置に文字・矩形などを用いて表示する。Finally, the detection result display section 500 displays the object detection result obtained by the image processing device 102 on a display device such as a display using characters and rectangles.
【００７６】この第２の実施形態によれば、可視カメラ
および赤外カメラの両方で検出できる物体はもちろん、
一方では物体として検出できるが、もう一方では物体と
しては全く検出できない場合でも、４値化画像の和を取
ることにより総合的に判定して、物体として検出するこ
とができる。According to the second embodiment, not only objects that can be detected by both the visible camera and the infrared camera, but also
Even if one object can be detected as an object but the other object cannot be detected at all, it can be comprehensively determined by taking the sum of the quaternized images and detected as an object.
【００７７】そのため、どちらか一方でしか検出できな
い物体や夜間のような環境下でも、物体を正確に検出で
き、検出漏れのない道路監視が可能となる。Therefore, even in an environment where only one of the objects can be detected or an environment such as at night, the object can be accurately detected, and road monitoring without omission of detection can be performed.
【００７８】上述した第１の実施形態では、可視カメラ
と赤外カメラの入力画像と予め撮影した各々の背景画像
との差分から背景差分画像を求め、両背景差分画像を３
値化処理し、両３値化画像の和から物体を検出し、第２
の実施形態では４値化処理し、両４値化画像の和から物
体を検出していた。In the first embodiment described above, a background difference image is obtained from the difference between the input images of the visible camera and the infrared camera and each of the background images captured in advance, and the two background difference images are
Binarization processing to detect an object from the sum of both ternary images,
In the embodiment, the object is detected from the sum of the quaternized images and the quaternized processing.
【００７９】これに対して、第３の実施形態では、各々
の入力画像や背景画像より確信度を求め、その確信度の
比率で２つの背景差分画像の合成を求めることで、物体
を検出する。On the other hand, in the third embodiment, an object is detected by obtaining a certainty factor from each input image or background image and obtaining a composite of two background difference images at a ratio of the certainty factor. .
【００８０】図５は、本発明の第３の実施形態を示すも
ので、道路監視装置の構成図である。この道路監視装置
１３は、可視カメラ２００と、赤外カメラ３００と、画
像処理装置１０３と、検出結果表示部５００とを具え
る。FIG. 5 shows a third embodiment of the present invention, and is a configuration diagram of a road monitoring apparatus. The road monitoring device 13 includes a visible camera 200, an infrared camera 300, an image processing device 103, and a detection result display unit 500.
【００８１】この画像処理装置１０３は、可視カメラ入
力部２１０と、背景差分処理部２２０と、背景画像記憶
部２３０と、２値化処理部２４３と、背景画像更新部２
５０と、確信度算出部２６０と、赤外カメラ入力部３１
０と、背景差分処理部３２０と、背景画像記憶部３３０
と、２値化処理部３４３と、背景画像更新部３５０と、
確信度算出部３６０と、物体検出部４１３と、背景差分
合成部４２０とを備える。The image processing device 103 includes a visible camera input unit 210, a background difference processing unit 220, a background image storage unit 230, a binarization processing unit 243, and a background image update unit 2
50, the certainty factor calculation unit 260, and the infrared camera input unit 31
0, background difference processing section 320, background image storage section 330
, A binarization processing unit 343, a background image updating unit 350,
It includes a certainty factor calculation unit 360, an object detection unit 413, and a background difference synthesis unit 420.
【００８２】この可視カメラ入力部２１０は、可視カメ
ラ２００からの入力画像が格納されている。The visible camera input section 210 stores an input image from the visible camera 200.
【００８３】背景画像記憶部２３０は、可視カメラ２０
０において予め物体が存在しない画像が背景画像として
格納されている。The background image storage unit 230 stores the visible camera 20
At 0, an image in which no object exists is stored in advance as a background image.
【００８４】背景差分処理部２２０は、可視カメラ入力
部２１０で格納されている入力画像と背景画像記憶部２
３０に格納されている背景画像との差分処理を施し、背
景差分画像を作成する。The background difference processing section 220 is configured to store the input image stored in the visible camera input section 210 and the background image storage section 2.
The difference processing with respect to the background image stored in 30 is performed to create a background difference image.
【００８５】２値化処理部２４３は、背景差分処理部２
２０で作成した背景差分画像に２値化処理を施す。The binarization processing section 243 includes the background difference processing section 2
The background difference image created in step 20 is subjected to a binarization process.
【００８６】背景更新部２５０では、２値化処理部２４
３で得られた結果に基づいて、背景画像の更新を行う。In the background updating section 250, the binarization processing section 24
The background image is updated based on the result obtained in step 3.
【００８７】確信度算出部２６０では、可視カメラ入力
部２１０あるいは背景画像記憶部２３０で記憶されてい
る可視カメラ２００の入力画像あるいは背景画像を用い
て可視カメラ２００の確信度を求める。The certainty calculation unit 260 obtains the certainty of the visible camera 200 using the input image or the background image of the visible camera 200 stored in the visible camera input unit 210 or the background image storage unit 230.
【００８８】赤外カメラ入力部３１０は、赤外カメラ３
００からの入力画像が格納されている。The infrared camera input section 310 is connected to the infrared camera 3
The input image from 00 is stored.
【００８９】背景画像記憶部３３０は、赤外カメラ３０
０において予め物体が存在しない画像が背景画像として
格納されている。The background image storage section 330 stores the infrared camera 30
At 0, an image in which no object exists is stored in advance as a background image.
【００９０】背景差分処理部３２０は、赤外カメラ入力
部３１０で格納されている入力画像と背景画像記憶部３
３０に格納されている背景画像との差分処理を施し、背
景差分画像を作成する。The background difference processing section 320 is configured to store the input image stored in the infrared camera input section 310 and the background image storage section 3
The difference processing with respect to the background image stored in 30 is performed to create a background difference image.
【００９１】２値化処理部３４３は、背景差分処理部３
２０で作成した背景差分画像に２値化処理を施す。The binarization processing unit 343 includes the background difference processing unit 3
The background difference image created in step 20 is subjected to a binarization process.
【００９２】背景更新部３５０では、２値化処理部３４
３で得られた結果に基づいて、背景画像の更新を行う。In the background updating section 350, the binarization processing section 34
The background image is updated based on the result obtained in step 3.
【００９３】確信度算出部３６０では、赤外カメラ入力
部３１０あるいは背景画像記憶部３３０で記憶されてい
る赤外カメラ３００の入力画像あるいは背景画像を用い
て赤外カメラ３００の確信度を求める。The certainty calculation unit 360 obtains the certainty of the infrared camera 300 using the input image or the background image of the infrared camera 300 stored in the infrared camera input unit 310 or the background image storage unit 330.
【００９４】背景差分合成部４２０は、可視カメラ２０
０の背景差分処理部２２０で作成した背景差分画像と赤
外カメラ３００の背景差分処理部３２０で作成した背景
差分画像とを、確信度算出部２６０で算出された可視カ
メラ２００の確信度と確信度算出部３６０で算出された
赤外カメラ３００の確信度とに基づいて合成する。[0094] The background difference synthesizing section 420
The background difference image created by the background difference processing unit 220 of the infrared camera 300 and the background difference image created by the background difference processing unit 320 of the infrared camera 300 are compared with the confidence of the visible camera 200 calculated by the confidence calculation unit 260. The combination is performed based on the degree of certainty of the infrared camera 300 calculated by the degree calculation unit 360.
【００９５】物体検出部４１３は、背景差分合成部４２
０で求めた可視カメラ２００と赤外カメラ３００の両背
景差分画像の合成結果に基づいて、合成した背景差分画
像の濃淡値により自動的に物体を検出する。The object detecting section 413 includes the background difference synthesizing section 42
Based on the result of combining the background difference images of the visible camera 200 and the infrared camera 300 obtained at 0, an object is automatically detected based on the gray value of the combined background difference image.
【００９６】検出結果表示部５００は、画像処理装置１
３から出力される物体検出結果をディスプレイなどの表
示装置に表示する。[0096] The detection result display section 500 displays the image processing apparatus 1
The object detection result output from 3 is displayed on a display device such as a display.
【００９７】図６は第３の実施形態における物体検出処
理の説明図である。FIG. 6 is an explanatory diagram of the object detection processing in the third embodiment.
【００９８】以下に図５と図６を用いて、第３の実施形
態の道路監視装置における物体検出方法を具体的に説明
する。Hereinafter, an object detection method in the road monitoring apparatus according to the third embodiment will be described in detail with reference to FIGS.
【００９９】可視カメラ２００および赤外カメラ３００
は、道路および路上を走行する車両のように背景と物体
からなる画像を撮影する。また、可視カメラ２００およ
び赤外カメラ３００は監視領域が一致するように設置さ
れている。The visible camera 200 and the infrared camera 300
Captures an image composed of a background and an object, such as a road and a vehicle running on a road. In addition, the visible camera 200 and the infrared camera 300 are installed so that the monitoring areas match.
【０１００】可視カメラ２００および赤外カメラ３００
により撮影された画像は、それぞれ可視カメラ入力部２
１０および赤外カメラ入力部３１０に入力され、入力画
像として記憶される。Visible camera 200 and infrared camera 300
The images captured by the camera are respectively input to the visible camera input unit 2
10 and input to the infrared camera input unit 310 and stored as an input image.
【０１０１】また、背景画像記憶部２３０および背景画
像記憶部３３０には、各々可視カメラ２００および赤外
カメラ３００によって、予め物体などが存在しない背景
のみからなる画像が撮影され、背景画像として記憶され
ている。In the background image storage section 230 and the background image storage section 330, an image consisting only of a background having no object or the like is previously photographed by the visible camera 200 and the infrared camera 300 and stored as a background image. ing.
【０１０２】背景差分処理部２２０では、可視カメラ入
力部２１０で記憶されている可視カメラ２００の図６
（ａ）に示す入力画像と背景記憶部２３０で記憶されて
いる背景画像において差分処理を施し、背景差分画像を
得る。この背景差分画像を図６（ｅ）に示す。In the background subtraction processing section 220, the visible camera 200 stored in the visible camera input section 210 shown in FIG.
Difference processing is performed on the input image shown in FIG. 2A and the background image stored in the background storage unit 230 to obtain a background difference image. This background difference image is shown in FIG.
【０１０３】２値化処理部２４３では、背景差分処理部
２２０で得られた背景差分画像を予め決められた閾値で
２値化処理を行う。具体的に２値化処理によって得られ
た画像を図６（ｃ）に示す。The binarization processing section 243 performs a binarization process on the background difference image obtained by the background difference processing section 220 at a predetermined threshold. FIG. 6C shows an image specifically obtained by the binarization processing.
【０１０４】確信度算出部２６０では、可視カメラ入力
部２１０あるいは背景画像記憶部２３０で記憶されてい
る可視カメラ２００の入力画像や背景画像を用いて可視
カメラ２００の確信度を算出する。この確信度は、物体
をどれほど確からしく検出できるかの指標である。具体
的には、入力画像や背景画像における画素の輝度値の平
均や分散値を用いれば良い。The certainty factor calculating unit 260 calculates the certainty factor of the visible camera 200 using the input image and the background image of the visible camera 200 stored in the visible camera input unit 210 or the background image storage unit 230. The certainty factor is an index of how accurately the object can be detected. Specifically, an average or a variance of luminance values of pixels in the input image or the background image may be used.
【０１０５】赤外カメラ３００で撮影された画像も同様
に、背景差分処理部３２０では、赤外カメラ入力部３１
０で記憶されている赤外カメラ３００の図６（ｂ）に示
す入力画像と背景記憶部３３０で記憶されている背景画
像において差分処理を施し、背景差分画像を得る。この
背景差分画像を図６（ｆ）に示す。Similarly, the image captured by the infrared camera 300 is also input to the background difference processing section 320 by the infrared camera input section 31.
The difference processing is performed on the input image shown in FIG. 6B of the infrared camera 300 and the background image stored in the background storage unit 330 to obtain a background difference image. This background difference image is shown in FIG.
【０１０６】２値化処理３４３では、背景差分処理部３
２０で得られた背景差分画像を予め決められた閾値で２
値化処理を行う。具体的に２値化処理によって得られた
画像を図６（ｄ）に示す。In the binarization process 343, the background difference processing unit 3
The background difference image obtained in step 20 is set to 2 with a predetermined threshold value.
Perform value conversion processing. FIG. 6D shows an image specifically obtained by the binarization processing.
【０１０７】確信度算出部３６０では、赤外カメラ入力
部３１０あるいは背景画像記憶部３３０で記憶されてい
る赤外カメラ３００の入力画像や背景画像を用いて赤外
カメラ３００の確信度を算出する。具体的には、入力画
像や背景画像における画素の輝度値の平均や分散値を用
いれば良い。The certainty calculation unit 360 calculates the certainty of the infrared camera 300 using the input image or the background image of the infrared camera 300 stored in the infrared camera input unit 310 or the background image storage unit 330. . Specifically, an average or a variance of luminance values of pixels in the input image or the background image may be used.
【０１０８】背景差分合成部４２０は、可視カメラ２０
０の背景差分処理部２２０で作成した背景差分画像と赤
外カメラ３００の背景差分処理部３２０で作成した背景
差分画像とを、確信度算出部２６０で算出された可視カ
メラ２００の確信度と確信度算出部３６０で算出された
赤外カメラ３００の確信度とに基づいて合成する。[0108] The background difference synthesizing section 420
The background difference image created by the background difference processing unit 220 of the infrared camera 300 and the background difference image created by the background difference processing unit 320 of the infrared camera 300 are compared with the confidence of the visible camera 200 calculated by the confidence calculation unit 260. The combination is performed based on the degree of certainty of the infrared camera 300 calculated by the degree calculation unit 360.
【０１０９】具体的には、確信度算出部２６０で算出さ
れた可視カメラの確信度をα、確信度算出部３６０で算
出された赤外カメラ３００の確信度をβとし、可視カメ
ラ２００の背景差分画像の各画素の濃淡値をｄA 、赤外
カメラの背景差分画像の各画素の濃淡値をｄB とすると
き、両背景差分画像の合成後の各画素の濃淡値ｄは、以
下の式、数１で求めれば良い。More specifically, the certainty factor of the visible camera calculated by the certainty factor calculation unit 260 is α, and the certainty factor of the infrared camera 300 calculated by the certainty factor calculation unit 360 is β. when the density value d a of each pixel of the difference image, the gray value of each pixel of the background difference image of the infrared camera and d B, gray value d of each pixel after the synthesis of both the background difference image, the following What is necessary is just to calculate | require by Formula and Formula 1.
【０１１０】[0110]
【数１】 (Equation 1)
【０１１１】このように各確信度の比率に応じて両背景
画像の合成を求めることで、確信度の大きい方がその背
景差分画像の画素の濃淡値を両背景差分画像の合成した
濃淡値に反映させることができる。つまり、確信度の高
い、すなわち物体の検出の確からしさが大きい方の背景
差分値が両背景差分画像を合成した濃淡値に反映され、
その結果として、確信度の高い方の特徴を有効に活用
し、確信度が低い方の特徴の影響を抑えることができ
る。As described above, by synthesizing the two background images in accordance with the ratio of the certainty factors, the one having the higher certainty factor sets the gray value of the pixel of the background difference image to the gray value obtained by combining the two background difference images. Can be reflected. In other words, the background difference value having a higher degree of certainty, that is, the probability of detection of the object being larger is reflected in the grayscale value obtained by combining the two background difference images,
As a result, it is possible to effectively utilize the feature with the higher certainty and suppress the influence of the feature with the lower certainty.
【０１１２】物体検出部４１３では、背景差分合成部４
２０によって得られた両背景差分画像の合成値をある適
当な２値化閾値で２値化処理することで物体領域を検出
する。In the object detecting section 413, the background difference synthesizing section 4
The object area is detected by subjecting the composite value of the two background difference images obtained in step 20 to a binarization process using a certain appropriate binarization threshold.
【０１１３】具体的に図６を用いて説明すると、図６
（ａ）の確信度が低く、図６（ｂ）の確信度が高い場
合、両画像で物体と検出されている車両３ｅ，３ｆはも
ちろんのこと、障害物２ｆや歩行者１ｆのように確信度
が高い方で物体と検出できていれば、確信度の高い方の
背景差分値を反映でき、結果として図６（ｇ）に示すよ
うに、物体を検出できる。なお、図６（ｇ）の黒色の部
分は両背景差分画像の合成した濃淡値を２値化した時
に、閾値以上の画素を示してあり、物体として検出され
る領域である。A specific description will be given with reference to FIG.
When the confidence in FIG. 6A is low and the confidence in FIG. 6B is high, the vehicle 3e, 3f detected as an object in both images, as well as the obstacle 2f and the pedestrian 1f, are convinced. If the object can be detected with the higher degree, the background difference value with the higher certainty can be reflected, and as a result, the object can be detected as shown in FIG. Note that the black portion in FIG. 6G indicates pixels that are equal to or larger than a threshold when binarizing the combined grayscale value of the two background difference images, and is a region that is detected as an object.
【０１１４】背景画像更新部２５０では、可視カメラ２
００の背景画像を更新する。可視カメラ２００の入力は
天候や時間の変化と共に撮影される画像の明るさが変化
するので、正確な背景差分を得るためには常に背景画像
を更新する必要がある。具体的には２値化処理部２４３
で２値化レベルが“１”（物体として検出される領域）
の背景画像の画素は、背景画像記憶部２３０で記憶され
ている過去の背景画像の画素値を保持する。In the background image updating unit 250, the visible camera 2
The background image of 00 is updated. The input of the visible camera 200 changes the brightness of the captured image with the change of weather or time. Therefore, it is necessary to always update the background image in order to obtain an accurate background difference. Specifically, the binarization processing unit 243
And the binarization level is "1" (area detected as an object)
The pixel of the background image holds the pixel value of the past background image stored in the background image storage unit 230.
【０１１５】それ以外の物体として検出されなかった画
素は、可視カメラ入力部２１０で記憶されている入力画
像と背景画像記憶部２３０で記憶されている過去の背景
画像とある一定の比率で合成することで、新たな背景画
像の画素値とする。物体として検出されなかった画素に
ついて背景更新する場合は、可視カメラ入力部２１０で
記憶されている入力画像の画素値をそのまま新たな背景
画像の画素値とすることもできる。Pixels not detected as other objects are synthesized at a certain ratio with the input image stored in the visible camera input unit 210 and the past background image stored in the background image storage unit 230. Thus, the pixel value of the new background image is set. When the background is updated for a pixel not detected as an object, the pixel value of the input image stored in the visible camera input unit 210 can be used as it is as the pixel value of the new background image.
【０１１６】赤外カメラ３００の方も同様で、背景画像
更新部３５０では、赤外カメラ３００の背景画像を更新
する。具体的には２値化処理部３４３で２値化レベルが
“１”（２値化処理によって物体として検出される領
域）の背景画像の画素は、背景画像記憶部３３０で記憶
されている過去の背景画像の画素値を保持する。The same applies to the infrared camera 300, and the background image updating section 350 updates the background image of the infrared camera 300. Specifically, the pixels of the background image whose binarization level is “1” (the area detected as an object by the binarization processing) in the binarization processing unit 343 are stored in the background image storage unit 330 in the past. Is stored.
【０１１７】それ以外の物体として検出されなかった画
素は、赤外カメラ入力部３１０で記憶されている入力画
像と背景画像記憶部３３０で記憶されている過去の背景
画像とある一定の比率で合成することで、新たな背景画
像の画素値とする。物体として検出されなかった画素に
ついて背景更新する場合は、赤外カメラ入力部３１０で
記憶されている入力画像の画素値をそのまま新たな背景
画像の画素値とすることもできる。Pixels not detected as other objects are synthesized at a certain ratio with the input image stored in the infrared camera input unit 310 and the past background image stored in the background image storage unit 330. By doing so, the pixel value of the new background image is set. When the background is updated for a pixel not detected as an object, the pixel value of the input image stored in the infrared camera input unit 310 can be used as it is as the pixel value of a new background image.
【０１１８】最後に検出結果表示部５００では、画像処
理装置１０３で得られた物体検出結果をディスプレイな
どの表示装置に文字・矩形などを用いて表示する。Finally, the detection result display section 500 displays the object detection result obtained by the image processing device 103 on a display device such as a display using characters and rectangles.
【０１１９】この第３の実施形態によれば、可視カメラ
および赤外カメラの両方で検出できる物体はもちろん、
一方では物体として検出できるが、もう一方では物体と
しては全く検出できない時でも、検出できているカメラ
側の確信度が高い場合、すなわち物体を検出する度合い
がより確からしい場合は、算出した確信度に応じた比率
で両背景差分画像を合成することにより、確信度が高い
側の背景差分値特徴を有効に活用し、その合成画像を２
値化することで、物体として検出することができる。According to the third embodiment, not only objects that can be detected by both the visible camera and the infrared camera, but also
Even if one object can be detected as an object but the other object cannot be detected at all, if the certainty of the camera that has been detected is high, that is, if the degree of object detection is more certain, the calculated certainty By combining the two background difference images at a ratio according to the background difference value feature on the side with the higher degree of certainty.
By converting to a value, it can be detected as an object.
【０１２０】そのため、可視カメラの特徴が有効な昼間
は可視カメラの特徴を有効に活用し、可視カメラでしか
検出できない物体も検出でき、赤外カメラの特徴が有効
な夜間は赤外カメラの特徴を有効に活用し、赤外カメラ
でしか検出できない物体も検出できる。すなわち、昼夜
を問わず、物体を正確に検出でき、検出漏れのない道路
監視が可能となる。Therefore, in the daytime when the features of the visible camera are effective, the features of the visible camera can be effectively used, objects that can only be detected by the visible camera can be detected, and at night when the features of the infrared camera are effective, the features of the infrared camera can be used. Can be used to detect objects that can only be detected by infrared cameras. That is, regardless of day or night, an object can be accurately detected, and road monitoring without detection omission can be performed.
【０１２１】[0121]
【発明の効果】上記したように、本発明によれば可視カ
メラおよび赤外カメラのどちらか一方でしか検出できな
い物体や夜間のような環境下でも、物体を正確に検出で
き、検出漏れのない道路監視が可能となる。As described above, according to the present invention, an object that can be detected by only one of the visible camera and the infrared camera and an object can be accurately detected even in an environment such as at night without omission of detection. Road surveillance becomes possible.
【図１】本発明の第１の実施形態の構成図FIG. 1 is a configuration diagram of a first embodiment of the present invention.
【図２】第１の実施形態における物体検出処理の説明図FIG. 2 is an explanatory diagram of an object detection process according to the first embodiment.
【図３】本発明の第２の実施形態の構成図FIG. 3 is a configuration diagram of a second embodiment of the present invention.
【図４】第２の実施形態における物体検出処理の説明図FIG. 4 is a diagram illustrating an object detection process according to a second embodiment.
【図５】本発明の第３の実施形態の構成図FIG. 5 is a configuration diagram of a third embodiment of the present invention.
【図６】第３の実施形態における物体検出処理の説明図FIG. 6 is an explanatory diagram of an object detection process according to a third embodiment.
１０，１２，１３ 道路監視装置 １００，１０２，１０３ 画像処理装置 ２００ 可視カメラ ３００ 赤外カメラ ２１０ 可視カメラ入力部 ３１０ 赤外カメラ入力部 ２２０，３２０ 背景差分処理部 ２３０，３３０ 背景画像記憶部 ２４０，３４０ ３値化処理部 ２５０，３５０ 背景画像更新部 ４１０，４１３ 物体検出部 ４２０ 背景差分合成部 ５００ 検出結果表示部 ２４２，３４２ ４値化処理部 ２４３，３４３ ２値化処理部 ２６０，３６０ 確信度算出部 10, 12, 13 Road monitoring device 100, 102, 103 Image processing device 200 Visible camera 300 Infrared camera 210 Visible camera input unit 310 Infrared camera input unit 220, 320 Background difference processing unit 230, 330 Background image storage unit 240, 340 ternarization processing unit 250, 350 background image updating unit 410, 413 object detection unit 420 background difference synthesis unit 500 detection result display unit 242, 342 quaternization processing unit 243, 343 binarization processing unit 260, 360 confidence Calculator
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA16 BA11 CA02 CB08 CE08 DA06 DB09 DC32 5C022 AA01 AB68 AC01 AC41 AC69 CA02 5C054 AA01 CA04 CA05 CD03 CE02 CH01 EA01 EB05 EH00 EJ00 FA09 FC01 FC12 FC14 FE09 FE13 FF03 HA26 5H180 AA01 AA21 CC02 CC04 EE11 5L096 BA04 EA45 GA08 HA03 HA13 ──────────────────────────────────────────────────続 き Continued on the front page F-term (reference) CC02 CC04 EE11 5L096 BA04 EA45 GA08 HA03 HA13
Claims (7)
された可視カメラおよび赤外カメラと、前記可視カメラ
および赤外カメラから得られた画像を処理して物体を検
出する画像処理装置と、前記画像処理装置からの検出結
果を監視者に通知する検出結果表示部とを備えた道路監
視装置において、 前記可視カメラの入力画像と予め撮影した背景画像とを
差分処理して背景差分画像を作成する背景差分処理部
と、 前記赤外カメラの入力画像と予め撮影した背景画像とを
差分処理して背景差分画像を作成する背景差分処理部
と、 前記２つの背景差分画像を合成することにより物体を検
出する物体検出部とを設けたことを特徴とする道路監視
装置。1. A visible camera and an infrared camera which are installed so that a predetermined monitoring area is photographed, and an image processing device which processes an image obtained from the visible camera and the infrared camera to detect an object. A road monitoring device comprising: a detection result display unit that notifies a monitoring result of a detection result from the image processing device; anda difference processing between the input image of the visible camera and a background image captured in advance to obtain a background difference image. A background difference processing unit that creates a background difference processing unit that creates a background difference image by performing a difference process between the input image of the infrared camera and a background image that has been captured in advance; by combining the two background difference images A road monitoring device, comprising: an object detection unit that detects an object.
化処理する３値化処理部を設け、３値化処理した前記２
つの背景差分画像の和から物体を検出することを特徴と
する請求項１記載の道路監視装置。2. A ternarization processing unit for ternarizing each of the two background difference images, wherein the ternarization processing is performed on the two background difference images.
The road monitoring device according to claim 1, wherein an object is detected from a sum of the two background difference images.
化処理する４値化処理部を設け、４値化処理した前記２
つの背景差分画像の和から物体を検出することを特徴と
する請求項１記載の道路監視装置。3. A quaternary processing unit for quaternizing each of the two background difference images, wherein
The road monitoring device according to claim 1, wherein an object is detected from a sum of the two background difference images.
された可視カメラおよび赤外カメラと、前記可視カメラ
および赤外カメラから得られた画像を処理して物体を検
出する画像処理装置と、前記画像処理装置からの検出結
果を監視者に通知する検出結果表示部とを備えた道路監
視装置において、 前記可視カメラの入力画像と予め撮影した背景画像とを
差分処理して背景差分画像を作成する背景差分処理部
と、 前記赤外カメラの入力画像と予め撮影した背景画像とを
差分処理して背景差分画像を作成する背景差分処理部
と、 前記可視カメラの入力画像あるいは背景画像を用いて前
記可視カメラの確信度を求める確信度算出部と、 前記赤外カメラの入力画像あるいは背景画像を用いて前
記赤外カメラの確信度を求める確信度算出部と、 前記２つの背景差分画像を前記２つの確信度の比率に応
じて合成する背景差分合成部と、 前記２つの背景差分画像の合成結果に基づいて物体を検
出する物体検出部とを設けたことを特徴とする道路監視
装置。4. A visible camera and an infrared camera installed so that a predetermined monitoring area is photographed, and an image processing device for processing an image obtained from the visible camera and the infrared camera to detect an object. A road monitoring device comprising: a detection result display unit that notifies a monitoring result of a detection result from the image processing device; anda difference processing between the input image of the visible camera and a background image captured in advance to obtain a background difference image. A background difference processing unit to create, a background difference processing unit to create a background difference image by performing difference processing between the input image of the infrared camera and a background image captured in advance, and using the input image or the background image of the visible camera. A confidence calculation unit for determining the confidence of the visible camera, a confidence calculation unit for determining the confidence of the infrared camera using an input image or a background image of the infrared camera, A background difference image combining unit that combines the two background difference images according to the ratio of the two confidence levels; and an object detection unit that detects an object based on the result of combining the two background difference images. Road monitoring equipment.
度はそれぞれの前記入力画像あるいは背景画像における
画素の輝度値から算出することを特徴とする請求項４記
載の道路監視装置。5. The road monitoring apparatus according to claim 4, wherein the certainty factors of the visible camera and the infrared camera are calculated from luminance values of pixels in each of the input image and the background image.
化処理する２値化処理部を設けたことを特徴とする請求
項４又は請求項５記載の道路監視装置。6. The road monitoring device according to claim 4, further comprising a binarization processing unit that binarizes each of the two background difference images.
景画像を格納する背景画像記憶部と、格納された前記背
景画像を更新する背景画像更新部と、 前記赤外カメラにより予め撮影された背景画像を格納す
る背景画像記憶部と、格納された前記背景画像を更新す
る背景画像更新部とを設けたことを特徴とする請求項１
〜６のいずれかに記載の道路監視装置。7. A background image storage unit for storing a background image previously captured by the visible camera, a background image update unit for updating the stored background image, and a background image previously captured by the infrared camera A background image storage unit for storing the background image, and a background image updating unit for updating the stored background image.
The road monitoring device according to any one of claims 1 to 6, wherein
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000175052A JP2001357388A (en) | 2000-06-12 | 2000-06-12 | Device for monitoring road |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000175052A JP2001357388A (en) | 2000-06-12 | 2000-06-12 | Device for monitoring road |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001357388A true JP2001357388A (en) | 2001-12-26 |
Family
ID=18676984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000175052A Pending JP2001357388A (en) | 2000-06-12 | 2000-06-12 | Device for monitoring road |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001357388A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006260098A (en) * | 2005-03-16 | 2006-09-28 | Matsushita Electric Works Ltd | Obstacle detection unit |
| JP2009301494A (en) * | 2008-06-17 | 2009-12-24 | Sumitomo Electric Ind Ltd | Image processing unit and image processing method |
| JP2010267252A (en) * | 2009-05-13 | 2010-11-25 | Fujitsu Ltd | Method and apparatus for processing image |
| CN102722982A (en) * | 2012-03-30 | 2012-10-10 | 上海市金山区青少年活动中心 | Background and inter-frame difference algorithm-based traffic flow and motion state detection method |
| JP2012224210A (en) * | 2011-04-20 | 2012-11-15 | Japan Aerospace Exploration Agency | Method and device for improving visibility of infrared video image |
| JP2016119614A (en) * | 2014-12-22 | 2016-06-30 | 日本電気株式会社 | Dynamic body detection device, dynamic body detection method and dynamic body detection program |
| CN109671090A (en) * | 2018-11-12 | 2019-04-23 | 深圳佑驾创新科技有限公司 | Image processing method, device, equipment and storage medium based on far infrared |
| WO2020027210A1 (en) * | 2018-08-03 | 2020-02-06 | 日本電信電話株式会社 | Image processing device, image processing method, and image processing program |
| US20200402243A1 (en) * | 2020-09-03 | 2020-12-24 | Intel Corporation | Video background estimation using spatio-temporal models |
-
2000
- 2000-06-12 JP JP2000175052A patent/JP2001357388A/en active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006260098A (en) * | 2005-03-16 | 2006-09-28 | Matsushita Electric Works Ltd | Obstacle detection unit |
| JP4539388B2 (en) * | 2005-03-16 | 2010-09-08 | パナソニック電工株式会社 | Obstacle detection device |
| JP2009301494A (en) * | 2008-06-17 | 2009-12-24 | Sumitomo Electric Ind Ltd | Image processing unit and image processing method |
| JP2010267252A (en) * | 2009-05-13 | 2010-11-25 | Fujitsu Ltd | Method and apparatus for processing image |
| JP2012224210A (en) * | 2011-04-20 | 2012-11-15 | Japan Aerospace Exploration Agency | Method and device for improving visibility of infrared video image |
| CN102722982A (en) * | 2012-03-30 | 2012-10-10 | 上海市金山区青少年活动中心 | Background and inter-frame difference algorithm-based traffic flow and motion state detection method |
| JP2016119614A (en) * | 2014-12-22 | 2016-06-30 | 日本電気株式会社 | Dynamic body detection device, dynamic body detection method and dynamic body detection program |
| WO2020027210A1 (en) * | 2018-08-03 | 2020-02-06 | 日本電信電話株式会社 | Image processing device, image processing method, and image processing program |
| JP2020021397A (en) * | 2018-08-03 | 2020-02-06 | 日本電信電話株式会社 | Image processing device, image processing method, and image processing program |
| JP7144678B2 (en) | 2018-08-03 | 2022-09-30 | 日本電信電話株式会社 | Image processing device, image processing method, and image processing program |
| US11881005B2 (en) | 2018-08-03 | 2024-01-23 | Nippon Telegraph And Telephone Corporation | Image processing device, image processing method, and image processing program |
| CN109671090A (en) * | 2018-11-12 | 2019-04-23 | 深圳佑驾创新科技有限公司 | Image processing method, device, equipment and storage medium based on far infrared |
| US20200402243A1 (en) * | 2020-09-03 | 2020-12-24 | Intel Corporation | Video background estimation using spatio-temporal models |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3307335B2 (en) | Vehicle region detection device and vehicle region verification method | |
| JP4772115B2 (en) | Method and system for detecting roads at night | |
| US6754367B1 (en) | Method and apparatus for automatically detecting intrusion object into view of image pickup device | |
| US6658150B2 (en) | Image recognition system | |
| JP6554169B2 (en) | Object recognition device and object recognition system | |
| US8712096B2 (en) | Method and apparatus for detecting and tracking vehicles | |
| JP2000090277A (en) | Reference background image updating method, method and device for detecting intruding object | |
| WO2016113983A1 (en) | Image processing device, image processing method, program, and system | |
| JP2003134508A (en) | Information providing device for vehicle | |
| US20060221181A1 (en) | Video ghost detection by outline | |
| JP2002373332A (en) | Device and method for recognizing image | |
| CN111768332B (en) | Method for splicing vehicle-mounted panoramic real-time 3D panoramic images and image acquisition device | |
| JP5802146B2 (en) | Method, apparatus, and program for color correction of still camera (color correction for still camera) | |
| JP7092615B2 (en) | Shadow detector, shadow detection method, shadow detection program, learning device, learning method, and learning program | |
| JP2013214143A (en) | Vehicle abnormality management device, vehicle abnormality management system, vehicle abnormality management method, and program | |
| JP2001357388A (en) | Device for monitoring road | |
| JP2013093639A (en) | Vehicle periphery monitoring device | |
| JP3134845B2 (en) | Apparatus and method for extracting object in moving image | |
| JP2001160146A (en) | Method and device for recognizing image | |
| CN115083008A (en) | Moving object detection method, device, equipment and storage medium | |
| JP4887540B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
| JP2010136207A (en) | System for detecting and displaying pedestrian | |
| JP2001043383A (en) | Image monitoring system | |
| KR101865958B1 (en) | Method and apparatus for recognizing speed limit signs | |
| JPH11211845A (en) | Rainfall/snowfall detecting method and its device |