JP2007251721A - Moving object detecting device and method - Google Patents

Moving object detecting device and method Download PDF

Info

Publication number
JP2007251721A
JP2007251721A JP2006073984A JP2006073984A JP2007251721A JP 2007251721 A JP2007251721 A JP 2007251721A JP 2006073984 A JP2006073984 A JP 2006073984A JP 2006073984 A JP2006073984 A JP 2006073984A JP 2007251721 A JP2007251721 A JP 2007251721A
Authority
JP
Japan
Prior art keywords
luminance
histogram
image frame
limit value
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006073984A
Other languages
Japanese (ja)
Inventor
Masaharu Nakayama
雅春 中山
Ikuo Ueda
郁夫 上田
Yukinobu Tokieda
幸伸 時枝
Hitoshi Nakada
仁 仲田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JRC ENGINEERING KK
Japan Radio Co Ltd
Original Assignee
JRC ENGINEERING KK
Japan Radio Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JRC ENGINEERING KK, Japan Radio Co Ltd filed Critical JRC ENGINEERING KK
Priority to JP2006073984A priority Critical patent/JP2007251721A/en
Publication of JP2007251721A publication Critical patent/JP2007251721A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a moving object detecting device and its method capable of reducing load in relation to detection processing of a moving object. <P>SOLUTION: In a histogram regulation unit, a luminance mean value and a luminance standard deviation to the luminance mean value as to a histogram, which pixel number inclines toward a low luminance region, are each sought and the sum of luminance value and luminance standard deviation is converted to a ceiling value of luminance and a difference of the luminance mean value and the luminance standard deviation is converted to a lowest value of luminance. A histogram pattern 38a between the sum and difference in the histogram is elongated full scale between the ceiling value and the lowest value. In the full-scale elongated histogram pattern 38b, the luminance of each pixel is converted to predetermined luminance between the ceiling value and the lowest value. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、カメラが撮影した所定の撮影地点に関する画像フレームに基づいて前記撮影地点での移動物体の存在を検知する移動物体検知装置及びその方法に関し、より詳細には、前記撮影地点への侵入者の侵入を監視する侵入者検知装置として好適な移動物体検知装置及びその方法に関する。   The present invention relates to a moving object detection apparatus and method for detecting the presence of a moving object at a shooting point based on an image frame related to a predetermined shooting point shot by a camera, and more particularly, to an entry into the shooting point. The present invention relates to a moving object detection apparatus and method suitable as an intruder detection apparatus that monitors an intruder.

従来より、夜間等の人間が行き来しない時間帯におけるオフィスビル等への侵入者の侵入を監視する移動物体検知装置が特許文献１に開示されている。この移動物体検知装置は、所定の撮影地点（例えば、オフィスビルの各フロア内）において、テレビカメラにより撮影された画像フレームについて、その画像フレームを複数の画素から構成されるブロックに分割し、異なる時刻に撮影された２つの画像フレームについて、先に撮影された画像フレームの各ブロックを構成する画素の輝度とその輝度を示す画素数との関係を示すヒストグラムと、前記ブロックに対応する後に撮影された画像フレームの各ブロックにおけるヒストグラムとの差分をブロック毎に求め、求めた各差分値が所定の閾値よりも大きい場合に、前記撮影地点内に何らかの変化（例えば、侵入者の侵入）があったものと判定する。   Conventionally, Patent Document 1 discloses a moving object detection device that monitors an intruder's intrusion into an office building or the like in a time zone in which a human does not come and go at night or the like. This moving object detection device divides an image frame taken by a television camera at a predetermined shooting point (for example, in each floor of an office building) into blocks composed of a plurality of pixels, and is different. For the two image frames taken at the time, a histogram showing the relationship between the brightness of the pixels constituting each block of the previously taken image frame and the number of pixels indicating the brightness, and taken after corresponding to the block The difference from the histogram in each block of the image frame is obtained for each block, and when the obtained difference value is larger than a predetermined threshold, there is some change in the shooting point (for example, intruder intrusion). Judge that it is.

また、前記テレビカメラが夜間の撮影地点を撮影した場合には、前記各画素の輝度が低く、前記画像フレームが全体的に暗い画像となるので、前記移動物体検知装置では、前記ヒストグラムの低輝度領域における１［％］の頻度を示す輝度と、高輝度領域における１［％］の頻度を示す輝度とを求め、求めた各輝度を輝度の下限値及び上限値に変換して前記ヒストグラムのパターン（以下、ヒストグラムパターンともいう。）を前記下限値と前記上限値との間でフルスケールに伸張することで、移動物体の検知精度を改善している。   In addition, when the television camera captures a shooting point at night, the luminance of each pixel is low and the image frame is an overall dark image. The histogram pattern obtained by calculating the luminance indicating the frequency of 1 [%] in the region and the luminance indicating the frequency of 1 [%] in the high luminance region, and converting the calculated luminances into the lower limit value and the upper limit value of the luminance. (Hereinafter also referred to as a histogram pattern) is expanded to full scale between the lower limit value and the upper limit value, thereby improving the detection accuracy of the moving object.

特開２０００−１８４３５９号公報JP 2000-184359 A

前述した移動物体検知装置では、画像フレームを複数のブロックに分割し、それぞれのブロックについてヒストグラムを求めているので、撮影地点への侵入者の侵入に対する判定処理や、夜間等に撮影された画像フレームに対するヒストグラムパターンの調整処理が複雑となり、前記移動物体検知装置の処理に関わる負荷が増大するという問題がある。   In the moving object detection device described above, an image frame is divided into a plurality of blocks, and a histogram is obtained for each block. Therefore, a determination process for an intruder invading a shooting point, an image frame shot at night, etc. Therefore, there is a problem that the adjustment process of the histogram pattern is complicated, and the load related to the process of the moving object detection device increases.

本発明は、上述した問題を解決するためになされたものであり、移動物体の検知処理に関わる負荷を低減可能な移動物体検知装置及びその方法を提供することを目的とする。   The present invention has been made to solve the above-described problem, and an object of the present invention is to provide a moving object detection apparatus and method that can reduce a load related to detection processing of a moving object.

本発明は、カメラが撮影した所定の撮影地点に関する画像フレームに基づいて前記撮影地点での移動物体の存在を検知する移動物体検知装置（移動物体検知方法）において、前記画像フレームを構成する各画素の輝度と、その輝度を示す画素数との関係を示すヒストグラムを調整するヒストグラム調整手段（ヒストグラム調整ステップ）を有し、前記ヒストグラム調整手段（ヒストグラム調整ステップ）は、前記画像フレームを構成する全画素の輝度平均値とこの輝度平均値に対する輝度標準偏差とを求め、前記輝度平均値と前記輝度標準偏差との和を前記輝度の上限値に変換すると共に前記輝度平均値と前記輝度標準偏差との差を前記輝度の下限値に変換し、前記ヒストグラムにおける前記和と前記差との間のヒストグラムパターンを前記上限値と前記下限値との間でフルスケールに伸張して前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換することを特徴とする。   The present invention provides each pixel constituting the image frame in a moving object detection device (moving object detection method) that detects the presence of a moving object at the shooting point based on an image frame related to a predetermined shooting point shot by a camera. Histogram adjustment means (histogram adjustment step) for adjusting a histogram indicating the relationship between the luminance of the image and the number of pixels indicating the luminance, and the histogram adjustment means (histogram adjustment step) includes all pixels constituting the image frame. The luminance average value and the luminance standard deviation with respect to the luminance average value are obtained, the sum of the luminance average value and the luminance standard deviation is converted into the upper limit value of the luminance, and the luminance average value and the luminance standard deviation The difference is converted into the lower limit value of the luminance, and the histogram pattern between the sum and the difference in the histogram is And converting the brightness of each pixel by decompressing the full scale between the lower limit and limit values in a predetermined luminance between the lower limit and the upper limit value.

この構成によれば、前記画像フレームの全画素にて構成される前記ヒストグラムのヒストグラムパターンを所望のヒストグラムパターンに変換し、変換した前記ヒストグラムパターンに応じた画像フレームを用いて前記移動物体の検知処理を行うことにより、画像フレームのブロック毎にヒストグラムを調整する従来技術と比較して、前記移動物体の検知処理に関わる負荷を低減することができる。また、前記輝度平均値及び前記輝度標準偏差を用いることにより、前記上限値及び前記下限値への変換が簡単化され、前記移動物体の検出に必要な画像フレームを容易に作成することができる。   According to this configuration, the histogram pattern of the histogram configured by all the pixels of the image frame is converted into a desired histogram pattern, and the moving object detection process is performed using the image frame corresponding to the converted histogram pattern By performing the above, it is possible to reduce a load related to the detection process of the moving object as compared with the conventional technique in which the histogram is adjusted for each block of the image frame. Further, by using the luminance average value and the luminance standard deviation, conversion to the upper limit value and the lower limit value is simplified, and an image frame necessary for detecting the moving object can be easily created.

本発明によれば、移動物体の検知処理に関わる負荷を低減することができる。   ADVANTAGE OF THE INVENTION According to this invention, the load concerning the detection process of a moving object can be reduced.

本発明に係る移動物体検知装置について、カメラの撮影地点における侵入者の侵入を検知する侵入者検知装置に適用した好適な実施の形態を挙げ、添付の図面を参照しながら以下に説明する。   A moving object detection device according to the present invention will be described below with reference to the accompanying drawings, with a preferred embodiment applied to an intruder detection device that detects an intruder intrusion at a shooting point of a camera.

図１は、本実施形態に係る侵入者検知装置（移動物体検知装置）１６を適用した侵入者検知システム１０のブロック図である。   FIG. 1 is a block diagram of an intruder detection system 10 to which an intruder detection device (moving object detection device) 16 according to the present embodiment is applied.

この侵入者検知システム１０において、オフィスビルや港湾設備等に配置され、撮影地点（例えば、前記オフィスビルの各フロアや、前記港湾設備の近傍）を所定時刻毎に、あるいは連続的に撮影するカメラ１２は、当該撮影地点を撮影したアナログ信号の画像をＡ／Ｄコンバータ１４に順次出力し、該Ａ／Ｄコンバータ１４は、この画像をデジタル信号の画像フレームに変換して侵入者検知装置１６に順次出力する。なお、侵入者検知装置１６は、前記撮影地点における監視対象（例えば、前記オフィスビルの各フロアの入口近傍や、前記港湾設備の倉庫の入口近傍）への侵入者の侵入（移動物体の存在）を監視する図示しない監視センター内に配置されている。   In this intruder detection system 10, a camera that is arranged in an office building, a port facility, or the like and captures a shooting point (for example, each floor of the office building or the vicinity of the port facility) at a predetermined time or continuously. 12 sequentially outputs an analog signal image obtained by photographing the photographing point to the A / D converter 14, and the A / D converter 14 converts the image into an image frame of a digital signal to the intruder detection device 16. Output sequentially. The intruder detection device 16 may intrude an intruder (presence of a moving object) into a monitoring target at the photographing point (for example, near the entrance of each floor of the office building or near the entrance of the warehouse of the port facility). It is arranged in a monitoring center (not shown) for monitoring

侵入者検知装置１６は、ヒストグラム調整部（ヒストグラム調整手段）３０と識別処理部３２とを有する移動物体識別手段１８、侵入者識別手段２０、領域監視手段２２、侵入者予測手段２４、侵入者特徴抽出手段２６及びカメラ制御部３４を有する結果判定手段２８から構成される。   The intruder detection device 16 includes a moving object identification unit 18 having a histogram adjustment unit (histogram adjustment unit) 30 and an identification processing unit 32, an intruder identification unit 20, a region monitoring unit 22, an intruder prediction unit 24, and an intruder characteristic. The result determination means 28 having the extraction means 26 and the camera control unit 34 is configured.

ヒストグラム調整部３０は、順次入力した前記画像フレームをグレースケール変換し（図３Ａ及び図４Ａ参照）、前記画像フレームを構成する全ての画素の輝度と、その輝度を示す画素数との関係を示すヒストグラム（図２Ａ参照）をそれぞれの画像フレームに対して作成し、作成した前記ヒストグラムに対応する前記画像フレームを識別処理部３２に出力する。なお、図２Ａは、一例として、横軸が０〜２５５の輝度（階調）であり、縦軸が前記輝度での画素数であるヒストグラムを図示している。また、図３Ａ及び図４Ａでは、監視対象としてのＴ字路４０ａ上を歩行者４２ａ（侵入者）が歩いている様子を図示している。   The histogram adjustment unit 30 performs gray scale conversion on the sequentially input image frames (see FIGS. 3A and 4A), and shows the relationship between the luminance of all the pixels constituting the image frame and the number of pixels indicating the luminance. A histogram (see FIG. 2A) is created for each image frame, and the image frame corresponding to the created histogram is output to the identification processing unit 32. Note that FIG. 2A illustrates a histogram in which the horizontal axis represents luminance (gradation) from 0 to 255 and the vertical axis represents the number of pixels at the luminance, as an example. Moreover, in FIG. 3A and FIG. 4A, a mode that the pedestrian 42a (intruder) is walking on the T-junction 40a as a monitoring object is illustrated.

識別処理部３２（図１参照）は、順次入力した前記画像フレームの全画素について、前回入力した先の画像フレーム（図３Ａ参照）の画素の輝度と、この画素に対応し且つ現在入力した画像フレーム（図４Ａ参照）の画素の輝度との輝度差を取り（図５Ａ参照）、前記輝度差と所定の閾値との比較に基づいて２値化の画像フレームを作成する（図６Ａ参照）。この場合、識別処理部３２は、前記輝度差が前記閾値を上回る画素については白色表示とし、前記輝度差が前記閾値を下回る画素については黒色表示とする。なお、図５Ａでは、歩行者４２ａ（図３Ａ及び図４Ａ参照）に対応する表示部分４４ａが図示され、図６Ａでは、該歩行者４２ａに対応する白色表示の表示部分４６ａが図示されている。   The identification processing unit 32 (see FIG. 1), for all pixels of the image frame sequentially input, the luminance of the pixel of the previous image frame (see FIG. 3A) input last time and the image corresponding to this pixel and currently input A luminance difference from the luminance of the pixel of the frame (see FIG. 4A) is taken (see FIG. 5A), and a binarized image frame is created based on the comparison between the luminance difference and a predetermined threshold (see FIG. 6A). In this case, the identification processing unit 32 displays white for pixels where the luminance difference exceeds the threshold, and displays black for pixels where the luminance difference is less than the threshold. 5A shows a display portion 44a corresponding to the pedestrian 42a (see FIGS. 3A and 4A), and FIG. 6A shows a white display portion 46a corresponding to the pedestrian 42a.

また、識別処理部３２（図１参照）では、前記画像フレーム中、隣接する複数の画素が互いに白色表示である場合には、図７Ａに示すように、これらの白色表示部分を侵入者等の移動物体を示す１つの表示部分４８ａとして融合するクラスタリング処理を行った後に、融合した表示部分４８ａを所定の大きさの枠５０ａで囲み、この表示部分４８ａ及び枠５０ａに所定の番号（図示せず）を付与するラベリング処理を行う。さらに、識別処理部３２は、Ａ／Ｄコンバータ１４からの現在の画像フレーム（図４Ａ参照）と、枠５０ａとを侵入者識別手段２０にそれぞれ出力する。なお、識別処理部３２は、枠５０ａの作成処理を行わず、前記現在の画像フレームのみを侵入者識別手段２０に出力することも可能である。   In addition, in the identification processing unit 32 (see FIG. 1), when a plurality of adjacent pixels display white in the image frame, these white display portions are displayed as intruders or the like as shown in FIG. 7A. After performing clustering processing for fusing as one display portion 48a indicating a moving object, the fused display portion 48a is surrounded by a frame 50a of a predetermined size, and a predetermined number (not shown) is displayed on the display portion 48a and the frame 50a. ) Is performed. Further, the identification processing unit 32 outputs the current image frame (see FIG. 4A) from the A / D converter 14 and the frame 50a to the intruder identifying unit 20, respectively. The identification processing unit 32 can output only the current image frame to the intruder identification unit 20 without performing the frame 50a creation process.

侵入者識別手段２０（図１参照）は、入力した前記現在の画像フレーム（図４Ａ参照）に基づいて、移動物体である歩行者４２ａが前記撮影地点における侵入者を示すものであるか否かを識別し、枠５０ａ、識別結果及び前記現在の画像フレームを領域監視手段２２に出力する。この場合、歩行者４２ａが前記侵入者であるか否かの判断は、例えば、図３Ａに示す先の画像フレームでの歩行者４２ａと、前記現在の画像フレームでの歩行者４２ａとの差（移動方向及び距離）に基づいて判断する。   The intruder identification means 20 (see FIG. 1) determines whether or not the pedestrian 42a, which is a moving object, indicates the intruder at the shooting point based on the input current image frame (see FIG. 4A). And the frame 50a, the identification result and the current image frame are output to the area monitoring means 22. In this case, whether or not the pedestrian 42a is the intruder is determined by, for example, a difference between the pedestrian 42a in the previous image frame shown in FIG. 3A and the pedestrian 42a in the current image frame ( Judgment based on movement direction and distance).

領域監視手段２２は、入力した前記識別結果及び前記現在の画像フレームに基づいて、前記画像フレーム中、監視対象（例えば、Ｔ字路４０ａ）への歩行者４２ａの移動（前記侵入者の侵入）の有無を検出し、枠５０ａ、検出結果及び前記現在の画像フレームを侵入者予測手段２４及び侵入者特徴抽出手段２６に出力する。   The area monitoring unit 22 moves the pedestrian 42a to the monitoring target (for example, the T-junction 40a) in the image frame based on the input identification result and the current image frame (intrusion of the intruder). The frame 50a, the detection result, and the current image frame are output to the intruder prediction unit 24 and the intruder feature extraction unit 26.

侵入者予測手段２４は、順次入力した前記検出結果及び前記現在の画像フレームに基づいて、歩行者４２ａの移動量や移動方向から、今後の歩行者４２ａの動きを予測し、枠５０ａ、予測結果及び前記現在の画像フレームを結果判定手段２８に出力する。   The intruder prediction unit 24 predicts the future movement of the pedestrian 42a from the movement amount and movement direction of the pedestrian 42a based on the detection result and the current image frame that are sequentially input. The current image frame is output to the result judging means 28.

侵入者特徴抽出手段２６は、順次入力した前記検出結果及び前記現在の画像フレームに基づいて、歩行者４２ａの移動量や移動方向から、歩行者４２ａ（侵入者）の種別を特定し、枠５０ａ、特定結果及び前記現在の画像フレームを結果判定手段２８に出力する。なお、前記種別とは、例えば、前記画像フレーム中に表示される画像の種類（人間、樹木、草等）である。   The intruder feature extraction unit 26 specifies the type of the pedestrian 42a (intruder) from the amount and direction of movement of the pedestrian 42a based on the detection result and the current image frame that are sequentially input, and the frame 50a. The specific result and the current image frame are output to the result determination unit 28. The type is, for example, the type of image (human, tree, grass, etc.) displayed in the image frame.

結果判定手段２８は、侵入者予測手段２４から順次入力した前記予測結果及び前記現在の画像フレームと、侵入者特徴抽出手段２６から順次入力した前記特定結果及び前記現在の画像フレームとに基づいて、前記監視対象（Ｔ字路４０ａ）に歩行者４２ａ（侵入者）が侵入したことを、侵入者検知装置１６が配置された前記監視センターの監視員に対して画面表示又はアラーム発報を行う。この場合、結果判定手段２８では、歩行者４２ａの存在を前記監視員に対して分かりやすく画面表示するために、適宜、枠５０ａを前記現在の画像フレームの歩行者４２ａに重畳することも可能である（図８Ａ参照）。なお、図８Ａでは、歩行者４２ａの上半身の一部を枠５０ａで囲んだ場合を図示している。   The result determination unit 28 is based on the prediction result and the current image frame sequentially input from the intruder prediction unit 24, and the specific result and the current image frame sequentially input from the intruder feature extraction unit 26. When the pedestrian 42a (intruder) has entered the monitoring target (T-junction 40a), a screen display or an alarm is issued to the monitoring staff at the monitoring center where the intruder detection device 16 is arranged. In this case, the result determination unit 28 can appropriately overlay the frame 50a on the pedestrian 42a of the current image frame in order to display the presence of the pedestrian 42a in an easy-to-understand manner to the monitor. Yes (see FIG. 8A). FIG. 8A illustrates a case where a part of the upper body of the pedestrian 42a is surrounded by a frame 50a.

また、カメラ制御部３４は、前記予測結果、前記特定結果及び前記現在の画像フレームとに基づいて、前記撮影地点におけるカメラ１２の撮影方向や姿勢を制御する。   Further, the camera control unit 34 controls the shooting direction and posture of the camera 12 at the shooting point based on the prediction result, the specifying result, and the current image frame.

上記した侵入者検知システム１０（図１参照）において、例えば、夜間や、曇り又は雨の日の日中にカメラ１２が前記撮影地点を撮影した場合、該カメラ１２に入力する光量は、晴れた日の日中の光量よりも少ないので、撮影された画像フレームをヒストグラム調整部３０にてグレースケール変換すると全体的に暗い画像となり（図３Ａ及び図４Ａ参照）、そのヒストグラムは、図２Ａに示すように、低輝度領域（輝度が０に近い領域）に画素数が偏るヒストグラムパターン３８ａとなる。   In the intruder detection system 10 (see FIG. 1) described above, for example, when the camera 12 takes a picture of the shooting point at night or on a cloudy or rainy day, the amount of light input to the camera 12 is clear. Since the amount of light is less than the amount of light during the daytime, when the captured image frame is converted to gray scale by the histogram adjustment unit 30, an overall dark image is obtained (see FIGS. 3A and 4A). The histogram is shown in FIG. 2A. As described above, the histogram pattern 38a has the number of pixels biased toward the low luminance region (region where the luminance is close to 0).

この結果、前記ヒストグラムに対応する画像フレームをそのまま用い、識別処理部３２（図１参照）にて撮影時刻の異なる２つの画像フレームの差分を取り（図５Ａ参照）、差分した前記画像フレームに対して２値化処理（図６Ａ参照）、クラスタリング処理及びラベリング処理（図７Ａ参照）を行うと、歩行者４２ａ（侵入者）（図３Ａ及び図４Ａ参照）に対応する表示部分４６ａを２値化の画像フレーム上に鮮明に表示することが困難になると共に、歩行者４２ａに対する枠５０ａのサイズも小さくなり（図８Ａ参照）、結果判定手段２８での歩行者４２ａ（侵入者）の認識率（検知率）が低下するおそれがある。   As a result, the image frame corresponding to the histogram is used as it is, the difference between the two image frames having different shooting times is obtained by the identification processing unit 32 (see FIG. 1) (see FIG. 5A), and the difference between the image frames is calculated. When the binarization process (see FIG. 6A), the clustering process, and the labeling process (see FIG. 7A) are performed, the display portion 46a corresponding to the pedestrian 42a (intruder) (see FIGS. 3A and 4A) is binarized. And the size of the frame 50a with respect to the pedestrian 42a is reduced (see FIG. 8A), and the recognition rate of the pedestrian 42a (intruder) in the result determination means 28 ( (Detection rate) may decrease.

そこで、侵入者検知装置１６では、ヒストグラム調整部３０において、夜間や曇り又は雨の日の日中に撮影された画像フレームのヒストグラム（図２Ａ参照）について、図２Ｂに示すように、前記画像フレームを構成する全画素の輝度の平均値（以下、輝度平均値ともいう。）を前記低輝度領域から高輝度領域（輝度が２５５に近い領域）側にシフトしたヒストグラムに調整し、調整した前記ヒストグラムに対応する画像フレームを用いて前記侵入者の検知処理を行うようにしている。   Therefore, in the intruder detection device 16, as shown in FIG. 2B, the image frame histogram (see FIG. 2A) of the image frame photographed during the daytime at night or on a cloudy or rainy day is displayed in the histogram adjustment unit 30. Is adjusted to a histogram shifted from the low luminance region to the high luminance region (region where the luminance is close to 255), and the adjusted histogram. The intruder detection process is performed using an image frame corresponding to.

すなわち、ヒストグラム調整部３０は、前記低輝度領域に画素数が偏るヒストグラム（図２Ａ参照）について、その輝度平均値｛図２Ａに示す（Ａ）｝と、この輝度平均値に対する標準偏差（以下、輝度標準偏差ともいう。）とをそれぞれ求め、前記輝度平均値と前記輝度標準偏差との和｛図２Ａに示す（Ｂ）｝を、前記輝度の上限値（図２Ｂに示す２５５の輝度）に変換すると共に、前記輝度平均値と前記輝度標準偏差との差｛図２Ａに示す（Ｃ）｝を前記輝度の下限値（図２Ｂに示す０の輝度）に変換する。次に、ヒストグラム調整部３０は、図２Ａのヒストグラムにおける前記和と前記差との間のヒストグラムパターン３８ａを、図２Ｂに示す前記上限値（２５５）と前記下限値（０）との間にフルスケールに伸張して、前記フルスケールに伸張したヒストグラムパターン３８ｂ中で、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する（図２Ｂ参照）。   That is, for the histogram (see FIG. 2A) in which the number of pixels is biased in the low luminance region, the histogram adjustment unit 30 calculates the luminance average value {(A) shown in FIG. 2A} and the standard deviation (hereinafter referred to as the luminance average value). And the sum of the luminance average value and the luminance standard deviation ((B) shown in FIG. 2A) is used as the upper limit value of luminance (255 luminance shown in FIG. 2B). At the same time, the difference between the luminance average value and the luminance standard deviation ((C) shown in FIG. 2A) is converted into the lower limit value of the luminance (0 luminance shown in FIG. 2B). Next, the histogram adjustment unit 30 sets the histogram pattern 38a between the sum and the difference in the histogram of FIG. 2A between the upper limit value (255) and the lower limit value (0) shown in FIG. 2B. In the histogram pattern 38b expanded to the scale and expanded to the full scale, the luminance of each pixel is converted to a predetermined luminance between the upper limit value and the lower limit value (see FIG. 2B).

なお、前記フルスケールに伸張するとは、ヒストグラム調整部３０内に、例えば、前記差から前記和までの輝度（ヒストグラムパターン３８ａに対応する輝度）と、前記下限値から前記上限値までの輝度（ヒストグラムパターン３８ｂに対応する輝度）との関係を示すマッピング関数（１次式で表わされる関数）が格納され、このマッピング関数に基づいて、ヒストグラムパターン３８ａの輝度をヒストグラムパターン３８ｂの輝度に変換することをいう。   The term “expanding to full scale” means, for example, in the histogram adjustment unit 30, the luminance from the difference to the sum (the luminance corresponding to the histogram pattern 38 a) and the luminance from the lower limit value to the upper limit value (histogram). A mapping function (function expressed by a linear expression) indicating a relationship with the brightness of the pattern 38b is stored, and based on this mapping function, the brightness of the histogram pattern 38a is converted to the brightness of the histogram pattern 38b. Say.

従って、図２Ｂに示す調整後のヒストグラムは、図２Ａに示す調整前のヒストグラムと比較して、輝度平均値がより高輝度領域にシフトし、この結果、前記調整後のヒストグラムに対応する画像フレーム（図３Ｂ及び図４Ｂ）は、前記調整前の画像フレーム（図３Ａ及び図４Ｂ）と比較して、夜間や曇り又は雨の日の日中に撮影された画像フレームであっても、全体的に明るい画像となり、Ｔ字路４０ｂ上の歩行者４２ｂを明瞭に認識することができる。   Therefore, the adjusted histogram shown in FIG. 2B shifts the average luminance value to a higher luminance region as compared with the histogram before adjustment shown in FIG. 2A. As a result, the image frame corresponding to the adjusted histogram is displayed. (FIG. 3B and FIG. 4B) is an overall image frame, even during an image frame taken at night or on a cloudy or rainy day, compared to the image frame before adjustment (FIGS. 3A and 4B). The pedestrian 42b on the T-junction 40b can be clearly recognized.

なお、前記ヒストグラムの調整前（図２Ａ参照）と、調整後（図２Ｂ参照）とについて、画像フレームを構成する全画素数に変化がなければ、図２Ａに示す輝度と画素数との積の総和（ヒストグラムパターン３８ａと横軸とで囲まれた部分の総面積）と、図２Ｂに示す輝度と画素数との積の総和（ヒストグラムパターン３８ｂと縦軸と横軸とで囲まれた部分の総面積）との間に変化がないことは勿論である。   If there is no change in the total number of pixels constituting the image frame before and after adjustment of the histogram (see FIG. 2A) and after adjustment (see FIG. 2B), the product of the luminance and the number of pixels shown in FIG. 2B is the sum of the products of the luminance and the number of pixels shown in FIG. 2B (the portion surrounded by the histogram pattern 38b, the vertical axis, and the horizontal axis). Of course, there is no change in the total area.

また、ヒストグラム調整部３０における前述したヒストグラムの調整処理は、例えば、（１）現在時刻が所定の時間帯（例えば、１８時〜翌日の６時）になった場合、（２）前記撮影地点に設けられた図示しない輝度センサからの出力信号のレベルが所定レベル以下である場合、（３）前記ヒストグラムの輝度平均値が所定の閾値（例えば、１００）以下である場合に行われる。   Further, the above-described histogram adjustment processing in the histogram adjustment unit 30 is performed, for example, when (1) the current time is in a predetermined time zone (for example, 18:00 to 6:00 on the next day), (2) This is performed when the level of an output signal from a provided luminance sensor (not shown) is equal to or lower than a predetermined level, (3) when the average luminance value of the histogram is equal to or lower than a predetermined threshold (for example, 100).

従って、識別処理部３２では、ヒストグラム調整処理を行った画像フレームが入力した際に、この画像フレームに対して上述した差分処理（図５Ｂ参照）、２値化処理（図６Ｂ参照）、クラスタリング処理及びラベリング処理（図７Ｂ参照）を行い、前記ラベリング処理後の画像フレーム中にある枠５０ｂと、前記現在の画像フレーム（図４Ｂ参照）とを侵入者識別手段２０に出力する。   Accordingly, when an image frame subjected to histogram adjustment processing is input, the identification processing unit 32 performs the above-described difference processing (see FIG. 5B), binarization processing (see FIG. 6B), clustering processing on the image frame. Then, a labeling process (see FIG. 7B) is performed, and the frame 50b in the image frame after the labeling process and the current image frame (see FIG. 4B) are output to the intruder identification means 20.

本実施形態に係る侵入者検知装置１６を有する侵入者検知システム１０の構成は、上述した通りであり、次に、ヒストグラム調整部３０でのヒストグラム調整処理を行う場合における侵入者検知装置１６での侵入者検知処理について、図１〜図８Ｂや、図９及び図１０のフローチャートを参照しながら説明する。   The configuration of the intruder detection system 10 having the intruder detection device 16 according to the present embodiment is as described above. Next, in the intruder detection device 16 when performing the histogram adjustment processing in the histogram adjustment unit 30. The intruder detection process will be described with reference to FIGS. 1 to 8B and the flowcharts of FIGS.

図９は、侵入者検知装置１６内での処理を示すフローチャートであり、図１０は、移動物体識別手段１８内での処理を示すフローチャートである。なお、これらのフローチャートの説明では、必要に応じて、ヒストグラム調整処理を行わない画像フレーム（図３Ａ、図４Ａ、図５Ａ、図６Ａ、図７Ａ及び図８Ａ）も参照しながら説明する。   FIG. 9 is a flowchart showing a process in the intruder detection device 16, and FIG. 10 is a flowchart showing a process in the moving object identification means 18. These flowcharts will be described with reference to image frames (FIG. 3A, FIG. 4A, FIG. 5A, FIG. 6A, FIG. 7A, and FIG. 8A) that are not subjected to histogram adjustment processing as necessary.

図９のステップＳ１において、移動物体識別手段１８（図１参照）は、カメラ１２からＡ／Ｄコンバータ１４を介して入力した画像フレームより、該画像フレーム内での侵入者を含む移動物体の存在を識別できるような画像処理（移動物体識別処理）を行う。   In step S1 of FIG. 9, the moving object identification means 18 (see FIG. 1) indicates the presence of a moving object including an intruder in the image frame from the image frame input from the camera 12 via the A / D converter 14. Image processing (moving object identification processing) is performed.

具体的には、先ず、図１０のステップＳ１１において、ヒストグラム調整部３０は、入力した画像フレーム｛図３Ａに示す先の画像フレーム及び図４Ａに示す現在の画像フレーム｝をグレースケール変換する。   Specifically, first, in step S11 of FIG. 10, the histogram adjustment unit 30 performs gray scale conversion on the input image frame {the previous image frame shown in FIG. 3A and the current image frame shown in FIG. 4A}.

次に、ヒストグラム調整部３０は、画像フレームを構成する全ての画素の輝度と、その輝度を示す画素数との関係を示すヒストグラム（図２Ａ参照）をそれぞれの画像フレームに対して作成する。この場合、前記ヒストグラムは、前記低輝度領域に画素数が偏ったヒストグラムパターン３８ａになっているので、ヒストグラム調整部３０は、前記ヒストグラムについて、輝度平均値が低輝度領域から高輝度領域にシフトしたヒストグラム（図２Ｂ参照）に調整する下記のヒストグラム調整処理（ヒストグラム調整ステップ）を行う（ステップＳ１２）。   Next, the histogram adjustment unit 30 creates a histogram (see FIG. 2A) indicating the relationship between the luminance of all the pixels constituting the image frame and the number of pixels indicating the luminance for each image frame. In this case, since the histogram has a histogram pattern 38a in which the number of pixels is biased toward the low luminance region, the histogram adjustment unit 30 has shifted the average luminance value of the histogram from the low luminance region to the high luminance region. The following histogram adjustment processing (histogram adjustment step) for adjusting to a histogram (see FIG. 2B) is performed (step S12).

すなわち、ヒストグラム調整部３０は、図３Ａ及び図４Ａに示す画像フレームのそれぞれのヒストグラム（図２Ａ参照）について、その輝度平均値｛図２Ａの（Ａ）｝と輝度標準偏差とをそれぞれ求め、前記輝度平均値と前記輝度標準偏差との和｛図２Ａの（Ｂ）｝を、前記輝度の上限値（図２Ｂの２５５）に変換すると共に、前記輝度平均値と前記輝度標準偏差との差｛図２Ａの（Ｃ）｝を前記輝度の下限値（図２Ｂの０）に変換する。さらに、ヒストグラム調整部３０は、図２Ａに示す前記和と前記差との間のヒストグラムパターン３８ａを、図２Ｂに示す前記上限値（２５５）と前記下限値（０）との間でフルスケールに伸張して、前記フルスケールに伸張したヒストグラムパターン３８ｂ中で、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する。そして、ヒストグラム調整部３０は、上記のヒストグラム調整処理を行った前記各ヒストグラムに対応する各画像フレーム（図３Ｂ及び図４Ｂ参照）を識別処理部３２に出力する。   That is, the histogram adjustment unit 30 obtains the luminance average value {(A) in FIG. 2A} and the luminance standard deviation for each histogram (see FIG. 2A) of the image frames shown in FIGS. 3A and 4A, respectively. The sum of the luminance average value and the luminance standard deviation {(B) in Fig. 2A} is converted into the upper limit value of luminance (255 in Fig. 2B), and the difference between the luminance average value and the luminance standard deviation { (C)} in FIG. 2A is converted into the lower limit value of the luminance (0 in FIG. 2B). Furthermore, the histogram adjustment unit 30 sets the histogram pattern 38a between the sum and the difference shown in FIG. 2A to full scale between the upper limit value (255) and the lower limit value (0) shown in FIG. 2B. The luminance of each pixel is converted into a predetermined luminance between the upper limit value and the lower limit value in the expanded and expanded histogram pattern 38b. Then, the histogram adjustment unit 30 outputs each image frame (see FIGS. 3B and 4B) corresponding to each histogram subjected to the above-described histogram adjustment processing to the identification processing unit 32.

この場合、ヒストグラムパターン３８ｂ（図２Ｂ参照）は、ヒストグラムパターン３８ａ（図２Ａ参照）と比較して、輝度平均値がより高輝度領域にシフトするので、ヒストグラム調整後のヒストグラムに対応する画像フレーム（図３Ｂ及び図４Ｂ）は、ヒストグラム調整前の画像フレーム（図３Ａ及び図４Ａ）と比較して、全体的に明るい画像となっている。例えば、図３Ｂ及び図４Ｂの画像フレーム中で、Ｔ字路４０ｂ上を歩いている歩行者４２ｂの画像は、図３Ａ及び図４Ａの画像フレーム中の歩行者４２ａの画像よりも高輝度であり明瞭に認識することが可能である。   In this case, the histogram pattern 38b (see FIG. 2B) shifts the average luminance value to a higher luminance region compared to the histogram pattern 38a (see FIG. 2A), so that the image frame corresponding to the histogram after histogram adjustment ( 3B and 4B) are bright images as a whole as compared with the image frames before the histogram adjustment (FIGS. 3A and 4A). For example, in the image frames of FIGS. 3B and 4B, the image of the pedestrian 42b walking on the T-junction 40b is brighter than the image of the pedestrian 42a in the image frames of FIGS. 3A and 4A. It is possible to recognize clearly.

次に、識別処理部３２（図１参照）は、入力した前記各画像フレーム（図３Ｂ及び図４Ｂ参照）の全画素について、前記先の画像フレーム（図３Ｂ参照）の画素の輝度と、この画素に対応する前記現在の画像フレーム（図４Ｂ参照）の画素の輝度との輝度差を取って、前記輝度差を示す画像フレーム（図５Ｂ参照）を生成する（ステップＳ１３）。この場合、ヒストグラム調整処理（ステップＳ１２）を予め行った前記画像フレーム（図５Ｂ参照）中の表示部分４４ｂ（図３Ｂ及び図４Ｂの歩行者４２ｂに対応する表示部分）は、前記ヒストグラム調整処理を行っていない画像フレーム（図５Ａ参照）中の表示部分４４ａ（図３Ａ及び図４Ａの歩行者４２ａに対応する表示部分）と比較して、鮮明に表示されている。   Next, the identification processing unit 32 (see FIG. 1), for all pixels in each of the input image frames (see FIGS. 3B and 4B), the luminance of the pixels in the previous image frame (see FIG. 3B) A luminance difference with the luminance of the pixel of the current image frame (see FIG. 4B) corresponding to the pixel is taken to generate an image frame (see FIG. 5B) indicating the luminance difference (step S13). In this case, the display portion 44b (the display portion corresponding to the pedestrian 42b in FIGS. 3B and 4B) in the image frame (see FIG. 5B) on which the histogram adjustment processing (step S12) has been performed in advance is performed by the histogram adjustment processing. Compared with the display portion 44a (the display portion corresponding to the pedestrian 42a in FIGS. 3A and 4A) in the image frame (see FIG. 5A) that is not performed, the image is clearly displayed.

また、識別処理部３２は、前記差分処理を行った画像フレームについて、前記輝度差が所定の閾値を上回る画素については白色表示とし、前記輝度差が前記閾値を下回る画素については黒色表示とする２値化処理を行う（ステップＳ１４、図６Ｂ参照）。この場合も、前記ヒストグラム調整処理（ステップＳ１２）を予め行った２値化処理後の画像フレーム（図６Ｂ参照）中の表示部分４６ｂ（図３Ｂ及び図４Ｂの歩行者４２ｂや、図５Ｂの表示部分４４ｂに対応する表示部分）は、前記ヒストグラム調整処理を行っていない２値化処理後の画像フレーム（図６Ａ参照）中の表示部分４６ａ（図３Ａ及び図４Ａの歩行者４２ａや、図５Ａの表示部分４６ａに対応する表示部分）と比較して、鮮明に表示されている。   In addition, the identification processing unit 32 performs white display for pixels in which the luminance difference exceeds a predetermined threshold, and black display for pixels in which the luminance difference is less than the threshold. A valuation process is performed (see step S14, FIG. 6B). Also in this case, the display portion 46b (the pedestrian 42b in FIGS. 3B and 4B) and the display in FIG. 5B in the image frame (see FIG. 6B) after the binarization process in which the histogram adjustment process (step S12) is performed in advance. The display portion corresponding to the portion 44b) is a display portion 46a (a pedestrian 42a in FIGS. 3A and 4A) or a pedestrian 42a in FIG. Display portion corresponding to the display portion 46a) is clearly displayed.

さらに、識別処理部３２は、前記２値化処理を行った画像フレームについて、前記白色表示の表示部分４６ｂを侵入者等を示す１つの表示部分４８ｂとして融合するクラスタリング処理を行った後に、融合した表示部分４８ｂを所定の大きさの枠５０ｂで囲い、表示部分４８ｂ及び枠５０ｂに対して所定の番号（図示せず）を付与するラベリング処理を行う（図７Ｂ、ステップＳ１５参照）。この場合も、前記ヒストグラム調整処理（ステップＳ１２）を予め行った画像フレーム（図７Ｂ参照）中の表示部分４８ｂ（図３Ｂ及び図４Ｂの歩行者４２ｂや、図５Ｂ及び図６Ｂの表示部分４４ｂ、４６ｂに対応する表示部分）は、前記ヒストグラム調整処理を行っていない画像フレーム（図７Ａ参照）中の表示部分４８ａ（図３Ａ及び図４Ａの歩行者４２ａや、図５Ａ及び図６Ａの表示部分４４ａ、４６ａに対応する表示部分）と比較して、鮮明に表示されている。また、表示部分４８ｂは、表示部分４８ａよりも大きく表示され、従って、枠５０ｂも、枠５０ａより大きく表示されている。   Furthermore, the identification processing unit 32 performs a clustering process for fusing the white display portion 46b as a single display portion 48b indicating an intruder or the like for the image frame that has been subjected to the binarization processing, and then fusing them. A labeling process is performed in which the display portion 48b is surrounded by a frame 50b having a predetermined size, and a predetermined number (not shown) is assigned to the display portion 48b and the frame 50b (see FIG. 7B, step S15). Also in this case, the display portion 48b (the pedestrian 42b in FIGS. 3B and 4B and the display portion 44b in FIGS. 5B and 6B) in the image frame (see FIG. 7B) on which the histogram adjustment processing (step S12) has been performed in advance. The display portion corresponding to 46b) is a display portion 48a (the pedestrian 42a in FIGS. 3A and 4A) and the display portion 44a in FIGS. 5A and 6A in the image frame (see FIG. 7A) that has not been subjected to the histogram adjustment processing. , 46a, the display portion) is clearly displayed. The display portion 48b is displayed larger than the display portion 48a, and therefore the frame 50b is also displayed larger than the frame 50a.

さらにまた、識別処理部３２は、ヒストグラム調整処理（ステップＳ１２）を行った現在の画像フレーム（図４Ｂ参照）と、枠５０ｂ（図７Ｂ参照）とを侵入者識別手段２０に出力する。   Furthermore, the identification processing unit 32 outputs the current image frame (see FIG. 4B) subjected to the histogram adjustment processing (step S12) and the frame 50b (see FIG. 7B) to the intruder identifying unit 20.

侵入者識別手段２０（図１参照）は、入力した前記画像フレーム（図４Ｂ参照）について、歩行者４２ｂが前記撮影地点における侵入者であるか否かを識別し、枠５０ｂ（図７Ｂ参照）、識別結果及び前記画像フレームを領域監視手段２２に出力する（図９のステップＳ２）。領域監視手段２２は、入力した前記識別結果及び前記画像フレームに基づいて、当該画像フレーム中、歩行者４２ｂが所定の監視対象（Ｔ字路４０ｂ）に侵入するか否かを検出し、枠５０ｂ、検出結果及び前記画像フレームを侵入者予測手段２４及び侵入者特徴抽出手段２６に出力する（ステップＳ３）。   The intruder identification means 20 (see FIG. 1) identifies whether or not the pedestrian 42b is an intruder at the shooting point for the input image frame (see FIG. 4B), and the frame 50b (see FIG. 7B). The identification result and the image frame are output to the region monitoring means 22 (step S2 in FIG. 9). The area monitoring means 22 detects whether or not the pedestrian 42b enters a predetermined monitoring target (T-junction 40b) in the image frame based on the input identification result and the image frame, and the frame 50b. The detection result and the image frame are output to the intruder prediction means 24 and the intruder feature extraction means 26 (step S3).

侵入者予測手段２４は、順次入力した前記検出結果及び前記画像フレームに基づいて、歩行者４２ｂの移動量や移動方向から、今後の歩行者４２ｂの動きを予測し、枠５０ｂ、予測結果及び前記画像フレームを結果判定手段２８に出力する（ステップＳ４）。   The intruder prediction means 24 predicts the future movement of the pedestrian 42b from the movement amount and movement direction of the pedestrian 42b based on the detection result and the image frame that are sequentially input. The image frame is output to the result determination means 28 (step S4).

侵入者特徴抽出手段２６は、順次入力した前記検出結果及び前記画像フレームに基づいて、歩行者４２ｂの移動量や移動方向から、侵入者である歩行者４２ｂの種別を特定し、枠５０ｂ、特定結果及び前記画像フレームを結果判定手段２８に出力する（ステップＳ５）。   The intruder feature extraction unit 26 specifies the type of the pedestrian 42b as the intruder from the amount and direction of movement of the pedestrian 42b based on the detection result and the image frame that are sequentially input. The result and the image frame are output to the result determination means 28 (step S5).

結果判定手段２８は、侵入者予測手段２４から順次入力した前記予測結果及び前記画像フレームと、侵入者特徴抽出手段２６から順次入力した前記特定結果及び前記画像フレームとに基づいて、前記監視対象（Ｔ字路４０ｂ）に歩行者４２ｂが侵入者として侵入したことを、侵入者検知装置１６が配置された前記監視センターの監視員に対して画面表示又はアラーム発報を行う（ステップＳ６）。この場合、結果判定手段２８では、歩行者４２ｂの存在を前記監視員に対して分かりやすく画面表示するために、適宜、枠５０ｂを前記画像フレームの歩行者４２ｂに重畳することも可能である（図８Ｂ参照）。なお、図８Ｂでは、歩行者４２ｂの略全身を枠５０ｂで囲んだ場合を図示している。   Based on the prediction result and the image frame sequentially input from the intruder prediction unit 24 and the specific result and the image frame sequentially input from the intruder feature extraction unit 26, the result determination unit 28 When the pedestrian 42b has entered the T-junction 40b) as an intruder, a screen display or alarm is issued to the monitoring staff at the monitoring center where the intruder detection device 16 is arranged (step S6). In this case, the result determination means 28 can appropriately overlay the frame 50b on the pedestrian 42b of the image frame in order to display the presence of the pedestrian 42b in an easy-to-understand manner to the monitor. (See FIG. 8B). Note that FIG. 8B illustrates a case where the substantially whole body of the pedestrian 42b is surrounded by a frame 50b.

また、カメラ制御部３４は、前記予測結果、前記特定結果及び前記画像フレームとに基づいて、前記撮影地点におけるカメラ１２の撮影方向や姿勢を制御する。   The camera control unit 34 controls the shooting direction and posture of the camera 12 at the shooting point based on the prediction result, the specifying result, and the image frame.

このように、本実施形態では、画像フレームの全画素にて構成されるヒストグラムのヒストグラムパターン３８ａを所望のヒストグラムパターン３８ｂに変換し、変換したヒストグラムパターン３８ｂに応じた画像フレームを用いて歩行者４２ｂの検知処理を行うことにより、画像フレームのブロック毎にヒストグラムパターンを変換する従来技術と比較して、歩行者４２ｂの検知処理に関わる負荷を低減することができる。また、前記輝度平均値及び前記輝度標準偏差を用いることにより、前記上限値及び前記下限値への変換が簡単化され、歩行者４２ｂの検出に必要な画像フレームを容易に作成することができる。   As described above, in this embodiment, the histogram pattern 38a of the histogram formed by all the pixels of the image frame is converted into the desired histogram pattern 38b, and the pedestrian 42b is used using the image frame corresponding to the converted histogram pattern 38b. By performing this detection process, it is possible to reduce the load related to the detection process of the pedestrian 42b, as compared with the conventional technique in which the histogram pattern is converted for each block of the image frame. Further, by using the luminance average value and the luminance standard deviation, the conversion to the upper limit value and the lower limit value is simplified, and an image frame necessary for detecting the pedestrian 42b can be easily created.

本発明に係る移動物体検知装置及びその方法は、上述の実施形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることは勿論である。   The moving object detection device and method according to the present invention are not limited to the above-described embodiment, and various configurations can be adopted without departing from the gist of the present invention.

本実施形態に係る侵入者検知装置を有する侵入者検知システムのブロック図である。It is a block diagram of the intruder detection system which has the intruder detection apparatus which concerns on this embodiment. 図２Ａは、画像フレームのヒストグラムを示し、図２Ｂは、ヒストグラム調整処理を行ったヒストグラムを示す。FIG. 2A shows a histogram of an image frame, and FIG. 2B shows a histogram subjected to histogram adjustment processing. 図３Ａ及び図３Ｂは、夜間に撮影された先の画像フレームを示す説明図である。3A and 3B are explanatory diagrams showing the previous image frames taken at night. 図４Ａ及び図４Ｂは、夜間に撮影された現在の画像フレームを示す説明図である。4A and 4B are explanatory diagrams showing a current image frame taken at night. 図５Ａは、図１の識別処理部にて図３Ａ及び図４Ａの各画像フレームを差分処理した画像フレームを示す説明図であり、図５Ｂは、前記識別処理部にて図３Ｂ及び図４Ｂの各画像フレームを差分処理した画像フレームを示す説明図である。FIG. 5A is an explanatory diagram showing an image frame obtained by differentially processing each image frame in FIGS. 3A and 4A by the identification processing unit in FIG. 1, and FIG. 5B is a diagram in FIG. 3B and FIG. 4B in the identification processing unit. It is explanatory drawing which shows the image frame which carried out the difference process of each image frame. 図６Ａは、図５Ａの画像フレームに対して２値化処理した画像フレームを示す説明図であり、図６Ｂは、図５Ｂの画像フレームに対して２値化処理した画像フレームを示す説明図である。6A is an explanatory diagram showing an image frame obtained by binarizing the image frame shown in FIG. 5A, and FIG. 6B is an explanatory diagram showing an image frame obtained by binarizing the image frame shown in FIG. 5B. is there. 図７Ａは、図６Ａの画像フレームに対してクラスタリング処理及びラベリング処理を行った画像フレームを示す説明図であり、図７Ｂは、図６Ｂの画像フレームに対してクラスタリング処理及びラベリング処理を行った画像フレームを示す説明図である。7A is an explanatory diagram showing an image frame obtained by performing clustering processing and labeling processing on the image frame shown in FIG. 6A, and FIG. 7B shows an image obtained by performing clustering processing and labeling processing on the image frame shown in FIG. 6B. It is explanatory drawing which shows a flame | frame. 図８Ａは、図４Ａの画像フレームに図７Ａに示す表示部分を囲む枠を重畳させた説明図であり、図８Ｂは、図４Ｂの画像フレームに図７Ｂに示す表示部分を囲む枠を重畳させた説明図である。8A is an explanatory diagram in which a frame surrounding the display portion shown in FIG. 7A is superimposed on the image frame in FIG. 4A, and FIG. 8B is a diagram in which a frame surrounding the display portion shown in FIG. 7B is superimposed on the image frame in FIG. FIG. 図１の侵入者検知装置内での処理を示すフローチャートである。It is a flowchart which shows the process in the intruder detection apparatus of FIG. 図１の移動物体識別手段内での処理を示すフローチャートであるIt is a flowchart which shows the process in the moving object identification means of FIG.

符号の説明Explanation of symbols

１０…侵入者検知システム １２…カメラ
１４…Ａ／Ｄコンバータ １６…侵入者検知装置
１８…移動物体識別手段 ２０…侵入者識別手段
２２…領域監視手段 ２４…侵入者予測手段
２６…侵入者特徴抽出手段 ２８…結果判定手段
３０…ヒストグラム調整部 ３２…識別処理部
３４…カメラ制御部
３８ａ、３８ｂ…ヒストグラムパターン DESCRIPTION OF SYMBOLS 10 ... Intruder detection system 12 ... Camera 14 ... A / D converter 16 ... Intruder detection device 18 ... Moving object identification means 20 ... Intruder identification means 22 ... Area monitoring means 24 ... Intruder prediction means 26 ... Intruder feature extraction Means 28 ... Result determination means 30 ... Histogram adjustment section 32 ... Identification processing section 34 ... Camera control sections 38a, 38b ... Histogram pattern

Claims (2)

カメラが撮影した所定の撮影地点に関する画像フレームに基づいて前記撮影地点での移動物体の存在を検知する移動物体検知装置において、
前記画像フレームを構成する各画素の輝度と、その輝度を示す画素数との関係を示すヒストグラムを調整するヒストグラム調整手段を有し、
前記ヒストグラム調整手段は、
前記画像フレームを構成する全画素の輝度平均値と、この輝度平均値に対する輝度標準偏差とを求め、
前記輝度平均値と前記輝度標準偏差との和を前記輝度の上限値に変換すると共に、前記輝度平均値と前記輝度標準偏差との差を前記輝度の下限値に変換し、
前記ヒストグラムにおける前記和と前記差との間のヒストグラムパターンを前記上限値と前記下限値との間でフルスケールに伸張して、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する
ことを特徴とする移動物体検知装置。 In the moving object detection device for detecting the presence of a moving object at the shooting point based on an image frame related to a predetermined shooting point shot by the camera,
Histogram adjustment means for adjusting a histogram indicating the relationship between the luminance of each pixel constituting the image frame and the number of pixels indicating the luminance;
The histogram adjusting means includes
Obtain a luminance average value of all pixels constituting the image frame and a luminance standard deviation with respect to the luminance average value,
Converting the sum of the luminance average value and the luminance standard deviation into the upper limit value of the luminance, and converting the difference between the luminance average value and the luminance standard deviation into the lower limit value of the luminance;
A histogram pattern between the sum and the difference in the histogram is expanded to a full scale between the upper limit value and the lower limit value, and the luminance of each pixel is set between the upper limit value and the lower limit value. A moving object detection device characterized by converting to a predetermined luminance. カメラが撮影した所定の撮影地点に関する画像フレームに基づいて前記撮影地点での移動物体の存在を検知する移動物体検知方法において、
前記画像フレームを構成する各画素の輝度と、その輝度を示す画素数との関係を示すヒストグラムを調整するヒストグラム調整ステップを有し、
前記ヒストグラム調整ステップでは、
前記画像フレームを構成する全画素の輝度平均値と、この輝度平均値に対する輝度標準偏差とを求め、
前記輝度平均値と前記輝度標準偏差との和を前記輝度の上限値に変換すると共に、前記輝度平均値と前記輝度標準偏差との差を前記輝度の下限値に変換し、
前記ヒストグラムにおける前記和と前記差との間のヒストグラムパターンを前記上限値と前記下限値との間でフルスケールに伸張して、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する
ことを特徴とする移動物体検知方法。 In the moving object detection method for detecting the presence of a moving object at the shooting point based on an image frame related to a predetermined shooting point shot by the camera,
A histogram adjustment step of adjusting a histogram indicating the relationship between the luminance of each pixel constituting the image frame and the number of pixels indicating the luminance;
In the histogram adjustment step,
Obtain a luminance average value of all pixels constituting the image frame and a luminance standard deviation with respect to the luminance average value,
Converting the sum of the luminance average value and the luminance standard deviation into the upper limit value of the luminance, and converting the difference between the luminance average value and the luminance standard deviation into the lower limit value of the luminance;
A histogram pattern between the sum and the difference in the histogram is expanded to a full scale between the upper limit value and the lower limit value, and the luminance of each pixel is set between the upper limit value and the lower limit value. A moving object detection method characterized by converting to a predetermined luminance.
JP2006073984A 2006-03-17 2006-03-17 Moving object detecting device and method Pending JP2007251721A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006073984A JP2007251721A (en) 2006-03-17 2006-03-17 Moving object detecting device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006073984A JP2007251721A (en) 2006-03-17 2006-03-17 Moving object detecting device and method

Publications (1)

Publication Number Publication Date
JP2007251721A true JP2007251721A (en) 2007-09-27

Family

ID=38595528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006073984A Pending JP2007251721A (en) 2006-03-17 2006-03-17 Moving object detecting device and method

Country Status (1)

Country Link
JP (1) JP2007251721A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012093663A1 (en) * 2011-01-06 2012-07-12 株式会社ニコン Image processing device, image capturing device, and image processing program
JP2016024677A (en) * 2014-07-22 2016-02-08 サクサ株式会社 Imaging apparatus and determination method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0514898A (en) * 1991-06-28 1993-01-22 Toshiba Corp Image monitor device
JPH10271485A (en) * 1997-03-26 1998-10-09 U S C:Kk Method and device for detecting mobile object
JP2000276596A (en) * 1999-03-25 2000-10-06 Nec Corp Automatic tracking device
JP2003308529A (en) * 2002-04-15 2003-10-31 Rohm Co Ltd Image processor
JP2004005206A (en) * 2002-05-31 2004-01-08 Hanshin Expressway Public Corp Road status photographing apparatus, traffic control equipment and traffic control method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0514898A (en) * 1991-06-28 1993-01-22 Toshiba Corp Image monitor device
JPH10271485A (en) * 1997-03-26 1998-10-09 U S C:Kk Method and device for detecting mobile object
JP2000276596A (en) * 1999-03-25 2000-10-06 Nec Corp Automatic tracking device
JP2003308529A (en) * 2002-04-15 2003-10-31 Rohm Co Ltd Image processor
JP2004005206A (en) * 2002-05-31 2004-01-08 Hanshin Expressway Public Corp Road status photographing apparatus, traffic control equipment and traffic control method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012093663A1 (en) * 2011-01-06 2012-07-12 株式会社ニコン Image processing device, image capturing device, and image processing program
JPWO2012093663A1 (en) * 2011-01-06 2014-06-09 株式会社ニコン Image processing apparatus, imaging apparatus, and image processing program
JP5949559B2 (en) * 2011-01-06 2016-07-06 株式会社ニコン Image processing apparatus, imaging apparatus, and image processing program
JP2016024677A (en) * 2014-07-22 2016-02-08 サクサ株式会社 Imaging apparatus and determination method

Similar Documents

Publication Publication Date Title
US6754367B1 (en) Method and apparatus for automatically detecting intrusion object into view of image pickup device
KR100476019B1 (en) Monitoring method for detecting an intruding object and monitoring apparatus therefor
JP4884331B2 (en) Moving object tracking device
WO2011032117A1 (en) Method and system for wildfire detection using a visible range camera
KR102131437B1 (en) Adaptive video surveillance system and method
EP2000998B1 (en) Flame detecting method and device
JP4865328B2 (en) Image sensor
JP2000184359A (en) Monitoring device and system therefor
JPH0844874A (en) Image change detector
JP3034101B2 (en) Method and apparatus for identification using motion vector
JP2004312402A (en) System and apparatus for road monitoring
US9064158B2 (en) Vehicle surroundings monitoring device
JP2007251721A (en) Moving object detecting device and method
US20200036904A1 (en) Image processing apparatus, surveillance camera system, image processing method, and program
JP2006059183A (en) Image processor
JP2010136207A (en) System for detecting and displaying pedestrian
KR101920369B1 (en) Apparatus and method for image processing of thermal imaging camera
JP3625442B2 (en) Object detection method, object detection apparatus, and object detection program
JP3736836B2 (en) Object detection method, object detection apparatus, and program
JP2005173879A (en) Fused image display device
JP6155106B2 (en) Image sensor
JP2002150440A (en) Detector for object of monitoring
JP4547213B2 (en) Object detection apparatus and method
JP2529968B2 (en) Image sensor
JP6133700B2 (en) Image sensor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110913