JP2007251721A - Moving object detecting device and method - Google Patents
Moving object detecting device and method Download PDFInfo
- Publication number
- JP2007251721A JP2007251721A JP2006073984A JP2006073984A JP2007251721A JP 2007251721 A JP2007251721 A JP 2007251721A JP 2006073984 A JP2006073984 A JP 2006073984A JP 2006073984 A JP2006073984 A JP 2006073984A JP 2007251721 A JP2007251721 A JP 2007251721A
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- histogram
- image frame
- limit value
- moving object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、カメラが撮影した所定の撮影地点に関する画像フレームに基づいて前記撮影地点での移動物体の存在を検知する移動物体検知装置及びその方法に関し、より詳細には、前記撮影地点への侵入者の侵入を監視する侵入者検知装置として好適な移動物体検知装置及びその方法に関する。 The present invention relates to a moving object detection apparatus and method for detecting the presence of a moving object at a shooting point based on an image frame related to a predetermined shooting point shot by a camera, and more particularly, to an entry into the shooting point. The present invention relates to a moving object detection apparatus and method suitable as an intruder detection apparatus that monitors an intruder.
従来より、夜間等の人間が行き来しない時間帯におけるオフィスビル等への侵入者の侵入を監視する移動物体検知装置が特許文献1に開示されている。この移動物体検知装置は、所定の撮影地点(例えば、オフィスビルの各フロア内)において、テレビカメラにより撮影された画像フレームについて、その画像フレームを複数の画素から構成されるブロックに分割し、異なる時刻に撮影された2つの画像フレームについて、先に撮影された画像フレームの各ブロックを構成する画素の輝度とその輝度を示す画素数との関係を示すヒストグラムと、前記ブロックに対応する後に撮影された画像フレームの各ブロックにおけるヒストグラムとの差分をブロック毎に求め、求めた各差分値が所定の閾値よりも大きい場合に、前記撮影地点内に何らかの変化(例えば、侵入者の侵入)があったものと判定する。
Conventionally,
また、前記テレビカメラが夜間の撮影地点を撮影した場合には、前記各画素の輝度が低く、前記画像フレームが全体的に暗い画像となるので、前記移動物体検知装置では、前記ヒストグラムの低輝度領域における1[%]の頻度を示す輝度と、高輝度領域における1[%]の頻度を示す輝度とを求め、求めた各輝度を輝度の下限値及び上限値に変換して前記ヒストグラムのパターン(以下、ヒストグラムパターンともいう。)を前記下限値と前記上限値との間でフルスケールに伸張することで、移動物体の検知精度を改善している。 In addition, when the television camera captures a shooting point at night, the luminance of each pixel is low and the image frame is an overall dark image. The histogram pattern obtained by calculating the luminance indicating the frequency of 1 [%] in the region and the luminance indicating the frequency of 1 [%] in the high luminance region, and converting the calculated luminances into the lower limit value and the upper limit value of the luminance. (Hereinafter also referred to as a histogram pattern) is expanded to full scale between the lower limit value and the upper limit value, thereby improving the detection accuracy of the moving object.
前述した移動物体検知装置では、画像フレームを複数のブロックに分割し、それぞれのブロックについてヒストグラムを求めているので、撮影地点への侵入者の侵入に対する判定処理や、夜間等に撮影された画像フレームに対するヒストグラムパターンの調整処理が複雑となり、前記移動物体検知装置の処理に関わる負荷が増大するという問題がある。 In the moving object detection device described above, an image frame is divided into a plurality of blocks, and a histogram is obtained for each block. Therefore, a determination process for an intruder invading a shooting point, an image frame shot at night, etc. Therefore, there is a problem that the adjustment process of the histogram pattern is complicated, and the load related to the process of the moving object detection device increases.
本発明は、上述した問題を解決するためになされたものであり、移動物体の検知処理に関わる負荷を低減可能な移動物体検知装置及びその方法を提供することを目的とする。 The present invention has been made to solve the above-described problem, and an object of the present invention is to provide a moving object detection apparatus and method that can reduce a load related to detection processing of a moving object.
本発明は、カメラが撮影した所定の撮影地点に関する画像フレームに基づいて前記撮影地点での移動物体の存在を検知する移動物体検知装置(移動物体検知方法)において、前記画像フレームを構成する各画素の輝度と、その輝度を示す画素数との関係を示すヒストグラムを調整するヒストグラム調整手段(ヒストグラム調整ステップ)を有し、前記ヒストグラム調整手段(ヒストグラム調整ステップ)は、前記画像フレームを構成する全画素の輝度平均値とこの輝度平均値に対する輝度標準偏差とを求め、前記輝度平均値と前記輝度標準偏差との和を前記輝度の上限値に変換すると共に前記輝度平均値と前記輝度標準偏差との差を前記輝度の下限値に変換し、前記ヒストグラムにおける前記和と前記差との間のヒストグラムパターンを前記上限値と前記下限値との間でフルスケールに伸張して前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換することを特徴とする。 The present invention provides each pixel constituting the image frame in a moving object detection device (moving object detection method) that detects the presence of a moving object at the shooting point based on an image frame related to a predetermined shooting point shot by a camera. Histogram adjustment means (histogram adjustment step) for adjusting a histogram indicating the relationship between the luminance of the image and the number of pixels indicating the luminance, and the histogram adjustment means (histogram adjustment step) includes all pixels constituting the image frame. The luminance average value and the luminance standard deviation with respect to the luminance average value are obtained, the sum of the luminance average value and the luminance standard deviation is converted into the upper limit value of the luminance, and the luminance average value and the luminance standard deviation The difference is converted into the lower limit value of the luminance, and the histogram pattern between the sum and the difference in the histogram is And converting the brightness of each pixel by decompressing the full scale between the lower limit and limit values in a predetermined luminance between the lower limit and the upper limit value.
この構成によれば、前記画像フレームの全画素にて構成される前記ヒストグラムのヒストグラムパターンを所望のヒストグラムパターンに変換し、変換した前記ヒストグラムパターンに応じた画像フレームを用いて前記移動物体の検知処理を行うことにより、画像フレームのブロック毎にヒストグラムを調整する従来技術と比較して、前記移動物体の検知処理に関わる負荷を低減することができる。また、前記輝度平均値及び前記輝度標準偏差を用いることにより、前記上限値及び前記下限値への変換が簡単化され、前記移動物体の検出に必要な画像フレームを容易に作成することができる。 According to this configuration, the histogram pattern of the histogram configured by all the pixels of the image frame is converted into a desired histogram pattern, and the moving object detection process is performed using the image frame corresponding to the converted histogram pattern By performing the above, it is possible to reduce a load related to the detection process of the moving object as compared with the conventional technique in which the histogram is adjusted for each block of the image frame. Further, by using the luminance average value and the luminance standard deviation, conversion to the upper limit value and the lower limit value is simplified, and an image frame necessary for detecting the moving object can be easily created.
本発明によれば、移動物体の検知処理に関わる負荷を低減することができる。 ADVANTAGE OF THE INVENTION According to this invention, the load concerning the detection process of a moving object can be reduced.
本発明に係る移動物体検知装置について、カメラの撮影地点における侵入者の侵入を検知する侵入者検知装置に適用した好適な実施の形態を挙げ、添付の図面を参照しながら以下に説明する。 A moving object detection device according to the present invention will be described below with reference to the accompanying drawings, with a preferred embodiment applied to an intruder detection device that detects an intruder intrusion at a shooting point of a camera.
図1は、本実施形態に係る侵入者検知装置(移動物体検知装置)16を適用した侵入者検知システム10のブロック図である。
FIG. 1 is a block diagram of an
この侵入者検知システム10において、オフィスビルや港湾設備等に配置され、撮影地点(例えば、前記オフィスビルの各フロアや、前記港湾設備の近傍)を所定時刻毎に、あるいは連続的に撮影するカメラ12は、当該撮影地点を撮影したアナログ信号の画像をA/Dコンバータ14に順次出力し、該A/Dコンバータ14は、この画像をデジタル信号の画像フレームに変換して侵入者検知装置16に順次出力する。なお、侵入者検知装置16は、前記撮影地点における監視対象(例えば、前記オフィスビルの各フロアの入口近傍や、前記港湾設備の倉庫の入口近傍)への侵入者の侵入(移動物体の存在)を監視する図示しない監視センター内に配置されている。
In this
侵入者検知装置16は、ヒストグラム調整部(ヒストグラム調整手段)30と識別処理部32とを有する移動物体識別手段18、侵入者識別手段20、領域監視手段22、侵入者予測手段24、侵入者特徴抽出手段26及びカメラ制御部34を有する結果判定手段28から構成される。
The
ヒストグラム調整部30は、順次入力した前記画像フレームをグレースケール変換し(図3A及び図4A参照)、前記画像フレームを構成する全ての画素の輝度と、その輝度を示す画素数との関係を示すヒストグラム(図2A参照)をそれぞれの画像フレームに対して作成し、作成した前記ヒストグラムに対応する前記画像フレームを識別処理部32に出力する。なお、図2Aは、一例として、横軸が0〜255の輝度(階調)であり、縦軸が前記輝度での画素数であるヒストグラムを図示している。また、図3A及び図4Aでは、監視対象としてのT字路40a上を歩行者42a(侵入者)が歩いている様子を図示している。
The
識別処理部32(図1参照)は、順次入力した前記画像フレームの全画素について、前回入力した先の画像フレーム(図3A参照)の画素の輝度と、この画素に対応し且つ現在入力した画像フレーム(図4A参照)の画素の輝度との輝度差を取り(図5A参照)、前記輝度差と所定の閾値との比較に基づいて2値化の画像フレームを作成する(図6A参照)。この場合、識別処理部32は、前記輝度差が前記閾値を上回る画素については白色表示とし、前記輝度差が前記閾値を下回る画素については黒色表示とする。なお、図5Aでは、歩行者42a(図3A及び図4A参照)に対応する表示部分44aが図示され、図6Aでは、該歩行者42aに対応する白色表示の表示部分46aが図示されている。
The identification processing unit 32 (see FIG. 1), for all pixels of the image frame sequentially input, the luminance of the pixel of the previous image frame (see FIG. 3A) input last time and the image corresponding to this pixel and currently input A luminance difference from the luminance of the pixel of the frame (see FIG. 4A) is taken (see FIG. 5A), and a binarized image frame is created based on the comparison between the luminance difference and a predetermined threshold (see FIG. 6A). In this case, the
また、識別処理部32(図1参照)では、前記画像フレーム中、隣接する複数の画素が互いに白色表示である場合には、図7Aに示すように、これらの白色表示部分を侵入者等の移動物体を示す1つの表示部分48aとして融合するクラスタリング処理を行った後に、融合した表示部分48aを所定の大きさの枠50aで囲み、この表示部分48a及び枠50aに所定の番号(図示せず)を付与するラベリング処理を行う。さらに、識別処理部32は、A/Dコンバータ14からの現在の画像フレーム(図4A参照)と、枠50aとを侵入者識別手段20にそれぞれ出力する。なお、識別処理部32は、枠50aの作成処理を行わず、前記現在の画像フレームのみを侵入者識別手段20に出力することも可能である。
In addition, in the identification processing unit 32 (see FIG. 1), when a plurality of adjacent pixels display white in the image frame, these white display portions are displayed as intruders or the like as shown in FIG. 7A. After performing clustering processing for fusing as one
侵入者識別手段20(図1参照)は、入力した前記現在の画像フレーム(図4A参照)に基づいて、移動物体である歩行者42aが前記撮影地点における侵入者を示すものであるか否かを識別し、枠50a、識別結果及び前記現在の画像フレームを領域監視手段22に出力する。この場合、歩行者42aが前記侵入者であるか否かの判断は、例えば、図3Aに示す先の画像フレームでの歩行者42aと、前記現在の画像フレームでの歩行者42aとの差(移動方向及び距離)に基づいて判断する。
The intruder identification means 20 (see FIG. 1) determines whether or not the
領域監視手段22は、入力した前記識別結果及び前記現在の画像フレームに基づいて、前記画像フレーム中、監視対象(例えば、T字路40a)への歩行者42aの移動(前記侵入者の侵入)の有無を検出し、枠50a、検出結果及び前記現在の画像フレームを侵入者予測手段24及び侵入者特徴抽出手段26に出力する。
The
侵入者予測手段24は、順次入力した前記検出結果及び前記現在の画像フレームに基づいて、歩行者42aの移動量や移動方向から、今後の歩行者42aの動きを予測し、枠50a、予測結果及び前記現在の画像フレームを結果判定手段28に出力する。
The
侵入者特徴抽出手段26は、順次入力した前記検出結果及び前記現在の画像フレームに基づいて、歩行者42aの移動量や移動方向から、歩行者42a(侵入者)の種別を特定し、枠50a、特定結果及び前記現在の画像フレームを結果判定手段28に出力する。なお、前記種別とは、例えば、前記画像フレーム中に表示される画像の種類(人間、樹木、草等)である。
The intruder
結果判定手段28は、侵入者予測手段24から順次入力した前記予測結果及び前記現在の画像フレームと、侵入者特徴抽出手段26から順次入力した前記特定結果及び前記現在の画像フレームとに基づいて、前記監視対象(T字路40a)に歩行者42a(侵入者)が侵入したことを、侵入者検知装置16が配置された前記監視センターの監視員に対して画面表示又はアラーム発報を行う。この場合、結果判定手段28では、歩行者42aの存在を前記監視員に対して分かりやすく画面表示するために、適宜、枠50aを前記現在の画像フレームの歩行者42aに重畳することも可能である(図8A参照)。なお、図8Aでは、歩行者42aの上半身の一部を枠50aで囲んだ場合を図示している。
The
また、カメラ制御部34は、前記予測結果、前記特定結果及び前記現在の画像フレームとに基づいて、前記撮影地点におけるカメラ12の撮影方向や姿勢を制御する。
Further, the
上記した侵入者検知システム10(図1参照)において、例えば、夜間や、曇り又は雨の日の日中にカメラ12が前記撮影地点を撮影した場合、該カメラ12に入力する光量は、晴れた日の日中の光量よりも少ないので、撮影された画像フレームをヒストグラム調整部30にてグレースケール変換すると全体的に暗い画像となり(図3A及び図4A参照)、そのヒストグラムは、図2Aに示すように、低輝度領域(輝度が0に近い領域)に画素数が偏るヒストグラムパターン38aとなる。
In the intruder detection system 10 (see FIG. 1) described above, for example, when the
この結果、前記ヒストグラムに対応する画像フレームをそのまま用い、識別処理部32(図1参照)にて撮影時刻の異なる2つの画像フレームの差分を取り(図5A参照)、差分した前記画像フレームに対して2値化処理(図6A参照)、クラスタリング処理及びラベリング処理(図7A参照)を行うと、歩行者42a(侵入者)(図3A及び図4A参照)に対応する表示部分46aを2値化の画像フレーム上に鮮明に表示することが困難になると共に、歩行者42aに対する枠50aのサイズも小さくなり(図8A参照)、結果判定手段28での歩行者42a(侵入者)の認識率(検知率)が低下するおそれがある。
As a result, the image frame corresponding to the histogram is used as it is, the difference between the two image frames having different shooting times is obtained by the identification processing unit 32 (see FIG. 1) (see FIG. 5A), and the difference between the image frames is calculated. When the binarization process (see FIG. 6A), the clustering process, and the labeling process (see FIG. 7A) are performed, the
そこで、侵入者検知装置16では、ヒストグラム調整部30において、夜間や曇り又は雨の日の日中に撮影された画像フレームのヒストグラム(図2A参照)について、図2Bに示すように、前記画像フレームを構成する全画素の輝度の平均値(以下、輝度平均値ともいう。)を前記低輝度領域から高輝度領域(輝度が255に近い領域)側にシフトしたヒストグラムに調整し、調整した前記ヒストグラムに対応する画像フレームを用いて前記侵入者の検知処理を行うようにしている。
Therefore, in the
すなわち、ヒストグラム調整部30は、前記低輝度領域に画素数が偏るヒストグラム(図2A参照)について、その輝度平均値{図2Aに示す(A)}と、この輝度平均値に対する標準偏差(以下、輝度標準偏差ともいう。)とをそれぞれ求め、前記輝度平均値と前記輝度標準偏差との和{図2Aに示す(B)}を、前記輝度の上限値(図2Bに示す255の輝度)に変換すると共に、前記輝度平均値と前記輝度標準偏差との差{図2Aに示す(C)}を前記輝度の下限値(図2Bに示す0の輝度)に変換する。次に、ヒストグラム調整部30は、図2Aのヒストグラムにおける前記和と前記差との間のヒストグラムパターン38aを、図2Bに示す前記上限値(255)と前記下限値(0)との間にフルスケールに伸張して、前記フルスケールに伸張したヒストグラムパターン38b中で、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する(図2B参照)。
That is, for the histogram (see FIG. 2A) in which the number of pixels is biased in the low luminance region, the
なお、前記フルスケールに伸張するとは、ヒストグラム調整部30内に、例えば、前記差から前記和までの輝度(ヒストグラムパターン38aに対応する輝度)と、前記下限値から前記上限値までの輝度(ヒストグラムパターン38bに対応する輝度)との関係を示すマッピング関数(1次式で表わされる関数)が格納され、このマッピング関数に基づいて、ヒストグラムパターン38aの輝度をヒストグラムパターン38bの輝度に変換することをいう。
The term “expanding to full scale” means, for example, in the
従って、図2Bに示す調整後のヒストグラムは、図2Aに示す調整前のヒストグラムと比較して、輝度平均値がより高輝度領域にシフトし、この結果、前記調整後のヒストグラムに対応する画像フレーム(図3B及び図4B)は、前記調整前の画像フレーム(図3A及び図4B)と比較して、夜間や曇り又は雨の日の日中に撮影された画像フレームであっても、全体的に明るい画像となり、T字路40b上の歩行者42bを明瞭に認識することができる。
Therefore, the adjusted histogram shown in FIG. 2B shifts the average luminance value to a higher luminance region as compared with the histogram before adjustment shown in FIG. 2A. As a result, the image frame corresponding to the adjusted histogram is displayed. (FIG. 3B and FIG. 4B) is an overall image frame, even during an image frame taken at night or on a cloudy or rainy day, compared to the image frame before adjustment (FIGS. 3A and 4B). The
なお、前記ヒストグラムの調整前(図2A参照)と、調整後(図2B参照)とについて、画像フレームを構成する全画素数に変化がなければ、図2Aに示す輝度と画素数との積の総和(ヒストグラムパターン38aと横軸とで囲まれた部分の総面積)と、図2Bに示す輝度と画素数との積の総和(ヒストグラムパターン38bと縦軸と横軸とで囲まれた部分の総面積)との間に変化がないことは勿論である。
If there is no change in the total number of pixels constituting the image frame before and after adjustment of the histogram (see FIG. 2A) and after adjustment (see FIG. 2B), the product of the luminance and the number of pixels shown in FIG. 2B is the sum of the products of the luminance and the number of pixels shown in FIG. 2B (the portion surrounded by the
また、ヒストグラム調整部30における前述したヒストグラムの調整処理は、例えば、(1)現在時刻が所定の時間帯(例えば、18時〜翌日の6時)になった場合、(2)前記撮影地点に設けられた図示しない輝度センサからの出力信号のレベルが所定レベル以下である場合、(3)前記ヒストグラムの輝度平均値が所定の閾値(例えば、100)以下である場合に行われる。
Further, the above-described histogram adjustment processing in the
従って、識別処理部32では、ヒストグラム調整処理を行った画像フレームが入力した際に、この画像フレームに対して上述した差分処理(図5B参照)、2値化処理(図6B参照)、クラスタリング処理及びラベリング処理(図7B参照)を行い、前記ラベリング処理後の画像フレーム中にある枠50bと、前記現在の画像フレーム(図4B参照)とを侵入者識別手段20に出力する。
Accordingly, when an image frame subjected to histogram adjustment processing is input, the
本実施形態に係る侵入者検知装置16を有する侵入者検知システム10の構成は、上述した通りであり、次に、ヒストグラム調整部30でのヒストグラム調整処理を行う場合における侵入者検知装置16での侵入者検知処理について、図1〜図8Bや、図9及び図10のフローチャートを参照しながら説明する。
The configuration of the
図9は、侵入者検知装置16内での処理を示すフローチャートであり、図10は、移動物体識別手段18内での処理を示すフローチャートである。なお、これらのフローチャートの説明では、必要に応じて、ヒストグラム調整処理を行わない画像フレーム(図3A、図4A、図5A、図6A、図7A及び図8A)も参照しながら説明する。
FIG. 9 is a flowchart showing a process in the
図9のステップS1において、移動物体識別手段18(図1参照)は、カメラ12からA/Dコンバータ14を介して入力した画像フレームより、該画像フレーム内での侵入者を含む移動物体の存在を識別できるような画像処理(移動物体識別処理)を行う。
In step S1 of FIG. 9, the moving object identification means 18 (see FIG. 1) indicates the presence of a moving object including an intruder in the image frame from the image frame input from the
具体的には、先ず、図10のステップS11において、ヒストグラム調整部30は、入力した画像フレーム{図3Aに示す先の画像フレーム及び図4Aに示す現在の画像フレーム}をグレースケール変換する。
Specifically, first, in step S11 of FIG. 10, the
次に、ヒストグラム調整部30は、画像フレームを構成する全ての画素の輝度と、その輝度を示す画素数との関係を示すヒストグラム(図2A参照)をそれぞれの画像フレームに対して作成する。この場合、前記ヒストグラムは、前記低輝度領域に画素数が偏ったヒストグラムパターン38aになっているので、ヒストグラム調整部30は、前記ヒストグラムについて、輝度平均値が低輝度領域から高輝度領域にシフトしたヒストグラム(図2B参照)に調整する下記のヒストグラム調整処理(ヒストグラム調整ステップ)を行う(ステップS12)。
Next, the
すなわち、ヒストグラム調整部30は、図3A及び図4Aに示す画像フレームのそれぞれのヒストグラム(図2A参照)について、その輝度平均値{図2Aの(A)}と輝度標準偏差とをそれぞれ求め、前記輝度平均値と前記輝度標準偏差との和{図2Aの(B)}を、前記輝度の上限値(図2Bの255)に変換すると共に、前記輝度平均値と前記輝度標準偏差との差{図2Aの(C)}を前記輝度の下限値(図2Bの0)に変換する。さらに、ヒストグラム調整部30は、図2Aに示す前記和と前記差との間のヒストグラムパターン38aを、図2Bに示す前記上限値(255)と前記下限値(0)との間でフルスケールに伸張して、前記フルスケールに伸張したヒストグラムパターン38b中で、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する。そして、ヒストグラム調整部30は、上記のヒストグラム調整処理を行った前記各ヒストグラムに対応する各画像フレーム(図3B及び図4B参照)を識別処理部32に出力する。
That is, the
この場合、ヒストグラムパターン38b(図2B参照)は、ヒストグラムパターン38a(図2A参照)と比較して、輝度平均値がより高輝度領域にシフトするので、ヒストグラム調整後のヒストグラムに対応する画像フレーム(図3B及び図4B)は、ヒストグラム調整前の画像フレーム(図3A及び図4A)と比較して、全体的に明るい画像となっている。例えば、図3B及び図4Bの画像フレーム中で、T字路40b上を歩いている歩行者42bの画像は、図3A及び図4Aの画像フレーム中の歩行者42aの画像よりも高輝度であり明瞭に認識することが可能である。
In this case, the
次に、識別処理部32(図1参照)は、入力した前記各画像フレーム(図3B及び図4B参照)の全画素について、前記先の画像フレーム(図3B参照)の画素の輝度と、この画素に対応する前記現在の画像フレーム(図4B参照)の画素の輝度との輝度差を取って、前記輝度差を示す画像フレーム(図5B参照)を生成する(ステップS13)。この場合、ヒストグラム調整処理(ステップS12)を予め行った前記画像フレーム(図5B参照)中の表示部分44b(図3B及び図4Bの歩行者42bに対応する表示部分)は、前記ヒストグラム調整処理を行っていない画像フレーム(図5A参照)中の表示部分44a(図3A及び図4Aの歩行者42aに対応する表示部分)と比較して、鮮明に表示されている。
Next, the identification processing unit 32 (see FIG. 1), for all pixels in each of the input image frames (see FIGS. 3B and 4B), the luminance of the pixels in the previous image frame (see FIG. 3B) A luminance difference with the luminance of the pixel of the current image frame (see FIG. 4B) corresponding to the pixel is taken to generate an image frame (see FIG. 5B) indicating the luminance difference (step S13). In this case, the
また、識別処理部32は、前記差分処理を行った画像フレームについて、前記輝度差が所定の閾値を上回る画素については白色表示とし、前記輝度差が前記閾値を下回る画素については黒色表示とする2値化処理を行う(ステップS14、図6B参照)。この場合も、前記ヒストグラム調整処理(ステップS12)を予め行った2値化処理後の画像フレーム(図6B参照)中の表示部分46b(図3B及び図4Bの歩行者42bや、図5Bの表示部分44bに対応する表示部分)は、前記ヒストグラム調整処理を行っていない2値化処理後の画像フレーム(図6A参照)中の表示部分46a(図3A及び図4Aの歩行者42aや、図5Aの表示部分46aに対応する表示部分)と比較して、鮮明に表示されている。
In addition, the
さらに、識別処理部32は、前記2値化処理を行った画像フレームについて、前記白色表示の表示部分46bを侵入者等を示す1つの表示部分48bとして融合するクラスタリング処理を行った後に、融合した表示部分48bを所定の大きさの枠50bで囲い、表示部分48b及び枠50bに対して所定の番号(図示せず)を付与するラベリング処理を行う(図7B、ステップS15参照)。この場合も、前記ヒストグラム調整処理(ステップS12)を予め行った画像フレーム(図7B参照)中の表示部分48b(図3B及び図4Bの歩行者42bや、図5B及び図6Bの表示部分44b、46bに対応する表示部分)は、前記ヒストグラム調整処理を行っていない画像フレーム(図7A参照)中の表示部分48a(図3A及び図4Aの歩行者42aや、図5A及び図6Aの表示部分44a、46aに対応する表示部分)と比較して、鮮明に表示されている。また、表示部分48bは、表示部分48aよりも大きく表示され、従って、枠50bも、枠50aより大きく表示されている。
Furthermore, the
さらにまた、識別処理部32は、ヒストグラム調整処理(ステップS12)を行った現在の画像フレーム(図4B参照)と、枠50b(図7B参照)とを侵入者識別手段20に出力する。
Furthermore, the
侵入者識別手段20(図1参照)は、入力した前記画像フレーム(図4B参照)について、歩行者42bが前記撮影地点における侵入者であるか否かを識別し、枠50b(図7B参照)、識別結果及び前記画像フレームを領域監視手段22に出力する(図9のステップS2)。領域監視手段22は、入力した前記識別結果及び前記画像フレームに基づいて、当該画像フレーム中、歩行者42bが所定の監視対象(T字路40b)に侵入するか否かを検出し、枠50b、検出結果及び前記画像フレームを侵入者予測手段24及び侵入者特徴抽出手段26に出力する(ステップS3)。
The intruder identification means 20 (see FIG. 1) identifies whether or not the
侵入者予測手段24は、順次入力した前記検出結果及び前記画像フレームに基づいて、歩行者42bの移動量や移動方向から、今後の歩行者42bの動きを予測し、枠50b、予測結果及び前記画像フレームを結果判定手段28に出力する(ステップS4)。
The intruder prediction means 24 predicts the future movement of the
侵入者特徴抽出手段26は、順次入力した前記検出結果及び前記画像フレームに基づいて、歩行者42bの移動量や移動方向から、侵入者である歩行者42bの種別を特定し、枠50b、特定結果及び前記画像フレームを結果判定手段28に出力する(ステップS5)。
The intruder
結果判定手段28は、侵入者予測手段24から順次入力した前記予測結果及び前記画像フレームと、侵入者特徴抽出手段26から順次入力した前記特定結果及び前記画像フレームとに基づいて、前記監視対象(T字路40b)に歩行者42bが侵入者として侵入したことを、侵入者検知装置16が配置された前記監視センターの監視員に対して画面表示又はアラーム発報を行う(ステップS6)。この場合、結果判定手段28では、歩行者42bの存在を前記監視員に対して分かりやすく画面表示するために、適宜、枠50bを前記画像フレームの歩行者42bに重畳することも可能である(図8B参照)。なお、図8Bでは、歩行者42bの略全身を枠50bで囲んだ場合を図示している。
Based on the prediction result and the image frame sequentially input from the
また、カメラ制御部34は、前記予測結果、前記特定結果及び前記画像フレームとに基づいて、前記撮影地点におけるカメラ12の撮影方向や姿勢を制御する。
The
このように、本実施形態では、画像フレームの全画素にて構成されるヒストグラムのヒストグラムパターン38aを所望のヒストグラムパターン38bに変換し、変換したヒストグラムパターン38bに応じた画像フレームを用いて歩行者42bの検知処理を行うことにより、画像フレームのブロック毎にヒストグラムパターンを変換する従来技術と比較して、歩行者42bの検知処理に関わる負荷を低減することができる。また、前記輝度平均値及び前記輝度標準偏差を用いることにより、前記上限値及び前記下限値への変換が簡単化され、歩行者42bの検出に必要な画像フレームを容易に作成することができる。
As described above, in this embodiment, the
本発明に係る移動物体検知装置及びその方法は、上述の実施形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることは勿論である。 The moving object detection device and method according to the present invention are not limited to the above-described embodiment, and various configurations can be adopted without departing from the gist of the present invention.
10…侵入者検知システム 12…カメラ
14…A/Dコンバータ 16…侵入者検知装置
18…移動物体識別手段 20…侵入者識別手段
22…領域監視手段 24…侵入者予測手段
26…侵入者特徴抽出手段 28…結果判定手段
30…ヒストグラム調整部 32…識別処理部
34…カメラ制御部
38a、38b…ヒストグラムパターン
DESCRIPTION OF
Claims (2)
前記画像フレームを構成する各画素の輝度と、その輝度を示す画素数との関係を示すヒストグラムを調整するヒストグラム調整手段を有し、
前記ヒストグラム調整手段は、
前記画像フレームを構成する全画素の輝度平均値と、この輝度平均値に対する輝度標準偏差とを求め、
前記輝度平均値と前記輝度標準偏差との和を前記輝度の上限値に変換すると共に、前記輝度平均値と前記輝度標準偏差との差を前記輝度の下限値に変換し、
前記ヒストグラムにおける前記和と前記差との間のヒストグラムパターンを前記上限値と前記下限値との間でフルスケールに伸張して、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する
ことを特徴とする移動物体検知装置。 In the moving object detection device for detecting the presence of a moving object at the shooting point based on an image frame related to a predetermined shooting point shot by the camera,
Histogram adjustment means for adjusting a histogram indicating the relationship between the luminance of each pixel constituting the image frame and the number of pixels indicating the luminance;
The histogram adjusting means includes
Obtain a luminance average value of all pixels constituting the image frame and a luminance standard deviation with respect to the luminance average value,
Converting the sum of the luminance average value and the luminance standard deviation into the upper limit value of the luminance, and converting the difference between the luminance average value and the luminance standard deviation into the lower limit value of the luminance;
A histogram pattern between the sum and the difference in the histogram is expanded to a full scale between the upper limit value and the lower limit value, and the luminance of each pixel is set between the upper limit value and the lower limit value. A moving object detection device characterized by converting to a predetermined luminance.
前記画像フレームを構成する各画素の輝度と、その輝度を示す画素数との関係を示すヒストグラムを調整するヒストグラム調整ステップを有し、
前記ヒストグラム調整ステップでは、
前記画像フレームを構成する全画素の輝度平均値と、この輝度平均値に対する輝度標準偏差とを求め、
前記輝度平均値と前記輝度標準偏差との和を前記輝度の上限値に変換すると共に、前記輝度平均値と前記輝度標準偏差との差を前記輝度の下限値に変換し、
前記ヒストグラムにおける前記和と前記差との間のヒストグラムパターンを前記上限値と前記下限値との間でフルスケールに伸張して、前記各画素の輝度を前記上限値と前記下限値との間の所定の輝度に変換する
ことを特徴とする移動物体検知方法。 In the moving object detection method for detecting the presence of a moving object at the shooting point based on an image frame related to a predetermined shooting point shot by the camera,
A histogram adjustment step of adjusting a histogram indicating the relationship between the luminance of each pixel constituting the image frame and the number of pixels indicating the luminance;
In the histogram adjustment step,
Obtain a luminance average value of all pixels constituting the image frame and a luminance standard deviation with respect to the luminance average value,
Converting the sum of the luminance average value and the luminance standard deviation into the upper limit value of the luminance, and converting the difference between the luminance average value and the luminance standard deviation into the lower limit value of the luminance;
A histogram pattern between the sum and the difference in the histogram is expanded to a full scale between the upper limit value and the lower limit value, and the luminance of each pixel is set between the upper limit value and the lower limit value. A moving object detection method characterized by converting to a predetermined luminance.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006073984A JP2007251721A (en) | 2006-03-17 | 2006-03-17 | Moving object detecting device and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006073984A JP2007251721A (en) | 2006-03-17 | 2006-03-17 | Moving object detecting device and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007251721A true JP2007251721A (en) | 2007-09-27 |
Family
ID=38595528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006073984A Pending JP2007251721A (en) | 2006-03-17 | 2006-03-17 | Moving object detecting device and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007251721A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012093663A1 (en) * | 2011-01-06 | 2012-07-12 | 株式会社ニコン | Image processing device, image capturing device, and image processing program |
JP2016024677A (en) * | 2014-07-22 | 2016-02-08 | サクサ株式会社 | Imaging apparatus and determination method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0514898A (en) * | 1991-06-28 | 1993-01-22 | Toshiba Corp | Image monitor device |
JPH10271485A (en) * | 1997-03-26 | 1998-10-09 | U S C:Kk | Method and device for detecting mobile object |
JP2000276596A (en) * | 1999-03-25 | 2000-10-06 | Nec Corp | Automatic tracking device |
JP2003308529A (en) * | 2002-04-15 | 2003-10-31 | Rohm Co Ltd | Image processor |
JP2004005206A (en) * | 2002-05-31 | 2004-01-08 | Hanshin Expressway Public Corp | Road status photographing apparatus, traffic control equipment and traffic control method |
-
2006
- 2006-03-17 JP JP2006073984A patent/JP2007251721A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0514898A (en) * | 1991-06-28 | 1993-01-22 | Toshiba Corp | Image monitor device |
JPH10271485A (en) * | 1997-03-26 | 1998-10-09 | U S C:Kk | Method and device for detecting mobile object |
JP2000276596A (en) * | 1999-03-25 | 2000-10-06 | Nec Corp | Automatic tracking device |
JP2003308529A (en) * | 2002-04-15 | 2003-10-31 | Rohm Co Ltd | Image processor |
JP2004005206A (en) * | 2002-05-31 | 2004-01-08 | Hanshin Expressway Public Corp | Road status photographing apparatus, traffic control equipment and traffic control method |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012093663A1 (en) * | 2011-01-06 | 2012-07-12 | 株式会社ニコン | Image processing device, image capturing device, and image processing program |
JPWO2012093663A1 (en) * | 2011-01-06 | 2014-06-09 | 株式会社ニコン | Image processing apparatus, imaging apparatus, and image processing program |
JP5949559B2 (en) * | 2011-01-06 | 2016-07-06 | 株式会社ニコン | Image processing apparatus, imaging apparatus, and image processing program |
JP2016024677A (en) * | 2014-07-22 | 2016-02-08 | サクサ株式会社 | Imaging apparatus and determination method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6754367B1 (en) | Method and apparatus for automatically detecting intrusion object into view of image pickup device | |
KR100476019B1 (en) | Monitoring method for detecting an intruding object and monitoring apparatus therefor | |
JP4884331B2 (en) | Moving object tracking device | |
WO2011032117A1 (en) | Method and system for wildfire detection using a visible range camera | |
KR102131437B1 (en) | Adaptive video surveillance system and method | |
EP2000998B1 (en) | Flame detecting method and device | |
JP4865328B2 (en) | Image sensor | |
JP2000184359A (en) | Monitoring device and system therefor | |
JPH0844874A (en) | Image change detector | |
JP3034101B2 (en) | Method and apparatus for identification using motion vector | |
JP2004312402A (en) | System and apparatus for road monitoring | |
US9064158B2 (en) | Vehicle surroundings monitoring device | |
JP2007251721A (en) | Moving object detecting device and method | |
US20200036904A1 (en) | Image processing apparatus, surveillance camera system, image processing method, and program | |
JP2006059183A (en) | Image processor | |
JP2010136207A (en) | System for detecting and displaying pedestrian | |
KR101920369B1 (en) | Apparatus and method for image processing of thermal imaging camera | |
JP3625442B2 (en) | Object detection method, object detection apparatus, and object detection program | |
JP3736836B2 (en) | Object detection method, object detection apparatus, and program | |
JP2005173879A (en) | Fused image display device | |
JP6155106B2 (en) | Image sensor | |
JP2002150440A (en) | Detector for object of monitoring | |
JP4547213B2 (en) | Object detection apparatus and method | |
JP2529968B2 (en) | Image sensor | |
JP6133700B2 (en) | Image sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110510 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110913 |