JP4612522B2 - Change area calculation method, change area calculation device, change area calculation program - Google Patents
Change area calculation method, change area calculation device, change area calculation program Download PDFInfo
- Publication number
- JP4612522B2 JP4612522B2 JP2005298251A JP2005298251A JP4612522B2 JP 4612522 B2 JP4612522 B2 JP 4612522B2 JP 2005298251 A JP2005298251 A JP 2005298251A JP 2005298251 A JP2005298251 A JP 2005298251A JP 4612522 B2 JP4612522 B2 JP 4612522B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- change
- feature extraction
- extraction filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Description
本発明は、画像列から変化を抽出する技術に関するものである。 The present invention relates to a technique for extracting changes from an image sequence.
固定された監視カメラにおいて、撮影画像内にほとんど動きや変動がない場合には、物体が置かれたことを確認することは容易である。例えば、撮影画像がほぼ常に一定と考えられる場合は、その画像を背景としてメモリ上に持ち、現在の画像と比較すればよい（例えば、特許文献１参照。）。背景が変化する場合は、明るさ変動に追従２種類又はそれ以上の異なる時間前の画像を利用して、古い方を背景と考えて差を比較する方法がある（例えば、特許文献２参照。）。 In a fixed surveillance camera, when there is almost no movement or fluctuation in the captured image, it is easy to confirm that an object has been placed. For example, if the captured image is considered to be almost always constant, the image may be stored in the memory as a background and compared with the current image (see, for example, Patent Document 1). When the background changes, there is a method of comparing the difference by using two types or more of images before different times and following the brightness variation, considering the older one as the background (see, for example, Patent Document 2). ).
また、背景画像の照明変動による変化を予測しながら画像を生成して、これを現在の画像と比較する方法（例えば、特許文献３参照。）、照明変動の影響を除去するフィルタを行うことで、背景の比較を容易にした方法もある（例えば、特許文献４参照。）。 In addition, a method of generating an image while predicting a change due to illumination variation of the background image and comparing it with the current image (see, for example, Patent Document 3), and performing a filter that removes the influence of illumination variation. There is also a method that facilitates background comparison (see, for example, Patent Document 4).
これらの方法は、撮影画像内に動きがほとんどない場合にのみ適用可能である。 These methods are applicable only when there is almost no movement in the captured image.
カメラが固定であるが撮影画像内に多少動く物体がある場合は、変化抽出の感度を変化させる方法があるが（例えば、特許文献５参照。）、動きの継続時間が監視期間と比較して短いことが前提となっている。また、照明変動の影響がないことを仮定している。
画面内に常に動きがある場合、照明変動がある場合においても、安定的に背景の変化を把握する技術を提供する。 Provided a technique for stably grasping changes in the background even when there is a constant movement in the screen and there are fluctuations in illumination.
そこで上記課題を解決するために、請求項１記載の発明は、映像から変化情報を得る変化領域計算装置における変化領域計算方法であって、撮影した映像の画像列の各画像から特徴を抽出する特徴抽出フィルタ処理と、予め定めた枚数分の前記特徴抽出フィルタ処理結果画像から、特徴抽出フィルタ処理で抽出された特徴の統計的特徴量を抽出する複数フレーム第１処理と、前記複数フレーム第１処理で用いた枚数とは異なる枚数の前記特徴抽出フィルタ処理結果画像から、特徴抽出フィルタ処理で抽出された特徴の統計的特徴量を抽出する複数フレーム第２処理と、前記複数フレーム第１処理、及び前記複数フレーム第２処理の結果を比較して変化抽出結果を計算する画像比較処理と、を有し、前記特徴抽出フィルタ処理は、１次微分処理をし、その後、ｍ画素毎に間引いて画像を縮小し、画像がマルチバンドであり、画素毎にｎ個（ただし、ｎは２以上）の値が割り当てられている場合には、これらの画素毎に２つの値を選択し、その比率又は対数変換後の差分の値を計算し、画素毎にｎ個から２個を選択して値を計算して得ることを特徴とする。 Accordingly, in order to solve the above problem, the invention according to claim 1 is a change area calculation method in a change area calculation apparatus for obtaining change information from a video, and extracts features from each image of an image sequence of a shot video. Feature extraction filter processing, first multiple-frame processing for extracting statistical feature quantities of features extracted by feature extraction filter processing from a predetermined number of feature extraction filter processing result images, and first multiple frames A second multi-frame process for extracting a statistical feature quantity of the feature extracted by the feature extraction filter process from the number of feature extraction filter process result images different from the number used in the process; And an image comparison process for calculating a change extraction result by comparing the results of the second process of the plurality of frames, wherein the feature extraction filter process is a first-order differentiation process And, then, reduces the image by thinning out every m pixels, the image is a multi-band, n number (where, n is 2 or more) for each pixel when the value of is assigned, each of these pixels 2 values are selected, the ratio or the difference value after logarithmic conversion is calculated, and n to 2 are selected for each pixel, and the values are calculated .
また、請求項２に記載の発明は、前記複数フレーム第１処理、又は複数フレーム第２処理は、画像の各点又はブロックに、変化又は動きを検出し、変化あり又は動き有りと判定された場合はその点、ブロック、又は該当する画像全体においては複数フレーム処理から除外することを特徴とする In the invention according to claim 2 , the first process of the plurality of frames or the second process of the plurality of frames detects a change or a motion at each point or block of the image, and is determined to have a change or a motion. In that case, the point, the block, or the entire corresponding image is excluded from the multi-frame processing.
また、請求項３記載の発明は、前記画像比較処理は、複数フレーム第１処理及び複数フレーム第２処理によって得られた結果の差分、比率、又は相関係数計算を各点毎、各点の近傍領域、又はブロック毎に行ってこれを変化度合いとして出力することを特徴とする。 According to a third aspect of the present invention, in the image comparison process, a difference, a ratio, or a correlation coefficient calculation of the results obtained by the multiple-frame first process and the multiple-frame second process is calculated for each point. This is performed for each neighboring region or block, and this is output as the degree of change.
また、請求項４記載の発明は、映像から変化情報を得る変化領域計算装置であって、撮影した映像の画像列の各画像から特徴を抽出する特徴抽出フィルタ処理手段と、予め定めた枚数分の前記特徴抽出フィルタ処理結果画像から、特徴抽出フィルタ処理で抽出された特徴の統計的特徴量を抽出する複数フレーム第１処理手段と、前記複数フレーム第１処理手段で用いた枚数とは異なる枚数の前記特徴抽出フィルタ処理結果画像から、特徴抽出フィルタ処理で抽出された特徴の統計的特徴量を抽出する複数フレーム第２処理手段と、前記複数フレーム第１処理手段、及び前記複数フレーム第２処理手段の結果を比較して変化抽出結果を計算する画像比較処理手段と、を有し、前記特徴抽出フィルタ処理手段は、１次微分処理をし、その後、ｍ画素毎に間引いて画像を縮小し、画像がマルチバンドであり、画素毎にｎ個（ただし、ｎは２以上）の値が割り当てられている場合には、これらの画素毎に２つの値を選択し、その比率又は対数変換後の差分の値を計算し、画素毎にｎ個から２個を選択して値を計算して得ることを特徴とする。 According to a fourth aspect of the present invention, there is provided a change area calculation apparatus for obtaining change information from a video, a feature extraction filter processing means for extracting a feature from each image of an image sequence of a shot video, and a predetermined number of images. A plurality of frame first processing means for extracting a statistical feature quantity of a feature extracted by feature extraction filter processing from the feature extraction filter processing result image, and a number different from the number used by the plurality of frame first processing means Multi-frame second processing means for extracting a statistical feature quantity of the feature extracted by the feature extraction filter processing from the feature extraction filter processing result image, the multi-frame first processing means, and the multi-frame second processing. Image comparison processing means for comparing the results of the means and calculating a change extraction result, wherein the feature extraction filter processing means performs a first-order differentiation process, and then outputs m images. Reduces the image by thinning out every image is a multi-band, n number (where, n is 2 or more) for each pixel when the value of is assigned, selecting two values for each of these pixels Then, the ratio or the difference value after logarithmic conversion is calculated, and n to 2 are selected for each pixel, and the value is calculated.
また、請求項５記載の発明は、前記請求項１〜３いずれかに記載の変化領域計算方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。 The invention according to claim 5 is characterized in that the change area calculation method according to any one of claims 1 to 3 is described by a computer program and can be executed.
請求項１〜５記載の発明によれば、画面内に常に動きがある場合、照明変動がある場合においても、安定的に背景の変化を把握する技術を提供できる。 According to the invention of claims 1 to 5, wherein, when there is always a movement in the screen, when there is illumination variation can also provide a technique to grasp the change in the stable background.
以下、図面を用いて実施形態について説明する。 Hereinafter, embodiments will be described with reference to the drawings.
図１は変化抽出手順の説明図である。図１に示すように、変化抽出手順は画像列１１について、特徴抽出フィルタ処理１２、複数フレーム処理１３、１４、及び画像比較処理１５を行い、変化抽出結果１６を得る。 FIG. 1 is an explanatory diagram of a change extraction procedure. As shown in FIG. 1, the change extraction procedure performs a feature extraction filter process 12, multiple frame processes 13 and 14, and an image comparison process 15 on an image sequence 11 to obtain a change extraction result 16.
画像列１１は、カメラから入力された映像、又は蓄積された映像を、１枚毎の画像に分けたものである。同じカメラで、例えば秒３０枚、１５枚、３枚等、又は１分毎、１０分毎、１時間毎等の間隔で得られているとするが、時間間隔は概ね一致していればよい。画像の大きさ（画素数、分解能）、カラー、マルチバンドであるか濃淡画像であるか、各画素毎のデジタル化階調（例えば８ビット、１２ビット、２４ビット）等はすべて一致しているとする。 The image sequence 11 is obtained by dividing the video input from the camera or the stored video into images for each sheet. For example, it is obtained with the same camera at intervals of 30 sheets, 15 sheets, 3 sheets, etc., every minute, every 10 minutes, every hour, etc. . Image size (number of pixels, resolution), color, multi-band or grayscale image, digitized gradation (for example, 8 bits, 12 bits, 24 bits) for each pixel are all the same. And
特徴抽出フィルタ処理１２は、画像列１１の各画像について、予め定めた特徴抽出処理を行う。 The feature extraction filter process 12 performs a predetermined feature extraction process for each image in the image sequence 11.
この特徴抽出処理には様々な方法が考えられる。 Various methods can be considered for this feature extraction processing.
最も単純には、画素値をそのまま出力する方法がある。 The simplest method is to output pixel values as they are.
画素値を予め定めたテーブルで変換して出力してもよい。変換テーブルは、例えば対数変換、画素値がγ補正されている場合はγ補正を元に戻す処理でもよい。 The pixel value may be converted by a predetermined table and output. The conversion table may be, for example, logarithmic conversion, or processing that restores γ correction when the pixel value is γ corrected.
その他の計算式を指定することも可能である。 It is also possible to specify other calculation formulas.
予め定めた近傍において平均、重み付け平均、分散値を計算することもできる。 An average, a weighted average, and a variance value can be calculated in a predetermined neighborhood.
また、ＪＰＥＧ等で圧縮されている場合などでは、画質の改善処理、平滑化処理を行う方法が考えられる。 Further, when the image is compressed by JPEG or the like, a method of performing image quality improvement processing and smoothing processing is conceivable.
また、画素値を１次微分してもよい。例えば、画像を２次元関数ｆ（ｘ，ｙ）と考えると、１次微分は、 Further, the pixel value may be first-order differentiated. For example, considering an image as a two-dimensional function f (x, y), the first derivative is
などが考えられる。 And so on.
２次微分としては、 As the second derivative,
又はヘッセ行列の行列式、対角和などが考えられる。 Or the determinant of Hessian matrix, the diagonal sum, etc. can be considered.
さらに、平均、平滑化を用いた後に画像を縮小することも可能である。この場合、入力画像と以下で行われる処理のサイズは異なってくる。 Furthermore, it is possible to reduce the image after using averaging and smoothing. In this case, the size of the process performed below differs from the input image.
以上の処理を、さらに複数組み合わせて行ってもよい。例えば、画像の各点の画素値に予め定めた固定値ｋを加え、対数変換を施し、予め定めたσを用いたガウス関数を用いた平滑化処理を行い、１次微分処理（グラジエント計算）を行い、さらにその後、ｎ画素毎に間引いて画像を縮小を行う方法がある。これを式で示すと、入力画像をｆ、出力結果をｇとすると、 A plurality of the above processes may be combined. For example, a predetermined fixed value k is added to the pixel value of each point of the image, logarithmic transformation is performed, smoothing processing is performed using a Gaussian function using a predetermined σ, and first-order differentiation processing (gradient calculation) And then reducing the image by thinning out every n pixels. When this is expressed by an equation, if the input image is f and the output result is g,
となる。ここで、＊は畳み込み処理であり、この場合はガウス関数Ｇσで平滑化することを示している。 It becomes. Here, * is a convolution process, and in this case, smoothing is performed using a Gaussian function Gσ .
画像がカラーである場合、各画素値には３つの値（通常は、赤、緑、青）が割り当てられている。画像がマルチバンドである場合は、例えば赤、緑、青に加え、近赤外、赤外帯域での画像が記録されている場合がある。この時の値の数をｎとする（カラー画像の場合はｎ＝３）。このように、画素毎に複数の値が割り当てられている場合（ｎ＞１）は、これらの画素毎に２つの値を選択し、その比率又は対数変換後の差分の値を計算し、画素毎に値を得ておく方法がある（この場合は、画素毎に When the image is color, three values (usually red, green, and blue) are assigned to each pixel value. When the image is multiband, for example, an image in the near infrared and infrared bands may be recorded in addition to red, green, and blue. The number of values at this time is n (n = 3 in the case of a color image). Thus, when a plurality of values are assigned to each pixel (n> 1), two values are selected for each of these pixels, and the ratio or the difference value after logarithmic conversion is calculated. There is a way to get a value for each (in this case, for each pixel
個の数値が割り当てられる）。さらに、予め定めた計算式またはテーブルを用いて演算を行うことができる。 Number). Furthermore, the calculation can be performed using a predetermined calculation formula or table.
画像がカラー、マルチバンドである場合は、以上の処理の方法に加え、平均、平滑化、縮小等の処理を組み合わせて処理することができる。 When the image is color or multiband, in addition to the above processing methods, processing such as averaging, smoothing, and reduction can be combined.
複数フレーム第１処理１３、複数フレーム第２処理１４は、それぞれ特徴抽出フィルタ処理の結果を利用して、処理を行う過程である。基本的に、複数フレーム第１処理１３より、複数フレーム第２処理１４の方が長い時間（多い枚数）の処理であるとする。 The multiple frame first process 13 and the multiple frame second process 14 are processes in which the results of the feature extraction filter process are used, respectively. Basically, it is assumed that the multiple frame second process 14 is a longer time (larger number of sheets) process than the multiple frame first process 13.
これらの複数フレーム第１処理１３、複数フレーム第２処理１４は、同じ方法であって、特徴抽出フィルタ処理１２の出力を必要枚数分利用する。処理する枚数、及びその方法は、予め定められているとする。 The multiple frame first process 13 and the multiple frame second process 14 are the same method, and use the output of the feature extraction filter process 12 as many times as necessary. It is assumed that the number of sheets to be processed and the method are predetermined.
実際に利用するフレーム数は、状況に応じて外部から設定できるようにしておいてもよい。適切な処理枚数は、例えば複数フレーム第１処理１３では１０秒、複数フレーム第２処理１４では１分、又は複数フレーム処理１では３０秒、複数フレーム第２処理１４では３分、などが設定できることとする。 The number of frames actually used may be set from the outside according to the situation. Appropriate number of processed images can be set, for example, 10 seconds for multiple frame first process 13, 1 minute for multiple frame second process 14, or 30 seconds for multiple frame process 1, 3 minutes for multiple frame second process 14, etc. And
ここで複数フレーム第１処理１３、複数フレーム第２処理１４の具体的方法例を説明する。 Here, a specific method example of the multiple frame first process 13 and the multiple frame second process 14 will be described.
最も単純な方法としては、各点毎にあらかじめ定めた枚数分の特徴抽出フィルタ処理結果の平均を計算する方法がある。平均値の計算以外には、中央値、最頻値、分散値、または外れ値を除去した平均・中央値・分散値を用いる方法も考えられる。 As the simplest method, there is a method of calculating an average of feature extraction filter processing results for a predetermined number of points for each point. In addition to the calculation of the average value, a method using a median value, a mode value, a variance value, or an average / median value / variance value from which an outlier is removed may be considered.
さらに、動き検知、変化検知を併用して、動きがあった時・場所の結果を除外する方法もある。ここで言う動き検知、変化検知は、いわゆる直接的な２枚又は少数の画像の比較処理である。 In addition, there is a method of using motion detection and change detection together to exclude the result of when and where there is motion. The motion detection and change detection here are so-called direct comparison processing of two images or a small number of images.
最も単純には、２枚の画像の画素の差の絶対値が予め定めた、または動的に定めたしきい値以上である場合は、動きありと判断する。近傍の点での相関値がしきい値以下の場合に変化ありと判断する方法もある。 Most simply, if the absolute value of the difference between the pixels of the two images is equal to or greater than a predetermined or dynamically determined threshold value, it is determined that there is motion. There is also a method for determining that there is a change when a correlation value at a nearby point is equal to or less than a threshold value.
別の方法としては、特徴フィルタ処理された結果の２枚を使って同様の処理をする方法も考えられる。 As another method, a method of performing the same processing using the two results obtained by the feature filter processing is also conceivable.
いずれの場合も、２枚の画像（または同じ次元の情報を持つデータ）が動きありと判断された点、その近傍、予め定めたブロック、又はその時の画像全体において、複数フレーム第１処理１３、複数フレーム第２処理１４の処理を行わないものとする。 In any case, in the point where two images (or data having the same dimensional information) are determined to be in motion, in the vicinity thereof, in a predetermined block, or in the entire image at that time, the multiple frame first processing 13, It is assumed that the processing of the multiple frame second processing 14 is not performed.
以上の結果得られるものは、例えば特徴抽出フィルタ処理１２が画素値をそのまま出力する方法で、複数フレーム第１処理１３、複数フレーム第２処理１４において平均値または中央値または最頻値を計算する場合、この結果は概ね背景画像といえる画像になる。背景に変化が発生すると、処理枚数が異なるために少ない枚数分の平均では、変化が反映した背景が得られ、多い枚数分の平均計算結果では変化前の背景が得られることになる。 What is obtained as a result of the above is, for example, a method in which the feature extraction filter process 12 outputs the pixel values as they are, and calculates an average value, a median value, or a mode value in the multiple frame first process 13 and the multiple frame second process 14. In this case, the result is an image that can be said to be a background image. When a change occurs in the background, since the number of processed sheets is different, a background reflecting the change is obtained with an average for a small number of sheets, and a background before the change is obtained with an average calculation result for a large number of sheets.
特徴抽出フィルタ処理１２が画素値を直接出力する方法で、複数フレーム第１処理１３、複数フレーム第２処理１４において分散値を計算する場合は、例えば対象とする点または領域で常に小さな動きがあれば分散は大きくなり、安定すると小さくなる。したがって、処理対象の状況によっては多い枚数分の分散値と、少ない枚数分の分散値には違いが発生する場合がある。 When the variance value is calculated in the multiple frame first process 13 and the multiple frame second process 14 by the method in which the feature extraction filter process 12 directly outputs the pixel value, for example, there is always a small movement at the target point or region. The dispersion increases, and decreases when stabilized. Therefore, there may be a difference between the variance value for a large number of sheets and the variance value for a small number of sheets depending on the status of the processing target.
画像の各点の画素値に予め定めた固定値ｋを加え、対数変換を施し、予め定めたσを用いたガウス関数を用いた平滑化処理を行い、１次微分処理（グラジエント計算）を行う方法を利用し、複数フレーム第１処理１３、複数フレーム第２処理１４において平均値または中央値または最頻値を計算する場合、結果は各点毎にベクトル値となる。この結果は、いわゆる一般的な画像とは言えないが、背景が持つ特徴は基本的に含まれた結果となる。 A predetermined fixed value k is added to the pixel value of each point of the image, logarithmic transformation is performed, smoothing processing is performed using a Gaussian function using a predetermined σ, and first-order differential processing (gradient calculation) is performed. When the average value, the median value, or the mode value is calculated in the multiple frame first process 13 and the multiple frame second process 14 using the method, the result is a vector value for each point. Although this result cannot be said to be a so-called general image, the characteristic of the background is basically included.
画像比較処理１５は、複数フレーム第１処理１３、複数フレーム第２処理１４において得られた結果を比較して、異なる領域を見つけ出す処理である。 The image comparison process 15 is a process for finding out different areas by comparing the results obtained in the multiple-frame first process 13 and the multiple-frame second process 14.
最も単純には、複数フレーム第１処理１３の結果と複数フレーム第２処理１４の結果の差、差の絶対値、差の２乗、比、対数変換後の差、その絶対値、又は２乗等を点毎に計算する。各点毎に予め定めた近傍における相関値を計算してもよい。予め画像をブロック分けし、そのブロック毎に差の絶対値の差、対数変換後の差の絶対値、対数変換後の差の２乗の合計、相関値を計算することもできる。その他、各点又はブロック毎に近傍での重み付けを行うこともできる。 Most simply, the difference between the result of the multiple frame first process 13 and the result of the multiple frame second process 14, the absolute value of the difference, the square of the difference, the ratio, the difference after logarithmic transformation, the absolute value, or the square Etc. for each point. You may calculate the correlation value in the vicinity predetermined for every point. It is also possible to divide an image into blocks in advance and calculate the difference between the absolute values of the difference, the absolute value of the difference after logarithmic conversion, the sum of the squares of the difference after logarithmic conversion, and the correlation value. In addition, weighting in the vicinity can be performed for each point or block.
以上の結果からは、各点毎又は各領域毎に変化の度合いが検出される。この結果を直接変化度合いを計算した結果とみなすことができる。 From the above results, the degree of change is detected for each point or each region. This result can be regarded as a result of directly calculating the degree of change.
さらに、これを変化の有無の領域に分けることも可能である。基本的には、上記の結果をしきい値処理する。 Furthermore, it is possible to divide this into areas with or without changes. Basically, the above result is thresholded.
最も単純な例としては、予めしきい値を決めておき、各点毎に変化検出結果がしきい値より大きいか小さいかを調べる。この場合は各点毎に変化有無が割り当てられるが、これを塊として処理するため、結果について孤立点除去、モルフォロジーによる穴埋め処理等をおこない、この結果を変化領域とする方法がある。 As the simplest example, a threshold value is determined in advance, and it is checked at each point whether the change detection result is larger or smaller than the threshold value. In this case, whether or not there is a change is assigned to each point, but since this is processed as a lump, there is a method in which isolated points are removed, morphological filling is performed, and the result is used as a change region.
他の例としては、予め画像をブロック毎に分割し、各ブロック内での相関値又は差の２乗の総和等が規定値数以上であれば、変化とみなす方法がある。各ブロック内で差の絶対値がしきい値以上の点が規定数以上ある場合に、変化とみなす方法もある。 As another example, there is a method in which an image is divided into blocks in advance, and if the correlation value or the sum of squares of differences in each block is equal to or greater than a specified value, it is regarded as a change. There is also a method of considering a change when there are more than a specified number of points whose absolute value of the difference is not less than a threshold value in each block.
この他にも、具体的に変化の有無を判断する方法には様々な方法が考えられるが、２枚の画像（実際には２つの同様な次元を持つデータ）の比較方法は様々なものが知られているため、ここでは指定しない。 In addition to this, there are various methods for specifically determining whether there is a change, but there are various methods for comparing two images (actually, data having two similar dimensions). It is not specified here because it is known.
以上の出力結果が、変化抽出結果１６である。 The above output result is the change extraction result 16.
次に、具体的な処理の流れと途中経過例を、図２を用いて説明する。 Next, a specific processing flow and an intermediate progress example will be described with reference to FIG.
図２において、２１は特徴抽出フィルタ処理結果群、２２は複数フレーム第１処理結果、２３は複数フレーム第２処理結果、２４は変化抽出結果である。特徴抽出フィルタ処理結果群２１は、特徴抽出フィルタ処理１２によって得られる結果である。この例では、説明を簡単にするため、画像の輝度をそのまま利用する方法を用いて説明している。画素値を直接利用しない場合は、いわゆる画像とは異なる結果が得られる。上ほど古い時間、一番下が最新の結果であるとする。この例では、監視カメラで得られる映像には、常に人が写っていること、途中で人が物を置き去ったことを示している。 In FIG. 2, 21 is a feature extraction filter process result group, 22 is a first process result of a plurality of frames, 23 is a second process result of a plurality of frames, and 24 is a change extraction result. The feature extraction filter processing result group 21 is a result obtained by the feature extraction filter processing 12. In this example, in order to simplify the explanation, a method of using the luminance of the image as it is is explained. When pixel values are not used directly, results different from so-called images are obtained. Suppose that the top is the oldest time and the bottom is the latest result. In this example, the video obtained by the surveillance camera shows that a person is always shown, and that a person has left an object on the way.
複数フレーム第１処理結果２２は本例では４枚のフレーム（特徴抽出フィルタ処理結果）を利用、複数フレーム第２処理結果２３は７枚のフレームを利用していることを想定している。ここでは、各点において平均値を選択して画像を生成する例を示している。 In this example, it is assumed that the multiple frame first process result 22 uses four frames (feature extraction filter process result), and the multiple frame second process result 23 uses seven frames. Here, an example is shown in which an average value is selected at each point to generate an image.
複数フレーム第１処理結果２２は、短い時間の平均となるため、置き去りにされた物体をすぐに反映される。一方、複数フレーム第２処理結果２３は長い時間の平均となるため、物がおき去られても長時間経過しなければ置き去りにされた物体が反映されない。このため、２枚の複数フレーム処理結果には相違が発生する。 Since the multiple frame first processing result 22 is an average of a short time, an object left behind is immediately reflected. On the other hand, since the second frame processing result 23 is an average of a long time, even if an object is left behind, the object left behind is not reflected unless a long time elapses. For this reason, a difference occurs between the processing results of two frames.
変化抽出結果２４は、複数フレーム第１処理結果２２と複数フレーム第２処理結果２３との差分である。比較的最近発生した変動のみを捕らえ、行き来する人の影響は受けない結果が得られる。 The change extraction result 24 is a difference between the multiple frame first processing result 22 and the multiple frame second processing result 23. Only relatively recent changes are captured, and results are obtained that are not affected by the people who come and go.
特徴抽出フィルタ処理１２において、画素値を直接出力する処理は、屋内など照明変動がほとんどない場合に利用すると、背景画像が自動的に生成でき、見かけ上わかりやすいというメリットがある。しかし屋外のように照明変動によって明るさが大きく変化する場合は、背景画像自体が明るさの変動による影響を受けてしまい、画像比較処理において得られる変化抽出結果も照明変動の影響を受けてしまうことになる。 In the feature extraction filter process 12, when the process of directly outputting the pixel value is used when there is almost no lighting fluctuation such as indoors, there is an advantage that a background image can be automatically generated and it is easy to understand. However, when the brightness changes greatly due to illumination fluctuations, such as outdoors, the background image itself is affected by the brightness fluctuation, and the change extraction result obtained in the image comparison processing is also affected by the illumination fluctuation. It will be.
ここで、特徴抽出フィルタ処理１２の具体的例として、除去すべき照明変動の影響、高周波ノイズの影響をフィルタを工夫して軽減しておく方法が考えられる。 Here, as a specific example of the feature extraction filter processing 12, there can be considered a method in which the influence of illumination fluctuations to be removed and the influence of high-frequency noise are reduced by devising the filter.
例えば、画像の各点の画素値に予め定めた固定値ｋを加え、対数変換を施し、予め定めたσを用いたガウス関数を用いた平滑化処理を行い、１次微分処理（グラジエント計算）を行う方法では、処理は高周波ノイズと照明による低周波変動を吸収するため、結果は照明変動の影響が極めて少ないものとなる。 For example, a predetermined fixed value k is added to the pixel value of each point of the image, logarithmic transformation is performed, smoothing processing is performed using a Gaussian function using a predetermined σ, and first-order differentiation processing (gradient calculation) In this method, the process absorbs high-frequency noise and low-frequency fluctuations due to illumination, so that the result is extremely less affected by illumination fluctuations.
この結果を利用して、複数フレーム第１処理１３、複数フレーム第２処理１４において平均または中央値または最頻値を計算する。結果は各点毎にベクトル値となる。この結果について近傍またはブロック内で相関値演算または差分２乗和を行いった結果は、変化抽出結果が照明変動・高周波ノイズの影響を受けにくいものになることが期待できる（例えば、特許第３５９４８８９号参照。）。 Using this result, the average, median, or mode value is calculated in the multiple frame first process 13 and the multiple frame second process 14. The result is a vector value for each point. As a result of performing the correlation value calculation or the sum of squared differences on the result in the vicinity or in the block, it can be expected that the change extraction result is not easily affected by illumination fluctuation and high frequency noise (for example, Japanese Patent No. 3594889). No.).
なお、このように、特徴抽出フィルタ処理１２において、画素値を直接利用するのではなく、１次微分または２次微分を計算したり、マルチバンド画像の場合は画素値の比率計算を行うと、結果は見かけ上、元の画像とは異なったものになる。 In this way, in the feature extraction filter processing 12, instead of directly using the pixel value, calculating the first derivative or the second derivative, or if calculating the ratio of the pixel value in the case of a multiband image, The result looks different from the original image.
例えば、ソーベル微分処理を行うと、画像は“エッジ画像”になる。グラジエント処理を行った場合は点毎にベクトル値が、ヘッセ行列の場合には点毎に４つの値が割り当てられる。従って、例えば複数フレーム処理結果で平均を用いた場合も、その結果はいわゆる「画像」ではなく、背景画像を反映した処理結果となる。しかし、複数フレーム処理１および２において同じ処理を実施していれば、結果は同等のデータとなるため、これらを画像比較処理１５で比較することができる。 For example, when Sobel differential processing is performed, the image becomes an “edge image”. When gradient processing is performed, a vector value is assigned to each point, and in the case of a Hessian matrix, four values are assigned to each point. Therefore, for example, even when an average is used for a plurality of frame processing results, the result is not a so-called “image” but a processing result reflecting a background image. However, if the same processing is performed in the multiple frame processing 1 and 2, the result is equivalent data, and these can be compared by the image comparison processing 15.
また、動きがある場合はその情報を利用して、動きが検知された時、その点または領域または画像を複数フレーム処理で処理しないこととすると、より安定に背景画像の情報を抽出できることになる。 In addition, if there is motion, the information is used, and when the motion is detected, if the point or area or the image is not processed by the multiple frame processing, the information of the background image can be extracted more stably. .
なお、以上は２種類の複数フレーム処理を用いて処理を説明した。２種類の複数フレーム処理を利用する場合は、ある移動後一定時間以上経過した物体を抽出できる。例えば３種類の複数フレーム処理を行う場合は、２種類の時間について一定時間以上経過したか否かを判定できることから、例えばある一定時間長の間のみ発生した変化を捉えることができるようになる。 In the above, the processing has been described using two types of multi-frame processing. When two types of multi-frame processing are used, an object that has passed a certain time after a certain movement can be extracted. For example, when three types of multi-frame processing are performed, it is possible to determine whether or not a certain period of time has elapsed for two types of time, and thus, for example, it is possible to capture a change that has occurred for a certain length of time.
上記実施形態によれば、道路、駅など、常に何らかの動きがありうる場所に設置したカメラを利用して、その中で発生した落下物、不審物、または逆に持ち去りを、基本的には２種類の複数フレーム処理の結果の差を利用することによって把握できる。また、特徴フィルタ処理において、画像に発生する照明変動等を予め除去しておくことによって、屋外においても安定な処理を行うことができる。 According to the above embodiment, using a camera installed in a place where there can always be some movement, such as a road or a station, a fallen object, a suspicious object, or conversely taken away, This can be grasped by using the difference between the results of two types of multiple frame processing. In the feature filter processing, stable processing can be performed even outdoors by removing illumination fluctuations and the like generated in the image in advance.
上記各処理を行い変化抽出結果を得る変化抽出装置の構成例について説明する。 A configuration example of a change extraction apparatus that performs the above processes and obtains a change extraction result will be described.
変化抽出装置は、画像列を入力する入力部、特徴抽出フィルタ処理、複数フレーム処理、及び画像比較処理に必要なプログラムを記録する記録部、情報を出力する出力部、並びに特徴抽出フィルタ処理、複数フレーム処理、及び画像比較処理を行う制御部を備える構成にすることができる。 The change extraction apparatus includes an input unit that inputs an image sequence, a feature extraction filter process, a multiple frame process, a recording unit that records a program necessary for the image comparison process, an output unit that outputs information, and a feature extraction filter process, It can be configured to include a control unit that performs frame processing and image comparison processing.
例えば、ＣＰＵを用いて制御部を実現し、上記各処理の処理結果である特徴量を書き込み次の処理で必要なときにこれらを読み出すメモリ、出力部であるディスプレイ、入力部である画像列入力装置、記憶部であるハードディスクがこのＣＰＵに接続される。ハードディスクには特徴抽出フィルタ処理プログラム、複数フレーム処理プログラム、及び画像比較処理プログラム、並びにオペレーティングシステムが記憶されている。プログラムはＣＤ−ＲＯＭドライブを介してＣＤ−ＲＯＭからインストールことが可能である。 For example, a control unit is realized by using a CPU, a feature amount that is a processing result of each of the above processes is written, a memory that reads these when necessary in the next process, a display that is an output unit, and an image sequence input that is an input unit A hard disk as a device and a storage unit is connected to the CPU. The hard disk stores a feature extraction filter processing program, a multiple frame processing program, an image comparison processing program, and an operating system. The program can be installed from a CD-ROM via a CD-ROM drive.
１１ 画像列
１２ 特徴抽出フィルタ処理
１３ 複数フレーム第１処理
１４ 複数フレーム第２処理
１５ 画像比較処理
１６ 変化抽出結果
２１ 特徴抽出フィルタ処理結果群
２２ 複数フレーム第１処理
２３ 複数フレーム第２処理
２４ 変化抽出結果
DESCRIPTION OF SYMBOLS 11 Image sequence 12 Feature extraction filter process 13 Multiple frame 1st process 14 Multiple frame 2nd process 15 Image comparison process 16 Change extraction result 21 Feature extraction filter process result group 22 Multiple frame 1st process 23 Multiple frame 2nd process 24 Change extraction result
Claims (5)
撮影した映像の画像列の各画像から特徴を抽出する特徴抽出フィルタ処理と、
予め定めた枚数分の前記特徴抽出フィルタ処理結果画像から、特徴抽出フィルタ処理で抽出された特徴の統計的特徴量を抽出する複数フレーム第１処理と、
前記複数フレーム第１処理で用いた枚数とは異なる枚数の前記特徴抽出フィルタ処理結果画像から、特徴抽出フィルタ処理で抽出された特徴の統計的特徴量を抽出する複数フレーム第２処理と、
前記複数フレーム第１処理、及び前記複数フレーム第２処理の結果を比較して変化抽出結果を計算する画像比較処理と、を有し、
前記特徴抽出フィルタ処理は、
１次微分処理をし、その後、ｍ画素毎に間引いて画像を縮小し、
画像がマルチバンドであり、画素毎にｎ個（ただし、ｎは２以上）の値が割り当てられている場合には、これらの画素毎に２つの値を選択し、その比率又は対数変換後の差分の値を計算し、画素毎にｎ個から２個を選択して値を計算して得ることを特徴とする変化領域計算方法。 A change area calculation method in a change area calculation device for obtaining change information from an image,
A feature extraction filter process for extracting features from each image in the image sequence of the captured video;
A first process of a plurality of frames for extracting a statistical feature amount of the feature extracted by the feature extraction filter process from the feature extraction filter process result image for a predetermined number of sheets;
A second multi-frame process for extracting a statistical feature amount of the feature extracted by the feature extraction filter process from the number of feature extraction filter process result images different from the number used in the first multi-frame process;
An image comparison process for calculating a change extraction result by comparing the results of the multiple frame first process and the multiple frame second process;
The feature extraction filter process includes:
Perform first-order differentiation, then reduce the image by thinning out every m pixels,
When the image is multiband and n values (where n is 2 or more) are assigned to each pixel, two values are selected for each pixel, and the ratio or logarithmically converted value is selected. A change region calculation method characterized in that a difference value is calculated and obtained by calculating a value by selecting n to two for each pixel .
画像の各点又はブロックに、変化又は動きを検出し、変化あり又は動き有りと判定された場合はその点、ブロック、又は該当する画像全体においては複数フレーム処理から除外することを特徴とする請求項１に記載の変化領域計算方法。 The multiple frame first process, or the multiple frame second process,
Each point or block of the image, detects a change or motion, the point when it is determined that there is change with or motion, the whole image block, or applicable, characterized in that excluded from a plurality of frames processed according Item 2. The change area calculation method according to Item 1 .
複数フレーム第１処理及び複数フレーム第２処理によって得られた結果の差分、比率、又は相関係数計算を各点毎、各点の近傍領域、又はブロック毎に行ってこれを変化度合いとして出力することを特徴とする請求項１または２に記載の変化領域計算方法。 The image comparison process includes:
The difference, ratio, or correlation coefficient calculation of the results obtained by the multiple-frame first process and the multiple-frame second process is performed for each point, the neighborhood of each point, or each block, and this is output as the degree of change. The change area calculation method according to claim 1, wherein:
撮影した映像の画像列の各画像から特徴を抽出する特徴抽出フィルタ処理手段と、
予め定めた枚数分の前記特徴抽出フィルタ処理結果画像から、特徴抽出フィルタ処理で抽出された特徴の統計的特徴量を抽出する複数フレーム第１処理手段と、
前記複数フレーム第１処理手段で用いた枚数とは異なる枚数の前記特徴抽出フィルタ処理結果画像から、特徴抽出フィルタ処理で抽出された特徴の統計的特徴量を抽出する複数フレーム第２処理手段と、
前記複数フレーム第１処理手段、及び前記複数フレーム第２処理手段の結果を比較して変化抽出結果を計算する画像比較処理手段と、を有し、
前記特徴抽出フィルタ処理手段は、
１次微分処理をし、その後、ｍ画素毎に間引いて画像を縮小し、
画像がマルチバンドであり、画素毎にｎ個（ただし、ｎは２以上）の値が割り当てられている場合には、これらの画素毎に２つの値を選択し、その比率又は対数変換後の差分の値を計算し、画素毎にｎ個から２個を選択して値を計算して得ることを特徴とする変化領域計算装置。 A change area calculation device for obtaining change information from a video,
Feature extraction filter processing means for extracting features from each image in the image sequence of the captured video;
A plurality of frame first processing means for extracting a statistical feature amount of the feature extracted by the feature extraction filter processing from the predetermined number of feature extraction filter processing result images;
A plurality of second frame processing means for extracting a statistical feature amount of the feature extracted by the feature extraction filter processing from the number of feature extraction filter processing result images different from the number used by the first plurality of frame processing means;
Image comparison processing means for calculating a change extraction result by comparing the results of the plurality of frame first processing means and the plurality of frame second processing means,
The feature extraction filter processing means includes:
Perform first-order differentiation, then reduce the image by thinning out every m pixels,
When the image is multiband and n values (where n is 2 or more) are assigned to each pixel, two values are selected for each pixel, and the ratio or logarithmically converted value is selected. A change area calculation device characterized in that a difference value is calculated and obtained by calculating a value by selecting n to two for each pixel.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005298251A JP4612522B2 (en) | 2005-10-13 | 2005-10-13 | Change area calculation method, change area calculation device, change area calculation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005298251A JP4612522B2 (en) | 2005-10-13 | 2005-10-13 | Change area calculation method, change area calculation device, change area calculation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007108965A JP2007108965A (en) | 2007-04-26 |
| JP4612522B2 true JP4612522B2 (en) | 2011-01-12 |
Family
ID=38034789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005298251A Active JP4612522B2 (en) | 2005-10-13 | 2005-10-13 | Change area calculation method, change area calculation device, change area calculation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4612522B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4999794B2 (en) * | 2008-07-04 | 2012-08-15 | 日本電信電話株式会社 | Still region detection method and apparatus, program and recording medium |
| JP5430492B2 (en) * | 2010-05-18 | 2014-02-26 | 日本電信電話株式会社 | Image processing apparatus, image processing method, program, and recording medium |
| JP5530399B2 (en) * | 2011-05-23 | 2014-06-25 | 日本電信電話株式会社 | Image processing method, image processing apparatus, and image processing program |
| JP2013235231A (en) | 2012-04-12 | 2013-11-21 | Konica Minolta Inc | Image forming device and control method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01245395A (en) * | 1988-03-28 | 1989-09-29 | Toshiba Corp | Image monitoring system |
| JPH0799581A (en) * | 1992-09-25 | 1995-04-11 | Olympus Optical Co Ltd | Picture processing device |
| JP2002133421A (en) * | 2000-10-18 | 2002-05-10 | Fujitsu Ltd | Moving body recognition method and device |
| JP2002330424A (en) * | 2001-05-07 | 2002-11-15 | Megafusion Corp | Image monitor device, image monitor system, and image monitoring method |
| JP2005509987A (en) * | 2001-11-21 | 2005-04-14 | イオムニサイエント ピーティーワイ リミテッド | Non-motion detection method |
-
2005
- 2005-10-13 JP JP2005298251A patent/JP4612522B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01245395A (en) * | 1988-03-28 | 1989-09-29 | Toshiba Corp | Image monitoring system |
| JPH0799581A (en) * | 1992-09-25 | 1995-04-11 | Olympus Optical Co Ltd | Picture processing device |
| JP2002133421A (en) * | 2000-10-18 | 2002-05-10 | Fujitsu Ltd | Moving body recognition method and device |
| JP2002330424A (en) * | 2001-05-07 | 2002-11-15 | Megafusion Corp | Image monitor device, image monitor system, and image monitoring method |
| JP2005509987A (en) * | 2001-11-21 | 2005-04-14 | イオムニサイエント ピーティーワイ リミテッド | Non-motion detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007108965A (en) | 2007-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9262684B2 (en) | Methods of image fusion for image stabilization | |
| JP5908174B2 (en) | Image processing apparatus and image processing method | |
| JP5362878B2 (en) | Image processing apparatus and image processing method | |
| US6625325B2 (en) | Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel | |
| US10115178B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
| JP5651118B2 (en) | Image processing apparatus and image processing method | |
| US20130169834A1 (en) | Photo extraction from video | |
| US9569688B2 (en) | Apparatus and method of detecting motion mask | |
| JP2004522372A (en) | Spatio-temporal adaptive noise removal / high-quality image restoration method and high-quality image input device using the same | |
| JP2010258710A5 (en) | ||
| CN105812675A (en) | Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion | |
| US8625922B2 (en) | Image processing method and program for determining whether sabotage has occurred to an image | |
| JP2010531075A (en) | Noise-reduced color image using panchromatic image | |
| JP2006195651A (en) | Gradation compensation device | |
| US20120274855A1 (en) | Image processing apparatus and control method for the same | |
| JP2009105992A (en) | Imaging processor | |
| JP4764487B2 (en) | Video surveillance system | |
| JPWO2009019824A1 (en) | IMAGING PROCESSING DEVICE, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND COMPUTER PROGRAM | |
| US8830359B2 (en) | Image processing apparatus, imaging apparatus, and computer readable medium | |
| JP2004005675A (en) | Noise prediction method for digital image using gradient analysis | |
| JP5429564B2 (en) | Image processing apparatus and method, and program | |
| JP4612522B2 (en) | Change area calculation method, change area calculation device, change area calculation program | |
| US10319083B2 (en) | Image artifact detection and correction in scenes obtained from multiple visual images | |
| TWI381735B (en) | Image processing system and method for automatic adjustment of image resolution for image surveillance apparatus | |
| KR101920369B1 (en) | Apparatus and method for image processing of thermal imaging camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070608 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090602 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100610 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100611 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100713 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100906 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101012 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101015 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4612522 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |