JP4712741B2

JP4712741B2 - Still-time identification image generation method and apparatus

Info

Publication number: JP4712741B2
Application number: JP2007042548A
Authority: JP
Inventors: 尚之谷本
Original assignee: Ikegami Tsushinki Co Ltd
Current assignee: Ikegami Tsushinki Co Ltd
Priority date: 2006-07-21
Filing date: 2007-02-22
Publication date: 2011-06-29
Anticipated expiration: 2027-02-22
Also published as: JP2008047090A

Description

本発明は、静止物体を検出する方法及び装置に係り、特に、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を、テレビカメラなどから得られる画像信号から生成する静止時間識別用画像生成方法及び装置に関する。 The present invention relates to a method and an apparatus for detecting a stationary object, and more particularly, to a still camera for identifying a stationary time identification image, which is an image in which information about stationary time of each stationary object is entered together with a plurality of stationary object images or regions. The present invention relates to an image generation method and apparatus for identifying still time generated from an image signal obtained from the above.

これまでに、静止物体を検出する技術として、静止物体の像を抽出する技術と、一定時間静止している物体を検出する技術とが提案されている。 So far, as a technique for detecting a stationary object, a technique for extracting an image of a stationary object and a technique for detecting an object stationary for a certain period of time have been proposed.

静止物体の像を抽出する技術は、背景画像生成方法又は背景画像更新方法と呼ばれている。代表的な背景画像生成方法は、指数平滑法である。指数平滑法は、時間をｔとし、入力画像をｆ（ｔ）とし、背景画像をｇ（ｔ）とすると、 A technique for extracting an image of a stationary object is called a background image generation method or a background image update method. A typical background image generation method is an exponential smoothing method. In the exponential smoothing method, when time is t, an input image is f (t), and a background image is g (t),

で表される。なお、αは、０以上１以下の定数である。［数１］からわかるように、指数平滑法は、入力画像を積算し、背景画像を生成する。そのため、背景画像の中には、動きのない物体の像すなわち静止物体の像だけが取り込まれる。

It is represented by Α is a constant of 0 or more and 1 or less. As can be seen from [Equation 1], the exponential smoothing method integrates the input images to generate a background image. Therefore, only an image of an object that does not move, that is, an image of a stationary object is captured in the background image.

一方、一定時間静止している物体を検出する技術の多くは、物体の静止時間を計測し、静止時間が所定のしきい値に達した静止物体だけを検出する（例えば、特許文献１）。このような技術は、検出した静止物体の静止時間をある程度保証する。
特開平５−２０５１７５号公報 On the other hand, many techniques for detecting an object that is stationary for a certain period of time measure the stationary time of the object and detect only a stationary object whose stationary time has reached a predetermined threshold (for example, Patent Document 1). Such a technique guarantees the stationary time of the detected stationary object to some extent.
Japanese Patent Laid-Open No. 5-205175

静止物体の像を抽出する技術として代表的な指数平滑法は、［数１］からわかるようにＩＩＲ（ＩｎｆｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ）のローパスフィルタである。そのため、抽出された静止物体の像は、理論的には静止時間が保証されない。すなわち、指数平滑法は、静止物体を検出することはできるが、静止物体の静止時間を計測することはできない。 A typical exponential smoothing method as a technique for extracting an image of a stationary object is an IIR (Infinite Impulse Response) low-pass filter as can be seen from [Equation 1]. Therefore, the stationary time of the extracted still object image is theoretically not guaranteed. That is, the exponential smoothing method can detect a stationary object but cannot measure the stationary time of the stationary object.

一定時間静止している物体を検出する技術の多くは、複数の静止物体を二つの静止時間の群に分類して検出すること、すなわち静止時間がある一つのしきい値以上か否かを判別して検出することはできるが、複数の静止物体を三つ以上の静止時間の群に分類して検出することはできない。 Many technologies that detect objects that are stationary for a certain period of time classify and detect multiple stationary objects into two stationary time groups, that is, whether or not the stationary time is above a certain threshold. However, it is impossible to detect a plurality of stationary objects by classifying them into three or more stationary time groups.

本発明の目的は、複数の静止物体を静止時間別に分類して検出することができる静止時間識別用画像生成方法及び装置を提供することである。 An object of the present invention is to provide a still time identifying image generation method and apparatus capable of classifying and detecting a plurality of still objects according to still time.

本発明による静止時間識別用画像生成方法は、
画像を所定の時間間隔で取得する画像取得ステップと、
前記画像を前記時間間隔ごとに保存する画像保存ステップと、
前記画像取得ステップで現在取得した画像と、前記画像保存ステップで保存された複数の過去の画像それぞれとを比較し、画素ごと又は小領域ごとに類似度を求め、当該類似度に基づいて、静止時間に関する情報が記入された２次元配列である静止時間マップを更新したものを取得する静止時間マップ取得ステップと、
前記静止時間マップに基づいて、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を取得する静止時間識別用画像取得ステップとを具えることを特徴とする。 An image generation method for identifying still time according to the present invention includes:
An image acquisition step of acquiring images at predetermined time intervals;
An image storage step for storing the image at each time interval;
Compare the image currently acquired in the image acquisition step with each of a plurality of past images stored in the image storage step, determine the similarity for each pixel or small region, and based on the similarity, A stationary time map acquisition step of acquiring an updated stationary time map which is a two-dimensional array in which information about time is entered;
A stationary time identifying image obtaining step for obtaining a stationary time identifying image, which is an image in which information about stationary time of each stationary object is entered together with images or regions of a plurality of stationary objects based on the stationary time map. It is characterized by.

本発明による静止時間識別用画像生成装置は、
画像を所定の時間間隔で取得する画像取得手段と、
前記画像を前記時間間隔ごとに保存する画像保存手段と、
前記画像取得手段で現在取得した画像と、前記画像保存手段で保存された複数の過去の画像それぞれとを比較し、画素ごと又は小領域ごとに類似度を求め、当該類似度に基づいて、静止時間に関する情報が記入された２次元配列である静止時間マップを更新したものを取得する静止時間マップ取得手段と、
前記静止時間マップに基づいて、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を取得する静止時間識別用画像取得手段とを具えることを特徴とする。 An image generating apparatus for identifying a still time according to the present invention includes:
Image acquisition means for acquiring images at predetermined time intervals;
Image storage means for storing the image at each time interval;
The image currently acquired by the image acquisition means and each of a plurality of past images stored by the image storage means are compared , a similarity is obtained for each pixel or each small region, and based on the similarity, A stationary time map acquisition means for acquiring an updated stationary time map that is a two-dimensional array in which information on time is entered;
A stationary time identifying image acquiring means for acquiring a stationary time identifying image, which is an image in which information on the stationary time of each stationary object is entered together with images or regions of a plurality of stationary objects based on the stationary time map. It is characterized by.

本発明によれば、現在取得した画像と、保存された複数の過去の画像それぞれとを比較し、それぞれの比較結果を統合し、静止時間に関する情報が記入された２次元配列である静止時間マップを取得し、静止時間マップに基づいて、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を取得する。前記静止時間識別用画像を取得することによって、複数の静止物体を静止時間別に分類して検出することができる。 According to the present invention, the currently acquired image is compared with each of a plurality of stored past images, the respective comparison results are integrated, and a stationary time map that is a two-dimensional array in which information about stationary time is entered. And a still-time identification image, which is an image in which information related to the stationary time of each stationary object is entered together with a plurality of stationary object images or regions, based on the stationary time map. By acquiring the still-time identification image, a plurality of stationary objects can be classified and detected by the stationary time.

前記それぞれの比較結果を統合するときに、それぞれの比較結果に基づいて、前記静止時間マップを１回以上更新することによって、前記保存された複数の過去の画像の中に含まれている過去の動物体の像に起因するその像の形跡が、前記静止時間マップの中から排除される。また、前記静止時間識別用画像の信頼性を向上させるために、前記比較を行うときに、画素単位のマッチング又は領域ベースマッチングを行うとともに、前記比較を行う前に、前記現在取得した画像と、前記保存された複数の過去の画像それぞれとを比較し、それぞれの比較結果に基づいて、前記保存された複数の過去の画像それぞれを幾何補正することが好適である。さらに、前記静止時間識別用画像の中に記入された複数の静止物体の像又は領域を、静止時間別に色分けする又は明度で分けることによって、注目すべき静止物体の像又は領域の識別が容易になる。 When integrating the respective comparison results, the past time map included in the stored past images is updated by updating the stationary time map one or more times based on the respective comparison results. Traces of the image due to the image of the moving object are excluded from the stationary time map. In addition, in order to improve the reliability of the still-time identification image, when performing the comparison, performing pixel-by-pixel matching or region-based matching, and before performing the comparison, the currently acquired image, It is preferable that each of the plurality of stored past images is compared, and each of the plurality of stored past images is geometrically corrected based on each comparison result. Furthermore, by distinguishing the images or regions of a plurality of stationary objects entered in the still-time identification image by color or brightness according to the stationary time, it is easy to identify the stationary object image or region to be noted. Become.

本発明による静止時間識別用画像生成方法及び装置の実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による静止時間識別用画像生成装置の実施の形態を示す図である。本実施の形態の静止時間識別用画像生成装置は、駐車違反の取り締まりにおける駐車車両の監視に使用され、画像取得部１と、画像保存部２と、画像幾何補正部３と、静止時間マップ取得部４と、静止時間識別用画像取得部５とを具える。 Embodiments of an image generation method and apparatus for identifying still time according to the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram showing an embodiment of an image generating apparatus for identifying a still time according to the present invention. The still-time-identification image generating apparatus according to the present embodiment is used for monitoring a parked vehicle in a parking violation control, and acquires an image acquisition unit 1, an image storage unit 2, an image geometric correction unit 3, and a still-time map acquisition. A unit 4 and a still time identification image acquisition unit 5 are provided.

画像取得部１は、所定の時間間隔Δｔでテレビカメラなどから現在の入力画像を取得する。所定の時間間隔Δｔを任意の正の値に設定することができ、例えば、駐車違反の取り締まりにおける駐車車両の監視の場合には１分程度に設定する。 The image acquisition unit 1 acquires a current input image from a television camera or the like at a predetermined time interval Δt. The predetermined time interval Δt can be set to an arbitrary positive value. For example, it is set to about 1 minute in the case of monitoring a parked vehicle in a parking violation control.

画像保存部２は、ハードディスクや半導体メモリのような記憶媒体によって実現され、現在の入力画像のコピーを所定の時間間隔Δｔごとに保存する。 The image storage unit 2 is realized by a storage medium such as a hard disk or a semiconductor memory, and stores a copy of the current input image at predetermined time intervals Δt.

画像幾何補正部３は、画像保存部２から過去の入力画像を所定の枚数（例えば、４枚）だけ読み出し、現在の入力画像と過去の入力画像それぞれとを比較し、それぞれの比較結果に基づいて、過去の入力画像それぞれを幾何補正する。 The image geometric correction unit 3 reads a predetermined number (for example, four) of past input images from the image storage unit 2, compares the current input image with each of the past input images, and based on the comparison results. Then, each past input image is geometrically corrected.

静止時間マップ取得部４は、現在の入力画像と幾何補正後の過去の入力画像それぞれとの間で領域ベースマッチングを行い、画素ごと又は小領域ごとに類似度を求め、類似度に基づいて、静止時間に関する情報が記入された２次元配列である静止時間マップを生成する。 The still time map acquisition unit 4 performs region-based matching between the current input image and each of the past input images after geometric correction, obtains a similarity for each pixel or each small region, and based on the similarity, A stationary time map, which is a two-dimensional array in which information related to the stationary time is entered, is generated.

静止時間識別用画像取得部５は、静止時間マップに基づいて、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を生成する。 The stationary time identifying image acquisition unit 5 generates a stationary time identifying image that is an image in which information about stationary times of each stationary object is entered together with a plurality of stationary object images or regions based on the stationary time map.

本実施の形態において、ｆ（ｘ，ｙ，ｔ）は、入力画像を表し、ｆ’（ｘ，ｙ，ｔ）は、幾何補正後の入力画像を表し、ｇ（ｘ，ｙ，ｔ）は、静止時間識別用画像を表し、ｈ（x，ｙ，ｔ）は、静止時間マップを表し、xは、画像及び静止時間マップの水平方向の座標を表し、ｙは、画像及び静止時間マップの垂直方向の座標を表し、ｔは、時間を表す。全ての画像及び静止時間マップｈ（ｘ，ｙ，ｔ）の幅及び高さは、ｘ_ｗ（＞０）及びｙ_ｈ（＞０）とし、時間ｔと所定の時間間隔Δｔとの関係は、ｔ＝ｍ・Δｔ（ｍは整数）とする。 In this embodiment, f (x, y, t) represents an input image, f ′ (x, y, t) represents an input image after geometric correction, and g (x, y, t) represents Represents a still-time identification image, h (x, y, t) represents a still-time map, x represents a horizontal coordinate of the image and the still-time map, and y represents the image and the still-time map. The vertical coordinate is represented, and t represents time. The width and height of all images and the stationary time map h (x, y, t) are x _w (> 0) and y _h (> 0), and the relationship between the time t and the predetermined time interval Δt is Let t = m · Δt (m is an integer).

本実施の形態において、ｔ_０は、現在を表し、ｔ_０−ｔ_iは、過去を表す（ｔ_ｉは、後で説明する静止時間のしきい値であり、ｉは、後で説明するループカウンタである）。 In this embodiment, t ₀ represents the current, t ₀ -t _i represents the past (t _i is the threshold value of the rest time described later, i is the loop described later Counter).

本実施の形態において、入力画像ｆ（ｘ，ｙ，ｔ）及び幾何補正後の入力画像ｆ’（ｘ，ｙ，ｔ）はＹＣｒＣｂ形式とし、ｆ＝（ｆ_Ｙ，ｆ_ｃｒ，ｆ_ｃｂ）、ｆ’＝（ｆ_Ｙ’,ｆ_ｃｒ’，ｆ_ｃｂ’）とする。 In the present embodiment, the input image f (x, y, t) and the input image f ′ (x, y, t) after geometric correction are in the YCrCb format, and f = (f _Y , f _cr , f _cb ), Let f ′ = (f _Y ′, f _cr ′, f _cb ′).

本実施の形態の動作を説明する。
図２は、本発明による静止時間識別用画像生成方法のフローチャートである。このフローチャートは、コンピュータによって実行されるプログラムにおいて実現される。このフローチャートは、現在の入力画像ｆ（x，ｙ，ｔ_０）を取得するステップＳｌから現在静止時間識別用画像ｇ（x，ｙ，ｔ_０）を出力するステップＳｌ０までの一連の処理を示している。１枚の静止時間識別用画像が欲しい場合には、その一連の処理を１回実行すればよいので、時系列の静止時間識別用画像が欲しい場合には、ｔ_０を変えながらその一連の処理を繰り返し実行すればよい。 The operation of this embodiment will be described.
FIG. 2 is a flowchart of a method for generating an image for identifying still time according to the present invention. This flowchart is realized in a program executed by a computer. This flowchart shows a series of processes from step Sl for obtaining the current input image f (x, y, t ₀ ) to step Sl0 for outputting the current still time identification image g (x, y, t ₀ ). ing. If one still time recognition image want, since the series of processes may be executed once, if you want rest time recognition image of the time series, the series of processing while changing the t ₀ May be repeatedly executed.

次に、各ステップを説明する。
ステップＳｌにおいて、画像取得部１は、所定の時間間隔Δｔでテレビカメラなどから現在の入力画像ｆ（ｘ，ｙ，ｔ_０）を取得する。ステップＳ２において、現在の入力画像ｆ（ｘ，ｙ，ｔ_０）に前処理を施す。ステップＳ２では、例えば、現在の入力画像ｆ（ｘ，ｙ，ｔ_０）がガンマ補正されている場合にガンマ補正を解除する、というような処理を行う。 Next, each step will be described.
In step S1, the image acquisition unit 1 acquires the current input image f (x, y, t ₀ ) from a television camera or the like at a predetermined time interval Δt. In step S2, preprocessing is performed on the current input image f (x, y, t ₀ ). In step S2, for example, the gamma correction is canceled when the current input image f (x, y, t ₀ ) is gamma corrected.

ステップＳ３において、画像保存部２は、現在の入力画像ｆ（ｘ，ｙ，ｔ_０）のコピーを保存する。 In step S3, the image storage unit 2 stores a copy of the current input image f (x, y, t ₀ ).

ステップＳ４において、静止時間マップ取得部４は、静止時間マップｈ（ｘ，ｙ，ｔ_０）や各種のパラメータなどを初期化する。ステップＳ４では、例えば、静止時間マップｈ（ｘ，ｙ，ｔ_０）の全要素値を０にする、ループカウンタｉ（＞０）を１にする、ループカウンタの上限値ｎ（＞ｉ）を設定する、静止時間のしきい値ｔ_ｌ，ｔ_２，_・・・，ｔ_ｎ（０＜ｔ_ｌ＜ｔ_２・・・＜ｔ_ｎ）を設定する、類似度のしきい値ｓ_ｔｈを設定する、というような処理を行う。ループカウンタの上限値ｎは、図４の例では４である。類似度のしきい値ｓ_ｔｈは、その適切な値が、後述する類似度ｓの種類や、入力画像ｆ（ｘ，ｙ，ｔ）の性質に依存するので、ここではその具体的な値を示さない。 In step S4, the stationary time map acquisition unit 4 initializes the stationary time map h (x, y, t ₀ ) and various parameters. In step S4, for example, all the element values of the stationary time map h (x, y, t ₀ ) are set to 0, the loop counter i (> 0) is set to 1, and the loop counter upper limit value n (> i) is set. Set still time thresholds t _l , t ₂ , _... , T _n (0 <t _l <t _2... <T _n ), set similarity threshold s _th The process is performed. The upper limit value n of the loop counter is 4 in the example of FIG. The appropriate threshold value s _th depends on the type of similarity s, which will be described later, and the nature of the input image f (x, y, t). Not shown.

ステップＳ５において、画像幾何補正部３は、画像保存部２から過去の入力画像ｆ（x，ｙ，ｔ_０−ｔ_i）を読み出す。ステップＳ６において、過去の入力画像ｆ（ｘ，ｙ，ｔ_０−ｔ_i）を幾何補正する。ステップＳ６では、現在の入力画像ｆ（ｘ，ｙ，ｔ_０）の像全体に対する過去の入力画像ｆ（ｘ，ｙ，ｔ_０−ｔ_i）の像全体の位置ずれを、過去の入力画像ｆ（x，ｙ，ｔ_０−ｔ_i）の像全体を水平方向及び垂直方向にシフトさせて補正する。像全体をシフトさせるときに、新たな値が充填されない画像端部の画素には、例外的な値（例えば、（ｆ_Ｙ’，ｆ_ｃｒ’_,ｆ_ｃｂ’）＝（０，０，０））を充填する。像全体の位置ずれ（Δｘ，Δｙ）は、 In step S <b> 5, the image geometric correction unit 3 reads the past input image f (x, y, t ₀ −t _i ) from the image storage unit 2. In step S 6, geometric correction is performed on the past input image f (x, y, t ₀ −t _i ). In step S6, the positional shift of the entire image of the past input image f (x, y, t ₀ -t _i ) with respect to the entire image of the current input image f (x, y, t ₀ ) is determined as the past input image f. The entire image of (x, y, t ₀ -t _i ) is corrected by shifting it in the horizontal and vertical directions. When the entire image is shifted, an exceptional value (for example, (f _Y ′, f _cr ′ _, f _cb ′) = (0, 0, 0) is applied to the pixel at the edge of the image not filled with a new value. ). The displacement (Δx, Δy) of the entire image is

と、

When,

とを用いて求められる。水平方向の位置ずれΔｘは、Ｄ_ｘの最小値を与えるｕとし、垂直方向の位置ずれΔｙは、Ｄ_ｙの最小値を与えるｖとする。ここで、（ｘ_ｃ，ｙ_ｃ）は、画像内の座標であり、０＜ｘ_ｍｉｎ＜ｘ_ｍａｘ＜ｘ_ｗ及び０＜ｙ_ｍｉｎ＜ｙ_ｍａｘ＜ｙ_ｈである。像全体の位置ずれ（Δｘ，Δｙ）を求めるときに、［数２］及び［数３］の代わりに、

It is calculated using and. The horizontal displacement Δx is u that gives the minimum value of D _x , and the vertical displacement Δy is v that gives the minimum value of D _y . Here, (x _c , y _c ) are coordinates in the image, and 0 <x _min <x _max <x _w and 0 <y _min <y _max <y _h . When obtaining the displacement (Δx, Δy) of the entire image, instead of [Equation 2] and [Equation 3],

を用いてもよい。ここで、

May be used. here,

であり、

And

であり、

And

であり、

And

であり、

And

である。［数４］を用いる場合には、像全体の位置ずれ（Δｘ，Δｙ）は、Ｒの最大値を与える（ｕ，ｖ）とする。像全体の位置ずれ（Δｘ，Δｙ）を求めるときには、［数２］及び［数３］と［数４］のうちのいずれか一方を用いればよいが、それ以外の相違度又は類似度を用いてもよい。

It is. When [Equation 4] is used, it is assumed that the positional deviation (Δx, Δy) of the entire image gives (u, v) the maximum value of R. When calculating the positional deviation (Δx, Δy) of the entire image, any one of [Equation 2], [Equation 3], and [Equation 4] may be used, but other differences or similarities are used. May be.

ステップＳ７において、静止時間マップ取得部４は、静止時間マップｈ（ｘ，ｙ，ｔ_０）を更新する。ステップＳ７では、現在の入力画像ｆ（ｘ，ｙ，ｔ_０）と幾何補正後の過去の入力画像ｆ’（ｘ，ｙ，ｔ_０−ｔ_i）との間で領域ベースマッチングを行い、画素ごと又は小領域ごとに類似度ｓを求め、類似度ｓが類似度のしきい値ｓ_ｔｈ以上になる領域に限り、静止時間マップｈ（ｘ，ｙ，ｔ_０）の要素値を現在のループカウンタの値ｉに変更する。座標（ｘ_１，ｙ_１）の類似度ｓ又は座標（ｘ_１,ｙ_ｌ）を中心とする小領域内の類似度ｓは、座標（x_１，ｙ_ｌ）を中心とする幅ｄ_ｘ（０＜ｄ_ｘ＜ｘ_ｗ）及び高さｄ_ｙ（０＜ｄ_ｙ＜ｙ_ｈ）を有する領域ベースマッチング用の窓の間の類似度ｓとする。図３は、領域ベースマッチング用の窓に関する説明図である。なお、小領域ごとに類似度ｓを求める場合には、小領域の大きさや小領域の総数を、使用するハードウェアの性能などを考慮して決定することができる。画素ごとに類似度ｓを求める場合には、類似度ｓ（x，ｙ）は、 In step S7, the stationary time map acquisition unit 4 updates the stationary time map h (x, y, t ₀ ). In step S7, region-based matching is performed between the current input image f (x, y, t ₀ ) and the past input image f ′ (x, y, t ₀ −t _i ) after geometric correction, thereby obtaining a pixel. The similarity s is obtained for each or each small area, and the element value of the stationary time map h (x, y, t ₀ ) is used for the current loop only in the area where the similarity s is equal to or greater than the similarity threshold s _th. Change to the counter value i. Coordinates _(x 1, _{y 1)} similarity s in the small area around the similarity s or coordinates (x _1, y _l) of the coordinates (x _1, _{y l)} width centered at _d x ( Let the similarity s between region-based matching windows having 0 <d _x <x _w ) and height d _y (0 <d _y <y _h ). FIG. 3 is an explanatory diagram regarding a window for region-based matching. When obtaining the similarity s for each small area, the size of the small area and the total number of small areas can be determined in consideration of the performance of the hardware used. When obtaining the similarity s for each pixel, the similarity s (x, y) is:

を用いて求められる。ここで、

It is calculated using. here,

であり、

And

であり、

And

であり、

And

であり、

And

であり、

And

であり、

And

であり、

And

であり、

And

である。ここで、ｗ_Ｙ（＞０）、ｗ_ｃｒ（＞０）及びｗ_ｃｂ（＞０）は、ＹＣｒＣｂの各成分に対する重みである。

It is. Here, w _Y (> 0), w _cr (> 0), and w _cb (> 0) are weights for each component of YCrCb.

類似度ｓ（ｘ，ｙ）を求めるときに、［数１０］の代わりに、 When calculating the similarity s (x, y), instead of [Equation 10],

を用いてもよい。ここで、

May be used. here,

であり、

And

であり、

And

であり、

And

であり、

And

であり、

And

であり、

And

であり、

And

である。

It is.

［数１０］及び［数２０］に示した類似度ｓ（ｘ，ｙ）は、画像を取得する時の照明の明るさ及びカメラのアイリス又はカメラのゲインに強く依存しないという特徴を有する。類似度ｓ（ｘ，ｙ）を求めるときには、［数１０］と［数２０］のうちのいずれか一方を用いればよいが、それ以外の類似度を用いてもよい。小領域ごとに類似度ｓを求める場合には、小領域の中央の座標（ｘ_ｄ，ｙ_ｄ）ごとに類似度ｓ（ｘ_ｄ，ｙ_ｄ）を求め、それらをそれぞれの小領域の類似度ｓとすればよい。 The similarity s (x, y) shown in [Equation 10] and [Equation 20] has a feature that it does not strongly depend on the brightness of the illumination and the camera iris or camera gain when the image is acquired. When obtaining the similarity s (x, y), either [Equation 10] or [Equation 20] may be used, but other similarities may be used. When obtaining the similarity s for each small region, the similarity s (x _d , y _d ) is obtained for each coordinate (x _d , y _d ) at the center of the small region, and the similarity is obtained for each small region. s may be used.

ステップＳ８において、静止時間マップ取得部４は，ループカウンタｉとループカウンタの上限値ｎとを比較し、この比較結果に基づいて、次のステップを選択する。すなわち、ループカウンタｉがループカウンタの上限値ｎ未満の場合には、ループカウンタｉを１だけ増加させてステップＳ５に戻り、ループカウンタｉがループカウンタの上限値ｎ以上の場合には、ステップＳ９に進む。 In step S8, the stationary time map acquisition unit 4 compares the loop counter i with the upper limit value n of the loop counter, and selects the next step based on the comparison result. That is, if the loop counter i is less than the upper limit value n of the loop counter, the loop counter i is incremented by 1 and the process returns to step S5. If the loop counter i is greater than or equal to the upper limit value n of the loop counter, step S9 Proceed to

ステップＳ９において、静止時間識別用画像取得部５は、現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）を生成する。ステップＳ９では、例えば、ループカウンタの上限値ｎが４の場合には、現在の入力画像ｆ（ｘ，ｙ，ｔ_０）を次のように加工し、現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）を生成する。
・静止時間マップｈ（ｘ，ｙ，ｔ_０）の要素値が０の領域を、緑色の濃淡にする。
・静止時間マップｈ（ｘ，ｙ，ｔ_０）の要素値が１の領域を、黄色の濃淡にする。
・静止時間マップｈ（ｘ，ｙ，ｔ_０）の要素値が２の領域を、赤色の濃淡にする。
・静止時間マップｈ（ｘ，ｙ，ｔ_０）の要素値が３及び４の領域を、灰色の濃淡にする。 In step S9, the still time identification image acquisition unit 5 generates the current still time identification image g (x, y, t ₀ ). In step S9, for example, when the upper limit value n of the loop counter is 4, the current input image f (x, y, t ₀ ) is processed as follows, and the current still time identification image g (x , Y, t ₀ ).
The region where the element value of the stationary time map h (x, y, t ₀ ) is 0 is shaded green.
The region where the element value of the stationary time map h (x, y, t ₀ ) is 1 is changed to yellow shades.
The region where the element value of the stationary time map h (x, y, t ₀ ) is 2 is changed to a shade of red.
The regions where the element values of the stationary time map h (x, y, t ₀ ) are 3 and 4 are shaded gray.

ステップＳ１０において、静止時間識別用画像取得部５は、現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）をテレビモニタなどに出力する。
以上が各ステップの説明である。 In step S10, the still time identifying image acquisition unit 5 outputs the current still time identifying image g (x, y, t ₀ ) to a television monitor or the like.
The above is the description of each step.

図４は、静止時間マップ及び静止時間識別用画像の生成過程に関する説明図である。本実施の形態によれば、現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）の中に含まれている動物体及び静止物体の像は、静止時間別に次のように色分けされる。
・静止時間がｔ_ｌ未満の動物体の像は，緑色の濃淡
・静止時間がｔ_ｌ以上ｔ_２未満の静止物体の像は、黄色の濃淡
・静止時間がｔ_２以上ｔ_３未満の静止物体の像は、赤色の濃淡
・静止時間がｔ_３以上の静止物体の像は、灰色の濃淡
そのため、現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）を見れば、現在の入力画像ｆ（ｘ，ｙ，ｔ_０）の中に存在する静止物体とその静止時間とが一目でわかる。 FIG. 4 is an explanatory diagram regarding a generation process of a still time map and a still time identification image. According to the present embodiment, the images of the moving object and the stationary object included in the current still time identification image g (x, y, t ₀ ) are color-coded according to the still time as follows. .
- the image of the moving object stationary time is less than t _l, the green gray-stationary time image of a stationary object or more and less than t ₂ t _l, the stationary object under yellow shades and still time of t ₂ or t ₃ Is an image of a stationary object with a gray level of red and a stationary time of t ₃ or more, and a gray level of gray. Therefore, if the current stationary time identification image g (x, y, t ₀ ) is viewed, the current input image A stationary object existing in f (x, y, t ₀ ) and its stationary time can be known at a glance.

通常、幾何補正後の過去の入力画像ｆ’（ｘ，ｙ，ｔ_０−ｔ_ｉ）の中には、静止物体の像だけでなく、過去の動物体の像が含まれている。そのため、静止時間マップの生成方法として単純な方法を用いた場合には、過去の動物体の像に起因するその像の形跡が、静止時間マップの中に残ってしまう。しかし、本実施の形態の方法を用いた場合には、最も遠い過去（ｔ_０−ｔ_ｎ）の動物体の像に起因するその像の形跡を除き、過去の動物体の像に起因するその像の形跡が、最後の更新を終えた静止時間マップｈ（ｘ，ｙ，ｔ_０）の中から排除される。例えば、図４に示す例では、幾何補正後の過去の入力画像ｆ’（ｘ，ｙ，ｔ_０−ｔ_ｌ）及びｆ’（ｘ，ｙ，ｔ_０−ｔ_３）の中には、過去の動物体の像であるトラック及び乗用車の像が含まれているが、そのトラック及び乗用車の像に起因するその像の形跡は、最後の更新を終えた静止時間マップｈ（ｘ，ｙ，ｔ_０）の中から排除されている。そのため、現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）の中にも、そのトラック及び乗用車の像に起因するその像の形跡が現れていない。 Normally, the past input image f ′ (x, y, t ₀ −t _i ) after geometric correction includes not only a stationary object image but also a past moving object image. Therefore, when a simple method is used as a method for generating a stationary time map, a trace of the image resulting from an image of a past moving object remains in the stationary time map. However, when the method according to the present embodiment is used, the trace of the image of the animal body in the past is excluded except for the trace of the image of the animal body of the farthest past (t ₀ -t _n ). Image traces are excluded from the stationary time map h (x, y, t ₀ ) that has completed the last update. For example, in the example illustrated in FIG. 4, the past input images f ′ (x, y, t ₀ −t ₁ ) and f ′ (x, y, t ₀ −t ₃ ) after geometric correction include the past. The image of the truck and the passenger car, which is an image of the vehicle of the vehicle, is included, and the trace of the image resulting from the image of the truck and the passenger car is the stationary time map h (x, y, t after the last update). ₀ ) is excluded. Therefore, no trace of the image resulting from the image of the truck and the passenger car appears in the current still time identification image g (x, y, t ₀ ).

本実施の形態によれば、過去の入力画像ｆ（ｘ，ｙ，ｔ_０−ｔ_ｉ）及び幾何補正後の過去の入力画像ｆ’（ｘ，ｙ，ｔ_０−ｔ_ｉ）の中に、過去の動物体の像が含まれていたとしても、過去の動物体の像に起因するその像の形跡を排除して、現在の入力画像ｆ（ｘ，ｙ，ｔ_０）に対応する現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）を生成することができる。 According to the present embodiment, in the past input image f (x, y, t ₀ −t _i ) and the past input image f ′ (x, y, t ₀ −t _i ) after geometric correction, Even if an image of a past animal is included, the trace of the image resulting from the image of the past animal is excluded, and the current corresponding to the current input image f (x, y, t ₀ ) is excluded. A still-time identification image g (x, y, t ₀ ) can be generated.

本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
上記実施の形態おいて、駐車違反の取り締まりにおける駐車車両の監視の場合について説明したが、本発明を、例えば、不審物の検出、不法投棄の摘発、駐車場又は駐輪場の管理、商品陳列棚の変化の可視化などの他の用途に適用することができる。 The present invention is not limited to the above-described embodiment, and many changes and modifications can be made.
In the above embodiment, the case of monitoring a parked vehicle in a parking violation control has been described, but the present invention can be applied to, for example, detection of a suspicious object, detection of illegal dumping, management of a parking lot or bicycle parking lot, It can be applied to other uses such as change visualization.

上記実施の形態において、入力画像ｆ（ｘ，ｙ，ｔ）及び幾何補正後の入力画像ｆ’（ｘ，ｙ，ｔ）をＹＣｒＣｂ形式としたが、これらをＹＣｒＣｂ形式以外のカラー画像や、明度のみの濃淡画像とすることができる。濃淡画像の場合には、重みｗ_Ｙを１とするとともに、重みｗ_ｃｒ及び重みｗ_ｃｂを０とする。 In the above embodiment, the input image f (x, y, t) and the geometrically corrected input image f ′ (x, y, t) are in the YCrCb format. Only a gray image can be obtained. In the case of a grayscale image, the weight w _{Y is set} to 1, and the weight w _cr and the weight w _cb are set to 0.

上記実施の形態において、ステップＳ４でループカウンタｉを１にして、ステップＳ８でループカウンタｉを１だけ増加させるようにしているが、逆に、ステップＳ４でループカウンタｉをループカウンタの上限値ｎにして、ステップＳ８でループカウンタｉを１だけ減少させるようにしてもよい。この場合、その変更に合わせるように、ステップＳ４、ステップＳ７及びステップＳ８の処理内容を変更する必要がある（詳細については割愛する）。 In the above embodiment, the loop counter i is set to 1 in step S4 and the loop counter i is incremented by 1 in step S8. Conversely, in step S4, the loop counter i is set to the upper limit value n of the loop counter. Then, the loop counter i may be decreased by 1 in step S8. In this case, it is necessary to change the processing content of step S4, step S7, and step S8 to match the change (details are omitted).

上記実施の形態おいて、現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）の中に含まれている動物体及び静止物体の像を、静止時間別に、緑色、黄色、赤色及び灰色に色分けしているが、現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）は、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像であれば、どのような形式の画像であってもよい。 In the above embodiment, images of moving objects and stationary objects included in the current still time identification image g (x, y, t ₀ ) are displayed in green, yellow, red, and gray for each stationary time. However, if the current stationary time identification image g (x, y, t ₀ ) is an image in which information about stationary time of each stationary object is entered together with images or regions of a plurality of stationary objects. Any type of image may be used.

さらに、静止時間が所定のしきい値（例えば、駐車違反の取り締まりにおける駐車車両の監視の場合は３０分）に達した静止物体を検出した場合には、特別な表示（例えば、アラーム）を出すようにすれば、本発明は、監視の省力化にさらに寄与することができる。 Further, when a stationary object is detected that has reached a predetermined threshold (for example, 30 minutes in the case of monitoring a parked vehicle in a parking violation), a special display (for example, an alarm) is issued. In this way, the present invention can further contribute to labor saving of monitoring.

本発明は、駐車違反の取り締まりにおける駐車車両の監視、不審物の検出、不法投棄の摘発、駐車場及び駐輪場の管理、商品陳列棚の変化の可視化など、複数の静止物体を静止時間別に分類して検出する全てのアプリケーションに適用することができる。 The present invention classifies a plurality of stationary objects according to stationary time, such as monitoring of parked vehicles for parking violation control, detection of suspicious objects, detection of illegal dumping, management of parking lots and bicycle parking lots, visualization of changes in merchandise display shelves, etc. It can be applied to all applications detected.

本発明による静止時間識別用画像生成装置の実施の形態を示す図である。It is a figure which shows embodiment of the image generation apparatus for stationary time identification by this invention. 本発明による静止時間識別用画像生成方法のフローチャートである。3 is a flowchart of a method for generating an image for identifying still time according to the present invention. 領域ベースマッチング用の窓に関する説明図である。It is explanatory drawing regarding the window for area | region matching. 静止時間マップ及び静止時間識別用画像の生成過程に関する説明図である。It is explanatory drawing regarding the production | generation process of a still time map and the image for a still time identification.

符号の説明Explanation of symbols

１画像取得部
２画像保存部
３画像幾何補正部
４静止時間マップ取得部
５静止時間識別用画像取得部 DESCRIPTION OF SYMBOLS 1 Image acquisition part 2 Image preservation | save part 3 Image geometric correction part 4 Still time map acquisition part 5 Image acquisition part for still time identification

Claims

画像を所定の時間間隔で取得する画像取得ステップと、
前記画像を前記時間間隔ごとに保存する画像保存ステップと、
前記画像取得ステップで現在取得した画像と、前記画像保存ステップで保存された複数の過去の画像それぞれとを比較し、画素ごと又は小領域ごとに類似度を求め、当該類似度に基づいて、静止時間に関する情報が記入された２次元配列である静止時間マップを更新したものを取得する静止時間マップ取得ステップと、
前記静止時間マップに基づいて、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を取得する静止時間識別用画像取得ステップとを具えることを特徴とする静止時間識別用画像生成方法。 An image acquisition step of acquiring images at predetermined time intervals;
An image storage step for storing the image at each time interval;
Compare the image currently acquired in the image acquisition step with each of a plurality of past images stored in the image storage step, determine the similarity for each pixel or small region, and based on the similarity, A stationary time map acquisition step of acquiring an updated stationary time map which is a two-dimensional array in which information about time is entered;
A stationary time identifying image obtaining step for obtaining a stationary time identifying image, which is an image in which information about stationary time of each stationary object is entered together with images or regions of a plurality of stationary objects based on the stationary time map. A still-time identifying image generation method characterized by comprising:

前記比較を行うときに、画素単位のマッチング又は領域ベースマッチングを行うことを特徴とする請求項１記載の静止時間識別用画像生成方法。 The image generation method for still time identification according to claim 1 , wherein when performing the comparison, matching in units of pixels or region-based matching is performed.

前記比較を行う前に、前記画像取得ステップで現在取得した画像と、前記画像保存ステップで保存された複数の過去の画像それぞれとを比較し、それぞれの比較結果に基づいて、前記画像保存ステップで保存された複数の過去の画像それぞれを幾何補正することを特徴とする請求項１又は２記載の静止時間識別用画像生成方法。 Before performing the comparison, the image acquired at the image acquisition step is compared with each of a plurality of past images stored at the image storage step. Based on the comparison results, the image storage step rest time recognition image generating method according to claim 1, wherein the geometrically corrected respectively stored plurality of past images.

前記静止時間識別用画像の中に記入された複数の静止物体の像又は領域を、静止時間別に色分けする又は明度で分けることを特徴とする請求項１から３のうちのいずれか１項に記載の静止時間識別用画像生成方法。 An image or a region of a plurality of stationary objects that are entered into the rest time recognition image, according to claims 1, characterized in that parts in the still time separately color coded to or brightness in any one of the three Image generation method for identifying still time.

画像を所定の時間間隔で取得する画像取得手段と、
前記画像を前記時間間隔ごとに保存する画像保存手段と、
前記画像取得手段で現在取得した画像と、前記画像保存手段で保存された複数の過去の画像それぞれとを比較し、画素ごと又は小領域ごとに類似度を求め、当該類似度に基づいて、静止時間に関する情報が記入された２次元配列である静止時間マップを更新したものを取得する静止時間マップ取得手段と、
前記静止時間マップに基づいて、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を取得する静止時間識別用画像取得手段とを具えることを特徴とする静止時間識別用画像生成装置。 Image acquisition means for acquiring images at predetermined time intervals;
Image storage means for storing the image at each time interval;
The image currently acquired by the image acquisition means and each of a plurality of past images stored by the image storage means are compared , a similarity is obtained for each pixel or each small region, and based on the similarity, A stationary time map acquisition means for acquiring an updated stationary time map that is a two-dimensional array in which information on time is entered;
A stationary time identifying image acquiring means for acquiring a stationary time identifying image, which is an image in which information on the stationary time of each stationary object is entered together with images or regions of a plurality of stationary objects based on the stationary time map. An image generating apparatus for identifying a still time, characterized in that: