JP2008269258A - Template matching device - Google Patents
Template matching device Download PDFInfo
- Publication number
- JP2008269258A JP2008269258A JP2007110915A JP2007110915A JP2008269258A JP 2008269258 A JP2008269258 A JP 2008269258A JP 2007110915 A JP2007110915 A JP 2007110915A JP 2007110915 A JP2007110915 A JP 2007110915A JP 2008269258 A JP2008269258 A JP 2008269258A
- Authority
- JP
- Japan
- Prior art keywords
- template
- pixel
- pixels
- contour
- sum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像画像から追跡対象物体を検出するテンプレートマッチング装置に関するものである。 The present invention relates to a template matching apparatus that detects a tracking target object from a captured image.
撮像画像から追跡対象物体を検出する従来のテンプレートマッチング装置の一例として、特許文献1には、サーチ画像の各部分画像に対して正規化相関係数を求めるともに、部分画像の画素の画素値とテンプレート画像の画素値との差分の総和と、画素値の二乗和とを求めてマッチングを行うものが開示されている。 As an example of a conventional template matching apparatus that detects a tracking target object from a captured image, Patent Document 1 obtains a normalized correlation coefficient for each partial image of a search image, and calculates the pixel value of a pixel of the partial image. A technique is disclosed in which matching is performed by obtaining a sum of differences from pixel values of a template image and a square sum of pixel values.
また、従来のテンプレートマッチング装置の他の例として、特許文献2には、標準パターンの原点を入力画像のエッジ点に順次一致させて座標値の総和を求める画像認識装置が開示されている。特許文献2の画像認識装置は、まず、入力画像の任意のエッジ点を比較開始点として設定し、この比較開始点に標準パターンの原点を一致させた状態で、標準パターンの各画素位置における入力画像の座標値をそれぞれロードし、座標値の総和を求める。続いて、上記画像認識装置は標準パターンの原点を入力画像の他のエッジ点に一致させて上記と同様の動作を行い、座標値の総和を求める。その後も、画像認識装置は、入力画像の各エッジ点に標準パターンの原点を順次一致させて、座標値の総和をそれぞれ求める。入力画像の全てのエッジ点において座標値の総和を求めた後、画像認識装置は、座標値の総和が最大となるエッジ点を認識対象(追跡対象物体)の位置として出力する。
ところで、特許文献1のテンプレートマッチング装置及び特許文献2の画像認識装置を含む従来のテンプレートマッチング装置によって検出される追跡対象物体は移動することによって形状が変化するものである。 By the way, the tracking target object detected by the conventional template matching apparatus including the template matching apparatus of Patent Document 1 and the image recognition apparatus of Patent Document 2 changes its shape by moving.
しかしながら、従来のテンプレートマッチング装置では、追跡対象物体の形状変化によってテンプレートとの間にわずかな位置ずれが発生したときであっても、入力画像とテンプレートの相関値が大きく低下してしまった。また、上記位置ずれがない場合であっても、人の輪郭など形状変化の大きい部分が多く存在すると相関値を大きくすることができなかった。上記より、従来のテンプレートマッチング装置には、追跡対象物体の検出精度を高めることが難しいという問題があった。 However, in the conventional template matching apparatus, the correlation value between the input image and the template is greatly reduced even when a slight positional deviation occurs between the template and the template due to the shape change of the tracking target object. Even when there is no position shift, the correlation value cannot be increased if there are many portions having a large shape change such as a human contour. From the above, the conventional template matching apparatus has a problem that it is difficult to improve the detection accuracy of the tracking target object.
本発明は上記の点に鑑みて為されたものであり、その目的は、追跡対象物体を精度よく検出することができるテンプレートマッチング装置を提供することにある。 The present invention has been made in view of the above points, and an object of the present invention is to provide a template matching apparatus that can accurately detect a tracking target object.
請求項1の発明は、撮像画像から移動物体の輪郭を抽出して2値の輪郭画像を作成する輪郭抽出手段と、追跡対象物体のテンプレートと同じ大きさの部分領域を前記輪郭画像から順次抽出し、当該抽出した部分領域ごとに前記テンプレートとの相関値を求め、当該相関値が最大となる部分領域を選択することによって前記追跡対象物体を検出するマッチング手段と、前記マッチング手段によってこれまでに選択された複数の前記相関値が最大となる部分領域に対して画素ごとに画素値を累積して、多値の画素値を有する画素で構成される前記テンプレートの作成及び更新を行うテンプレート作成/更新手段とを備えることを特徴とする。 According to the first aspect of the present invention, contour extraction means for extracting a contour of a moving object from a captured image to create a binary contour image, and a partial region having the same size as the template of the tracking target object are sequentially extracted from the contour image. Then, a correlation value with the template is obtained for each extracted partial region, and a matching unit that detects the tracking target object by selecting a partial region that maximizes the correlation value; and the matching unit so far Template creation / update for creating and updating the template composed of pixels having multi-valued pixel values by accumulating pixel values for each pixel with respect to a plurality of selected partial areas having the maximum correlation value Update means.
請求項2の発明は、請求項1の発明において、前記マッチング手段が、前記部分領域ごとに、当該部分領域の輪郭部分の画素に対応する前記テンプレートの画素の画素値をそれぞれ抽出し、当該抽出した画素値をそれぞれ累乗した値の総和を前記相関値とすることを特徴とする。 According to a second aspect of the present invention, in the first aspect of the invention, the matching unit extracts, for each partial region, pixel values of the template pixels corresponding to the pixels of the contour portion of the partial region, and performs the extraction. The sum of values obtained by raising the pixel values to the power is used as the correlation value.
請求項3の発明は、請求項1又は2の発明において、前記輪郭抽出手段が、輪郭部分の画素の画素値を1として2値の前記輪郭画像を作成し、前記マッチング手段が、前記部分領域ごとに、当該部分領域の前記輪郭部分の画素に対応する前記テンプレートの画素を抽出し、当該抽出した画素の周囲にある画素の中から画素値が0より大きい画素の個数を求め、前記抽出した画素の画素値に対して前記画素値が0より大きい画素の個数に応じた重み付けを行い、当該重み付けを行った各画素値の総和を前記相関値とすることを特徴とする。 According to a third aspect of the present invention, in the first or second aspect of the invention, the contour extracting unit creates a binary contour image with a pixel value of a pixel of a contour portion being 1, and the matching unit is configured to generate the partial region. Each time, the pixel of the template corresponding to the pixel of the contour portion of the partial area is extracted, the number of pixels having a pixel value greater than 0 is determined from the pixels around the extracted pixel, and the extracted The pixel value of the pixel is weighted according to the number of pixels having the pixel value greater than 0, and the sum of the weighted pixel values is used as the correlation value.
請求項4の発明は、請求項1乃至3のいずれか1項の発明において、前記輪郭抽出手段が、輪郭部分の画素の画素値を1として2値の前記輪郭画像を作成し、前記マッチング手段が、前記部分領域ごとに、当該部分領域及び前記テンプレートの両方で画素値が0より大きい画素の個数と、前記テンプレートで画素値が0より大きい画素の個数との比率を計算し前記相関値とすることを特徴とする。 According to a fourth aspect of the present invention, in the invention according to any one of the first to third aspects, the contour extracting unit creates a binary contour image with a pixel value of a pixel of the contour portion as 1, and the matching unit. For each partial area, the ratio between the number of pixels having a pixel value greater than 0 in both the partial area and the template and the number of pixels having a pixel value greater than 0 in the template is calculated and the correlation value is calculated. It is characterized by doing.
請求項5の発明は、請求項1乃至4のいずれか1項の発明において、前記輪郭抽出手段が、輪郭部分の画素の画素値を1として2値の前記輪郭画像を作成し、前記マッチング手段が、前記部分領域ごとに、当該部分領域及び前記テンプレートの両方で画素値が0より大きい画素の個数と両方で画素値が0である画素の個数との和と、前記テンプレートで画素値が0より大きい画素の個数との比率を計算し前記相関値とすることを特徴とする。 According to a fifth aspect of the present invention, in the invention according to any one of the first to fourth aspects, the contour extracting means creates a binary contour image with a pixel value of a pixel of the contour portion as 1, and the matching means. However, for each of the partial areas, the sum of the number of pixels having a pixel value greater than 0 in both the partial area and the template and the number of pixels having a pixel value of 0 in both the partial area and the template has a pixel value of 0. The correlation value is calculated by calculating a ratio with the number of larger pixels.
請求項6の発明は、請求項1乃至5のいずれか1項の発明において、前記輪郭抽出手段が、輪郭部分の画素の画素値を1として2値の前記輪郭画像を作成し、前記マッチング手段が、前記部分領域ごとに、当該部分領域の前記輪郭部分の画素に対応する前記テンプレートの画素を中心として予め設定された範囲内にある複数の画素の画素値のうち最大の画素値を抽出し、当該抽出した画素値の総和を計算し前記相関値とすることを特徴とする。 According to a sixth aspect of the present invention, in the invention according to any one of the first to fifth aspects, the contour extracting unit creates a binary contour image with a pixel value of a pixel of a contour portion as 1, and the matching unit. For each partial area, the maximum pixel value is extracted from the pixel values of a plurality of pixels within a preset range centered on the pixel of the template corresponding to the pixel of the contour part of the partial area. The sum of the extracted pixel values is calculated and used as the correlation value.
請求項7の発明は、請求項1乃至6のいずれか1項の発明において、前記マッチング手段が、前記テンプレートの各行ごと及び各列ごとに画素値の総和を求めるとともに、前記部分領域ごとに、当該部分領域の各行ごと及び各列ごとに画素値の総和を求め、前記テンプレートの各行ごとに求めた画素値の総和と前記部分領域の各行ごとに求めた画素値の総和との相関値、及び前記テンプレートの各列ごとに求めた画素値の総和と前記部分領域の各列ごとに求めた画素値の総和との相関値を計算し、これらの相関値の和が最大となる部分領域を選択することによって前記追跡対象物体を検出することを特徴とする。 The invention of claim 7 is the invention of any one of claims 1 to 6, wherein the matching means calculates a sum of pixel values for each row and each column of the template, and for each partial region. A sum of pixel values for each row and each column of the partial region, a correlation value between a sum of pixel values obtained for each row of the template and a sum of pixel values obtained for each row of the partial region; and Calculate a correlation value between the sum of pixel values obtained for each column of the template and the sum of pixel values obtained for each column of the partial area, and select a partial area where the sum of these correlation values is maximized In this case, the tracking target object is detected.
請求項1の発明によれば、テンプレート作成/更新手段が、マッチング手段でこれまでに選択された相関値が最大となる複数の部分領域を用いて、追跡対象物体の形状変化が小さい部分では大きな画素値を有し形状変化が大きい部分では小さな画素値を有する輪郭画素を持つ追跡対象物体のテンプレートの作成及び更新を行うことによって、追跡対象物体の形状変化によって発生する輪郭部分の位置ずれの影響を低減することができるので、追跡対象物体を精度よく追跡することができる。 According to the invention of claim 1, the template creating / updating means uses a plurality of partial areas with the maximum correlation value selected so far by the matching means, and is large in a portion where the shape change of the tracking target object is small. By creating and updating a template of a tracking target object having a contour pixel having a small pixel value in a portion having a pixel value and a large shape change, the influence of the position shift of the contour portion caused by the shape change of the tracking target object Therefore, it is possible to accurately track the tracking target object.
請求項2の発明によれば、輪郭画素に対応するテンプレートの画素の画素値を累乗することによって、テンプレートにおいて画素値が大きい画素、つまり追跡対象物体の形状変化が小さい輪郭部分を重視した上記追跡対象物体の追跡を行うことができる。 According to the invention of claim 2, by tracking the pixel value of the template pixel corresponding to the contour pixel to the power, the tracking with emphasis on the contour portion where the pixel value is large in the template, that is, the shape of the tracking target object is small. The target object can be tracked.
請求項3の発明によれば、不連続な輪郭部分に比べて、連続性があり安定して抽出される輪郭部分に大きな重みを与え、安定した輪郭を重視した追跡対象物体の検出を行うことができるので、追跡対象物体を安定して追跡することができる。 According to the invention of claim 3, compared to a discontinuous contour portion, the contour portion that is continuous and stably extracted is given a higher weight, and the tracking target object is emphasized with an emphasis on the stable contour. Therefore, the tracking target object can be tracked stably.
請求項4の発明によれば、マッチング手段が相関値を求める際に、輪郭部分ではない画素の影響を受けないことによって、追跡対象物体の検出を正確に行うことができ、追跡対象物体を安定に追跡することができる。 According to the invention of claim 4, when the matching means obtains the correlation value, it is possible to accurately detect the tracking target object by not being affected by the pixels that are not the contour portion, and to stabilize the tracking target object. Can be tracked to.
請求項5の発明によれば、輪郭部分の画素の割合が大きい場合、輪郭部分の画素とともに、輪郭部分ではない画素も用いることによって、追跡対象物体の追跡を精度よく行うことができる。 According to the invention of claim 5, when the ratio of the pixels in the contour portion is large, the tracking target object can be accurately tracked by using the pixels that are not the contour portion together with the pixels in the contour portion.
請求項6の発明によれば、輪郭画像の部分領域とテンプレートとにおいて輪郭がわずかにずれていた場合であっても、上記輪郭のずれを吸収した形で追跡対象物体の検出を行うことができる。 According to the sixth aspect of the present invention, even when the contour is slightly shifted between the partial region of the contour image and the template, the tracking target object can be detected in a form that absorbs the shift of the contour. .
請求項7の発明によれば、マッチング手段が追跡対象物体を検出する際に、輪郭画像内でテンプレートを順次移動しても1回の移動において1次元の数列同士の計算を2回行うのみでよいため、テンプレートを移動するたびに部分領域の輪郭部分の画素に対応するテンプレートの画素の画素値をそれぞれ抽出して全ての画素値の総和を相関値とする場合に比べて、追跡対象物体を検出するための処理時間を短縮することができる。 According to the seventh aspect of the present invention, when the matching means detects the tracking target object, even if the template is sequentially moved within the contour image, the calculation of the one-dimensional number sequences only needs to be performed twice in one movement. Therefore, each time the template is moved, the pixel value of the template pixel corresponding to the pixel of the contour portion of the partial region is extracted, and the tracking target object is compared with the sum of all the pixel values as the correlation value. The processing time for detection can be shortened.
(実施形態1)
まず、実施形態1のテンプレートマッチング装置の構成について図1〜3を用いて説明する。このテンプレートマッチング装置は、撮像映像から追跡対象物体を検出するものであり、図1に示すように、例えばビデオカメラなどであって映像A(図2参照)を撮像する撮像装置1と、撮像装置1から連続的に取得したアナログの映像データをデジタルデータに変換するA/D変換部2と、A/D変換部2で変換されたデジタルデータを記憶する画像メモリ3と、デジタルデータを用いて移動物体の輪郭を抽出して2値の輪郭画像を作成し画像メモリ3に記憶させる移動輪郭抽出部(輪郭抽出手段)4と、画像メモリ3に記憶されている輪郭画像の部分領域B(図2参照)と追跡対象物体のテンプレートC(図2参照)とを照合し追跡対象物体D(図2参照)の存否を判定するマッチング部5と、マッチング部5で用いられる追跡対象物体DのテンプレートCを記憶するテンプレートメモリ6と、マッチング部5の照合結果に基づいて追跡対象物体が含まれた部分領域Bを輪郭画像から切り出す追跡制御部7と、追跡制御部7で切り出された部分領域Bの映像を予め設定されたズーム倍率で表示する画像表示部8と、マッチング部5で用いられる追跡対象物体DのテンプレートCの作成及び更新を行うテンプレート作成/更新部9とを備えている。なお、少なくともマッチング部5、追跡制御部7及びテンプレート作成/更新部9はマイクロコンピュータで構成されている。
(Embodiment 1)
First, the structure of the template matching apparatus of Embodiment 1 is demonstrated using FIGS. This template matching device detects a tracking target object from a picked-up image, and as shown in FIG. 1, for example, a video camera or the like, and an image pick-up device 1 for picking up a video A (see FIG. 2), and an image pick-up device A / D converter 2 that converts analog video data continuously acquired from 1 into digital data, an image memory 3 that stores the digital data converted by A / D converter 2, and digital data A contour extraction unit (contour extraction means) 4 for extracting a contour of a moving object to create a binary contour image and storing it in the image memory 3, and a partial region B of the contour image stored in the image memory 3 (FIG. 2) and the tracking target object template C (refer to FIG. 2) to determine whether or not the tracking target object D (refer to FIG. 2) exists, and the tracking target used by the matching unit 5 The template memory 6 that stores the template C of D, the tracking control unit 7 that extracts the partial region B including the tracking target object from the contour image based on the matching result of the matching unit 5, and the tracking control unit 7 An image display unit 8 that displays the video of the partial region B at a preset zoom magnification, and a template creation / update unit 9 that creates and updates the template C of the tracking target object D used in the matching unit 5 are provided. Yes. At least the matching unit 5, the tracking control unit 7, and the template creation / update unit 9 are constituted by a microcomputer.
移動輪郭抽出部4で作成される輪郭画像は、移動物体の輪郭部分になる画素の画素値が1となる2値のモノクロ画像である。以下、画素値が1となる画素を輪郭画素という。 The contour image created by the moving contour extraction unit 4 is a binary monochrome image in which the pixel value of the pixel that becomes the contour portion of the moving object is 1. Hereinafter, a pixel having a pixel value of 1 is referred to as a contour pixel.
マッチング部5は、画像メモリ3から輪郭画像を取得すると、まず、テンプレートメモリ6に記憶されている追跡対象物体DのテンプレートC(図2参照)と同じ大きさであり輪郭画像の左上隅にある部分領域B(図2参照)を抽出する。続いて、マッチング部5は、抽出した部分領域Bの画素のうち輪郭画素(画素値が1である画素)に対応するテンプレートCの画素の画素値を全て抽出する。一方、輪郭画素ではない画素(画素値が0である画素)に対応するテンプレートCの画素の画素値の抽出は行われない。その後、マッチング部5は、抽出した全ての画素値の総和を計算し、計算した総和を部分領域とテンプレートCの相関値とする。上記のように、輪郭画素ではない画素に対応するテンプレートCの画素の画素値の抽出を省略することができるので、部分領域Bの全ての画素に対応するテンプレートCの画素の画素値を抽出して総和を計算する場合に比べて、マッチング部5の演算処理の負荷を低減することができる。 When the matching unit 5 acquires the contour image from the image memory 3, first, the matching unit 5 has the same size as the template C (see FIG. 2) of the tracking target object D stored in the template memory 6 and is in the upper left corner of the contour image. Partial region B (see FIG. 2) is extracted. Subsequently, the matching unit 5 extracts all the pixel values of the pixel of the template C corresponding to the contour pixel (pixel having a pixel value of 1) among the extracted pixels of the partial region B. On the other hand, extraction of the pixel value of the pixel of the template C corresponding to a pixel that is not a contour pixel (a pixel having a pixel value of 0) is not performed. Thereafter, the matching unit 5 calculates the sum of all the extracted pixel values, and uses the calculated sum as a correlation value between the partial region and the template C. As described above, the extraction of the pixel values of the pixels of the template C corresponding to the pixels that are not contour pixels can be omitted, so that the pixel values of the pixels of the template C corresponding to all the pixels of the partial region B are extracted. Compared with the case of calculating the sum, the load of the arithmetic processing of the matching unit 5 can be reduced.
輪郭画像の左上隅にある部分領域BとテンプレートCの相関値を求めた後、マッチング部5は、テンプレートCを1画素分だけ右方向に移動させて、新たな部分領域Bを抽出し、抽出した部分領域Bの画素のうち輪郭画素に対応するテンプレートCの画素の画素値を全て抽出する。その後、マッチング部5は、抽出した画素値の総和を計算し、計算した総和を部分領域BとテンプレートCの相関値とする。このようにテンプレートCを1画素分だけ右に移動させるたびに、マッチング部5は、抽出した部分領域BとテンプレートCの相関値を求めていく。テンプレートCが輪郭画像の右上隅に到達し、この位置での部分領域BとテンプレートCの相関値を求めた後、マッチング部5はテンプレートCを1画素分下に移動させ、最も左側の部分領域Bから1画素分ずつ右に移動させるごとに部分領域Bを抽出し、抽出した部分領域BとテンプレートCの相関値を順次求めていく。 After obtaining the correlation value between the partial area B in the upper left corner of the contour image and the template C, the matching unit 5 moves the template C to the right by one pixel to extract and extract a new partial area B. All pixel values of the pixel of the template C corresponding to the contour pixel are extracted from the pixels of the partial area B thus obtained. Thereafter, the matching unit 5 calculates the sum of the extracted pixel values, and uses the calculated sum as a correlation value between the partial region B and the template C. Thus, every time the template C is moved to the right by one pixel, the matching unit 5 obtains a correlation value between the extracted partial region B and the template C. After the template C reaches the upper right corner of the contour image and obtains a correlation value between the partial area B and the template C at this position, the matching unit 5 moves the template C downward by one pixel, and the leftmost partial area Each time the pixel is moved to the right from B, the partial area B is extracted, and the correlation value between the extracted partial area B and the template C is sequentially obtained.
上記のようにして輪郭画像の左上隅から右下隅までの全ての部分領域Bにおいて相関値を求めた後、マッチング部5は、これらの相関値の大きさを比較し、相関値が最大となる部分領域Bを選択することによって、追跡対象物体Dを検出する。 After obtaining the correlation values in all the partial regions B from the upper left corner to the lower right corner of the contour image as described above, the matching unit 5 compares the magnitudes of these correlation values, and the correlation value is maximized. By selecting the partial region B, the tracking target object D is detected.
追跡制御部7は、相関値が最大となるつまり追跡対象物体Dが検出された部分領域Bを輪郭画像から切り出すとともに、画像メモリ3に記憶されているデジタルデータから、切り出した部分領域Bに相当するデジタルデータを抽出する。デジタルデータ及び部分領域Bのデジタルデータは追跡制御部7から画像表示部8に出力される。一方、切り出された部分領域Bは追跡制御部7からテンプレート作成/更新部9に出力される
画像表示部8は、追跡制御部7からデジタルデータ及び部分領域Bのデジタルデータが入力されると、デジタルデータに基づいて全体映像Aを表示するとともに、部分領域Bのデジタルデータに基づいて、追跡対象物体Dが検出された部分領域Bの映像を予め設定されたズーム倍率で表示する。
The tracking control unit 7 cuts out the partial area B having the maximum correlation value, that is, the detected tracking target object D from the contour image, and corresponds to the cut out partial area B from the digital data stored in the image memory 3. To extract digital data. The digital data and the digital data of the partial area B are output from the tracking control unit 7 to the image display unit 8. On the other hand, the extracted partial region B is output from the tracking control unit 7 to the template creation / update unit 9. When the digital data and the digital data of the partial region B are input from the tracking control unit 7, the image display unit 8 The entire video A is displayed based on the digital data, and the video of the partial area B where the tracking target object D is detected is displayed at a preset zoom magnification based on the digital data of the partial area B.
一方、テンプレート作成/更新部9は、図2に示すように、追跡制御部7からの部分領域を少なくとも5枚分記憶可能なメモリ90(図1参照)を備え、追跡制御部7から部分領域B1を取得するごとに、これまでに取得した部分領域のうち、今回取得した部分領域B1を含む最新の5枚の部分領域B1〜B5に対して画素ごとに画素値を累積して、多値(例えば0〜255)の画素値を有する画素で構成されるテンプレートCを作成する。テンプレートCを作成した後、テンプレート作成/更新部9は、テンプレートメモリ6に記憶されているテンプレートCを新しく作成したテンプレートCに更新する。また、テンプレート作成/更新部9は、追跡制御部7から取得した部分領域B1をメモリ90に記憶させる。なお、テンプレートCの作成に用いられる部分領域B1〜B5の枚数は複数枚必要であるが5枚に限定されるものではなく、用途に応じて適宜設定される。 On the other hand, as shown in FIG. 2, the template creation / update unit 9 includes a memory 90 (see FIG. 1) that can store at least five partial areas from the tracking control unit 7. Every time B1 is acquired, among the partial areas acquired so far, the pixel values are accumulated for each pixel with respect to the latest five partial areas B1 to B5 including the partial area B1 acquired this time. A template C composed of pixels having pixel values (for example, 0 to 255) is created. After creating the template C, the template creation / update unit 9 updates the template C stored in the template memory 6 to the newly created template C. Further, the template creation / update unit 9 stores the partial area B1 acquired from the tracking control unit 7 in the memory 90. Note that a plurality of partial areas B1 to B5 used for creating the template C are required, but the number is not limited to five, and is set as appropriate according to the application.
図3(a)には、テンプレート作成/更新部9で作成されたテンプレートCにおける各画素の画素値の大きさが示されている。テンプレートCでは、例えば追跡対象物体Dが人である場合、頭や肩など比較的形状の安定している部位では、各部分領域Bの輪郭画素の画素値が累積されて高い値の画素値となる一方、手足などのように形状が大きく変化する部分では、各部分領域Bの輪郭画素の画素値が分散するので、低い値の画素値となる。上記より、追跡対象物体Dの部位ごとに重み付けされることになる。このように重み付けされているテンプレートCと図3(b)に示す輪郭画像の部分領域Bとがマッチング部5で照合されることによって、追跡対象物体Dの形状変化に強いマッチングを行うことができる。 FIG. 3A shows the size of the pixel value of each pixel in the template C created by the template creation / update unit 9. In the template C, for example, when the tracking target object D is a person, the pixel values of the contour pixels of each partial region B are accumulated in a portion having a relatively stable shape such as a head and a shoulder, On the other hand, since the pixel values of the contour pixels in each partial region B are dispersed in a part such as a limb that changes greatly in shape, the pixel value has a low value. From the above, weighting is performed for each part of the tracking target object D. By matching the template C weighted in this way with the partial region B of the contour image shown in FIG. 3B by the matching unit 5, it is possible to perform strong matching against the shape change of the tracking target object D. .
ところで、図1に示す移動輪郭抽出部4で作成された輪郭画像は、追跡対象物体Dの輪郭のうち移動した部分の輪郭のみが抽出されるため、追跡対象物体Dの輪郭の一部が消失されることがある。しかし、本実施形態のテンプレートCは複数枚の部分領域B1〜B5で作成されているため、互いに補完することができる。これにより、追跡対象物体Dの輪郭を正確にすることができる。 By the way, in the contour image created by the moving contour extraction unit 4 shown in FIG. 1, only the contour of the moved portion of the contour of the tracking target object D is extracted, so that a part of the contour of the tracking target object D disappears. May be. However, since the template C of the present embodiment is created by a plurality of partial areas B1 to B5, they can be complemented with each other. Thereby, the outline of the tracking target object D can be made accurate.
次に、本実施形態の動作について図1を用いて説明する。まず、A/D変換部2が、撮像装置1からの映像データをデジタルデータに変換する。その後、移動輪郭抽出部4が、デジタルデータから2値の輪郭画像を作成する。その後、マッチング部5が、テンプレートメモリ6のテンプレートを用いて輪郭画像から部分領域Bを順次抽出し、部分領域BごとにテンプレートCとの相関値を求め、相関値が最大となる部分領域Bを選択することによって、追跡対象物体Dを検出する。 Next, the operation of this embodiment will be described with reference to FIG. First, the A / D conversion unit 2 converts the video data from the imaging device 1 into digital data. Thereafter, the moving contour extraction unit 4 creates a binary contour image from the digital data. Thereafter, the matching unit 5 sequentially extracts the partial areas B from the contour image using the template of the template memory 6, obtains a correlation value with the template C for each partial area B, and selects the partial area B having the maximum correlation value. The tracking target object D is detected by the selection.
一方、テンプレート作成/更新部9は、相関値が最大となる部分領域B1を取得するごとに、最新の5枚の部分領域B1〜B5に対して画素ごとに画素値を累積してテンプレートCを作成する。その後、テンプレート作成/更新部9は、テンプレートメモリ6に記憶されているテンプレートCを新しく作成したテンプレートCに更新する。このようなテンプレートCを用いることによって、追跡対象物体Dの形状変化によって輪郭画像において輪郭の位置ずれが発生したとしても、位置ずれした輪郭を認識することができるので、追跡対象物体Dを検出することができる。上記のような複数のステップを繰り返すことによって、一旦補足した追跡対象物体Dを追跡し、ズーム表示することができる。 On the other hand, every time the template creation / update unit 9 acquires the partial area B1 having the maximum correlation value, the template C is accumulated for each pixel with respect to the latest five partial areas B1 to B5. create. Thereafter, the template creation / update unit 9 updates the template C stored in the template memory 6 to the newly created template C. By using such a template C, it is possible to recognize the misaligned contour even if the contour misalignment occurs in the contour image due to the shape change of the tracking target object D. Therefore, the tracking target object D is detected. be able to. By repeating the plurality of steps as described above, the tracking target object D once captured can be tracked and zoomed.
以上、本実施形態によれば、テンプレート作成/更新部9が、マッチング部5でこれまでに選択された相関値が最大となる複数の部分領域Bを用いて、追跡対象物体Dの形状変化が小さい部分では大きな画素値を有し形状変化が大きい部分では小さな画素値を有する輪郭画素を持つ追跡対象物体DのテンプレートCの作成及び更新を行うことによって、追跡対象物体Dの形状変化によって発生する輪郭部分の位置ずれの影響を低減することができるので、追跡対象物体Dを精度よく追跡することができる。 As described above, according to the present embodiment, the template creation / update unit 9 uses the plurality of partial regions B with the maximum correlation values selected so far by the matching unit 5 to change the shape of the tracking target object D. This occurs due to the shape change of the tracking target object D by creating and updating the template C of the tracking target object D having a large pixel value in a small part and a contour pixel having a small pixel value in a part where the shape change is large. Since the influence of the position shift of the contour portion can be reduced, the tracking target object D can be accurately tracked.
なお、撮像装置1によって撮像された映像はモノクロ映像であってもカラー映像であってもよく、用途に応じて適宜設定されるものである。カラー映像である場合、A/D変換部2で変換されたデジタルデータには色情報が含まれる。この点は、後述の実施形態2〜7においても同様である。 Note that the video imaged by the imaging device 1 may be a monochrome video or a color video, and is appropriately set according to the application. In the case of a color image, the digital data converted by the A / D conversion unit 2 includes color information. This also applies to Embodiments 2 to 7 described later.
また、実施形態1の変形例として、テンプレート作成/更新部9が追跡対象物体DのテンプレートCを作成するときに最新の連続した5枚の部分領域B1〜B5ではなく、一定枚数おき(例えば1枚おき)に取り出した部分領域を用いてもよい。この点は、後述の実施形態2〜7においても同様である。 Further, as a modification of the first embodiment, when the template creation / update unit 9 creates the template C of the tracking target object D, instead of the latest continuous five partial areas B1 to B5, every certain number (for example, 1 Partial areas taken out every other sheet may be used. This also applies to Embodiments 2 to 7 described later.
(実施形態2)
実施形態2のテンプレートマッチング装置は、実施形態1と同様の構成であるが、図1に示すマッチング部5の機能が実施形態1と相違している。なお、実施形態1と同様の構成要素については、同一の符号を付して説明を省略する。
(Embodiment 2)
The template matching apparatus of the second embodiment has the same configuration as that of the first embodiment, but the function of the matching unit 5 shown in FIG. 1 is different from that of the first embodiment. In addition, about the component similar to Embodiment 1, the same code | symbol is attached | subjected and description is abbreviate | omitted.
本実施形態のマッチング部5は、画像メモリ3から輪郭画像を取得すると、まず、実施形態1と同様に部分領域B(図2参照)を抽出し、抽出した部分領域Bの輪郭画素(画素値が1である画素)に対応するテンプレートC(図2参照)の画素の画素値をそれぞれ抽出する。その後、マッチング部5は、実施形態1とは異なり、抽出した画素値をそれぞれ累乗し、累乗した各画素値の総和を計算し、計算した総和を部分領域BとテンプレートCの相関値とする。なお、各画素値を累乗する際の指数は、極端に大きくすると一部の画素が必要以上に支配的となり、相関値が不安定になる可能性があることから、2程度が好ましい。 When the matching unit 5 of the present embodiment acquires a contour image from the image memory 3, first, the partial region B (see FIG. 2) is extracted as in the first embodiment, and the contour pixel (pixel value) of the extracted partial region B is extracted. The pixel values of the pixels of the template C (see FIG. 2) corresponding to (pixels with 1) are respectively extracted. After that, unlike the first embodiment, the matching unit 5 raises the extracted pixel values to the power, calculates the sum of the raised pixel values, and sets the calculated sum as the correlation value between the partial region B and the template C. It should be noted that an index for raising each pixel value to a power is preferably about 2, because if it is extremely large, some pixels become more dominant than necessary and the correlation value may become unstable.
全ての部分領域Bにおいて相関値を求めた後、マッチング部5は、これらの相関値の大きさを比較し、相関値が最大となる部分領域Bを選択することによって、追跡対象物体Dを検出する。 After obtaining the correlation values in all the partial areas B, the matching unit 5 detects the tracking target object D by comparing the magnitudes of these correlation values and selecting the partial area B having the maximum correlation value. To do.
以上、本実施形態によれば、輪郭画素に対応するテンプレートCの画素の画素値を累乗することによって、テンプレートCにおいて画素値が大きい画素、つまり追跡対象物体Dの形状変化が小さい輪郭部分を重視した上記追跡対象物体Dの追跡を行うことができる。 As described above, according to the present embodiment, the pixel value of the pixel of the template C corresponding to the contour pixel is raised to the power, thereby emphasizing the pixel having a large pixel value in the template C, that is, the contour portion where the shape change of the tracking target object D is small. The tracked object D can be tracked.
(実施形態3)
ところで、輪郭画像は、追跡対象物体D(図2参照)の形状変化が小さい輪郭部分では太く連続性があるが、追跡対象物体Dの形状変化が大きい部分の輪郭部分ではランダムなノイズを含んだり、不連続になったりすることが多い。
(Embodiment 3)
By the way, the contour image is thick and continuous in the contour portion where the shape change of the tracking target object D (see FIG. 2) is small, but the contour portion of the portion where the shape change of the tracking target object D is large includes random noise. , Often discontinuous.
そこで、上記のような輪郭画像であっても追跡対象物体Dを安定して追跡するものとして、実施形態3を説明する。本実施形態のテンプレートマッチング装置は、実施形態1と同様の構成であるが、図1に示すマッチング部5の機能が実施形態1と相違している。なお、実施形態1と同様の構成要素については、同一の符号を付して説明を省略する。 Therefore, the third embodiment will be described on the assumption that the tracking target object D is stably tracked even with the contour image as described above. The template matching apparatus of the present embodiment has the same configuration as that of the first embodiment, but the function of the matching unit 5 shown in FIG. 1 is different from that of the first embodiment. In addition, about the component similar to Embodiment 1, the same code | symbol is attached | subjected and description is abbreviate | omitted.
本実施形態のマッチング部5は、画像メモリ3から輪郭画像を取得すると、まず、実施形態1と同様に部分領域B(図2参照)を抽出し、抽出した部分領域Bの輪郭画素(画素値が1である画素)に対応するテンプレートC(図2参照)の画素をそれぞれ抽出する。その後、図4に示すように、マッチング部5は、抽出した画素a1の周囲にある画素の中から画素値が0より大きい画素の個数を求める。その後、マッチング部5は、抽出した画素a1の画素値に対して、画素値が1である周囲の画素の個数に応じた重み付けを行う。つまり、マッチング部5は、抽出した各画素a1と隣接画素の連結状況を調べ、隣接画素と強く連結していれば画素値を累乗して大きな重みを与える。具体的には、図4(a)に示すように周囲の画素値が全て0であり孤立している画素a1には小さな重み(例えば1)を与え、図4(b)に示すように周囲のうち一方向のみに画素値が0より大きい画素a2がある弱い連結の画素a1には上記孤立している画素a1より大きい重み(例えばn乗/2)を与え、図4(c)に示すように周囲に画素値が0より大きい画素a2,・・・が2個以上ある画素a1にはさらに大きな重み(例えばn乗)を与える。マッチング部5は、上記のようにして重み付けを行った後、重み付けを行った各画素値の総和を計算し、計算した総和を部分領域BとテンプレートCの相関値とする。 When the matching unit 5 of the present embodiment acquires a contour image from the image memory 3, first, the partial region B (see FIG. 2) is extracted as in the first embodiment, and the contour pixel (pixel value) of the extracted partial region B is extracted. Each pixel of template C (see FIG. 2) corresponding to (pixels with 1) is extracted. Thereafter, as illustrated in FIG. 4, the matching unit 5 obtains the number of pixels having a pixel value greater than 0 from among the pixels around the extracted pixel a <b> 1. After that, the matching unit 5 weights the extracted pixel value of the pixel a1 according to the number of surrounding pixels having a pixel value of 1. That is, the matching unit 5 examines the connection state between each extracted pixel a1 and the adjacent pixel, and gives a large weight by raising the pixel value if it is strongly connected to the adjacent pixel. Specifically, as shown in FIG. 4A, the surrounding pixel values are all 0 and a small weight (for example, 1) is given to the isolated pixel a1, and as shown in FIG. 4c, a weakly connected pixel a1 having a pixel a2 having a pixel value greater than 0 in only one direction is given a weight (for example, n / 2) greater than the isolated pixel a1, as shown in FIG. Thus, a larger weight (for example, nth power) is given to the pixel a1 having two or more pixels a2,. After performing the weighting as described above, the matching unit 5 calculates the sum of the weighted pixel values, and uses the calculated sum as the correlation value between the partial region B and the template C.
全ての部分領域Bにおいて相関値を求めた後、マッチング部5は、これらの相関値の大きさを比較し、相関値が最大となる部分領域Bを選択することによって、追跡対象物体Dを検出する。 After obtaining the correlation values in all the partial areas B, the matching unit 5 detects the tracking target object D by comparing the magnitudes of these correlation values and selecting the partial area B having the maximum correlation value. To do.
以上、本実施形態によれば、不連続な輪郭部分に比べて、連続性があり安定して抽出される輪郭部分に大きな重みを与え、安定した輪郭を重視した追跡対象物体Dの検出を行うことができるので、追跡対象物体Dを安定して追跡することができる。 As described above, according to the present embodiment, compared to a discontinuous contour portion, the contour portion that is continuous and stably extracted is given a greater weight, and the tracking target object D is emphasized with an emphasis on the stable contour. Therefore, the tracking target object D can be tracked stably.
(実施形態4)
輪郭画像は輪郭部分の画素のみが画素値1となり、テンプレートCも輪郭部分の画素のみが0より大きい画素値を有することから、一般的に全画素に対して輪郭画素ではない画素(画素値が0である画素)の割合は高くなることが多い。画素ごとの画素値の差分の総和を計算して相関値を求める場合、画素値が0である多くの画素同士が一致するため、画素値が0である画素の割合が高くなるほど、相関値が必要以上に大きくなる傾向がある。また、部分領域Bの画素のうち輪郭画素に対応するテンプレートCの画素の画素値を抽出し、抽出した全ての画素値の総和を相関値とする場合、画素値が0である画素が多くなるほど、マッチング部5が抽出する画素が少なくなり、相関値の信頼性が低下する可能性がある。したがって、画素値が0である画素の割合が高い場合、上記のようにして相関値を求めることが効果的でないことがある。
(Embodiment 4)
In the contour image, only the pixels in the contour portion have a pixel value of 1, and in the template C, only the pixels in the contour portion have a pixel value greater than 0. In many cases, the ratio of 0) is high. When calculating the sum of differences of pixel values for each pixel to obtain a correlation value, since many pixels having a pixel value of 0 match, the correlation value increases as the proportion of pixels having a pixel value of 0 increases. It tends to be larger than necessary. Further, when the pixel value of the pixel of the template C corresponding to the contour pixel is extracted from the pixels of the partial region B and the sum of all the extracted pixel values is used as the correlation value, the number of pixels having a pixel value of 0 increases. There is a possibility that the number of pixels extracted by the matching unit 5 is reduced and the reliability of the correlation value is lowered. Therefore, when the ratio of pixels having a pixel value of 0 is high, it may not be effective to obtain the correlation value as described above.
実施形態4は、画素値が0である画素の割合が高い輪郭画像に適するものである。本実施形態のテンプレートマッチング装置は、実施形態1と同様の構成であるが、図1に示すマッチング部5の機能が実施形態1と相違している。なお、実施形態1と同様の構成要素については、同一の符号を付して説明を省略する。 The fourth embodiment is suitable for a contour image having a high ratio of pixels having a pixel value of 0. The template matching apparatus of the present embodiment has the same configuration as that of the first embodiment, but the function of the matching unit 5 shown in FIG. 1 is different from that of the first embodiment. In addition, about the component similar to Embodiment 1, the same code | symbol is attached | subjected and description is abbreviate | omitted.
図5(a)には、画素値が0である画素(図5(a)の黒い部分)と画素値が0より大きい画素(図5(a)の白い部分)とが区別して表わされているテンプレートCが示され、図5(b)にはテンプレートCと同じ大きさであり、画素値が0である画素(図5(b)の黒い部分)と画素値が1である画素(図5(b)の白い部分)とが区別して表わされている部分領域Bが示されている。なお、図5(a),(b)には、説明を容易にするために画素数を8×8個と少なく表示されているが、実際のテンプレートC及び部分領域Bは上記よりも多くの画素で構成されている。 In FIG. 5A, a pixel having a pixel value of 0 (black portion in FIG. 5A) is distinguished from a pixel having a pixel value greater than 0 (white portion in FIG. 5A). FIG. 5B shows a pixel C having the same size as the template C, a pixel value 0 (a black portion in FIG. 5B) and a pixel value 1 ( A partial region B is shown separately from the white portion in FIG. In FIGS. 5A and 5B, the number of pixels is reduced to 8 × 8 for ease of explanation, but the actual template C and partial area B have more than the above. It consists of pixels.
本実施形態のマッチング部5は、部分領域Bの輪郭画素に対応するテンプレートCの画素の画素値を抽出するのではなく、まず、テンプレートCから画素値が0より大きい画素の個数(図5(a)では14個)を求める。一方、輪郭画像が入力されると、マッチング部5は輪郭画像からテンプレートCと同じ大きさの部分領域Bを順次抽出し、抽出した部分領域Bごとに、部分領域B及びテンプレートCの両方で画素値が0より大きい画素の個数(図5では11個)を求める。 The matching unit 5 of this embodiment does not extract the pixel value of the pixel of the template C corresponding to the contour pixel of the partial region B, but first, the number of pixels having a pixel value greater than 0 from the template C (FIG. 5 ( 14) is obtained in a). On the other hand, when the contour image is input, the matching unit 5 sequentially extracts the partial area B having the same size as the template C from the contour image, and for each extracted partial area B, the pixel in both the partial area B and the template C is obtained. The number of pixels having a value greater than 0 (11 in FIG. 5) is obtained.
その後、マッチング部5は、「部分領域B及びテンプレートCの両方で画素値が0より大きい画素の個数」と「テンプレートCで画素値が0より大きい画素の個数」の比率を計算し、計算した比率を相関値とする。図5の例において、上記相関値は(11個/14個)×100=79(%)となる。マッチング部5は全ての部分領域Bにおいて相関値を求める。 Thereafter, the matching unit 5 calculates and calculates a ratio of “the number of pixels having a pixel value greater than 0 in both the partial region B and the template C” and “the number of pixels having a pixel value greater than 0 in the template C”. Let the ratio be the correlation value. In the example of FIG. 5, the correlation value is (11/14) × 100 = 79 (%). The matching unit 5 obtains correlation values in all partial regions B.
全ての部分領域Bにおいて相関値を求めた後、マッチング部5は、これらの相関値の大きさを比較し、相関値が最大となる部分領域を選択することによって、追跡対象物体Dを検出する。 After obtaining the correlation values in all the partial regions B, the matching unit 5 detects the tracking target object D by comparing the magnitudes of these correlation values and selecting the partial region having the maximum correlation value. .
以上、本実施形態によれば、マッチング部5が相関値を求める際に、輪郭画素ではない画素の影響を受けないことによって、追跡対象物体Dの検出を正確に行うことができ、追跡対象物体Dを安定に追跡することができる。 As described above, according to the present embodiment, when the matching unit 5 obtains the correlation value, the tracking target object D can be accurately detected by not being affected by the pixels that are not the contour pixels. D can be tracked stably.
(実施形態5)
ところで、移動輪郭抽出部4によって、追跡対象物体Dの輪郭だけでなく、追跡対象物体Dである人が装着している服の模様なども輪郭と同様に抽出してしまう場合があり、このような場合、輪郭画素は輪郭部分だけでなく服の模様部分も含むことになり、この結果、輪郭画素の割合が高くなる。同時に、テンプレート作成/更新部9によって作成されるテンプレートCも輪郭画素の割合が高くなる。
(Embodiment 5)
By the way, the moving contour extracting unit 4 may extract not only the contour of the tracking target object D but also the pattern of clothes worn by the person who is the tracking target object D in the same manner as the contour. In this case, the contour pixels include not only the contour portion but also the pattern portion of the clothes, and as a result, the proportion of the contour pixels increases. At the same time, the ratio of the contour pixels in the template C created by the template creation / update unit 9 is also high.
実施形態5は上記のような輪郭画像及びテンプレートに適したものである。本実施形態のテンプレートマッチング装置は、実施形態1と同様の構成であるが、図1に示すマッチング部5の機能が実施形態1と相違している。なお、実施形態1と同様の構成要素については、同一の符号を付して説明を省略する。 The fifth embodiment is suitable for the above contour image and template. The template matching apparatus of the present embodiment has the same configuration as that of the first embodiment, but the function of the matching unit 5 shown in FIG. 1 is different from that of the first embodiment. In addition, about the component similar to Embodiment 1, the same code | symbol is attached | subjected and description is abbreviate | omitted.
本実施形態のマッチング部5は、部分領域の輪郭画素に対応するテンプレートCの画素の画素値を抽出するのではなく、まず、図5(a)に示すテンプレートCから画素値が0より大きい画素の個数(図5(a)では14個)を求める。一方、輪郭画像が入力されると、マッチング部5は輪郭画像からテンプレートCと同じ大きさの部分領域Bを順次抽出し、抽出した部分領域Bごとに、部分領域B及びテンプレートCの両方で画素値が0より大きい画素の個数(図5では11個)と、部分領域B及びテンプレートCの両方で画素値が0である画素の個数(図5では47個)とを求める。 The matching unit 5 of this embodiment does not extract the pixel value of the pixel of the template C corresponding to the contour pixel of the partial region, but first, the pixel whose pixel value is greater than 0 from the template C shown in FIG. (14 in FIG. 5A) is obtained. On the other hand, when the contour image is input, the matching unit 5 sequentially extracts the partial area B having the same size as the template C from the contour image, and for each extracted partial area B, the pixel in both the partial area B and the template C is obtained. The number of pixels having a value greater than 0 (11 in FIG. 5) and the number of pixels having a pixel value of 0 in both the partial region B and the template C (47 in FIG. 5) are obtained.
その後、マッチング部5は、「(部分領域B及びテンプレートCの両方で画素値が0より大きい画素の個数)と(両方で画素値が0である画素の個数)の和」と「テンプレートCで画素値が0より大きい画素の個数」の比率を計算し、計算した比率を相関値とする。図5に例において、相関値は{(11個+47個)/14個}=4.1となる。マッチング部5は全ての部分領域Bにおいて相関値を求める。 After that, the matching unit 5 determines that “the sum of (the number of pixels having a pixel value greater than 0 in both the partial region B and the template C) and (the number of pixels having a pixel value of 0 in both)” and “the template C A ratio of “the number of pixels having a pixel value greater than 0” is calculated, and the calculated ratio is set as a correlation value. In the example of FIG. 5, the correlation value is {(11 + 47) / 14} = 4.1. The matching unit 5 obtains correlation values in all partial regions B.
全ての部分領域において相関値を求めた後、マッチング部5は、これらの相関値の大きさを比較し、相関値が最大となる部分領域Bを選択することによって、追跡対象物体Dを検出する。 After obtaining the correlation values in all the partial areas, the matching unit 5 compares the magnitudes of these correlation values, and detects the tracking target object D by selecting the partial area B having the maximum correlation value. .
以上、本実施形態によれば、輪郭画素の割合が大きい場合、輪郭画素とともに、輪郭画素ではない画素も用いることによって、追跡対象物体Dの追跡を精度よく行うことができる。 As described above, according to the present embodiment, when the ratio of contour pixels is large, tracking target object D can be accurately tracked by using pixels that are not contour pixels together with contour pixels.
(実施形態6)
実施形態6のテンプレートマッチング装置は、実施形態1と同様の構成であるが、図1に示すマッチング部5の機能が実施形態1と相違している。なお、実施形態1と同様の構成要素については、同一の符号を付して説明を省略する。
(Embodiment 6)
The template matching apparatus of the sixth embodiment has the same configuration as that of the first embodiment, but the function of the matching unit 5 shown in FIG. 1 is different from that of the first embodiment. In addition, about the component similar to Embodiment 1, the same code | symbol is attached | subjected and description is abbreviate | omitted.
本実施形態のマッチング部5は、部分領域Bの輪郭画素に対応するテンプレートCの画素の画素値を抽出するのではなく、部分領域Bの輪郭画素に対応するテンプレートCの画素を中心として予め設定された範囲内にある複数の画素のうち最大の画素値を抽出する。図6を用いて具体的に説明すると、部分領域Bの輪郭画素a3に対応するテンプレートCの画素a4を中心として、図6(b)に示す範囲内(3個×3個の画素の範囲内)の画素から最大の画素値を抽出する。図6(b)において、部分領域Bの輪郭画素a3に対応するテンプレートCの画素a4の画素値は3であるのに対し、範囲内で画素値が最大となるのは、上記対応する画素a4の右上に位置する画素a5であり、画素値は6である。したがって、部分領域Bの輪郭画素a3に対して画素値3を抽出するのではなく画素値6を抽出する。 The matching unit 5 of this embodiment does not extract the pixel value of the pixel of the template C corresponding to the contour pixel of the partial region B, but sets in advance the pixel of the template C corresponding to the contour pixel of the partial region B. The maximum pixel value is extracted from a plurality of pixels within the specified range. Specifically, using FIG. 6, centering on the pixel a4 of the template C corresponding to the contour pixel a3 of the partial region B, the range shown in FIG. 6B (within the range of 3 × 3 pixels). ) To extract the maximum pixel value. In FIG. 6B, the pixel value of the pixel a4 of the template C corresponding to the contour pixel a3 of the partial region B is 3, whereas the pixel value having the maximum value within the range is the corresponding pixel a4. Is the pixel a5 located in the upper right of the pixel, and the pixel value is 6. Therefore, instead of extracting the pixel value 3 for the contour pixel a3 of the partial region B, the pixel value 6 is extracted.
全ての輪郭画素a3において画素値を抽出した後、マッチング部5は、抽出した画素値の総和を計算し、計算した総和を相関値とする。全ての部分領域Bにおいて相関値を求めた後、マッチング部5は、これらの相関値の大きさを比較し、相関値が最大となる部分領域Bを選択することによって、追跡対象物体Dを検出する。 After extracting pixel values in all the contour pixels a3, the matching unit 5 calculates the sum of the extracted pixel values, and uses the calculated sum as a correlation value. After obtaining the correlation values in all the partial areas B, the matching unit 5 detects the tracking target object D by comparing the magnitudes of these correlation values and selecting the partial area B having the maximum correlation value. To do.
以上、本実施形態によれば、輪郭画像の部分領域BとテンプレートCとにおいて輪郭がわずかにずれていた場合であっても、上記輪郭のずれを吸収した形で追跡対象物体Dの検出を行うことができる。 As described above, according to the present embodiment, even when the contour is slightly shifted between the partial region B and the template C of the contour image, the tracking target object D is detected in a form in which the contour shift is absorbed. be able to.
(実施形態7)
実施形態7のテンプレートマッチング装置は、実施形態1と同様の構成であるが、図1に示すマッチング部5の機能が実施形態1と相違している。なお、実施形態1と同様の構成要素については、同一の符号を付して説明を省略する。
(Embodiment 7)
The template matching apparatus of the seventh embodiment has the same configuration as that of the first embodiment, but the function of the matching unit 5 shown in FIG. 1 is different from that of the first embodiment. In addition, about the component similar to Embodiment 1, the same code | symbol is attached | subjected and description is abbreviate | omitted.
本実施形態のマッチング部5は、図7(a)に示すようにテンプレートCの同じ行にある画素の画素値の総和を行ごとに求め、各行の画素値の総和の集合群としてヒストグラムb1を作成する。同様に、マッチング部5は、同じ列にある画素の画素値の総和を列ごとに求め、各列の画素値の総和の集合群としてヒストグラムb2を作成する。 As shown in FIG. 7A, the matching unit 5 of the present embodiment obtains the sum of the pixel values of the pixels in the same row of the template C for each row, and uses the histogram b1 as a set group of the sum of the pixel values of each row. create. Similarly, the matching unit 5 obtains the sum of the pixel values of the pixels in the same column for each column, and creates the histogram b2 as a set group of the sum of the pixel values of each column.
一方、輪郭画像が入力されると、マッチング部5は、テンプレートCと同じ大きさの部分領域Bを順次抽出し、抽出した部分領域Bにおいて、図7(b)に示すように同じ行にある画素の画素値の総和を行ごとに求め、各行の画素値の総和の集合群としてヒストグラムb3を作成する。同様に、マッチング部5は、同じ列にある画素の画素値の総和を列ごとに求め、各列の画素値の総和の集合群としてヒストグラムb4を作成する。 On the other hand, when the contour image is input, the matching unit 5 sequentially extracts the partial areas B having the same size as the template C, and the extracted partial areas B are in the same row as shown in FIG. The sum of the pixel values of the pixels is obtained for each row, and a histogram b3 is created as a set group of the sum of the pixel values of each row. Similarly, the matching unit 5 obtains the sum of the pixel values of the pixels in the same column for each column, and creates the histogram b4 as a set group of the sum of the pixel values of each column.
その後、マッチング部5は、部分領域Bの輪郭画素に対応するテンプレートCの画素の画素値を抽出するのではなく、行ごと及び列ごとに、テンプレートCの画素値の総和と部分領域Bの画素値の総和との差分を計算し、計算した各行の差分の総和及び各列の差分の総和を求める。ここで、各行の差分の総和及び各列の差分の総和が小さいほど部分領域BとテンプレートCの相関が強くなるので、各行の画素値の総和と各列の画素値の総和との和の逆数を部分領域BとテンプレートCの相関値とする。 After that, the matching unit 5 does not extract the pixel values of the pixels of the template C corresponding to the contour pixels of the partial region B, but the sum of the pixel values of the template C and the pixels of the partial region B for each row and column. The difference with the sum of the values is calculated, and the calculated sum of the differences of each row and the sum of the differences of each column are obtained. Here, the smaller the sum of the differences in each row and the sum of the differences in each column, the stronger the correlation between the partial region B and the template C. Therefore, the reciprocal of the sum of the sum of the pixel values in each row and the sum of the pixel values in each column. Is a correlation value between the partial region B and the template C.
全ての部分領域Bにおいて相関値を求めた後、マッチング部5は、これらの相関値の大きさを比較し、相関値が最大となる部分領域(各行の差分の総和と各列の差分の総和との和が最小となる部分領域)Bを選択することによって、追跡対象物体Dを検出する。 After obtaining the correlation values in all the partial areas B, the matching unit 5 compares the magnitudes of these correlation values, and the partial areas having the maximum correlation values (the sum of the differences in each row and the sum of the differences in each column) The tracking target object D is detected by selecting the partial region (B) that has the smallest sum of and.
以上、本実施形態によれば、マッチング部5が追跡対象物体Dを検出する際に、輪郭画像内でテンプレートCを順次移動しても1回の移動において1次元の数列同士の計算を2回行うのみでよいため、テンプレートCを移動するたびに部分領域Bの輪郭画素に対応するテンプレートCの画素の画素値をそれぞれ抽出して全ての画素値の総和を相関値とする場合に比べて、追跡対象物体Dを検出するための処理時間を短縮することができる。 As described above, according to the present embodiment, when the matching unit 5 detects the tracking target object D, even if the template C is sequentially moved in the contour image, the calculation of the one-dimensional number sequences is performed twice in one movement. Compared to the case where each time the template C is moved, the pixel values of the pixels of the template C corresponding to the contour pixels of the partial region B are extracted and the sum of all the pixel values is used as the correlation value. The processing time for detecting the tracking target object D can be shortened.
なお、実施形態1〜7の変形例として、実施形態1〜7のマッチング部5に代えて、実施形態1〜7の各マッチング部5が有する機能のうち2以上の機能を有するマッチング部5を備えてもよい。このようなマッチング部5は、使用者による操作又は自己の判断によって、どの機能を用いて追跡対象物体Dを検出するのかを切り換えることができる。 As a modification of the first to seventh embodiments, instead of the matching unit 5 of the first to seventh embodiments, a matching unit 5 having two or more functions among the functions of each matching unit 5 of the first to seventh embodiments is used. You may prepare. Such a matching unit 5 can switch which function is used to detect the tracking target object D according to the operation by the user or the judgment of the user.
一例として、本変形例のマッチング部5が、「部分領域B(図5(b)参照)及びテンプレートC(図5(a)参照)の両方で画素値が0より大きい画素の個数」と「テンプレートCで画素値が0より大きい画素の個数」の比率を相関値とする機能(実施形態4の機能)と、「(部分領域B及びテンプレートCの両方で画素値が0より大きい画素の個数)と(両方で画素値が0である画素の個数)の和」と「テンプレートCで画素値が0より大きい画素の個数」の比率を相関値とする機能(実施形態5の機能)とを有する場合、マッチング部5は、テンプレートC全体の画素数に占める輪郭画素(画素値が0より大きい画素)の割合が一定以上(例えば10〜20%以上)と判断すると、実施形態5の機能に切り換える一方、上記輪郭画素の割合が一定未満と判断すると、実施形態4の機能に切り換えることができる。 As an example, the matching unit 5 according to the present modified example may determine that “the number of pixels having a pixel value greater than 0 in both the partial region B (see FIG. 5B) and the template C (see FIG. 5A)” and “ A function that uses a ratio of the number of pixels having a pixel value greater than 0 in the template C as a correlation value (function of the fourth embodiment), and “the number of pixels that have a pixel value greater than 0 in both the partial region B and the template C”. ) And (the sum of the number of pixels having a pixel value of 0 in both) and the function (the function of the fifth embodiment) having a ratio of “the number of pixels having a pixel value greater than 0 in template C” as a correlation value. If the matching unit 5 determines that the ratio of the contour pixels (pixels having a pixel value greater than 0) in the total number of pixels of the template C is greater than or equal to a certain value (for example, 10 to 20% or more), On the other hand, the contour pixel When the total is determined to be below a certain, it is possible to switch the functions of the embodiment 4.
1 撮像装置
2 A/D変換部
4 移動輪郭抽出部
5 マッチング部
6 テンプレートメモリ
9 テンプレート作成/更新部
DESCRIPTION OF SYMBOLS 1 Imaging device 2 A / D conversion part 4 Moving outline extraction part 5 Matching part 6 Template memory 9 Template preparation / update part
Claims (7)
追跡対象物体のテンプレートと同じ大きさの部分領域を前記輪郭画像から順次抽出し、当該抽出した部分領域ごとに前記テンプレートとの相関値を求め、当該相関値が最大となる部分領域を選択することによって前記追跡対象物体を検出するマッチング手段と、
前記マッチング手段によってこれまでに選択された複数の前記相関値が最大となる部分領域に対して画素ごとに画素値を累積して、多値の画素値を有する画素で構成される前記テンプレートの作成及び更新を行うテンプレート作成/更新手段と
を備えることを特徴とするテンプレートマッチング装置。 Contour extracting means for extracting a contour of a moving object from a captured image to create a binary contour image;
A partial region having the same size as the template of the tracking target object is sequentially extracted from the contour image, a correlation value with the template is obtained for each extracted partial region, and a partial region having the maximum correlation value is selected. Matching means for detecting the tracking target object by:
Creation of the template composed of pixels having multi-valued pixel values by accumulating pixel values for each pixel in a plurality of partial areas having the maximum correlation values selected so far by the matching means And a template creating / updating means for updating.
前記マッチング手段が、前記部分領域ごとに、当該部分領域の前記輪郭部分の画素に対応する前記テンプレートの画素を抽出し、当該抽出した画素の周囲にある画素の中から画素値が0より大きい画素の個数を求め、前記抽出した画素の画素値に対して前記画素値が0より大きい画素の個数に応じた重み付けを行い、当該重み付けを行った各画素値の総和を前記相関値とする
ことを特徴とする請求項1又は2記載のテンプレートマッチング装置。 The contour extraction means creates a binary contour image with a pixel value of a pixel in the contour portion as 1.
For each partial region, the matching unit extracts pixels of the template corresponding to the pixels of the contour portion of the partial region, and pixels having a pixel value greater than 0 from among the pixels around the extracted pixels The weight of the extracted pixel value is weighted according to the number of pixels having a pixel value greater than 0, and the sum of the weighted pixel values is used as the correlation value. The template matching apparatus according to claim 1 or 2, characterized in that
前記マッチング手段が、前記部分領域ごとに、当該部分領域及び前記テンプレートの両方で画素値が0より大きい画素の個数と、前記テンプレートで画素値が0より大きい画素の個数との比率を計算し前記相関値とする
ことを特徴とする請求項1乃至3のいずれか1項に記載のテンプレートマッチング装置。 The contour extraction means creates a binary contour image with a pixel value of a pixel in the contour portion as 1.
The matching unit calculates, for each partial area, a ratio between the number of pixels having a pixel value greater than 0 in both the partial area and the template and the number of pixels having a pixel value greater than 0 in the template. The template matching device according to claim 1, wherein the template matching device is a correlation value.
前記マッチング手段が、前記部分領域ごとに、当該部分領域及び前記テンプレートの両方で画素値が0より大きい画素の個数と両方で画素値が0である画素の個数との和と、前記テンプレートで画素値が0より大きい画素の個数との比率を計算し前記相関値とする
ことを特徴とする請求項1乃至4のいずれか1項に記載のテンプレートマッチング装置。 The contour extraction means creates a binary contour image with a pixel value of a pixel in the contour portion as 1.
For each partial area, the matching means includes a sum of the number of pixels having a pixel value greater than 0 in both the partial area and the template and the number of pixels having a pixel value of 0 in both the partial area and the template. The template matching apparatus according to claim 1, wherein a ratio with the number of pixels having a value greater than 0 is calculated and used as the correlation value.
前記マッチング手段が、前記部分領域ごとに、当該部分領域の前記輪郭部分の画素に対応する前記テンプレートの画素を中心として予め設定された範囲内にある複数の画素の画素値のうち最大の画素値を抽出し、当該抽出した画素値の総和を計算し前記相関値とする
ことを特徴とする請求項1乃至5のいずれか1項に記載のテンプレートマッチング装置。 The contour extraction means creates a binary contour image with a pixel value of a pixel in the contour portion as 1.
For each partial area, the matching means has a maximum pixel value among pixel values of a plurality of pixels within a preset range centering on a pixel of the template corresponding to a pixel of the contour part of the partial area The template matching apparatus according to claim 1, wherein the correlation value is calculated by calculating a sum of the extracted pixel values.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007110915A JP4867771B2 (en) | 2007-04-19 | 2007-04-19 | Template matching device |
EP07015988A EP1916538A3 (en) | 2006-10-27 | 2007-08-14 | Target moving object tracking device |
TW096130528A TWI375173B (en) | 2006-10-27 | 2007-08-17 | Target moving object tracking device |
CN2007101425988A CN101170683B (en) | 2006-10-27 | 2007-08-29 | Target moving object tracking device |
US11/896,345 US8194134B2 (en) | 2006-10-27 | 2007-08-31 | Target moving object tracking device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007110915A JP4867771B2 (en) | 2007-04-19 | 2007-04-19 | Template matching device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008269258A true JP2008269258A (en) | 2008-11-06 |
JP4867771B2 JP4867771B2 (en) | 2012-02-01 |
Family
ID=40048678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007110915A Expired - Fee Related JP4867771B2 (en) | 2006-10-27 | 2007-04-19 | Template matching device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4867771B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011123737A (en) * | 2009-12-11 | 2011-06-23 | Canon Inc | Object recognition device, object recognition method, and program |
JP2017512091A (en) * | 2014-02-27 | 2017-05-18 | インパック メディカル システムズ、 インク.Impac Medical Systems Inc. | Automatic contour extraction system and method in adaptive radiotherapy |
JP2017096853A (en) * | 2015-11-26 | 2017-06-01 | 株式会社リコー | Information processing device, defect detection method and program |
KR101915475B1 (en) | 2015-03-20 | 2018-11-06 | 에스케이 텔레콤주식회사 | Method for Template Matching and Apparatus Therefor |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03219384A (en) * | 1990-01-25 | 1991-09-26 | Omron Corp | Character recognizing device |
JPH08249467A (en) * | 1995-03-09 | 1996-09-27 | Kokusai Denshin Denwa Co Ltd <Kdd> | Device and method for retrieving similar picture |
JPH10111946A (en) * | 1996-10-04 | 1998-04-28 | Matsushita Electric Ind Co Ltd | Image tracking device |
-
2007
- 2007-04-19 JP JP2007110915A patent/JP4867771B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03219384A (en) * | 1990-01-25 | 1991-09-26 | Omron Corp | Character recognizing device |
JPH08249467A (en) * | 1995-03-09 | 1996-09-27 | Kokusai Denshin Denwa Co Ltd <Kdd> | Device and method for retrieving similar picture |
JPH10111946A (en) * | 1996-10-04 | 1998-04-28 | Matsushita Electric Ind Co Ltd | Image tracking device |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011123737A (en) * | 2009-12-11 | 2011-06-23 | Canon Inc | Object recognition device, object recognition method, and program |
JP2017512091A (en) * | 2014-02-27 | 2017-05-18 | インパック メディカル システムズ、 インク.Impac Medical Systems Inc. | Automatic contour extraction system and method in adaptive radiotherapy |
KR101915475B1 (en) | 2015-03-20 | 2018-11-06 | 에스케이 텔레콤주식회사 | Method for Template Matching and Apparatus Therefor |
JP2017096853A (en) * | 2015-11-26 | 2017-06-01 | 株式会社リコー | Information processing device, defect detection method and program |
Also Published As
Publication number | Publication date |
---|---|
JP4867771B2 (en) | 2012-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10599228B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
US8289402B2 (en) | Image processing apparatus, image pickup apparatus and image processing method including image stabilization | |
JP4855556B1 (en) | Moving object detection apparatus, moving object detection method, moving object detection program, moving object tracking apparatus, moving object tracking method, and moving object tracking program | |
JP4516516B2 (en) | Person detection device, person detection method, and person detection program | |
JP2008113071A (en) | Automatic tracking device | |
US10679358B2 (en) | Learning image automatic sorting device, learning image automatic sorting method, and learning image automatic sorting program | |
JP4525519B2 (en) | Quadrilateral evaluation method, apparatus and program | |
JP4874150B2 (en) | Moving object tracking device | |
JP2006350434A (en) | Hand-shape recognition device and its method | |
JP2009080539A (en) | Gesture recognition device and method therefor | |
JP2009048428A (en) | Moving object tracking device | |
JP4969291B2 (en) | Moving object tracking device | |
JP4867771B2 (en) | Template matching device | |
JP4470434B2 (en) | Motion identification device and object posture identification device | |
KR101769741B1 (en) | Method and apparatus for recognizing iris through pupil detection | |
JP2008035301A (en) | Mobile body tracing apparatus | |
WO2009096422A1 (en) | Three-dimensional shape measurement device, method, and program | |
JP2006222899A (en) | Image processing apparatus and image processing method | |
JP6030457B2 (en) | Image detection apparatus, control program, and image detection method | |
JP5754931B2 (en) | Image analysis apparatus, image analysis method, and program | |
JP4971114B2 (en) | Object recognition apparatus, object recognition method, object recognition program, and computer-readable medium storing the program | |
JP2004295416A (en) | Image processing apparatus | |
JP6118295B2 (en) | Marker embedding device, marker detection device, method, and program | |
JP5470529B2 (en) | Motion detection device, motion detection method, and motion detection program | |
JP6116916B2 (en) | Image detection apparatus, control program, and image detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091118 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20101013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111018 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111031 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141125 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |