JP2018067058A - Image processing device, image processing method, program, and recording medium - Google Patents

Abstract

PROBLEM TO BE SOLVED: To accurately detect a motion vector further quickly while detecting a motion vector using grid-division.SOLUTION: An image processing device includes a region dividing unit for dividing an image into a plurality of regions, a feature point selecting unit for calculating a feature value and selecting a feature point for each divided region, and a motion vector calculation unit for determining an image region to be used for matching operation on the basis of the feature point of each divided region, and calculating a motion vector. The feature point selecting unit selects a feature point on the basis of a feature value of a pixel and a coordinate of the pixel.SELECTED DRAWING: Figure 2

Description

本発明は、動きベクトルを検出する画像処理装置に関するものである。   The present invention relates to an image processing apparatus that detects a motion vector.

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を用いて撮影された映像に対して像ブレ補正を施すためには、フレーム画像間の動き量を検出して複数枚の画像の位置合わせを行う必要がある。フレーム画像間の動き量を検出する方法としては、ジャイロセンサのような外部機器の情報を用いたり、撮影されたフレーム画像から動き量を推定したりする方法等がある。   In order to perform image blur correction on video shot using an imaging device such as a digital still camera or digital video camera, it is necessary to detect the amount of motion between frame images and align multiple images. There is. As a method for detecting the amount of motion between frame images, there are a method of using information of an external device such as a gyro sensor, a method of estimating the amount of motion from a captured frame image, and the like.

フレーム画像を用いて動き量を推定する方法は従来から種々提案されているが、その代表的なものとしてテンプレートマッチングによる動きベクトル検出がある。テンプレートマッチングでは、まず映像中のある２枚のフレーム画像の一方を原画像、もう一方を参照画像とする。そして、原画像上に配置した所定の大きさの矩形領域をテンプレートブロックとし、参照画像の各位置においてテンプレートブロック内の画素値の分布との相関を求める。このとき、参照画像中で最も相関が高くなる位置がテンプレートブロックの移動先であり、原画像上でのテンプレートブロックの位置を基準とした時の移動先への向きと移動量が動きベクトルとなる。   Various methods for estimating the amount of motion using a frame image have been proposed in the past. A typical example is motion vector detection by template matching. In template matching, first, one of two frame images in a video is used as an original image and the other is used as a reference image. Then, a rectangular area having a predetermined size arranged on the original image is used as a template block, and a correlation with a distribution of pixel values in the template block is obtained at each position of the reference image. At this time, the position where the correlation is highest in the reference image is the destination of the template block, and the direction and amount of movement to the destination when the position of the template block on the original image is used as a reference is the motion vector. .

動きベクトルの検出率を向上させるため、特徴点を抽出し、抽出した特徴点にテンプレートブロックを配置し、フレーム画像間でテンプレートマッチングを行う技術がある。ここで、画像全体に対して特徴点抽出を行うと、特徴点の分布は不均一になることが多い。不均一な特徴点に対して得られた動きベクトルを像ブレ補正の用途で使用する場合、特徴点の集中した領域が主となる像ブレ補正となってしまう。   In order to improve the detection rate of motion vectors, there is a technique for extracting feature points, placing template blocks at the extracted feature points, and performing template matching between frame images. Here, when feature points are extracted from the entire image, the distribution of feature points is often non-uniform. When motion vectors obtained for non-uniform feature points are used for image blur correction, an area where the feature points are concentrated is the main image blur correction.

この問題を解決するため、特許文献１では、特徴点を均一に分布させるために、画像をグリッド状に分割して、特徴の大きさを表す特徴値を画素ごとに計算し、各グリッド内で特徴値が最も大きい画素を特徴点として抽出している。   In order to solve this problem, in Patent Document 1, in order to uniformly distribute feature points, an image is divided into grids, and feature values representing the size of the features are calculated for each pixel. A pixel having the largest feature value is extracted as a feature point.

図１３は、特許文献１に記載されている技術に基づいて、各グリッド内で特徴点を求めて、その特徴点にテンプレートブロックを配置し、テンプレートマッチングを行う例を示した図である。図１３において、１５０１は画像、１５０２−１，１５０２−２はグリッド、１５０３−１，１５０３−２はグリッド内の特徴点、１５０４−１，１５０４−２はテンプレート、１５０５−１，１５０５−２はテンプレートに対するサーチ範囲を示す。例えば、グリッド１５０２−１においては、特徴点１５０３−１を重心としたテンプレート１５０４−１に基づいて、テンプレートマッチングが行われる。   FIG. 13 is a diagram showing an example in which feature points are obtained in each grid based on the technique described in Patent Document 1, template blocks are arranged at the feature points, and template matching is performed. In FIG. 13, 1501 is an image, 1502-1 and 1502-2 are grids, 1503-1 and 1503-2 are feature points in the grid, 1504-1 and 1504-2 are templates, and 1505-1 and 1505-2 are Indicates the search range for the template. For example, in the grid 1502-1, template matching is performed based on the template 1504-1 having the feature point 1503-1 as the center of gravity.

特開２００８−１９２０６０号公報JP 2008-192060 A

例えば、ビデオカメラなどの動画の像ブレ補正処理で使用される動きベクトル検出回路においては、リアルタイム性が要求される。そのため、例えば、グリッド１５０２−１における、テンプレートマッチング用画像生成、ならびに特徴点の算出処理が完了した直後に、グリッド１５０２−１のテンプレートマッチング処理を開始出来るように回路を制御する。しかし、グリッド１５０２−２で示すように、特徴点１５０３−２が、グリッドの下端に近い場合、テンプレート１５０４−２と、サーチ範囲１５０５−２が、グリッド１５０２−２の下にはみ出す場合がある。   For example, a motion vector detection circuit used in image blur correction processing of a moving image such as a video camera is required to have real-time characteristics. Therefore, for example, the circuit is controlled so that the template matching process of the grid 1502-1 can be started immediately after the template matching image generation and the feature point calculation process in the grid 1502-1 are completed. However, as indicated by the grid 1502-2, when the feature point 1503-2 is close to the lower end of the grid, the template 1504-2 and the search range 1505-2 may protrude below the grid 1502-2.

その場合、テンプレートマッチングを行うには、グリッド１５０２−２の外側の領域１５０６が必要となるため、下端グリッドより下の画像ラインが余分に必要となる。従って、グリッド１５０２−２のテンプレートマッチング用画像生成、ならびに特徴点の算出処理が完了した直後に、テンプレートマッチング処理を開始することが出来ない。少なくとも、グリッド１５０２−２の外側の領域１５０６に対するテンプレートマッチング用画像の生成が完了するまで、マッチング処理の開始が遅れてしまうという問題がある。   In this case, in order to perform template matching, an area 1506 outside the grid 1502-2 is required, so an extra image line below the lower end grid is required. Therefore, the template matching process cannot be started immediately after the template matching image generation of the grid 1502-2 and the feature point calculation process are completed. There is a problem that at least the start of the matching process is delayed until the generation of the template matching image for the region 1506 outside the grid 1502-2 is completed.

また、グリッド分割によるテンプレートマッチング処理においては、このようにテンプレート画像やサーチ範囲がグリッド外にはみ出る場合に余分画素が必要になるため、メモリにアクセスするデータ量が増えてしまうという問題もある。   Further, in template matching processing by grid division, extra pixels are required when the template image or the search range protrudes outside the grid as described above, and there is a problem that the amount of data accessing the memory increases.

本発明は上述した課題に鑑みてなされたものであり、その目的は、グリッド分割を用いた動きベクトルの検出において、より高速かつ正確に動きベクトルを検出できるようにすることである。   The present invention has been made in view of the above-described problems, and an object thereof is to make it possible to detect a motion vector more quickly and accurately in detecting a motion vector using grid division.

本発明に係る画像処理装置は、１つの画像を複数の領域に分割する領域分割手段と、分割された領域ごとに画素の特徴値を算出して、特徴点を選択する特徴点選択手段と、前記分割された領域ごとの特徴点に基づいてマッチング処理に使用する画像領域を決定し、動きベクトルを算出する動きベクトル算出手段と、を備え、前記特徴点選択手段は、前記画素の特徴値と、前記画素の座標とに基づいて特徴点を選択することを特徴とする。   An image processing apparatus according to the present invention includes a region dividing unit that divides one image into a plurality of regions, a feature point selecting unit that calculates feature values of pixels for each divided region, and selects feature points; Motion vector calculating means for determining an image area to be used for matching processing based on the feature points for each of the divided areas and calculating a motion vector, wherein the feature point selecting means includes the feature value of the pixel and The feature point is selected based on the coordinates of the pixel.

本発明によれば、グリッド分割を用いた動きベクトルの検出において、より高速かつ正確に動きベクトルを検出することが可能となる。   According to the present invention, it is possible to detect a motion vector more quickly and accurately in detecting a motion vector using grid division.

本発明の第１の実施形態に係わる画像処理装置の構成を示す図。1 is a diagram showing a configuration of an image processing apparatus according to a first embodiment of the present invention. 第１の実施形態における動きベクトル検出部の構成を示す図。The figure which shows the structure of the motion vector detection part in 1st Embodiment. 画像信号のグリッド分割を示す図。The figure which shows the grid division | segmentation of an image signal. 分割された画像信号の処理順序を示す図。The figure which shows the processing order of the divided image signal. 第１の実施形態における特徴点算出部の構成を示す図。The figure which shows the structure of the feature point calculation part in 1st Embodiment. テンプレート画像とサーチ画像の読み出し位置を説明する図。The figure explaining the read-out position of a template image and a search image. ベクトル検出画像生成処理、特徴点算出処理、テンプレートマッチング処理の処理タイミングを示す図。The figure which shows the process timing of a vector detection image generation process, a feature point calculation process, and a template matching process. 第１の実施形態における動きベクトル検出シーケンスを示すフローチャート。The flowchart which shows the motion vector detection sequence in 1st Embodiment. 第２の実施形態における特徴点算出部の構成を示す図。The figure which shows the structure of the feature point calculation part in 2nd Embodiment. 第２の実施形態における動きベクトル検出シーケンスを示すフローチャート。10 is a flowchart showing a motion vector detection sequence according to the second embodiment. 第３の実施形態における特徴点算出部の構成を示す図。The figure which shows the structure of the feature point calculation part in 3rd Embodiment. 第３の実施形態における動きベクトル検出シーケンスを示すフローチャート。The flowchart which shows the motion vector detection sequence in 3rd Embodiment. グリッド分割処理に基づく、特徴点テンプレートマッチングを示す図。The figure which shows the feature point template matching based on a grid division process.

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係わる画像処理装置の構成を示す図である。図１において、結像光学系７０１は、レンズや絞り等からなり、フォーカス調節や露出調節を行う。撮像素子７０２は、ＣＣＤ、ＣＭＯＳセンサ等からなり、光学像を電気信号に変換する。Ａ／Ｄ変換回路７０３は、撮像素子７０２から出力されるアナログ画像信号をデジタル画像データに変換する。ＣＰＵ７０４は、バスを介して画像処理装置全体の各種制御を司る。メモリ１０４は、データを格納する。動きベクトル検出部７１０は、画像信号から動きベクトルを検出し、検出結果をＣＰＵ７０４に通知する。画像処理部７１１は、画像信号に対して、レンズ歪の補正処理、動きベクトル検出部７１０が検出した動きベクトルに基づく像ブレ補正処理、等の各種画像処理を施す。表示部７０５は、画像処理部７１１で生成された画像データを液晶ディスプレイ等に表示する。記録部７０６は、画像処理部７１１で生成された画像データをメディア等に記録する。 <First Embodiment>
FIG. 1 is a diagram showing a configuration of an image processing apparatus according to the first embodiment of the present invention. In FIG. 1, an imaging optical system 701 includes a lens, a diaphragm, and the like, and performs focus adjustment and exposure adjustment. The image sensor 702 is composed of a CCD, a CMOS sensor, or the like, and converts an optical image into an electrical signal. The A / D conversion circuit 703 converts an analog image signal output from the image sensor 702 into digital image data. A CPU 704 manages various controls of the entire image processing apparatus via a bus. The memory 104 stores data. The motion vector detection unit 710 detects a motion vector from the image signal and notifies the CPU 704 of the detection result. The image processing unit 711 performs various types of image processing such as lens distortion correction processing and image blur correction processing based on the motion vector detected by the motion vector detection unit 710 on the image signal. The display unit 705 displays the image data generated by the image processing unit 711 on a liquid crystal display or the like. The recording unit 706 records the image data generated by the image processing unit 711 on a medium or the like.

次に、図２は、動きベクトル検出部７１０の構成を示す図である。図２において、グリッド分割部１０１は、画像を複数の領域（本実施形態では、グリッドと呼ぶ）に分割する。ベクトル検出画像生成部１０２は、ベクトル検出用の画像を生成する。特徴点算出部（特徴点選択部）１０３は、画像信号の特徴点を算出する。メモリ１０４は、ベクトル検出画像を格納する。マッチング処理部１０５は、メモリ１０４から読み出されたテンプレート画像とサーチ画像をテンプレートマッチングさせる。メモリアドレス生成部１０６は、特徴点の算出結果に応じて、メモリ１０４からのテンプレート画像とサーチ画像の読み出し位置を変更する。   Next, FIG. 2 is a diagram illustrating a configuration of the motion vector detection unit 710. In FIG. 2, the grid dividing unit 101 divides an image into a plurality of regions (referred to as grids in the present embodiment). The vector detection image generation unit 102 generates an image for vector detection. A feature point calculation unit (feature point selection unit) 103 calculates a feature point of the image signal. The memory 104 stores a vector detection image. The matching processing unit 105 performs template matching between the template image read from the memory 104 and the search image. The memory address generation unit 106 changes the reading position of the template image and the search image from the memory 104 according to the calculation result of the feature points.

次に、第１の実施形態における、動きベクトル検出処理の流れについて説明する。まず、ベクトル検出の対象となる画像信号が、グリッド分割部１０１に入力される。本実施形態におけるベクトル検出処理では、画像信号を複数の領域（グリッド）に分割し、各々の領域でベクトル値を算出する。   Next, the flow of motion vector detection processing in the first embodiment will be described. First, an image signal to be subjected to vector detection is input to the grid dividing unit 101. In the vector detection process in this embodiment, an image signal is divided into a plurality of regions (grids), and a vector value is calculated in each region.

図３は、本実施形態における画像信号のグリッド分割（領域分割）を示す図である。図３では、画像信号２０１を、水平方向に６個、垂直方向に４個の領域（グリッド）に分割している。グリッド分割数、グリッド画像サイズは、ＣＰＵ７０４によってグリッド分割部１０１に対して設定される。以降の処理では、グリッド５０１について特徴点５０３を求め、求めた特徴点に応じて、テンプレート画像５０４の位置（画像領域）とサーチ画像５０５の位置（画像領域）を決定して、テンプレートマッチングを行う。特徴点５０３の座標は、グリッド５０１内の座標となる。グリッド５０８−５の特徴点５１３の場合、テンプレート画像５１４とサーチ画像５１５は、グリッド５０８−５からはみ出す。そのため、上端に余分領域５１６が必要になる。また、グリッド５０８−９の特徴点５２３の場合、テンプレート画像５２４とサーチ画像５２５は、グリッド５０８−９からはみ出す。そのため、下端に余分領域５２６が必要になる。このように端のグリッドに対しては、余分領域を準備する必要がある。余分領域のサイズは、ＣＰＵ７０４によってグリッド分割部１０１に対して設定される。   FIG. 3 is a diagram showing grid division (region division) of an image signal in the present embodiment. In FIG. 3, the image signal 201 is divided into six regions (grids) in the horizontal direction and four in the vertical direction. The number of grid divisions and the grid image size are set for the grid division unit 101 by the CPU 704. In subsequent processing, a feature point 503 is obtained for the grid 501, and the position (image region) of the template image 504 and the position (image region) of the search image 505 are determined according to the obtained feature point, and template matching is performed. . The coordinates of the feature point 503 are the coordinates in the grid 501. In the case of the feature point 513 of the grid 508-5, the template image 514 and the search image 515 protrude from the grid 508-5. Therefore, an extra area 516 is required at the upper end. In the case of the feature point 523 of the grid 508-9, the template image 524 and the search image 525 protrude from the grid 508-9. Therefore, an extra area 526 is required at the lower end. Thus, it is necessary to prepare an extra area for the edge grid. The size of the extra area is set for the grid division unit 101 by the CPU 704.

図４は、分割された画像信号の処理順序を示す図である。グリッド分割部１０１は、後段のベクトル検出画像生成部１０２と、特徴点算出部１０３に対し、画像信号２０１を、前述した余分領域を含めた分割領域単位で出力する。まず、左上端の余分領域５０８−１の画像信号を読み出したら、次に、その右隣の余分領域５０８−２を読み出し、そのまま水平方向の余分領域を読み出す。上端の余分領域の画像信号を全て読み出し終えたら、グリッド５０１に対する左端の余分領域５０８−４を読み出し、その後に、グリッド５０１を読み出す。グリッド５０１を読み出し終えたら、グリッド５０８−５、グリッド５０８−１０という順で、水平方向のグリッドを読み出していく。   FIG. 4 is a diagram illustrating the processing order of the divided image signals. The grid division unit 101 outputs the image signal 201 to the subsequent vector detection image generation unit 102 and the feature point calculation unit 103 in units of divided regions including the extra regions described above. First, after reading the image signal of the extra area 508-1 at the upper left end, the extra area 508-2 on the right is read out, and the extra area in the horizontal direction is read out as it is. When all of the image signals in the extra area at the upper end have been read out, the extra area 508-4 at the left end with respect to the grid 501 is read out, and then the grid 501 is read out. When the grid 501 has been read, the horizontal grids are read in the order of the grid 508-5 and the grid 508-10.

なお、後段のベクトル検出画像生成部１０２は、余分領域を入力する必要があるが、特徴点算出部１０３は、グリッドのみが処理対象となるため、余分領域の入力は不要である。例えば、余分領域がベクトル検出画像生成部１０２に入力されている間は、特徴点算出部１０３は、供給するクロックを停止するなどして、消費電力を抑える構成としてもよい。また、画像信号２０１がラスタスキャンでグリッド分割部１０１に入力される場合は、グリッド分割部１０１において、既知の手法によるラスタブロック変換処理を行う必要がある。   The vector detection image generation unit 102 in the subsequent stage needs to input an extra region, but the feature point calculation unit 103 does not need to input an extra region because only the grid is processed. For example, while the extra area is input to the vector detection image generation unit 102, the feature point calculation unit 103 may be configured to suppress power consumption by stopping the supplied clock. When the image signal 201 is input to the grid division unit 101 by raster scanning, the grid division unit 101 needs to perform raster block conversion processing by a known method.

次に、分割された画像信号は、ベクトル検出画像生成部１０２において、ベクトル検出画像に変換されて、メモリ１０４に書き込まれる。ベクトル検出画像生成部１０２は、例えば、バンドパスフィルタ回路であり、テンプレートマッチング処理に不要な、画像信号の高周波成分と低周波成分をカットすることを目的とする。   Next, the divided image signal is converted into a vector detection image by the vector detection image generation unit 102 and written into the memory 104. The vector detection image generation unit 102 is, for example, a band-pass filter circuit, and aims to cut high-frequency components and low-frequency components of image signals that are unnecessary for template matching processing.

また、ベクトル検出画像が生成されるのと並行して、特徴点算出部１０３において、各グリッドの特徴点が算出される。図５は、特徴点算出部１０３の構成を示した図である。特徴点算出部１０３は、特徴フィルタ部４０１、特徴評価部４０２、特徴点決定部４０３、座標算出部４０４を有する。特徴フィルタ部４０１は、例えば、バンドパスフィルタ、水平微分フィルタ、垂直微分フィルタ、平滑化フィルタなど、複数のフィルタから構成される。例えば、本実施形においては、バンドパスフィルタで不要な画像信号の高周波成分と低周波成分をカットし、水平方向の微分フィルタ処理を施した信号と、垂直方向の微分フィルタ処理を施した信号、それぞれに対して平滑化フィルタ処理を施した信号を出力する。   In parallel with the generation of the vector detection image, the feature point calculation unit 103 calculates the feature points of each grid. FIG. 5 is a diagram illustrating a configuration of the feature point calculation unit 103. The feature point calculation unit 103 includes a feature filter unit 401, a feature evaluation unit 402, a feature point determination unit 403, and a coordinate calculation unit 404. The feature filter unit 401 includes a plurality of filters such as a band pass filter, a horizontal differential filter, a vertical differential filter, and a smoothing filter, for example. For example, in the present embodiment, a high-frequency component and a low-frequency component of an unnecessary image signal are cut by a bandpass filter, a signal subjected to horizontal differential filter processing, and a signal subjected to vertical differential filter processing, A signal obtained by performing smoothing filter processing on each of them is output.

特徴評価部４０２は、特徴フィルタ部４０１によりフィルタ処理されたグリッドに対し、画素ごとに２つのエッジの交点や曲率が極大である曲線状の点など画素の周辺の微分値が多方向に大きい点を特徴評価式により特徴値として算出する。本実施形態では、例えば、Ｓｈｉ ａｎｄ Ｔｏｍａｓｉの手法を用いる場合について説明する。水平微分フィルタと垂直微分フィルタを施した結果から、自己相関行列Ｈを作成する。自己相関行列Ｈの式を（式１）に示す。   The feature evaluation unit 402 has a large differential value around the pixel in many directions, such as an intersection of two edges or a curved point having a maximum curvature for each pixel with respect to the grid filtered by the feature filter unit 401. Is calculated as a feature value by a feature evaluation formula. In the present embodiment, for example, a case where the Shi and Tomasi method is used will be described. An autocorrelation matrix H is created from the result of applying the horizontal differential filter and the vertical differential filter. An expression of the autocorrelation matrix H is shown in (Expression 1).

（式１）において、Ｉxは水平微分フィルタを施した結果、Ｉyは垂直微分フィルタを施した結果を表しており、ガウシアンフィルタＧを畳み込む。Ｓｈｉ ａｎｄ Ｔｏｍａｓｉの特徴評価式を（式２）に示す。 In (Equation 1), Ix represents the result of applying the horizontal differential filter, Iy represents the result of applying the vertical differential filter, and convolves the Gaussian filter G. Shi and Tomasi's characteristic evaluation formula is shown in (Formula 2).

Shi and Tomashi ＝ min（λ1，λ2） （式２）
（式２）は、（式１）の自己相関行列Ｈの固有値λ1，λ2のうち小さい方の固有値を特徴値とすることを示す。 Shi and Tomashi = min (λ1, λ2) (Formula 2)
(Expression 2) indicates that the smaller eigenvalue of the eigenvalues λ1 and λ2 of the autocorrelation matrix H of (Expression 1) is used as the feature value.

座標算出部４０４は、グリッド内における画素の座標を算出する。本実施形態において画素の座標は、グリッドの左上端を（０，０）とした相対座標（ＰＸ，ＰＹ）で表現するが、画像信号における絶対座標で表現してもよい。特徴点決定部４０３は、グリッド毎に、特徴評価部４０２によって算出された特徴値の最も大きい値を持つ画素を特徴点と決定する。グリッド内に同一の特徴値を持つ画素が複数存在した場合は、座標算出部４０４が算出した座標情報から、グリッド内で読み出す順番の一番早い画素を特徴点と決定する。   The coordinate calculation unit 404 calculates the coordinates of the pixels in the grid. In this embodiment, the coordinates of the pixel are expressed by relative coordinates (PX, PY) with (0, 0) being the upper left corner of the grid, but may be expressed by absolute coordinates in the image signal. The feature point determination unit 403 determines a pixel having the largest feature value calculated by the feature evaluation unit 402 as a feature point for each grid. When there are a plurality of pixels having the same feature value in the grid, the pixel with the earliest order of reading in the grid is determined as the feature point from the coordinate information calculated by the coordinate calculation unit 404.

なお、算出された特徴点は、特徴点決定部４０３内で、グリッド毎にメモリやレジスタに記憶される。そして、マッチング処理部１０５において、対応するグリッドのテンプレートマッチング処理が開始されるときに、メモリアドレス生成部１０６に特徴点情報がセットされる。   The calculated feature points are stored in a memory or a register for each grid in the feature point determination unit 403. When the matching processing unit 105 starts the template matching process for the corresponding grid, the feature point information is set in the memory address generation unit 106.

メモリ１０４には、現時点のベクトル検出画像（ベクトル算出画像）と、１フレーム前のベクトル検出画像の、２フレーム分のベクトル検出画像が記憶されている。本実施形においては、現時点のベクトル検出画像をテンプレート画像とし、１フレーム前のベクトル検出画像をサーチ画像として、テンプレートマッチングを行う。メモリアドレス生成部１０６は、メモリ１０４に配置された２枚のベクトル検出画像の所定のグリッドに対して、テンプレートマッチングに必要となるテンプレート画像とサーチ画像の読み出し位置を決定し、メモリアクセスを実施する。   The memory 104 stores a vector detection image for two frames of a current vector detection image (vector calculation image) and a vector detection image one frame before. In this embodiment, template matching is performed using the current vector detection image as a template image and the vector detection image one frame before as a search image. The memory address generation unit 106 determines a reading position of a template image and a search image necessary for template matching for a predetermined grid of two vector detection images arranged in the memory 104, and performs memory access. .

図６は、テンプレート画像とサーチ画像の読み出し位置を示す図である。図６において、５０２はグリッド５０１のグリッド開始座標である。そして、本実施形態では座標が（ＰＸ１，ＰＹ１）である画素５０３と座標が（ＰＸ２，ＰＹ２）である画素５１３の２つの画素がグリッド５０１内において特徴値の最も大きい画素であるとする。特徴点として画素５０３（ＰＸ１，ＰＹ１）を選択した場合、５０３は特徴点座標、５０４はテンプレート画像、５０５はサーチ画像、５０６はテンプレート画像読み出し開始座標、５０７はサーチ画像読み出し開始座標となる。５０８はテンプレートマッチング処理に必要となる、余分画素領域である。特徴点５０３（ＰＸ１，ＰＹ１）は、グリッド開始位置を（ＧＳＸ，ＧＳＹ）とした場合に、画像信号内の絶対座標としては以下の式で表現される。   FIG. 6 is a diagram illustrating the reading positions of the template image and the search image. In FIG. 6, reference numeral 502 denotes a grid start coordinate of the grid 501. In the present embodiment, it is assumed that the two pixels of the pixel 503 whose coordinates are (PX1, PY1) and the pixel 513 whose coordinates are (PX2, PY2) are the pixels having the largest feature value in the grid 501. When a pixel 503 (PX1, PY1) is selected as a feature point, 503 is a feature point coordinate, 504 is a template image, 505 is a search image, 506 is a template image read start coordinate, and 507 is a search image read start coordinate. Reference numeral 508 denotes an extra pixel area necessary for the template matching process. The feature point 503 (PX1, PY1) is expressed by the following formula as absolute coordinates in the image signal when the grid start position is (GSX, GSY).

（ＧＰＸ，ＧＰＹ）＝（ＧＳＸ＋ＰＸ，ＧＳＹ＋ＰＹ） （式３）
テンプレート画像は、特徴点が中心となるように配置される。従って、読み出し開始位置（ＧＴＸ，ＧＴＹ）は、テンプレート画像の水平サイズをＴＸ、垂直サイズをＴＹとした場合、以下の式で表現される。 (GPX, GPY) = (GSX + PX, GSY + PY) (Formula 3)
The template image is arranged so that the feature point is at the center. Accordingly, the read start position (GTX, GTY) is expressed by the following expression when the horizontal size of the template image is TX and the vertical size is TY.

（ＧＴＸ，ＧＴＹ）＝（ＧＰＸ−ＴＸ／２，ＧＰＹ−ＴＹ／２） （式４）
サーチ画像は、画像の中心をテンプレート画像の中心に揃えて配置する。従って、読み出し開始位置（ＧＭＸ，ＧＭＹ）は、水平サイズをＳＸ、垂直サイズをＳＹとした場合、以下の式で表現される。 (GTX, GTY) = (GPX−TX / 2, GPY−TY / 2) (Formula 4)
The search image is arranged with the center of the image aligned with the center of the template image. Accordingly, the read start position (GMX, GMY) is expressed by the following equation when the horizontal size is SX and the vertical size is SY.

（ＧＭＸ，ＧＭＹ）＝（ＧＰＸ−ＳＸ／２，ＧＰＹ−ＳＹ／２） （式５）
メモリアドレス生成部１０６は、メモリ１０４に配置された現フレームのベクトル検出画像に対して、座標（ＧＴＸ，ＧＴＹ）から、水平サイズＴＸ、垂直サイズＴＹの矩形領域を読み出すよう、メモリアドレスを発行する。また、同様に、メモリ１０４に配置された１フレーム前のベクトル検出画像に対して、座標（ＧＭＸ，ＧＭＹ）から水平サイズＳＸ、垂直サイズＳＹの矩形領域を読み出すよう、メモリアドレスを発行する。テンプレート画像の水平、垂直サイズ、サーチ画像の水平、垂直サイズは、ＣＰＵ７０４によってメモリアドレス生成部１０６、マッチング処理部１０５に対して設定されている。 (GMX, GMY) = (GPX-SX / 2, GPY-SY / 2) (Formula 5)
The memory address generation unit 106 issues a memory address so as to read out a rectangular area having a horizontal size TX and a vertical size TY from coordinates (GTX, GTY) with respect to the vector detection image of the current frame arranged in the memory 104. . Similarly, a memory address is issued so that a rectangular area having a horizontal size SX and a vertical size SY is read from coordinates (GMX, GMY) with respect to the vector detection image one frame before arranged in the memory 104. The horizontal and vertical sizes of the template image and the horizontal and vertical sizes of the search image are set for the memory address generation unit 106 and the matching processing unit 105 by the CPU 704.

特徴点として画素５１３（ＰＸ２，ＰＹ２）を選択した場合、５１３は特徴点座標、５１４はテンプレート画像、５１５はサーチ画像、５１６はテンプレート画像読み出し開始座標、５１７はサーチ画像読み出し開始座標となる。テンプレート画像５１４、サーチ画像５１５は、４つのグリッド５０１，５０８−５，５０８−７，５０８−８にまたがっている。   When a pixel 513 (PX2, PY2) is selected as a feature point, 513 is a feature point coordinate, 514 is a template image, 515 is a search image, 516 is a template image readout start coordinate, and 517 is a search image readout start coordinate. The template image 514 and the search image 515 span four grids 501, 508-5, 508-7, and 508-8.

図７は、ベクトル検出画像生成処理、特徴点算出処理、画素５０３（ＰＸ１，ＰＹ１）、画素５１３（ＰＸ２，ＰＹ２）のテンプレートマッチング処理の処理タイミングを示す図である。特徴点として画素５０３（ＰＸ１，ＰＹ１）を選択した場合、画素５０３（ＰＸ１，ＰＹ１）のテンプレート画像５０４、サーチ画像５０５はグリッド５０１内に収まっている。よって、画素５０３（ＰＸ１，ＰＹ１）のテンプレートマッチング処理は、グリッド５０１のベクトル検出画像生成処理が完了したタイミングで開始することが出来る。一方、特徴点として画素５１３（ＰＸ２，ＰＹ２）を選択した場合、画素５１３（ＰＸ２，ＰＹ２）のテンプレート画像５１４、サーチ画像５１５は、４つのグリッド５０１，５０８−５，５０８−７，５０８−８にまたがっている。よって、特徴点５１３（ＰＸ２，ＰＹ２）のテンプレートマッチング処理を開始するためには、４つのグリッド５０１，５０８−５，５０８−７，０５０８−８のベクトル検出画像生成処理が完了している必要がある。   FIG. 7 is a diagram illustrating processing timings of vector detection image generation processing, feature point calculation processing, and template matching processing of pixels 503 (PX1, PY1) and pixels 513 (PX2, PY2). When the pixel 503 (PX1, PY1) is selected as the feature point, the template image 504 and the search image 505 of the pixel 503 (PX1, PY1) are within the grid 501. Therefore, the template matching process of the pixel 503 (PX1, PY1) can be started at the timing when the vector detection image generation process of the grid 501 is completed. On the other hand, when the pixel 513 (PX2, PY2) is selected as the feature point, the template image 514 and the search image 515 of the pixel 513 (PX2, PY2) have four grids 501, 508-5, 508-7, and 508-8. It straddles. Therefore, in order to start the template matching process for the feature point 513 (PX2, PY2), the vector detection image generation process for the four grids 501, 508-5, 508-7, and 0508-8 needs to be completed. is there.

このように、グリッド内で下端に近い特徴点を選択し、テンプレート画像、サーチ画像が複数のグリッドにまたがると、テンプレートマッチング処理の開始が遅れてしまう。そのため、本実施形態では、グリッド内に同一の特徴値の画素が複数存在した場合は、グリッド内で読み出す順番の一番早い画素（グリッドの左上に近い画素）を特徴点と決定している。これにより、テンプレートマッチング処理開始の遅延を防いでいる。   As described above, when a feature point close to the lower end is selected in the grid and the template image and the search image extend over a plurality of grids, the start of the template matching process is delayed. For this reason, in the present embodiment, when there are a plurality of pixels having the same feature value in the grid, the pixel with the earliest order of reading in the grid (the pixel closest to the upper left of the grid) is determined as the feature point. This prevents a delay in starting the template matching process.

また、図３に示すように画像信号の下端グリッド５０８−９において、下端に近い特徴点５２３を選択してテンプレート画像５２４、サーチ画像５２５がグリッドをはみ出すと下端余分画素５２６のベクトル検出画像をメモリ１０４に書き出す必要がある。一方、下端グリッド５０８−１９では、グリッド内読み出し順が一番早い画素５３３を特徴点として選択することで、テンプレート画像５３４、サーチ画像５３５がグリッドからはみ出さない。この場合、下端余分画素５３６のベクトル検出画像をメモリ１０４に書き出す必要はない。本実施形態において、特徴点算出部１０３が算出した特徴点情報は、ベクトル検出画像生成部１０２にも入力されている。ベクトル検出画像生成部１０２は、入力された特徴点情報から、画像信号の下端グリッドの特徴点のテンプレート画像、サーチ画像がグリッドをはみ出さない場合は下端の余分画素のベクトル検出画像をメモリ１０４に書き出さない。これにより、メモリ１０４に書き込むデータ量の増加を防いでいる。   As shown in FIG. 3, when a feature point 523 close to the lower end is selected in the lower end grid 508-9 of the image signal and the template image 524 and the search image 525 protrude from the grid, the vector detection image of the lower end extra pixel 526 is stored in the memory. 104 needs to be written out. On the other hand, in the lower end grid 508-19, the template image 534 and the search image 535 do not protrude from the grid by selecting the pixel 533 having the earliest readout order in the grid as a feature point. In this case, it is not necessary to write the vector detection image of the extra bottom pixel 536 to the memory 104. In the present embodiment, the feature point information calculated by the feature point calculation unit 103 is also input to the vector detection image generation unit 102. The vector detection image generation unit 102 stores, in the memory 104, the template image of the feature point of the lower end grid of the image signal from the input feature point information, or the vector detection image of the extra pixel at the lower end when the search image does not protrude from the grid. Do not export. This prevents an increase in the amount of data written to the memory 104.

マッチング処理部１０５は、メモリ１０４から読み出されたテンプレート画像とサーチ画像を用いて、相関値を算出し、その相関値からベクトル値を算出する。   The matching processing unit 105 calculates a correlation value using the template image and the search image read from the memory 104, and calculates a vector value from the correlation value.

例えば、相関値の算出方法の一例として差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＡＤと略す）を使用する。   For example, a sum of absolute difference (hereinafter abbreviated as SAD) is used as an example of a correlation value calculation method.

（式６）において、ｆ（ｉ，ｊ）はテンプレート画像５０４内の座標（ｉ，ｊ）における画素値を表しており、ｇ（ｉ，ｊ）はサーチ画像５０５において相関値算出の対象となる領域内の各画素値を表す。相関値算出対象領域は、テンプレート画像５０４と同じ大きさである。そしてＳＡＤでは、両ブロック内の各画素値ｆ（ｉ，ｊ）及びｇ（ｉ，ｊ）について差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることが出来る。従って、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さい、つまりテンプレート画像５０４と相関値算出領域内のテクスチャが類似していることを表している。なお、本実施形態では、相関値の一例としてＳＡＤを使用しているが、これに限るものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の相関値を用いてもよい。そして、相関値の最小値の位置（ＭＶＸ，ＭＶＹ）を、グリッドの動きベクトル値として出力する。 In (Expression 6), f (i, j) represents the pixel value at the coordinates (i, j) in the template image 504, and g (i, j) is the target of correlation value calculation in the search image 505. Represents each pixel value in the region. The correlation value calculation target area is the same size as the template image 504. In SAD, the absolute value of the difference is calculated for each pixel value f (i, j) and g (i, j) in both blocks, and the correlation value S_SAD can be obtained by obtaining the sum. Therefore, the smaller the correlation value S_SAD, the smaller the difference in luminance value between the two blocks, that is, the template image 504 and the texture in the correlation value calculation region are similar. In this embodiment, SAD is used as an example of a correlation value, but the present invention is not limited to this, and other correlation values such as a sum of squared differences (SSD) and a normalized cross correlation (NCC) are used. Also good. Then, the position (MVX, MVY) of the minimum value of the correlation value is output as a grid motion vector value.

図８は、本実施形態における動きベクトルの検出シーケンスを示すフローチャートである。まず、ＣＰＵ７０４は、グリッド分割部１０１にグリッド分割数、グリッド画像サイズ、余分領域サイズを設定する（Ｓ８０１）。ＣＰＵ７０４は、メモリアドレス生成部１０６、マッチング処理部１０５にテンプレート画像の水平・垂直サイズ、サーチ画像の水平・垂直サイズを設定する（Ｓ８０２）。ＣＰＵ７０４は、結像光学系７０１、撮像素子７０２に画像信号の取得を指示する（Ｓ８０３）。ＣＰＵ７０４は、動きベクトル検出部７１０から検出完了の通知を受けたら（Ｓ８０４）、検出された動きベクトルデータを取得する（Ｓ８０５）。   FIG. 8 is a flowchart showing a motion vector detection sequence in the present embodiment. First, the CPU 704 sets the number of grid divisions, the grid image size, and the extra area size in the grid division unit 101 (S801). The CPU 704 sets the horizontal / vertical size of the template image and the horizontal / vertical size of the search image in the memory address generation unit 106 and the matching processing unit 105 (S802). The CPU 704 instructs the imaging optical system 701 and the image sensor 702 to acquire an image signal (S803). Upon receiving notification of detection completion from the motion vector detection unit 710 (S804), the CPU 704 acquires detected motion vector data (S805).

以上説明したように、第１の実施形態におけるベクトル検出処理を用いることにより、従来よりもベクトル検出処理の遅延、及びメモリ１０４に書き込むベクトル検出画像のデータ量の増加を防ぐことが出来る。   As described above, by using the vector detection process in the first embodiment, it is possible to prevent the delay of the vector detection process and the increase in the data amount of the vector detection image to be written in the memory 104 as compared with the prior art.

なお、本実施形態では水平方向６個、垂直方向４個にグリッド分割したが、水平方向６個、垂直方向４個のグリッド分割数でなくてもよい。また、画像信号の読み出し順は必ずしも本実施形態と同じでなくてもよく、読み出す順番の一番早い画素を特徴点として選択出来ればよい。   In this embodiment, the grid is divided into six in the horizontal direction and four in the vertical direction, but the number of grid divisions may not be six in the horizontal direction and four in the vertical direction. In addition, the readout order of the image signals is not necessarily the same as that in the present embodiment, and it is sufficient that the pixel with the earliest readout order can be selected as the feature point.

＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。第２の実施形態の画像処理装置の構成、動きベクトル検出部の構成、画像信号のグリッド分割、分割された画像信号の処理順序は第１の実施形態と同様であるため、説明を省略する。第２の実施形態では、特徴点算出部の構成、動きベクトル検出シーケンスが第１の実施形態と異なる。 <Second Embodiment>
Hereinafter, a second embodiment of the present invention will be described. Since the configuration of the image processing apparatus, the configuration of the motion vector detection unit, the grid division of the image signal, and the processing order of the divided image signals in the second embodiment are the same as those in the first embodiment, the description thereof is omitted. In the second embodiment, the configuration of the feature point calculation unit and the motion vector detection sequence are different from those in the first embodiment.

図９は、第２の実施形態における特徴点算出部の構成を示す図である。特徴フィルタ部４０１、特徴評価部４０２、特徴点決定部４０３、座標算出部４０４は第１の実施形態と同じである。ゲイン算出部９０１は、特徴評価部４０２が算出した座標情報とＣＰＵ７０４に設定されたゲイン算出係数から、特徴画像評価結果に重み付けするゲインを算出する。特徴点決定部４０３は、ゲインで重み付けされた特徴画像評価結果から特徴点を決定する。本実施形態では、グリッド内の読み出す順番の早い座標のゲインが大きくなるようにしている。これにより、特徴画像評価結果が一番大きくなくとも、グリッド内の読み出す順番の早い座標が特徴点として選択される点が第１の実施形態と異なる。本制御によって、より読み出し順が早い座標を特徴点として選択することが出来る。   FIG. 9 is a diagram illustrating a configuration of a feature point calculation unit according to the second embodiment. The feature filter unit 401, the feature evaluation unit 402, the feature point determination unit 403, and the coordinate calculation unit 404 are the same as those in the first embodiment. The gain calculation unit 901 calculates a gain for weighting the feature image evaluation result from the coordinate information calculated by the feature evaluation unit 402 and the gain calculation coefficient set in the CPU 704. The feature point determination unit 403 determines a feature point from the feature image evaluation result weighted by the gain. In the present embodiment, the gain of the coordinates in the early order of reading in the grid is increased. This is different from the first embodiment in that even if the feature image evaluation result is not the largest, the coordinates that are read in the grid in the early order of selection are selected as the feature points. With this control, it is possible to select, as a feature point, coordinates that are earlier in reading order.

図１０は、本実施形態における動きベクトル検出シーケンスを示すフローチャートである。まず、ＣＰＵ７０４は、グリッド分割部１０１にグリッド分割数、グリッド画像サイズ、余分領域サイズを設定する（Ｓ１００１）。ＣＰＵ７０４は、メモリアドレス生成部１０６、マッチング処理部１０５にテンプレート画像の水平・垂直サイズ、サーチ画像の水平・垂直サイズを設定する（Ｓ１００２）。ＣＰＵ７０４は、ゲイン算出部９０１にゲイン算出係数を設定する（Ｓ１００３）。ＣＰＵ７０４は、結像光学系７０１、撮像素子７０２に画像信号の取得を指示する（Ｓ１００４）。ＣＰＵ７０４は、動きベクトル検出部７１０から検出完了の通知を受けたら（Ｓ１００５）、検出された動きベクトルデータを取得する（Ｓ１００６）。   FIG. 10 is a flowchart showing a motion vector detection sequence in the present embodiment. First, the CPU 704 sets the number of grid divisions, the grid image size, and the extra area size in the grid division unit 101 (S1001). The CPU 704 sets the horizontal / vertical size of the template image and the horizontal / vertical size of the search image in the memory address generation unit 106 and the matching processing unit 105 (S1002). The CPU 704 sets a gain calculation coefficient in the gain calculation unit 901 (S1003). The CPU 704 instructs the imaging optical system 701 and the image sensor 702 to acquire an image signal (S1004). Upon receiving notification of detection completion from the motion vector detection unit 710 (S1005), the CPU 704 obtains detected motion vector data (S1006).

以上、第２の実施形態におけるベクトル検出処理によって、より読み出し順が早い座標を特徴点として選択出来るため、ベクトル検出処理の遅延、及びメモリ１０４に書き込むベクトル検出画像のデータ量の増加を防ぐことが出来る。   As described above, the vector detection process according to the second embodiment can select coordinates with earlier reading order as feature points, thereby preventing a delay in the vector detection process and an increase in the data amount of the vector detection image written in the memory 104. I can do it.

なお、本実施形態ではグリッド内の読み出し順のみに基づいてゲインを算出したが、読み出し順だけでなく、他の画像信号処理結果も考慮してゲインを算出してもよい。例えば撮像されたシーンを解析するシーン解析手段を持ち、シーン解析結果、及びグリッド内読み出し順の両方を考慮してゲインを算出してもよい。
＜第３の実施形態＞
以下、本発明の第３の実施形態について説明する。第３の実施形態の画像処理装置の構成、動きベクトル検出部の構成、画像信号のグリッド分割、分割された画像信号の処理順序は第１、第２の実施形態と同様であるため、説明を省略する。第３の実施形態では、特徴点算出部の構成、動きベクトル検出シーケンスが第１、第２の実施形態と異なる。 In the present embodiment, the gain is calculated based only on the readout order in the grid. However, the gain may be calculated in consideration of not only the readout order but also other image signal processing results. For example, a scene analysis unit that analyzes a captured scene may be provided, and the gain may be calculated in consideration of both the scene analysis result and the readout order in the grid.
<Third Embodiment>
Hereinafter, a third embodiment of the present invention will be described. The configuration of the image processing apparatus of the third embodiment, the configuration of the motion vector detection unit, the grid division of the image signal, and the processing order of the divided image signals are the same as those in the first and second embodiments. Omitted. In the third embodiment, the configuration of the feature point calculation unit and the motion vector detection sequence are different from those in the first and second embodiments.

図１１は、第３の実施形態における特徴点算出部の構成を示す図である。特徴フィルタ部４０１、特徴評価部４０２、座標算出部４０４は第１、第２の実施形態と同じである。閾値判定部１１０１は、特徴評価部４０２が算出した特徴画像評価結果とＣＰＵ７０４に設定された閾値との比較結果を出力する。特徴決定部１１０３は、閾値との比較結果から特徴点を決定する。本実施形態では、閾値を超えた特徴画像評価結果が複数あり、閾値判定部１１０１の判定結果が同一の画素が複数ある場合にグリッド内の読み出し順が一番早い座標を特徴点として選択する。これにより、特徴画像評価結果が一番大きくなくとも、評価結果が十分大きく、かつグリッド内の読み出し順が早い座標を特徴点として選択出来る点が第１の実施形態と異なる。この制御により、特徴画像評価結果が高く、かつ読み出し順が早い座標を特徴点として選択することが出来る。   FIG. 11 is a diagram illustrating a configuration of a feature point calculation unit according to the third embodiment. The feature filter unit 401, the feature evaluation unit 402, and the coordinate calculation unit 404 are the same as those in the first and second embodiments. The threshold determination unit 1101 outputs a comparison result between the feature image evaluation result calculated by the feature evaluation unit 402 and the threshold set in the CPU 704. The feature determination unit 1103 determines a feature point from the comparison result with the threshold value. In the present embodiment, when there are a plurality of feature image evaluation results exceeding the threshold value and there are a plurality of pixels with the same determination result of the threshold determination unit 1101, the coordinate with the earliest readout order in the grid is selected as the feature point. This is different from the first embodiment in that even if the feature image evaluation result is not the largest, the evaluation result is sufficiently large and the coordinates in the grid that are read out earlier can be selected as the feature point. With this control, coordinates with high feature image evaluation results and quick reading order can be selected as feature points.

図１２は、本実施形態における、動きベクトル検出シーケンスを示すフローチャートである。まず、ＣＰＵ７０４は、グリッド分割部１０１にグリッド分割数、グリッド画像サイズ、余分領域サイズを設定する（Ｓ１２０１）。ＣＰＵ７０４は、メモリアドレス生成部１０６、マッチング処理部１０５にテンプレート画像の水平・垂直サイズ、サーチ画像の水平・垂直サイズを設定する（Ｓ１２０２）。ＣＰＵ７０４は、閾値判定部１１０１に閾値を設定する（Ｓ１２０３）。ＣＰＵ７０４は、結像光学系７０１、撮像素子７０２に画像信号の取得を指示する（Ｓ１２０４）。ＣＰＵ７０４は、動きベクトル検出部７１０から検出完了の通知を受けたら（Ｓ１２０５）、検出された動きベクトルデータを取得する（Ｓ１２０６）。   FIG. 12 is a flowchart showing a motion vector detection sequence in the present embodiment. First, the CPU 704 sets the number of grid divisions, the grid image size, and the extra area size in the grid division unit 101 (S1201). The CPU 704 sets the horizontal / vertical size of the template image and the horizontal / vertical size of the search image in the memory address generation unit 106 and the matching processing unit 105 (S1202). The CPU 704 sets a threshold in the threshold determination unit 1101 (S1203). The CPU 704 instructs the imaging optical system 701 and the image sensor 702 to acquire an image signal (S1204). Upon receiving notification of detection completion from the motion vector detection unit 710 (S1205), the CPU 704 acquires detected motion vector data (S1206).

以上、第３の実施形態におけるベクトル検出処理により、特徴画像評価結果が高く、かつ読み出し順が早い座標を特徴点として選択することが出来る。これより、ベクトル検出精度を落とすことなく、ベクトル検出処理の遅延、及びメモリ１０４に書き込むベクトル検出画像のデータ量の増加を防ぐことが出来る。   As described above, by the vector detection process in the third embodiment, it is possible to select coordinates having a high feature image evaluation result and a fast reading order as feature points. As a result, it is possible to prevent delay in vector detection processing and increase in the amount of vector detection image data to be written in the memory 104 without reducing the vector detection accuracy.

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１０１：グリッド分割部、１０２：ベクトル検出画像生成部、１０３：特徴点算出部、１０４：メモリ、１０５：マッチング処理部、１０６：メモリアドレス生成部、７１０：動きベクトル検出部 101: Grid division unit, 102: Vector detection image generation unit, 103: Feature point calculation unit, 104: Memory, 105: Matching processing unit, 106: Memory address generation unit, 710: Motion vector detection unit

Claims (12)

１つの画像を複数の領域に分割する領域分割手段と、
分割された領域ごとに画素の特徴値を算出して、特徴点を選択する特徴点選択手段と、
前記分割された領域ごとの特徴点に基づいてマッチング処理に使用する画像領域を決定し、動きベクトルを算出する動きベクトル算出手段と、を備え、
前記特徴点選択手段は、前記画素の特徴値と、前記画素の座標とに基づいて特徴点を選択することを特徴とする画像処理装置。 Area dividing means for dividing one image into a plurality of areas;
A feature point selection means for calculating a feature value of a pixel for each divided region and selecting a feature point;
A motion vector calculating means for determining an image region to be used for matching processing based on a feature point for each of the divided regions, and calculating a motion vector;
The image processing apparatus, wherein the feature point selection unit selects a feature point based on a feature value of the pixel and a coordinate of the pixel. 前記特徴点選択手段は、前記画素の特徴値と、前記分割された領域における前記画素の座標とに基づいて特徴点を選択することを特徴とする請求項１に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the feature point selection unit selects a feature point based on a feature value of the pixel and a coordinate of the pixel in the divided area. 前記特徴点選択手段は、前記分割された領域において同一の特徴値を有する画素が複数存在した場合に、前記分割された領域で前記特徴点選択手段が読み出す順番の早い画素を特徴点として選択することを特徴とする請求項１又は２に記載の画像処理装置。   The feature point selection unit selects, as a feature point, a pixel that is earlier in the order of reading by the feature point selection unit in the divided area when there are a plurality of pixels having the same feature value in the divided area. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus. 前記特徴点選択手段は、前記分割された領域において同一の特徴値を有する画素が複数存在した場合に、前記分割された領域で前記特徴点選択手段が読み出す順番の一番早い画素を特徴点として選択することを特徴とする請求項３に記載の画像処理装置。   The feature point selection means, when there are a plurality of pixels having the same feature value in the divided area, the feature point selecting means uses the earliest pixel read by the feature point selection means as the feature point in the divided area. The image processing apparatus according to claim 3, wherein the image processing apparatus is selected. 前記特徴点選択手段が読み出す順番の一番早い画素とは、前記分割された領域において左上の位置の座標の画素であることを特徴とする請求項４に記載の画像処理装置。   The image processing apparatus according to claim 4, wherein the pixel with the earliest order of reading by the feature point selection unit is a pixel at a coordinate at an upper left position in the divided area. 前記特徴点選択手段は、前記分割された領域における画素の座標に基づいてゲインを算出するゲイン算出手段をさらに有し、前記ゲイン算出手段が算出したゲインによって重み付けされた特徴値に基づいて特徴点を選択することを特徴とする請求項１又は２に記載の画像処理装置。   The feature point selection unit further includes a gain calculation unit that calculates a gain based on the coordinates of a pixel in the divided region, and the feature point is based on a feature value weighted by the gain calculated by the gain calculation unit. The image processing apparatus according to claim 1, wherein the image processing apparatus is selected. 前記ゲイン算出手段は、前記分割された領域において、前記特徴点選択手段が読み出す順番の早い座標の画素ほどゲインが大きくなるようにゲインを算出することを特徴とする請求項６に記載の画像処理装置。   7. The image processing according to claim 6, wherein the gain calculation unit calculates the gain so that the gain of a pixel at an earlier coordinate in the order of reading by the feature point selection unit is larger in the divided area. 8. apparatus. 前記特徴点選択手段は、前記画素の特徴値と所定の閾値とを比較することにより、前記特徴点を選択することを特徴とする請求項１又は２に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the feature point selection unit selects the feature point by comparing a feature value of the pixel with a predetermined threshold value. 前記特徴点選択手段は、前記画素の特徴値と所定の閾値とを比較した結果、同一の判定結果の画素が複数存在した場合に、前記分割された領域において前記特徴点選択手段が読み出す順番の一番早い画素を特徴点として選択することを特徴とする請求項８に記載の画像処理装置。   The feature point selection unit compares the feature value of the pixel with a predetermined threshold, and when there are a plurality of pixels having the same determination result, the feature point selection unit reads the order of the feature point selection unit in the divided area. The image processing apparatus according to claim 8, wherein the earliest pixel is selected as a feature point. １つの画像を複数の領域に分割する領域分割工程と、
分割された領域ごとに画素の特徴値を算出して、特徴点を選択する特徴点選択工程と、
前記分割された領域ごとの特徴点に基づいてマッチング処理に使用する画像領域を決定し、動きベクトルを算出する動きベクトル算出工程と、を有し、
前記特徴点選択工程では、前記画素の特徴値と、前記画素の座標とに基づいて特徴点を選択することを特徴とする画像処理方法。 A region dividing step of dividing one image into a plurality of regions;
Calculating a feature value of a pixel for each divided region and selecting a feature point; and
A motion vector calculating step of determining an image region to be used for the matching process based on the feature points for each of the divided regions and calculating a motion vector;
In the feature point selection step, a feature point is selected based on a feature value of the pixel and a coordinate of the pixel. 請求項１０に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。   The program for making a computer perform each process of the image processing method of Claim 10. 請求項１０に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。   A computer-readable storage medium storing a program for causing a computer to execute each step of the image processing method according to claim 10.

Images