JPH10191346A - Motion detector, motion detecting method and storage medium - Google Patents

Abstract

PROBLEM TO BE SOLVED: To reduce the arithmetic amount required to calculate a motion vector by using a different evaluation function depending on the size of the grid of the retrieval area of each layer to calculate an evaluation value with respect to a notice picture element thereby detecting the motion vector. SOLUTION: A control section 2 outputs an image mode signal, a prediction mode signal, a motion vector and various control signals to control the entire system. In the case of detecting the motion vector, the control section 2 uses an evaluation function using search points of a different number depending on the size of the grid of the retrieval area of each layer in the n-step search to detect a motion. In details, wen the grid is fine, the evaluation function at sufficiently many numbers of search points is used and when the grid is rough, the evaluation function at a few numbers of search points is used to detect a motion, then the arithmetic amount required for motion detection is reduced in the n-step search.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、動き検出装置、動
き検出方法、及び記憶媒体に関し、詳細には、動きベク
トルを算出するに際して、演算量を低減した動き検出装
置、動き検出方法、及び記憶媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion detection device, a motion detection method, and a storage medium. Regarding the medium.

【０００２】[0002]

【従来の技術】画像圧縮の国際標準としてＪＰＥＧ（Jo
int Photographic Expert Group）やＭＰＥＧ（Moving
Picture Expert Group）がある。ＭＰＥＧは、ＭＰＥＧ
１、ＭＰＥＧ２，ＭＰＥＧ３の３レベルの規格が承認さ
れている。2. Description of the Related Art JPEG (Jo
int Photographic Expert Group) or MPEG (Moving
Picture Expert Group). MPEG is MPEG
1. Three levels of standards, MPEG2 and MPEG3, have been approved.

【０００３】先ず、ＭＰＥＧ１では、１．５Ｍｂｐｓの
通信回線で伝送できる動画増圧縮を目的としており、主
に、テレビ電話やテレビ会議などで使用することが考え
られている。ＭＰＥＧＩでは、現行のＮＴＳＣ方式のビ
デオ画像を３２０×２４０ピクセルの解像度として扱
い、１フレームを構成する２フィールドの内１フィール
ドのみのデータを用いる。ＭＰＥＧＩＩでは、１０Ｍｂ
ｐｓの通信回線で伝送できる圧縮が目標で、ＩＳＤＮな
どによる動画像伝送やデジタル・ビデオがターゲットと
されている。そして、ＭＰＥＧＩＩＩは、ハイビジョン
などによる次世代テレビが対象となっている。[0003] First, MPEG1 aims at increasing the compression of moving images that can be transmitted over a 1.5 Mbps communication line, and is mainly considered for use in videophones, videoconferencing, and the like. MPEGI treats a video image of the current NTSC system as a resolution of 320 × 240 pixels, and uses data of only one of two fields constituting one frame. In MPEGII, 10 Mb
The target is compression that can be transmitted over a communication line of ps, and video and digital video transmission by ISDN and the like are targeted. MPEG III is intended for next-generation televisions such as high definition television.

【０００４】ＭＰＥＧの特徴は、ＤＣＴ（Discrete Cos
ine Transform：離散コサイン変換）による静止画像圧
縮に加えて、時間軸方向の圧縮のためのフレーム間予測
処理を行うことであるが、動画像の前提条件としてフレ
ームのランダム・アクセスが出来ること、早送りによる
生成や巻き戻し再生（逆方向）ができることがあげられ
ている。従って、ＭＰＥＧにおけるフレーム間予測は、
前向きと後ろ向きの両方を採用している。ＭＰＥＧであ
っても、基本的にはＭＣ（動き補償）＋ＤＣＴを用い
る。動き補償を行うブロックサイズは１６×１６（但
し、８×８のモードもある）、ＤＣＴは８×８ブロック
に対して行う。また、この動き補償は１／２画素精度で
行う。１／２画素精度の動き補償は、予測に用いる参照
フレーム上において画素単位でずらした位置を調べるの
みならず、画素と画素の間の位置を補間によって生成
し、マッチングをとることによって行う。The feature of MPEG is that DCT (Discrete Cos
ine Transform (Discrete Cosine Transform) is to perform inter-frame prediction processing for compression in the time axis direction in addition to still image compression, but random access of frames is possible as a precondition for moving images, and fast forward. And rewind reproduction (reverse direction). Therefore, the inter-frame prediction in MPEG is
Both forward and backward are adopted. Even for MPEG, basically, MC (motion compensation) + DCT is used. The block size for performing motion compensation is 16 × 16 (however, there is also an 8 × 8 mode), and DCT is performed for 8 × 8 blocks. This motion compensation is performed with half-pixel accuracy. Motion compensation with half-pixel accuracy is performed not only by examining a position shifted in pixel units on a reference frame used for prediction, but also by generating a position between pixels by interpolation and performing matching.

【０００５】時間方向の予測を伴う動画像圧縮装置で
は、カメラのＰＡＮや被写体の移動による予測効率の低
下を低減させるために、動き補償による予測を行ってい
る。この動き補償は、着目フレームと参照フレーム間で
対象領域の動きベクトルを検出し、参照フレームにおい
て、動きベクトル分だけずらした位置を参照画素とし、
これを予測値として着目画素との差分（予測誤差）を転
送する方法である。例えば、動き補償予測を図７に示す
ように、予測元画像の動きベクトルを元に移動体の動き
を予測し、原画像においてその動きを補償している。動
き補償は１６×１６画素のブロック単位で前画像のその
ブロックの位置の近傍で、一番差分が少ないところを検
索し、それとの差分をとることによりさらに送らなけれ
ばならないデータを削除するという手法であり、動きベ
クトルを検索する手段として、図８に示すように一般に
動き補償の対象となる部分画像の元の場所から一定の範
囲内をサーチし、最も誤差の少ない場所を選ぶ（ＭＥと
いう）という方法をとっている。[0005] In a moving image compression apparatus that involves prediction in the time direction, prediction is performed using motion compensation in order to reduce a decrease in prediction efficiency due to movement of a camera PAN or a subject. This motion compensation detects a motion vector of the target region between the target frame and the reference frame, and sets a position shifted by the motion vector in the reference frame as a reference pixel,
This is a method of transferring the difference (prediction error) from the target pixel as a prediction value. For example, as shown in FIG. 7, the motion compensation prediction predicts the motion of the moving object based on the motion vector of the prediction original image, and compensates the motion in the original image. The motion compensation is a method of searching for a place having the smallest difference in the vicinity of the position of the block of the previous image in a unit of 16 × 16 pixels, and removing the data which must be further sent by taking the difference therefrom. As a means for retrieving a motion vector, generally, as shown in FIG. 8, a predetermined range is searched from the original location of a partial image to be subjected to motion compensation, and a location having the least error is selected (referred to as ME). The method is taken.

【０００６】また、時間方向の予測を伴う通常の動画像
圧縮装置（ＣＣＩＴＴ Ｈ．２６１やＭＰＥＧ．Ｖｉｄ
ｅｏ等）では、生成された動きベクトルを符号化する場
合、その付近の部分画像（通常は、１つ前に処理された
部分画像）の持つ動きベクトルとの差分をとり、その差
分のみを符号化している。[0006] In addition, a conventional moving picture compression apparatus (CCITT H.261 or MPEG.
eo), when encoding the generated motion vector, the difference between the generated motion vector and the motion vector of a nearby partial image (usually, the partial image processed immediately before) is calculated, and only the difference is encoded. Is becoming

【０００７】尚、上記においては、動き補償ＭＣを行う
に際して、動きベクトルを検索する場合に、最も誤差の
少ない位置を選ぶこととしているのは、符号化効率を上
げるため等の理由であり、符号化効率を上げるために
は、必ずしも評価値最小である必要はない。すなわち、
ＭＥの精度と、計算量とは、トレードオフの関係があ
り、このトレードオフを考慮して、動きベクトルの検索
方法としては、例えば、図９及び図１０の如き種々の方
法が提案されている。In the above, when performing motion compensation MC, when searching for a motion vector, the position with the least error is selected for reasons such as to increase the coding efficiency. It is not always necessary to minimize the evaluation value in order to increase the conversion efficiency. That is,
There is a trade-off relationship between the accuracy of the ME and the amount of calculation, and in consideration of this trade-off, various methods as shown in FIGS. 9 and 10 have been proposed as motion vector search methods. .

【０００８】図９及び図１０において、現フレームの着
目画素に対応する前フレームの参照画素ａ（○）を中心
として、サーチする画素を黒丸で示している。図９に示
す方法は、フルサーチと呼ばれるもので、±７の位置す
べてをサーチして最小の点を求める為、計算量が大きい
が、真の意味で最小の位置がもとまる。In FIGS. 9 and 10, pixels to be searched are indicated by black circles around a reference pixel a (ａ) of the previous frame corresponding to the target pixel of the current frame. The method shown in FIG. 9 is called a full search. Since the minimum point is obtained by searching all positions ± 7, the calculation amount is large, but the minimum position can be obtained in a true sense.

【０００９】図１０に示す方法は、ｎステップサーチ
（特に、図１０に示す例では、３ステップサーチが示さ
れている）と呼ばれるものであり、各階層の探索領域内
で着目画素との誤差が最小となる点をサーチする。図１
０において、先ず、点ａを中心に９点（尚、９点とは自
分の周りの８点と自分自身も含めて９点としている。）
の探索領域範Ｅ１（グリッドの大きさｇ＝４）につい
て、着目画素との誤差（評価値）が最小となる点を求め
る。ここで、例えば、ｂ点が最小となるとする。次に、
ｂを中心として、前の９点より中心に近い９点の探索領
域Ｅ２（グリッドの大きさｇ＝２）について、誤差が最
小となる点を求める。例えば、ｃ点が最小となるとす
る。最後に、ｃ点に最も近い９点の探索領域Ｅ３（グリ
ッドの大きさｇ＝１）について、誤差が最小となる点を
求める。ここで、誤差が最小となる点を点ｄとすると、
点ａから点ｄのベクトルが動きベクトルとなる。The method shown in FIG. 10 is called an n-step search (in particular, a three-step search is shown in the example shown in FIG. 10). Search for the point where is the smallest. FIG.
At 0, first, 9 points around the point a (9 points are 8 points around the user and 9 points including himself).
In the search area range E1 (grid size g = 4), the point at which the error (evaluation value) from the pixel of interest is minimized. Here, for example, it is assumed that the point b is minimized. next,
With respect to nine search areas E2 (grid size g = 2) closer to the center than the previous nine points with b as the center, the point with the smallest error is found. For example, it is assumed that the point c becomes minimum. Finally, for the nine search areas E3 (grid size g = 1) closest to the point c, the point with the smallest error is found. Here, assuming that the point at which the error is minimum is point d,
The vector from point a to point d is the motion vector.

【００１０】[0010]

【発明が解決しようとする課題】しかしながら、上記し
たフルサーチ及びｎステップサーチでは、実際にＤＳＰ
などで演算した場合には、演算量が多くなり、高速に動
きベクトルを検出できないという課題がある。However, in the above-described full search and n-step search, a DSP is actually used.
In such a case, there is a problem that the amount of calculation increases and a motion vector cannot be detected at high speed.

【００１１】本発明は、上記課題に鑑みてなされたもの
であり、動きベクトルを算出する際の演算量を低減した
動き検出装置、動き検出方法、及び記憶媒体を提供する
ことをその目的とする。SUMMARY OF THE INVENTION The present invention has been made in consideration of the above problems, and has as its object to provide a motion detection device, a motion detection method, and a storage medium that reduce the amount of calculation when calculating a motion vector. .

【００１２】[0012]

【課題を解決するための手段】請求項１記載の発明に係
る動き検出装置は、ｎ（ｎは自然数）ステップサーチに
より、動きベクトルを検出する動き検出装置において、
各階層の探索領域のグリッドの大きさに応じて、異なる
評価関数を用いて、着目画素との評価値を算出し動きベ
クトルを検出する動きベクトル検出手段を備えたことに
より上記課題を解決する。According to a first aspect of the present invention, there is provided a motion detecting apparatus for detecting a motion vector by n (n is a natural number) step search.
The above object is achieved by providing a motion vector detecting means for calculating an evaluation value with a pixel of interest and detecting a motion vector by using different evaluation functions according to the size of a grid in a search area of each hierarchy.

【００１３】即ち、請求項１記載の発明に係る動き検出
装置によれば、ｎ（ｎは自然数）ステップサーチによ
り、動きベクトルを検出する動き検出装置において、動
きベクトル検出手段は、各階層の探索領域のグリッドの
大きさに応じて、異なる評価関数を用いて、着目画素と
の評価値を算出し動きベクトルを検出する。That is, according to the motion detecting apparatus of the first aspect, in the motion detecting apparatus for detecting a motion vector by n (n is a natural number) step search, the motion vector detecting means includes: An evaluation value with respect to the pixel of interest is calculated using a different evaluation function according to the size of the grid of the area, and a motion vector is detected.

【００１４】従って、ｎ−ステップサーチにおいて、各
階層の探索領域のグリッドの大きさに応じて、異なった
評価関数を用いて動きベクトルを検出する構成であるの
で、ｎ−ステップサーチにおいて、動きベクトルの検出
の際の演算量を低減することが可能となる。Therefore, in the n-step search, the motion vector is detected by using different evaluation functions according to the size of the grid in the search area of each hierarchy. It is possible to reduce the amount of calculation at the time of detecting.

【００１５】この場合、請求項２記載の発明に係る動き
検出装置の如く、前記動きベクトル検出手段は、前記グ
リッドの大きさが、より小となる場合に、よりサーチ点
の多い評価関数を用いる構成としても良い。In this case, as in the motion detecting apparatus according to the second aspect of the present invention, when the size of the grid is smaller, the motion vector detecting means uses an evaluation function having more search points. It is good also as composition.

【００１６】従って、グリッドが細かい時には、十分多
いサーチ点による評価関数を用い、グリッドが粗い時に
は、少ないサーチ点による評価関数を用いて動きベクト
ルを検出する構成であるので、ｎ−ステップサーチにお
いて、動き検出の際の演算量をより低減することが可能
となる。Therefore, when the grid is fine, an evaluation function with sufficiently many search points is used, and when the grid is coarse, a motion vector is detected with an evaluation function with few search points. It is possible to further reduce the amount of calculation at the time of motion detection.

【００１７】また、請求項３記載の発明に係る動き検出
方法は、ｎ（ｎは自然数）ステップサーチにより、動き
ベクトルを検出する動き検出方法において、各階層の探
索領域のグリッドの大きさに応じて、異なる評価関数を
用いて、着目画素との評価値を算出し動きベクトルを検
出することにより上記課題を解決する。According to a third aspect of the present invention, there is provided a motion detecting method for detecting a motion vector by n (n is a natural number) step search, according to a size of a grid of a search area of each layer. The above problem is solved by calculating an evaluation value with a pixel of interest using different evaluation functions and detecting a motion vector.

【００１８】また、請求項４記載の発明に係る記憶媒体
は、ｎ（ｎは自然数）ステップサーチにより、動きベク
トルを検出するためのコンピュータが実行可能なプログ
ラムを格納した記憶媒体において、各階層の探索領域の
グリッドの大きさに応じて、異なる評価関数を用いて、
着目画素との評価値を算出し動きベクトルを検出するた
めのコンピュータが読取可能なプログラムコードを含む
プログラムを格納したことにより上記課題を解決する。According to a fourth aspect of the present invention, there is provided a storage medium storing a computer-executable program for detecting a motion vector by n (n is a natural number) step search. Depending on the size of the search area grid, using different evaluation functions,
The above object is achieved by storing a program including a computer-readable program code for calculating an evaluation value with a target pixel and detecting a motion vector.

【００１９】[0019]

【発明の実施の形態】以下、図面を参照して本発明の好
適な実施の形態を説明する。図１〜図６は、本発明に係
る動き検出装置及び動き検出方法を適用した動画像圧縮
装置の一実施の形態を示す図である。Preferred embodiments of the present invention will be described below with reference to the accompanying drawings. FIGS. 1 to 6 are diagrams showing an embodiment of a moving image compression apparatus to which a motion detection device and a motion detection method according to the present invention are applied.

【００２０】先ず、構成を説明する。図１は、動画像圧
縮装置の動作をブロック的に示したブロック図であり、
この図において、動画像圧縮装置の符号化器１は、画像
モード、予測モード、動きベクトル及び各種制御信号を
出力して、システム全体の制御を行う制御部２と、デー
タ圧縮すべき画像データを記憶する画像メモリ３と、画
像メモリ３から読み出した画像データに動き補償フレー
ム間予測処理による予測結果を減算する減算器４と、減
算器４により減算された画像データを制御部２に出力す
ると共に、該画像データに対してＤＣＴ演算を行うＤＣ
Ｔ演算部５と、制御部２で決定された量子化幅に従って
ＤＣＴ演算の出力データを一定の誤差の範囲内で量子化
する量子化部６と、量子化部６により量子化された画像
データに対し画像データのほか各種ブロック属性信号を
可変長符号化した後、定められたデータ構造の符号列に
多重化するＶＬＣ（Variable Length Code）７と、変動
する情報発生を一定レートに平滑化するバッファ８と、
周期的なフレーム内符号化フレームを基本とした動き補
償予測を行う動き補償フレーム間予測部９と、により構
成されている。First, the configuration will be described. FIG. 1 is a block diagram showing the operation of the moving image compression apparatus in a block diagram.
In this figure, an encoder 1 of a moving image compression apparatus outputs an image mode, a prediction mode, a motion vector, and various control signals to control a system as a whole. An image memory 3 for storing, a subtracter 4 for subtracting a prediction result by a motion compensation inter-frame prediction process from the image data read from the image memory 3, and outputting the image data subtracted by the subtracter 4 to the control unit 2. , A DC that performs a DCT operation on the image data
A T operation unit 5, a quantization unit 6 for quantizing output data of the DCT operation within a certain error range according to the quantization width determined by the control unit 2, and image data quantized by the quantization unit 6 In addition, after variable-length coding of various block attribute signals in addition to image data, a variable length code (VLC) 7 multiplexed into a code string having a predetermined data structure and smoothing of a fluctuating information generation to a constant rate. Buffer 8;
A motion-compensated inter-frame prediction unit 9 for performing motion-compensated prediction based on periodic intra-coded frames.

【００２１】上記動き補償フレーム間予測部９は、量子
化部６により量子化された差分画像データを逆量子化す
る逆量子化部１０と、逆量子化部１０により量子化前の
画像データに戻されたデータに対し逆ＤＣＴ（ＩＤＣ
Ｔ）演算を施すＩＤＣＴ演算部１１と、ＩＤＣＴ演算部
１１によりＤＣＴ処理される前の差分画像データに戻さ
れたデータに動き補償された予測画像データを加算する
加算器１２と、制御部２からの画像モード、予測モード
に従って信号経路を切り換えるスイッチ１３，１４，１
５と、制御部２で演算処理された動きベクトルにより動
き補償した予測画像データを作成する予測器１６，１７
とから構成されている。The motion-compensated inter-frame predictor 9 performs inverse quantization on the differential image data quantized by the quantizer 6 and image data before quantization by the inverse quantizer 10. Inverse DCT (IDC
T) an IDCT operation unit 11 for performing an operation, an adder 12 for adding motion-compensated predicted image data to data returned to difference image data before being subjected to DCT processing by the IDCT operation unit 11, and a control unit 2. Switches 13, 14, 1 for switching signal paths according to the image mode and prediction mode
5 and predictors 16 and 17 for generating predicted image data motion-compensated by the motion vector calculated by the control unit 2
It is composed of

【００２２】図２は、動画像圧縮装置１を実現するため
の回路構成例を示す図である。本実施の形態では、動画
像圧縮プログラムを実行することにより実現できる。動
画像圧縮装置１は、図２に示す如く、例えば、ＣＰＵ２
１、ＲＡＭ２２、記憶装置２３、及び記憶媒体２４等か
ら構成されている。FIG. 2 is a diagram showing an example of a circuit configuration for realizing the moving picture compression apparatus 1. As shown in FIG. The present embodiment can be realized by executing a moving image compression program. As shown in FIG. 2, the moving image compression apparatus 1 includes, for example, a CPU 2
1, a RAM 22, a storage device 23, a storage medium 24, and the like.

【００２３】ＣＰＵ２１は、動画像圧縮装置１の全体の
制御を司り、記憶媒体２４に格納されている各種制御プ
ログラムに基づいて、各種処理を実行する。ＲＡＭ（Ra
ndomAccesses Memory ）２２は、ＣＰＵ２１のワークエ
リアとして利用され、ＣＰＵ２１の制御による各種処理
の処理データ等または処理する画像データが一時的に格
納されるワークメモリを備えている。The CPU 21 controls the overall operation of the moving picture compression apparatus 1 and executes various processes based on various control programs stored in the storage medium 24. RAM (Ra
The ndomAccesses Memory 22 is used as a work area of the CPU 21 and includes a work memory for temporarily storing processing data of various processes under the control of the CPU 21 or image data to be processed.

【００２４】記憶装置２３は、プログラムやデータ等が
予め記憶されている記憶媒体２４を有しており、この記
憶媒体２４は、ＣＰＵ２１が実行する各種制御プログラ
ム及びデータ等を格納しており、制御プログラムとして
は、例えば、図６のフローチャートに示す動きベクトル
検出プログラム等がある。これら各種制御プログラム
は、ＣＰＵ２１が読み取り可能なプログラムコードの形
態で格納されている。また、記憶媒体２４は磁気的、光
学的、もしくは電気的記録媒体で構成されており、この
記憶媒体２４は固定的あるいは着脱自在に設けられる。The storage device 23 has a storage medium 24 in which programs, data, and the like are stored in advance. The storage medium 24 stores various control programs executed by the CPU 21, data, and the like. The program includes, for example, a motion vector detection program shown in the flowchart of FIG. These various control programs are stored in the form of program codes readable by the CPU 21. The storage medium 24 is formed of a magnetic, optical, or electrical recording medium, and the storage medium 24 is provided in a fixed or detachable manner.

【００２５】さらに、記憶媒体２４に記憶する制御プロ
グラム、データ等は、通信回線等を介して接続された他
の機器から受信して記憶媒体２４に記憶するようにして
もよく、更に、通信回線等を介して接続された他の機器
側に記憶媒体を備えた記憶装置を設け、この記憶媒体に
記憶されている制御プログラム、データを通信回線を介
して使用する構成としてもよい。Further, the control program, data, and the like stored in the storage medium 24 may be received from another device connected via a communication line or the like and stored in the storage medium 24. It is also possible to provide a storage device provided with a storage medium on another device side connected through the like, and to use a control program and data stored in the storage medium via a communication line.

【００２６】次に、本実施の形態の動作を説明する。Next, the operation of this embodiment will be described.

【００２７】本実施の形態においては、動きベクトルを
検出するに際して、ｎ−ステップサーチにより動きベク
トルを検出し、サーチする検索領域のグリッドの大きさ
に合わせて、ブロックの点をサブサンプリングすること
により、演算量を低減するものである。In this embodiment, when detecting a motion vector, the motion vector is detected by an n-step search, and the points of the block are sub-sampled in accordance with the size of the grid of the search area to be searched. , To reduce the amount of calculation.

【００２８】図３及び図４は、図１０に示した３ステッ
プサーチ法において、各探索領域Ｅ１〜Ｅ３毎に、サー
チポイントをサーチポイント間の大きさ（グリッドの大
きさ）に従って分類したものであり、図３は、従来同
様、各ステップでのサーチポイント（サーチグリッドの
大きさに関し、○で示す）例を示し、図４は、そのサー
チポイントでの検索画素（・で示す）例を示す図であ
る。図５は、動きベクトルの検出原理を説明するための
図である。FIGS. 3 and 4 show search points classified according to the size between search points (grid size) in each of the search areas E1 to E3 in the three-step search method shown in FIG. FIG. 3 shows an example of a search point (indicated by a circle regarding the size of a search grid) in each step, as in the prior art, and FIG. 4 shows an example of a search pixel (indicated by a dot) at the search point. FIG. FIG. 5 is a diagram for explaining the principle of detecting a motion vector.

【００２９】先ず、本発明の動きベクトルの検出原理を
図３および図４に基づき説明する。図３に示す如く、３
ステップサーチにおいては、各検索領域Ｅ１〜Ｅ３の各
グリッドの各点の評価値を同じ評価関数Ｅで求め最小の
点を動き量として検出していた。具体的には、図５
（Ａ）に示す如く、８×８ブロックにおいて、時刻ｔの
フレーム位置ｉｊの画素をａt,i,jとした場合、下記数
１に示される評価関数Ｅにより得られる値を図５（Ｂ）
に示すベクトルＶ（Ｘ，Ｙ）の評価値としていた。First, the principle of detecting a motion vector according to the present invention will be described with reference to FIGS. As shown in FIG.
In the step search, the evaluation value of each point of each grid in each of the search areas E1 to E3 is obtained by the same evaluation function E, and the minimum point is detected as the motion amount. Specifically, FIG.
As shown in FIG. 5A, in the 8 × 8 block, when the pixel at the frame position ij at time t is at, i, j, the value obtained by the evaluation function E shown in the following equation 1 is shown in FIG.
The evaluation value of the vector V (X, Y) shown in FIG.

【数１】 但し、i0、j0は８で割り切れる数で、ブロックの位置を
示している。(Equation 1) Here, i0 and j0 are numbers divisible by 8, and indicate the positions of the blocks.

【００３０】即ち、従来技術によれば、サーチポイント
の数は、９＋８＋８であり、各サーチポイントに対し
て、全探索画素分（図４（Ｃ）参照）の８×８＝６４個
の絶対値和が必要となる。従って、全体で１６００個の
絶対値の演算が必要になる。That is, according to the prior art, the number of search points is 9 + 8 + 8, and for each search point, 8 × 8 = 64 absolute values for all search pixels (see FIG. 4C). Sum is needed. Therefore, a total of 1600 absolute value calculations are required.

【００３１】これに対して、本発明においては、図４に
示す如く、グリッドの大きさによって異なる評価関数を
用いる。即ち、グリッドが細かい時（図３（Ｃ））に
は、図４（Ｃ）に示すように十分多い探索画素を使用し
た評価関数（例えば、従来同様ブロック（８×８）内の
全画素を対象としたもの）を用い、グリッドが粗い時
（図３（Ａ））には、図４（Ａ）に示すように少ない探
索画素による評価関数（例えば、ブロック（８×８）内
の４画素のみを対象としたもの）を用いる。On the other hand, in the present invention, as shown in FIG. 4, different evaluation functions are used depending on the size of the grid. That is, when the grid is fine (FIG. 3C), as shown in FIG. 4C, an evaluation function using a sufficiently large number of search pixels (for example, all pixels in a block (8 × 8) are When the grid is coarse (FIG. 3A), as shown in FIG. 4A, an evaluation function using a small number of search pixels (for example, four pixels in a block (8 × 8)) is used. Only for the target).

【００３２】本発明においては、図３に示す如く、グリ
ッドの数は各９であるが、グリッドの細かさに応じて、
探索画素の数を異ならしめ、図４（Ａ）〜（Ｃ）に示す
ごとく、グリットが大きいとブロック内を粗く探索し、
グリットが細くなるにつれブロック内を細かく探索す
る。すなわち、図３（Ａ）の探索領域Ｅ１のようにグリ
ッドが大きいと、図４（Ａ）の探索画素Ｇ１のように各
サーチポイントに対してブロック内の４点（画素）の絶
対値による評価関数を用い、図３（Ｂ）の探索領域Ｅ２
のようにグリッドが中くらいであると、図４（Ｂ）の探
索画素Ｇ２のように各サーチポイントに対してブロック
内の１６点の絶対値による評価関数を用い、図３（Ｃ）
の探索領域Ｅ３のようにグリッドが小さいと、図４
（Ｃ）の探索画素Ｇ３のように各サーチポイントに対し
てブロック内の６４点の絶対値による評価関数を用い
る。その結果、全体として、７６５個の絶対値の演算で
済み、従来技術に比して、演算量が大幅に低減できる。In the present invention, as shown in FIG. 3, the number of grids is nine, but depending on the fineness of the grid,
By changing the number of search pixels, as shown in FIGS. 4A to 4C, when the grit is large, the block is roughly searched in the block.
As the grit becomes thinner, the block is searched finely. That is, when the grid is large as in the search area E1 in FIG. 3A, the evaluation based on the absolute values of four points (pixels) in the block for each search point as in the search pixel G1 in FIG. Using the function, the search area E2 in FIG.
When the grid is medium as shown in FIG. 3 (C), an evaluation function based on the absolute values of 16 points in the block is used for each search point like the search pixel G2 in FIG. 4 (B).
When the grid is small as in the search area E3 of FIG.
An evaluation function based on the absolute values of 64 points in the block is used for each search point like the search pixel G3 in (C). As a result, 765 absolute values can be calculated as a whole, and the amount of calculation can be significantly reduced as compared with the related art.

【００３３】以下、動画像圧縮装置１のＣＰＵ２１の制
御により実行される動きベクトル検出処理を図６のフロ
ーチャートに従って説明する。尚、本フローチャートに
おいては、ブロックの大きさは８×８としている。ま
た、動画像圧縮処理自体は、図１に示したように従来と
同様であるので、特徴部分の動きベクトル検出処理のみ
を説明する。Hereinafter, the motion vector detection processing executed under the control of the CPU 21 of the moving picture compression apparatus 1 will be described with reference to the flowchart of FIG. In this flowchart, the size of the block is 8 × 8. Since the moving image compression processing itself is the same as the conventional one as shown in FIG. 1, only the motion vector detection processing of the characteristic portion will be described.

【００３４】先ず、図６のフローチャートに示されるパ
ラメータの説明をする。 ｉ0 ：現フレームの着目画素のＸ座標の初期値 ｊ0 ：現フレームの着目画素のＸ座標の初期値 ａt,i0,j0 ：現フレームの着目画素 ａt-1,ｔx,ｔy ：前フレームの探索対象画素 ｉ1 ：前フレームの参照画素のＸ座標 ｊ1 ：前フレームの参照画素のＹ座標 ｔX ：前フレームの探索対象画素のＹ座標 ｔY ：前フレームの探索対象画素のＹ座標 ｇ ：グリッドの大きさを示す変数 ｋ ：探索範囲のＸ座標の変数を示し、−１、０、１の
値をとる。 ｅ ：探索範囲のＹ座標の変数を示し、−１、０、１の
値をとる。 ｍｉｎ：評価値の最小値 ｔｍｐ：評価値 ｖｅｃＸ：評価値の最小候補となるＸベクトル ｖｅｃＸ：評価値の最小候補となるＹベクトル Ｘ：動きベクトルのＸ値 Ｙ：動きベクトルのＹ値First, the parameters shown in the flowchart of FIG. 6 will be described. i0: Initial value of the X coordinate of the pixel of interest in the current frame j0: Initial value of the X coordinate of the pixel of interest in the current frame at, i0, j0: Pixel of interest in the current frame at-1, tx, ty: Search target of the previous frame Pixel i1: X coordinate of reference pixel of previous frame j1: Y coordinate of reference pixel of previous frame tX: Y coordinate of search target pixel of previous frame tY: Y coordinate of search target pixel of previous frame g: Size of grid Variable k: Indicates a variable of the X coordinate of the search range, and takes a value of -1, 0, or 1. e: Indicates a variable of the Y coordinate of the search range, and takes a value of -1, 0, or 1. min: minimum value of the evaluation value tmp: evaluation value vecX: X vector that is the minimum candidate of the evaluation value vecX: Y vector that is the minimum candidate of the evaluation value X: X value of the motion vector Y: Y value of the motion vector

【００３５】図６において、先ず、ステップＳ１で、グ
リッドの大きさｇを初期値に設定してｇ＝４とし、ま
た、評価値の最小値ｍｉｎを初期値に設定して、ｍｉｎ
＝∞とし、さらに、前フレームの参照画素のＸ座標ｉ
1、Ｙ座標ｊ1を初期値に設定して、ｉ1＝ｉ0、ｊ1＝ｊ0
とする。Referring to FIG. 6, first, in step S1, the grid size g is set to an initial value to set g = 4, and the minimum evaluation value min is set to an initial value.
= ∞, and the X coordinate i of the reference pixel of the previous frame
1, the Y coordinate j1 is set to an initial value, i1 = i0, j1 = j0
And

【００３６】次いで、探索範囲のＸ座標、Ｙ座標の変数
ｋ，ｅを初期値に設定して、ｋ＝−１、Ｙ＝−１とする
（ステップＳ２）。前フレームの探索される画素のＹ座
標ｔx＝ｉ1＋ｇ・ｋ、及び、前フレームの探索される画
素のＹ座標ｔY＝ｊ1＋ｇ・ｅを夫々算出する（ステップ
Ｓ３）。Next, the variables k and e of the X and Y coordinates of the search range are set to the initial values, and k = −1 and Y = −1 (step S2). The Y coordinate tx = i1 + g · k of the searched pixel in the previous frame and the Y coordinate tY = j1 + ge · e of the searched pixel in the previous frame are calculated (step S3).

【００３７】そして、下記数２に示す評価関数Ｅの式に
より評価値を求め、変数ｔｍｐに入力する（ｔｍｐ＝Ｅ
（ｇ，ｉ0、ｊ0、ｔx、ｔy））。これにより、着目画素
との誤差を算出する（ステップＳ４）。Then, an evaluation value is obtained by the expression of the evaluation function E shown in the following equation (2) and input to a variable tmp (tmp = E
(G, i0, j0, tx, ty)). Thereby, an error from the target pixel is calculated (step S4).

【数２】 ここで、上記数２において、ｇ＝４の場合には、ｉ＝
０，４、及びｊ＝０，４となり（∵ ｉ＜８、ｊ＜
８）、２×２の４点の絶対値の演算が必要となる。ま
た、ｇ＝２の場合には、ｉ＝０，２，４，６及びｊ＝
０，２，４，６の範囲となり４×４の１６点の絶対値の
演算が必要となる。また、ｇ＝１の場合には、ｉ＝０，
１，２，３、・・・・７，及びｊ＝０，１，２，３、・
・・・７，の範囲となり、８×８の６４点の絶対値の演
算が必要となる。(Equation 2) Here, in the above equation 2, when g = 4, i =
0,4 and j = 0,4 (∵ i <8, j <
8) It is necessary to calculate the absolute values of 2 × 2 four points. When g = 2, i = 0, 2, 4, 6 and j =
It is in the range of 0, 2, 4, and 6, and it is necessary to calculate the absolute values of 4 × 4 16 points. When g = 1, i = 0,
1, 2, 3,... 7, and j = 0, 1, 2, 3,.
.., And the calculation of the absolute value of 64 8 × 8 points is required.

【００３８】ステップＳ５では、算出した評価値ｔｍｐ
と、評価値の最小値ｍｉｎを比較して、評価値ｔｍｐが
最小値ｍｉｎ以上であれば、ステップＳ７に移行する一
方、評価値ｔｍｐが最小値ｍｉｎよりも小であれば、ス
テップＳ６に移行する。In step S5, the calculated evaluation value tmp is calculated.
Is compared with the minimum value min of the evaluation value. If the evaluation value tmp is equal to or more than the minimum value min, the process proceeds to step S7. If the evaluation value tmp is smaller than the minimum value min, the process proceeds to step S6. I do.

【００３９】ステップＳ６では、評価値の最小候補とな
るベクトルｖｅｃＸ,ｖｅｃＹを更新し（ｖｅｃＸ＝ｇ
・ｋ、ｖｅｃＹ＝ｇ・ｅ）、さらに、最小値を更新する
（ｍｉｎ＝ｔｍｐ）。In step S6, the vectors vecX and vecY which are the minimum evaluation value candidates are updated (vecX = g
K, vecY = ge), and further updates the minimum value (min = tmp).

【００４０】続いて、探索範囲が終了したか否かを判断
する（探索範囲の終了の判断は、ｋ＝−１，０，１とｅ
＝−１，０，１の組合せがすべて終了したか否かにより
判断する。）。判断の結果、探索範囲が終了していない
場合には、ステップＳ８に移行して、ｋ若しくはｅの値
を変更して、ステップＳ３に移行し、同じ処理を繰り返
す一方、探索範囲が終了した場合には、ステップＳ９に
移行する。Subsequently, it is determined whether or not the search range has ended (the determination of the end of the search range is k = -1, 0, 1 and e).
Judgment is made based on whether or not all combinations of = -1, 0, 1 have been completed. ). If the result of the determination is that the search range has not ended, the processing moves to step S8, where the value of k or e is changed, and the processing moves to step S3, where the same processing is repeated while the search range ends. Moves to step S9.

【００４１】ステップＳ９では、次に探索するベクトル
位置（今回の探索範囲内で評価値が参照となるサーチポ
イント）を更新する（ｉ1＝ｉ1＋ｖｅｃＸ、ｊ1＝ｊ1＋
ｖｅｃＹ）。そして、グリッドの大きさｇを半分とし
（ｇ＝ｇ／２）、評価値の最小値ｍｉｎを初期値（ｍｉ
ｎ＝∞）に設定する（ステップＳ１０）。In step S9, the vector position to be searched next (the search point to which the evaluation value is referred within the current search range) is updated (i1 = i1 + vecX, j1 = j1 +
vecY). Then, the grid size g is halved (g = g / 2), and the minimum value min of the evaluation value is set to the initial value (mi).
n = ∞) (step S10).

【００４２】次いで、グリッドの大きさｇが、限界値
「０」と等しいか否かを判断する（ステップＳ１１）。
ここで、グリッドの大きさｇが１／２の場合は、「０」
とみなして、グリッドの大きさｇの最小値は「１」とす
る（グリッドの大きさｇは、初期値が４であるので、
４、２、１、１／２の値を順次とる）。判断の結果、ｇ
＝０の場合は、ステップＳ１２に移行する一方、ｇ＝０
でない場合は、ステップＳ２に移行して、ステップＳ９
で算出した評価値が最小となる画素位置を基点として、
評価値を算出する処理を繰り返す。Next, it is determined whether or not the grid size g is equal to the limit value "0" (step S11).
Here, when the grid size g is １ ／, “0”
And the minimum value of the grid size g is “1” (since the initial value of the grid size g is 4,
4, 2, 1, 1/2 values are sequentially taken). As a result of the judgment, g
If = 0, the process proceeds to step S12, while g = 0.
If not, the process proceeds to step S2 and proceeds to step S9.
Starting from the pixel position where the evaluation value calculated in
The process of calculating the evaluation value is repeated.

【００４３】ステップＳ１２においては、ステップＳ９
で算出した、評価値が最小となる画素位置ｉ1，ｊ1を目
的の動きベクトルＸ，Ｙとして（Ｘ＝ｉ１、Ｙ＝ｊ
１）、当該動き検出処理を終了する。In step S12, step S9
The pixel positions i1 and j1 having the minimum evaluation value calculated in the above are set as target motion vectors X and Y (X = i1, Y = j
1), the motion detection processing ends.

【００４４】本フローにおいては、ステップＳ１におい
て、グリッドｇの初期値が、「４」に設定されているの
で、グリッドの大きさｇ＝「４」（図４（Ａ）に対
応）、「２」（図４（Ｂ）に対応）、及び「１」（図４
（Ｃ）に対応）の検索範囲内でそれぞれ、評価値が最小
となる画素位置が算出され、グリッドの大きさが最小と
なる場合（ｇ＝１）において、評価値が最小となる画素
位置ｉ1,j1が動きベクトルＸ、Ｙとして算出される。In this flow, since the initial value of the grid g is set to "4" in step S1, the size of the grid g = "4" (corresponding to FIG. 4A), "2" (Corresponding to FIG. 4B) and “1” (FIG.
(Corresponding to (C)), the pixel position where the evaluation value becomes the minimum is calculated, and when the grid size becomes the minimum (g = 1), the pixel position i1 where the evaluation value becomes the minimum is calculated. , j1 are calculated as motion vectors X and Y.

【００４５】以上説明したように本実施の形態において
は、ｎ−ステップサーチにおいて、各階層の探索領域の
グリッドの大きさに応じて、異なった数のサーチ点を使
用する評価関数を用いて動き検出を行う構成である。詳
言すると、グリッドが細かい時には、十分多いサーチ点
による評価関数を用い、グリッドが粗い時には、少ない
サーチ点による評価関数を用いて動きを検出する構成で
あるので、ｎ−ステップサーチにおいて、動き検出の際
の演算量を低減することが可能となる。As described above, in the present embodiment, in the n-step search, a motion is performed using an evaluation function using a different number of search points according to the size of the grid in the search area of each hierarchy. This is a configuration for performing detection. More specifically, when the grid is fine, the evaluation function using a sufficiently large number of search points is used. When the grid is coarse, the motion is detected using the evaluation function with a small number of search points. In this case, the amount of calculation can be reduced.

【００４６】尚、本実施の形態においては、３−ステッ
プサーチについて説明したが、本発明は、これに限定さ
れるものではなく、ｎ−ステップサーチのいずれについ
ても適用可能である。Although the present embodiment has been described with reference to the 3-step search, the present invention is not limited to this, and can be applied to any of the n-step search.

【００４７】また、本実施の形態では、動画像圧縮装置
をＭＰＥＧアルゴリズムに基づく動画像圧縮装置に適用
した例であるが、勿論これには限定されず、移動体の動
きベクトルを検出するものであれは、全ての装置に適用
可能であることは言うまでもない。In this embodiment, the moving picture compression apparatus is applied to a moving picture compression apparatus based on the MPEG algorithm. However, the present invention is not limited to this. It goes without saying that it is applicable to all devices.

【００４８】また、本実施の形態では、変換符号化方式
にＤＣＴを適用しているが、このＤＣＴ方式には限定さ
れず、例えば、アダマール変換、ハール（Harr）変換、
傾斜変換（スラント変換）、対称性サイン変換などを用
いた動画像圧縮装置に適用することができる。In this embodiment, DCT is applied to the transform coding method. However, the present invention is not limited to this DCT method. For example, Hadamard transform, Harr transform,
The present invention can be applied to a moving image compression apparatus using a gradient transform (slant transform), a symmetric sine transform, or the like.

【００４９】また、本実施の形態では、動きベクトル検
出をソフトウエアにより実行する場合について説明した
が、ハードウエアにより実行する構成としても良い。In the present embodiment, the case where the motion vector detection is executed by software has been described. However, the configuration may be such that it is executed by hardware.

【００５０】さらに、本実施の形態では、上記動画像圧
縮装置を構成する回路や部材の数、種類などは前述した
実施例に限られないことは言うまでもない。Further, in this embodiment, it goes without saying that the number and types of circuits and members constituting the moving picture compression apparatus are not limited to those in the above-described embodiment.

【００５１】[0051]

【発明の効果】請求項１及び請求項３記載の発明に係る
動き検出装置及び動き検出方法によれば、ｎ−ステップ
サーチにおいて、各階層の探索領域のグリッドの大きさ
に応じて、異なった評価関数を用いて動きベクトルを検
出する構成であるので、ｎ−ステップサーチにおいて、
動きベクトルの検出の際の演算量を低減することが可能
となる。According to the motion detecting apparatus and the motion detecting method according to the first and third aspects of the present invention, in the n-step search, different levels are set according to the size of the grid of the search area of each hierarchy. Since the configuration is such that the motion vector is detected using the evaluation function, in the n-step search,
It is possible to reduce the amount of calculation when detecting a motion vector.

【００５２】請求項２記載の発明に係る動き検出装置に
よれば、従って、グリッドが細かい場合には、十分多い
サーチ点による評価関数を用い、グリッドが粗い場合に
は、多いサーチ点による評価関数を用いて動きベクトル
を検出する構成であるので、ｎ−ステップサーチにおい
て、動き検出の際の演算量をより低減することが可能と
なる。According to the motion detecting apparatus of the present invention, when the grid is fine, an evaluation function based on a sufficient number of search points is used. When the grid is coarse, the evaluation function based on a large number of search points is used. Is used to detect a motion vector, so that in the n-step search, it is possible to further reduce the amount of calculation at the time of motion detection.

【００５３】また、請求項４記載の発明に係る記憶媒体
によれば、記憶媒体に格納されたプログラムをコンピュ
ータに実行することにより、ｎ−ステップサーチにおい
て、動きベクトルの検出の際の演算量を低減することが
可能となる。According to the storage medium of the fourth aspect of the present invention, by executing the program stored in the storage medium on a computer, the amount of calculation for detecting a motion vector in an n-step search can be reduced. It becomes possible to reduce.

【図面の簡単な説明】[Brief description of the drawings]

【図１】動画像圧縮装置のブロック構成を示す図であ
る。FIG. 1 is a diagram illustrating a block configuration of a moving image compression device.

【図２】動画像圧縮装置の回路構成例を示す図である。FIG. 2 is a diagram illustrating an example of a circuit configuration of a moving image compression device.

【図３】図１０の３ステップサーチ法におけるサーチグ
リッド例を示す図である。FIG. 3 is a diagram showing an example of a search grid in the three-step search method of FIG.

【図４】図１０の３ステップサーチ法におけるサーチ点
（探索画素）例を示す図である。FIG. 4 is a diagram showing an example of a search point (search pixel) in the three-step search method of FIG.

【図５】動きベクトルの検出原理を説明するための図で
ある。FIG. 5 is a diagram for explaining a principle of detecting a motion vector.

【図６】図２の動画像圧縮装置により実行される動きベ
クトル検出処理を説明するためのフローチャートであ
る。FIG. 6 is a flowchart for explaining a motion vector detection process performed by the moving image compression device of FIG. 2;

【図７】動画像圧縮装置の動き補償予測を示す図であ
る。FIG. 7 is a diagram illustrating motion compensation prediction of the moving picture compression apparatus.

【図８】動画像圧縮装置の動きベクトルサーチ範囲を示
す図である。FIG. 8 is a diagram illustrating a motion vector search range of the moving picture compression device.

【図９】従来技術において、ｎ−ステップサーチによる
動きベクトルの検出原理を説明するための図である。FIG. 9 is a diagram for explaining a principle of detecting a motion vector by an n-step search in the related art.

【図１０】従来技術において、フルサーチによる動きベ
クトルの検出を説明するための図である。FIG. 10 is a diagram for explaining detection of a motion vector by a full search in the related art.

【符号の説明】[Explanation of symbols]

１ 動画像圧縮装置 ２ 制御部 ３ 画像メモリ ４ 減算器 ５ ＤＣＴ演算部 ６ 量子化部 ７ ＶＬＣ ８ バッファ ９ 動き補償フレーム間予測部 １０ 逆量子化部 １１ ＩＤＣＴ演算部 １２ 加算器 １３，１４，１５ スイッチ １６，１７ 予測器 ２１ ＣＰＵ ２２ ＲＡＭ ２３ 記憶装置 ２４ 記憶媒体 REFERENCE SIGNS LIST 1 moving image compression device 2 control unit 3 image memory 4 subtractor 5 DCT operation unit 6 quantization unit 7 VLC 8 buffer 9 motion compensation inter-frame prediction unit 10 inverse quantization unit 11 IDCT operation unit 12 adder 13, 14, 15 Switch 16, 17 Predictor 21 CPU 22 RAM 23 Storage device 24 Storage medium

Claims (4)

【特許請求の範囲】[Claims] 【請求項１】ｎ（ｎは自然数）ステップサーチにより、
動きベクトルを検出する動き検出装置において、 各階層の探索領域のグリッドの大きさに応じて、異なる
評価関数を用いて、着目画素との評価値を算出し動きベ
クトルを検出する動きベクトル検出手段を備えたことを
特徴とする動き検出装置。1. An n (n is a natural number) step search,
In a motion detection device that detects a motion vector, a motion vector detection unit that calculates an evaluation value with a pixel of interest and detects a motion vector by using a different evaluation function according to the size of a grid in a search area of each layer is provided. A motion detection device comprising: 【請求項２】前記動きベクトル検出手段は、前記グリッ
ドの大きさが、より小となる場合に、よりサーチ点の多
い評価関数を用いることを特徴とする請求項１記載の動
き検出装置。2. The motion detecting apparatus according to claim 1, wherein the motion vector detecting means uses an evaluation function having more search points when the size of the grid is smaller. 【請求項３】ｎ（ｎは自然数）ステップサーチにより、
動きベクトルを検出する動き検出方法において、 各階層の探索領域のグリッドの大きさに応じて、異なる
評価関数を用いて、着目画素との評価値を算出し動きベ
クトルを検出することを特徴とする動き検出方法。3. An n (n is a natural number) step search,
In the motion detection method for detecting a motion vector, a motion vector is detected by calculating an evaluation value with a pixel of interest using a different evaluation function according to the size of a grid in a search area of each layer. Motion detection method. 【請求項４】ｎ（ｎは自然数）ステップサーチにより、
動きベクトルを検出するためのコンピュータが実行可能
なプログラムを格納した記憶媒体において、 各階層の探索領域のグリッドの大きさに応じて、異なる
評価関数を用いて、着目画素との評価値を算出し動きベ
クトルを検出するためのコンピュータが読取可能なプロ
グラムコードを含むプログラムを格納したことを特徴と
する記憶媒体。4. An n (n is a natural number) step search,
In a storage medium storing a computer-executable program for detecting a motion vector, an evaluation value for a pixel of interest is calculated using a different evaluation function according to the size of a grid in a search area of each layer. A storage medium storing a program including a computer-readable program code for detecting a motion vector.