JP2007235333A - Motion vector detector - Google Patents
Motion vector detector Download PDFInfo
- Publication number
- JP2007235333A JP2007235333A JP2006052126A JP2006052126A JP2007235333A JP 2007235333 A JP2007235333 A JP 2007235333A JP 2006052126 A JP2006052126 A JP 2006052126A JP 2006052126 A JP2006052126 A JP 2006052126A JP 2007235333 A JP2007235333 A JP 2007235333A
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- block
- reference block
- similarity
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、動画像圧縮符号化に用いられる追跡型の動きベクトルの検出装置に関するものである。 The present invention relates to a tracking type motion vector detection apparatus used for moving image compression coding.
蓄積メディア、放送、通信などの動画像の圧縮符号化には、ＭＰＥＧに代表される動き補償予測を使った符号化方式が使われている。この方式では、画像のブロック（例えば、マクロブロック。以下、画像のブロックを代表してＭＢとも記す。）を単位として、フレーム間の動き量に相当する動きベクトル（以下、ＭＶとも記す。）を求め、圧縮対象ブロックの画像を伝送する代わりに、１フレーム前の参照画像上の前記ブロック予測位置におけるＭＢと前記ＭＢの画像の差分（予測誤差）を伝送して、データ量を減らすものである。 For compression encoding of moving images such as storage media, broadcasting, and communication, an encoding method using motion compensation prediction represented by MPEG is used. In this method, a motion vector (hereinafter also referred to as MV) corresponding to the amount of motion between frames in units of an image block (for example, a macroblock; hereinafter, also referred to as MB as a representative of the image block). Instead of transmitting the image of the compression target block, the difference (prediction error) between the MB at the block prediction position on the reference image one frame before and the image of the MB is transmitted to reduce the data amount. .
この動きベクトルＭＶは、圧縮対象画像ブロックＭＢｏを、所定の探索範囲の参照画像と画像比較（ブロックマッチング）して、類似度を計算し、参照画像上の最も類似したブロックＭＢｒを検出し、圧縮対象ブロックの位置ＰＢｏと最も類似した参照ブロックの位置ＰＢｒのずれとして検出する。なお、位置は画素を単位として（Ｘ，Ｙ）座標で表す。
ＭＶ＝ＰＢｏ−ＰＢｒ
ただし、類似度には、通常類似度とは逆相関の関係にある誤差評価値が使われ、例えばＭＢ間の差分絶対値の総和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を使うが、差分自乗和、または圧縮符号化後の符号量などを用いてもよい。（以下、誤差評価値を代表してＳＡＤとも記す。）
この動きベクトルの検出精度は、データ量、結果的には画像品質に大きく影響するが、ＭＶ検出には大量の演算が必要となるため、少ない演算量で効果のある方法が求められている。そこで、解像度の低い画像でおおまかなＭＶを求め、さらに精度を上げてＭＶを求める階層型検出法、後述する追跡型検出法（逐次探索型検出法ともいう。）、またブロックマッチングによらない勾配法などの演算量の少ない動きベクトル探索手法が提案され、用途に合わせて、単独あるいは組み合わせて使われている。
This motion vector MV compares the compression target image block MBo with a reference image in a predetermined search range (block matching), calculates a similarity, detects the most similar block MBr on the reference image, and compresses This is detected as a deviation of the position PBr of the reference block most similar to the position PBo of the target block. The position is expressed in (X, Y) coordinates in units of pixels.
MV = PBo-PBr
However, an error evaluation value that is inversely related to the normal similarity is used as the similarity, and for example, a sum of absolute differences between MBs (SAD: Sum of Absolute Difference) is used. Alternatively, a code amount after compression encoding may be used. (Hereinafter, the error evaluation value is also referred to as SAD.)
This motion vector detection accuracy greatly affects the amount of data and consequently the image quality. However, since a large amount of computation is required for MV detection, an effective method is required with a small amount of computation. Therefore, a hierarchical detection method that obtains a rough MV from an image with a low resolution, and further increases the accuracy to obtain the MV, a tracking type detection method (also referred to as a sequential search type detection method) described later, and a gradient that does not depend on block matching. A motion vector search method with a small amount of computation such as a method has been proposed, and is used alone or in combination depending on the application.
従来の追跡型動きベクトル検出法について、図１０を参照して説明する。
追跡型動きベクトル検出法では、追跡中心点の周りに上下左右に１画素ずらした４点および追跡中心点の５点の探索点を有する探索パターン（図１０（Ａ）参照。）に基づいて、複数の探索点に配置された参照ブロックの中から圧縮対象ブロックと最も類似した参照ブロックを検出して、その検出点に探索パターンの中心を移動させる。そして、この処理を中心点が極小となり移動が停止するまで繰り返し、最も類似した参照ブロックを追跡することにより、対象ブロックと最も類似した参照ブロックの位置を求め、動きベクトルを検出するものである。（例えば、特許文献１参照。）
以下、追跡動作を具体的に説明する。図１０（Ｂ）は、探索範囲を垂直３画素、水平８画素とした場合の、ＳＡＤの分布例、また図１０（Ｃ）は、探索パターンによる追跡動作の繰り返し回数（カウント）を、追跡回数＃（番号）として表示したものである。なお、以下、探索パターンの位置は中心点で代表させ、ブロックの位置は１行１列目の左上の点で代表させるとともに、説明の簡略化のため、対象ブロック位置、および灰色で示した初期中心点をともに（０，０）とする。
追跡回数＃１では、探索パターンを初期中心点（０，０）において、十字型探索パターン５点のＳＡＤが計算され、右点（ＳＡＤ＝２０）が５点最小点として検出され、追跡中心点を右に１画素移動する。ＳＡＤ最小点の位置ＰＢｍｉｎは、（１，０）となる。
次に、追跡回数＃２では、追跡中心点（１，０）において、同様に探索パターン５点のＳＡＤが計算され、右点（ＳＡＤ＝１６）が５点最小点として検出され、追跡中心点は右に１画素移動する。ＳＡＤ最小点の位置ＰＢｍｉｎは、（２，０）となる。
追跡回数＃３では、追跡中心点（２，０）において、同様に探索パターン５点のＳＡＤが計算されるが、ここでは、中心点（ＳＡＤ＝１６）が５点最小点として検出されるので、追跡は終了して、記憶されているＳＡＤ最小点の位置ＰＢｍｉｎ（２，０）がＭＶとなる。
実はこの追跡動作例では、図１０（Ｂ）に示すＳＡＤ分布の場合、極小点（２，０）まで達しているが、最小点（５，０）には達していない。すなわち、追跡型動きベクトル検出法は、探索範囲を全てブロックマッチングして調べる方法に比べて、ブロックマッチングの回数が少なく、演算量も少なくて済むが、必ずしも正しいＭＶを求められるとは限らず、追跡ルート上の局所解に陥り追跡を停止してしまうこともある。すなわち、上下左右周辺点上にＳＡＤが単調減少する追跡ルートがある間は、最小値を求めて追跡を続けるが、中心点が極小となって、上下左右４点のＳＡＤがいずれも大きい場合には、それらが障壁となって、その先にもっと小さなＳＡＤがあっても、そこに到達することはできない。
このため、追跡型検出法は、階層型探索法により予め探索範囲を狭めてから補助的に使う組み合わせ用途、また演算処理能力が低い携帯端末などの簡易型用途などに使われる。
In the tracking type motion vector detection method, based on a search pattern (see FIG. 10A) that has four search points shifted by one pixel vertically and horizontally around the tracking center point and five tracking center points. A reference block most similar to the compression target block is detected from the reference blocks arranged at a plurality of search points, and the center of the search pattern is moved to the detection point. Then, this process is repeated until the center point becomes minimum and the movement stops, and the most similar reference block is tracked to obtain the position of the reference block most similar to the target block and detect the motion vector. (For example, refer to
Hereinafter, the tracking operation will be specifically described. FIG. 10B shows an example of SAD distribution when the search range is vertical 3 pixels and horizontal 8 pixels, and FIG. 10C shows the number of tracking operations repeated (count) by the search pattern. It is displayed as # (number). In the following, the position of the search pattern is represented by the center point, the position of the block is represented by the upper left point in the first row and the first column, and for the sake of simplification of explanation, the target block position and the initial position shown in gray The center points are both (0, 0).
At the
Next, at the
In the
Actually, in this tracking operation example, in the case of the SAD distribution shown in FIG. 10B, the minimum point (2, 0) is reached, but the minimum point (5, 0) is not reached. That is, the tracking type motion vector detection method requires fewer block matchings and requires less computation compared to a method in which all search ranges are checked by block matching, but a correct MV is not always obtained. It may fall into a local solution on the tracking route and stop tracking. That is, while there is a tracking route on which the SAD monotonously decreases on the upper, lower, left, and right peripheral points, the tracking is continued by obtaining the minimum value, but when the center point is minimized and the SAD of the upper, lower, left, and right four points is large. Will not be able to reach them, even if there is a smaller SAD beyond them as a barrier.
For this reason, the tracking type detection method is used for a combination application that is supplementarily used after narrowing the search range in advance by the hierarchical search method, or for a simple type application such as a portable terminal with low arithmetic processing capability.
追跡型動きベクトル探索法は、少ない演算量で動きベクトルを効率的に検出できるが、その追跡過程で、単調減少ルートが見つからない場合には、その１画素先に最小値があっても、そこで追跡は終了し局所解に陥るという問題があった。 The tracking-type motion vector search method can efficiently detect a motion vector with a small amount of computation, but if a monotonously decreasing route is not found in the tracking process, even if there is a minimum value ahead of that one pixel, there is There was a problem that tracking ended and fell into a local solution.
そこで、本発明は、上記のような問題点を解消するためになされたもので、演算量を増やすことなく、簡単な構成で、１画素だけであれば、単調減少ルートが途切れても、さらに先の最小値を追跡でき、局所解に陥りにくい動きベクトルの検出装置を提供することを目的とする。 Therefore, the present invention has been made to solve the above-described problems. Even if only one pixel is used with a simple configuration without increasing the amount of calculation, the monotonous decrease route is further interrupted. It is an object of the present invention to provide a motion vector detection device that can track the minimum value and is less likely to fall into a local solution.
本願発明における第１の発明は、動き補償予測符号化で圧縮の対象となる画像ブロックを、所定の探索パターンに基づいて配置された参照画像上の複数のブロックと比較し、前記比較した複数のブロックの中で最も類似した参照ブロックを検出し、前記検出した参照ブロックの位置に前記探索パターンを移動させて移動による追跡処理を繰り返すことにより、圧縮対象ブロックに最も類似した参照ブロックを検出して、動きベクトルを求める追跡型動きベクトル検出装置において、上下左右４つの探索点を有する探索パターンの追跡中心位置を、参照画像上に設定する追跡中心位置設定手段（追跡中心設定部７−４）と、前記圧縮対象ブロックのアドレス、および前記追跡中心位置設定された探索パターンの探索点に配置された複数の参照ブロックのアドレスを設定するアドレス設定手段（アドレス設定部７−５）と、前記アドレス設定された圧縮対象ブロックと前記アドレス設定された複数の各参照ブロックとの画像をそれぞれ比較して、前記比較された各参照ブロックの類似度を計算する類似度計算手段（ＳＡＤ計算部７−２）と、前記計算された類似度により、前記複数の参照ブロックのうち、類似度の最も高い参照ブロックを検出する類似ブロック検出手段（ＳＡＤ４点最小ブロック検出部７−３）と、前記類似ブロック検出手段で検出された類似度の最も高い参照ブロックの類似度と、記憶部に既に記憶されている参照ブロックの類似度とを比較して、前記記憶された参照ブロックの類似度の方が低い場合には、この参照ブロックの類似度および参照ブロックの位置を、前記検出された参照ブロックの類似度および参照ブロックの位置に置き換えて更新する一方、前記記憶された参照ブロックの類似度の方が高いか等しく、かつ繰り返し回数が隔数回の場合に限り、終了と判定する更新終了判定手段（最小点記憶部７−６、ＳＡＤ最小点検出部７−７、終了判定部７−８）と、前記更新終了判定手段により終了と判定されなかった場合には、前記追跡中心位置設定手段により探索パターンの追跡中心位置として設定された前記検出された参照ブロックの位置に基づいて、追跡処理を繰り返すよう制御する一方、終了と判定された場合には、前記記憶部に記憶されている参照ブロックの位置から動きベクトル検出するよう制御する制御手段（制御部７−１）とを備えたことを特徴とする動きベクトル検出装置を提供する。
第２の発明は、動き補償予測符号化で圧縮の対象となる画像ブロックを、所定の探索パターンに基づいて配置された参照画像上の複数のブロックと比較し、前記比較した複数のブロックの中で最も類似した参照ブロックを検出し、前記検出した参照ブロックの位置に前記探索パターンを移動させて移動による追跡処理を繰り返すことにより、圧縮対象ブロックに最も類似した参照ブロックを検出して、動きベクトルを求める追跡型動きベクトル検出装置において、上下左右４つの探索点を有する探索パターンの追跡中心位置を、参照画像上に設定する追跡中心位置設定手段（追跡中心設定部７−４）と、前記圧縮対象ブロックのアドレス、および前記追跡中心位置設定された探索パターンの探索点に配置された複数の参照ブロックのアドレスを設定するアドレス設定手段（アドレス設定部７−５）と、前記アドレス設定された圧縮対象ブロックと前記アドレス設定された複数の各参照ブロックとの画像をそれぞれ比較して、前記比較された各参照ブロックの類似度を計算する類似度計算手段（ＳＡＤ計算部７−２）と、前記計算された類似度により、前記複数の参照ブロックのうち、類似度の最も高い参照ブロックを検出する類似ブロック検出手段（ＳＡＤ４点最小ブロック検出部７−３）と、前記類似ブロック検出手段で検出された類似度の最も高い参照ブロックの類似度と、記憶部に既に記憶されている参照ブロックの類似度とを比較して、前記記憶された参照ブロックの類似度の方が低い場合には、この参照ブロックの類似度および参照ブロックの位置を、前記検出された参照ブロックの類似度および参照ブロックの位置に置き換えて更新する一方、前記記憶された参照ブロックの類似度の方が高いか等しく、かつ繰り返し回数が隔数回の場合に限り、終了と判定する更新終了判定手段（最小点記憶部７−６、ＳＡＤ最小点検出部７−７、終了判定部７−８）と、前記更新終了判定手段により終了と判定されなかった場合には、前記追跡中心位置設定手段により探索パターンの追跡中心位置として設定された前記検出された参照ブロックの位置に基づいて、追跡処理を繰り返すよう制御する一方、前記記憶された参照ブロックの類似度の方が高いか等しく、かつ前記類似ブロック検出手段で検出された参照ブロックの位置と前記記憶部に記憶された参照ブロックの位置を比較して、一致した場合に限り終了と判定する更新終了判定手段（最小点記憶部７−６、ＳＡＤ最小点検出部７−７、終了判定部７−９）と、前記更新終了判定手段により終了と判定されなかった場合には、前記追跡中心位置設定手段により探索パターンの追跡中心位置として設定された前記検出された参照ブロックの位置に基づいて、追跡処理を繰り返すよう制御する一方、終了と判定された場合には、前記記憶部に記憶されている参照ブロックの位置から動きベクトル検出するよう制御する制御手段（制御部７−１）とを備えたことを特徴とする動きベクトル検出装置を提供する。
第３の発明は、動き補償予測符号化で圧縮の対象となる画像ブロックを、所定の探索パターンに基づいて配置された参照画像上の複数のブロックと比較し、前記比較した複数のブロックの中で最も類似した参照ブロックを検出し、前記検出した参照ブロックの位置に前記探索パターンを移動させて移動による追跡処理を繰り返すことにより、圧縮対象ブロックに最も類似した参照ブロックを検出して、動きベクトルを求める追跡型動きベクトル検出装置において、上下左右４つの探索点を有する探索パターンの追跡中心位置を、参照画像上に設定する追跡中心位置設定手段（追跡中心設定部７−４）と、前記圧縮対象ブロックのアドレス、および前記追跡中心位置設定された探索パターンの探索点に配置された複数の参照ブロックのアドレスを設定するアドレス設定手段（アドレス設定部７−５）と、前記アドレス設定された圧縮対象ブロックと前記アドレス設定された複数の各参照ブロックとの画像をそれぞれ比較して、前記比較された各参照ブロックの類似度を計算する類似度計算手段（ＳＡＤ計算部７−２）と、前記計算された類似度により、前記複数の参照ブロックのうち、類似度の最も高い参照ブロックを検出する類似ブロック検出手段（ＳＡＤ４点最小ブロック検出部７−３）と、前記類似ブロック検出手段で検出された類似度の最も高い参照ブロックの類似度と、記憶部に既に記憶されている参照ブロックの類似度とを比較して、前記記憶された参照ブロックの類似度の方が低い場合には、この参照ブロックの類似度および参照ブロックの位置を、前記検出された参照ブロックの類似度および参照ブロックの位置に置き換える更新手段（最小点記憶部７−６、ＳＡＤ最小点検出部７−７）と、前記追跡処理の繰り返し回数が所定の追跡処理回数になると、終了と判定する終了判定手段（終了判定部７−１０）と、前記終了判定手段により終了と判定されなかった場合には、前記追跡中心位置設定手段により探索パターンの追跡中心位置として設定された前記検出された参照ブロックの位置に基づいて、追跡処理を繰り返すよう制御する一方、終了と判定された場合には、前記記憶部に記憶されている参照ブロックの位置から動きベクトル検出するよう制御する制御手段（制御部７−１）とを備えたことを特徴とする動きベクトル検出装置を提供する。
According to a first aspect of the present invention, an image block to be compressed by motion compensated prediction coding is compared with a plurality of blocks on a reference image arranged based on a predetermined search pattern, and the plurality of compared By detecting the most similar reference block among the blocks, moving the search pattern to the position of the detected reference block and repeating the tracking process by movement, the reference block most similar to the compression target block is detected. In the tracking type motion vector detecting device for obtaining a motion vector, tracking center position setting means (tracking center setting unit 7-4) for setting a tracking center position of a search pattern having four search points in the upper, lower, left, and right directions on a reference image; A plurality of reference blocks arranged at the search point of the search pattern in which the address of the block to be compressed and the tracking center position are set. The address setting means (address setting unit 7-5) for setting the address of the block is compared with the images of the compression target block to which the address has been set and the plurality of reference blocks to which the address has been set. The similarity calculation means (SAD calculation unit 7-2) for calculating the similarity of each of the reference blocks thus detected, and the reference block having the highest similarity among the plurality of reference blocks is detected by the calculated similarity. Similar block detection means (SAD 4-point minimum block detection section 7-3), the similarity of the reference block with the highest similarity detected by the similar block detection means, and the reference block already stored in the storage section When the similarity of the stored reference block is lower than that of the stored reference block, the similarity of the reference block and the position of the reference block are The update is performed by replacing the detected similarity of the reference block and the position of the reference block, while the similarity of the stored reference block is higher or equal and the number of repetitions is a fractional number of times. Update end determination means (minimum point storage unit 7-6, SAD minimum point detection unit 7-7, end determination unit 7-8) and the update end determination unit Based on the position of the detected reference block set as the tracking center position of the search pattern by the tracking center position setting means, the tracking process is controlled to be repeated. A motion vector detection device comprising control means (control unit 7-1) for performing control to detect a motion vector from the position of a reference block stored in To do.
According to a second aspect of the present invention, an image block to be compressed by motion compensated prediction coding is compared with a plurality of blocks on a reference image arranged based on a predetermined search pattern. , The reference block most similar to the compression target block is detected by moving the search pattern to the position of the detected reference block and repeating the tracking process by movement. A tracking center position setting unit (tracking center setting unit 7-4) for setting a tracking center position of a search pattern having four search points in the upper, lower, left, and right directions on a reference image; Address of the target block, and addresses of a plurality of reference blocks arranged at the search point of the search pattern in which the tracking center position is set The address setting means (address setting unit 7-5) to be set is compared with the images of the address set compression target block and the plurality of address set reference blocks, respectively, and the compared reference blocks Similarity calculation means (SAD calculation unit 7-2) for calculating the similarity of the reference block, and similar block detection means for detecting a reference block having the highest similarity among the plurality of reference blocks based on the calculated similarity (SAD 4-point minimum block detector 7-3) and the similarity of the reference block with the highest similarity detected by the similar block detector and the similarity of the reference block already stored in the storage unit are compared. If the similarity of the stored reference block is lower, the similarity of the reference block and the position of the reference block are determined as the detected reference block. While updating by replacing with the block similarity and the reference block position, the update is judged to end only when the similarity of the stored reference block is higher or equal and the number of repetitions is a fractional number. If the determination means (minimum point storage unit 7-6, SAD minimum point detection unit 7-7, end determination unit 7-8) and the update end determination unit do not determine the end, the tracking center position setting is performed. The tracking control is repeated based on the position of the detected reference block set as the tracking center position of the search pattern by the means, while the similarity of the stored reference block is higher or equal, and The position of the reference block detected by the similar block detection means is compared with the position of the reference block stored in the storage unit, and it is determined that the process is finished only when they match. If the update end determination unit (minimum point storage unit 7-6, SAD minimum point detection unit 7-7, end determination unit 7-9) and the update end determination unit do not determine the end, the tracking center Based on the position of the detected reference block set as the tracking center position of the search pattern by the position setting means, the tracking process is controlled to be repeated. There is provided a motion vector detection device comprising control means (control unit 7-1) for controlling to detect a motion vector from the position of a reference block.
According to a third aspect of the present invention, an image block to be compressed by motion compensated predictive coding is compared with a plurality of blocks on a reference image arranged based on a predetermined search pattern, and among the plurality of compared blocks. , The reference block most similar to the compression target block is detected by moving the search pattern to the position of the detected reference block and repeating the tracking process by movement. A tracking center position setting unit (tracking center setting unit 7-4) for setting a tracking center position of a search pattern having four search points in the upper, lower, left, and right directions on a reference image; Address of the target block, and addresses of a plurality of reference blocks arranged at the search point of the search pattern in which the tracking center position is set The address setting means (address setting unit 7-5) to be set is compared with the images of the address set compression target block and the plurality of address set reference blocks, respectively, and the compared reference blocks Similarity calculation means (SAD calculation unit 7-2) for calculating the similarity of the reference block, and similar block detection means for detecting a reference block having the highest similarity among the plurality of reference blocks based on the calculated similarity (SAD 4-point minimum block detector 7-3) and the similarity of the reference block with the highest similarity detected by the similar block detector and the similarity of the reference block already stored in the storage unit are compared. If the similarity of the stored reference block is lower, the similarity of the reference block and the position of the reference block are determined as the detected reference block. Update means (minimum point storage unit 7-6, SAD minimum point detection unit 7-7) for replacing with block similarity and reference block position, and when the number of repetitions of the tracking process reaches a predetermined number of tracking processes, When the end determination means (end determination section 7-10) for determining and the end determination means do not determine the end, the detection set as the tracking center position of the search pattern by the tracking center position setting means is detected. Control means for controlling to repeat the tracking process based on the position of the reference block, while controlling to detect a motion vector from the position of the reference block stored in the storage unit when it is determined to end. A motion vector detecting device including a control unit 7-1) is provided.
各請求項記載の本発明によれば、上下左右の周辺点に配置された参照ブロックのうち圧縮対象ブロックと最も類似した参照ブロックへ追跡中心点の移動を繰り返して、最も類似した参照ブロックの位置を追跡するが、必ずしも追跡中心点が上下左右の周辺点で最も類似した位置に達した場合に追跡を終了するわけではなく、さらに先の類似した位置を追跡することができる。このため、局所解に陥る確率を減少させることができる。
また第１の発明によれば、繰り返し回数が偶数または奇数どちらかの追跡処理の場合に限り追跡を終了する構成であるので、従来例をほとんど変更しないで、簡単に実現できる。
また第２の発明によれば、追跡中に中心点が同一位置に回帰することにより追跡を終了する。このため、追跡回数の偶数／奇数などに左右されず、局所解に陥る確率をさらに減少させることができる。
また第３の発明によれば、所定の追跡回数になると追跡を終了するため、制限回数になるまでの追跡処理で見つかった最も類似した参照ブロックから動きベクトルを検出する。このため、動きベクトルの検出にかかる時間はいつも一定であり、同期した処理が必要な圧縮符号化装置に使用すると好適である。
According to the present invention described in each claim, the position of the most similar reference block is determined by repeatedly moving the tracking center point to the reference block most similar to the compression target block among the reference blocks arranged at the upper, lower, left and right peripheral points. However, the tracking is not necessarily terminated when the tracking center point reaches the most similar position at the upper, lower, left, and right peripheral points, and a further similar position can be tracked. For this reason, the probability of falling into a local solution can be reduced.
Further, according to the first invention, the tracking is terminated only when the number of repetitions is an even number or odd number tracking process, so that the conventional example can be easily realized with almost no change.
According to the second invention, the tracking is terminated when the center point returns to the same position during the tracking. For this reason, the probability of falling into a local solution can be further reduced without being influenced by the even / odd number of times of tracking.
According to the third aspect of the invention, since the tracking is terminated when the predetermined number of tracking times is reached, the motion vector is detected from the most similar reference block found in the tracking processing until the limit number of times is reached. For this reason, the time required to detect a motion vector is always constant, and it is preferable to use it for a compression encoding apparatus that requires synchronized processing.
本発明は、追跡型動きベクトル検出方法の従来の終了判定方法を改良することによって、局所解に陥る確率を減少させたものである。以下、本発明を実施するための最良の形態につき、好ましい実施例を用い説明する。 The present invention reduces the probability of falling into a local solution by improving the conventional end determination method of the tracking type motion vector detection method. Hereinafter, the best mode for carrying out the present invention will be described using preferred embodiments.
実施例１について、図１〜図５を用いて説明する。図１は、動画像符号化装置の構成を示した図である。図２は、動き補償予測部の構成を示した図である。図３は、動作フローチャートを示す。図４と図５は、追跡動作の例を示した図である。 Example 1 will be described with reference to FIGS. FIG. 1 is a diagram illustrating a configuration of a moving image encoding apparatus. FIG. 2 is a diagram illustrating a configuration of the motion compensation prediction unit. FIG. 3 shows an operation flowchart. 4 and 5 are diagrams illustrating examples of the tracking operation.
最初に、動き補償予測符号化装置について説明する。本実施例における動画像符号化装置は、図１に示すように、対象画像メモリ１、減算器２、予測誤差符号化部３、予測誤差復号化部４、加算器５、参照画像メモリ６、動き補償予測部７、可変長符号化部８から構成され、以下のように動画像符号化を実現している。
入力された画像は、対象画像メモリ１に蓄積されて、コントローラ（表示せず。）の制御のもとに、ＭＢを単位として、圧縮対象画像として出力され、減算器２により後述する予測画像との差分をとって、予測誤差を生成して、予測誤差符号化部３によりＤＣＴ変換・量子化された符号を、可変長符号化部８により可変長符号化、フォーマット化して、圧縮画像として出力される。また前記予測画像は、動き補償予測部７により、対象画像メモリ１出力の対象画像と参照画像メモリ６出力の１フレーム前の参照画像とから、動きベクトルを求めて、動き補償された予測画像として生成されたもので、動きベクトルとともに出力される。この時の参照画像は、局部復号され参照画像メモリ６に蓄積された符号化済みの画像画像が使われる。局部復号は、前記ＤＣＴ変換・量子化された符号が、予測誤差復号化部４によりもとの予測誤差に復号されて、加算器５により前記予測画像に加算されることにより復号される。
First, the motion compensation predictive coding apparatus will be described. As shown in FIG. 1, the moving image encoding apparatus according to the present embodiment includes a
The input image is accumulated in the
次に、本発明の主要部である前期動き補償予測部７の構成、および各要素の機能について説明する。動き補償予測部７は、制御部７−１、ＳＡＤ計算部７−２、ＳＡＤ４点最小ブロック検出部７−３、追跡中心設定部７−４、アドレス設定部７−５、最小点記憶部７−６、ＳＡＤ最小点検出部７−７、終了判定部７−８から構成されている。
ＳＡＤ計算部７−２は、４つのＳＡＤ計算部を備え、圧縮対象ＭＢ、および上下左右探索点の各参照ＭＢを入力して、ブロックマッチングを行って、差分絶対値和ＳＡＤを求め、上下左右探索点のＳＡＤをそれぞれ、ＳＡＤ４点最小ブロック検出部７−３に出力する。なお、ＳＡＤ計算部７−２は、本来３個備えていれば演算は可能であるが、移動方向の判定処理などが必要となるため、本実施例では、４個として高速化したものである。また、ＳＡＤ計算部２つで時分割処理を行い、４個のＳＡＤを計算しても、同様の効果が得られる。
ＳＡＤ４点最小ブロック検出部７−３は、ＳＡＤ計算部７−２から出力された上下左右ＭＢのＳＡＤの値が最小となるＭＢを判別して、前記最小ＭＢのＳＡＤの値（以下、ＳＡＤ４ｍｉｎとも記す。）、およびそのＭＢ位置（以下、ＰＢ４ｍｉｎとも記す。）を出力する。
追跡中心設定部７−４は、前記ＰＢ４ｍｉｎを入力して、これを追跡中心点として出力する。なお、追跡開始の初期設定時には、制御部７−１から入力した初期中心点を追跡中心点として出力する。
アドレス設定部７−５は、制御部７−１から入力した対象画像メモリ１の圧縮対象ＭＢのアドレス、および前記追跡中心設定部７−４から入力した追跡中心点にもとづく参照画像メモリ６の上下左右の参照ＭＢのアドレスを設定して、対応するＭＢデータをＳＡＤ計算部に読み込ませる。また、ＭＶ検出が完了した時には、終了処理として、参照画像メモリ６から、記憶部７−６に記憶されたＰＢｍｉｎ位置の参照ＭＢを読み出して予測画像として出力する機能も持つ。
最小点記憶部７−６は、これまで現れたＳＡＤの最小値ＳＡＤｍｉｎ、およびそのＭＢ位置ＰＢｍｉｎを記憶する部位である。
ＳＡＤ最小点検出部７−７は、ＳＡＤ４点最小ブロック検出部７−３から出力されたＳＡＤ４ｍｉｎと最小点記憶部７−６に記憶されたＳＡＤｍｉｎを比較して、ＳＡＤ４ｍｉｎの方が小さい場合には、ＳＡＤｍｉｎをＳＡＤ４ｍｉｎに書き換えるとともに、付随するＰＢｍｉｎもＰＢ４ｍｉｎに書き換えて、ＳＡＤが最小値となる最小点を更新する。逆にＳＡＤ４ｍｉｎの方が大きいか等しい場合には、追跡中心点が最小となったことを示す中心点極小信号を出力する。
終了判定部７−８は、中心点極小信号を受けて、制御部７−１に制御され、追跡回数が偶数回目の時に限り、制御部７−１に終了信号を出力する。奇数回目の時は無視する。
制御部７−１は、基本的には、全ての構成要素を制御（図示せず。）して、ＭＶ検出の進行制御を行い、ＭＶの追跡ステップを進める。特に、終了処理として、アドレス設定部７−５を制御して、予測画像を出力するとともに、対象ブロック位置ＰＢｏと参照ブロックの位置ＰＢｍｉｎの座標差分（図示せず。）を動きベクトルＭＶとして出力する。そして、各構成要素を制御して、次のＭＢのＭＶ検出にうつる。
なお、従来例では、中心点極小信号はそのまま終了信号となっている。すなわち、本実施例から、終了判定部７−８を削除して、中心点極小信号を終了信号としてそのまま出力すれば、従来例と一致するものである。
Next, the configuration of the previous-term motion
The SAD calculation unit 7-2 includes four SAD calculation units, inputs the compression target MB and each reference MB of the upper, lower, left, and right search points, performs block matching, obtains the sum of absolute differences SAD, Each SAD of the search point is output to the SAD 4-point minimum block detector 7-3. The SAD calculation unit 7-2 can perform computations if it is originally provided with three units, but it requires a moving direction determination process and the like, so in this embodiment, the number is increased to four. . The same effect can be obtained by performing time-sharing processing with two SAD calculation units and calculating four SADs.
The SAD 4-point minimum block detector 7-3 discriminates the MB where the SAD value of the upper, lower, left and right MBs output from the SAD calculator 7-2 is minimum, and the SAD value of the minimum MB (hereinafter also referred to as SAD4min). And its MB position (hereinafter also referred to as PB4min).
The tracking center setting unit 7-4 inputs the PB4min and outputs it as a tracking center point. At the initial setting of tracking start, the initial center point input from the control unit 7-1 is output as the tracking center point.
The address setting unit 7-5 moves the upper and lower sides of the
The minimum point storage unit 7-6 is a part that stores the SAD minimum value SADmin that has appeared so far, and its MB position PBmin.
The SAD minimum point detection unit 7-7 compares the SAD4min output from the SAD4 point minimum block detection unit 7-3 with the SADmin stored in the minimum point storage unit 7-6, and if SAD4min is smaller, , SADmin is rewritten to SAD4min, and the accompanying PBmin is also rewritten to PB4min to update the minimum point at which SAD becomes the minimum value. On the other hand, if SAD4min is greater or equal, a center point minimum signal indicating that the tracking center point is minimized is output.
The end determination unit 7-8 receives the center point minimum signal, is controlled by the control unit 7-1, and outputs an end signal to the control unit 7-1 only when the number of times of tracking is an even number. Ignored for odd number of times.
The control unit 7-1 basically controls all components (not shown), performs MV detection progress control, and advances the MV tracking step. In particular, as an end process, the address setting unit 7-5 is controlled to output a predicted image, and a coordinate difference (not shown) between the target block position PBo and the reference block position PBmin is output as a motion vector MV. . Then, each constituent element is controlled, and the MV detection of the next MB is performed.
In the conventional example, the minimum signal at the center point is the end signal as it is. That is, if the end determination unit 7-8 is deleted from the present embodiment and the center point minimum signal is output as it is as the end signal, it is consistent with the conventional example.
次に、前記構成の動き補償予測部７によるＭＶ検出動作手順について、図３のフローチャートを用いて説明する。
所定のＭＢのＭＶ検出が開始されると、まず制御部７−１は、圧縮対象ＭＢ位置ＰＢｏを更新して、初期設定を行う（ステップＳ１）。初期中心点は、周辺ＭＢから予測した位置（例えば、一つ前のＭＢのＭＶとＰＢｏの和）とする。記憶部７−６のＰＢｍｉｎは初期中心点位置、ＳＡＤｍｉｎは、初期中心点のＳＡＤの値とする。ただし、初期中心点のＳＡＤが不明な場合は、設定できる最大の値とする。終了判別部７−８の追跡回数ＣＴ（カウンタ）の値を０にセットする。
Next, the MV detection operation procedure by the motion
When MV detection of a predetermined MB is started, the control unit 7-1 first updates the compression target MB position PBo and performs initial setting (step S1). The initial center point is a position predicted from the surrounding MB (for example, the sum of MV and PBo of the previous MB). In the storage unit 7-6, PBmin is the initial center point position, and SADmin is the SAD value of the initial center point. However, if the SAD of the initial center point is unknown, the maximum value that can be set is used. The value of the tracking number CT (counter) of the end determination unit 7-8 is set to zero.
次に、追跡動作について説明する。追跡中心設定部７−４は、ＳＡＤ４点最小ブロック検出部７−３から出力されたＰＢ４ｍｉｎを追跡中心点として設定する（ステップＳ２）。ただし、最初は、初期設定の初期中心点のままとする。
アドレス設定部７−５は、圧縮対象ＭＢ位置ＰＢｏのＭＢを対象画像メモリ１から読み出してＳＡＤ計算部に書き込むとともに、追跡中心点ＰＢ４ｍｉｎの上下左右のＭＢを参照画像メモリ６から読み出して各上下左右のＳＡＤ計算部５−２に書き込む（ステップＳ３）。
ＳＡＤ計算部７−２は、前記書き込まれた圧縮対象ＭＢと参照ＭＢの各対応する画素の差分をとり、その絶対値の加算結果をＳＡＤとして計算して、上下左右それぞれ出力する。（ステップＳ４）
ＳＡＤ４点最小ブロック検出部７−３は、前記上下左右４つのＳＡＤのうち最も小さいＳＡＤのＭＢを最小ブロックとして、その中心点位置をＰＢ４ｍｉｎ、ＳＡＤの値をＳＡＤ４ｍｉｎとして出力する（ステップＳ５）。
Next, the tracking operation will be described. The tracking center setting unit 7-4 sets PB4min output from the SAD 4-point minimum block detecting unit 7-3 as a tracking center point (step S2). However, initially, the initial center point is set as the initial setting.
The address setting unit 7-5 reads the MB at the compression target MB position PBo from the
The SAD calculation unit 7-2 takes the difference between the corresponding pixels of the written MB to be compressed and the reference MB, calculates the addition result of the absolute value as SAD, and outputs the result in the vertical and horizontal directions. (Step S4)
The SAD 4-point minimum block detection unit 7-3 outputs the smallest SAD MB among the four vertical, left, and right SADs as the minimum block, outputs the center point position as PB4min, and the SAD value as SAD4min (step S5).
次に、終了判定方法について説明する。制御部７−１は、追跡回数ＣＴの値を＋１する。また、ＳＡＤ最小点検出部７−７は、前記出力されたＳＡＤ４ｍｉｎを最小点記憶部７−６に記憶されているＳＡＤｍｉｎと比較して、ＳＡＤｍｉｎが大きい場合には、ステップＳ６−２に進み、小さいか等しい場合には、中心点が最小であることを示す中心点極小信号を出力するとともに、ステップＳ６−３に進む（ステップＳ６−１）。
ステップＳ６−２では、最小点記憶部７−６に記憶されているＳＡＤｍｉｎ、ＰＢｍｉｎをＳＡＤ４ｍｉｎ、ＰＢ４ｍｉｎに置き換えて、ステップＳ２に進み、次の追跡にうつる（ステップＳ６−２）
ステップＳ６−３では、終了判定部７−８は、追跡回数ＣＴの値が奇数の場合には、ステップＳ２に進み、次の追跡にうつり、偶数の場合には、終了信号を出力してステップＳ７に進み、終了処理に入る（ステップＳ６−３）。
Next, an end determination method will be described. The control unit 7-1 increments the value of the tracking number CT by +1. The SAD minimum point detection unit 7-7 compares the output SAD4min with the SADmin stored in the minimum point storage unit 7-6. If SADmin is large, the process proceeds to step S6-2. If it is smaller or equal, a center point minimum signal indicating that the center point is minimum is output and the process proceeds to step S6-3 (step S6-1).
In step S6-2, SADmin and PBmin stored in the minimum point storage unit 7-6 are replaced with SAD4min and PB4min, and the process proceeds to step S2 to proceed to the next tracking (step S6-2).
In step S6-3, the end determination unit 7-8 proceeds to step S2 when the value of the number of times of tracking CT is an odd number, proceeds to the next tracking, and outputs an end signal when the number is even. The process proceeds to S7 and the end process is entered (step S6-3).
制御部７−１は、終了信号を入力すると、終了処理として、最小点記憶部７−６、アドレス設定部７−５を制御して予測画像を出力するとともに、ＭＶを出力して、このＭＢの動き補償予測処理を終了する（ステップＳ７）。 When the end signal is input, the control unit 7-1 controls the minimum point storage unit 7-6 and the address setting unit 7-5 to output a predicted image and outputs an MV as an end process. This motion compensation prediction process is terminated (step S7).
次に、以上の構成、動作ステップを持つ動き補償予測部７によるＭＶ検出動作について２つの追跡例により具体的に説明する。なお、以下の図面上では、従来例同様、対象ブロック位置、および初期中心点位置を（０，０）とする。
まず、図４により追跡動作１について説明する。図４（Ａ）は、従来例の図１０（Ｂ）と同一のＳＡＤ分布図、図４（Ｂ）は、図１０（Ｃ）に相当する追跡動作を表している。
追跡回数＃１では、初期中心点で、ＳＡＤｍｉｎ＝（大きな数）、ＰＢｍｉｎ＝（０，０）であり、上下左右周辺点のＳＡＤが計算されると、右点（ＳＡＤ４ｍｉｎ＝２０）が４点最小点として検出される。ここでは追跡回数が奇数で終了判定されないため、追跡中心点は右に１画素移動する。そして、ＳＡＤｍｉｎ＝２０、ＰＢｍｉｎ＝（１，０）となる。
次に、追跡回数＃２では、同様に周辺点のＳＡＤが計算され、右点（ＳＡＤ４ｍｉｎ＝１６）が４点最小点として検出される。ここでは追跡回数が偶数で終了判定されるが、ＳＡＤｍｉｎよりＳＡＤ４ｍｉｎが小さいので、追跡は続行される。そして、ＳＡＤｍｉｎ＝１６、ＰＢｍｉｎ＝（２，０）となり、追跡中心点は右に１画素移動する。
追跡回数＃３では、同様に周辺点のＳＡＤが計算され、右点（ＳＡＤ４ｍｉｎ＝１７）が４点最小点として検出される。ここでは、ＳＡＤｍｉｎよりＳＡＤ４ｍｉｎが大きいので、本来であればＭＶの追跡は終了するはずであるが、追跡回数が奇数で終了判定されないため、追跡は続行される。そして、ＳＡＤｍｉｎ＝１６、ＰＢｍｉｎ＝（２，０）は、維持され、追跡中心点は右に１画素移動する。
追跡回数＃４では、同様に周辺点のＳＡＤが計算され、右点（ＳＡＤ４ｍｉｎ＝１５）が４点最小点として検出される。ここでは追跡回数が偶数で終了判定されるが、ＳＡＤｍｉｎよりＳＡＤ４ｍｉｎが小さいので、追跡は続行される。そして、ＳＡＤｍｉｎ＝１５、ＰＢｍｉｎ＝（４，０）となり、追跡中心点は右に１画素移動する。
追跡回数＃５では、同様に周辺点のＳＡＤが計算され、右点（ＳＡＤ４ｍｉｎ＝１４）が４点最小点として検出される。ここでは、追跡回数が奇数で終了判定されず、ＳＡＤｍｉｎよりＳＡＤ４ｍｉｎが小さいので、ＳＡＤｍｉｎ＝１４、ＰＢｍｉｎ＝（５，０）となり、追跡中心点は右に１画素移動する。
追跡回数＃６では、同様に周辺点のＳＡＤが計算され、左点（ＳＡＤ４ｍｉｎ＝１５）が４点最小点として検出される。そして追跡回数が偶数で終了判定され、ＳＡＤｍｉｎよりＳＡＤ４ｍｉｎが大きいので、追跡中心点が極小点となって追跡は停止する。このときのＰＢｍｉｎ＝（５，０）から、ＭＶ＝ＰＢｏ−ＰＢｍｉｎとして動きベクトルＭＶが検出される。
なお、＃６の追跡中心点が、例えばＳＡＤ＝１６のように、終了判定点で極小点とならない場合には、ＳＡＤｍｉｎ＝１５のままで、＃５に戻り、ＳＡＤ４ｍｉｎ＝ＳＡＤｍｉｎが検出された時点に、探索を停止してＭＶを求めることになる。
本追跡例で、ＳＡＤｍｉｎ＝１４の最小点に到達している。これは、＃３で、追跡中心点のＳＡＤが極小となるにもかかわらず、たまたま終了判定がないため、ＳＡＤ＝１７という障壁を１つ飛び越して、＃４へと追跡を続けることができたためである。
Next, the MV detection operation by the motion
First, the
In tracking
Next, in the
In the
In the
In the
In the
When the tracking center point of # 6 does not become a minimum point at the end determination point, for example, SAD = 16, SADmin = 15 is maintained and the process returns to # 5, and SAD4min = SADmin is detected. Then, the search is stopped and MV is obtained.
In this tracking example, the minimum point of SADmin = 14 has been reached. This is because in # 3, although the SAD at the tracking center point is minimized, there is no end determination, so it was possible to continue tracking to # 4 by jumping one barrier of SAD = 17. It is.
次に、図５により追跡動作２について説明する。追跡動作２は、図５（Ａ）に示すように、追跡に関係するＳＡＤの分布は追跡動作１と同じとして、初期中心点を左に１画素だけずらして、追跡回数ＣＴの奇数／偶数を逆転させたものである。
この場合、追跡回数＃１では、上下左右周辺点のＳＡＤが計算されると、右点（ＳＡＤ４ｍｉｎ＝２２）が４点最小点として検出される。ここでは追跡回数が奇数で終了判定されないため、追跡中心点は右に１画素移動する。そして、ＳＡＤｍｉｎ＝２２、ＰＢｍｉｎ＝（１，０）となる。
次に、追跡回数＃２では、同様に周辺点のＳＡＤが計算され、右点（ＳＡＤ４ｍｉｎ＝２０）が４点最小点として検出される。ここでは追跡回数が偶数で終了判定されるが、ＳＡＤｍｉｎよりＳＡＤ４ｍｉｎが小さいので、追跡は続行される。そして、ＳＡＤｍｉｎ＝２０、ＰＢｍｉｎ＝（２，０）となり、追跡中心点は右に１画素移動する。
追跡回数＃３では、同様に周辺点のＳＡＤが計算され、右点（ＳＡＤ４ｍｉｎ＝１６）が４点最小点として検出される。ここでは追跡回数が奇数で終了判定されないため、追跡中心点は右に１画素移動する。そして、ＳＡＤｍｉｎ＝１６、ＰＢｍｉｎ＝（３，０）となる。
追跡回数＃４では、同様に周辺点のＳＡＤが計算され、右点（ＳＡＤ４ｍｉｎ＝１７）が４点最小点として検出される。ここでは追跡回数が偶数で終了判定され、ＳＡＤｍｉｎよりＳＡＤ４ｍｉｎが大きいので、追跡は終了する。このときのＰＢｍｉｎ＝（３，０）から、ＭＶ＝ＰＢｏ−ＰＢｍｉｎとして動きベクトルＭＶが検出される。
本追跡例では、終了判定する位置を追跡動作１から左に１画素だけずらしたため、＃４で終了判定され、ＳＡＤｍｉｎ＝１６の局所解に落ち込んで、最小点には到達できていない。
Next, the
In this case, in the
Next, in tracking
In the
In the
In this tracking example, the end determination position is shifted by one pixel to the left from the
以上のように、実施例１によれば、追跡回数ＣＴにより、１カウントおきにしか終了判定を行わないため、終了判定を行わない時、すなわち１／２の確率で、１画素だけであれば、追跡ルート上の単調減少から逸脱した障壁を乗り越えて、さらに先の最小値を追跡できる。なお、次のカウントの追跡時には、終了判定を行い、前記中心点は、周辺点として再度調べることになるので、極小値となることを見逃すことはない。
さらに、制御部７−１は、中心点極小信号を受けると、追跡カウントが偶数回目の時だけ終了処理を行い、奇数回目の時は無視するようにして、終了判定部７−８の機能を吸収すれば、従来例の構成のまま最小限の変更で、局所解に陥る確率を減少させることも可能となり、既に従来例の構成で運用している場合には実用上の効果は大きい。
As described above, according to the first embodiment, the end determination is performed only every other count based on the number of times of tracking CT. Therefore, when the end determination is not performed, that is, when there is only one pixel with a probability of 1/2. Overcoming barriers that deviate from monotonic declines on the tracking route, you can track the minimum further ahead. When the next count is tracked, the end determination is performed and the center point is examined again as a peripheral point, so that it is not overlooked that the center point becomes a minimum value.
Further, when the control unit 7-1 receives the center point minimum signal, the control unit 7-1 performs the end process only when the tracking count is the even number, and ignores the function when the tracking count is the odd number. If it is absorbed, it is possible to reduce the probability of falling into a local solution with the minimum change with the configuration of the conventional example, and the practical effect is great when the configuration of the conventional example is already used.
実施例２について、図６、図７、および図４を用いて説明する。図６は、動き補償予測部の構成を示した図である。図７は、動作フローチャートを示す。図４は、追跡動作の例を示した図である。 Example 2 will be described with reference to FIGS. 6, 7, and 4. FIG. 6 is a diagram illustrating a configuration of the motion compensation prediction unit. FIG. 7 shows an operation flowchart. FIG. 4 is a diagram illustrating an example of the tracking operation.
実施例２における動画像符号化装置の構成は、実施例１と同一なので、説明は省略する。
また、動き補償予測部７の構成は、終了判定に関与するＳＡＤ最小点検出部７−７の一部機能、および終了判定部７−９を除いて、実施例１と同一である。すなわち、実施例１の探索回数の奇数／偶数による終了判定部７−８を、同一点回帰による終了判定部７−９に置き換えて、ＳＡＤ最小点検出部７−７の中心点極小信号の出力機能を除去したものである。終了判定に関与しない部分は、従来例１と同一なので、説明は省略する。
そして、終了判定部７−９は、ＳＡＤ４最小ブロック検出部７−３出力のＰＢ４ｍｉｎを最小点記憶部７−６に記憶されたＰＢｍｉｎを比較して同一かどうかチェックして、同一である場合、すなわち同一点に戻った場合に限り終了信号を出力する。
Since the configuration of the moving image encoding apparatus in the second embodiment is the same as that in the first embodiment, the description thereof is omitted.
The configuration of the motion
Then, the end determination unit 7-9 compares the PB4min output from the SAD4 minimum block detection unit 7-3 with the PBmin stored in the minimum point storage unit 7-6 to check whether they are the same. That is, an end signal is output only when the point is returned to the same point.
次に、前記構成の動き補償予測部７によるＭＶ検出動作手順について、図７のフローチャートを用いて説明する。
最初のステップＳ１の初期設定（ただし、ＣＴは不使用。）、および次のステップＳ２〜Ｓ５の追跡動作については、実施例１と同一なので、説明を省略する。
続いて終了判定について説明する。ＳＡＤ最小点検出部７−７は、前記出力されたＳＡＤ４ｍｉｎを最小点記憶部７−６に記憶されているＳＡＤｍｉｎと比較して、ＳＡＤｍｉｎが大きい場合には、ステップＳ８−２に進み、小さいか等しい場合には、ステップＳ８−３に進む（ステップＳ８−１）。
ステップＳ８−２では、最小点記憶部７−６に記憶されているＳＡＤｍｉｎ、ＰＢｍｉｎをＳＡＤ４ｍｉｎ、ＰＢ４ｍｉｎに置き換えて、ステップＳ２に進み次の追跡にうつる（ステップＳ８−２）。
ステップＳ８−３では、終了判定部７−９は、ＰＢｍｉｎとＰＢ４ｍｉｎを比較して異なる場合には、ステップＳ２に進み次の追跡にうつり、同じ場合には、終了信号を出力してステップＳ７に進み終了処理に入る（ステップＳ８−３）。
ステップＳ７では、制御部７−１は、終了信号を入力して終了処理に入ると、実施例１同様、予測画像、およびＭＶを出力して、このＭＢの動き補償予測処理を終了する（ステップＳ７）。
Next, the MV detection operation procedure by the motion
Since the initial setting in the first step S1 (however, CT is not used) and the tracking operation in the next steps S2 to S5 are the same as those in the first embodiment, description thereof will be omitted.
Next, the end determination will be described. The SAD minimum point detection unit 7-7 compares the output SAD4min with the SADmin stored in the minimum point storage unit 7-6. If the SADmin is large, the process proceeds to step S8-2. If equal, the process proceeds to step S8-3 (step S8-1).
In step S8-2, SADmin and PBmin stored in the minimum point storage unit 7-6 are replaced with SAD4min and PB4min, and the process proceeds to step S2 for the next tracking (step S8-2).
In step S8-3, when the PBmin and PB4min are different from each other, the end determination unit 7-9 proceeds to step S2 and proceeds to the next tracking. If the same, the end determination unit 7-9 outputs an end signal and proceeds to step S7. The advance end process is entered (step S8-3).
In step S7, when the control unit 7-1 inputs the end signal and enters the end process, the predictive image and the MV are output as in the first embodiment, and the motion compensation prediction process for the MB ends (step S7). S7).
次に、図４の追跡動作１を用いて、ＭＶ検出動作について具体的に説明する。図４（Ａ）は、ＳＡＤ分布図、図４（Ｂ）は、追跡動作を表している。
追跡回数＃１では、初期中心点で、ＳＡＤｍｉｎ＝（大きな数）、ＰＢｍｉｎ＝（０，０）であり、上下左右周辺点のＳＡＤが計算されると、右点（ＳＡＤ４ｍｉｎ＝２０）が４点最小点として検出されるが、ＰＢｍｉｎとＰＢ４ｍｉｎは異なるので、追跡中心点は右に１画素移動して追跡を続ける。ＳＡＤｍｉｎ＝２０、ＰＢｍｉｎ＝（１，０）となる。
次に、追跡回数＃２では、同様に周辺点のＳＡＤが計算され、右点（ＳＡＤ４ｍｉｎ＝１６）が４点最小点として検出されるが、ＰＢｍｉｎとＰＢ４ｍｉｎは異なるので、追跡中心点は右に１画素移動して追跡を続ける。ＳＡＤｍｉｎ＝１６、ＰＢｍｉｎ＝（２，０）となる。
追跡回数＃３では、同様に周辺点のＳＡＤが計算され、右点（ＳＡＤ４ｍｉｎ＝１７）が４点最小点として検出されるが、ＰＢｍｉｎとＰＢ４ｍｉｎは異なるので、追跡中心点は右に１画素移動して追跡を続ける。ＳＡＤｍｉｎ＝１６、ＰＢｍｉｎ＝（２，０）は、維持される。
追跡回数＃４では、同様に周辺点のＳＡＤが計算され、右点（ＳＡＤ４ｍｉｎ＝１５）が４点最小点として検出されるが、ＰＢｍｉｎとＰＢ４ｍｉｎは異なるので、追跡中心点は右に１画素移動して追跡を続ける。ＳＡＤｍｉｎ＝１５、ＰＢｍｉｎ＝（４，０）となる。
追跡回数＃５では、同様に周辺点のＳＡＤが計算され、右点（ＳＡＤ４ｍｉｎ＝１４）が４点最小点として検出されるが、ＰＢｍｉｎとＰＢ４ｍｉｎは異なるので、追跡中心点は右に１画素移動して追跡を続ける。ＳＡＤｍｉｎ＝１４、ＰＢｍｉｎ＝（５，０）となる。
追跡回数＃６では、同様に周辺点のＳＡＤが計算され、左点（ＳＡＤ４ｍｉｎ＝１５）が４点最小点として検出されるが、ＰＢｍｉｎ（５，０）とＰＢ４ｍｉｎ（４，０）は異なるので、追跡中心点は左に１画素戻って追跡を続ける。ＳＡＤｍｉｎ＝１４、ＰＢｍｉｎ＝（５，０）を維持する。
追跡回数＃７では、＃５に戻って、同様に周辺点のＳＡＤが計算され、右点（ＳＡＤ４ｍｉｎ＝１４）が４点最小点として検出されるが、ＰＢｍｉｎとＰＢ４ｍｉｎが一致するので、追跡は停止される。このときのＰＢｍｉｎ＝（５，０）から、ＭＶ＝ＰＢｏ−ＰＢｍｉｎとして動きベクトルＭＶが検出される。
本追跡例で、ＳＡＤｍｉｎ＝１４の最小点に到達している。
Next, the MV detection operation will be specifically described using the
In tracking
Next, in tracking
In tracking
In tracking
In tracking
In the
In the
In this tracking example, the minimum point of SADmin = 14 has been reached.
以上のように、実施例２によれば、中心点極小で終了判定するのではないので、１画素だけであれば単調減少から逸脱した障壁を乗り越えてさらに先の極小値を追跡できる。このため、局所解に陥る確率を減少できる。
さらに、実施例２によれば、同一極小点に回帰するかどうかにより終了判定するため、極小点に到達したら直ちに終了処理する場合よりも、１追跡回数分余分に時間がかかるが、実施例１のように、追跡回数の偶数／奇数に左右されないで、障壁を乗り越えることが可能となり、さらに先の最小値を追跡できる。
As described above, according to the second embodiment, since the end determination is not performed at the center point minimum, if only one pixel is used, the further minimum value can be traced over the barrier deviating from the monotonous decrease. For this reason, the probability of falling into a local solution can be reduced.
Further, according to the second embodiment, since the end determination is made depending on whether or not the same minimum point is regressed, it takes an extra time for the number of tracking times compared with the case where the end processing is performed immediately after reaching the minimum point. As described above, it is possible to overcome the barrier without depending on the even / odd number of times of tracking, and it is possible to track the minimum value ahead.
実施例３について図８、図９、および図４を用いて説明する。図８は、動き補償予測部の構成を示した図である。図９は、動作フローチャートを示す。図４は、追跡動作の例を示した図である。 A third embodiment will be described with reference to FIGS. 8, 9, and 4. FIG. FIG. 8 is a diagram illustrating a configuration of the motion compensation prediction unit. FIG. 9 shows an operation flowchart. FIG. 4 is a diagram illustrating an example of the tracking operation.
実施例３における動画像符号化装置の構成は、実施例１と同一なので、説明は省略する。
また、動き補償予測部７の構成は、終了判定に関与する終了判定部７−１０を除いて、実施例２と同一である。すなわち、実施例２の同一点回帰による終了判定部７−９を、回数制限による終了判定部７−１０に置き換えたものである。終了判定に関与しない部分は、従来例２と同一なので、説明は省略する。
終了判定部７−１０は、追跡回数ＣＴをチェックして、追跡回数が設定した制限回数になった時に限り、終了信号を出力するものである。
Since the configuration of the moving image encoding apparatus in the third embodiment is the same as that in the first embodiment, the description thereof is omitted.
The configuration of the motion
The end determination unit 7-10 checks the tracking number CT and outputs an end signal only when the tracking number reaches the set limit number.
次に、前記構成の動き補償予測部７によるＭＶ検出動作手順について、図９のフローチャートを用いて説明する。
ステップＳ１の初期設定では、対象ＭＢ位置、初期中心点、ＳＡＤ最小点（ＰＢｍｉｎ、ＳＡＤｍｉｎ）の設定は、実施例１の場合と同一である。また、終了判別部７−１０は、追跡回数チェック用ＣＴの値を所定の回数制限したい値にセットする（ステップＳ１）。
また、ステップＳ２〜Ｓ５の追跡動作は、実施例１の場合と同一なので、説明を省略する。
終了判定については、まず、ＳＡＤ最小点検出部７−７は、前記出力されたＳＡＤ４ｍｉｎを最小点記憶部７−６に記憶されているＳＡＤｍｉｎと比較して、ＳＡＤｍｉｎが大きい場合には、ステップＳ９−２に進み、小さいか等しい場合には、ステップＳ９−３に飛ぶ（ステップＳ９−１）。
ステップＳ９−２では、最小点記憶部７−６に記憶されているＳＡＤｍｉｎ、ＰＢｍｉｎをＳＡＤ４ｍｉｎ、ＰＢ４ｍｉｎに書き換えて最小点を更新して、ステップＳ９−３に進む（ステップＳ９−２）
ステップＳ９−３では、終了判定部７−１０は、追跡回数チェック用ＣＴの値を−１して（ステップＳ９−３）、チェック用ＣＴの値が０でない場合には、ステップＳ２に飛び次の追跡動作にうつり、チェック用ＣＴの値が０の場合には、終了信号を出力してステップＳ７に進み（ステップＳ９−４）、終了処理に入る。
ステップＳ７では、制御部７−１は、終了信号を入力して終了処理に入ると、実施例１同様、予測画像、およびＭＶを出力して、このＭＢの動き補償予測処理を終了する（ステップＳ７）。
Next, the MV detection operation procedure by the motion
In the initial setting in step S1, the setting of the target MB position, the initial center point, and the SAD minimum point (PBmin, SADmin) is the same as in the first embodiment. Further, the end determining unit 7-10 sets the value of the tracking number check CT to a value to be limited a predetermined number of times (step S1).
Moreover, since the tracking operation | movement of step S2-S5 is the same as the case of Example 1, description is abbreviate | omitted.
Regarding the end determination, first, the SAD minimum point detection unit 7-7 compares the output SAD4min with the SADmin stored in the minimum point storage unit 7-6. -2 and if smaller or equal, jump to step S9-3 (step S9-1).
In step S9-2, SADmin and PBmin stored in the minimum point storage unit 7-6 are rewritten to SAD4min and PB4min to update the minimum point, and the process proceeds to step S9-3 (step S9-2).
In step S9-3, the end determination unit 7-10 decrements the CT value for tracking number check by −1 (step S9-3). If the check CT value is not 0, the end determination unit 7-10 jumps to step S2. When the check CT value is 0, the end signal is output and the process proceeds to step S7 (step S9-4), and the end process is started.
In step S7, when the control unit 7-1 inputs the end signal and enters the end process, the predictive image and the MV are output as in the first embodiment, and the motion compensation prediction process for the MB ends (step S7). S7).
次に、図４の追跡動作１を用いて、ＭＶ検出動作について具体的に説明する。図４（Ａ）は、ＳＡＤ分布図、図４（Ｂ）は、追跡動作を表している。
追跡回数＃１では、初期中心点で、ＳＡＤｍｉｎ＝（大きな数）、ＰＢｍｉｎ＝（０，０）であり、上下左右周辺点のＳＡＤが計算されると、右点（ＳＡＤ４ｍｉｎ＝２０）が４点最小点として検出され、追跡中心点は右に１画素移動して追跡を続ける。ＳＡＤｍｉｎ＝２０、ＰＢｍｉｎ＝（１，０）となる。
次に、追跡回数＃２では、同様に周辺点のＳＡＤが計算され、右点（ＳＡＤ４ｍｉｎ＝１６）が４点最小点として検出され、追跡中心点は右に１画素移動して追跡を続ける。ＳＡＤｍｉｎ＝１６、ＰＢｍｉｎ＝（２，０）となる。
追跡回数＃３では、同様に周辺点のＳＡＤが計算され、右点（ＳＡＤ４ｍｉｎ＝１７）が４点最小点として検出され、追跡中心点は右に１画素移動して追跡を続ける。ＳＡＤｍｉｎ＝１６、ＰＢｍｉｎ＝（２，０）は、維持される。
追跡回数＃４では、同様に周辺点のＳＡＤが計算され、右点（ＳＡＤ４ｍｉｎ＝１５）が４点最小点として検出され、追跡中心点は右に１画素移動して追跡を続ける。ＳＡＤｍｉｎ＝１５、ＰＢｍｉｎ＝（４，０）となる。
追跡回数＃５では、同様に周辺点のＳＡＤが計算され、右点（ＳＡＤ４ｍｉｎ＝１４）が４点最小点として検出され、追跡中心点は右に１画素移動して追跡を続ける。ＳＡＤｍｉｎ＝１４、ＰＢｍｉｎ＝（５，０）となる。
追跡回数＃６では、同様に周辺点のＳＡＤが計算され、左点（ＳＡＤ４ｍｉｎ＝１５）が４点最小点として検出され、追跡中心点は左に１画素移動して追跡を続ける。ＳＡＤｍｉｎ＝１４、ＰＢｍｉｎ＝（５，０）である。
追跡回数＃７は、左に戻ったため、＃５と全く同じ動作となり、右に１画素移動する。
追跡回数＃８は、＃５と全く同じ動作となる。
以下、制限回数となるまで、＃５と＃６の往復運動を繰り返す。そして、制限回数になると、追跡は停止される。このときのＰＢｍｉｎ＝（５，０）から、ＭＶ＝ＰＢｏ−ＰＢｍｉｎとして動きベクトルＭＶが検出される。
Next, the MV detection operation will be specifically described using the
In tracking
Next, at the
At the
In tracking
In tracking
At the
Since the
The number of times of tracking # 8 is exactly the same as # 5.
Thereafter, the reciprocating motions of # 5 and # 6 are repeated until the limit number is reached. Then, when the limit number is reached, the tracking is stopped. From PBmin = (5, 0) at this time, a motion vector MV is detected as MV = PBo−PBmin.
以上のように、実施例３によれば、中心点極小で終了判定するのではないので、１画素だけであれば単調減少から逸脱した障壁を乗り越えてさらに先の極小値を追跡できる。このため、局所解に陥る確率を減少できる。
また、追跡回数により終了判定するため、制限回数となるまで上下左右周辺点のＳＡＤ最小方向への移動を繰り返し、見つかったＳＡＤが最小となる位置ＰＢｍｉｎから、動きベクトルを検出する。このため、実施例１、２と比べて、本来検出できているのに時間を余らせて往復運動をして待つような場合、また逆に時間が足りなくて行き着くはずのＭＶを求められない場合もあるが、検出にかかる時間はいつも一定であり、同期した処理が必要な圧縮符号化装置に使用すると好適である。
As described above, according to the third embodiment, since the end determination is not performed at the center point minimum, if only one pixel is used, the further minimum value can be traced over the barrier deviating from the monotonous decrease. For this reason, the probability of falling into a local solution can be reduced.
Further, in order to determine the end based on the number of tracking times, the vertical and horizontal peripheral points are repeatedly moved in the SAD minimum direction until the limit number is reached, and a motion vector is detected from the position PBmin where the found SAD is minimum. For this reason, in comparison with the first and second embodiments, when it is possible to wait for a reciprocating motion with extra time even though it can be detected originally, it is not possible to find the MV that should arrive at the end due to insufficient time. In some cases, the time required for detection is always constant, and it is suitable for use in a compression encoding apparatus that requires synchronized processing.
なお、逆に実施例１、実施例２は、探索範囲のＳＡＤ分布によっては、検出に想定以上の時間がかかる場合もあるので、実施例３に述べた回数制限を併用すると、最大検出時間を制限することができる。
また、実施例３は回数制限により終了判定をしたが、追跡回数ＣＴを時間ＣＴに置き換えるだけで、時間制限による終了判定が可能となり、全く同様の効果を得ることができる。
On the contrary, in the first and second embodiments, depending on the SAD distribution of the search range, it may take longer than expected to detect. Therefore, if the number of times described in the third embodiment is used together, the maximum detection time is increased. Can be limited.
In the third embodiment, the end determination is performed by limiting the number of times. However, by simply replacing the tracking number CT with the time CT, the end determination can be performed by limiting the time, and the same effect can be obtained.
１ 対象画像メモリ、２ 減算器、３ 予測誤差符号化部、４ 予測誤差復号化部、５ 加算器、６ 参照画像メモリ、７ 動き補償予測部、７−１ 制御部、７−２ ＳＡＤ計算部、７−３ ＳＡＤ４点最小ブロック検出部、７−４ 追跡中心設定部、７−５ アドレス設定部、７−６ 最小点記憶部、７−７ ＳＡＤ最小点検出部、７−８ 終了判定部（偶数回目中心点極小）、７−９ 終了判定部（同一点回帰）、７−１０ 終了判定部（回数制限）、８ 可変長符号化部
1 target image memory, 2 subtractor, 3 prediction error encoding unit, 4 prediction error decoding unit, 5 adder, 6 reference image memory, 7 motion compensation prediction unit, 7-1 control unit, 7-2 SAD calculation unit 7-3 SAD 4-point minimum block detection unit, 7-4 tracking center setting unit, 7-5 address setting unit, 7-6 minimum point storage unit, 7-7 SAD minimum point detection unit, 7-8 end determination unit ( Even-numbered center point minimum), 7-9 end determination unit (same point regression), 7-10 end determination unit (number of times limit), 8 variable length encoding unit
Claims (3)
上下左右４つの探索点を有する探索パターンの追跡中心位置を、参照画像上に設定する追跡中心位置設定手段と、
前記圧縮対象ブロックのアドレス、および前記追跡中心位置設定された探索パターンの探索点に配置された複数の参照ブロックのアドレスを設定するアドレス設定手段と、
前記アドレス設定された圧縮対象ブロックと前記アドレス設定された複数の各参照ブロックとの画像をそれぞれ比較して、前記比較された各参照ブロックの類似度を計算する類似度計算手段と、
前記計算された類似度により、前記複数の参照ブロックのうち、類似度の最も高い参照ブロックを検出する類似ブロック検出手段と、
前記類似ブロック検出手段で検出された類似度の最も高い参照ブロックの類似度と、記憶部に既に記憶されている参照ブロックの類似度とを比較して、前記記憶された参照ブロックの類似度の方が低い場合には、この参照ブロックの類似度および参照ブロックの位置を、前記検出された参照ブロックの類似度および参照ブロックの位置に置き換えて更新する一方、前記記憶された参照ブロックの類似度の方が高いか等しく、かつ繰り返し回数が隔数回の場合に限り、終了と判定する更新終了判定手段と、
前記更新終了判定手段により終了と判定されなかった場合には、前記追跡中心位置設定手段により探索パターンの追跡中心位置として設定された前記検出された参照ブロックの位置に基づいて、追跡処理を繰り返すよう制御する一方、終了と判定された場合には、前記記憶部に記憶されている参照ブロックの位置から動きベクトル検出するよう制御する制御手段と、
を備えたことを特徴とする動きベクトル検出装置。 An image block to be compressed by motion compensated prediction coding is compared with a plurality of blocks on a reference image arranged based on a predetermined search pattern, and the most similar reference block among the plurality of compared blocks Tracking type motion vector for detecting a motion vector by detecting the reference block most similar to the compression target block by moving the search pattern to the position of the detected reference block and repeating the tracking process by movement. In the detection device,
Tracking center position setting means for setting a tracking center position of a search pattern having four search points in the upper, lower, left and right directions on a reference image;
Address setting means for setting the address of the block to be compressed and the addresses of a plurality of reference blocks arranged at search points of the search pattern in which the tracking center position is set;
A similarity calculation means for comparing the images of the addressed compression target block and the plurality of addressed reference blocks, respectively, and calculating the similarity of the compared reference blocks;
Similar block detection means for detecting a reference block having the highest similarity among the plurality of reference blocks based on the calculated similarity,
The similarity of the reference block having the highest similarity detected by the similar block detecting means is compared with the similarity of the reference block already stored in the storage unit, and the similarity of the stored reference block is determined. If it is lower, the similarity of the reference block and the position of the reference block are updated by replacing the similarity of the detected reference block and the position of the reference block, while the similarity of the stored reference block is updated. Update end determination means for determining that the end is only when the higher or equal and the number of repetitions is a fractional number;
If the update end determination means does not determine the end, the tracking process is repeated based on the position of the detected reference block set as the tracking center position of the search pattern by the tracking center position setting means. On the other hand, if it is determined to end, control means for controlling to detect a motion vector from the position of the reference block stored in the storage unit;
A motion vector detection device comprising:
上下左右４つの探索点を有する探索パターンの追跡中心位置を、参照画像上に設定する追跡中心位置設定手段と、
前記圧縮対象ブロックのアドレス、および前記追跡中心位置設定された探索パターンの探索点に配置された複数の参照ブロックのアドレスを設定するアドレス設定手段と、
前記アドレス設定された圧縮対象ブロックと前記アドレス設定された複数の各参照ブロックとの画像をそれぞれ比較して、前記比較された各参照ブロックの類似度を計算する類似度計算手段と、
前記計算された類似度により、前記複数の参照ブロックのうち、類似度の最も高い参照ブロックを検出する類似ブロック検出手段と、
前記類似ブロック検出手段で検出された類似度の最も高い参照ブロックの類似度と、記憶部に既に記憶されている参照ブロックの類似度とを比較して、前記記憶された参照ブロックの類似度の方が低い場合には、この参照ブロックの類似度および参照ブロックの位置を、前記検出された参照ブロックの類似度および参照ブロックの位置に置き換えて更新する一方、前記記憶された参照ブロックの類似度の方が高いか等しく、かつ前記類似ブロック検出手段で検出された参照ブロックの位置と前記記憶部に記憶された参照ブロックの位置を比較して、一致した場合に限り終了と判定する更新終了判定手段と、
前記更新終了判定手段により終了と判定されなかった場合には、前記追跡中心位置設定手段により探索パターンの追跡中心位置として設定された前記検出された参照ブロックの位置に基づいて、追跡処理を繰り返すよう制御する一方、終了と判定された場合には、前記記憶部に記憶されている参照ブロックの位置から動きベクトル検出するよう制御する制御手段と、
を備えたことを特徴とする動きベクトル検出装置。 An image block to be compressed by motion compensated prediction coding is compared with a plurality of blocks on a reference image arranged based on a predetermined search pattern, and the most similar reference block among the plurality of compared blocks Tracking type motion vector for detecting a motion vector by detecting the reference block most similar to the compression target block by moving the search pattern to the position of the detected reference block and repeating the tracking process by movement. In the detection device,
Tracking center position setting means for setting a tracking center position of a search pattern having four search points in the upper, lower, left and right directions on a reference image;
Address setting means for setting the address of the block to be compressed and the addresses of a plurality of reference blocks arranged at search points of the search pattern in which the tracking center position is set;
A similarity calculation means for comparing the images of the addressed compression target block and the plurality of addressed reference blocks, respectively, and calculating the similarity of the compared reference blocks;
Similar block detection means for detecting a reference block having the highest similarity among the plurality of reference blocks based on the calculated similarity,
The similarity of the reference block having the highest similarity detected by the similar block detecting means is compared with the similarity of the reference block already stored in the storage unit, and the similarity of the stored reference block is determined. If it is lower, the similarity of the reference block and the position of the reference block are updated by replacing the similarity of the detected reference block and the position of the reference block, while the similarity of the stored reference block is updated. The update end determination is performed only when the two are higher or equal and the position of the reference block detected by the similar block detection means is compared with the position of the reference block stored in the storage unit, and only when they match Means,
If the update end determination means does not determine the end, the tracking process is repeated based on the position of the detected reference block set as the tracking center position of the search pattern by the tracking center position setting means. On the other hand, if it is determined to end, control means for controlling to detect a motion vector from the position of the reference block stored in the storage unit;
A motion vector detection device comprising:
上下左右４つの探索点を有する探索パターンの追跡中心位置を、参照画像上に設定する追跡中心位置設定手段と、
前記圧縮対象ブロックのアドレス、および前記追跡中心位置設定された探索パターンの探索点に配置された複数の参照ブロックのアドレスを設定するアドレス設定手段と、
前記アドレス設定された圧縮対象ブロックと前記アドレス設定された複数の各参照ブロックとの画像をそれぞれ比較して、前記比較された各参照ブロックの類似度を計算する類似度計算手段と、
前記計算された類似度により、前記複数の参照ブロックのうち、類似度の最も高い参照ブロックを検出する類似ブロック検出手段と、
前記類似ブロック検出手段で検出された類似度の最も高い参照ブロックの類似度と、記憶部に既に記憶されている参照ブロックの類似度とを比較して、前記記憶された参照ブロックの類似度の方が低い場合には、この参照ブロックの類似度および参照ブロックの位置を、前記検出された参照ブロックの類似度および参照ブロックの位置に置き換える更新手段と、
前記追跡処理の繰り返し回数が所定の追跡処理回数になると、終了と判定する終了判定手段と、
前記終了判定手段により終了と判定されなかった場合には、前記追跡中心位置設定手段により探索パターンの追跡中心位置として設定された前記検出された参照ブロックの位置に基づいて、追跡処理を繰り返すよう制御する一方、終了と判定された場合には、前記記憶部に記憶されている参照ブロックの位置から動きベクトル検出するよう制御する制御手段と、
を備えたことを特徴とする動きベクトル検出装置。
An image block to be compressed by motion compensated prediction coding is compared with a plurality of blocks on a reference image arranged based on a predetermined search pattern, and the most similar reference block among the plurality of compared blocks Tracking type motion vector for detecting a motion vector by detecting the reference block most similar to the compression target block by moving the search pattern to the position of the detected reference block and repeating the tracking process by movement. In the detection device,
Tracking center position setting means for setting a tracking center position of a search pattern having four search points in the upper, lower, left and right directions on a reference image;
Address setting means for setting the address of the block to be compressed and the addresses of a plurality of reference blocks arranged at search points of the search pattern in which the tracking center position is set;
A similarity calculation means for comparing the images of the addressed compression target block and the plurality of addressed reference blocks, respectively, and calculating the similarity of the compared reference blocks;
Similar block detection means for detecting a reference block having the highest similarity among the plurality of reference blocks based on the calculated similarity,
The similarity of the reference block having the highest similarity detected by the similar block detecting means is compared with the similarity of the reference block already stored in the storage unit, and the similarity of the stored reference block is determined. An update unit that replaces the similarity of the reference block and the position of the reference block with the similarity of the detected reference block and the position of the reference block, if lower,
When the number of repetitions of the tracking process reaches a predetermined number of tracking processes, an end determination unit that determines the end,
Control is performed to repeat the tracking process based on the position of the detected reference block set as the tracking center position of the search pattern by the tracking center position setting means when the end determination means does not determine the end. On the other hand, if it is determined to end, control means for controlling to detect a motion vector from the position of the reference block stored in the storage unit;
A motion vector detection device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006052126A JP2007235333A (en) | 2006-02-28 | 2006-02-28 | Motion vector detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006052126A JP2007235333A (en) | 2006-02-28 | 2006-02-28 | Motion vector detector |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007235333A true JP2007235333A (en) | 2007-09-13 |
Family
ID=38555508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006052126A Withdrawn JP2007235333A (en) | 2006-02-28 | 2006-02-28 | Motion vector detector |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007235333A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011010304A (en) * | 2009-06-25 | 2011-01-13 | Arm Ltd | Motion vector estimator |
| CN102123234A (en) * | 2011-03-15 | 2011-07-13 | 北京航空航天大学 | Unmanned aerial vehicle reconnaissance video grading motion compensation method |
| TWI657011B (en) * | 2017-11-30 | 2019-04-21 | 財團法人工業技術研究院 | Unmanned aerial vehicle, control system for unmanned aerial vehicle and control method thereof |
-
2006
- 2006-02-28 JP JP2006052126A patent/JP2007235333A/en not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011010304A (en) * | 2009-06-25 | 2011-01-13 | Arm Ltd | Motion vector estimator |
| US9407931B2 (en) | 2009-06-25 | 2016-08-02 | Arm Limited | Motion vector estimator |
| CN102123234A (en) * | 2011-03-15 | 2011-07-13 | 北京航空航天大学 | Unmanned aerial vehicle reconnaissance video grading motion compensation method |
| CN102123234B (en) * | 2011-03-15 | 2012-09-05 | 北京航空航天大学 | Unmanned airplane reconnaissance video grading motion compensation method |
| TWI657011B (en) * | 2017-11-30 | 2019-04-21 | 財團法人工業技術研究院 | Unmanned aerial vehicle, control system for unmanned aerial vehicle and control method thereof |
| US10703479B2 (en) | 2017-11-30 | 2020-07-07 | Industrial Technology Research Institute | Unmanned aerial vehicle, control systems for unmanned aerial vehicle and control method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20060002470A1 (en) | Motion vector detection circuit, image encoding circuit, motion vector detection method and image encoding method | |
| US6418168B1 (en) | Motion vector detection apparatus, method of the same, and image processing apparatus | |
| WO2001010135A1 (en) | Moving vector detecting method | |
| US9571832B2 (en) | Image encoding method and apparatus and image decoding method and apparatus based on motion vector normalization | |
| JP2005303984A (en) | Motion vector detecting device and method thereof, and image encoding apparatus capable of utilizing the motion vector detecting device | |
| JP3031152B2 (en) | Motion prediction processor and motion prediction device | |
| CN1703097A (en) | Apparatus and method for encoding motion vector, and program and medium therefor | |
| JP2007235333A (en) | Motion vector detector | |
| KR20050020714A (en) | Motion vector estimation apparatus and method thereof | |
| CN113542769B (en) | Video image coding method, system, device and medium | |
| CN116074536A (en) | Encoding method, decoding method, electronic device, and computer-readable storage medium | |
| JP2007110409A (en) | Image processing device and program for making computer perform image processing method | |
| CN112468815B (en) | Video encoding and decoding method and device, electronic equipment and storage medium | |
| CN101365133B (en) | DCT domain interposing and rounding error compensation process | |
| JP2002247584A (en) | Method and device for encoding image, program for image encoding processing, and recording medium for the program | |
| CN109120943B (en) | Video data recovery method and device | |
| CN114040209A (en) | Motion estimation method, motion estimation device, electronic equipment and storage medium | |
| KR101502145B1 (en) | Method and apparatus for video encoding and decoding | |
| JP4035903B2 (en) | Motion vector detection method and apparatus | |
| JP6918661B2 (en) | Coding device, coding method and program | |
| CN116074533B (en) | Motion vector prediction method, system, electronic device and storage medium | |
| JP2004179906A (en) | Device and method for motion vector detection | |
| CN118317108A (en) | Processing method and device based on multifunctional video coding | |
| CN112087634B (en) | Optimal angle judgment method and system | |
| CN118337995A (en) | Reference frame processing method and device based on multifunctional video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080630 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20100303 |