JP2008283505A - Motion vector detecting method, device and program - Google Patents
Motion vector detecting method, device and program Download PDFInfo
- Publication number
- JP2008283505A JP2008283505A JP2007126241A JP2007126241A JP2008283505A JP 2008283505 A JP2008283505 A JP 2008283505A JP 2007126241 A JP2007126241 A JP 2007126241A JP 2007126241 A JP2007126241 A JP 2007126241A JP 2008283505 A JP2008283505 A JP 2008283505A
- Authority
- JP
- Japan
- Prior art keywords
- stage
- evaluation
- search
- motion vector
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、動画像信号の動きベクトルを検出する技術に関する。 The present invention relates to a technique for detecting a motion vector of a moving image signal.
近年、動画像信号を圧縮するための動画像符号化技術は、広く使用されている。しかしながら、この技術は、所要演算量が多いため、処理能力の低いプロセッサが搭載された端末では使用できない。また、プロセッサの処理能力が充分に大きかったとしても、この技術は大きな電力を消費するので、携帯端末での長時間使用には、必ずしもい適していない。 In recent years, a moving image encoding technique for compressing a moving image signal has been widely used. However, since this technique requires a large amount of computation, it cannot be used in a terminal equipped with a processor having a low processing capability. Even if the processing capacity of the processor is sufficiently large, this technology consumes a large amount of power, and is not necessarily suitable for long-term use in a portable terminal.
そこで、符号化復号化された画像の画質を低下させることなく、より要処理量をの少ない動画像符号化復号化技術が求められている。 Therefore, there is a need for a moving image encoding / decoding technique that requires less processing amount without degrading the image quality of the encoded / decoded image.
動画像符号化復号化処理の中で、最も大きな処理量を要求されるものは、動画像信号の動きベクトル検出である。この動きベクトル検出では、現フレームの動画像信号は複数個のブロックに分割される。そして、現フレームのブロックの画像信号に最も類似した参照フレームの動画像信号が探索される。 Among the moving image encoding / decoding processes, a motion vector detection of a moving image signal requires the largest amount of processing. In this motion vector detection, the moving image signal of the current frame is divided into a plurality of blocks. Then, the moving image signal of the reference frame most similar to the image signal of the block of the current frame is searched.
この探索では、次の式（１）が、前もって定められた複数の探索点について計算される。そして式（１）の値が最小となった探索点が、動きベクトルとして検出される。なお、この式（１）の値は、「評価値」とも称される。また、これら複数の探索点は、「候補ベクトル」とも称される。 In this search, the following equation (1) is calculated for a plurality of predetermined search points. Then, the search point at which the value of Expression (1) is minimized is detected as a motion vector. The value of the expression (1) is also referred to as “evaluation value”. The plurality of search points are also referred to as “candidate vectors”.
Ｄ（ｍ）
＝ΣＡＢＳ｛ｘ(i、j)−ｙ（ｉ−vx(m)、j−vy(m)）｝ ・・・（１）
ここで、ｘ(i、j)は、現フレームのブロックの動画像信号を示し、ｙ（i、j）は、参照フレームの動画像信号を示す。また、（vx(m)、vy(m)）（ｍ＝０，１，２、・・・、（M-1））は、探索点を示す。ABS｛ ｝は、絶対値を示す。また、現フレームのブロックの動画像信号値（ｘ(i、j)）と参照フレームの動画像信号値（（ｙ（ｉ、j））は、テレビジョン画面上で同一位置の信号値である。
D (m)
= ΣABS {x (i, j) −y (i−v x (m), j−v y (m))} (1)
Here, x (i, j) indicates a moving image signal of a block of the current frame, and y (i, j) indicates a moving image signal of a reference frame. Further, (v x (m), v y (m)) (m = 0, 1, 2,..., (M−1)) indicates search points. ABS {} indicates an absolute value. The moving image signal value (x (i, j)) of the block of the current frame and the moving image signal value ((y (i, j)) of the reference frame are signal values at the same position on the television screen. .
式（１）から明らかなように、動きベクトル検出に要する演算量は、探索点の数Mにも大きく依存する。 As is clear from equation (1), the amount of computation required for motion vector detection also depends greatly on the number M of search points.
特開平１０−１３８３５号公報(特許文献１)は、多ステージ探索法（「多ステップ探索法」ともよばれる）を記載している。この多ステージ検索法は、探索点の数Ｍを減らすことにより、動きベクトル検出のための演算量を削減する。この多ステージ探索法では、全ての探索点を一度に探索する代わりに、探索を多ステージに分けて行う。この多ステージ探索法は、直前のステージの探索点の中で最も小さい評価値を示した探索点を基に、さらにその近傍の探索点を、全ステージよりも小さな評価点間隔で、動くベクトルを探索する。 Japanese Patent Laid-Open No. 10-13835 (Patent Document 1) describes a multi-stage search method (also referred to as “multi-step search method”). This multistage search method reduces the amount of calculation for motion vector detection by reducing the number M of search points. In this multi-stage search method, instead of searching all search points at once, the search is performed in multiple stages. In this multi-stage search method, based on the search point showing the smallest evaluation value among the search points of the immediately preceding stage, the search points in the vicinity thereof are further searched for moving vectors with evaluation point intervals smaller than all stages. Explore.
図1に、この多ステージ探索が３ステージで行われる場合の一例を示す。 FIG. 1 shows an example in which this multi-stage search is performed in three stages.
図１の３ステージ探索の例では、第１ステージは、図1（ａ）に示された９個の探索点につき、式（１）の評価値計算を行う。図１］（ａ）では、探索点間の最小距離は、４である。 In the example of the three-stage search in FIG. 1, the first stage calculates the evaluation value of Expression (1) for the nine search points shown in FIG. In FIG. 1 (a), the minimum distance between search points is four.
この第１ステージで、探索点（４，４）に対する評価値が最小いになった場合には、第2ステージでは、この探索点（４，４）近傍の、９個の第2ステージ用の探索点が、図1（ｂ）に示されたように、設定される。そして、第2ステージは、これら９個の第2ステージ用の探索点について、式（１）の評価値を計算する。この図１（ｂ）では、探索点間の最小距離は、２である。 If the evaluation value for the search point (4, 4) is minimized in the first stage, the second stage is for nine second stages in the vicinity of the search point (4, 4). Search points are set as shown in FIG. Then, the second stage calculates the evaluation value of Expression (1) for these nine search points for the second stage. In FIG. 1B, the minimum distance between search points is 2.
この第2ステージで、探索点（６，４）に対する評価値が最小になった場合には、第３ステージ、即ち、最終ステージでは、この探索点（６，４）近傍の、9個の第３ステージ用の探索点が、図１（ｃ）のように、設定される。そして、第３ステージは、これら９個の第３ステージ用の探索点について、式（１）の評価値を計算する。この図１（ｃ）では、探索点間の最小距離は、１である。 In the second stage, when the evaluation value for the search point (6, 4) is minimized, in the third stage, that is, in the final stage, nine search points near the search point (6, 4). Search points for three stages are set as shown in FIG. Then, the third stage calculates the evaluation value of Expression (1) for these nine search points for the third stage. In FIG. 1C, the minimum distance between search points is 1.
この第３ステージでの評価値計算が終了すると、この第３ステージ用探索点の中で、最小の評価値となった探索点が、動きベクトルとして検出される。 When the evaluation value calculation in the third stage is completed, the search point having the smallest evaluation value among the search points for the third stage is detected as a motion vector.
このように、多ステージ探索は、探索点の数Ｍを減らすことにより、動きベクトル探索に要する演算量を削減している。 As described above, the multistage search reduces the amount of calculation required for the motion vector search by reducing the number M of search points.
この動きベクトル検出のための演算量を削減する他の方法として、特開２０００−３０８０６４（特許文献２）は、「サブサンプリング法」を記載している。 As another method for reducing the calculation amount for the motion vector detection, Japanese Patent Laid-Open No. 2000-308064 (Patent Document 2) describes a “subsampling method”.
図２は、このサブサンプリング法を説明するための図である。図２は、現フレームの８走査線ｘ8画素のブロックで、式（１）の評価値算出が行われる画素及び評価値算出が行われない画素（図２の×）を示している。このサブサンプリング法では、評価値算出の対象となる画素（「評価点」と称される）の数を制限することにより、動きベクトル検出のための所要演算量を削減している。 FIG. 2 is a diagram for explaining the sub-sampling method. FIG. 2 is a block of 8 scan lines × 8 pixels in the current frame, showing pixels for which the evaluation value calculation of Expression (1) is performed and pixels for which the evaluation value calculation is not performed (× in FIG. 2). In this sub-sampling method, the required calculation amount for motion vector detection is reduced by limiting the number of pixels (referred to as “evaluation points”) for which evaluation values are calculated.
なお、特許文献２は、多ステージ探索とサブサンプリング法とを併用し、所要演算量をより削減する技術も紹介している。
この併用技術は、動きベクトル検出のための演算量を、さらに削減する。しかしながら、このサブサンプリングが使用された場合には、動きベクトルの検出精度は、低下する。たとえば、現ブロックの動画像信号が濃淡の変化が小さい画像である場合を考えてみる。この場合には、このサブサンプルにより、現ブロックの動画像信号と参照ブロック内の動画像信号との相違の程度が、正確には評価値に反映されなくなる。例えば、フルサンプリングによる真の動きベクトルに対する評価値と、フルサンプリングによるこの真の動きベクトル近傍の探索点の評価値との差が小さい場合には、サブサンプリングによる真の動きベクトルに対する評価値の方が大きくなることがある。この大小関係の逆転は、動きベクトルの誤検出をもたらす。また、この動きベクトル検出技術を動画像信号の符号化に適用する場合には、この動きベクトルの誤検出は、動画像信号の符号化能率を低下させる。 This combined technique further reduces the amount of calculation for motion vector detection. However, when this sub-sampling is used, the motion vector detection accuracy decreases. For example, consider a case where the moving image signal of the current block is an image with a small change in shading. In this case, the degree of difference between the moving image signal of the current block and the moving image signal in the reference block is not accurately reflected in the evaluation value by this sub-sample. For example, if the difference between the evaluation value for the true motion vector by full sampling and the evaluation value for the search point near this true motion vector by full sampling is small, the evaluation value for the true motion vector by sub-sampling May increase. This reversal of the magnitude relationship results in false detection of motion vectors. In addition, when this motion vector detection technique is applied to the encoding of a moving image signal, the erroneous detection of the motion vector reduces the encoding efficiency of the moving image signal.
本発明は、誤検出が少なくかつ所要演算量が少ない動きベクトル検出技術を提供することを目的とする。 An object of the present invention is to provide a motion vector detection technique with less false detection and less required calculation amount.
本発明の第１のアスペクトによれば、多ステージ探索法を用いて、動画像信号の動きベクトルをブロック毎に検出する動きベクトル検出方法であって、下記（Ａ）−（Ｃ）のステップからなる動きベクトル検出方法が提供される。
（Ａ）各ステージにおける複数個の探索点の間の最小距離に基づいて、各ステージの探索点に対応する評価値を算出するためのブロック内評価点の個数を、前もって設定し、
（Ｂ）各ステージにおいては、直前のステージで評価値が最小となった探索点を基準として、当該ステージでの探索点を決定し、この決定された探索点に対応する評価値を、当該ステージに設定された評価点について計算し、
（ｃ）最終ステージにおいて最小評価値となった探索点を前記動きベクトルとして出力する。
According to a first aspect of the present invention, there is provided a motion vector detection method for detecting a motion vector of a moving image signal for each block using a multistage search method, comprising the following steps (A) to (C): A motion vector detection method is provided.
(A) Based on the minimum distance between a plurality of search points in each stage, the number of in-block evaluation points for calculating an evaluation value corresponding to the search point of each stage is set in advance,
(B) In each stage, a search point in the stage is determined with reference to the search point having the minimum evaluation value in the immediately preceding stage, and the evaluation value corresponding to the determined search point is set in the stage. Calculate the evaluation score set for
(C) The search point having the minimum evaluation value in the final stage is output as the motion vector.
本発明の第２のアスペクトによれば、多ステージ探索法を用いて、動画像信号の動きベクトルをブロック毎に検出する動きベクトル検出装置であって、
現ブロックの動画像信号が少なくとも格納された現ブロック動画像メモリと、
動きベクトルサーチ範囲内の参照フレーム内動画像信号が少なくとも格納された参照フレーム動画像メモリと、
各ステージにについて、複数個の探索点の間の最小距離に基づいて定められた、ブロック内評価点の個数及び位置であり、評価値を算出するためのブロック内評価点の個数及び位置を示すパラメータが格納されたパラメータメモリと、
前記各ステージ毎に、前記探索点に対応する評価値を計算する評価値計算部であり、直前のステージで評価値が最小となった探索点を基準として、当該ステージでの探索点を決定し、この決定された探索点に対応する評価値を、当該ステージに設定された評価点について計算し、最終ステージにおいて最小評価値となった探索点を前記動きベクトルとして出力する評価値計算部、
とからなる動きベクトル計算装置が提供される。
According to a second aspect of the present invention, there is provided a motion vector detection device for detecting a motion vector of a moving image signal for each block using a multi-stage search method,
A current block moving picture memory storing at least a moving picture signal of the current block;
A reference frame moving image memory in which at least a reference frame moving image signal within the motion vector search range is stored;
For each stage, it is the number and position of evaluation points in a block determined based on the minimum distance between a plurality of search points, and indicates the number and position of evaluation points in a block for calculating an evaluation value. A parameter memory in which parameters are stored;
An evaluation value calculation unit that calculates an evaluation value corresponding to the search point for each stage, and determines a search point in the stage based on the search point having the minimum evaluation value in the immediately preceding stage. , An evaluation value corresponding to the determined search point is calculated for the evaluation point set in the stage, and an evaluation value calculation unit that outputs the search point that is the minimum evaluation value in the final stage as the motion vector,
A motion vector calculation device is provided.
本発明の第３のアスペクトによれば、多ステージ探索法を用いて、動画像信号の動きベクトルをブロック毎に検出する動きベクトル検出をコンピュータに行わせるためのプログラムであって、下記（Ａ）−（Ｃ）のステップからなるプログラムが提供される。
（Ａ）各ステージにおける複数個の探索点の間の最小距離に基づいて、各ステージの探索点に対応する評価値を算出するためのブロック内評価点の個数を、前もって設定し、
（Ｂ）各ステージにおいては、直前のステージで評価値が最小となった探索点を基準として、当該ステージでの探索点を決定し、この決定された探索点に対応する評価値を、当該ステージに設定された評価点について計算し、
（ｃ）最終ステージにおいて最小評価値となった探索点を前記動きベクトルとして出力する。
According to a third aspect of the present invention, there is provided a program for causing a computer to perform motion vector detection for detecting a motion vector of a moving image signal for each block using a multistage search method. -A program comprising steps (C) is provided.
(A) Based on the minimum distance between a plurality of search points in each stage, the number of in-block evaluation points for calculating an evaluation value corresponding to the search point of each stage is set in advance,
(B) In each stage, a search point in the stage is determined with reference to the search point having the minimum evaluation value in the immediately preceding stage, and the evaluation value corresponding to the determined search point is set in the stage. Calculate the evaluation score set for
(C) The search point having the minimum evaluation value in the final stage is output as the motion vector.
本発明は、誤検出が少なくかつ所要演算量が少ない動きベクトル検出を行う。その理由は、本発明は、動きベクトルの多ステージ検出において、各ステージでの探索点間の最小距離に応じて、ブロック内の評価点の数を変更し、各ステージの探索点の評価値を計算するからである。 The present invention performs motion vector detection with few false detections and a small amount of calculation. The reason for this is that in the multi-stage detection of motion vectors, the number of evaluation points in the block is changed according to the minimum distance between search points in each stage, and the evaluation value of the search point in each stage is changed. It is because it calculates.
次に、図面を参照して本発明の一実施例が説明される。図３は、本発明に係る動きベクトル検出器の一実施例の構成例を示すブロック図である。 Next, an embodiment of the present invention will be described with reference to the drawings. FIG. 3 is a block diagram showing a configuration example of an embodiment of the motion vector detector according to the present invention.
図３に示されたとおり、この実施例は、現ブロック動画像メモリ１と、参照フレーム動画像メモリ２と、プログラムメモリ３と、評価値計算用パラメータメモリ４と、中央処理装置（ＣＰＵ）１０とからなる。
As shown in FIG. 3, the present embodiment includes a current block moving
現ブロック動画像メモリ１は、現フレームの現ブロックの動画像信号を、ＣＰＵ１０の指示に応じて、蓄積する。また、現ブロック動画像メモリ１は、現フレームの現ブロックの動画像信号を、ＣＰＵ１０の指示に応じて、ＣＰＵ１０に供給する。
The current block moving
参照フレーム動画像メモリ２は、現ブロックのサーチ範囲に対応する参照フレームの動画像信号を、ＣＰＵ１０の指示応じて、蓄積する。また、参照フレーム動画像メモリ２は、ＣＰＵの指示に応じて、現ブロックのサーチ範囲に対応する参照フレームの動画像信号を、ＣＰＵ１０に供給する。
The reference frame moving
なお、これら現ブロック動画像メモリ１と参照フレーム動画像メモリ２との少なくとも一方として、ＣＰＵ１０内の内部メモリが使用されることもできる。
Note that an internal memory in the CPU 10 can be used as at least one of the current block moving
プログラムメモリ３は、ＣＰＵ１０を動きベクトル検出器として動作させるためのプログラムが格納する。なお、このプログラムの構成・機能・動作については、後述される。
The
評価値計算用パラメータメモリ４は、ステージ毎に異なる評価値演算をＣＰＵ１０に行わせるためのパラメータ（後述）を格納する。 The evaluation value calculation parameter memory 4 stores parameters (described later) for causing the CPU 10 to perform different evaluation value calculations for each stage.
ＣＰＵ１０は、他の構成要素の制御を行う一方で、評価値の計算を行う評価値演算部としての役割をも担う。 While the CPU 10 controls other components, it also serves as an evaluation value calculation unit that calculates evaluation values.
本実施例では、動きベクトルの多ステージ探索の際に、各ステージでは、サブサンプリングの比率を変更する。 In the present embodiment, the sub-sampling ratio is changed at each stage when performing multi-stage search for motion vectors.
ここでは、ブロックサイズが８画素ｘ８画素の場合を例として本実施例を説明する。また、ここでは、動きベクトル検出のステージ数は３として説明する。また、各ステージで評価値計算対象となる探索点は、図1を参照して説明されたとおりとする。勿論、本発明はこれらの例のみに限定されないことは言うまでもない。 Here, this embodiment will be described by taking a case where the block size is 8 pixels × 8 pixels as an example. Here, the number of stages of motion vector detection is assumed to be three. In addition, search points that are evaluation value calculation targets in each stage are as described with reference to FIG. Of course, it goes without saying that the present invention is not limited to these examples.
図４は、本実施例における各ステージでの現ブロックのサブサンプリングパターンを示す図である。図４（ａ）は、ステージ１におけるサブサンプリングパターンを示す。図４（ｂ）は、ステージ２におけるサブサンプリングパターンを示す。図４（ｃ）は、ステージ１におけるサブサンプリングパターンを示す。図４（ａ）−（ｃ）に示されるように、本実施例では、ステージ１での評価点の数が最も少ない（図４（ａ）では、ブロック内画素数の１／４）。また、ステージ３での評価点の数は、最も多い（図４（ｃ）ではブロック内の全画素）。ステージ２での評価点の数は、第1ステージでの評価点の数と第3ステージでの評価点の数との中間である（図４（ｂ）では、ブロック内画素数の１／２）。図１及び図４から明らかな通り、この例では、各ステージ内での探索点間の最小距離に反比例して、各ステージでの現ブロックの評価点の数が定められている。
FIG. 4 is a diagram showing a sub-sampling pattern of the current block at each stage in the present embodiment. FIG. 4A shows a subsampling pattern in
初期のステージでは、探索点の最小間隔は大きい。したがって、初期のステージでは、各探索点に対応する参照フレームの動画像信号間の類似度は小さい。このため、初期のステージでは、ブロック当たりの評価点の数を少なくしても、サブサンプリングにより求められた最小評価値に対応する探索点は、フルサンプリンにより求められた最小評価値に対応する探索点と一致する。したがって、初期のステージでは、ブロック当たりの評価点の数を少なくしても、誤検出は発生し難い。「発明が解決しようとする課題」の欄で説明されたとおり、最終ステージで評価点の数を少なくすると動きベクトル誤検出が発生する可能性が高まる。しかしながら、本例では、最終ステージになるほど、ブロック内の評価点の数を多くしているので、最終ステージでの誤検出も発生し難い。 In the initial stage, the minimum interval between search points is large. Accordingly, in the initial stage, the similarity between the moving image signals of the reference frames corresponding to the search points is small. Therefore, in the initial stage, even if the number of evaluation points per block is reduced, the search point corresponding to the minimum evaluation value obtained by subsampling is the search corresponding to the minimum evaluation value obtained by full sampling. Match the point. Therefore, in the initial stage, even if the number of evaluation points per block is reduced, erroneous detection is unlikely to occur. As described in the section “Problems to be Solved by the Invention”, if the number of evaluation points is reduced in the final stage, the possibility of erroneous motion vector detection increases. However, in this example, since the number of evaluation points in the block is increased as the final stage is reached, it is difficult for erroneous detection in the final stage to occur.
即ち、本例は、動きベクトルの多ステージ検出において、ステージが進むにしたがって、ブロック内の評価点の数を多くすることにより、動きベクトルの誤検出確率が低くかつ所要演算量が少ない動きベクトル検出を行う。 That is, in this example, in multi-stage detection of motion vectors, the number of evaluation points in the block is increased as the stage progresses, so that the motion vector detection with a low motion vector false detection probability and a small amount of required computation is performed. I do.
次に、図５、図６及び図７を参照して、図３のＣＰＵ１０を動きベクトル検出器として動作させる為のプログラムが、説明される。 Next, a program for operating the CPU 10 of FIG. 3 as a motion vector detector will be described with reference to FIGS.
図５は、図３のＣＰＵ１０により実行されるプログラムを説明するためのフローチャートである。図６は、図５のフローチャート中の一部のステップの細部を示すフローチャートである。図７は、図３の評価値計算用パラメータメモリ４の内容の例を示す図である。 FIG. 5 is a flowchart for explaining a program executed by the CPU 10 of FIG. FIG. 6 is a flowchart showing details of some steps in the flowchart of FIG. FIG. 7 is a diagram showing an example of the contents of the evaluation value calculation parameter memory 4 of FIG.
図５のフローチャートに示された処理は、現フレームの１ブロックの動きベクトル検出を開始する毎に、起動される。 The process shown in the flowchart of FIG. 5 is started each time motion vector detection of one block of the current frame is started.
まず、ステップＳ１０１において、ＣＰＵ１０は、現ブロックの動画像信号を、現ブロック動画像メモリ１に格納する。また、ＣＰＵ１０は、現ブロックのサーチ範囲に対応する参照フレームの動画像信号を、参照フレーム動画像メモリ２に格納する。
First, in step S101, the CPU 10 stores the moving image signal of the current block in the current block moving
次に、ステップＳ１０２において、ＣＰＵ１０は、ステージ１のループパラメータを、評価値計算用パラメータメモリ４から読み込み、内部のレジスタ等に設定する。このループパラメータについては後述する。また、ＣＰＵ１０は、第１ステージの探索点を、内部のレジスタ等に設定する。この第１ステージの探索点は、例えば、図１（ａ）に例示されたとおりである。この第１ステージの探索点は、例えば、ループパラメータとともに、評価値計算用パラメータメモリ４に格納されていてもよい。
Next, in step S102, the CPU 10 reads the loop parameter of the
ステップＳ１０３で、ＣＰＵ１０は、設定されたループパラメータ及び第１ステージの探索点に基づいて、評価値を計算し、評価値が最小となった探索点を検出する。 In step S103, the CPU 10 calculates an evaluation value based on the set loop parameter and the search point of the first stage, and detects the search point having the minimum evaluation value.
ステップＳ１０４では、ＣＰＵ１０は、ステージ２のループパラメータを、評価値計算用パラメータメモリ４から読み込み、内部のレジスタ等に設定する。また、ＣＰＵ１０は、第１ステージで最小評価値となった探索点を基準として、第２ステージの探索点を生成し、内部のレジスタ等に設定する。この第２ステージの探索点生成は、例えば、図１（ｂ）を参照して説明されたように行われる。
In step S104, the CPU 10 reads the loop parameter of
ステップＳ１０５では、ＣＰＵ１０は、設定されたループパラメータ及び第２ステージの探索点に基づいて、評価値を計算し、評価値が最小となった探索点を検出する。 In step S105, the CPU 10 calculates an evaluation value based on the set loop parameter and the search point of the second stage, and detects the search point having the minimum evaluation value.
ステップＳ１０６では、ＣＰＵ１０は、ステージ３のループパラメータを、評価値計算用パラメータメモリ４から読み込み、内部のレジスタ等に設定する。また、ＣＰＵ１０は、第２ステージで最小評価値となった探索点を基準として、第３ステージの探索点を生成し、内部のレジスタ等に設定する。この第３ステージの探索点生成は、例えば、図１（ｃ）を参照して説明されたように、行われる
。
In step S106, the CPU 10 reads the loop parameter of the
ステップＳ１０７では、ＣＰＵ１０は、設定されたループパラメータ及び第３ステージの探索点に基づいて、評価値を計算し、評価値が最小となった探索点を検出する。 In step S107, the CPU 10 calculates an evaluation value based on the set loop parameter and the search point of the third stage, and detects the search point having the minimum evaluation value.
ステップＳ１０８で、ＣＰＵ１０は、この第３ステージで最小評価値となった探索点を動きベクトルとして検出する。 In step S108, the CPU 10 detects, as a motion vector, the search point that has reached the minimum evaluation value in the third stage.
以上の、ステップＳ１０１からステップＳ１０８までの処理により、ＣＰＵ１０は、１個の現フレームのブロックの動きベクトルを検出する。 Through the processes from step S101 to step S108, the CPU 10 detects a motion vector of a block of one current frame.
次に、ステップＳ１０３、Ｓ１０５及びＳ１０７の各ステージにおける評価値計算処理につき、説明される。図６は、図５のステップＳ１０３、Ｓ１０５及びＳ１０７で呼び出される評価値計算サブプログラムを説明するためのフローチャートである。図７は、図３の評価値計算用パラメータメモリ４の内容の例を示す図である。 Next, the evaluation value calculation process in each stage of steps S103, S105, and S107 will be described. FIG. 6 is a flowchart for explaining the evaluation value calculation subprogram called in steps S103, S105, and S107 of FIG. FIG. 7 is a diagram showing an example of the contents of the evaluation value calculation parameter memory 4 of FIG.
図６において、ＣＰＵ１０は、各ステージでの評価値計算を、ステップＳ２０２からステップＳ２０６までの外側のループとステップＳ２０３からステップＳ２０５までの内側のループとの二重ループにより、実行する。この二重ループのループパラメータが、前述された各ステージのループパラメータである。このループパラメータは、各ステージでの評価値算出の対象となる評価点を指定している。 In FIG. 6, the CPU 10 executes evaluation value calculation in each stage by a double loop of an outer loop from step S202 to step S206 and an inner loop from step S203 to step S205. This loop parameter of the double loop is the loop parameter of each stage described above. This loop parameter designates an evaluation point that is an object of evaluation value calculation in each stage.
図７に例示されたループパラメータは、図４（ａ）、（ｂ）、（ｃ）のサブサンプルパターンに対応する。図７において、ＩＳＲＴ及びＪＳＲＴは、ループの初期値を示す。ＩＥＮＤ及びＪＥＮＤは、ループの終値を示す、ＩＳＴＰ及びＪＳＴＰは、ループパラメータの増分を示す。なお、ｊ（ｍｏｄ ２）は、ｊを２で除算した結果の余りを示す。 The loop parameters illustrated in FIG. 7 correspond to the subsample patterns in FIGS. 4 (a), (b), and (c). In FIG. 7, ISRT and JSRT indicate initial values of the loop. IEND and JEND indicate the closing price of the loop, ISTP and JSTP indicate the increment of the loop parameter. Note that j (mod 2) indicates the remainder of the result of dividing j by 2.
図６のフローチャートにおいて、ＣＰＵ１０は、ステップＳ２００で、その内部の評価値格納用レジスタＤ（ｍ）（ｍ＝０，１、・・・、（Ｍ−１）をクリアする。 In the flowchart of FIG. 6, in step S200, the CPU 10 clears the internal evaluation value storage register D (m) (m = 0, 1,..., (M−1).
次に、ＣＰＵ１０は、ステップＳ２０１で、変数ｍをゼロに][セットする。この変数ｍは、各ステージでの探索点に対応するインデックスである。 Next, the CPU 10 sets a variable m to zero] [] in step S201. This variable m is an index corresponding to the search point in each stage.
そして、ＣＰＵ１０は、ステップＳ２０２からステップＳ２０６までの二重ループで、インデックスｍに対応する探索点の評価値を計算する。その結果は、ＣＰＵの処理がステップＳ２０７到達した時点で、レジスタＤ（ｍ）に蓄積されている。 Then, the CPU 10 calculates the evaluation value of the search point corresponding to the index m in the double loop from step S202 to step S206. The result is stored in the register D (m) when the CPU processing reaches step S207.
ステップＳ２０７では、ＣＰＵ１０は、当該ステージでの全ての探索点につき、評価値が計算されたか否かを、判定する。この判定結果がＹＥＳであれば、ＣＰＵ１０の処理は、ステップＳ２０８に進み、そうでない場合には、ＣＰＵ１０の処理は、ステップＳ２０９に進む。 In step S207, the CPU 10 determines whether or not evaluation values have been calculated for all search points on the stage. If the determination result is YES, the process of the CPU 10 proceeds to step S208, and if not, the process of the CPU 10 proceeds to step S209.
ステップＳ２０８では、ＣＰＵ１０は、インデックスｍを１だけ増加させる。その後、ＣＰＵ１０の処理は、ステップＳ２０２からＳ２０６までの二重ループ処理に戻る。そして、ＣＰＵ１０は、同一ステージ内の次の探索点の評価値演算を行う。 In step S208, the CPU 10 increases the index m by 1. Thereafter, the processing of the CPU 10 returns to the double loop processing from steps S202 to S206. Then, the CPU 10 calculates the evaluation value of the next search point in the same stage.
ステップＳ２０９では、ＣＰＵ１０は、ステップＳ２０２からＳ２０６までの二重ループ処理で計算された評価値Ｄ（ｍ）（ｍ＝１，２、・・・（Ｍ−１））の中から最小値を検出し、この最小値に対応する探索点を出力する。この後、ＣＰＵの処理は、図５のフローチャートに戻る。 In step S209, the CPU 10 detects the minimum value from the evaluation values D (m) (m = 1, 2,... (M−1)) calculated by the double loop processing from steps S202 to S206. The search point corresponding to this minimum value is output. Thereafter, the processing of the CPU returns to the flowchart of FIG.
このように、本実施例は、動きベクトルの多ステージ検出において、ステージが進むにしたがって、ブロック内の評価点の数を多くして、探索点の評価値を計算している。このため、本実施例は、所要演算量が少なく、また、誤検出の少ない動きベクトル検出技術を提供する。この特徴は、本実施例を使用した動画像符号化方式を携帯端末に実装する場合には、この携帯端末に消費電力の低減というメリットをもたらすことは明らかであろう
［他の実施例］
以上、一実施例をもって、本発明を詳細に説明したが、この実施例は次のように変形されることも可能である。
As described above, according to the present embodiment, in multi-stage detection of motion vectors, the evaluation value of the search point is calculated by increasing the number of evaluation points in the block as the stage progresses. For this reason, the present embodiment provides a motion vector detection technique that requires a small amount of calculation and has few false detections. It will be clear that when this feature is implemented in a mobile terminal, this feature brings the advantage of reduced power consumption to this mobile terminal [Other Embodiments]
Although the present invention has been described in detail with reference to one embodiment, this embodiment can be modified as follows.
まず、以上述べた実施例は、各ステージの探索点間の最小距離に反比例させて、各ステージでの現ブロックの評価点の個数を変更していた。これは必ずしも不可欠の条件ではない。本発明は、ステージが進むにつれて、現ブロックの評価点の個数を増加させてもよい。この変形も、本発明が解決しようとする課題を解決できることは、当業者には明らかであろう。 First, in the embodiment described above, the number of evaluation points of the current block in each stage is changed in inverse proportion to the minimum distance between search points of each stage. This is not necessarily an essential condition. In the present invention, the number of evaluation points of the current block may be increased as the stage proceeds. It will be apparent to those skilled in the art that this variation can also solve the problem to be solved by the present invention.
また、以上述べた実施例は、各ステージの探索点の数を同数（９個）としていた。これも本発明にとっては、不可欠の条件ではない。多ステージ探索は、初期のステージ、例えば、第１ステージの探索点の個数を他のステージの探索点の個数よりも多くすることにより、動きベクトルの探索範囲を広くすることができる。一般に、動きベクトル探索に、多ステージ探索を使用した場合でも、動きベクトルの探索範囲を広くすることは、各ステージでの探索点の個数の合計を増加させることとなる。この探索点の数の合計の増加は、所要演算量を増加をもたらす。しかるに、本発明では、第１ステージでの探索点の個数を増加させても、所要演算量の増加率は、探索点の数の合計の増加率を下回る。この理由は、第１ステージでの現ブロックの評価点個数は、他のステージでの現ブロックの評価点個数よりも少ないからである。したがって、本発明では、第１ステージあるいは初期のステージで、それ以外のステージよりも探索点個数を多くして動きベクトル探索範囲を広くしても、動きベクトル検出に要する演算量の増加率は小さい。 In the embodiment described above, the number of search points in each stage is the same (9). This is not an indispensable condition for the present invention. In the multi-stage search, the motion vector search range can be widened by making the number of search points in the initial stage, for example, the first stage, larger than the number of search points in other stages. In general, even when multi-stage search is used for motion vector search, widening the search range of motion vectors increases the total number of search points in each stage. This increase in the total number of search points results in an increase in required computation amount. However, in the present invention, even if the number of search points in the first stage is increased, the increase rate of the required calculation amount is lower than the total increase rate of the number of search points. This is because the number of evaluation points of the current block in the first stage is smaller than the number of evaluation points of the current block in other stages. Therefore, in the present invention, even if the number of search points is increased and the motion vector search range is widened in the first stage or the initial stage, the rate of increase in the amount of computation required for motion vector detection is small. .
また、上述した実施例では、式（１）の評価値は、絶対値和を使用していたが、これに変えて、次の様なものを使用してもよい。例えば、次の２つが考えられる。
（ａ）｛ｘ(i、j)−ｙ（ｉ−vx(m)、j−vy(m)）｝の２乗和。
（ｂ）｛ｘ(i、j)−ｙ（ｉ−vx(m)、j−vy(m)）｝が所定の閾値を越えた評価点の個数
また、ここに例示したもの以外にも、動きベクトル検出のための評価関数は種々のものが周知である。本発明は、このほかの周知の評価関数を用いて、評価値を計算してもよい。
In the above-described embodiment, the absolute value sum is used as the evaluation value of the expression (1), but the following may be used instead. For example, the following two are conceivable.
(A) Sum of squares of {x (i, j) -y (i-v x (m), j-v y (m))}.
(B) The number of evaluation points where {x (i, j) −y (i−v x (m), j−v y (m))} exceeds a predetermined threshold value. However, various evaluation functions for motion vector detection are well known. In the present invention, the evaluation value may be calculated using another known evaluation function.
また、上述した実施例では、多ステージ探索として、３ステージ探索を例として説明したが、このステージ数も本発明の不可欠の条件ではない。例えば、特公平３−６８５９７号公報（特許文献３）は、既に動きベクトルが検出されている近傍のブロックの「動きベクトルを基に第１ステージの探索点を生成して、２ステージ探索を行う動きベクトル検出技術を開示している。本発明では、このような多ステージ探索方法も使用可能である。 In the above-described embodiment, a three-stage search has been described as an example of a multi-stage search. However, the number of stages is not an essential condition of the present invention. For example, Japanese Examined Patent Publication No. 3-68597 (Patent Document 3) performs a two-stage search by generating a first-stage search point based on a motion vector of a nearby block in which a motion vector has already been detected. In the present invention, such a multi-stage search method can also be used.
１ 現ブロック動画像メモリ
２ 参照フレーム動画像メモリ
３ プログラムメモリ
４ 評価値計算用パラメータメモリ
５ 中央処理装置（ＣＰＵ）
DESCRIPTION OF
Claims (15)
（Ａ）各ステージにおける複数個の探索点の間の最小距離に基づいて、各ステージの探索点に対応する評価値を算出するためのブロック内評価点の個数を、前もって設定し、
（Ｂ）各ステージにおいては、直前のステージで評価値が最小となった探索点を基準として、当該ステージでの探索点を決定し、この決定された探索点に対応する評価値を、当該ステージに設定された評価点について計算し、
（ｃ）最終ステージにおいて最小評価値となった探索点を前記動きベクトルとして出力する。 A motion vector detection method for detecting a motion vector of a moving image signal for each block using a multi-stage search method, comprising the following steps (A) to (C).
(A) Based on the minimum distance between a plurality of search points in each stage, the number of in-block evaluation points for calculating an evaluation value corresponding to the search point of each stage is set in advance,
(B) In each stage, a search point in the stage is determined with reference to the search point having the minimum evaluation value in the immediately preceding stage, and the evaluation value corresponding to the determined search point is set in the stage. Calculate the evaluation score set for
(C) The search point having the minimum evaluation value in the final stage is output as the motion vector.
現ブロックの動画像信号が少なくとも格納された現ブロック動画像メモリと、
動きベクトルサーチ範囲内の参照フレーム内動画像信号が少なくとも格納された参照フレーム動画像メモリと、
各ステージにについて、複数個の探索点の間の最小距離に基づいて定められた、ブロック内評価点の個数及び位置であり、評価値を算出するためのブロック内評価点の個数及び位置を示すパラメータが格納されたパラメータメモリと、
前記各ステージ毎に、前記探索点に対応する評価値を計算する評価値計算部であり、直前のステージで評価値が最小となった探索点を基準として、当該ステージでの探索点を決定し、この決定された探索点に対応する評価値を、当該ステージに設定された評価点について計算し、最終ステージにおいて最小評価値となった探索点を前記動きベクトルとして出力する評価値計算部、
とからなる動きベクトル検出装置。 A motion vector detection apparatus that detects a motion vector of a moving image signal for each block using a multistage search method,
A current block moving picture memory storing at least a moving picture signal of the current block;
A reference frame moving image memory in which at least a reference frame moving image signal within the motion vector search range is stored;
For each stage, it is the number and position of evaluation points in a block determined based on the minimum distance between a plurality of search points, and indicates the number and position of evaluation points in a block for calculating an evaluation value. A parameter memory in which parameters are stored;
An evaluation value calculation unit that calculates an evaluation value corresponding to the search point for each stage, and determines a search point in the stage based on the search point having the minimum evaluation value in the immediately preceding stage. , An evaluation value corresponding to the determined search point is calculated for the evaluation point set in the stage, and an evaluation value calculation unit that outputs the search point that is the minimum evaluation value in the final stage as the motion vector,
A motion vector detection device comprising:
（Ａ）各ステージにおける複数個の探索点の間の最小距離に基づいて、各ステージの探索点に対応する評価値を算出するためのブロック内評価点の個数を、前もって設定し、
（Ｂ）各ステージにおいては、直前のステージで評価値が最小となった探索点を基準として、当該ステージでの探索点を決定し、この決定された探索点に対応する評価値を、当該ステージに設定された評価点について計算し、
（ｃ）最終ステージにおいて最小評価値となった探索点を前記動きベクトルとして出力する。 A program for causing a computer to perform motion vector detection for detecting a motion vector of a moving image signal for each block using a multi-stage search method. The program includes the following steps (A) to (C): Become.
(A) Based on the minimum distance between a plurality of search points in each stage, the number of in-block evaluation points for calculating an evaluation value corresponding to the search point of each stage is set in advance,
(B) In each stage, a search point in the stage is determined with reference to the search point having the minimum evaluation value in the immediately preceding stage, and the evaluation value corresponding to the determined search point is set in the stage. Calculate the evaluation score set for
(C) The search point having the minimum evaluation value in the final stage is output as the motion vector.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007126241A JP2008283505A (en) | 2007-05-11 | 2007-05-11 | Motion vector detecting method, device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007126241A JP2008283505A (en) | 2007-05-11 | 2007-05-11 | Motion vector detecting method, device and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008283505A true JP2008283505A (en) | 2008-11-20 |
Family
ID=40143941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007126241A Pending JP2008283505A (en) | 2007-05-11 | 2007-05-11 | Motion vector detecting method, device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008283505A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011142564A (en) * | 2010-01-08 | 2011-07-21 | Fujitsu Ltd | Device, method, and program for encoding dynamic image |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10191346A (en) * | 1996-12-27 | 1998-07-21 | Casio Comput Co Ltd | Motion detector, motion detecting method and storage medium |
-
2007
- 2007-05-11 JP JP2007126241A patent/JP2008283505A/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10191346A (en) * | 1996-12-27 | 1998-07-21 | Casio Comput Co Ltd | Motion detector, motion detecting method and storage medium |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011142564A (en) * | 2010-01-08 | 2011-07-21 | Fujitsu Ltd | Device, method, and program for encoding dynamic image |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6289050B1 (en) | Device and method for motion vector detection | |
| JP4166781B2 (en) | Motion vector detection apparatus and motion vector detection method | |
| US8718324B2 (en) | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation | |
| CN102792317B (en) | Based on the Image Feature Detection of the application of multiple property detector | |
| JP2007124408A (en) | Motion vector detector and motion vector detecting method | |
| JP3880985B2 (en) | Motion vector detection apparatus and motion vector detection method | |
| JP2006020095A (en) | Motion vector detection circuit, image encoding circuit, motion vector detecting method and image encoding method | |
| US20050163221A1 (en) | Motion vector detecting device | |
| US20050105620A1 (en) | Motion vector detecting device and motion vector detecting program | |
| JP2008283505A (en) | Motion vector detecting method, device and program | |
| JP2007158855A (en) | Motion vector detector and motion vector detecting method | |
| JP5683153B2 (en) | Image processing apparatus and image processing method | |
| JP4523024B2 (en) | Image coding apparatus and image coding method | |
| JP2005175872A (en) | Motion vector detecting apparatus, motion vector detecting method and computer program | |
| TWI450591B (en) | Video processing chip set and method for loading data on motion estimation therein | |
| JP3276073B2 (en) | Motion vector detection device and motion vector detection method | |
| JP2004164479A (en) | Device, method, and program for generating image deformation information | |
| JP4250598B2 (en) | Motion compensation IP conversion processing apparatus and motion compensation IP conversion processing method | |
| JP2009267726A (en) | Moving image encoding apparatus, recorder, moving image encoding method, moving image encoding program | |
| JPH11215502A (en) | Motion vector detector and its method | |
| JP2008177630A (en) | Motion vector detector | |
| JP2000102015A (en) | Motion vector detector and motion vector detection method | |
| JP2004260251A (en) | Apparatus and program of detecting motion vector | |
| Yang et al. | PLSAV: Parallel loop searching and verifying for loop closure detection | |
| US9483840B1 (en) | Low power patch matching in self-similarity based single frame super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20090513 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100415 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110517 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20110705 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110927 |