JP2007267200A - Motion vector detection method, motion vector detection apparatus, and motion vector detection program - Google Patents
Motion vector detection method, motion vector detection apparatus, and motion vector detection program Download PDFInfo
- Publication number
- JP2007267200A JP2007267200A JP2006091478A JP2006091478A JP2007267200A JP 2007267200 A JP2007267200 A JP 2007267200A JP 2006091478 A JP2006091478 A JP 2006091478A JP 2006091478 A JP2006091478 A JP 2006091478A JP 2007267200 A JP2007267200 A JP 2007267200A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- vector
- block
- motion
- gradient method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 title claims abstract description 312
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 73
- 238000006073 displacement reaction Methods 0.000 claims description 36
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、動画像信号において、動画像の大きさや方向、即ち動きベクトルを検出する方法、動きベクトル検出装置及び動きベクトル検出プログラムに関するものである。 The present invention relates to a method, a motion vector detection apparatus, and a motion vector detection program for detecting the size and direction of a moving image, that is, a motion vector, in a moving image signal.
動きベクトルは、例えばTV信号などの動画像信号の高能率符号化におけるフレーム間符号化効率を向上させる際や、TV方式変換におけるフィールド数の変換による動きの不連続性を軽減させるために用いられる。
従来の一般的な動きベクトル検出方法としては、動画像信号をm画素×nラインのブロックに細分化した後、ブロック毎に動きベクトルを検出する方法があり、例えばパターンマッチング法(特許文献1、特許文献2)や、反復勾配法(特許文献3)が良く知られている。
また、反復勾配法を用いる方法においては、動きベクトルの検出精度を向上させるために、複数の候補ベクトルから初期偏位ベクトルを選択し、これを起点として勾配法演算を複数回用いるものが提案されている(特許文献4)。
As a conventional general motion vector detection method, there is a method in which a motion vector is subdivided into blocks of m pixels × n lines and then a motion vector is detected for each block. For example, a pattern matching method (
Also, in the method using the iterative gradient method, in order to improve the detection accuracy of the motion vector, an initial displacement vector is selected from a plurality of candidate vectors, and the gradient method calculation is used a plurality of times starting from this. (Patent Document 4).
しかしながら、候補となる初期偏位ベクトルの近傍ブロックの検出精度を評価せずに初期偏位ベクトルを選択しているため、例えば水平方向の動きの映像で垂直方向の動きベクトルを誤検出する、あるいは垂直方向の動きの映像で水平方向の動きベクトルを誤検出する、というように、動きベクトルの検出精度が一定程度以上には向上しないという課題があった。
そこで、適切な初期偏位ベクトルを選択し、動きベクトルの検出精度を向上できるような、動きベクトル検出方法及び動きベクトル検出装置が望まれていた。
However, since the initial deviation vector is selected without evaluating the detection accuracy of neighboring blocks of the candidate initial deviation vector, for example, a vertical motion vector is erroneously detected in a horizontal motion image, or There has been a problem that the detection accuracy of the motion vector is not improved to a certain level or more, such as erroneously detecting the horizontal motion vector in the video of the vertical motion.
Therefore, a motion vector detection method and a motion vector detection device that can select an appropriate initial deviation vector and improve motion vector detection accuracy have been desired.
本発明に係る動きベクトル検出方法は、
動画像信号を所定の画素数と所定のライン数からなるブロックに分割し、各ブロック毎に、少なくとも1フィールド以上離れた信号間で、動画像の動きベクトルを検出する動きベクトル検出方法において、
各ブロック毎に検出された、少なくとも1フィールド分の動きベクトルを、記憶手段に格納するステップと、
前記記憶手段に格納された各ブロック毎の動きベクトルの中から、検出対象のブロックの動きベクトルに最も近い動きベクトルを初期偏位ベクトルとして選択する初期偏位ベクトル選択ステップと、
前記初期偏位ベクトルを起点として複数回の勾配法演算を施し、検出対象のブロックの動きベクトルを求める第1の勾配法演算ステップと、
前記第1の勾配法演算ステップの結果に、さらに勾配法演算を施し、演算結果を前記記憶手段に格納する第2の勾配法演算ステップとを有することを特徴とする。
The motion vector detection method according to the present invention includes:
In a motion vector detection method for dividing a moving image signal into blocks each having a predetermined number of pixels and a predetermined number of lines and detecting a motion vector of the moving image between signals separated by at least one field for each block.
Storing at least one field of motion vectors detected for each block in a storage means;
An initial displacement vector selection step of selecting, as an initial displacement vector, a motion vector closest to the motion vector of the block to be detected from the motion vectors of each block stored in the storage means;
A first gradient method calculation step of performing a plurality of gradient method calculations starting from the initial deviation vector and obtaining a motion vector of a block to be detected;
The method further comprises a second gradient method calculation step of further applying a gradient method calculation to the result of the first gradient method calculation step and storing the calculation result in the storage means.
本発明に係る動きベクトル検出方法によれば、
複数の初期偏位ベクトルの候補が存在する場合に、第2の勾配法演算ステップの結果を基に、適切な初期偏位ベクトルを選択するので、動きベクトル検出の精度が向上し、水平方向の動きの映像で垂直方向の動きベクトルを誤検出する、あるいは垂直方向の動きの映像で水平方向の動きベクトルを誤検出する、というような、動きベクトルの検出精度が一定程度以上には向上しないという課題を解決できる。
According to the motion vector detection method of the present invention,
When there are a plurality of initial deviation vector candidates, an appropriate initial deviation vector is selected based on the result of the second gradient method calculation step, so that the accuracy of motion vector detection is improved and the horizontal direction is improved. The detection accuracy of motion vectors does not improve beyond a certain level, such as misdetecting vertical motion vectors in motion images or misdetecting horizontal motion vectors in vertical motion images. The problem can be solved.
実施の形態1.
図1は、本発明の実施の形態1に係る動きベクトル検出方法を実現する、動きベクトル検出装置の構成図を示すものである。
図1の動きベクトル検出装置は、フィールドディレー1、ベクトルメモリ2、初期偏位ベクトル選択3、勾配法演算4、加算回路5、勾配法演算6、加算回路7、勾配法演算8を有する。
フィールドディレー1は、入力された映像信号Aを基に、前フィールド信号Cを出力する。
ベクトルメモリ2は、加算回路7より加算結果ベクトルI、勾配法演算8より3回目偏位分Jを、組にして受け取って格納する。また、受け取った加算結果ベクトルIと3回目偏位分Jの組を、所定量蓄積する。蓄積した加算結果ベクトルIと3回目偏位分Jの組は、次の初期偏位ベクトルの候補ベクトルD、及びDに対応した3回目偏位分Lとして、初期偏位ベクトル選択3に出力する。
初期偏位ベクトル選択3は、現フィールド信号Bを受け取る。また、ベクトルメモリ2より候補ベクトルD及び3回目偏位分Lを受け取り、フィールドディレー1より前フィールド信号Cを受け取る。また、候補ベクトルDに0ベクトルを加えた候補の中から、3回目偏位分Lの対応する値を用いて、初期偏位ベクトルEを選択して出力する。
勾配法演算4は、現フィールド信号Bを受け取る。また、初期偏位ベクトル選択3より初期偏位ベクトルEを受け取り、フィールドディレー1より前フィールド信号Cを受け取る。また、受け取った信号を基に勾配法演算を行い、1回目偏位分Fを出力する。
加算回路5は、初期偏位ベクトルEと1回目偏位分Fを加算し、加算結果ベクトルGを出力する。
勾配法演算6は、現フィールド信号Bを受け取る。また、加算回路5より加算結果ベクトルGを受け取り、フィールドディレー1より前フィールド信号Cを受け取る。また、受け取った信号を基に勾配法演算を行い、2回目偏位分Hを出力する。
加算回路7は、加算結果ベクトルGと2回目偏位分Hを加算し、加算結果ベクトルIを出力する。
加算結果ベクトルIは、図1の動きベクトル検出装置の検出結果ベクトルとなる。
勾配法演算8は、現フィールド信号Bを受け取る。また、加算回路7より加算結果ベクトルIを受け取り、フィールドディレー1より前フィールド信号Cを受け取る。また、受け取った信号を基に勾配法演算を行い、3回目偏位分Jを出力する。
FIG. 1 shows a configuration diagram of a motion vector detection apparatus that implements the motion vector detection method according to
1 includes a
The
The
The initial
The gradient method operation 4 receives the current field signal B. Further, the initial displacement vector E is received from the initial
The adding
The
The
The addition result vector I becomes a detection result vector of the motion vector detection device of FIG.
The gradient method operation 8 receives the current field signal B. Further, the addition result vector I is received from the
ここで、以後の説明の理解を容易にするために、従来の反復勾配法を用いた動きベクトル検出方法について説明する。
従来の動きベクトル検出方法は、1フィールド又は1フレームの動画像信号を例えばm画素×nラインからなるブロック単位に細分化し、これらのブロックの動きベクトルを検出することを前提としている。
Here, in order to facilitate understanding of the following description, a motion vector detection method using a conventional iterative gradient method will be described.
The conventional motion vector detection method is based on the premise that a motion image signal of one field or one frame is subdivided into blocks each composed of, for example, m pixels × n lines, and the motion vectors of these blocks are detected.
図8は、前フィールドを基準として、検出対象のブロック(被検出ブロック)の現フィールドの真の動きベクトルを、初期偏位ベクトルを用いて検出する方法について説明するものである。
真の動きベクトルを求めようとする被検出ブロック(m1、n1)に対して、時間的に前に検出されている動きベクトルの中から最適な動きベクトルを選択し、この選択された動きベクトルを初期偏位ベクトルV0=(α0、β0)とする。
次に、この初期偏位ベクトルに相当する分、座標を偏位したブロック(m1+α0、n1+β0)と前記被検出ブロックとを基に1回目の偏位分V1=(α1、β1)と2回目の偏位分V2=(α2、β2)を、反復勾配法を用いて求める。
次に、前記初期偏位ベクトルV0と前記偏位分V1、V2を加算して、被検出ブロックの真の動きベクトルV=V0+V1+V2を求めている。
FIG. 8 illustrates a method of detecting the true motion vector of the current field of the detection target block (detected block) using the initial displacement vector with reference to the previous field.
For the detected block (m1, n1) for which a true motion vector is to be obtained, an optimal motion vector is selected from motion vectors detected in time, and the selected motion vector is selected. The initial displacement vector V0 = (α0, β0).
Next, based on the block (m1 + α0, n1 + β0) whose coordinates are shifted by the amount corresponding to the initial displacement vector and the detected block, the first displacement V1 = (α1, β1) and the second The deviation V2 = (α2, β2) is obtained using the iterative gradient method.
Next, the initial displacement vector V0 and the displacements V1 and V2 are added to obtain the true motion vector V = V0 + V1 + V2 of the detected block.
図9は、検出対象である動きベクトルV、初期偏位ベクトルV0、1回目の偏位分V1、2回目の偏位分V2の関係を図示するものである。
適切な初期偏位ベクトルV0を選択することができれば、動きベクトルVの検出精度が向上するので、より精度の高い初期偏位ベクトルV0を選択することが課題となる。
FIG. 9 illustrates the relationship between the motion vector V to be detected, the initial deviation vector V0, the first deviation V1, and the second deviation V2.
If an appropriate initial deviation vector V0 can be selected, the detection accuracy of the motion vector V can be improved. Therefore, it becomes a problem to select a more accurate initial deviation vector V0.
図10は、従来の反復勾配法を用いた動きベクトル検出装置の構成図を示すものである。
図10に示すように、従来の反復勾配法を用いた動きベクトル検出装置では、初期偏位ベクトルの精度を評価する手段を有することなく初期偏位ベクトルを選択しているため、不適切な初期偏位ベクトルを選択してしまう場合がある。
FIG. 10 shows a block diagram of a motion vector detection apparatus using a conventional iterative gradient method.
As shown in FIG. 10, in the motion vector detection apparatus using the conventional iterative gradient method, the initial displacement vector is selected without having a means for evaluating the accuracy of the initial displacement vector. In some cases, a deviation vector is selected.
以後は、図1の動きベクトル検出装置の動作説明に戻る。 Thereafter, the description returns to the operation description of the motion vector detection device of FIG.
図2は、図1における初期偏位ベクトルE、1回目偏位分F、2回目偏位分H及び3回目偏位分Jと、検出対象である動きベクトルVとの関係を図示するものである。
図2のIは、図1における検出ベクトルである。即ち、3回目偏位分Jが小さいほど、Iは検出対象の動きベクトルVに近いものであり、検出精度が高いということになる。
従って、3回目偏位分Jの値が最も小さい初期偏位ベクトルが、候補として最も適しているということになる。
FIG. 2 illustrates the relationship between the initial deviation vector E, the first deviation F, the second deviation H, the third deviation J, and the motion vector V to be detected in FIG. is there.
I in FIG. 2 is a detection vector in FIG. That is, as the third deviation J is smaller, I is closer to the motion vector V to be detected, and the detection accuracy is higher.
Therefore, the initial deviation vector having the smallest value of the third deviation J is the most suitable candidate.
図3は、次の初期偏位ベクトルとなる候補ベクトルの一例を示すものである。
初期偏位ベクトルは、できる限り多くの候補ベクトルの中から、最も適切なベクトルを選択できることが望ましい。候補ベクトルは、例えば図3に示すように、被検出ブロックの周囲8ブロックから、それぞれ選ぶことができる。
FIG. 3 shows an example of a candidate vector that becomes the next initial deviation vector.
As the initial displacement vector, it is desirable that the most appropriate vector can be selected from as many candidate vectors as possible. As shown in FIG. 3, for example, candidate vectors can be selected from eight blocks around the detected block.
図4は、候補ベクトルの別の例を示すものである。
図4に示す例では、前フィールドにおける被検出ブロックの左上、上、右下、下の4ブロックと、現フィールドにおける被検出ブロックの左上、上、右下、下の4ブロックから、それぞれ候補ベクトルを選んでいる。
FIG. 4 shows another example of candidate vectors.
In the example shown in FIG. 4, candidate vectors from the upper left, upper, lower right, and lower four blocks of the detected block in the previous field and the upper left, upper, lower right, and lower four blocks of the detected block in the current field, respectively. Is selected.
図5は、ベクトルメモリ2の必要容量を説明するものである。
ベクトルメモリ2の必要容量は、候補ベクトルの数に依存する。
例えば、図4に示す例(図5の上)のように8つの候補ベクトルを選択する場合、ベクトルメモリ2は8ベクトル分の容量が必要である。
また、図5の下に示すように、被検出ブロックの周囲24ブロックから候補ベクトルをそれぞれ選択する場合、24ベクトル分の容量が必要である。
実際には、装置のサイズ上の制限等から、搭載可能なメモリ容量に制限がある場合があるため、許容される範囲内で適切なメモリ容量を選択する。
なお、図5はベクトルメモリ2の必要容量を説明するための図であり、同図に示す内容は、実際に行われるベクトル検出方法を説明するものではないことを付言しておく。
FIG. 5 explains the necessary capacity of the
The required capacity of the
For example, when eight candidate vectors are selected as in the example shown in FIG. 4 (upper part of FIG. 5), the
Further, as shown in the lower part of FIG. 5, when selecting candidate vectors from 24 blocks around the detected block, a capacity of 24 vectors is required.
Actually, the memory capacity that can be mounted may be limited due to restrictions on the size of the apparatus, and therefore, an appropriate memory capacity is selected within an allowable range.
FIG. 5 is a diagram for explaining the necessary capacity of the
次に、図1の初期偏位ベクトル選択3の動作を説明する。
初期偏位ベクトル選択3は、ベクトルメモリ2が格納している候補ベクトルDに0ベクトルを加えた候補から、適切な初期偏位ベクトルEを選択する。
選択に際しては、候補ベクトルDに0ベクトルを加えた候補から、フィールド間差分絶対値の全画素の累計が最小となるベクトルを、初期偏位ベクトルEとする。
ここで、フィールド間差分とは、候補ベクトルにて偏位させたブロックと、被検出ブロックとの画素毎の差分値のことである。
フィールド間差分絶対値の全画素の累計が最小となる候補ベクトルが複数存在する場合には、3回目偏位分Lの対応する値が最も小さいベクトルを、優先的に初期偏位ベクトルEとして選択する。
このように、3回目偏位分の値を考慮することで、より精度の高い初期偏位ベクトル選択が可能となる。
Next, the operation of initial
The initial
At the time of selection, an initial deviation vector E is defined as a vector in which the total of all the pixels of the inter-field difference absolute value is minimum from candidates obtained by adding 0 vector to the candidate vector D.
Here, the inter-field difference is a difference value for each pixel between the block displaced by the candidate vector and the detected block.
When there are a plurality of candidate vectors that minimize the cumulative total of all pixels of the difference value between fields, the vector having the smallest corresponding value of the third deviation L is preferentially selected as the initial deviation vector E. To do.
Thus, by considering the value for the third deviation, it is possible to select the initial deviation vector with higher accuracy.
ここで、ベクトルメモリ2が格納している候補ベクトルDに0ベクトルを加えて候補ベクトルとするのは、0ベクトルを加えることによって、検出結果が発散することを防ぐためである。
Here, the reason why the 0 vector is added to the candidate vector D stored in the
なお、フィールド間差分絶対値の全画素の累計を比較するに際しては、厳密な値で比較することもできるし、所定の誤差範囲内にある値は同じ値とみなし、3回目偏位分の大きさにより初期偏位ベクトルEを選択することも可能である。
また、0ベクトルは3回目偏位分の値がないため、優先度を固定的に割り当てるようにしてもよい。
It should be noted that when comparing the cumulative total of all the pixels of the inter-field difference absolute value, it is possible to compare with a strict value, and values within a predetermined error range are regarded as the same value, and the third deviation is larger. Thus, it is also possible to select the initial deviation vector E.
Further, since the zero vector has no value for the third deviation, the priority may be fixedly assigned.
本実施の形態1で述べた動きベクトル検出方法及び動きベクトル検出装置は、動画像信号の高能率符号化処理を行う装置に適用可能である。例えば、TV方式変換装置や、TV信号圧縮・伸張装置(MPEG2−CODEC)等に適用することができる。 The motion vector detection method and motion vector detection device described in the first embodiment can be applied to a device that performs high-efficiency encoding processing of a moving image signal. For example, the present invention can be applied to a TV system conversion device, a TV signal compression / decompression device (MPEG2-CODEC), and the like.
以上のように、本実施の形態1に係る動きベクトル検出方法によれば、
動画像信号を所定の画素数と所定のライン数からなるブロックに分割し、各ブロック毎に、少なくとも1フィールド以上離れた信号間で、動画像の動きベクトルを検出する動きベクトル検出方法において、
各ブロック毎に検出された、少なくとも1フィールド分の動きベクトルを、記憶手段に格納するステップと、
前記記憶手段に格納された各ブロック毎の動きベクトルの中から、検出対象のブロックの動きベクトルに最も近い動きベクトルを初期偏位ベクトルとして選択する初期偏位ベクトル選択ステップと、
前記初期偏位ベクトルを起点として複数回の勾配法演算を施し、検出対象のブロックの動きベクトルを求める第1の勾配法演算ステップと、
前記第1の勾配法演算ステップの結果に、さらに勾配法演算を施し、演算結果を前記記憶手段に格納する第2の勾配法演算ステップとを有するので、
複数の初期偏位ベクトルの候補が存在する場合に、第2の勾配法演算ステップの結果を基に、適切な初期偏位ベクトルを選択するので、動きベクトル検出の精度が向上し、水平方向の動きの映像で垂直方向の動きベクトルを誤検出する、あるいは垂直方向の動きの映像で水平方向の動きベクトルを誤検出する、というような、動きベクトルの検出精度が一定程度以上には向上しないという課題を解決できる。
As described above, according to the motion vector detection method according to the first embodiment,
In a motion vector detection method for dividing a moving image signal into blocks each having a predetermined number of pixels and a predetermined number of lines and detecting a motion vector of the moving image between signals separated by at least one field for each block.
Storing at least one field of motion vectors detected for each block in a storage means;
An initial displacement vector selection step of selecting, as an initial displacement vector, a motion vector closest to the motion vector of the block to be detected from the motion vectors of each block stored in the storage means;
A first gradient method calculation step of performing a plurality of gradient method calculations starting from the initial deviation vector and obtaining a motion vector of a block to be detected;
Since the gradient method calculation is further performed on the result of the first gradient method calculation step, and the calculation result is stored in the storage means, the second gradient method calculation step is included.
When there are a plurality of initial deviation vector candidates, an appropriate initial deviation vector is selected based on the result of the second gradient method calculation step, so that the accuracy of motion vector detection is improved and the horizontal direction is improved. The detection accuracy of motion vectors does not improve beyond a certain level, such as misdetecting vertical motion vectors in motion images or misdetecting horizontal motion vectors in vertical motion images. The problem can be solved.
前記初期偏位ベクトル選択ステップは、
前記記憶手段に格納された動きベクトルに0ベクトルを加えた候補ベクトルの中から、
それぞれの候補ベクトルにて偏位させたブロックと検出対象のブロックのフィールド間差分値を画素毎に求めて、
その結果の累計が最小となるブロックの動きベクトルを、前記初期偏位ベクトルとして選択するので、
0ベクトルを加えることによって、検出結果が発散することを防ぎつつ、被検出ブロックの動きベクトルに最も近い初期偏位ベクトルを選択することができる。
The initial deviation vector selection step includes:
Among candidate vectors obtained by adding a zero vector to a motion vector stored in the storage means,
Find the inter-field difference value of the block displaced by each candidate vector and the block to be detected for each pixel,
Since the motion vector of the block with the smallest cumulative result is selected as the initial displacement vector,
By adding the zero vector, it is possible to select the initial deviation vector closest to the motion vector of the detected block while preventing the detection result from diverging.
前記初期偏位ベクトル選択ステップは、
前記累計が最小となるブロックの動きベクトルが複数存在する場合には、
前記第2の勾配法演算ステップの演算結果が最も小さいブロックの動きベクトルを、前記初期偏位ベクトルとして選択するので、
第2の勾配法演算ステップの演算結果により初期偏位ベクトル候補を適切に評価し、これにより誤検出を防止して、動きベクトルの検出精度を向上させることができる。
The initial deviation vector selection step includes:
When there are a plurality of motion vectors of the block with the minimum total,
Since the motion vector of the block with the smallest calculation result of the second gradient method calculation step is selected as the initial deviation vector,
It is possible to appropriately evaluate initial deviation vector candidates based on the calculation result of the second gradient method calculation step, thereby preventing erroneous detection and improving motion vector detection accuracy.
また、本実施の形態1に係る動きベクトル検出装置によれば、
動画像信号を所定の画素数と所定のライン数からなるブロックに分割し、各ブロック毎に、少なくとも1フィールド以上離れた信号間で、動画像の動きベクトルを検出する動きベクトル検出装置において、
各ブロック毎に検出された、少なくとも1フィールド分の動きベクトルを格納する記憶手段と、
前記記憶手段に格納された各ブロック毎の動きベクトルの中から、検出対象のブロックの動きベクトルに最も近い動きベクトルを初期偏位ベクトルとして選択する初期偏位ベクトル選択手段と、
前記初期偏位ベクトルを起点として複数回の勾配法演算を施し、検出対象のブロックの動きベクトルを求めて出力する第1の勾配法演算手段と、
前記第1の勾配法演算手段の出力に、さらに勾配法演算を施し、演算結果を前記記憶手段に格納する第2の勾配法演算手段とを有するので、
複数の初期偏位ベクトルの候補が存在する場合に、第2の勾配法演算手段の結果を基に、適切な初期偏位ベクトルを選択するので、動きベクトル検出の精度が向上し、水平方向の動きの映像で垂直方向の動きベクトルを誤検出する、あるいは垂直方向の動きの映像で水平方向の動きベクトルを誤検出する、というような、動きベクトルの検出精度が一定程度以上には向上しないという課題を解決できる。
Further, according to the motion vector detection apparatus according to the first embodiment,
In a motion vector detection device that divides a moving image signal into blocks each having a predetermined number of pixels and a predetermined number of lines, and detects a motion vector of the moving image between signals separated by at least one field for each block.
Storage means for storing motion vectors for at least one field detected for each block;
Initial displacement vector selection means for selecting, as an initial displacement vector, a motion vector closest to the motion vector of the block to be detected from the motion vectors for each block stored in the storage means;
First gradient method computing means for performing a plurality of gradient method computations starting from the initial displacement vector, and obtaining and outputting a motion vector of a block to be detected;
Since the output of the first gradient method computing means has second gradient method computation means for further performing gradient method computation and storing the computation result in the storage means,
When there are a plurality of initial deviation vector candidates, an appropriate initial deviation vector is selected based on the result of the second gradient method computing means, so that the accuracy of motion vector detection is improved and the horizontal direction is improved. The detection accuracy of motion vectors does not improve beyond a certain level, such as misdetecting vertical motion vectors in motion images or misdetecting horizontal motion vectors in vertical motion images. The problem can be solved.
また、前記初期偏位ベクトル選択手段は、
前記記憶手段に格納された動きベクトルに0ベクトルを加えた候補ベクトルの中から、
それぞれの候補ベクトルにて偏位させたブロックと検出対象のブロックのフィールド間差分値を画素毎に求めて、
その結果の累計が最小となるブロックの動きベクトルを、前記初期偏位ベクトルとして選択するので、
0ベクトルを加えることによって、検出結果が発散することを防ぎつつ、被検出ブロックの動きベクトルに最も近い初期偏位ベクトルを選択することができる。
Further, the initial deviation vector selection means includes:
Among candidate vectors obtained by adding a zero vector to a motion vector stored in the storage means,
Find the inter-field difference value of the block displaced by each candidate vector and the block to be detected for each pixel,
Since the motion vector of the block with the smallest cumulative result is selected as the initial displacement vector,
By adding the zero vector, it is possible to select the initial deviation vector closest to the motion vector of the detected block while preventing the detection result from diverging.
また、前記初期偏位ベクトル選択手段は、
前記累計が最小となるブロックの動きベクトルが複数存在する場合には、
前記第2の勾配法演算手段の演算結果が最も小さいブロックの動きベクトルを、前記初期偏位ベクトルとして選択するので、
第2の勾配法演算手段の演算結果により初期偏位ベクトル候補を適切に評価し、これにより誤検出を防止して、動きベクトルの検出精度を向上させることができる。
Further, the initial deviation vector selection means includes:
When there are a plurality of motion vectors of the block with the minimum total,
Since the motion vector of the block with the smallest computation result of the second gradient method computing means is selected as the initial deviation vector,
It is possible to appropriately evaluate initial deviation vector candidates based on the calculation result of the second gradient method calculation means, thereby preventing erroneous detection and improving motion vector detection accuracy.
実施の形態2.
図6は、本発明の実施の形態2に係る動きベクトル検出プログラムを格納・実行するコンピュータの構成図である。
コンピュータ601は、演算手段602、HDD603、映像信号入力手段604、映像信号出力手段605、記憶手段607を有する。
HDD603は、大容量の記憶装置であり、動きベクトル検出プログラム606を格納している。
映像信号入力手段604は、演算手段602に映像信号を入力する。
映像信号出力手段605は、演算手段602より、動きベクトル検出結果を含む映像信号を受け取る。受け取った映像信号は、表示装置(図示せず)への表示等を行う。
記憶手段607は、例えばRAMのような、比較的小容量で高速な記憶装置である。
FIG. 6 is a configuration diagram of a computer that stores and executes a motion vector detection program according to the second embodiment of the present invention.
The computer 601 includes a
The HDD 603 is a large-capacity storage device and stores a motion vector detection program 606.
The video
The video signal output unit 605 receives the video signal including the motion vector detection result from the
The
図7は、本実施の形態2に係る動きベクトル検出プログラム606の全体フローである。
(S701)
演算手段602は、動きベクトル検出プログラム606の指示に基づき、各ブロック毎に検出された、少なくとも1フィールド分の動きベクトルを、記憶手段607に格納する。なお、動作開始時は検出済みの動きベクトルがないため、本ステップは省略される。
(S702)
演算手段602は、動きベクトル検出プログラム606の指示に基づき、記憶手段607に格納された各ブロック毎の動きベクトルの中から、被検出ブロックの動きベクトルに最も近い動きベクトルを初期偏位ベクトルとして選択する。
処理の詳細は、実施の形態1の図1における、初期偏位ベクトル3と同様であるため、説明を省略する。
(S703)
演算手段602は、動きベクトル検出プログラム606の指示に基づき、ステップS702で選択された初期偏位ベクトルを起点として複数回の勾配法演算を施し、被検出ブロックの動きベクトルを求める。本ステップの繰り返し回数は、特に制限はない。
処理の詳細は、実施の形態1の図1における、勾配法演算4〜加算回路7と同様であるため、説明を省略する。
(S704)
演算手段602は、動きベクトル検出プログラム606の指示に基づき、ステップS703の結果に、さらに勾配法演算を施し、演算結果を記憶手段607に格納する。
処理の詳細は、実施の形態1の図1における勾配法演算8と同様であるため、説明を省略する。
(S705)
演算手段602は、動きベクトル検出プログラム606の指示に基づき、動きベクトル検出の終了判定を行う。検出動作を継続する場合は、ステップS701に戻る。
FIG. 7 is an overall flow of the motion vector detection program 606 according to the second embodiment.
(S701)
The
(S702)
Based on an instruction from the motion vector detection program 606, the calculation means 602 selects a motion vector closest to the motion vector of the detected block from among the motion vectors stored in the storage means 607 as the initial displacement vector. To do.
Details of the processing are the same as the
(S703)
Based on the instruction from the motion vector detection program 606, the calculation means 602 performs gradient method calculation a plurality of times starting from the initial deviation vector selected in step S702, and obtains the motion vector of the detected block. The number of repetitions of this step is not particularly limited.
Details of the processing are the same as those in the gradient method calculation 4 to the
(S704)
Based on an instruction from the motion vector detection program 606, the
Details of the processing are the same as the gradient method calculation 8 in FIG.
(S705)
The
以上のように、本実施の形態2に係る動きベクトル検出プログラムによれば、
実施の形態1で述べた動きベクトル検出方法を、コンピュータを用いて実現できる。
As described above, according to the motion vector detection program according to the second embodiment,
The motion vector detection method described in the first embodiment can be realized using a computer.
A 映像信号、B 現フィールド信号、C 前フィールド信号、D 候補ベクトル、E 初期偏位ベクトル、F 1回目偏位分、G 加算結果ベクトル、H 2回目偏位分、I 加算結果ベクトル、J 3回目偏位分、L 3回目偏位分、1 フィールドディレー、2 ベクトルメモリ、3 初期偏位ベクトル選択、4 勾配法演算、5 加算回路、6 勾配法演算、7 加算回路、8 勾配法演算、601 コンピュータ、602 演算手段、603 HDD、604 映像信号入力手段、605 映像信号出力手段、606 動きベクトル検出プログラム、607 記憶手段。
A video signal, B current field signal, C previous field signal, D candidate vector, E initial deviation vector, F first deviation vector, G addition result vector, H second deviation vector, I addition result vector,
Claims (7)
各ブロック毎に検出された、少なくとも1フィールド分の動きベクトルを、記憶手段に格納するステップと、
前記記憶手段に格納された各ブロック毎の動きベクトルの中から、検出対象のブロックの動きベクトルに最も近い動きベクトルを初期偏位ベクトルとして選択する初期偏位ベクトル選択ステップと、
前記初期偏位ベクトルを起点として複数回の勾配法演算を施し、検出対象のブロックの動きベクトルを求める第1の勾配法演算ステップと、
前記第1の勾配法演算ステップの結果に、さらに勾配法演算を施し、演算結果を前記記憶手段に格納する第2の勾配法演算ステップとを有することを特徴とする動きベクトル検出方法。 In a motion vector detection method for dividing a moving image signal into blocks each having a predetermined number of pixels and a predetermined number of lines and detecting a motion vector of the moving image between signals separated by at least one field for each block.
Storing at least one field of motion vectors detected for each block in a storage means;
An initial displacement vector selection step of selecting, as an initial displacement vector, a motion vector closest to the motion vector of the block to be detected from the motion vectors of each block stored in the storage means;
A first gradient method calculation step of performing a plurality of gradient method calculations starting from the initial deviation vector and obtaining a motion vector of a block to be detected;
A motion vector detection method comprising: a second gradient method calculation step of further applying a gradient method calculation to the result of the first gradient method calculation step and storing the calculation result in the storage means.
前記記憶手段に格納された動きベクトルに0ベクトルを加えた候補ベクトルの中から、
それぞれの候補ベクトルにて偏位させたブロックと検出対象のブロックのフィールド間差分値を画素毎に求めて、
その結果の累計が最小となるブロックの動きベクトルを、前記初期偏位ベクトルとして選択することを特徴とする請求項1に記載の動きベクトル検出方法。 The initial deviation vector selection step includes:
Among candidate vectors obtained by adding a zero vector to a motion vector stored in the storage means,
Find the inter-field difference value of the block displaced by each candidate vector and the block to be detected for each pixel,
The motion vector detection method according to claim 1, wherein a motion vector of a block having a minimum cumulative result is selected as the initial displacement vector.
前記累計が最小となるブロックの動きベクトルが複数存在する場合には、
前記第2の勾配法演算ステップの演算結果が最も小さいブロックの動きベクトルを、前記初期偏位ベクトルとして選択することを特徴とする請求項2に記載の動きベクトル検出方法。 The initial deviation vector selection step includes:
When there are a plurality of motion vectors of the block with the minimum total,
The motion vector detection method according to claim 2, wherein a motion vector of a block having the smallest calculation result in the second gradient method calculation step is selected as the initial displacement vector.
各ブロック毎に検出された、少なくとも1フィールド分の動きベクトルを格納する記憶手段と、
前記記憶手段に格納された各ブロック毎の動きベクトルの中から、検出対象のブロックの動きベクトルに最も近い動きベクトルを初期偏位ベクトルとして選択する初期偏位ベクトル選択手段と、
前記初期偏位ベクトルを起点として複数回の勾配法演算を施し、検出対象のブロックの動きベクトルを求めて出力する第1の勾配法演算手段と、
前記第1の勾配法演算手段の出力に、さらに勾配法演算を施し、演算結果を前記記憶手段に格納する第2の勾配法演算手段とを有することを特徴とする動きベクトル検出装置。 In a motion vector detection device that divides a moving image signal into blocks each having a predetermined number of pixels and a predetermined number of lines, and detects a motion vector of the moving image between signals separated by at least one field for each block.
Storage means for storing motion vectors for at least one field detected for each block;
Initial displacement vector selection means for selecting, as an initial displacement vector, a motion vector closest to the motion vector of the block to be detected from the motion vectors for each block stored in the storage means;
First gradient method computing means for performing a plurality of gradient method computations starting from the initial displacement vector, and obtaining and outputting a motion vector of a block to be detected;
A motion vector detection apparatus comprising: a second gradient method calculation unit that further performs gradient method calculation on the output of the first gradient method calculation unit and stores the calculation result in the storage unit.
前記記憶手段に格納された動きベクトルに0ベクトルを加えた候補ベクトルの中から、
それぞれの候補ベクトルにて偏位させたブロックと検出対象のブロックのフィールド間差分値を画素毎に求めて、
その結果の累計が最小となるブロックの動きベクトルを、前記初期偏位ベクトルとして選択することを特徴とする請求項4に記載の動きベクトル検出装置。 The initial deviation vector selection means includes:
Among candidate vectors obtained by adding a zero vector to a motion vector stored in the storage means,
Find the inter-field difference value of the block displaced by each candidate vector and the block to be detected for each pixel,
5. The motion vector detection device according to claim 4, wherein a motion vector of a block having a minimum cumulative result is selected as the initial deviation vector.
前記累計が最小となるブロックの動きベクトルが複数存在する場合には、
前記第2の勾配法演算手段の演算結果が最も小さいブロックの動きベクトルを、前記初期偏位ベクトルとして選択することを特徴とする請求項5に記載の動きベクトル検出装置。 The initial deviation vector selection means includes:
When there are a plurality of motion vectors of the block with the minimum total,
6. The motion vector detection device according to claim 5, wherein a motion vector of a block having the smallest calculation result of the second gradient method calculation means is selected as the initial displacement vector.
A motion vector detection program for causing a computer to execute the motion vector detection method according to any one of claims 1 to 3.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006091478A JP4730170B2 (en) | 2006-03-29 | 2006-03-29 | Motion vector detection method, motion vector detection device, and motion vector detection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006091478A JP4730170B2 (en) | 2006-03-29 | 2006-03-29 | Motion vector detection method, motion vector detection device, and motion vector detection program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007267200A true JP2007267200A (en) | 2007-10-11 |
JP4730170B2 JP4730170B2 (en) | 2011-07-20 |
Family
ID=38639717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006091478A Expired - Fee Related JP4730170B2 (en) | 2006-03-29 | 2006-03-29 | Motion vector detection method, motion vector detection device, and motion vector detection program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4730170B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11146401A (en) * | 1997-11-06 | 1999-05-28 | Oki Electric Ind Co Ltd | Motion vector detection method and motion vector detection circuit of moving image signal |
-
2006
- 2006-03-29 JP JP2006091478A patent/JP4730170B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11146401A (en) * | 1997-11-06 | 1999-05-28 | Oki Electric Ind Co Ltd | Motion vector detection method and motion vector detection circuit of moving image signal |
Also Published As
Publication number | Publication date |
---|---|
JP4730170B2 (en) | 2011-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20100302438A1 (en) | Image processing apparatus and image processing method | |
JP2007166038A (en) | Device and method for detecting motion vector | |
JP2010288110A (en) | Image processing apparatus and method | |
JP2007124408A (en) | Motion vector detector and motion vector detecting method | |
JP4597103B2 (en) | Motion vector search method and apparatus | |
US10748292B2 (en) | Image signal detection device | |
US7852939B2 (en) | Motion vector detection method and device of the same | |
US8305500B2 (en) | Method of block-based motion estimation | |
JP2006215655A (en) | Method, apparatus, program and program storage medium for detecting motion vector | |
JP4730170B2 (en) | Motion vector detection method, motion vector detection device, and motion vector detection program | |
JP2007158855A (en) | Motion vector detector and motion vector detecting method | |
JP4250598B2 (en) | Motion compensation IP conversion processing apparatus and motion compensation IP conversion processing method | |
JPH05236455A (en) | Motion vector detector for moving image | |
JPWO2004012460A1 (en) | Motion vector detection apparatus and motion vector detection method | |
US6968011B2 (en) | Motion vector detecting device improved in detection speed of motion vectors and system employing the same devices | |
JP4430690B2 (en) | Motion search device, motion search method, motion search program, and computer-readable recording medium recording the program | |
US10063880B2 (en) | Motion detecting apparatus, motion detecting method and program | |
JP4859168B2 (en) | Motion detection device and motion detection method | |
JP3020299B2 (en) | Motion vector detection device | |
JP2019057886A (en) | Encoder, encoding method, and program | |
JP2009290295A (en) | Motion compensation prediction apparatus | |
JP2000165883A (en) | Motion vector detector | |
JP2009055291A (en) | Motion detecting circuit | |
JP4696059B2 (en) | Inter-screen movement vector calculation method and apparatus, inter-screen movement vector calculation program, electronic camera shake correction method and apparatus, electronic camera shake correction program, and imaging apparatus | |
JP2007110602A (en) | Motion vector detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100817 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101007 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20110114 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110404 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |