JP4730170B2 - Motion vector detection method, motion vector detection device, and motion vector detection program - Google Patents

Motion vector detection method, motion vector detection device, and motion vector detection program Download PDF

Info

Publication number
JP4730170B2
JP4730170B2 JP2006091478A JP2006091478A JP4730170B2 JP 4730170 B2 JP4730170 B2 JP 4730170B2 JP 2006091478 A JP2006091478 A JP 2006091478A JP 2006091478 A JP2006091478 A JP 2006091478A JP 4730170 B2 JP4730170 B2 JP 4730170B2
Authority
JP
Japan
Prior art keywords
vector
block
motion vector
motion
gradient method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006091478A
Other languages
Japanese (ja)
Other versions
JP2007267200A (en
Inventor
英一 深沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2006091478A priority Critical patent/JP4730170B2/en
Publication of JP2007267200A publication Critical patent/JP2007267200A/en
Application granted granted Critical
Publication of JP4730170B2 publication Critical patent/JP4730170B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像信号において、動画像の大きさや方向、即ち動きベクトルを検出する方法、動きベクトル検出装置及び動きベクトル検出プログラムに関するものである。   The present invention relates to a method, a motion vector detection apparatus, and a motion vector detection program for detecting the size and direction of a moving image, that is, a motion vector, in a moving image signal.

動きベクトルは、例えばＴＶ信号などの動画像信号の高能率符号化におけるフレーム間符号化効率を向上させる際や、ＴＶ方式変換におけるフィールド数の変換による動きの不連続性を軽減させるために用いられる。
従来の一般的な動きベクトル検出方法としては、動画像信号をｍ画素×ｎラインのブロックに細分化した後、ブロック毎に動きベクトルを検出する方法があり、例えばパターンマッチング法（特許文献１、特許文献２）や、反復勾配法（特許文献３）が良く知られている。
また、反復勾配法を用いる方法においては、動きベクトルの検出精度を向上させるために、複数の候補ベクトルから初期偏位ベクトルを選択し、これを起点として勾配法演算を複数回用いるものが提案されている（特許文献４）。
特開昭５５−１６２６８３号公報 特開昭５５−１６２６８４号公報 特開昭６０−１５８７８６号公報 特開昭６２−２０６９８０号公報 The motion vector is used, for example, to improve inter-frame coding efficiency in high-efficiency coding of a moving image signal such as a TV signal, or to reduce motion discontinuity due to conversion of the number of fields in TV system conversion. .
As a conventional general motion vector detection method, there is a method in which a motion vector is subdivided into blocks of m pixels × n lines and then a motion vector is detected for each block. For example, a pattern matching method (Patent Document 1, Patent Document 2) and iterative gradient method (Patent Document 3) are well known.
Also, in the method using the iterative gradient method, in order to improve the detection accuracy of the motion vector, an initial displacement vector is selected from a plurality of candidate vectors, and the gradient method calculation is used a plurality of times starting from this. (Patent Document 4).
Japanese Unexamined Patent Publication No. 55-162683 Japanese Patent Laid-Open No. 55-162684 JP 60-158786 A Japanese Patent Laid-Open No. 62-206980

しかしながら、候補となる初期偏位ベクトルの近傍ブロックの検出精度を評価せずに初期偏位ベクトルを選択しているため、例えば水平方向の動きの映像で垂直方向の動きベクトルを誤検出する、あるいは垂直方向の動きの映像で水平方向の動きベクトルを誤検出する、というように、動きベクトルの検出精度が一定程度以上には向上しないという課題があった。
そこで、適切な初期偏位ベクトルを選択し、動きベクトルの検出精度を向上できるような、動きベクトル検出方法及び動きベクトル検出装置が望まれていた。 However, since the initial deviation vector is selected without evaluating the detection accuracy of neighboring blocks of the candidate initial deviation vector, for example, a vertical motion vector is erroneously detected in a horizontal motion image, or There has been a problem that the detection accuracy of the motion vector is not improved to a certain level or more, such as erroneously detecting the horizontal motion vector in the video of the vertical motion.
Therefore, a motion vector detection method and a motion vector detection device that can select an appropriate initial deviation vector and improve motion vector detection accuracy have been desired.

本発明に係る動きベクトル検出方法は、
動画像信号を所定の画素数と所定のライン数からなるブロックに分割し、各ブロック毎に、少なくとも１フィールド以上離れた信号間で、動画像の動きベクトルを検出する動きベクトル検出方法において、
各ブロック毎に検出された、少なくとも１フィールド分の動きベクトルを、記憶手段に格納するステップと、
前記記憶手段に格納された各ブロック毎の動きベクトルに０ベクトルを加えた候補ベクトルの中から、それぞれの候補ベクトルにて偏位させたブロックと検出対象のブロックのフィールド間差分値を画素毎に求めて、その結果の累計が最小となるブロックの動きベクトルを、初期偏位ベクトルとして選択する初期偏位ベクトル選択ステップと、
前記初期偏位ベクトルを起点として複数回の勾配法演算を施し、検出対象のブロックの動きベクトルを求める第１の勾配法演算ステップと、
前記第１の勾配法演算ステップの結果に、さらに勾配法演算を施し、演算結果を前記記憶手段に格納する第２の勾配法演算ステップとを有し、
前記初期偏位ベクトル選択手段は、
前記累計が最小となるブロックの動きベクトルが複数存在する場合には、
前記第２の勾配法演算手段の演算結果である偏位分が最も小さいブロックの動きベクトルを、前記初期偏位ベクトルとして選択することを特徴とする。 The motion vector detection method according to the present invention includes:
In a motion vector detection method for dividing a moving image signal into blocks each having a predetermined number of pixels and a predetermined number of lines and detecting a motion vector of the moving image between signals separated by at least one field for each block.
Storing at least one field of motion vectors detected for each block in a storage means;
Of the candidate vectors obtained by adding 0 vector to the motion vector for each block stored in the storage means, the inter-field difference value between the block displaced by each candidate vector and the block to be detected is determined for each pixel. An initial displacement vector selection step of selecting a motion vector of a block having a minimum accumulated result as an initial displacement vector,
A first gradient method calculation step of performing a plurality of gradient method calculations starting from the initial deviation vector and obtaining a motion vector of a block to be detected;
The results of the first gradient calculating step further subjected to gradient method calculation, the calculation result have a second gradient calculating step of storing in the storage means,
The initial deviation vector selection means includes:
When there are a plurality of motion vectors of the block with the minimum total,
A motion vector of a block having the smallest deviation as a calculation result of the second gradient method calculating means is selected as the initial deviation vector .

本発明に係る動きベクトル検出方法によれば、
複数の初期偏位ベクトルの候補が存在する場合に、第２の勾配法演算ステップの結果を基に、適切な初期偏位ベクトルを選択するので、動きベクトル検出の精度が向上し、水平方向の動きの映像で垂直方向の動きベクトルを誤検出する、あるいは垂直方向の動きの映像で水平方向の動きベクトルを誤検出する、というような、動きベクトルの検出精度が一定程度以上には向上しないという課題を解決できる。 According to the motion vector detection method of the present invention,
When there are a plurality of initial deviation vector candidates, an appropriate initial deviation vector is selected based on the result of the second gradient method calculation step, so that the accuracy of motion vector detection is improved and the horizontal direction is improved. The detection accuracy of motion vectors does not improve beyond a certain level, such as misdetecting vertical motion vectors in motion images or misdetecting horizontal motion vectors in vertical motion images. The problem can be solved.

実施の形態１．
図１は、本発明の実施の形態１に係る動きベクトル検出方法を実現する、動きベクトル検出装置の構成図を示すものである。
図１の動きベクトル検出装置は、フィールドディレー１、ベクトルメモリ２、初期偏位ベクトル選択３、勾配法演算４、加算回路５、勾配法演算６、加算回路７、勾配法演算８を有する。
フィールドディレー１は、入力された映像信号Ａを基に、前フィールド信号Ｃを出力する。
ベクトルメモリ２は、加算回路７より加算結果ベクトルＩ、勾配法演算８より３回目偏位分Ｊを、組にして受け取って格納する。また、受け取った加算結果ベクトルＩと３回目偏位分Ｊの組を、所定量蓄積する。蓄積した加算結果ベクトルＩと３回目偏位分Ｊの組は、次の初期偏位ベクトルの候補ベクトルＤ、及びＤに対応した３回目偏位分Ｌとして、初期偏位ベクトル選択３に出力する。
初期偏位ベクトル選択３は、現フィールド信号Ｂを受け取る。また、ベクトルメモリ２より候補ベクトルＤ及び３回目偏位分Ｌを受け取り、フィールドディレー１より前フィールド信号Ｃを受け取る。また、候補ベクトルＤに０ベクトルを加えた候補の中から、３回目偏位分Ｌの対応する値を用いて、初期偏位ベクトルＥを選択して出力する。
勾配法演算４は、現フィールド信号Ｂを受け取る。また、初期偏位ベクトル選択３より初期偏位ベクトルＥを受け取り、フィールドディレー１より前フィールド信号Ｃを受け取る。また、受け取った信号を基に勾配法演算を行い、１回目偏位分Ｆを出力する。
加算回路５は、初期偏位ベクトルＥと１回目偏位分Ｆを加算し、加算結果ベクトルＧを出力する。
勾配法演算６は、現フィールド信号Ｂを受け取る。また、加算回路５より加算結果ベクトルＧを受け取り、フィールドディレー１より前フィールド信号Ｃを受け取る。また、受け取った信号を基に勾配法演算を行い、２回目偏位分Ｈを出力する。
加算回路７は、加算結果ベクトルＧと２回目偏位分Ｈを加算し、加算結果ベクトルＩを出力する。
加算結果ベクトルＩは、図１の動きベクトル検出装置の検出結果ベクトルとなる。
勾配法演算８は、現フィールド信号Ｂを受け取る。また、加算回路７より加算結果ベクトルＩを受け取り、フィールドディレー１より前フィールド信号Ｃを受け取る。また、受け取った信号を基に勾配法演算を行い、３回目偏位分Ｊを出力する。 Embodiment 1 FIG.
FIG. 1 shows a configuration diagram of a motion vector detection apparatus that implements the motion vector detection method according to Embodiment 1 of the present invention.
1 includes a field delay 1, a vector memory 2, an initial displacement vector selection 3, a gradient method calculation 4, an addition circuit 5, a gradient method calculation 6, an addition circuit 7, and a gradient method calculation 8.
The field delay 1 outputs the previous field signal C based on the input video signal A.
The vector memory 2 receives and stores the addition result vector I from the addition circuit 7 and the third deviation J from the gradient method calculation 8 as a set. Further, a predetermined amount of the set of the received addition result vector I and the third deviation J is accumulated. The set of the accumulated addition result vector I and the third deviation J is output to the initial deviation vector selection 3 as the next initial deviation candidate vector D and the third deviation L corresponding to D. .
The initial deflection vector selection 3 receives the current field signal B. Also, the candidate vector D and the third deviation L are received from the vector memory 2, and the previous field signal C is received from the field delay 1. Also, the initial displacement vector E is selected and output from the candidates obtained by adding the 0 vector to the candidate vector D using the corresponding value of the third displacement L.
The gradient method operation 4 receives the current field signal B. Further, the initial displacement vector E is received from the initial displacement vector selection 3, and the previous field signal C is received from the field delay 1. Further, the gradient method calculation is performed based on the received signal, and the first deviation F is output.
The adding circuit 5 adds the initial deviation vector E and the first deviation F, and outputs an addition result vector G.
The gradient method operation 6 receives the current field signal B. Also, the addition result vector G is received from the addition circuit 5 and the previous field signal C is received from the field delay 1. Further, the gradient method calculation is performed based on the received signal, and the second deviation H is output.
The addition circuit 7 adds the addition result vector G and the second deviation H, and outputs the addition result vector I.
The addition result vector I becomes a detection result vector of the motion vector detection device of FIG.
The gradient method operation 8 receives the current field signal B. Further, the addition result vector I is received from the addition circuit 7 and the previous field signal C is received from the field delay 1. Further, the gradient method calculation is performed based on the received signal, and the third deviation J is output.

ここで、以後の説明の理解を容易にするために、従来の反復勾配法を用いた動きベクトル検出方法について説明する。
従来の動きベクトル検出方法は、１フィールド又は１フレームの動画像信号を例えばｍ画素×ｎラインからなるブロック単位に細分化し、これらのブロックの動きベクトルを検出することを前提としている。 Here, in order to facilitate understanding of the following description, a motion vector detection method using a conventional iterative gradient method will be described.
The conventional motion vector detection method is based on the premise that a motion image signal of one field or one frame is subdivided into blocks each composed of, for example, m pixels × n lines, and the motion vectors of these blocks are detected.

図８は、前フィールドを基準として、検出対象のブロック（被検出ブロック）の現フィールドの真の動きベクトルを、初期偏位ベクトルを用いて検出する方法について説明するものである。
真の動きベクトルを求めようとする被検出ブロック（ｍ１、ｎ１）に対して、時間的に前に検出されている動きベクトルの中から最適な動きベクトルを選択し、この選択された動きベクトルを初期偏位ベクトルＶ０＝（α０、β０）とする。
次に、この初期偏位ベクトルに相当する分、座標を偏位したブロック（ｍ１＋α０、ｎ１＋β０）と前記被検出ブロックとを基に１回目の偏位分Ｖ１＝（α１、β１）と２回目の偏位分Ｖ２＝（α２、β２）を、反復勾配法を用いて求める。
次に、前記初期偏位ベクトルＶ０と前記偏位分Ｖ１、Ｖ２を加算して、被検出ブロックの真の動きベクトルＶ＝Ｖ０＋Ｖ１＋Ｖ２を求めている。 FIG. 8 illustrates a method of detecting the true motion vector of the current field of the detection target block (detected block) using the initial displacement vector with reference to the previous field.
For the detected block (m1, n1) for which a true motion vector is to be obtained, an optimal motion vector is selected from motion vectors detected in time, and the selected motion vector is selected. The initial displacement vector V0 = (α0, β0).
Next, based on the block (m1 + α0, n1 + β0) whose coordinates are shifted by the amount corresponding to the initial displacement vector and the detected block, the first displacement V1 = (α1, β1) and the second The deviation V2 = (α2, β2) is obtained using the iterative gradient method.
Next, the initial displacement vector V0 and the displacements V1 and V2 are added to obtain the true motion vector V = V0 + V1 + V2 of the detected block.

図９は、検出対象である動きベクトルＶ、初期偏位ベクトルＶ０、１回目の偏位分Ｖ１、２回目の偏位分Ｖ２の関係を図示するものである。
適切な初期偏位ベクトルＶ０を選択することができれば、動きベクトルＶの検出精度が向上するので、より精度の高い初期偏位ベクトルＶ０を選択することが課題となる。 FIG. 9 illustrates the relationship between the motion vector V to be detected, the initial deviation vector V0, the first deviation V1, and the second deviation V2.
If an appropriate initial deviation vector V0 can be selected, the detection accuracy of the motion vector V can be improved. Therefore, it becomes a problem to select a more accurate initial deviation vector V0.

図１０は、従来の反復勾配法を用いた動きベクトル検出装置の構成図を示すものである。
図１０に示すように、従来の反復勾配法を用いた動きベクトル検出装置では、初期偏位ベクトルの精度を評価する手段を有することなく初期偏位ベクトルを選択しているため、不適切な初期偏位ベクトルを選択してしまう場合がある。 FIG. 10 shows a block diagram of a motion vector detection apparatus using a conventional iterative gradient method.
As shown in FIG. 10, in the motion vector detection apparatus using the conventional iterative gradient method, the initial displacement vector is selected without having a means for evaluating the accuracy of the initial displacement vector. In some cases, a deviation vector is selected.

以後は、図１の動きベクトル検出装置の動作説明に戻る。   Thereafter, the description returns to the operation description of the motion vector detection device of FIG.

図２は、図１における初期偏位ベクトルＥ、１回目偏位分Ｆ、２回目偏位分Ｈ及び３回目偏位分Ｊと、検出対象である動きベクトルＶとの関係を図示するものである。
図２のＩは、図１における検出ベクトルである。即ち、３回目偏位分Ｊが小さいほど、Ｉは検出対象の動きベクトルＶに近いものであり、検出精度が高いということになる。
従って、３回目偏位分Ｊの値が最も小さい初期偏位ベクトルが、候補として最も適しているということになる。 FIG. 2 illustrates the relationship between the initial deviation vector E, the first deviation F, the second deviation H, the third deviation J, and the motion vector V to be detected in FIG. is there.
I in FIG. 2 is a detection vector in FIG. That is, as the third deviation J is smaller, I is closer to the motion vector V to be detected, and the detection accuracy is higher.
Therefore, the initial deviation vector having the smallest value of the third deviation J is the most suitable candidate.

図３は、次の初期偏位ベクトルとなる候補ベクトルの一例を示すものである。
初期偏位ベクトルは、できる限り多くの候補ベクトルの中から、最も適切なベクトルを選択できることが望ましい。候補ベクトルは、例えば図３に示すように、被検出ブロックの周囲８ブロックから、それぞれ選ぶことができる。 FIG. 3 shows an example of a candidate vector that becomes the next initial deviation vector.
As the initial displacement vector, it is desirable that the most appropriate vector can be selected from as many candidate vectors as possible. As shown in FIG. 3, for example, candidate vectors can be selected from eight blocks around the detected block.

図４は、候補ベクトルの別の例を示すものである。
図４に示す例では、前フィールドにおける被検出ブロックの左上、上、右下、下の４ブロックと、現フィールドにおける被検出ブロックの左上、上、右下、下の４ブロックから、それぞれ候補ベクトルを選んでいる。 FIG. 4 shows another example of candidate vectors.
In the example shown in FIG. 4, candidate vectors from the upper left, upper, lower right, and lower four blocks of the detected block in the previous field and the upper left, upper, lower right, and lower four blocks of the detected block in the current field, respectively. Is selected.

図５は、ベクトルメモリ２の必要容量を説明するものである。
ベクトルメモリ２の必要容量は、候補ベクトルの数に依存する。
例えば、図４に示す例（図５の上）のように８つの候補ベクトルを選択する場合、ベクトルメモリ２は８ベクトル分の容量が必要である。
また、図５の下に示すように、被検出ブロックの周囲２４ブロックから候補ベクトルをそれぞれ選択する場合、２４ベクトル分の容量が必要である。
実際には、装置のサイズ上の制限等から、搭載可能なメモリ容量に制限がある場合があるため、許容される範囲内で適切なメモリ容量を選択する。
なお、図５はベクトルメモリ２の必要容量を説明するための図であり、同図に示す内容は、実際に行われるベクトル検出方法を説明するものではないことを付言しておく。 FIG. 5 explains the necessary capacity of the vector memory 2.
The required capacity of the vector memory 2 depends on the number of candidate vectors.
For example, when eight candidate vectors are selected as in the example shown in FIG. 4 (upper part of FIG. 5), the vector memory 2 needs to have a capacity of eight vectors.
Further, as shown in the lower part of FIG. 5, when selecting candidate vectors from 24 blocks around the detected block, a capacity of 24 vectors is required.
Actually, the memory capacity that can be mounted may be limited due to restrictions on the size of the apparatus, and therefore, an appropriate memory capacity is selected within an allowable range.
FIG. 5 is a diagram for explaining the necessary capacity of the vector memory 2, and it should be noted that the contents shown in FIG. 5 do not explain the vector detection method actually performed.

次に、図１の初期偏位ベクトル選択３の動作を説明する。
初期偏位ベクトル選択３は、ベクトルメモリ２が格納している候補ベクトルＤに０ベクトルを加えた候補から、適切な初期偏位ベクトルＥを選択する。
選択に際しては、候補ベクトルＤに０ベクトルを加えた候補から、フィールド間差分絶対値の全画素の累計が最小となるベクトルを、初期偏位ベクトルＥとする。
ここで、フィールド間差分とは、候補ベクトルにて偏位させたブロックと、被検出ブロックとの画素毎の差分値のことである。
フィールド間差分絶対値の全画素の累計が最小となる候補ベクトルが複数存在する場合には、３回目偏位分Ｌの対応する値が最も小さいベクトルを、優先的に初期偏位ベクトルＥとして選択する。
このように、３回目偏位分の値を考慮することで、より精度の高い初期偏位ベクトル選択が可能となる。 Next, the operation of initial deviation vector selection 3 in FIG. 1 will be described.
The initial displacement vector selection 3 selects an appropriate initial displacement vector E from candidates obtained by adding a 0 vector to the candidate vector D stored in the vector memory 2.
At the time of selection, an initial deviation vector E is defined as a vector in which the total of all the pixels of the inter-field difference absolute value is minimum from candidates obtained by adding 0 vector to the candidate vector D.
Here, the inter-field difference is a difference value for each pixel between the block displaced by the candidate vector and the detected block.
When there are a plurality of candidate vectors that minimize the cumulative total of all pixels of the difference value between fields, the vector having the smallest corresponding value of the third deviation L is preferentially selected as the initial deviation vector E. To do.
Thus, by considering the value for the third deviation, it is possible to select the initial deviation vector with higher accuracy.

ここで、ベクトルメモリ２が格納している候補ベクトルＤに０ベクトルを加えて候補ベクトルとするのは、０ベクトルを加えることによって、検出結果が発散することを防ぐためである。   Here, the reason why the 0 vector is added to the candidate vector D stored in the vector memory 2 to make it a candidate vector is to prevent the detection result from diverging by adding the 0 vector.

なお、フィールド間差分絶対値の全画素の累計を比較するに際しては、厳密な値で比較することもできるし、所定の誤差範囲内にある値は同じ値とみなし、３回目偏位分の大きさにより初期偏位ベクトルＥを選択することも可能である。
また、０ベクトルは３回目偏位分の値がないため、優先度を固定的に割り当てるようにしてもよい。 It should be noted that when comparing the cumulative total of all the pixels of the inter-field difference absolute value, it is possible to compare with a strict value, and values within a predetermined error range are regarded as the same value, and the third deviation is larger. Thus, it is also possible to select the initial deviation vector E.
Further, since the zero vector has no value for the third deviation, the priority may be fixedly assigned.

本実施の形態１で述べた動きベクトル検出方法及び動きベクトル検出装置は、動画像信号の高能率符号化処理を行う装置に適用可能である。例えば、ＴＶ方式変換装置や、ＴＶ信号圧縮・伸張装置（ＭＰＥＧ２−ＣＯＤＥＣ）等に適用することができる。   The motion vector detection method and the motion vector detection device described in the first embodiment can be applied to a device that performs high-efficiency encoding processing of a moving image signal. For example, the present invention can be applied to a TV system conversion device, a TV signal compression / decompression device (MPEG2-CODEC), and the like.

以上のように、本実施の形態１に係る動きベクトル検出方法によれば、
動画像信号を所定の画素数と所定のライン数からなるブロックに分割し、各ブロック毎に、少なくとも１フィールド以上離れた信号間で、動画像の動きベクトルを検出する動きベクトル検出方法において、
各ブロック毎に検出された、少なくとも１フィールド分の動きベクトルを、記憶手段に格納するステップと、
前記記憶手段に格納された各ブロック毎の動きベクトルの中から、検出対象のブロックの動きベクトルに最も近い動きベクトルを初期偏位ベクトルとして選択する初期偏位ベクトル選択ステップと、
前記初期偏位ベクトルを起点として複数回の勾配法演算を施し、検出対象のブロックの動きベクトルを求める第１の勾配法演算ステップと、
前記第１の勾配法演算ステップの結果に、さらに勾配法演算を施し、演算結果を前記記憶手段に格納する第２の勾配法演算ステップとを有するので、
複数の初期偏位ベクトルの候補が存在する場合に、第２の勾配法演算ステップの結果を基に、適切な初期偏位ベクトルを選択するので、動きベクトル検出の精度が向上し、水平方向の動きの映像で垂直方向の動きベクトルを誤検出する、あるいは垂直方向の動きの映像で水平方向の動きベクトルを誤検出する、というような、動きベクトルの検出精度が一定程度以上には向上しないという課題を解決できる。 As described above, according to the motion vector detection method according to the first embodiment,
In a motion vector detection method for dividing a moving image signal into blocks each having a predetermined number of pixels and a predetermined number of lines and detecting a motion vector of the moving image between signals separated by at least one field for each block.
Storing at least one field of motion vectors detected for each block in a storage means;
An initial displacement vector selection step of selecting, as an initial displacement vector, a motion vector closest to the motion vector of the block to be detected from the motion vectors of each block stored in the storage means;
A first gradient method calculation step of performing a plurality of gradient method calculations starting from the initial deviation vector and obtaining a motion vector of a block to be detected;
Since the gradient method calculation is further performed on the result of the first gradient method calculation step, and the calculation result is stored in the storage means, the second gradient method calculation step is included.
When there are a plurality of initial deviation vector candidates, an appropriate initial deviation vector is selected based on the result of the second gradient method calculation step, so that the accuracy of motion vector detection is improved and the horizontal direction is improved. The detection accuracy of motion vectors does not improve beyond a certain level, such as misdetecting vertical motion vectors in motion images or misdetecting horizontal motion vectors in vertical motion images. The problem can be solved.

前記初期偏位ベクトル選択ステップは、
前記記憶手段に格納された動きベクトルに０ベクトルを加えた候補ベクトルの中から、
それぞれの候補ベクトルにて偏位させたブロックと検出対象のブロックのフィールド間差分値を画素毎に求めて、
その結果の累計が最小となるブロックの動きベクトルを、前記初期偏位ベクトルとして選択するので、
０ベクトルを加えることによって、検出結果が発散することを防ぎつつ、被検出ブロックの動きベクトルに最も近い初期偏位ベクトルを選択することができる。 The initial deviation vector selection step includes:
Among candidate vectors obtained by adding a zero vector to a motion vector stored in the storage means,
Find the inter-field difference value of the block displaced by each candidate vector and the block to be detected for each pixel,
Since the motion vector of the block with the smallest cumulative result is selected as the initial displacement vector,
By adding the zero vector, it is possible to select the initial deviation vector closest to the motion vector of the detected block while preventing the detection result from diverging.

前記初期偏位ベクトル選択ステップは、
前記累計が最小となるブロックの動きベクトルが複数存在する場合には、
前記第２の勾配法演算ステップの演算結果が最も小さいブロックの動きベクトルを、前記初期偏位ベクトルとして選択するので、
第２の勾配法演算ステップの演算結果により初期偏位ベクトル候補を適切に評価し、これにより誤検出を防止して、動きベクトルの検出精度を向上させることができる。 The initial deviation vector selection step includes:
When there are a plurality of motion vectors of the block with the minimum total,
Since the motion vector of the block with the smallest calculation result of the second gradient method calculation step is selected as the initial deviation vector,
It is possible to appropriately evaluate initial deviation vector candidates based on the calculation result of the second gradient method calculation step, thereby preventing erroneous detection and improving motion vector detection accuracy.

また、本実施の形態１に係る動きベクトル検出装置によれば、
動画像信号を所定の画素数と所定のライン数からなるブロックに分割し、各ブロック毎に、少なくとも１フィールド以上離れた信号間で、動画像の動きベクトルを検出する動きベクトル検出装置において、
各ブロック毎に検出された、少なくとも１フィールド分の動きベクトルを格納する記憶手段と、
前記記憶手段に格納された各ブロック毎の動きベクトルの中から、検出対象のブロックの動きベクトルに最も近い動きベクトルを初期偏位ベクトルとして選択する初期偏位ベクトル選択手段と、
前記初期偏位ベクトルを起点として複数回の勾配法演算を施し、検出対象のブロックの動きベクトルを求めて出力する第１の勾配法演算手段と、
前記第１の勾配法演算手段の出力に、さらに勾配法演算を施し、演算結果を前記記憶手段に格納する第２の勾配法演算手段とを有するので、
複数の初期偏位ベクトルの候補が存在する場合に、第２の勾配法演算手段の結果を基に、適切な初期偏位ベクトルを選択するので、動きベクトル検出の精度が向上し、水平方向の動きの映像で垂直方向の動きベクトルを誤検出する、あるいは垂直方向の動きの映像で水平方向の動きベクトルを誤検出する、というような、動きベクトルの検出精度が一定程度以上には向上しないという課題を解決できる。 Further, according to the motion vector detection apparatus according to the first embodiment,
In a motion vector detection device that divides a moving image signal into blocks each having a predetermined number of pixels and a predetermined number of lines, and detects a motion vector of the moving image between signals separated by at least one field for each block.
Storage means for storing motion vectors for at least one field detected for each block;
Initial displacement vector selection means for selecting, as an initial displacement vector, a motion vector closest to the motion vector of the block to be detected from the motion vectors for each block stored in the storage means;
First gradient method computing means for performing a plurality of gradient method computations starting from the initial displacement vector, and obtaining and outputting a motion vector of a block to be detected;
Since the output of the first gradient method computing means has second gradient method computation means for further performing gradient method computation and storing the computation result in the storage means,
When there are a plurality of initial deviation vector candidates, an appropriate initial deviation vector is selected based on the result of the second gradient method computing means, so that the accuracy of motion vector detection is improved and the horizontal direction is improved. The detection accuracy of motion vectors does not improve beyond a certain level, such as misdetecting vertical motion vectors in motion images or misdetecting horizontal motion vectors in vertical motion images. The problem can be solved.

また、前記初期偏位ベクトル選択手段は、
前記記憶手段に格納された動きベクトルに０ベクトルを加えた候補ベクトルの中から、
それぞれの候補ベクトルにて偏位させたブロックと検出対象のブロックのフィールド間差分値を画素毎に求めて、
その結果の累計が最小となるブロックの動きベクトルを、前記初期偏位ベクトルとして選択するので、
０ベクトルを加えることによって、検出結果が発散することを防ぎつつ、被検出ブロックの動きベクトルに最も近い初期偏位ベクトルを選択することができる。 Further, the initial deviation vector selection means includes:
Among candidate vectors obtained by adding a zero vector to a motion vector stored in the storage means,
Find the inter-field difference value of the block displaced by each candidate vector and the block to be detected for each pixel,
Since the motion vector of the block with the smallest cumulative result is selected as the initial displacement vector,
By adding the zero vector, it is possible to select the initial deviation vector closest to the motion vector of the detected block while preventing the detection result from diverging.

また、前記初期偏位ベクトル選択手段は、
前記累計が最小となるブロックの動きベクトルが複数存在する場合には、
前記第２の勾配法演算手段の演算結果が最も小さいブロックの動きベクトルを、前記初期偏位ベクトルとして選択するので、
第２の勾配法演算手段の演算結果により初期偏位ベクトル候補を適切に評価し、これにより誤検出を防止して、動きベクトルの検出精度を向上させることができる。 Further, the initial deviation vector selection means includes:
When there are a plurality of motion vectors of the block with the minimum total,
Since the motion vector of the block with the smallest computation result of the second gradient method computing means is selected as the initial deviation vector,
It is possible to appropriately evaluate initial deviation vector candidates based on the calculation result of the second gradient method calculation means, thereby preventing erroneous detection and improving motion vector detection accuracy.

実施の形態２．
図６は、本発明の実施の形態２に係る動きベクトル検出プログラムを格納・実行するコンピュータの構成図である。
コンピュータ６０１は、演算手段６０２、ＨＤＤ６０３、映像信号入力手段６０４、映像信号出力手段６０５、記憶手段６０７を有する。
ＨＤＤ６０３は、大容量の記憶装置であり、動きベクトル検出プログラム６０６を格納している。
映像信号入力手段６０４は、演算手段６０２に映像信号を入力する。
映像信号出力手段６０５は、演算手段６０２より、動きベクトル検出結果を含む映像信号を受け取る。受け取った映像信号は、表示装置（図示せず）への表示等を行う。
記憶手段６０７は、例えばＲＡＭのような、比較的小容量で高速な記憶装置である。 Embodiment 2. FIG.
FIG. 6 is a configuration diagram of a computer that stores and executes a motion vector detection program according to the second embodiment of the present invention.
The computer 601 includes a calculation unit 602, an HDD 603, a video signal input unit 604, a video signal output unit 605, and a storage unit 607.
The HDD 603 is a large-capacity storage device and stores a motion vector detection program 606.
The video signal input unit 604 inputs the video signal to the calculation unit 602.
The video signal output unit 605 receives the video signal including the motion vector detection result from the calculation unit 602. The received video signal is displayed on a display device (not shown).
The storage unit 607 is a relatively small-capacity and high-speed storage device such as a RAM.

図７は、本実施の形態２に係る動きベクトル検出プログラム６０６の全体フローである。
（Ｓ７０１）
演算手段６０２は、動きベクトル検出プログラム６０６の指示に基づき、各ブロック毎に検出された、少なくとも１フィールド分の動きベクトルを、記憶手段６０７に格納する。なお、動作開始時は検出済みの動きベクトルがないため、本ステップは省略される。
（Ｓ７０２）
演算手段６０２は、動きベクトル検出プログラム６０６の指示に基づき、記憶手段６０７に格納された各ブロック毎の動きベクトルの中から、被検出ブロックの動きベクトルに最も近い動きベクトルを初期偏位ベクトルとして選択する。
処理の詳細は、実施の形態１の図１における、初期偏位ベクトル３と同様であるため、説明を省略する。
（Ｓ７０３）
演算手段６０２は、動きベクトル検出プログラム６０６の指示に基づき、ステップＳ７０２で選択された初期偏位ベクトルを起点として複数回の勾配法演算を施し、被検出ブロックの動きベクトルを求める。本ステップの繰り返し回数は、特に制限はない。
処理の詳細は、実施の形態１の図１における、勾配法演算４〜加算回路７と同様であるため、説明を省略する。
（Ｓ７０４）
演算手段６０２は、動きベクトル検出プログラム６０６の指示に基づき、ステップＳ７０３の結果に、さらに勾配法演算を施し、演算結果を記憶手段６０７に格納する。
処理の詳細は、実施の形態１の図１における勾配法演算８と同様であるため、説明を省略する。
（Ｓ７０５）
演算手段６０２は、動きベクトル検出プログラム６０６の指示に基づき、動きベクトル検出の終了判定を行う。検出動作を継続する場合は、ステップＳ７０１に戻る。 FIG. 7 is an overall flow of the motion vector detection program 606 according to the second embodiment.
(S701)
The computing unit 602 stores the motion vector for at least one field detected for each block in the storage unit 607 based on an instruction from the motion vector detection program 606. Note that since there is no detected motion vector at the start of the operation, this step is omitted.
(S702)
Based on an instruction from the motion vector detection program 606, the calculation means 602 selects a motion vector closest to the motion vector of the detected block from among the motion vectors stored in the storage means 607 as the initial displacement vector. To do.
Details of the processing are the same as the initial deviation vector 3 in FIG.
(S703)
Based on the instruction from the motion vector detection program 606, the calculation means 602 performs gradient method calculation a plurality of times starting from the initial deviation vector selected in step S702, and obtains the motion vector of the detected block. The number of repetitions of this step is not particularly limited.
Details of the processing are the same as those in the gradient method calculation 4 to the addition circuit 7 in FIG.
(S704)
Based on an instruction from the motion vector detection program 606, the calculation unit 602 further performs gradient method calculation on the result of step S703, and stores the calculation result in the storage unit 607.
Details of the processing are the same as the gradient method calculation 8 in FIG.
(S705)
The computing unit 602 determines the end of motion vector detection based on an instruction from the motion vector detection program 606. If the detection operation is to be continued, the process returns to step S701.

以上のように、本実施の形態２に係る動きベクトル検出プログラムによれば、
実施の形態１で述べた動きベクトル検出方法を、コンピュータを用いて実現できる。 As described above, according to the motion vector detection program according to the second embodiment,
The motion vector detection method described in the first embodiment can be realized using a computer.

本発明の実施の形態１に係る動きベクトル検出方法を実現する、動きベクトル検出装置の構成図を示すものである。1 is a configuration diagram of a motion vector detection apparatus that realizes a motion vector detection method according to Embodiment 1 of the present invention. FIG. 図１における初期偏位ベクトルＥ、１回目偏位分Ｆ、２回目偏位分Ｈ及び３回目偏位分Ｊと、検出対象である動きベクトルＶとの関係を図示するものである。The relationship between the initial deviation vector E, the first deviation F, the second deviation H, and the third deviation J in FIG. 1 and the motion vector V to be detected is illustrated. 次の初期偏位ベクトルとなる候補ベクトルの一例を示すものである。An example of the candidate vector used as the next initial deviation vector is shown. 候補ベクトルの別の例を示すものである。It shows another example of a candidate vector. ベクトルメモリ２の必要容量を説明するものである。The required capacity of the vector memory 2 will be described. 実施の形態２に係る動きベクトル検出プログラムを格納・実行するコンピュータの構成図である。FIG. 7 is a configuration diagram of a computer that stores and executes a motion vector detection program according to a second embodiment. 実施の形態２に係る動きベクトル検出プログラムの全体フローである。It is the whole flow of the motion vector detection program which concerns on Embodiment 2. FIG. 前フィールドを基準として、現フィールドの真の動きベクトルを、初期偏位ベクトルを用いて検出する方法について説明するものである。A method for detecting the true motion vector of the current field using the initial displacement vector with reference to the previous field will be described. 検出対象である動きベクトルＶ、初期偏位ベクトルＶ０、１回目の偏位分Ｖ１、２回目の偏位分Ｖ２の関係を図示するものである。The relationship between the motion vector V to be detected, the initial deviation vector V0, the first deviation V1, and the second deviation V2 is illustrated. 従来の反復勾配法を用いた動きベクトル検出装置の構成図を示すものである。1 is a configuration diagram of a motion vector detection apparatus using a conventional iterative gradient method.

符号の説明Explanation of symbols

Ａ 映像信号、Ｂ 現フィールド信号、Ｃ 前フィールド信号、Ｄ 候補ベクトル、Ｅ 初期偏位ベクトル、Ｆ １回目偏位分、Ｇ 加算結果ベクトル、Ｈ ２回目偏位分、Ｉ 加算結果ベクトル、Ｊ ３回目偏位分、Ｌ ３回目偏位分、１ フィールドディレー、２ ベクトルメモリ、３ 初期偏位ベクトル選択、４ 勾配法演算、５ 加算回路、６ 勾配法演算、７ 加算回路、８ 勾配法演算、６０１ コンピュータ、６０２ 演算手段、６０３ ＨＤＤ、６０４ 映像信号入力手段、６０５ 映像信号出力手段、６０６ 動きベクトル検出プログラム、６０７ 記憶手段。
A video signal, B current field signal, C previous field signal, D candidate vector, E initial deviation vector, F first deviation vector, G addition result vector, H second deviation vector, I addition result vector, J 3 First deviation, L Third deviation, 1 field delay, 2 vector memory, 3 initial deviation vector selection, 4 gradient method computation, 5 addition circuit, 6 gradient method computation, 7 addition circuit, 8 gradient method computation, 601 Computer, 602 arithmetic means, 603 HDD, 604 video signal input means, 605 video signal output means, 606 motion vector detection program, 607 storage means.

Claims (3)

動画像信号を所定の画素数と所定のライン数からなるブロックに分割し、各ブロック毎に、少なくとも１フィールド以上離れた信号間で、動画像の動きベクトルを検出する動きベクトル検出方法において、
各ブロック毎に検出された、少なくとも１フィールド分の動きベクトルを、記憶手段に格納するステップと、
前記記憶手段に格納された各ブロック毎の動きベクトルに０ベクトルを加えた候補ベクトルの中から、それぞれの候補ベクトルにて偏位させたブロックと検出対象のブロックのフィールド間差分値を画素毎に求めて、その結果の累計が最小となるブロックの動きベクトルを、初期偏位ベクトルとして選択する初期偏位ベクトル選択ステップと、
前記初期偏位ベクトルを起点として複数回の勾配法演算を施し、検出対象のブロックの動きベクトルを求める第１の勾配法演算ステップと、
前記第１の勾配法演算ステップの結果に、さらに勾配法演算を施し、演算結果を前記記憶手段に格納する第２の勾配法演算ステップとを有し、
前記初期偏位ベクトル選択ステップは、
前記累計が最小となるブロックの動きベクトルが複数存在する場合には、
前記第２の勾配法演算ステップの演算結果である偏位分が最も小さいブロックの動きベクトルを、前記初期偏位ベクトルとして選択することを特徴とする動きベクトル検出方法。 In a motion vector detection method for dividing a moving image signal into blocks each having a predetermined number of pixels and a predetermined number of lines and detecting a motion vector of the moving image between signals separated by at least one field for each block.
Storing at least one field of motion vectors detected for each block in a storage means;
Of the candidate vectors obtained by adding 0 vector to the motion vector for each block stored in the storage means, the inter-field difference value between the block displaced by each candidate vector and the block to be detected is determined for each pixel. An initial displacement vector selection step of selecting a motion vector of a block having a minimum accumulated result as an initial displacement vector,
A first gradient method calculation step of performing a plurality of gradient method calculations starting from the initial deviation vector and obtaining a motion vector of a block to be detected;
A gradient method calculation step of further applying a gradient method calculation to the result of the first gradient method calculation step and storing the calculation result in the storage means;
The initial deviation vector selection step includes:
When there are a plurality of motion vectors of the block with the minimum total,
Wherein the motion vector of the deviation amount is the smallest block is a calculation result of the second gradient calculating step, motion-out vector detecting how to and selects as the initial vector. 動画像信号を所定の画素数と所定のライン数からなるブロックに分割し、各ブロック毎に、少なくとも１フィールド以上離れた信号間で、動画像の動きベクトルを検出する動きベクトル検出装置において、
各ブロック毎に検出された、少なくとも１フィールド分の動きベクトルを格納する記憶手段と、
前記記憶手段に格納された各ブロック毎の動きベクトルに０ベクトルを加えた候補ベクトルの中から、それぞれの候補ベクトルにて偏位させたブロックと検出対象のブロックのフィールド間差分値を画素毎に求めて、その結果の累計が最小となるブロックの動きベクトルを、前記初期偏位ベクトルとして選択する初期偏位ベクトル選択手段と、
前記初期偏位ベクトルを起点として複数回の勾配法演算を施し、検出対象のブロックの動きベクトルを求めて出力する第１の勾配法演算手段と、
前記第１の勾配法演算手段の出力に、さらに勾配法演算を施し、演算結果を前記記憶手段に格納する第２の勾配法演算手段とを有し、
前記初期偏位ベクトル選択手段は、
前記累計が最小となるブロックの動きベクトルが複数存在する場合には、
前記第２の勾配法演算手段の演算結果である偏位分が最も小さいブロックの動きベクトルを、前記初期偏位ベクトルとして選択することを特徴とする動きベクトル検出装置。 In a motion vector detection device that divides a moving image signal into blocks each having a predetermined number of pixels and a predetermined number of lines, and detects a motion vector of the moving image between signals separated by at least one field for each block.
Storage means for storing motion vectors for at least one field detected for each block;
Of the candidate vectors obtained by adding 0 vector to the motion vector for each block stored in the storage means, the inter-field difference value between the block displaced by each candidate vector and the block to be detected is determined for each pixel. An initial deviation vector selecting means for obtaining a motion vector of a block having a minimum cumulative result as the initial deviation vector;
First gradient method computing means for performing a plurality of gradient method computations starting from the initial displacement vector, and obtaining and outputting a motion vector of a block to be detected;
A second gradient method calculating means for further applying a gradient method calculation to the output of the first gradient method calculating means and storing the calculation result in the storage means;
The initial deviation vector selection means includes:
When there are a plurality of motion vectors of the block with the minimum total,
Operation results a motion vector of the smallest block deviation amount is, the initial deflection can be selected as the vector-out movement you wherein vector detecting device of the second gradient calculating means. 請求項１に記載の動きベクトル検出方法をコンピュータに実行させることを特徴とする動きベクトル検出プログラム。   A motion vector detection program for causing a computer to execute the motion vector detection method according to claim 1.
JP2006091478A 2006-03-29 2006-03-29 Motion vector detection method, motion vector detection device, and motion vector detection program Expired - Fee Related JP4730170B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006091478A JP4730170B2 (en) 2006-03-29 2006-03-29 Motion vector detection method, motion vector detection device, and motion vector detection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006091478A JP4730170B2 (en) 2006-03-29 2006-03-29 Motion vector detection method, motion vector detection device, and motion vector detection program

Publications (2)

Publication Number Publication Date
JP2007267200A JP2007267200A (en) 2007-10-11
JP4730170B2 true JP4730170B2 (en) 2011-07-20

Family

ID=38639717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006091478A Expired - Fee Related JP4730170B2 (en) 2006-03-29 2006-03-29 Motion vector detection method, motion vector detection device, and motion vector detection program

Country Status (1)

Country Link
JP (1) JP4730170B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11146401A (en) * 1997-11-06 1999-05-28 Oki Electric Ind Co Ltd Motion vector detection method and motion vector detection circuit of moving image signal

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11146401A (en) * 1997-11-06 1999-05-28 Oki Electric Ind Co Ltd Motion vector detection method and motion vector detection circuit of moving image signal

Also Published As

Publication number Publication date
JP2007267200A (en) 2007-10-11

Similar Documents

Publication Publication Date Title
WO1994024821A1 (en) Apparatus for determining motion vector
CN101001351A (en) Frame rate converter
JP2008060836A (en) Motion vector search method and device
US7852939B2 (en) Motion vector detection method and device of the same
US10748292B2 (en) Image signal detection device
JP4730170B2 (en) Motion vector detection method, motion vector detection device, and motion vector detection program
US8305500B2 (en) Method of block-based motion estimation
JPH05236455A (en) Motion vector detector for moving image
JP2006215655A (en) Method, apparatus, program and program storage medium for detecting motion vector
JP4250598B2 (en) Motion compensation IP conversion processing apparatus and motion compensation IP conversion processing method
JP2002152750A (en) Motion vector detection method and device
JP2006215657A (en) Method, apparatus, program and program storage medium for detecting motion vector
JPWO2004012460A1 (en) Motion vector detection apparatus and motion vector detection method
US5548665A (en) Vector correlation detecting circuit
US6968011B2 (en) Motion vector detecting device improved in detection speed of motion vectors and system employing the same devices
KR100282614B1 (en) Motion Predictor for Low Bit Rate Video Codecs
JP4430690B2 (en) Motion search device, motion search method, motion search program, and computer-readable recording medium recording the program
JP4859168B2 (en) Motion detection device and motion detection method
JP3020299B2 (en) Motion vector detection device
US10063880B2 (en) Motion detecting apparatus, motion detecting method and program
US20090060048A1 (en) Motion detection circuit and method
JP2000165883A (en) Motion vector detector
JP2019057886A (en) Encoder, encoding method, and program
JP2009290295A (en) Motion compensation prediction apparatus
JP4438949B2 (en) Motion compensated predictive coding apparatus, motion compensated predictive coding method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101007

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20110114

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110404

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees