JPH10136374A - Motion vector prediction device - Google Patents
Motion vector prediction deviceInfo
- Publication number
- JPH10136374A JPH10136374A JP28568796A JP28568796A JPH10136374A JP H10136374 A JPH10136374 A JP H10136374A JP 28568796 A JP28568796 A JP 28568796A JP 28568796 A JP28568796 A JP 28568796A JP H10136374 A JPH10136374 A JP H10136374A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- reference image
- vector
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は動ベクトル予測装置
に関し、特に複数の画像を利用して動画像の動ベクトル
の予測を行なう動ベクトル予測装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion vector predicting apparatus, and more particularly to a motion vector predicting apparatus for predicting a moving vector of a moving image using a plurality of images.
【０００２】[0002]
【従来の技術】従来、動画像を符号化する方法として、
参照画像として記憶された過去の画像を動き補償して予
測画像を作り、原画像との差分画像を符号化する方法が
広く行なわれている。動き補償の手法としては、一般に
原画像及び参照画像を複数の区画（以下、ブロックとい
う。）に分割し、それぞれのブロックと類似した部分を
過去の画像から探しだし、参照画像をどれだけ移動、変
形させたらもっとも良い近似ができるかを評価して、こ
の移動量とその移動方向を表すベクトル（以下、動ベク
トルという。）を符号化する。隣接したブロック間で
は、画像の連続性のため似ている動ベクトルが検出され
ることが多い。そこで、ITU-T H.263 VideoCoding for
low bitrate communicationなどの国際標準では、動ベ
クトル自体も予測符号化する手法が採用されている。す
なわち、原画像の中のあるブロック（以下原ブロックと
いう。）の周辺のブロックにおける動ベクトルから予測
動ベクトルを算出し、実際に検出された原ブロックの動
ベクトルと予測動ベクトルの差分である差分ベクトルの
みを符号化して、帯域圧縮を行なっている。2. Description of the Related Art Conventionally, as a method for encoding a moving image,
2. Description of the Related Art A method of creating a predicted image by motion-compensating a past image stored as a reference image and encoding a difference image from an original image is widely used. As a method of motion compensation, generally, an original image and a reference image are divided into a plurality of sections (hereinafter, referred to as blocks), a portion similar to each block is searched for from a past image, and how much the reference image is moved, It is evaluated whether or not the best approximation can be obtained after the deformation, and a vector representing the movement amount and the movement direction (hereinafter, referred to as a motion vector) is encoded. Similar motion vectors are often detected between adjacent blocks due to the continuity of the image. Therefore, ITU-T H.263 VideoCoding for
International standards such as low bitrate communication employ a method of predictive coding of a motion vector itself. That is, a predicted motion vector is calculated from a motion vector in a block around a certain block (hereinafter, referred to as an original block) in the original image, and a difference which is a difference between the actually detected motion vector of the original block and the predicted motion vector is calculated. Band compression is performed by encoding only the vector.
【０００３】一方、動き補償の精度を向上させるため
に、参照画像を一枚だけ記憶してそれに動き補償を施す
のではなく、複数の画像を参照画像として用意して、そ
れぞれに対して動き補償を行い、最も精度良く動き補償
が可能となるものを選び出す手法が提案されている。こ
の場合、どの参照画像を選択したかという情報と、動ベ
クトルに関する情報とが算出される。ところで、異なる
参照画像から導出された動ベクトル間には一般に相関が
無く、上述の動ベクトル予測がうまく働かない。このた
め、複数の参照画像を用いる場合には、動ベクトル予測
は行なわないか、あるいは同じ参照画像から導出された
動ベクトルのみを使って限定的な動ベクトル予測を行な
う方法が提案されている。この方法を図４を参照して説
明する。On the other hand, in order to improve the accuracy of motion compensation, instead of storing only one reference image and performing motion compensation on it, a plurality of images are prepared as reference images and motion compensation is performed for each of them. Has been proposed to select the one that can perform motion compensation with the highest accuracy. In this case, information indicating which reference image has been selected and information regarding the motion vector are calculated. Incidentally, there is generally no correlation between motion vectors derived from different reference images, and the above-described motion vector prediction does not work well. Therefore, when a plurality of reference images are used, a method of not performing motion vector prediction or performing limited motion vector prediction using only motion vectors derived from the same reference image has been proposed. This method will be described with reference to FIG.
【０００４】図４はISO/IEC JTC1/SC29/WG11 CODING OF
MOVINGPICTURES AND ASSOCIATED AUDIO INFORMATION N
1277において、参照画像として、前デコード画像の他
に、前デコード画像をグローバル動き補償した画像を用
いる動ベクトル予測装置の構成を示すブロック図であ
る。FIG. 4 shows ISO / IEC JTC1 / SC29 / WG11 CODING OF
MOVINGPICTURES AND ASSOCIATED AUDIO INFORMATION N
FIG. 1277 is a block diagram showing a configuration of a motion vector predicting apparatus that uses an image obtained by globally compensating the previous decoded image as a reference image in addition to the previous decoded image in 1277.
【０００５】画像記憶部１はそれぞれの画像を記憶し、
画像ブロック化部２は画像記憶部１から出力された原画
像１００をブロックに分割し分割された原画像１００’
を出力する。[0005] The image storage unit 1 stores each image,
The image blocking unit 2 divides the original image 100 output from the image storage unit 1 into blocks and divides the original image 100 ′
Is output.
【０００６】２枚の参照画像を用いた動ベクトル検出回
路４１は、画像ブロック化部２で分割された原画像信号
１００’の各ブロックと類似した領域を、第１の参照画
像信号（前デコード画像）１０１と第２の参照画像信号
（前デコード画像をグローバル動き補償したもの）１０
２の中から捜し出し、その領域から原画像における対応
するブロックまでの位置と方向とを表す動ベクトル信号
１１１、１１２、・・・、１２３及び１４２と、どちら
の参照画像からその動ベクトルを算出したのかを示す参
照画像番号信号１２１、１２２、・・・、１２３及び１
４１とを出力する。ここで、動ベクトル信号１１１、１
１２、・・・、１２３及び参照画像番号信号１２１、１
２２、・・・、１２３は原画像１００’のある１つのブ
ロック、つまり原ブロックの周辺のブロックの動ベクト
ル信号及び参照画像番号信号である。A motion vector detecting circuit 41 using two reference images converts a region similar to each block of the original image signal 100 ′ divided by the image blocking unit 2 into a first reference image signal (pre-decoded Image) 101 and second reference image signal (global motion compensated image of previous decoded image) 10
, 123, and 142 representing the position and direction from the area to the corresponding block in the original image, and the motion vector was calculated from which reference image. , 123, 1
41 is output. Here, the motion vector signals 111, 1
, 123, and reference image number signals 121, 1
Reference numerals 22,..., And 123 denote a motion vector signal and a reference image number signal of one block of the original image 100 ′, that is, blocks around the original block.
【０００７】２枚の参照画像を用いた動ベクトル検出回
路４１の実装方法としては、第１の参照画像と原画像で
動き補償を行なった場合と、第２の参照画像と原画像で
動き補償を行なった場合のそれぞれにおける補償誤差を
算出して、その補償誤差の小さい方を選択し、どちらの
参照画像を利用したかを表す参照画像番号信号と、その
動ベクトル信号を出力する方法などが利用できる。これ
までに符号化された原ブロックの周辺のＭ個のブロック
において、それぞれのブロックで使われている参照画像
番号信号１２１、・・・、１２３は、それぞれ参照画像
番号信号１４１と比較切り替え回路３１、・・・、３３
において比較される。[0007] The motion vector detecting circuit 41 using two reference images includes a case where motion compensation is performed between the first reference image and the original image, and a case where motion compensation is performed between the second reference image and the original image. The method of calculating the compensation error in each case of performing the above, selecting the smaller one of the compensation errors, outputting a reference image number signal indicating which reference image was used, and a motion vector signal thereof, etc. Available. In the M blocks around the original block encoded so far, the reference image number signals 121,..., 123 used in the respective blocks are the reference image number signal 141 and the comparison switching circuit 31, respectively. , ..., 33
Are compared.
【０００８】比較の結果両者の参照画像番号が等しけれ
ば比較切り替え回路内部のスイッチが接続され、符号化
済み周辺ブロックの動ベクトルが、比較済動ベクトル信
号として次段の予測ベクトル算出回路に出力される。従
って、この比較切替の結果、復号済みであるＭ個の周辺
ブロックの動ベクトルを表す周辺ブロックの動ベクトル
信号１１１、・・・、１１３のうち、同じ参照画像を参
照している符号化済み周辺ブロックの動ベクトルのみが
動ベクトル予測に用いられることになる。As a result of the comparison, if the two reference picture numbers are the same, a switch in the comparison switching circuit is connected, and the motion vector of the encoded peripheral block is output to the next-stage prediction vector calculation circuit as a compared motion vector signal. You. Therefore, as a result of this comparison switching, among the motion vector signals 111,..., 113 of the peripheral blocks representing the motion vectors of the M peripheral blocks that have already been decoded, the encoded peripheral that refers to the same reference image Only the motion vector of the block will be used for motion vector prediction.
【０００９】予測動ベクトル算出回路２６では、Ｈ．２
６３などの既存のシステムで定義されている動ベクトル
予測アルゴリズムを利用して予測動ベクトルを算出し予
測動ベクトル信号１４４を出力する。動ベクトル検出回
路４１から出力された動ベクトル信号１４２と予測動ベ
クトル信号１４４とを用いて、両ベクトルの差分値が差
分回路２４で計算され、差分ベクトル信号１４６が出力
される。In the predicted motion vector calculation circuit 26, H.264 is used. 2
A predicted motion vector is calculated using a motion vector prediction algorithm defined in an existing system such as 63, and a predicted motion vector signal 144 is output. Using the motion vector signal 142 output from the motion vector detection circuit 41 and the predicted motion vector signal 144, a difference value between the two vectors is calculated by the difference circuit 24, and a difference vector signal 146 is output.
【００１０】[0010]
【発明が解決しようとする課題】しかしながら、上述の
方法では、周辺ブロックにおける動ベクトルの導出に参
照した画像と予測動ベクトルを導出するブロック、つま
り原ブロックの動ベクトルが参照した画像とが異なる
と、その周辺ブロックの動ベクトルは予測に用いること
ができず、最悪の場合予測が全く行なわれない場合もあ
り、予測効率が低下してしまうという問題点を有する。However, in the above-described method, if the image referred to for deriving the motion vector in the peripheral block differs from the block for deriving the predicted motion vector, that is, the image referred to by the motion vector of the original block. However, the motion vector of the peripheral block cannot be used for prediction, and in the worst case, prediction may not be performed at all, which causes a problem that the prediction efficiency is reduced.
【００１１】本発明は上記問題点に鑑みなされたもので
その目的とするところは、原ブロックの参照画像と周辺
ブロックの参照画像とが異なる場合においても、その周
辺ブロックの動ベクトルを原ブロックの動ベクトルの予
測に利用可能にし、複数の参照画像を利用する場合にお
ける動ベクトル予測効率を向上することのできる動ベク
トル予測装置を提供することである。SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems, and has as its object the object of the present invention in that even when a reference image of an original block is different from a reference image of a peripheral block, a motion vector of the peripheral block is determined. An object of the present invention is to provide a motion vector predicting apparatus which can be used for prediction of a motion vector and which can improve the motion vector prediction efficiency when a plurality of reference images are used.
【００１２】[0012]
【課題を解決するための手段】請求項１記載の発明は、
データが符号化されて送信される原画像をブロックに分
割する第１の分割手段と、複数の画像を参照画像として
記憶する第１の記憶手段と、前記原画像のそれぞれのブ
ロックと類似する領域を前記参照画像の中から導出し、
それらの領域のその参照画像内での位置から前記原画像
のそれぞれのブロックに対応する位置までの距離と方向
とをベクトルとして算出し、これを対応する原画像のブ
ロックの動ベクトルとする第１のベクトル算出手段と、
前記動ベクトルがどの参照画像から得られたのかを表す
情報を算出しこれを前記対応する原画像のブロックの参
照画像情報とする第１の参照画像情報算出手段と、前記
参照画像間のそれぞれの画素の相対位置を相対位置ベク
トルとして算出する第２のベクトル算出手段と、前記原
画像のブロックの内の１つのブロックの周辺のブロック
の動ベクトルを、前記原画像のブロックの内の１つのブ
ロックの前記参照画像情報とそれぞれの周辺のブロック
の前記参照画像情報と前記参照画像間のそれぞれの画素
の相対位置ベクトルとに基づいて修正する第１の修正手
段と、前記修正された周辺のブロックの動ベクトルか
ら、前記原画像のブロックの内の１つのブロックの動ベ
クトルを予測しこれを前記原画像のブロックの内の１つ
のブロックの予測動ベクトルとして算出する第１の予測
動ベクトル算出手段と、前記原画像のブロックの動ベク
トルと該ブロックの前記予測動ベクトルとの差分値を算
出する第１の差分値算出手段とを有することを特徴とす
る。According to the first aspect of the present invention,
First dividing means for dividing an original image into which data is encoded and transmitted, into first blocks, first storing means for storing a plurality of images as reference images, and an area similar to each block of the original image Is derived from the reference image,
The distance and direction from the position of the region in the reference image to the position corresponding to each block of the original image are calculated as a vector, and this is used as the motion vector of the corresponding block of the original image. Vector calculating means,
First reference image information calculating means for calculating information indicating from which reference image the motion vector was obtained and using the calculated information as reference image information of the block of the corresponding original image; Second vector calculating means for calculating a relative position of a pixel as a relative position vector; and a motion vector of a block around one of the blocks of the original image as one of the blocks of the original image. First correction means for correcting based on the reference image information and the reference image information of each peripheral block and the relative position vector of each pixel between the reference images, and A motion vector of one of the blocks of the original image is predicted from the motion vector, and the predicted motion vector of one of the blocks of the original image is calculated. A first predicted motion vector calculating means for calculating a vector, and a first difference value calculating means for calculating a difference value between a motion vector of the block of the original image and the predicted motion vector of the block. And
【００１３】請求項２記載の発明は、請求項１記載の発
明において、前記原画像のブロックの内の１つのブロッ
クの周辺のブロックの動ベクトルを、それぞれの周辺の
ブロックの前記参照画像情報と前記参照画像間のそれぞ
れの画素の相対位置ベクトルとに基づいて修正する第１
の修正手段は、前記周辺のブロックの動ベクトルを前記
原画像のブロックの内の１つのブロックの参照画像情報
で示される画像上のどの位置に相当するのかを表すベク
トルに修正することを特徴とする。According to a second aspect of the present invention, in the first aspect of the present invention, a motion vector of a block around one of the blocks of the original image is calculated by using the reference image information of each of the neighboring blocks. A first correction based on a relative position vector of each pixel between the reference images;
Correction means for correcting the motion vector of the peripheral block to a vector representing a position on an image indicated by reference image information of one of the blocks of the original image. I do.
【００１４】請求項３記載の発明は、データが符号化さ
れて送信される原画像をブロックに分割する第１の分割
手段と、複数の画像を参照画像として記憶する第１の記
憶手段と、１つの画像を基準画像として記憶する第２の
記憶手段と、前記原画像のそれぞれのブロックと類似す
る領域を前記参照画像の中から導出し、それらの領域の
その参照画像内での位置から前記原画像のそれぞれのブ
ロックに対応する位置までの距離と方向とをベクトルと
して算出し、これを対応する原画像のブロックの動ベク
トルとする第１のベクトル算出手段と、前記動ベクトル
がどの参照画像から得られたのかを表す情報を算出しこ
れを前記対応する原画像のブロックの参照画像情報とす
る第１の参照画像情報算出手段と、前記基準画像と参照
画像との間のそれぞれの画素の相対位置を相対位置ベク
トルとして算出する第２のベクトル算出手段と、前記原
画像のブロックの内の１つのブロックの周辺のブロック
の動ベクトルを、それぞれの周辺のブロックの前記参照
画像情報と前記基準画像と原画像との間のそれぞれの画
素の相対位置ベクトルとに基づいて修正する第２の修正
手段と、前記修正された周辺のブロックの動ベクトル
を、前記原画像のブロックの１つのブロックの参照画像
情報と前記基準画像と原画像との間のそれぞれの画素の
相対位置ベクトルとに基づき逆修正する逆修正手段と、
前記逆修正された周辺のブロックの動ベクトルから、前
記原画像のブロックの内の１つのブロックの動ベクトル
を予測しこれを前記原画像のブロックの内の１つのブロ
ックの予測動ベクトルとして算出する第２の予測動ベク
トル算出手段と、前記原画像のブロックの動ベクトルと
該ブロックの前記予測動ベクトルとの差分値を算出する
算出する第２の差分値算出手段とを有することを特徴と
する。[0014] According to a third aspect of the present invention, there is provided a first dividing means for dividing an original image into which data is encoded and transmitted, into first blocks, a first storing means for storing a plurality of images as reference images, A second storage unit that stores one image as a reference image, and a region similar to each block of the original image is derived from the reference image, and the region is determined from a position of the region in the reference image. First vector calculating means for calculating a distance and a direction to a position corresponding to each block of the original image as a vector and using the vector as a motion vector of a block of the corresponding original image; First reference image information calculating means for calculating information indicating whether the reference image is obtained from the reference image and the reference image information for the block of the corresponding original image. Second vector calculating means for calculating the relative position of each pixel as a relative position vector, and the motion vector of a block around one of the blocks of the original image as the reference image of each peripheral block. Second correcting means for correcting based on the information and the relative position vector of each pixel between the reference image and the original image, and a motion vector of the corrected peripheral block, Reverse correction means for performing reverse correction based on reference image information of one block and a relative position vector of each pixel between the reference image and the original image;
A motion vector of one of the blocks of the original image is predicted from the motion vector of the inversely corrected peripheral block, and this is calculated as a predicted motion vector of one of the blocks of the original image. A second predicted motion vector calculation unit; and a second difference value calculation unit configured to calculate a difference value between a motion vector of the block of the original image and the predicted motion vector of the block. .
【００１５】請求項４記載の発明は、データが符号化さ
れて送信される原画像をブロックに分割する第１の分割
手段と、複数の画像を参照画像として記憶する第１の記
憶手段と、１つの画像を基準画像として記憶する第２の
記憶手段と、前記原画像のそれぞれのブロックと類似す
る領域を前記参照画像の中から導出し、それらの領域の
その参照画像内での位置から前記原画像のそれぞれのブ
ロックに対応する位置までの距離と方向とをベクトルと
して算出し、これを対応する原画像のブロックの動ベク
トルとする第１のベクトル算出手段と、前記動ベクトル
がどの参照画像から得られたのかを表す情報を算出しこ
れを前記対応する原画像のブロックの参照画像情報とす
る第１の参照画像情報算出手段と、前記基準画像と参照
画像との間のそれぞれの画素の相対位置を相対位置ベク
トルとして算出する第２のベクトル算出手段と、前記原
画像のブロックの内の１つのブロックの周辺のブロック
の動ベクトルを、それぞれの周辺のブロックの前記参照
画像情報と前記基準画像と参照画像との間のそれぞれの
画素の相対位置ベクトルとに基づいて修正する第２の修
正手段と、前記修正された原画像のブロックの内の１つ
のブロックの周辺のブロックの動ベクトルから、前記原
画像のブロックの内の１つのブロックの動ベクトルを予
測動ベクトルとして予測する第２の予測動ベクトル算出
手段と、前記予測動ベクトルを、前記対応する原画像の
ブロックの参照画像情報と前記基準画像と原画像との間
のそれぞれの画素の相対位置ベクトルとに基づき逆修正
する第２の逆修正手段と、前記逆修正された予測動ベク
トルと前記原画像のブロックの前記動ベクトルとの差分
値を算出する第３の差分値算出手段とを有することを特
徴とする。According to a fourth aspect of the present invention, there is provided a first dividing means for dividing an original image into which data is encoded and transmitted, into blocks, a first storing means for storing a plurality of images as reference images, A second storage unit that stores one image as a reference image, and a region similar to each block of the original image is derived from the reference image, and the region is determined from a position of the region in the reference image. First vector calculating means for calculating a distance and a direction to a position corresponding to each block of the original image as a vector and using the vector as a motion vector of a block of the corresponding original image; First reference image information calculating means for calculating information indicating whether the reference image is obtained from the reference image and the reference image information for the block of the corresponding original image. Second vector calculating means for calculating the relative position of each pixel as a relative position vector, and the motion vector of a block around one of the blocks of the original image as the reference image of each peripheral block. Second correcting means for correcting based on information and a relative position vector of each pixel between the reference image and the reference image, and a block around one of the blocks of the corrected original image A second predicted motion vector calculating means for predicting a motion vector of one of the blocks of the original image as a predicted motion vector from the motion vector of the original image, and calculating the predicted motion vector of the block of the corresponding original image. Second reverse correction means for performing reverse correction based on reference image information and a relative position vector of each pixel between the reference image and the original image; And having a third difference value calculating means for calculating a difference value between the motion vector of the block of the predicted motion vector and the original image is.
【００１６】請求項５記載の発明は、請求項３又は４に
記載の発明において、前記基準画像と参照画像との間の
それぞれの画素の相対位置を相対位置ベクトルとして算
出する第２のベクトル算出手段は、該相対位置ベクトル
の大きさが所定の閾値よりも大きいときは前記基準画像
と参照画像との間のそれぞれの画素は対応づけが不可能
であるとして該相対位置ベクトルを無効にすることを特
徴とする。According to a fifth aspect of the present invention, in the third or fourth aspect, a second vector calculation for calculating a relative position of each pixel between the reference image and the reference image as a relative position vector. Means for, when the magnitude of the relative position vector is larger than a predetermined threshold value, disabling the relative position vector as determining that each pixel between the reference image and the reference image cannot be associated with each other; It is characterized by.
【００１７】請求項６記載の発明は、請求項３から５の
いずれかに記載の発明において、前記原画像のブロック
の内の１つのブロックの周辺のブロックの動ベクトル
を、それぞれの周辺のブロックの前記参照画像情報と前
記基準画像と参照画像との間のそれぞれの画素の相対位
置ベクトルとに基づいて修正する第２の修正手段は、該
動ベクトルを、該動ベクトルが示す位置が前記参照画像
情報で示される画像上のどの位置に相当するのかを表す
ベクトルに修正することを特徴とする。According to a sixth aspect of the present invention, in the invention according to any one of the third to fifth aspects, a motion vector of a block around one of the blocks of the original image is replaced with each of the peripheral blocks. A second correction unit that corrects the motion vector based on the reference image information and a relative position vector of each pixel between the reference image and the reference image. It is characterized in that it is corrected to a vector indicating which position on the image represented by the image information corresponds to.
【００１８】[0018]
【発明の実施の形態】本発明に係る動ベクトル予測装置
の第１の実施例を図１を参照して説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A first embodiment of the motion vector predicting apparatus according to the present invention will be described with reference to FIG.
【００１９】この動ベクトル予測装置は、入力した画像
情報を記憶する画像記憶部１と、画像記憶部１から入力
された原画像信号１００で表される画像をブロック化す
る画像ブロック化部２と、第１の参照画像信号１０１か
ら第Ｎの参照画像信号１０４までのＮ個の参照画像信号
のそれぞれの画素の参照画像間での相対位置を相対位置
信号１４７として出力する相対位置算出回路６１と、画
像ブロック化部２によりブロック化された原画像１０
０’のそれぞれのブロックと類似している領域を第１の
参照画像信号１０１から第Ｎの参照画像信号１０４まで
のＮ個の参照画像信号で表される画像の中から捜し出
し、原画像を補償する動ベクトルを表す動ベクトル信号
１１１、・・・、１１２及び１４２を出力し、それらの
動ベクトルがどの参照画像から導出されたものであるか
を表す参照画像番号信号１２１、・・・、１２２及び１
４１を出力する動ベクトル検出回路２２と、動ベクトル
検出回路２２から出力された参照画像番号信号１４１、
相対位置算出回路６１から出力された相対位置信号１４
７、周辺ブロックの動ベクトル信号１１１、・・・、１
１２及び該周辺ブロックの動ベクトルの参照画像番号信
号１２１、・・・、１２２とに基づき動ベクトル検出回
路２２で導出された動ベクトルを変換し、変換動ベクト
ル信号１３１、・・・、１３２を出力するＭ個の画素位
置変換回路７１、・・・、７２と、前記変換された動ベ
クトルに基づき予測動ベクトルを算出して予測動ベクト
ル信号１４４を出力する予測動ベクトル算出回路２６
と、前記動ベクトル検出回路２２から出力された動ベク
トル信号１４２と前記予測動ベクトル算出回路から出力
された予測動ベクトル信号１４４とを用いて両ベクトル
の差分を計算しこれを差分ベクトル信号１４６として出
力する差分回路２４とからなる。The motion vector predicting apparatus includes an image storage unit 1 for storing input image information, an image blocking unit 2 for blocking an image represented by the original image signal 100 input from the image storage unit 1, A relative position calculation circuit 61 that outputs, as a relative position signal 147, a relative position of each pixel of the N reference image signals from the first reference image signal 101 to the Nth reference image signal 104 between the reference images. , The original image 10 blocked by the image blocking unit 2
A region similar to each block of 0 'is searched for from the images represented by the N reference image signals from the first reference image signal 101 to the Nth reference image signal 104, and the original image is compensated. , 112, and 142 representing the motion vectors to be generated, and reference image number signals 121,..., 122 indicating from which reference image these motion vectors are derived. And 1
41, a reference image number signal 141 output from the motion vector detection circuit 22,
Relative position signal 14 output from relative position calculation circuit 61
7, the motion vector signal 111 of the peripheral block,.
, 122 based on the reference image number signals 121,..., 122 of the motion vectors of the peripheral block 12 and the surrounding blocks, and the converted motion vector signals 131,. , 72, and a predicted motion vector calculation circuit 26 that calculates a predicted motion vector based on the converted motion vector and outputs a predicted motion vector signal 144.
And a motion vector signal 142 output from the motion vector detection circuit 22 and a predicted motion vector signal 144 output from the predicted motion vector calculation circuit, to calculate a difference between the two vectors. And an output difference circuit 24.
【００２０】次に、本実施例に係る動ベクトル予測装置
の動作について説明する。Next, the operation of the motion vector predicting apparatus according to this embodiment will be described.
【００２１】Ｎ個の参照画像信号１０１、・・・、１０
４とブロック化された原画像信号１００’とは、複数参
照画像を用いた動ベクトル検出回路２２に入力される。
この動ベクトル検出回路２２は、前記ブロック化された
原画像の中の１つのブロックと類似している領域をＮ個
の参照画像信号１０１、・・・、１０４の中から捜し出
して動ベクトル信号１４２とその動ベクトルをどの参照
画像から導出したのかを表す参照画像番号信号１４１と
を出力する。ここで類似しているか否かは、その領域内
の画素値と、前記原画像の中の１つのブロック内の画素
値との誤差の２乗和又は、差分の絶対値和を用いて判断
する。また、前記原画像の中の１つのブロック、つまり
原ブロック、の周辺のブロックの動ベクトル信号１１
１、・・・、１１２及びそれらの参照画像番号信号１２
１、・・・、１２２を出力する。N reference image signals 101,..., 10
4 and the original image signal 100 'blocked are input to a motion vector detection circuit 22 using a plurality of reference images.
The motion vector detection circuit 22 searches for an area similar to one block in the block original image from the N reference image signals 101,. And a reference image number signal 141 indicating from which reference image the motion vector is derived. Here, whether or not they are similar is determined using the sum of squares of the error between the pixel value in the area and the pixel value in one block in the original image or the absolute value of the difference. . Also, a motion vector signal 11 of one block in the original image, that is, a block around the original block
1,..., 112 and their reference image number signals 12
, 122 are output.
【００２２】ここで複数参照画像を用いた動ベクトル検
出回路２２は、従来技術で示した２枚の参照画像を用い
た動ベクトル検出回路４１をＮチャネルに拡張したもの
で、内部でＮ個の動き補償誤差が比較評価して動ベクト
ル及び参照画像番号を決定する。つまりＮ個の参照画像
信号１０１、・・・、１０４の中の領域の中で原画像の
１つのブロックと最も類似している領域を選びだす。Here, the motion vector detection circuit 22 using a plurality of reference images is obtained by extending the motion vector detection circuit 41 using two reference images shown in the prior art to N channels, and internally has N pieces of N motion vectors. The motion compensation error is compared and evaluated to determine a motion vector and a reference image number. That is, a region most similar to one block of the original image is selected from the regions in the N reference image signals 101,..., 104.
【００２３】第１の参照画像信号１０１から第Ｎの参照
画像信号１０４は、参照画像間の相対位置算出回路６１
にも入力される。相対位置算出回路６１は画像の画素間
の相対位置信号１４７を出力する。The first reference image signal 101 to the N-th reference image signal 104 are used to calculate a relative position between reference images.
Is also entered. The relative position calculation circuit 61 outputs a relative position signal 147 between pixels of the image.
【００２４】参照画像間の相対位置算出回路６１は、第
ｉの参照画像（ｉ＝１〜Ｎ）と第ｊの参照画像（ｊ＝１
〜Ｎ，ｉ≠ｊ）の間の相対的な位置関係を保持している
回路で、その実装方法としては以下に示すように幾つか
の方法がある。The relative position calculation circuit 61 between the reference images includes an i-th reference image (i = 1 to N) and a j-th reference image (j = 1).
To N, i ≠ j), and there are several methods for mounting the circuit as described below.
【００２５】汎用的なものとしては、例えば第１の参照
画像信号１０１の中の画素と第２の参照画像信号１０２
の中の画素との間の位置を調べるのに、一般的なブロッ
クマッチングアルゴリズムに基づく動ベクトルを検出す
る方法がある。ブロック単位で動ベクトルを検出して、
検出した動ベクトルをそのブロック内の全画素における
相対位置信号としても良いし、あるいは１画素毎に動ベ
クトルを求めそれを相対位置信号としても良い。いずれ
の方法でも、第２の参照画像上の全ての画素の位置が第
１の参照画像上のどの位置に相当するかを求めることが
できる。As a general-purpose signal, for example, a pixel in the first reference image signal 101 and a second reference image signal 102
In order to find a position between pixels in the image, there is a method of detecting a motion vector based on a general block matching algorithm. Detect motion vectors in block units,
The detected motion vector may be used as a relative position signal for all pixels in the block, or a motion vector may be obtained for each pixel and used as a relative position signal. In either method, it is possible to determine which position on the first reference image corresponds to the position of all pixels on the second reference image.
【００２６】上記の方法の他に、例えばグローバル動き
補償方法などでは、画像全体の動きをアフィン変換や透
視変換などで表現するが、この場合には変換式に基づ
き、第２の参照画像上の画像が第１の参照画像上のどの
画素に対応するかを対応付けすることが可能である。ど
のような方法で相対位置信号としての対応テーブルを作
った場合においても、対応する画素間の差分値を求める
等の方法により対応表の信頼度を画素単位で求め、差分
値が予め定めた閾値よりも大きかったらその対応付けは
誤りとして、その位置については参照画像間での対応付
けが不可能、すなわち相対位置信号は無いとする。In addition to the above method, for example, in the global motion compensation method, the motion of the entire image is represented by affine transformation or perspective transformation. In this case, the motion of the second reference image It is possible to associate with which pixel on the first reference image the image corresponds. Whatever method is used to create a correspondence table as a relative position signal, the reliability of the correspondence table is determined in pixel units by a method such as calculating a difference value between corresponding pixels, and the difference value is determined by a predetermined threshold value. If it is larger than this, it is determined that the association is erroneous, and that the position cannot be associated between the reference images, that is, there is no relative position signal.
【００２７】参照画像間の相対位置算出回路６１は相対
位置算出処理をすべての参照画像間で行い、相対位置信
号１４７を出力する。The relative position calculation circuit 61 between the reference images performs a relative position calculation process for all the reference images, and outputs a relative position signal 147.
【００２８】一方、動ベクトル検出回路２２から出力さ
れた原ブロックの周辺のＭ個の符号化済みブロックの動
ベクトルを表す動ベクトル信号１１１、・・・、１１２
は画素位置変換回路７１、・・・、７２に出力される。
画素位置変換回路７１、・・・、７２は入力された動ベ
クトルに修正を加える。On the other hand, motion vector signals 111,..., 112 representing motion vectors of M encoded blocks around the original block output from the motion vector detection circuit 22.
Are output to the pixel position conversion circuits 71,...
The pixel position conversion circuits 71,..., 72 modify the input motion vector.
【００２９】これら画素位置変換回路による修正を、第
１の周辺ブロックの動ベクトルを修正する場合を例に説
明する。この画素位置変換回路７１には第１の周辺ブロ
ックの動ベクトル信号１１１、第１の周辺ブロックの参
照画像番号信号１２１、原ブロックの参照画像番号信号
１４１及び該参照画像間の相対位置信号を含む相対位置
信号１４７が入力される。The correction by the pixel position conversion circuit will be described by taking as an example a case where the motion vector of the first peripheral block is corrected. The pixel position conversion circuit 71 includes a motion vector signal 111 of the first peripheral block, a reference image number signal 121 of the first peripheral block, a reference image number signal 141 of the original block, and a relative position signal between the reference images. The relative position signal 147 is input.
【００３０】画素位置変換回路７１は、相対位置信号１
４７を検索して、第１の周辺ブロックの動ベクトルの参
照画像信号１２１と原ブロックの動ベクトルの参照画像
信号とから相対位置信号を調べ、参照画像信号１２１で
示される参照画像上の動ベクトル１１１で指定される画
素は、参照画像信号１４１で示される参照画像上のどの
位置に相当するかを算出する。The pixel position conversion circuit 71 calculates the relative position signal 1
47, a relative position signal is checked from the reference image signal 121 of the motion vector of the first peripheral block and the reference image signal of the motion vector of the original block, and the motion vector on the reference image indicated by the reference image signal 121 is obtained. The pixel designated by 111 is calculated to correspond to a position on the reference image indicated by the reference image signal 141.
【００３１】すなわち、第１の動ベクトル信号１１１で
指定された位置が、参照画像番号信号１４１で指定され
る参照画像上ではどのような位置になるかを計算して、
その結果を第１の周辺ブロックの補正された、あるいは
変換された動ベクトルであるとして動ベクトル信号１３
１を出力する。これと同じ処理をＭ個の周辺の動ベクト
ル全てが行なう。That is, by calculating what position the position specified by the first motion vector signal 111 is on the reference image specified by the reference image number signal 141,
The result is regarded as the corrected or transformed motion vector of the first peripheral block, and the motion vector signal 13
Outputs 1. The same processing is performed for all M peripheral motion vectors.
【００３２】結果として、参照画像番号信号１４１で指
定された参照画像上に投影したＭ個の周辺の補正された
動ベクトルが得られることになる。ただし、前述したよ
うに参照画像間で相対位置を確定できない場合もある。
この場合、参照画像間の相対位置算出回路６１から出力
される相対位置信号１４７のその部分に対する情報が
「相対情報無し」となっているため、その周辺の動ベク
トルについては補正が不可能であるとして補正された動
ベクトルは出力されない。As a result, M peripheral corrected motion vectors projected on the reference image specified by the reference image number signal 141 are obtained. However, as described above, there are cases where the relative position cannot be determined between the reference images.
In this case, since the information of the relative position signal 147 output from the relative position calculation circuit 61 between the reference images is “no relative information”, it is impossible to correct the motion vectors around the relative information. Is not output.
【００３３】上記最大Ｍ個の補正された動ベクトル信号
は予測動ベクトル算出回路２６に入力される。予測動ベ
クトル算出回路２６では従来と同様な手法により予測動
ベクトル信号１４４を算出する。The maximum M corrected motion vector signals are input to a predicted motion vector calculation circuit 26. The predicted motion vector calculation circuit 26 calculates the predicted motion vector signal 144 by a method similar to the conventional method.
【００３４】前記予測動ベクトルを表す予測動ベクトル
信号１４４は差分回路２４に入力する。差分回路２４は
従来と同様に、動ベクトル信号１４２で表される動ベク
トルと予測動ベクトル信号１４４で表される予測動ベク
トルとの間で差分値計算を実行し、差分ベクトルを差分
ベクトル信号１４６として出力する。The predicted motion vector signal 144 representing the predicted motion vector is input to the difference circuit 24. The difference circuit 24 performs a difference value calculation between the motion vector represented by the motion vector signal 142 and the predicted motion vector represented by the predicted motion vector signal 144, and converts the difference vector into the difference vector signal 146, as in the related art. Output as
【００３５】本発明に係る動ベクトル予測装置の第２の
実施例を図２を参照して説明する。A second embodiment of the motion vector predicting apparatus according to the present invention will be described with reference to FIG.
【００３６】この動ベクトル予測装置は、図１に示した
第１の実施例において、参照画像間の相対位置算出回路
２１の演算量を削減すると同時に、参照画像間の相対位
置信号１４７の情報量を減らす。The motion vector predicting apparatus according to the first embodiment shown in FIG. 1 reduces the amount of calculation of the relative position calculating circuit 21 between the reference images and, at the same time, reduces the information amount of the relative position signal 147 between the reference images. Reduce.
【００３７】本第２の実施例は、図１で示した本発明第
１の実施例における参照画像間の相対位置算出回路６１
を参照画像群と基準画像間の相対位置を算出する相対位
置算出回路２１に置き換え、同時にＭ個の画素位置変換
回路の出力を修正するＭ個の画素位置逆変換回路５１、
・・・、５２を予測ベクトル算出回路２６の前段に挿入
した構成となっている。In the second embodiment, a relative position calculation circuit 61 between reference images in the first embodiment of the present invention shown in FIG.
Is replaced by a relative position calculation circuit 21 that calculates a relative position between the reference image group and the reference image, and at the same time, an M pixel position inverse conversion circuit 51 that corrects the output of the M pixel position conversion circuits
, 52 are inserted before the predicted vector calculation circuit 26.
【００３８】次に本実施例に係る動ベクトル予測装置の
動作を説明する。Next, the operation of the motion vector predicting apparatus according to this embodiment will be described.
【００３９】画像記憶部１及び画像ブロック化部２の動
作は実施例１の動作と同様なので省略する。The operations of the image storage unit 1 and the image blocking unit 2 are the same as the operations of the first embodiment, and will not be described.
【００４０】Ｎ個の参照画像信号１０１、・・・、１０
４とブロック化された原画像信号１００’とは、複数参
照画像を用いた動ベクトル検出回路２２に入力される。
動ベクトル検出回路２２は前記参照画像及び原画像に基
づき動ベクトル信号１１１、・・・、１１２及び１４２
と参照画像番号信号１２１、・・・、１２２及び１４１
を出力する。N reference image signals 101,..., 10
4 and the original image signal 100 'blocked are input to a motion vector detection circuit 22 using a plurality of reference images.
The motion vector detection circuit 22 generates motion vector signals 111,..., 112 and 142 based on the reference image and the original image.
, 122, and 141
Is output.
【００４１】一方、参照画像信号１０１、・・・、１０
４は動ベクトル検出回路２２に入力する他に、図に示す
ように途中で枝分かれし、相対位置算出回路２１に入力
する。On the other hand, reference image signals 101,.
4 is inputted to the relative position calculation circuit 21 in addition to being inputted to the motion vector detection circuit 22 as shown in FIG.
【００４２】参照画像群と基準画像の相対位置を算出す
る相対位置算出回路２１は、基準画像と第ｎの参照画像
（ｎ＝１〜Ｎ）の間の相対的な位置関係を保持している
回路である。相対位置の算出方法は、図１に示す第１の
実施例における参照画像間の相対位置算出回路６１にお
ける方法と同様である。参照画像群と基準画像の相対位
置算出回路２１では、参照画像間の相対位置算出回路６
１のように全ての参照画像間で相対位置信号を算出する
のではなく、基準画像と参照画像の間でのみ相対位置信
号を作成する。従って、その演算量及び演算結果である
情報量は大幅に減少する。A relative position calculating circuit 21 for calculating a relative position between the reference image group and the reference image holds a relative positional relationship between the reference image and the n-th reference image (n = 1 to N). Circuit. The calculation method of the relative position is the same as the method in the relative position calculation circuit 61 between the reference images in the first embodiment shown in FIG. In the relative position calculation circuit 21 for the reference image group and the reference image, the relative position calculation circuit 6 between the reference images is used.
Instead of calculating relative position signals between all reference images as in 1, the relative position signal is created only between the reference image and the reference image. Therefore, the amount of calculation and the amount of information as the calculation result are significantly reduced.
【００４３】ここで、基準画像信号１０００は、参照画
像信号１０１、・・・、１０４の中のどれかをそのまま
基準画像としても良いし、参照画像の一つに何らかの幾
何変換により変形したものを基準画像としても良い。あ
るいは、背景メモリやテンプレートのように、参照画像
群以外の画像をそのままもしくは変形して使っても良
い。Here, as the reference image signal 1000, any of the reference image signals 101,..., 104 may be used as a reference image as it is, or one of the reference images which has been transformed by some geometric transformation may be used. It may be a reference image. Alternatively, an image other than the reference image group, such as a background memory or a template, may be used as it is or after being transformed.
【００４４】Ｍ個の画素位置変換回路１１、・・・、１
２は、それぞれ周辺ブロックの動ベクトル信号１１１、
・・・、１１２で表される動ベクトルを補正して、補正
された動ベクトルを表す動ベクトル信号１３１、・・
・、１３２を出力する。The M pixel position conversion circuits 11,..., 1
2 is a motion vector signal 111 of a peripheral block,
, 112, the motion vector represented by the corrected motion vector is corrected.
, 132 is output.
【００４５】例えば画素位置変換回路１１では、相対位
置信号１４３を調べて、第１の周辺ブロックの参照画像
番号信号１２１と基準画像間の相対位置関係を得、それ
に基づき参照画像番号信号１２１で示される参照画像上
の動ベクトル信号１１１で指定される画素位置を基準画
像上に投影し、投影後の動ベクトルを補正された動ベク
トルとする。For example, the pixel position conversion circuit 11 examines the relative position signal 143 to obtain a relative position relationship between the reference image number signal 121 of the first peripheral block and the reference image, and indicates the relative image relationship based on the relative position relationship. The pixel position designated by the motion vector signal 111 on the reference image to be projected is projected on the reference image, and the projected motion vector is set as a corrected motion vector.
【００４６】次に、補正された動ベクトルを表す信号１
３１、・・・、１３２はＭ個の画素位置逆変換回路５
１、・・・、５２に入力される。補正された動ベクトル
信号１３１、・・・、１３２はいずれも基準画像上での
動ベクトルを表しているため、これを画素位置逆変換回
路５１、・・・、５２で参照画像番号信号１４１に示さ
れる参照画像上に逆投影する。たとえば、画素位置変換
回路５１では、基準画像と参照画像番号信号１４１で示
される参照画像の間の相対位置信号を参照画像群と基準
画像間の相対位置信号１４３から得、それに基づき、基
準画像上の補正された動ベクトル信号１３１で表される
動ベクトルで指示される位置を参照画像番号信号１４１
で示される参照画像上に逆投影する。これによって、参
照画像番号１４１で示される参照画像上の位置を指示す
る動ベクトルが求まり、このベクトルを表す信号として
動ベクトル信号１５１が出力される。同様な動作を各画
素位置変換回路が行い、それぞれ動ベクトル信号１５
１、・・・、１５２を出力する。Next, a signal 1 representing the corrected motion vector
31,..., 132 are M pixel position inverse conversion circuits 5
,..., 52 are input. Since the corrected motion vector signals 131,..., 132 all represent motion vectors on the reference image, the corrected motion vector signals 131,. Backproject onto the indicated reference image. For example, in the pixel position conversion circuit 51, a relative position signal between the reference image and the reference image indicated by the reference image number signal 141 is obtained from the relative position signal 143 between the reference image group and the reference image, and based on the signal, the relative position signal The position indicated by the motion vector represented by the corrected motion vector signal 131 is referred to as the reference image number signal 141.
Is back-projected onto the reference image indicated by. As a result, a motion vector indicating the position on the reference image indicated by the reference image number 141 is obtained, and a motion vector signal 151 is output as a signal representing this vector. The same operation is performed by each pixel position conversion circuit, and the motion vector signal 15
, 152 are output.
【００４７】なお、補正された動ベクトルで指示された
基準画像上の位置を、参照画像番号信号１４１で示され
る参照画像上の位置に投影できない場合、つまり相対位
置信号１４３の該当項目が存在しない場合には修正後の
動ベクトルは０ベクトルとする。When the position on the reference image designated by the corrected motion vector cannot be projected on the position on the reference image indicated by the reference image number signal 141, that is, the corresponding item of the relative position signal 143 does not exist. In this case, the corrected motion vector is set to 0 vector.
【００４８】予測動ベクトル算出回路２６は、従来方法
または上記第１の実施例で説明したのと同様に、予測動
ベクトルを算出し予測動ベクトル信号１４４を出力す
る。The predicted motion vector calculation circuit 26 calculates a predicted motion vector and outputs a predicted motion vector signal 144 as in the conventional method or as described in the first embodiment.
【００４９】差分回路２４は動ベクトル検出回路２２か
ら出力された動ベクトル信号１４２と上記予測動ベクト
ル信号１４４とを用いて両ベクトル信号で表されるベク
トルの差分をとることにより差分ベクトル信号１４６を
出力する。The difference circuit 24 uses the motion vector signal 142 output from the motion vector detection circuit 22 and the predicted motion vector signal 144 to calculate the difference between the vectors represented by the two vector signals, thereby obtaining the difference vector signal 146. Output.
【００５０】本発明に係る動ベクトル予測装置の第３の
実施例を図３を参照して説明する。A third embodiment of the motion vector predicting apparatus according to the present invention will be described with reference to FIG.
【００５１】この動ベクトル予測装置は、Ｎ個の参照画
像信号１０１、・・・、１０４を用いて原画像を補償す
る動ベクトルを表す動ベクトル信号１４２を導出すると
ともに、Ｍ個の周辺の符号化済ブロックの動ベクトルを
表す周辺ブロックの動ベクトル信号１１１、・・・、１
１２及びどの参照画像を用いたかを表す参照画像番号信
号１２１、・・・、１２２から、補正された予測動ベク
トルを導出し、最終的に原画像の動ベクトルと予測動ベ
クトルとの差分を表す差分ベクトルを算出する。The motion vector predictor derives a motion vector signal 142 representing a motion vector for compensating the original image using the N reference image signals 101,... A motion vector signal 111 of a peripheral block representing a motion vector of a converted block,.
12 and reference image number signals 121,..., 122 indicating which reference image was used, to derive a corrected predicted motion vector, and finally represent the difference between the motion vector of the original image and the predicted motion vector. Calculate the difference vector.
【００５２】この第３の実施例は、図２で示される第２
の実施例で必要とされた回路のうち、Ｍ個の画素位置逆
変換回路５１、・・・、５２をひとつの回路にまとめて
画素位置逆変換回路２３とし、さらにその画素位置逆変
換回路２３の位置を予測動ベクトル算出回路２６の後段
に移したものである。これにより装置全体での画素位置
を逆変換する際の演算量を削減することができる。The third embodiment is similar to the second embodiment shown in FIG.
, 52 are integrated into one circuit to form the pixel position inverse conversion circuit 23, and the pixel position inverse conversion circuit 23 Is moved to the subsequent stage of the predicted motion vector calculation circuit 26. This makes it possible to reduce the amount of calculation when inversely converting the pixel position in the entire apparatus.
【００５３】図３に示される第３の実施例の動作は基本
的に図２に示される第２の実施例の動作と同様である
が、Ｍ個の画素位置変換回路１１、・・・、１２の出力
である補正された動ベクトルを表す動ベクトル信号１３
１、・・・、１３２が直接予測動ベクトル算出回路２６
に入力される点が異なる。従って、前記動ベクトル信号
１３１、・・・、１３２を用いて算出される予測動ベク
トルは、基準画像上での値として算出される。The operation of the third embodiment shown in FIG. 3 is basically the same as that of the second embodiment shown in FIG. 2, except that M pixel position conversion circuits 11,. A motion vector signal 13 representing the corrected motion vector which is the output of 12
, 132 are direct prediction motion vector calculation circuits 26
Is different. Therefore, the predicted motion vector calculated using the motion vector signals 131,..., 132 is calculated as a value on the reference image.
【００５４】次に、画素位置逆変換回路２３は上記予測
動ベクトル信号１４４で表される予測動ベクトルを参照
画像番号信号１４１で示される参照画像上の値に変換
し、この変換された値を修正された予測動ベクトルと
し、修正された予測動ベクトル信号１４５を差分回路２
４に出力する。画素位置逆変換回路２３の動作は、本発
明第２の実施例で説明した画素位置逆変換回路５１、・
・・、５２の動作と同様である。Next, the pixel position inverse conversion circuit 23 converts the predicted motion vector represented by the predicted motion vector signal 144 into a value on the reference image indicated by the reference image number signal 141, and converts the converted value. The corrected predicted motion vector is set as the corrected predicted motion vector, and the corrected predicted motion vector signal 145 is used as the difference circuit 2
4 is output. The operation of the pixel position reverse conversion circuit 23 is the same as that of the pixel position reverse conversion circuit 51 described in the second embodiment of the present invention.
The operation is the same as that of 52.
【００５５】なお、ここで位置の逆変換ができない場
合、つまり相対位置信号１４３で表される相対位置に対
応するエントリがない場合には、予測動ベクトルは０ベ
クトルとなる。Here, when the position cannot be inversely transformed, that is, when there is no entry corresponding to the relative position represented by the relative position signal 143, the predicted motion vector is the zero vector.
【００５６】差分回路２４は、動ベクトル信号１４２と
修正された予測動ベクトル信号１４５とを用いて両ベク
トルの差分を計算し、この差分ベクトルを表す差分ベク
トル信号１４６を出力する。The difference circuit 24 calculates a difference between the two vectors using the motion vector signal 142 and the corrected predicted motion vector signal 145, and outputs a difference vector signal 146 representing the difference vector.
【００５７】[0057]
【発明の効果】以上の説明から明らかなように、本発明
に従えば、従来の技術で示される方法より多くの周辺の
動ベクトルを動ベクトルの予測に用いることができ、結
果として動ベクトルの予測効率が向上する。また、動ベ
クトルの予測効率が向上すれば差分ベクトル符号化に必
要なビット数が削減され、符号化効率が向上する。As is apparent from the above description, according to the present invention, more peripheral motion vectors can be used for prediction of motion vectors than the method shown in the prior art, and as a result, The prediction efficiency is improved. Also, if the prediction efficiency of the motion vector is improved, the number of bits required for differential vector coding is reduced, and the coding efficiency is improved.
【００５８】また、上記効果を達成するために必要な回
路規模を削減した上で実現できる。Further, the present invention can be realized with a reduced circuit scale required to achieve the above effects.
【００５９】ここで、符号化効率がどのように変化する
のかを、前記本発明に係る第３の実施例による動ベクト
ル予測を行なった場合、従来方法により動ベクトル予測
を行なった場合及び動ベクトル予測を全く行なわない場
合とでそれぞれ実際の動画像を用いた符号化実験により
調べた。Here, how the coding efficiency changes will be described in the case where the motion vector prediction according to the third embodiment of the present invention is performed, in the case where the motion vector prediction is performed according to the conventional method, and in the case where the motion vector prediction is performed. The cases where no prediction was performed were examined by coding experiments using actual moving images.
【００６０】参照画像としては、前回の復号画像と、そ
れをグローバル動き変換したものの２つを用いた。参照
画像と基準画像の相対位置信号は、グローバル動き変化
のパラメータに基づき１画素毎に対応位置を求めた。符
号化アルゴリズムは、ISO/IEC JTC1/SC29/WG11 CODING
OF MOVING PICTURES AND ASSOCIATED AUDIO INFORMATIO
N のグローバル動き補償コア実験仕様による。As a reference image, two images, a previously decoded image and an image obtained by performing global motion conversion on the image, were used. With respect to the relative position signal between the reference image and the reference image, a corresponding position was obtained for each pixel based on the global motion change parameter. The encoding algorithm is ISO / IEC JTC1 / SC29 / WG11 CODING
OF MOVING PICTURES AND ASSOCIATED AUDIO INFORMATIO
According to N's Global Motion Compensation Core Experimental Specification.
【００６１】[0061]
【表１】 [Table 1]
【００６２】いすれの画像においても復号画像の平均Ｓ
Ｎ比は、本発明を利用することにより０．０５ｄＢ〜
０．１ｄＢ向上している。For any image, the average S of the decoded image
The N ratio can be set to 0.05 dB or more by using the present invention.
It has improved by 0.1 dB.
【図１】本発明に係る動ベクトル予測装置の第１の実施
例の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a first embodiment of a motion vector prediction device according to the present invention.
【図２】本発明に係る動ベクトル予測装置の第２の実施
例の構成を示すブロック図である。FIG. 2 is a block diagram showing a configuration of a second embodiment of the motion vector prediction device according to the present invention.
【図３】本発明に係る動ベクトル予測装置の第３の実施
例の構成を示すブロック図である。FIG. 3 is a block diagram showing the configuration of a third embodiment of the motion vector prediction device according to the present invention.
【図４】従来の動ベクトル予測装置の構成を示すブロッ
ク図である。FIG. 4 is a block diagram illustrating a configuration of a conventional motion vector prediction device.
１ 画像記憶部 ２ 画像ブロック化部 １１、１２ 画素位置変換回路 ２１ 参照画像群と基準画像間の相対位置算出回路 ２２ 複数参照画像を用いた動ベクトル検出回路 ２３ 画素位置逆変換回路 ２４ 差分回路 ２６ 予測動ベクトル算出回路 ５１、５２ 画素位置逆変換回路 ６１ 参照画像間の相対位置算出回路 ７１、７２ 画素位置変換回路 １００ 原画像信号 １００’ ブロック化された原画像信号 １０１、１０２、１０３、１０４ 参照画像信号 １１１、１１２ 周辺ブロックの動ベクトル信号 １２１、１２２ 周辺ブロックの参照画像画像番号信号 １３１、１３２ 補正された動ベクトル信号 １４１ 動ベクトルの参照画像番号信号 １４２ 動ベクトル信号 １４３ 相対位置信号 １４４ 予測動ベクトル信号 １４５ 補正された予測動ベクトル信号 １４６ 差分ベクトル信号 １４７ 相対位置信号 １５１、１５２ 逆変換により補正された動ベクトル信
号 ２０１、２０２、２０３ 周辺ブロックの動ベクトル信
号 １０００ 基準画像信号Reference Signs List 1 image storage unit 2 image blocking unit 11, 12 pixel position conversion circuit 21 relative position calculation circuit between reference image group and reference image 22 motion vector detection circuit using multiple reference images 23 pixel position inverse conversion circuit 24 difference circuit 26 Predicted motion vector calculation circuit 51, 52 Pixel position inverse conversion circuit 61 Relative position calculation circuit between reference images 71, 72 Pixel position conversion circuit 100 Original image signal 100 'Blocked original image signal See 101, 102, 103, 104 Image signal 111, 112 Motion vector signal of peripheral block 121, 122 Reference image image number signal of peripheral block 131, 132 Corrected motion vector signal 141 Reference image number signal of motion vector 142 Motion vector signal 143 Relative position signal 144 Prediction motion Vector signal 145 Corrected predicted motion vector signal 46 difference vector signal 147 motion vector signal 1000 reference image signal of the motion vector signal 201, 202, 203 around block corrected by the relative position signal 151 inverse transform
Claims (6)
をブロックに分割する第１の分割手段と、 複数の画像を参照画像として記憶する第１の記憶手段
と、 前記原画像のそれぞれのブロックと類似する領域を前記
参照画像の中から導出し、それらの領域のその参照画像
内での位置から前記原画像のそれぞれのブロックに対応
する位置までの距離と方向とをベクトルとして算出し、
これを対応する原画像のブロックの動ベクトルとする第
１のベクトル算出手段と、 前記動ベクトルがどの参照画像から得られたのかを表す
情報を算出しこれを前記対応する原画像のブロックの参
照画像情報とする第１の参照画像情報算出手段と、 前記参照画像間のそれぞれの画素の相対位置を相対位置
ベクトルとして算出する第２のベクトル算出手段と、 前記原画像のブロックの内の１つのブロックの周辺のブ
ロックの動ベクトルを、前記原画像のブロックの内の１
つのブロックの前記参照画像情報とそれぞれの周辺のブ
ロックの前記参照画像情報と前記参照画像間のそれぞれ
の画素の相対位置ベクトルとに基づいて修正する第１の
修正手段と、 前記修正された周辺のブロックの動ベクトルから、前記
原画像のブロックの内の１つのブロックの動ベクトルを
予測しこれを前記原画像のブロックの内の１つのブロッ
クの予測動ベクトルとして算出する第１の予測動ベクト
ル算出手段と、 前記原画像のブロックの動ベクトルと該ブロックの前記
予測動ベクトルとの差分値を算出する第１の差分値算出
手段とを有することを特徴とする動ベクトル予測装置。A first dividing unit for dividing an original image into which data is encoded and transmitted, into blocks; a first storing unit for storing a plurality of images as reference images; A region similar to a block is derived from the reference image, and the distance and direction from the position of the region in the reference image to the position corresponding to each block of the original image are calculated as a vector,
A first vector calculation unit that sets this as a motion vector of a block of the corresponding original image, and calculates information indicating from which reference image the motion vector is obtained, and refers to the information of the block of the corresponding original image. A first reference image information calculation unit that sets image information; a second vector calculation unit that calculates a relative position of each pixel between the reference images as a relative position vector; one of the blocks of the original image A motion vector of a block around the block is set to one of the blocks of the original image.
First correction means for correcting based on the reference image information of one block, the reference image information of each peripheral block and a relative position vector of each pixel between the reference images, A first predicted motion vector calculation for predicting a motion vector of one of the blocks of the original image from a motion vector of the block and calculating the predicted motion vector as a predicted motion vector of one of the blocks of the original image Means for calculating a difference value between a motion vector of a block of the original image and the predicted motion vector of the block.
ックの周辺のブロックの動ベクトルを、それぞれの周辺
のブロックの前記参照画像情報と前記参照画像間のそれ
ぞれの画素の相対位置ベクトルとに基づいて修正する第
１の修正手段は、前記周辺のブロックの動ベクトルを前
記原画像のブロックの内の１つのブロックの参照画像情
報で示される画像上のどの位置に相当するのかを表すベ
クトルに修正することを特徴とする請求項１記載の動ベ
クトル予測装置。2. A motion vector of a peripheral block of one of the blocks of the original image is converted to the reference image information of each peripheral block and a relative position vector of each pixel between the reference images. A first correction unit that corrects the motion vector of the peripheral block into a vector indicating which position on the image indicated by the reference image information of one of the blocks of the original image corresponds to the motion vector of the peripheral block. 2. The motion vector prediction device according to claim 1, wherein the motion vector is corrected.
をブロックに分割する第１の分割手段と、 複数の画像を参照画像として記憶する第１の記憶手段
と、 １つの画像を基準画像として記憶する第２の記憶手段
と、 前記原画像のそれぞれのブロックと類似する領域を前記
参照画像の中から導出し、それらの領域のその参照画像
内での位置から前記原画像のそれぞれのブロックに対応
する位置までの距離と方向とをベクトルとして算出し、
これを対応する原画像のブロックの動ベクトルとする第
１のベクトル算出手段と、 前記動ベクトルがどの参照画像から得られたのかを表す
情報を算出しこれを前記対応する原画像のブロックの参
照画像情報とする第１の参照画像情報算出手段と、 前記基準画像と参照画像との間のそれぞれの画素の相対
位置を相対位置ベクトルとして算出する第２のベクトル
算出手段と、 前記原画像のブロックの内の１つのブロックの周辺のブ
ロックの動ベクトルを、それぞれの周辺のブロックの前
記参照画像情報と前記基準画像と原画像との間のそれぞ
れの画素の相対位置ベクトルとに基づいて修正する第２
の修正手段と、 前記修正された周辺のブロックの動ベクトルを、前記原
画像のブロックの１つのブロックの参照画像情報と前記
基準画像と原画像との間のそれぞれの画素の相対位置ベ
クトルとに基づき逆修正する逆修正手段と、 前記逆修正された周辺のブロックの動ベクトルから、前
記原画像のブロックの内の１つのブロックの動ベクトル
を予測しこれを前記原画像のブロックの内の１つのブロ
ックの予測動ベクトルとして算出する第２の予測動ベク
トル算出手段と、 前記原画像のブロックの動ベクトルと該ブロックの前記
予測動ベクトルとの差分値を算出する算出する第２の差
分値算出手段とを有することを特徴とする動ベクトル予
測装置。3. A first dividing means for dividing an original image into which data is encoded and transmitted, into blocks, a first storing means for storing a plurality of images as reference images, and one image as a reference image. A second storage means for storing as a region, a region similar to each block of the original image is derived from the reference image, and each block of the original image is derived from a position of the region in the reference image. Calculate the distance and direction to the position corresponding to as a vector,
A first vector calculation unit that sets this as a motion vector of a block of the corresponding original image, and calculates information indicating from which reference image the motion vector is obtained, and refers to the information of the block of the corresponding original image. A first reference image information calculation unit that sets image information; a second vector calculation unit that calculates a relative position of each pixel between the reference image and the reference image as a relative position vector; a block of the original image A motion vector of a peripheral block of one of the blocks is corrected based on the reference image information of each peripheral block and a relative position vector of each pixel between the reference image and the original image. 2
And correcting the corrected motion vector of the peripheral block into the reference image information of one of the blocks of the original image and the relative position vector of each pixel between the reference image and the original image. An inverse correction means for performing an inverse correction based on the motion vector of a block of the original image, which is predicted from the motion vector of the peripheral block which has been inversely corrected, and predicting the motion vector of one of the blocks of the original image. Second predictive motion vector calculating means for calculating as a predictive motion vector of one block, and second difference value calculation for calculating a difference value between the motion vector of the block of the original image and the predictive motion vector of the block Means for predicting a motion vector.
をブロックに分割する第１の分割手段と、 複数の画像を参照画像として記憶する第１の記憶手段
と、 １つの画像を基準画像として記憶する第２の記憶手段
と、 前記原画像のそれぞれのブロックと類似する領域を前記
参照画像の中から導出し、それらの領域のその参照画像
内での位置から前記原画像のそれぞれのブロックに対応
する位置までの距離と方向とをベクトルとして算出し、
これを対応する原画像のブロックの動ベクトルとする第
１のベクトル算出手段と、 前記動ベクトルがどの参照画像から得られたのかを表す
情報を算出しこれを前記対応する原画像のブロックの参
照画像情報とする第１の参照画像情報算出手段と、 前記基準画像と参照画像との間のそれぞれの画素の相対
位置を相対位置ベクトルとして算出する第２のベクトル
算出手段と、 前記原画像のブロックの内の１つのブロックの周辺のブ
ロックの動ベクトルを、それぞれの周辺のブロックの前
記参照画像情報と前記基準画像と参照画像との間のそれ
ぞれの画素の相対位置ベクトルとに基づいて修正する第
２の修正手段と、 前記修正された原画像のブロックの内の１つのブロック
の周辺のブロックの動ベクトルから、前記原画像のブロ
ックの内の１つのブロックの動ベクトルを予測動ベクト
ルとして予測する第２の予測動ベクトル算出手段と、 前記予測動ベクトルを、前記対応する原画像のブロック
の参照画像情報と前記基準画像と原画像との間のそれぞ
れの画素の相対位置ベクトルとに基づき逆修正する第２
の逆修正手段と、 前記逆修正された予測動ベクトルと前記原画像のブロッ
クの前記動ベクトルとの差分値を算出する第３の差分値
算出手段とを有することを特徴とする動ベクトル予測装
置。4. A first dividing means for dividing an original image into which data is encoded and transmitted, into blocks, a first storing means for storing a plurality of images as reference images, and one image as a reference image. A second storage means for storing as a region, a region similar to each block of the original image is derived from the reference image, and each block of the original image is derived from a position of the region in the reference image. Calculate the distance and direction to the position corresponding to as a vector,
A first vector calculation unit that sets this as a motion vector of a block of the corresponding original image, and calculates information indicating from which reference image the motion vector is obtained, and refers to the information of the block of the corresponding original image. A first reference image information calculation unit that sets image information; a second vector calculation unit that calculates a relative position of each pixel between the reference image and the reference image as a relative position vector; a block of the original image A motion vector of a block around one of the blocks is corrected based on the reference image information of each peripheral block and a relative position vector of each pixel between the reference image and the reference image. 2 from the motion vector of a block around one of the blocks of the modified original image, and one of the blocks of the original image Second predicted motion vector calculating means for predicting a motion vector of a block as a predicted motion vector; and a step of calculating the predicted motion vector between reference image information of the corresponding block of the original image and the reference image and the original image. 2nd inverse correction based on the relative position vector of the pixel
And a third difference value calculating means for calculating a difference value between the inversely corrected predicted motion vector and the motion vector of the block of the original image. .
れの画素の相対位置を相対位置ベクトルとして算出する
第２のベクトル算出手段は、該相対位置ベクトルの大き
さが所定の閾値よりも大きいときは前記基準画像と参照
画像との間のそれぞれの画素は対応づけが不可能である
として該相対位置ベクトルを無効にすることを特徴とす
る請求項３又は４に記載の動ベクトル予測装置。5. A second vector calculating means for calculating a relative position of each pixel between the reference image and the reference image as a relative position vector, the magnitude of the relative position vector being larger than a predetermined threshold value 5. The motion vector predicting apparatus according to claim 3, wherein the relative position vector is invalidated when it is impossible to associate each pixel between the reference image and the reference image.
ックの周辺のブロックの動ベクトルを、それぞれの周辺
のブロックの前記参照画像情報と前記基準画像と参照画
像との間のそれぞれの画素の相対位置ベクトルとに基づ
いて修正する第２の修正手段は、該動ベクトルを、該動
ベクトルが示す位置が前記参照画像情報で示される画像
上のどの位置に相当するのかを表すベクトルに修正する
ことを特徴とする請求項３から５のいずれかに記載の動
ベクトル予測装置。6. A motion vector of a peripheral block of one of the blocks of the original image is calculated by using the reference image information of each peripheral block and each pixel between the reference image and the reference image. The second correction unit that corrects based on the relative position vector corrects the motion vector to a vector indicating which position on the image indicated by the reference image information corresponds to the position indicated by the motion vector. The motion vector prediction device according to any one of claims 3 to 5, wherein:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28568796A JP2861971B2 (en) | 1996-10-28 | 1996-10-28 | Motion vector prediction device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28568796A JP2861971B2 (en) | 1996-10-28 | 1996-10-28 | Motion vector prediction device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10136374A true JPH10136374A (en) | 1998-05-22 |
| JP2861971B2 JP2861971B2 (en) | 1999-02-24 |
Family
ID=17694751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28568796A Expired - Fee Related JP2861971B2 (en) | 1996-10-28 | 1996-10-28 | Motion vector prediction device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2861971B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6426976B1 (en) | 1997-12-01 | 2002-07-30 | Samsung Electronics Co., Ltd. | Motion vector prediction method |
| WO2003063502A1 (en) * | 2002-01-18 | 2003-07-31 | Kabushiki Kaisha Toshiba | Moving picture coding method and apparatus and decoding method and apparatus |
| JP2005184694A (en) * | 2003-12-22 | 2005-07-07 | Canon Inc | Moving image coder and control method thereof, and program |
| WO2008053746A1 (en) * | 2006-10-30 | 2008-05-08 | Nippon Telegraph And Telephone Corporation | Predictive reference information generation method, dynamic image encoding and decoding method, device thereof, program thereof, and storage medium containing the program |
-
1996
- 1996-10-28 JP JP28568796A patent/JP2861971B2/en not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6426976B1 (en) | 1997-12-01 | 2002-07-30 | Samsung Electronics Co., Ltd. | Motion vector prediction method |
| USRE40372E1 (en) | 1997-12-01 | 2008-06-10 | Samsung Electronics Co., Ltd. | Motion vector prediction method |
| WO2003063502A1 (en) * | 2002-01-18 | 2003-07-31 | Kabushiki Kaisha Toshiba | Moving picture coding method and apparatus and decoding method and apparatus |
| JP2005184694A (en) * | 2003-12-22 | 2005-07-07 | Canon Inc | Moving image coder and control method thereof, and program |
| JP4591657B2 (en) * | 2003-12-22 | 2010-12-01 | キヤノン株式会社 | Moving picture encoding apparatus, control method therefor, and program |
| US8064521B2 (en) | 2003-12-22 | 2011-11-22 | Canon Kabushiki Kaisha | Motion image coding apparatus, and control method and program of the apparatus |
| WO2008053746A1 (en) * | 2006-10-30 | 2008-05-08 | Nippon Telegraph And Telephone Corporation | Predictive reference information generation method, dynamic image encoding and decoding method, device thereof, program thereof, and storage medium containing the program |
| KR101023263B1 (en) * | 2006-10-30 | 2011-03-21 | 니폰덴신뎅와 가부시키가이샤 | Predictive reference information generation method, dynamic image encoding and decoding method, device thereof, and storage medium containing the program thereof |
| JP4999859B2 (en) * | 2006-10-30 | 2012-08-15 | 日本電信電話株式会社 | Prediction reference information generation method, moving image encoding and decoding method, apparatus thereof, program thereof, and storage medium storing the program |
| US8355438B2 (en) | 2006-10-30 | 2013-01-15 | Nippon Telegraph And Telephone Corporation | Predicted reference information generating method, video encoding and decoding methods, apparatuses therefor, programs therefor, and storage media which store the programs |
| US8675735B2 (en) | 2006-10-30 | 2014-03-18 | Nippon Telegraph And Telephone Corporation | Predicted reference information generating method, video encoding and decoding methods, apparatuses therefor, programs therefor, and storage media which store the programs |
| TWI502968B (en) * | 2006-10-30 | 2015-10-01 | Nippon Telegraph & Telephone | Prediction reference data generating method, video encoding method and decoding method, programs therefor, and storage media for storing the programs |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2861971B2 (en) | 1999-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6418168B1 (en) | Motion vector detection apparatus, method of the same, and image processing apparatus | |
| US8009923B2 (en) | Method and system for motion estimation with multiple vector candidates | |
| US7778328B2 (en) | Semantics-based motion estimation for multi-view video coding | |
| US6549576B1 (en) | Motion vector detecting method and apparatus | |
| US20060002470A1 (en) | Motion vector detection circuit, image encoding circuit, motion vector detection method and image encoding method | |
| JP2938412B2 (en) | Method for compensating luminance change of moving image, moving image encoding device, moving image decoding device, recording medium recording moving image encoding or decoding program, and recording medium recording moving image encoded data | |
| US20020131500A1 (en) | Method for determining a motion vector for a video signal | |
| US6611559B1 (en) | Apparatus and method of detecting motion vectors by calculating a correlation degree between each candidate block | |
| JP2861971B2 (en) | Motion vector prediction device | |
| US7522748B2 (en) | Method and apparatus for processing image data and semiconductor storage device | |
| JP2005167976A (en) | Motion vector detecting device and motion vector detecting program | |
| JP3175914B2 (en) | Image encoding method and image encoding device | |
| JP3537616B2 (en) | Motion estimation method by computer for temporally consecutive image pixels of video sequence | |
| JP2642160B2 (en) | Motion detection method of image processing device | |
| JP3150627B2 (en) | Re-encoding method of decoded signal | |
| JP3941900B2 (en) | Motion vector detection device | |
| JP3046689B2 (en) | Motion vector detection method | |
| JP2000324495A (en) | Device and method for converting field frequency | |
| JP2897669B2 (en) | Motion vector detection device | |
| WO1999038331A1 (en) | Device and method for detecting moving vector | |
| JP5089632B2 (en) | Video decoding device | |
| JP3210828B2 (en) | Motion vector detection method | |
| KR100275543B1 (en) | A high-speed mapping parameter detection device and its detection method | |
| JP2937134B2 (en) | Motion vector search method | |
| JP3171249B2 (en) | Motion vector search method for video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19981110 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071211 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081211 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091211 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |