JP2008263661A - Motion vector decoding apparatus and decoding method - Google Patents
Motion vector decoding apparatus and decoding method Download PDFInfo
- Publication number
- JP2008263661A JP2008263661A JP2008203945A JP2008203945A JP2008263661A JP 2008263661 A JP2008263661 A JP 2008263661A JP 2008203945 A JP2008203945 A JP 2008203945A JP 2008203945 A JP2008203945 A JP 2008203945A JP 2008263661 A JP2008263661 A JP 2008263661A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- encoding
- vector
- prediction
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、動画像の動きベクトルデータの符号化データを復号する装置および方法に係わる。 The present invention relates to an apparatus and method for decoding encoded data of motion vector data of a moving image.
動画像データは、一般に、データ量が大きいので、送信装置から受信装置へ伝送される際、あるいは記憶装置に格納される際などには、高能率符号化が行われる。ここで、「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。 Since moving image data generally has a large amount of data, high-efficiency encoding is performed when it is transmitted from a transmission device to a reception device or stored in a storage device. Here, “high-efficiency encoding” refers to an encoding process for converting a data string into another data string and compressing the data amount.
動画像データの高能率符号化方法としては、フレーム間予測符号化方法が知られている。この符号化方法では、動画像データが時間方向に相関性が高いことを利用する。すなわち、動画像データは、一般に、あるタイミングのフレームデータと次のタイミングのフレームデータとの類似度が高いことが多いので、フレーム間予測符号化方法では、その性質を使用する。例えば、フレーム間予測符号化方法を用いたデータ伝送システムでは、送信装置において、前フレームの画像から対象フレームの画像への「動き」を表す動きベクトルデータ、及びその前フレームの画像からその動きベクトルデータを用いて作成した対象フレームの予測画像と対象フレームの実際の画像との差分データを生成し、それら動きベクトルデータおよび差分データを受信装置に送出する。一方、受信装置は、受信した動きベクトルデータおよび差分データから対象フレームの画像を再生する。 As a high-efficiency encoding method for moving image data, an inter-frame predictive encoding method is known. This encoding method utilizes the fact that moving image data is highly correlated in the time direction. That is, moving image data generally has a high degree of similarity between frame data at a certain timing and frame data at the next timing. Therefore, the interframe predictive coding method uses the property. For example, in a data transmission system using an inter-frame predictive coding method, in a transmission device, motion vector data representing “motion” from an image of a previous frame to an image of a target frame, and the motion vector from the image of the previous frame Difference data between the predicted image of the target frame created using the data and the actual image of the target frame is generated, and the motion vector data and the difference data are transmitted to the receiving device. On the other hand, the receiving device reproduces the image of the target frame from the received motion vector data and difference data.
上記符号化において、対象フレームとその前のフレームとの相関性が高いと、動きベクトルデータおよび差分データの情報量は小さくなる。
上述のフレーム間予測符号化方法は、ITU-T H.261 、ITU-T H.263 、ISO/IEC MPEG-1、ISO/IEC MPEG-2などの標準方式において採用されている。また、これらの標準方式では、動きベクトルデータを符号化する方法として、予測符号が用いられている。以下、一例としてITU-T H.263 を採り上げて、動きベクトルデータを符号化する方法を説明する。
In the above encoding, if the correlation between the target frame and the previous frame is high, the information amounts of the motion vector data and the difference data are small.
The inter-frame predictive coding method described above is adopted in standard systems such as ITU-T H.261, ITU-T H.263, ISO / IEC MPEG-1, ISO / IEC MPEG-2. In these standard methods, a prediction code is used as a method of encoding motion vector data. Hereinafter, a method for encoding motion vector data will be described by taking ITU-T H.263 as an example.
予測符号化方法では、図12に示すように、各フレームの画像が複数のブロック(B11、B12、B13、B14、...)に分割され、ブロック毎に画像データが符号化される。すなわち、ブロック毎に、その対象ブロック内の画像と類似している画像を前フレームの画像の中から抽出し、その抽出した画像と対象ブロック内の画像との差分を求める。このことにより、冗長性が取り除かれた差分画像データが得られる。また、このとき、対象ブロックの動きベクトルデータも求めておく。そして、ブロック毎にこれらの差分画像データおよび動きベクトルデータをそれぞれ符号化することにより、伝送すべきデータを圧縮する。 In the predictive encoding method, as shown in FIG. 12, the image of each frame is divided into a plurality of blocks (B11, B12, B13, B14,...), And image data is encoded for each block. That is, for each block, an image similar to the image in the target block is extracted from the image of the previous frame, and the difference between the extracted image and the image in the target block is obtained. Thus, difference image data from which redundancy is removed is obtained. At this time, motion vector data of the target block is also obtained. Then, the difference image data and the motion vector data are encoded for each block, thereby compressing the data to be transmitted.
あるブロック(符号化対象ブロック)の動きベクトルデータを符号化する場合には、まず、その符号化対象ブロックの近傍のブロックの動きベクトルに基づいて、その符号化対象ブロックの動きベクトルの予測値(以下、予測ベクトル)を求める。ここで、この予測に利用される近傍ブロックは、先に符号化処理がされているものが選ばれる。一般に、符号化処理の順番は、図12に示すように、左上隅のブロックから開始されて、各ラインごとに1ブロックずつ行われる。この場合、あるブロックを符号化する際には、そのブロックの上のラインに位置するブロック、およびそのブロックの左側に位置するブロックについては既に符号化処理が終了していることになる。したがって、例えば、ブロックB22の動きベクトルを符号化する際には、ブロックB11、B12、B13、B14、...およびブロックB21の動きベクトルを利用することができる。 When encoding motion vector data of a certain block (encoding target block), first, based on the motion vector of a block in the vicinity of the encoding target block, the predicted value of the motion vector of the encoding target block ( Hereinafter, a prediction vector) is obtained. Here, the neighborhood block used for the prediction is selected to have been previously encoded. In general, as shown in FIG. 12, the order of the encoding process starts from the block at the upper left corner and is performed one block at a time for each line. In this case, when a certain block is encoded, the encoding process has already been completed for the block located on the line above the block and the block located on the left side of the block. Therefore, for example, when the motion vector of the block B22 is encoded, the blocks B11, B12, B13, B14,. . . The motion vector of block B21 can be used.
ITU-T H.263 では、符号化対象ブロックの動きベクトルを予測する際には、その符号化対象ブロックの上のブロック、右上のブロック、および左のブロックが利用される。即ち、例えば、図12に示すブロックB22の動きベクトルを符号化する際には、ブロックB12、B13、およびB21の動きベクトルが利用される。 In ITU-T H.263, when a motion vector of an encoding target block is predicted, a block above the encoding target block, an upper right block, and a left block are used. That is, for example, when the motion vector of the block B22 shown in FIG. 12 is encoded, the motion vectors of the blocks B12, B13, and B21 are used.
符号化対象ブロックの予測ベクトルを得ると、次に、その符号化対象ブロックの実際の動きベクトルとその予測ベクトルとの差分ベクトル(あるいは、予測誤差ベクトル)を求める。そして、この差分ベクトルのX成分およびY成分をそれぞれ可変長符号を用いて符号化する。可変長符号は、たとえば、ハフマン符号である。 When the prediction vector of the encoding target block is obtained, a difference vector (or prediction error vector) between the actual motion vector of the encoding target block and the prediction vector is obtained. Then, the X component and the Y component of the difference vector are each encoded using a variable length code. The variable length code is, for example, a Huffman code.
図13を参照しながら具体例を説明する。図13では、符号化対象ブロックの実際の動きベクトルを(MVx ,MVy )、符号化対象ブロックの予測ベクトルを求めるために利用する近傍ブロックB1 〜B3 の各動きベクトルを、それぞれ(PMV1x,PMV1y)、(PMV2x,PMV2y)、(PMV3x,PMV3y)としている。ここで、符号化対象ブロックの予測ベクトルのX成分は、PMV1x、PMV2x、PMV3xのメディアン値として得られ、また、そのY成分は、PMV1y、PMV2y、PMV3yのメディアン値として得られる。そして、下式により各差分ベクトルデータ(差分ベクトルのX成分およびY成分)を求める。 A specific example will be described with reference to FIG. In FIG. 13, the actual motion vectors of the encoding target block are (MVx, MVy), and the motion vectors of the neighboring blocks B1 to B3 used for obtaining the prediction vector of the encoding target block are (PMV1x, PMV1y), respectively. , (PMV2x, PMV2y), (PMV3x, PMV3y). Here, the X component of the prediction vector of the encoding target block is obtained as the median value of PMV1x, PMV2x, and PMV3x, and the Y component is obtained as the median value of PMV1y, PMV2y, and PMV3y. And each difference vector data (X component and Y component of a difference vector) is calculated | required by the following Formula.
差分ベクトルデータ(x) = MVx - Median(PMV1x, PMV2x, PMV3x)
差分ベクトルデータ(y) = MVy - Median(PMV1y, PMV2y, PMV3y)
各差分ベクトルデータは、図14に示す可変長符号を用いて符号化される。図14に示す符号は、ITU-T H.263 において使用されている符号である。
Difference vector data (x) = MVx-Median (PMV1x, PMV2x, PMV3x)
Difference vector data (y) = MVy-Median (PMV1y, PMV2y, PMV3y)
Each difference vector data is encoded using a variable length code shown in FIG. The code | symbol shown in FIG. 14 is a code | symbol used in ITU-T H.263.
この符号では、発生頻度が高い差分ベクトルデータに対してデータ長の短いデータ列が割り当てられ、一方、発生頻度が低い差分ベクトルデータに対してデータ長の短いデータ列が割り当てられている。差分ベクトルデータの発生頻度は、予め統計的に求められている。したがって、このような符号を使用することにより、データ長が短い動きベクトルデータが伝送される確率が高くなるので、各ブロックの動きベクトルデータの平均情報量が小さくなる。 In this code, a data string having a short data length is assigned to difference vector data having a high occurrence frequency, while a data string having a short data length is assigned to difference vector data having a low occurrence frequency. The occurrence frequency of the difference vector data is statistically obtained in advance. Therefore, by using such a code, the probability that motion vector data having a short data length is transmitted is increased, so that the average information amount of motion vector data of each block is reduced.
このように、ITU-T H.263 等の符号化方法を利用した伝送システムでは、動きベクトルに係わるデータが予測ベクトルを用いて圧縮され、伝送すべき情報量が小さくなるので、伝送効率が高い。 As described above, in a transmission system using an encoding method such as ITU-T H.263, the data related to the motion vector is compressed using the prediction vector, and the amount of information to be transmitted is reduced, so that the transmission efficiency is high. .
既存の予測符号化方法で広く使用されている符号では、図14に示すように、小さい差分ベクトルデータに対してデータ長の短いデータ列が割り当てられている。ここで、画像の変化が少ないシーン、或いは画像が均一に変化するようなシーンでは、予測ベクトルの予測精度が高くなり、差分ベクトルデータが小さい値になる。したがって、これらのシーンでは、符号化された動きベクトルデータの情報量は小さくなる。 In codes widely used in existing predictive encoding methods, as shown in FIG. 14, a data string having a short data length is assigned to small difference vector data. Here, in a scene where the image changes little or a scene where the image changes uniformly, the prediction vector prediction accuracy is high and the difference vector data is a small value. Therefore, in these scenes, the information amount of the encoded motion vector data is small.
図15を参照しながら具体例を示す。図15(a) は、画像の変化が少ないシーンの動きベクトルの例である。ここでは、符号化対象ブロックの実際の動きベクトルが(1,0)、符号化対象ブロックの近傍のブロックB1 〜B3 の動きベクトルがそれぞれ(0,0)、(0,0)、(1,0)であるものとしている。この場合、符号化対象ブロックの予測ベクトルのX成分およびY成分は、それぞれ下式により得られる。 A specific example is shown with reference to FIG. FIG. 15A shows an example of a motion vector of a scene with little image change. Here, the actual motion vector of the encoding target block is (1, 0), and the motion vectors of the blocks B1 to B3 in the vicinity of the encoding target block are (0, 0), (0, 0), (1, 0). In this case, the X component and the Y component of the prediction vector of the encoding target block are obtained by the following equations, respectively.
予測ベクトル(x) = Median(0,0,1)=0
予測ベクトル(y) = Median(0,0,0)=0
したがって、「予測ベクトル=(0,0)」が得られる。
Prediction vector (x) = Median (0, 0, 1) = 0
Prediction vector (y) = Median (0, 0, 0) = 0
Therefore, “predicted vector = (0, 0)” is obtained.
また、符号化対象ブロックの差分ベクトルは下式により得られる。
差分ベクトル=符号化対象ブロックの実際の動きベクトル−予測ベクトル
=(1,0)−(0,0)
=(1,0)
ここで、「差分ベクトルデータ(差分ベクトルの成分)=1」のときは、図14に示す符号を使用する場合、符号化動きベクトルデータとして「0010」が得られる。また、「差分ベクトルデータ=0」のときは、符号化動きベクトルデータとして「1」が得られる。したがって、このブロックについて伝送すべき符号化動きベクトルデータは、5ビットである。
Further, the difference vector of the encoding target block is obtained by the following equation.
Difference vector = actual motion vector of the encoding target block−predicted vector
= (1,0)-(0,0)
= (1,0)
Here, when “difference vector data (difference vector component) = 1”, “0010” is obtained as encoded motion vector data when the code shown in FIG. 14 is used. When “difference vector data = 0”, “1” is obtained as the encoded motion vector data. Therefore, the encoded motion vector data to be transmitted for this block is 5 bits.
このように、画像の変化が少ないシーンでは、差分ベクトルデータが小さくなり、伝送すべき符号化動きベクトルデータの情報量が小さくなる。
図15(b) は、画像の変化がほぼ均一なシーンの動きベクトルの例である。ここでは、符号化対象ブロックの実際の動きベクトルが(10,−9)であり、また、符号化対象ブロックの近傍のブロックB1 〜B3 の動きベクトルが(10,−10)、(9,−9)、(9,−9)であるものとしている。この場合、「差分ベクトル=(1,0)」が得られる。したがって、画像の変化が均一なシーンにおいても、差分ベクトルデータが小さくなり、伝送すべき符号化動きベクトルデータの情報量が小さくなる。
In this way, in a scene with little image change, the difference vector data is small, and the information amount of the encoded motion vector data to be transmitted is small.
FIG. 15B shows an example of a motion vector of a scene in which the image changes are almost uniform. Here, the actual motion vector of the encoding target block is (10, −9), and the motion vectors of the blocks B1 to B3 in the vicinity of the encoding target block are (10, −10), (9, − 9) and (9, -9). In this case, “difference vector = (1, 0)” is obtained. Therefore, even in a scene where the image changes are uniform, the difference vector data is small, and the information amount of the encoded motion vector data to be transmitted is small.
ところが、画像の動きが乱雑なシーンでは、予測ベクトルの予測精度が低くなり、差分ベクトルデータが大きくなる。このため、このようなシーンでは、伝送すべき符号化動きベクトルデータの情報量が大きくなってしまう。図16を参照しながら具体例を示す。 However, in a scene where the motion of the image is messy, the prediction accuracy of the prediction vector is low, and the difference vector data is large. For this reason, in such a scene, the information amount of the encoded motion vector data to be transmitted becomes large. A specific example is shown with reference to FIG.
図16では、符号化対象ブロックの実際の動きベクトルが(4,2)、符号化対象ブロックの近傍のブロックB1 〜B3 の動きベクトルがそれぞれ(−10,4)、(−10,−10)、(4,−10)であるものとしている。この場合、符号化対象ブロックの予測ベクトルは、近傍ブロックの動きベクトルを用いて以下のようにして得られる。 In FIG. 16, the actual motion vector of the encoding target block is (4, 2), and the motion vectors of the blocks B1 to B3 in the vicinity of the encoding target block are (-10, 4), (-10, -10), respectively. , (4, −10). In this case, the prediction vector of the encoding target block is obtained as follows using the motion vector of the neighboring block.
予測ベクトル(x) = Median(−10,−10,4)=−10
予測ベクトル(y) = Median(4,−10,−10)=−10
したがって、
予測ベクトル=(−10,−10)
また、符号化対象ブロックの差分ベクトルは下式により得られる。
Prediction vector (x) = Median (-10, -10, 4) = -10
Prediction vector (y) = Median (4, -10, -10) = -10
Therefore,
Prediction vector = (− 10, −10)
Further, the difference vector of the encoding target block is obtained by the following equation.
差分ベクトル=符号化対象ブロックの実際の動きベクトル−予測ベクトル
=(4,2)−(−10,−10)
=(14,12)
ここで、「差分ベクトルデータ=12」のときは、図14に示す符号を使用する場合、伝送すべき動きベクトルデータとして「00000001000」が得られる。同様に、「差分ベクトルデータ=14」のときは、伝送すべき動きベクトルデータとして「000000001000」が得られる。従って、このブロックについて伝送すべき符号化動きベクトルデータは、23ビットである。このように、画像の動きが乱雑なシーンでは、差分ベクトルデータが大きくなってしまう、伝送すべき符号化動きベクトルデータの情報量も大きくなってしまう。
Difference vector = actual motion vector of the encoding target block−predicted vector
= (4,2)-(-10, -10)
= (14, 12)
Here, when “difference vector data = 12”, when the code shown in FIG. 14 is used, “000000011000” is obtained as motion vector data to be transmitted. Similarly, when “difference vector data = 14”, “000000001000” is obtained as motion vector data to be transmitted. Therefore, the encoded motion vector data to be transmitted for this block is 23 bits. As described above, in a scene where the motion of the image is messy, the difference vector data becomes large, and the information amount of the encoded motion vector data to be transmitted also becomes large.
上述したように、動画像データは、伝送効率を高めるために予測符号により圧縮されるが、画像の性質によっては、その圧縮率が十分とは言えなかった。
本発明の課題は、予測符号を用いて動画像データを符号化する際の効率を向上させることである。
As described above, moving image data is compressed by a prediction code in order to increase transmission efficiency, but depending on the nature of the image, the compression rate is not sufficient.
The subject of this invention is improving the efficiency at the time of encoding moving image data using a prediction code.
本発明の動きベクトル復号装置は、動画像データの各フレームを分割することによって得られる各ブロックの動きベクトルを近傍ブロックの動きベクトルを用いて予測符号化することによって得られる符号化結果を復号する動きベクトル復号装置であって、以下の手段を有する。予測手段は、対象ブロックの少なくとも左および上に隣接するブロックの動きベクトルに基づいてその対象ブロックの動きベクトルを予測する。判定手段は、対象ブロックの少なくとも左および上に隣接するブロックの動きベクトル間の差分絶対値を基準として対象ブロックの動きベクトルの予測値の精度を判定する。そして、復号手段は、前記判定手段による判定結果に基づいて、予測値の精度により、符号化時に選ばれた複数のエントロピー符号化方法のうちの動きベクトルの符号化結果として得られる動きベクトルデータの情報量が少なくなることが期待されるエントロピー符号化方法に対応するエントロピー復号方法で対象ブロックの動きベクトルを前記予測手段による予測結果を利用して復号する。 The motion vector decoding apparatus of the present invention decodes a coding result obtained by predictively coding a motion vector of each block obtained by dividing each frame of moving image data using a motion vector of a neighboring block. A motion vector decoding device having the following means. The prediction means predicts a motion vector of the target block based on a motion vector of a block adjacent to at least left and above the target block. The determination unit determines the accuracy of the predicted value of the motion vector of the target block on the basis of the absolute value of the difference between the motion vectors of blocks adjacent to at least left and above the target block. Then, based on the determination result by the determination unit, the decoding unit determines the motion vector data obtained as a motion vector encoding result among a plurality of entropy encoding methods selected at the time of encoding based on the accuracy of the prediction value. The motion vector of the target block is decoded using the prediction result by the prediction means by an entropy decoding method corresponding to the entropy encoding method expected to reduce the amount of information.
上記構成において、動きベクトルの復号に際しては、その動きベクトルの予測値が利用される。対象ブロックの少なくとも左および上に隣接するブロックの動きベクトルが乱雑なとき、すなわち一様でないときは、上記動きベクトルの予測精度が低くなると推定される。したがって、復号手段は、その予測精度に応じて適切な復号方法を選択する。 In the above configuration, when a motion vector is decoded, a predicted value of the motion vector is used. When the motion vectors of blocks adjacent to at least the left and above the target block are random, that is, not uniform, it is estimated that the prediction accuracy of the motion vector is low. Therefore, the decoding means selects an appropriate decoding method according to the prediction accuracy.
この構成により、画像の性質に対して最適な符号化方法で動きベクトルが符号化されるので、情報量が削減されて符号化効率が向上する。 With this configuration, since the motion vector is encoded by an encoding method that is optimal for the nature of the image, the amount of information is reduced and the encoding efficiency is improved.
本発明では、動きベクトルの符号化において、対象動きベクトルの周辺で既に符号化されている複数の動きベクトルに基づいて決定される最適な符号化方法で対象ベクトルを符号化するので、符号化結果の情報量が削減される。また、このようにして符号化されたデータを復号する際には、符号化方法を表す付加情報を必要とすることなく、その符号化方法に対応する復号方法を認識できる。 In the present invention, in encoding a motion vector, the target vector is encoded by an optimal encoding method determined based on a plurality of motion vectors already encoded around the target motion vector. The amount of information is reduced. Further, when decoding data encoded in this way, it is possible to recognize a decoding method corresponding to the encoding method without requiring additional information indicating the encoding method.
本実施形態の動きベクトル符号化装置および動きベクトル復号装置は、たとえば、図1に示すような動画像データを伝送するシステムにおいて使用される。この伝送システムでは、動画像データの各フレームは、図12に示したように、それぞれ複数のブロックに分割されてブロックごとに符号化/復号化される。 The motion vector encoding device and motion vector decoding device of this embodiment are used in a system for transmitting moving image data as shown in FIG. 1, for example. In this transmission system, each frame of moving image data is divided into a plurality of blocks and encoded / decoded for each block, as shown in FIG.
フレーム間予測符号化装置10は、係数符号化ユニット11および動きベクトル符号化ユニット12を備え、原画像データを符号化して出力する。なお、フレーム間予測符号化装置10は、必ずしも動画像データの全てのフレームに対してフレーム間予測符号化処理を行うのではなく、必要に応じてフレーム内符号化処理を行う機能を備えている。
The inter-frame
係数符号化ユニット11は、ブロック毎に係数情報を符号化することによって得られる符号化係数データを生成する。また、動きベクトル符号化ユニット12は、ブロック毎に動きベクトルに係わる情報を符号化することによって得られる符号化動きベクトルデータを生成する。
The
フレーム間予測復号装置20は、係数復号ユニット21および動きベクトル復号ユニット22を備え、フレーム間予測符号化装置10によって符号化された符号化係数データおよび符号化動きベクトルデータに基づいて画像データを再生する。
The inter-frame
本実施形態の動きベクトル符号化装置および動きベクトル復号装置は、図1に示すシステムにおいては、それぞれ動きベクトル符号化ユニット12および動きベクトル復号ユニット22に相当する。
The motion vector encoding device and the motion vector decoding device of the present embodiment correspond to the motion
図2は、フレーム間予測符号化装置のブロック図である。このフレーム間予測符号化装置の構成は、既知であり、たとえば、ITU-T H.263 等の符号化方法において使用されているものと基本的に同じである。本実施形態の動きベクトル符号化装置は、図2においてはベクトルエントロピー符号化回路41に相当し、この回路の機能が既存のベクトルエントロピー符号化回路の機能と異なっている。ベクトルエントロピー符号化回路41の構成および動作については後述詳しく説明する。以下、既存の回路部分の動作を簡単に説明する。 FIG. 2 is a block diagram of the inter-frame prediction encoding apparatus. The configuration of this interframe predictive coding apparatus is known and is basically the same as that used in the coding method such as ITU-T H.263. The motion vector encoding device of this embodiment corresponds to the vector entropy encoding circuit 41 in FIG. 2, and the function of this circuit is different from the function of the existing vector entropy encoding circuit. The configuration and operation of the vector entropy encoding circuit 41 will be described in detail later. The operation of the existing circuit portion will be briefly described below.
フレーム間予測符号化装置10は、原画像データがフレームごとに入力されると、そのフレームを分割することによって得られる複数のブロックについて順番に符号化処理を実行していく。直交変換回路31は、ブロック毎に画像データを周波数成分に分解する。量子化回路32は、直交変換回路31の出力を量子化する。量子化回路32の出力は、しばしば「係数データ」と呼ばれている。
When the original image data is input for each frame, the inter-frame
逆量子化回路33、逆直交変換回路34、および復号画像生成回路35は、復号装置(図1においては、フレーム間予測復号装置20)において再生されるであろう画像と同じ画像を生成するために設けられている。これらの回路により生成された画像は、復号画像記憶回路36に格納される。
The
動きベクトル計算回路37は、復号画像記憶回路36に格納されている画像および新たに入力された画像に基づいて動きベクトルを計算する。ブロック毎に動きベクトルを求める方法は既知の技術である。予測画像生成回路38は、復号画像記憶回路36に格納されている画像および動きベクトル計算回路37によって算出された動きベクトルに基づいて予測画像を生成する。すなわち、予測画像生成回路38は、あるタイミングのフレームの画像から次のタイミングのフレームの画像を予測し、その予測画像を出力する。この予測画像は、復号装置においても同様に生成される画像である。
The motion
予測誤差信号生成回路39は、実際に入力された画像と予測画像生成回路38によって生成された予測画像との誤差を表す信号を生成する。この予測誤差信号が復号装置へ伝送される信号である。予測誤差信号は、符号化して伝送される。すなわち、まず、直交変換回路31および量子化回路32によって予測誤差信号の係数データが求められる。そして、係数エントロピー符号化回路40がこの係数データを符号化して出力する。
The prediction error signal generation circuit 39 generates a signal representing an error between the actually input image and the prediction image generated by the prediction
なお、フレーム間予測符号化装置10は、必用に応じてフレーム内符号を用いることもある。この場合、予測誤差信号生成回路39には、予測画像生成回路38によって生成された予測画像ではなく、「0」が与えられる。
Note that the inter-frame
ベクトルエントロピー符号化回路41は、ブロック毎に動きベクトルデータを符号化する。そして、多重化回路42は、係数エントロピー符号化回路40によって符号化された符号化係数データ、およびベクトルエントロピー符号化回路41によって符号化された符号化動きベクトルデータを多重化して出力する。
The vector entropy encoding circuit 41 encodes motion vector data for each block. The multiplexing circuit 42 multiplexes the encoded coefficient data encoded by the coefficient
復号装置は、上述したように、フレーム間予測符号化装置10で生成する予測画像と同じ予測画像を生成する。そして、その予測画像、および受信した予測誤差信号および動きベクトルを用いて原画像を再生する。
As described above, the decoding device generates the same prediction image as the prediction image generated by the inter-frame
図3は、本実施形態の動きベクトル符号化装置の基本構成図である。この符号化装置は、図2においてはベクトルエントロピー符号化回路41に対応する。
本実施形態の動きベクトル符号化装置50は、既存の符号化装置と同様に、符号化対象ブロックの動きベクトルを符号化する際には、(1) 符号化対象ブロックの近傍のブロックの動きベクトルからその符号化対象ブロックの予測ベクトルを作成し、(2) 符号化対象ブロックの実際の動きベクトルと予測ベクトルとの差分ベクトルを求め、(3) 差分ベクトルの各成分を符号化することにより符号化動きベクトルデータを生成する。
FIG. 3 is a basic configuration diagram of the motion vector encoding device of the present embodiment. This encoding apparatus corresponds to the vector entropy encoding circuit 41 in FIG.
The motion vector encoding device 50 according to the present embodiment, when encoding the motion vector of the encoding target block, as in the existing encoding device, (1) motion vectors of blocks in the vicinity of the encoding target block (2) Find the difference vector between the actual motion vector of the block to be encoded and the prediction vector, and (3) Encode each component of the difference vector by encoding Generalized motion vector data is generated.
動きベクトル符号化装置50は、判定部51、符号化部52a〜52n、および選択部53を備える。判定部51には、符号化対象ブロックが属するフレーム内の一部または全部のブロックの動きベクトル(判定用動きベクトル)が与えられる。判定部51は、与えられた動きベクトルの中から、先に符号化処理がされているブロックであって上記符号化対象ブロックの近傍のブロックの動きベクトルを複数選択する。そして、判定部51は、選択した複数の動きベクトルに基づいて、予測ベクトルの予測精度を推定する。具体的には、判定部51は、上記選択した複数の動きベクトルの「乱雑さ」或いは「均一さ」に基づいて、上記予測ベクトルの予測精度を推定する。 The motion vector encoding device 50 includes a determination unit 51, encoding units 52a to 52n, and a selection unit 53. The determination unit 51 is given motion vectors (determination motion vectors) of some or all of the blocks in the frame to which the block to be encoded belongs. The determination unit 51 selects a plurality of motion vectors of blocks that have been previously encoded and are adjacent to the encoding target block, from among the given motion vectors. Then, the determination unit 51 estimates the prediction accuracy of the prediction vector based on the selected plurality of motion vectors. Specifically, the determination unit 51 estimates the prediction accuracy of the prediction vector based on “randomness” or “uniformity” of the selected plurality of motion vectors.
「複数の動きベクトルが均一」とは、複数の動きベクトルが互いに同じであることをいう。例えば、画像の変化が少ないシーンでは、各ブロックの動きベクトルは、図15(a) に示したように、すべて「0ベクトル」またはベクトル長の短いベクトルとなる。すなわち、複数の動きベクトルは、ほぼ均一になる。また、画像の変化がほぼ均一なシーンでは、各ブロックの動きベクトルは、それぞれ一定の長さを持つが、図15(b) に示したように、その長さおよび方向はほぼ均一である。すなわち、この場合も、複数の動きベクトルは、ほぼ均一になる。 “Multiple motion vectors are uniform” means that the plurality of motion vectors are the same. For example, in a scene with little change in image, the motion vectors of each block are all “0 vectors” or vectors with a short vector length, as shown in FIG. That is, the plurality of motion vectors are substantially uniform. In a scene in which the image changes are almost uniform, the motion vectors of the blocks have a certain length, but the length and direction are almost uniform as shown in FIG. That is, also in this case, the plurality of motion vectors are substantially uniform.
一方、「複数の動きベクトルが乱雑」とは、互いに隣接する複数のブロックの動きベクトルが互いに異なっている(均一でない)ことをいう。たとえば、画像の動きが乱雑なシーンでは、各ブロックの動きベクトルは、図16に示したように、非均一になる。 On the other hand, “a plurality of motion vectors are random” means that the motion vectors of a plurality of adjacent blocks are different (not uniform). For example, in a scene where the motion of the image is messy, the motion vector of each block becomes non-uniform as shown in FIG.
符号化部52a〜52nには、それぞれ、符号化対象ブロックの動きベクトルおよび符号化対象ブロックの近傍のブロックの動きベクトルが与えられる。ここで、近傍ブロックの動きベクトル(予測用動きベクトル)として、判定部51が予測ベクトルの予測精度を推定する際に利用した動きベクトルと同じものを使用してもよいし、異なるものを使用してもよい。 Each of the encoding units 52a to 52n is provided with a motion vector of the encoding target block and a motion vector of a block near the encoding target block. Here, as the motion vector of the neighboring block (prediction motion vector), the same motion vector used when the determination unit 51 estimates the prediction accuracy of the prediction vector may be used, or a different one may be used. May be.
符号化部52a〜52nにおいて、複数の予測用動きベクトルから予測ベクトルが生成され、更に、符号化対象ブロックの動きベクトルとその予測ベクトルとの差分ベクトルが求められる。この差分ベクトルは、予測誤差を表すベクトルである。そして、各符号化部52a〜52nは、互いに異なる符号を用いて上記差分ベクトルの各成分をそれぞれ符号化する。 In the encoding units 52a to 52n, a prediction vector is generated from a plurality of motion vectors for prediction, and a difference vector between the motion vector of the block to be encoded and the prediction vector is obtained. This difference vector is a vector representing a prediction error. And each encoding part 52a-52n each encodes each component of the said difference vector using a mutually different code | symbol.
選択部53は、判定部51によって推定された予測ベクトルの予測精度に基づいて、符号化部52a〜52nの中の1つを選択する。具体的には、選択部53は、動きベクトル符号化装置50による符号化結果の情報量が最小になるような符号化部を選択する。そして、選択部53は、選択した符号化部による符号化結果を符号化動きベクトルデータとして出力する。 The selection unit 53 selects one of the encoding units 52a to 52n based on the prediction accuracy of the prediction vector estimated by the determination unit 51. Specifically, the selection unit 53 selects an encoding unit that minimizes the information amount of the encoding result by the motion vector encoding device 50. Then, the selection unit 53 outputs the encoding result by the selected encoding unit as encoded motion vector data.
上記構成において、判定部51は、符号化対象ブロックの動きベクトルを符号化する際には、先に符号化処理がされているブロックの動きベクトルを用いて予測ベクトルの予測精度を推定する。そして、選択部53は、このようにして推定した予測精度に従って符号化部を選択する。すなわち、この符号化装置では、符号化対象ブロックの動きベクトルデータを符号化する際に、先に符号化処理がされている動きベクトルに基づいて符号化方法が決定される。 In the above configuration, the determination unit 51 estimates the prediction accuracy of the prediction vector using the motion vector of the block that has been previously encoded when encoding the motion vector of the encoding target block. Then, the selection unit 53 selects an encoding unit according to the prediction accuracy estimated in this way. That is, in this encoding apparatus, when encoding the motion vector data of the encoding target block, the encoding method is determined based on the motion vector that has been previously encoded.
このような構成にすると、復号装置は、符号化方法に係わる情報を符号化装置から受け取ることなく、その符号化装置で選択された符号化方法を認識できる。すなわち、復号装置の構成を上記符号化装置と等価にすれば、復号装置において対象動きベクトルを復号する際には、その動きベクトルを符号化した符号化方法を決定するために利用された動きベクトルが既に復号されていることになる。したがって、復号装置は、その既に復号されている動きベクトルを利用して、符号化装置で選択された符号化方法を認識できる。そして、復号装置は、その認識した符号化方法に対応する復号方法で受信データを復号する。 With this configuration, the decoding apparatus can recognize the encoding method selected by the encoding apparatus without receiving information related to the encoding method from the encoding apparatus. That is, if the configuration of the decoding apparatus is equivalent to that of the above encoding apparatus, when decoding the target motion vector in the decoding apparatus, the motion vector used to determine the encoding method for encoding the motion vector Has already been decrypted. Therefore, the decoding apparatus can recognize the encoding method selected by the encoding apparatus using the already decoded motion vector. Then, the decoding device decodes the received data by a decoding method corresponding to the recognized encoding method.
上記構成において、画像の変化が少ないとき、或いは画像の変化が均一なときは、一般に、符号化対象ブロックの予測ベクトルの予測精度が高い。この予測精度が高いと、差分ベクトルが小さくなる可能性が高くなる。一方、画像の動きが乱雑になると、一般に、予測ベクトルの予測精度が低くなり、差分ベクトルが大きくなる可能性が高くなる。このことは、統計的に解析されている。従って、差分ベクトルの大きさの発生頻度の確率分布は、画像の性質に従って推定することができる。 In the above configuration, when the image change is small or the image change is uniform, the prediction accuracy of the prediction vector of the encoding target block is generally high. When this prediction accuracy is high, the possibility that the difference vector becomes small increases. On the other hand, when the motion of an image becomes messy, generally the prediction accuracy of a prediction vector becomes low, and the possibility that the difference vector becomes large increases. This has been statistically analyzed. Therefore, the probability distribution of the occurrence frequency of the difference vector size can be estimated according to the property of the image.
本実施形態では、この性質を考慮してブロック毎に符号化方法を決定する。すなわち、動きベクトル符号化装置50は、符号化対象ブロックの動きベクトルを符号化する際には、近傍ブロックの動きベクトルを用いて近傍領域の画像の性質を認識し、その認識結果に基づいて符号化方法を選択する。従って、画像の性質に対して最適な符号化方法を選択することができる。ここで、「最適」とは、符号化結果として得られる符号化動きベクトルデータの情報量が最小になることをいう。 In the present embodiment, the encoding method is determined for each block in consideration of this property. That is, when encoding the motion vector of the current block, the motion vector encoding device 50 recognizes the nature of the image in the neighboring region using the motion vector of the neighboring block, and performs coding based on the recognition result. Select the conversion method. Therefore, it is possible to select an encoding method that is optimal for the image properties. Here, “optimal” means that the information amount of the encoded motion vector data obtained as the encoding result is minimized.
図4は、本発明の動きベクトル符号化装置の一実施例のブロック図である。この動きベクトル符号化装置60は、動きベクトルのX成分およびY成分を個別に符号化する。第1の判定部61、予測誤差生成部62、可変長符号化部63aおよび63b、第1の選択部64は、動きベクトルのX成分を符号化するために動作し、第2の判定部65、予測誤差生成部66、可変長符号化部67aおよび67b、第2の選択部68は、Y成分を符号化するために動作する。
FIG. 4 is a block diagram of an embodiment of the motion vector encoding device of the present invention. The motion vector encoding device 60 individually encodes the X component and the Y component of the motion vector. The first determination unit 61, the prediction
X成分を符号化するための構成およびY成分を符号化するための構成は、互いに同じ構成であってもよいが、実施例の符号化装置では、これらの構成が互いに異なっている。具体的には、第1の判定部61の機能と第2の判定部65の機能とが互いに異なる。 The configuration for encoding the X component and the configuration for encoding the Y component may be the same as each other, but these configurations are different from each other in the encoding apparatus of the embodiment. Specifically, the function of the first determination unit 61 and the function of the second determination unit 65 are different from each other.
予測誤差生成部62は、予測誤差データとして差分ベクトルのX成分を生成する。差分ベクトルの生成方法は、ITU-T H.263 等の符号化方法において使用されているものと基本的に同じである。以下、図5を参照しながら予測誤差生成部62の動作を説明する。
The prediction
予測誤差生成部62には、符号化対象ブロックの動きベクトルのX成分、および複数の近傍ブロックの動きベクトルのX成分が与えられる。ここで利用される近傍ブロックは、図13に示したように、符号化対象ブロックの上隣に位置するブロック、右上に位置するブロック、および左隣に位置するブロックである。これら3つのブロックの動きベクトルは、符号化対象動きベクトルの符号化処理の際には、既に符号化されている。
The prediction
予測誤差生成部62は、与えられた3つの動きベクトルのX成分のメディアン値(すなわち、中間値)を求める。このメディアン値は、予測ベクトルのX成分に相当する。そして、予測誤差生成部62は、符号化対象ブロックの動きベクトルのX成分とそのメディアン値(予測ベクトルのX成分)との差分を出力する。この差分データは、X成分の予測誤差値であり、差分ベクトルのX成分に相当する。
The prediction
なお、本実施形態では、可変長符号化部63aおよび63bによって提供される各符号化方法に対して同一アルゴリズムで予測誤差を生成する。従って、予測誤差生成部62は、可変長符号化部63aおよび63bによって共用される。すなわち、予測誤差生成部62により生成される予測誤差データが可変長符号化部63aおよび63bに与えられる。
In the present embodiment, a prediction error is generated with the same algorithm for each encoding method provided by the variable length encoding units 63a and 63b. Therefore, the prediction
予測誤差生成部66は、基本的に予測誤差生成部62と同じ構成であり、Y成分の予測誤差データを生成する。
可変長符号化部63aおよび63bは、互いに異なる可変長符号を利用して予測誤差生成部62によって生成された予測誤差データを符号化する。可変長符号化部63aは、図6に示す「可変長符号1」を用いる。「可変長符号1」は、ITU-T H.263 等において使用されている符号であり、小さい予測誤差(差分値)に対してデータ長の短いデータ列が割り当てられ、大きい予測誤差に対してデータ長の長いデータ列が割り当てられている。従って、複数の近傍ブロックの動きベクトルが一様であるときは、予測誤差が小さくなる可能性が高いので、この「可変長符号1」を用いれば、符号化結果のデータ長が短くなる。すなわち、画像の変化が少ないとき、或いは画像の変化が均一なときは、「可変長符号1」を用いれば、符号化結果の平均データ長が短くなり、符号化効率が向上する。
The prediction error generation unit 66 basically has the same configuration as the prediction
The variable length encoding units 63a and 63b encode the prediction error data generated by the prediction
可変長符号化部63bは、図6に示す「可変長符号2」を用いる。「可変長符号2」は、「可変長符号1」と比較した場合、予測誤差が小さいときには符号化結果のデータ長が長くなるが、予測誤差が大きくなると符号化結果のデータ長が短くなる。たとえば、予測誤差が「15.5」のときは、「可変長符号1」による符号化結果のデータ長は13ビットであるのに対し、「可変長符号2」による符号化結果のデータ長は8ビットになる。
The variable length encoding unit 63b uses “
したがって、複数の近傍ブロックの動きベクトルが乱雑であるときは、予測ベクトルの精度が低く、予測誤差が大きくなる可能性が高くなるので、「可変長符号2」を用いれば、符号化結果のデータ長が短くなることが期待される。すなわち、画像の変化が乱雑なとき等は、「可変長符号2」を用いれば、符号化結果の平均データ長が短くなり、符号化効率が向上する。
Therefore, when the motion vectors of a plurality of neighboring blocks are messy, the accuracy of the prediction vector is low and the prediction error is likely to increase. Therefore, if “
可変長符号化部63aおよび63bは、図6に示す符号化パターンが登録されたテーブルを備える。これらのテーブルは、メモリ上に作成される。そして、可変長符号化部63aおよび63bは、与えられた予測誤差データをキーとしてそのテーブルから対応するデータ列を取得し、その取得したデータ列を符号化結果として出力する。 The variable length encoding units 63a and 63b include a table in which the encoding patterns shown in FIG. 6 are registered. These tables are created on the memory. Then, the variable length encoding units 63a and 63b acquire a corresponding data string from the table using the given prediction error data as a key, and output the acquired data string as an encoding result.
なお、可変長符号化部67aおよび67bは、それぞれ基本的に可変長符号化部63aおよび63bと同じである。すなわち、可変長符号化部67aおよび67bは、それぞれ「可変長符号1」および「可変長符号2」を用いて予測誤差生成部66により生成された予測誤差データを符号化する。
Note that the variable length coding units 67a and 67b are basically the same as the variable length coding units 63a and 63b, respectively. That is, the variable length encoding units 67a and 67b encode the prediction error data generated by the prediction error generation unit 66 using “
第1の判定部61は、符号化対象ブロックの予測ベクトルの精度を推定し、その推定結果に基づいて第1の選択部64に与える選択指示を生成する。ここで、予測ベクトルの精度は、符号化対象ブロックの近傍のブロックの動きベクトルに基づいて推定されるので、その精度は、近傍領域の画像の性質に依存する。 The first determination unit 61 estimates the accuracy of the prediction vector of the encoding target block, and generates a selection instruction to be given to the first selection unit 64 based on the estimation result. Here, since the accuracy of the prediction vector is estimated based on the motion vector of the block near the encoding target block, the accuracy depends on the property of the image in the neighborhood region.
第1の判定部61によって生成される選択指示は、可変長符号化部63aまたは63bのうちで符号化結果の情報量が小さくなることが期待される可変長符号化部を指定する信号である。以下、図7を参照しながら第1の判定部61の動作を説明する。 The selection instruction generated by the first determination unit 61 is a signal that designates a variable-length encoding unit that is expected to reduce the information amount of the encoding result among the variable-length encoding units 63a or 63b. . Hereinafter, the operation of the first determination unit 61 will be described with reference to FIG.
第1の判定部61は、上述した3つの近傍ブロックの動きベクトルに基づいて符号化対象ブロックの周辺の動きベクトルの一様性または乱雑さを判断する。具体的には、第1の判定部61は、下記の条件1または条件2の少なくとも一方が満たされたときには「乱雑」であるとみなし、条件1および条件2が共に満たされなかったときには「一様」とみなす。
The first determination unit 61 determines the uniformity or randomness of the motion vectors around the encoding target block based on the motion vectors of the three neighboring blocks described above. Specifically, the first determination unit 61 considers that it is “messy” when at least one of the
条件1:|PMV1x−PMV2x|>閾値1 且つ
|PMV1x−PMV3x|>閾値1 且つ
|PMV2x−PMV3x|>閾値1
条件2:|PMV1y−PMV2y|>閾値1 且つ
|PMV1y−PMV3y|>閾値1 且つ
|PMV2y−PMV3y|>閾値1
上記アルゴリズムによれば、近傍ブロックの動きベクトルのX成分またはY成分のいずれか一方が一様でなかったときに「乱雑」と判定される。なお、「閾値1」は、シミュレーションまたは実験などにより決定される。
Condition 1: | PMV1x-PMV2x |>
| PMV1x-PMV3x |>
| PMV2x-PMV3x |>
Condition 2: | PMV1y-PMV2y |>
| PMV1y-PMV3y |>
| PMV2y-PMV3y |>
According to the above algorithm, it is determined as “messy” when either the X component or the Y component of the motion vector of the neighboring block is not uniform. The “
第1の判定部61は、近傍ブロックの動きベクトルが「一様」である判定したときには、符号化対象ブロックの周辺領域の画像の変化が一様であり、また、予測ベクトルの予測精度が高いものとみなし、第1の選択部64に対して、可変長符号化部63aによる符号化結果を選択する旨を指示する。一方、近傍ブロックの動きベクトルが「乱雑」である判定したときには、第1の判定部61は、符号化対象ブロックの周辺領域の画像の変化が乱雑であし、また、予測ベクトルの予測精度が低いものとみなし、第1の選択部64に対して、可変長符号化部63bによる符号化結果を選択する旨を指示する。 When the first determination unit 61 determines that the motion vector of the neighboring block is “uniform”, the change in the image in the peripheral region of the encoding target block is uniform, and the prediction vector has high prediction accuracy. The first selection unit 64 is instructed to select the encoding result by the variable length encoding unit 63a. On the other hand, when it is determined that the motion vector of the neighboring block is “messy”, the first determination unit 61 has a random change in the image in the peripheral region of the block to be encoded, and the prediction vector has low prediction accuracy. The first selection unit 64 is instructed to select the encoding result by the variable length encoding unit 63b.
第1の選択部64は、第1の判定部61から指示を受け取ると、その指示に従って可変長符号化部63aまたは63bによる符号化結果を選択して出力する。この第1の選択部64の出力は、符号化動きベクトルデータのX成分である。 When receiving an instruction from the first determination unit 61, the first selection unit 64 selects and outputs the encoding result by the variable length encoding unit 63a or 63b according to the instruction. The output of the first selection unit 64 is the X component of the encoded motion vector data.
第2の判定部65は、第1の判定部61と同様に、符号化対象ブロックの予測ベクトルの精度を推定し、その推定結果に基づいて第2の選択部68に与える選択指示を生成する。この指示は、可変長符号化部67aまたは67bのうちで符号化結果の情報量が小さくなることが期待される可変長符号化部を指定する信号である。ただし、第2の判定部65は、第1の判定部61とは異なる基準に基づいて予測ベクトルの精度を推定する。以下、図8を参照しながら第2の判定部65の動作を説明する。 Similar to the first determination unit 61, the second determination unit 65 estimates the accuracy of the prediction vector of the encoding target block, and generates a selection instruction to be given to the second selection unit 68 based on the estimation result. . This instruction is a signal that designates a variable-length encoding unit that is expected to reduce the information amount of the encoding result among the variable-length encoding units 67a or 67b. However, the second determination unit 65 estimates the accuracy of the prediction vector based on a standard different from that of the first determination unit 61. Hereinafter, the operation of the second determination unit 65 will be described with reference to FIG.
第2の判定部65には、上述した3つの近傍ブロックの動きベクトルに加え、符号化対象動きベクトルのX成分も合わせて与えられる。なお、動きベクトル符号化装置60は、符号化対象動きベクトルのX成分(MVx )を符号化した後にそのY成分を符号化するものとする。 In addition to the motion vectors of the three neighboring blocks described above, the X component of the motion vector to be encoded is also given to the second determination unit 65. It is assumed that the motion vector encoding device 60 encodes the Y component after encoding the X component (MVx) of the motion vector to be encoded.
第2の判定部65は、下記の条件1〜条件3の少なくとも1つが満たされたときは動きベクトルが「乱雑」であるとみなし、条件1〜条件3がすべて満たされなかったときには「一様」とみなす。
The second determination unit 65 regards the motion vector as “messy” when at least one of the following
条件1:|PMV1x−PMV2x|>閾値1 且つ
|PMV1x−PMV3x|>閾値1 且つ
|PMV2x−PMV3x|>閾値1
条件2:|PMV1y−PMV2y|>閾値1 且つ
|PMV1y−PMV3y|>閾値1 且つ
|PMV2y−PMV3y|>閾値1
条件3:|MVx −Median(PMV1x,PMV2x,PMV3x)|>閾値2
第3の条件において、「Median(PMV1x,PMV2x,PMV3x)」は、予測ベクトルのX成分を求める演算である。すなわち、第3の条件は、符号化対象動きベクトルのX成分が予測値から大きく外れているか否かを判定するためのものである。ここで、予測値は、近傍ブロックの動きベクトルから算出される。したがって、第3の条件は、「近傍ブロックの動きベクトルが均一である状態において、符号化対象の動きベクトルだけがそれら近傍ブロックの動きベクトルから大きく異なっている」を検出するために使用される。
Condition 1: | PMV1x-PMV2x |>
| PMV1x-PMV3x |>
| PMV2x-PMV3x |>
Condition 2: | PMV1y-PMV2y |>
| PMV1y-PMV3y |>
| PMV2y-PMV3y |>
Condition 3: | MVx-Median (PMV1x, PMV2x, PMV3x) |>
In the third condition, “Median (PMV1x, PMV2x, PMV3x)” is an operation for obtaining the X component of the prediction vector. That is, the third condition is for determining whether or not the X component of the motion vector to be encoded is greatly deviated from the predicted value. Here, the predicted value is calculated from the motion vector of the neighboring block. Therefore, the third condition is used to detect “in the state where the motion vectors of the neighboring blocks are uniform, only the motion vector to be encoded is greatly different from the motion vectors of the neighboring blocks”.
第2の判定部65は、上記条件1〜条件3が1つも満たされていないときは、第2の選択部68に対して、可変長符号化部67aによる符号化結果を選択する旨を指示する。一方、上記条件1〜条件3の少なくとも1つが満たされたときには、第2の選択部68に対して、可変長符号化部67bによる符号化結果を選択する旨を指示する。
The second determination unit 65 instructs the second selection unit 68 to select the encoding result by the variable length encoding unit 67a when none of the
第2の選択部68は、第1の選択部64と同様に、第2の判定部65から指示を受け取ると、その指示に従って可変長符号化部67aまたは67bによる符号化結果を選択して出力する。この第2の選択部68の出力は、符号化動きベクトルデータのY成分である。 Similar to the first selection unit 64, when receiving an instruction from the second determination unit 65, the second selection unit 68 selects and outputs the encoding result by the variable length encoding unit 67a or 67b according to the instruction. To do. The output of the second selection unit 68 is the Y component of the encoded motion vector data.
このように、第2の判定部65は、第3の条件を導入することにより、予測誤差が大きくなる可能性を第1の判定部61よりも高い精度で推定できる。したがって、第2の判定部65では、最適な符号化方法を選択できる可能性が高くなるので、符号化効率が大幅に向上する。 As described above, the second determination unit 65 can estimate the possibility that the prediction error is increased with higher accuracy than the first determination unit 61 by introducing the third condition. Therefore, the second determination unit 65 is highly likely to be able to select an optimal encoding method, so that the encoding efficiency is greatly improved.
図9は、動きベクトル符号化装置60の動作を説明するためのフローチャートである。このフローチャートの処理は、1つの動きベクトルを符号化する毎に実行される。
ステップS1〜S5は、X成分についての符号化処理である。ステップS1では、先に符号化したベクトルに基づいて対象ベクトルのX成分の符号化方法を決定する。この処理は、第1の判定部61により実行される。
FIG. 9 is a flowchart for explaining the operation of the motion vector encoding device 60. The process of this flowchart is executed every time one motion vector is encoded.
Steps S1 to S5 are encoding processing for the X component. In step S1, the encoding method of the X component of the target vector is determined based on the previously encoded vector. This process is executed by the first determination unit 61.
ステップS2〜4では、それぞれ符号化方法1〜Nにより、対象ベクトルのX成分を符号化する。具体的には、予測誤差を算出し、符号化方法1〜Nによりその予測誤差をそれぞれ符号化する。この処理は、予測誤差生成部62、および可変長符号化部63aおよび63bにより実行される。
In steps S2 to S4, the X component of the target vector is encoded by encoding
ステップS5では、ステップS2〜S4においてそれぞれ生成された符号化結果の中から、ステップS1で決定された符号化方法による符号化結果を選択して出力する。この処理は、第1の選択部64により実行される。 In step S5, the encoding result by the encoding method determined in step S1 is selected and output from the encoding results generated in steps S2 to S4, respectively. This process is executed by the first selection unit 64.
ステップS6〜S10は、Y成分についての符号化処理である。ステップS6では、先に符号化したベクトルおよび対象ベクトルのX成分に基づいて、対象ベクトルのY成分の符号化方法を決定する。この処理は、第2の判定部65により実行される。 Steps S6 to S10 are encoding processing for the Y component. In step S6, the encoding method for the Y component of the target vector is determined based on the previously encoded vector and the X component of the target vector. This process is executed by the second determination unit 65.
ステップS7〜9では、基本的にステップS2〜S4と同じであり、それぞれ符号化方法1〜Nにより、対象ベクトルのY成分を符号化する。具体的には、予測誤差を算出し、符号化方法1〜Nによりその予測誤差をそれぞれ符号化する。この処理は、予測誤差生成部66、および可変長符号化部67aおよび67bにより実行される。
Steps S7 to 9 are basically the same as steps S2 to S4, and the Y component of the target vector is encoded by encoding
ステップS10では、基本的にステップS5と同じであり、ステップS7〜S9においてそれぞれ生成された符号化結果の中から、ステップS6で決定された符号化方法による符号化結果を選択して出力する。この処理は、第2の選択部68により実行される。 Step S10 is basically the same as step S5, and selects and outputs the encoding result by the encoding method determined in step S6 from the encoding results generated in steps S7 to S9. This process is executed by the second selection unit 68.
なお、図4に示す動きベクトル符号化装置60の各ユニット61〜68は、ソフトウェアで実現してもよいし、ハードウェアで実現してもよい。ソフトウェアで実現する場合には、動きベクトル符号化装置60は、少なくともCPUおよびメモリを備え、図9に示したフローチャートの処理を記述したプログラムをそのCPUに実行させることにより図4〜図8を参照しながら説明した機能を提供する。 Note that the units 61 to 68 of the motion vector encoding device 60 shown in FIG. 4 may be realized by software or hardware. When realized by software, the motion vector encoding device 60 includes at least a CPU and a memory, and causes the CPU to execute a program describing the processing of the flowchart shown in FIG. 9, thereby referring to FIGS. 4 to 8. While providing the functions described.
次に、上記構成の動きベクトル符号化装置によって符号化された動きベクトルを復号する装置について説明する。
図10は、動きベクトル復号装置の一実施例のブロック図である。動きベクトル復号装置70は、第1の判定部61、第1の選択部64、第2の判定部65、および第2の選択部68を備える。これらの各ユニット61、64、65、68は、動きベクトル符号化装置60に設けられているものと同じである。また、可変長復号部71a、71b、73a、73bは、それぞれ動きベクトル符号化装置60に設けられている可変長復号部63a、63b、67a、67bに対応する復号処理を行う。すなわち、可変長復号部71aおよび73aは、「可変長符号1」を用いて符号化動きベクトルデータを復号し、可変長復号部71bおよび73bは、「可変長符号2」を用いて符号化動きベクトルデータを復号する。
Next, an apparatus for decoding a motion vector encoded by the motion vector encoding apparatus having the above configuration will be described.
FIG. 10 is a block diagram of an embodiment of a motion vector decoding apparatus. The motion vector decoding device 70 includes a first determination unit 61, a first selection unit 64, a second determination unit 65, and a second selection unit 68. These units 61, 64, 65, 68 are the same as those provided in the motion vector encoding device 60. The variable length decoding units 71a, 71b, 73a, and 73b perform decoding processes corresponding to the variable length decoding units 63a, 63b, 67a, and 67b provided in the motion vector encoding device 60, respectively. That is, the variable length decoding units 71a and 73a decode the encoded motion vector data using “
動きベクトル復号装置70は、動きベクトル符号化装置60による符号化順序と同じ順序でブロック毎に符号化動きベクトルデータを復号する。すなわち、動きベクトル復号装置70は、図12に示した順番で、ブロックごとに符号化動きベクトルデータから動きベクトルを再生する。ここで、動きベクトル符号化装置60は、対象ベクトルよりも先に符号化処理がされているベクトルを利用して対象ベクトルを符号化するので、動きベクトル復号装置70において対象ベクトルを復号する際には、その対象ベクトルを符号化するために利用されたベクトルは既に復号されていることになる。たとえば、図13に示す対象ブロックの動きベクトルを復号する際には、近傍ブロックB1〜B3の動きベクトルはすべて動きベクトル復号装置70によって復号されている。したがって、この場合、動きベクトル復号装置70は、この対象動きベクトルを復号する際、近傍ブロックB1〜B3の動きベクトルを利用することができる。 The motion vector decoding device 70 decodes the encoded motion vector data for each block in the same order as the encoding order by the motion vector encoding device 60. That is, the motion vector decoding apparatus 70 reproduces motion vectors from the encoded motion vector data for each block in the order shown in FIG. Here, since the motion vector encoding device 60 encodes the target vector using a vector that has been encoded before the target vector, when the motion vector decoding device 70 decodes the target vector, Means that the vector used to encode the target vector has already been decoded. For example, when the motion vectors of the target block shown in FIG. 13 are decoded, all the motion vectors of the neighboring blocks B1 to B3 are decoded by the motion vector decoding device 70. Therefore, in this case, the motion vector decoding device 70 can use the motion vectors of the neighboring blocks B1 to B3 when decoding the target motion vector.
上記構成において、第1の判定部61は、3つの近傍ブロックの動きベクトルに基づいて復号方法を決定する。このとき利用する3つの動きベクトルは、動きベクトル復号装置70が受信した符号化動きベクトルデータから再生したものである。すなわち、第1の判定部61は、動きベクトル符号化装置60から符号化方法を表す付加情報を受け取ることなく、その符号化方法を認識できる。 In the above configuration, the first determination unit 61 determines a decoding method based on the motion vectors of three neighboring blocks. The three motion vectors used at this time are reproduced from the encoded motion vector data received by the motion vector decoding device 70. That is, the first determination unit 61 can recognize the encoding method without receiving additional information representing the encoding method from the motion vector encoding device 60.
可変長復号部71aおよび71bは、それぞれ動きベクトル符号化装置60から受信した符号化動きベクトルデータから予測誤差を再生する。そして、第1の選択部64は、第1の判定部61の指示に従って、可変長復号部71aまたは71bによる復号結果を選択して出力する。この第1の選択部64の出力は、X成分の予測誤差である。 The variable length decoding units 71a and 71b reproduce the prediction error from the encoded motion vector data received from the motion vector encoding device 60, respectively. Then, the first selection unit 64 selects and outputs the decoding result by the variable length decoding unit 71a or 71b in accordance with the instruction of the first determination unit 61. The output of the first selection unit 64 is an X component prediction error.
ベクトル再生部72は、図11に示すように、近傍ブロックの動きベクトルの各X成分が与えられ、そのメディアン値を出力する。このメディアン値は、予測ベクトルのX成分である。そして、ベクトル再生部72は、予測ベクトルのX成分に第1の選択部64の出力である予測誤差を加算することにより、対象ブロックの動きベクトルのX成分を再生する。
As shown in FIG. 11, the
対象ブロックの動きベクトルのY成分を再生する動作は、X成分を再生する動作と基本的に同じである。ただし、第2の判定部65は、復号方法を決定するために、近傍ブロックの動きベクトルだけでなく、ベクトル再生部72によって再生された対象ブロックの動きベクトルのX成分も利用する。このことは、図8を参照しながら説明した通りである。
The operation of reproducing the Y component of the motion vector of the target block is basically the same as the operation of reproducing the X component. However, the second determination unit 65 uses not only the motion vector of the neighboring block but also the X component of the motion vector of the target block reproduced by the
このように、本実施形態では、対象ブロックの動きベクトルは、その対象ブロックの近傍のブロックの動きベクトルに基づいて決まる符号化方法で符号化される。また、対象ブロックの符号化動きベクトルデータは、その対象ブロックの近傍のブロックの動きベクトルに基づいて決まる復号方法で復号される。したがって、画像の局所的な性質に対応して最適な符号を使用することができ、符号化効率が高くなる。 Thus, in this embodiment, the motion vector of the target block is encoded by an encoding method that is determined based on the motion vectors of blocks near the target block. Also, the encoded motion vector data of the target block is decoded by a decoding method determined based on the motion vectors of blocks near the target block. Therefore, an optimum code can be used corresponding to the local nature of the image, and the coding efficiency is increased.
なお、上記実施例では、3つの近傍ブロックの動きベクトルを利用して符号化方法を決定しているが、本発明は、この構成に限定されるものではなく、複数の近傍ブロックの動きベクトルを利用する構成に適用可能である。 In the above embodiment, the coding method is determined using the motion vectors of three neighboring blocks. However, the present invention is not limited to this configuration, and the motion vectors of a plurality of neighboring blocks are used. Applicable to the configuration to be used.
また、上記実施例は、画像データを伝送するシステムを前提としているが、本発明は、この構成に限定されるものではなく、たとえば、画像データを格納する装置にも適用可能である。 Moreover, although the said Example presupposes the system which transmits image data, this invention is not limited to this structure, For example, it can apply also to the apparatus which stores image data.
10 フレーム間予測符号化装置
11 係数符号化ユニット
12 動きベクトル符号化ユニット
20 フレーム間予測復号装置
21 係数復号ユニット
22 動きベクトル復号ユニット
37 動きベクトル計算回路
41 ベクトルエントロピー符号化回路
51 判定部
52a〜52n 符号化部
53 選択部
61 第1の判定部
62、66 予測誤差生成部
63a、63b 可変長符号化部
64 第1の選択部
65 第2の判定部
67a、67b 可変長符号化部
68 第2の選択部
71a、71b 可変長復号部
72、74 ベクトル再生部
73a、73b 可変長復号部
DESCRIPTION OF
Claims (2)
対象ブロックの少なくとも左および上に隣接するブロックの動きベクトルに基づいてその対象ブロックの動きベクトルを予測する予測手段と、
対象ブロックの少なくとも左および上に隣接するブロックの動きベクトル間の差分絶対値を基準として対象ブロックの動きベクトルの予測値の精度を判定する判定手段と、
前記判定手段による判定結果に基づいて、予測値の精度により、符号化時に選ばれた複数のエントロピー符号化方法のうちの動きベクトルの符号化結果として得られる動きベクトルデータの情報量が少なくなることが期待されるエントロピー符号化方法に対応するエントロピー復号方法で対象ブロックの動きベクトルを前記予測手段による予測結果を利用して復号する復号手段と、
を有する動きベクトル復号装置。 A motion vector decoding device that decodes an encoding result obtained by predictively encoding a motion vector of each block obtained by dividing each frame of moving image data using a motion vector of a neighboring block,
Prediction means for predicting a motion vector of the target block based on a motion vector of a block adjacent to at least left and above the target block;
Determination means for determining the accuracy of the predicted value of the motion vector of the target block on the basis of the absolute value of the difference between the motion vectors of blocks adjacent to at least left and above the target block;
Based on the determination result by the determination means, the information amount of the motion vector data obtained as the motion vector encoding result among the plurality of entropy encoding methods selected at the time of encoding is reduced due to the accuracy of the prediction value. Decoding means for decoding the motion vector of the target block using a prediction result by the prediction means in an entropy decoding method corresponding to an entropy encoding method expected to be
A motion vector decoding apparatus.
対象ブロックの少なくとも左および上に隣接するブロックの動きベクトルに基づいてその対象ブロックの動きベクトルを予測するステップと、
対象ブロックの少なくとも左および上に隣接するブロックの動きベクトル間の差分絶対値に基づいて対象ブロックの動きベクトルの予測値の精度を判定するステップと、
判定ステップにて判定した動きベクトルの予測値の精度により、符号化時に選ばれた複数のエントロピー符号化方法のうちの動きベクトルの符号化結果として得られる動きベクトルデータの情報量が少なくなることが期待されるエントロピー符号化方法に対応するエントロピー復号方法で対象ブロックの動きベクトルを上記予測ステップで予測した結果を利用して復号するステップと、
を有する動きベクトル復号方法。 A motion vector decoding method for decoding a coding result obtained by predictively coding a motion vector of each block obtained by dividing each frame of moving image data using a motion vector of a neighboring block,
Predicting a motion vector of the target block based on a motion vector of a block adjacent to at least left and above the target block;
Determining the accuracy of the predicted value of the motion vector of the target block based on the absolute value of the difference between the motion vectors of the adjacent blocks at least on the left and above the target block;
Depending on the accuracy of the predicted value of the motion vector determined in the determination step, the amount of information of the motion vector data obtained as the motion vector encoding result among the plurality of entropy encoding methods selected at the time of encoding may be reduced. Decoding using the result of predicting the motion vector of the target block in the prediction step by an entropy decoding method corresponding to an expected entropy encoding method;
A motion vector decoding method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008203945A JP4231097B2 (en) | 2008-08-07 | 2008-08-07 | Motion vector decoding apparatus and decoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008203945A JP4231097B2 (en) | 2008-08-07 | 2008-08-07 | Motion vector decoding apparatus and decoding method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006154647A Division JP4184389B2 (en) | 2006-06-02 | 2006-06-02 | Motion vector decoding apparatus and decoding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008263661A true JP2008263661A (en) | 2008-10-30 |
JP4231097B2 JP4231097B2 (en) | 2009-02-25 |
Family
ID=39985748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008203945A Expired - Fee Related JP4231097B2 (en) | 2008-08-07 | 2008-08-07 | Motion vector decoding apparatus and decoding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4231097B2 (en) |
-
2008
- 2008-08-07 JP JP2008203945A patent/JP4231097B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP4231097B2 (en) | 2009-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4142180B2 (en) | Motion vector encoding device and decoding device | |
JP5422168B2 (en) | Video encoding method and video decoding method | |
JP5669278B2 (en) | Method for coding a block of an image sequence and method for reconstructing this block | |
KR100955396B1 (en) | Bi-prediction coding method and apparatus, bi-prediction decoding method and apparatus, and recording midium | |
JP5197591B2 (en) | VIDEO ENCODING METHOD AND DECODING METHOD, DEVICE THEREOF, THEIR PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM | |
US20080056365A1 (en) | Image coding apparatus and image coding method | |
JP4184389B2 (en) | Motion vector decoding apparatus and decoding method | |
JP4231097B2 (en) | Motion vector decoding apparatus and decoding method | |
JP4184388B2 (en) | Motion vector encoding apparatus and encoding method | |
JP2006324888A (en) | Dynamic-image coding equipment | |
JP5281597B2 (en) | Motion vector prediction method, motion vector prediction apparatus, and motion vector prediction program | |
JP5788952B2 (en) | Video decoding method | |
JP4502566B2 (en) | Moving picture coding apparatus and moving picture decoding apparatus | |
JP5533885B2 (en) | Moving picture encoding apparatus and moving picture decoding apparatus | |
JP5890933B1 (en) | Video decoding method | |
JP5887020B1 (en) | Video decoding method | |
JP5864022B2 (en) | Video decoding method | |
JP5864023B2 (en) | Calculation method of prediction vector | |
JP2003319401A (en) | Moving image coder and decoder thereof | |
JP2016136741A (en) | Moving image decoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081202 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081204 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131212 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |